(57)【要約】【課題】時系列的に欠陥画素が増加しても、画像の画質が低下するのを抑制する欠陥画素補正装置等を提供する。【解決手段】イメージセンサ１５の欠陥画素の位置と序列とを紐付けて記憶する内部メモリ３と、対象画素の近傍に、近傍通常画素がある場合にはその画素信号に基づいて対象画素の画素信号を補正し、近傍通常画素がなく、かつ対象画素よりも序列が低い近傍欠陥画素がある場合には、最も序列が低い近傍欠陥画素の画素信号に基づいて対象画素の画素信号を補正する画素欠陥補正部２４と、を備える欠陥画素補正装置。【選択図】図１
2020022135.tif 000002
【特許請求の範囲】
【請求項１】
欠陥画素を含む複数の画素を有するイメージセンサから出力される画素信号に対して、前記欠陥画素の画素信号を補正する欠陥画素補正装置であって、
前記欠陥画素の位置と前記欠陥画素の序列とを紐付けて記憶する記憶部と、
前記欠陥画素である対象画素に近傍を設定して、前記近傍内における通常画素を近傍通常画素、欠陥画素を近傍欠陥画素としたときに、前記近傍通常画素がある場合には、前記近傍通常画素の画素信号に基づいて前記対象画素の画素信号を補正し、前記近傍通常画素がなく、かつ前記対象画素よりも序列が低い前記近傍欠陥画素がある場合には、最も序列が低い前記近傍欠陥画素の画素信号に基づいて前記対象画素の画素信号を補正する補正部と、
を具備することを特徴とする欠陥画素補正装置。
【請求項２】
前記欠陥画素補正装置は、複数色の画素を有する前記イメージセンサから出力される複数色の画素信号に対して、前記欠陥画素の画素信号を補正するものであり、
前記補正部は、前記対象画素と同色として扱われる画素の画素信号に基づき、前記対象画素の画素信号を補正することを特徴とする請求項１に記載の欠陥画素補正装置。
【請求項３】
前記イメージセンサが有する前記複数色の画素は、原色ベイヤー配列で配置されたＲ画素、Ｇｒ画素、Ｂ画素、およびＧｂ画素であり、
前記補正部は、前記Ｒ画素と前記Ｇｒ画素と前記Ｂ画素と前記Ｇｂ画素とをそれぞれ別色として扱って前記近傍を設定した上で、前記対象画素の画素信号を補正することを特徴とする請求項２に記載の欠陥画素補正装置。
【請求項４】
前記補正部は、前記近傍に、前記近傍通常画素がなく、かつ前記対象画素よりも序列が低い前記近傍欠陥画素がない場合には、追加補正の処理に進んで、前記近傍の外側に第２近傍を設定し、前記第２近傍内における通常画素を第２近傍通常画素、欠陥画素を第２近傍欠陥画素としたときに、前記第２近傍通常画素がある場合には、前記第２近傍通常画素の画素信号に基づいて前記対象画素の画素信号を補正することを特徴とする請求項３に記載の欠陥画素補正装置。
【請求項５】
前記補正部は、前記対象画素が配置されたラインにある画素の画素信号に基づき前記対象画素の画素信号を補正する１次元補正と、前記対象画素が配置されたラインに隣接するラインを含む複数ラインにある画素の画素信号に基づき前記対象画素の画素信号を補正する２次元補正と、の何れを前記追加補正の処理に適用するかを選択可能であり、前記２次元補正を適用するときにのみ、前記第２近傍通常画素がない場合であって前記対象画素よりも序列が低い前記第２近傍欠陥画素がある場合には、最も序列が低い前記第２近傍欠陥画素の画素信号に基づいて前記対象画素の画素信号を補正することを特徴とする請求項４に記載の欠陥画素補正装置。
【請求項６】
ユーザが操作入力を行うための操作部をさらに具備し、
前記補正部は、前記操作部からの操作入力に応じて、前記追加補正の処理に進むか否かを選択することを特徴とする請求項４に記載の欠陥画素補正装置。
【請求項７】
前記補正部は、前記Ｇｒ画素と前記Ｇｂ画素とを別色として扱って前記対象画素の画素信号を補正する前に、前記Ｇｒ画素と前記Ｇｂ画素とを同色として扱って前記対象画素の画素信号を補正する同色扱い処理が選択可能であり、前記同色扱い処理が選択された場合に、前記対象画素が前記Ｇｒ画素であるときには前記対象画素の斜め４方向に隣接する４つの前記Ｇｂ画素を前記近傍に設定し、前記対象画素が前記Ｇｂ画素であるときには前記対象画素の斜め４方向に隣接する４つの前記Ｇｒ画素を前記近傍に設定して、前記対象画素の画素信号を補正することを特徴とする請求項３に記載の欠陥画素補正装置。
【請求項８】
ユーザが操作入力を行うための操作部をさらに具備し、
前記補正部は、前記操作部からの操作入力に応じて、前記同色扱い処理を選択するか否かを決定することを特徴とする請求項７に記載の欠陥画素補正装置。
【請求項９】
前記記憶部は、前記欠陥画素の位置と前記欠陥画素の序列との紐付けを、長露光時間に対する第１の紐付けと、短露光時間に対する第２の紐付けと、に場合分けして記憶しており、
前記補正部は、前記イメージセンサが前記画素信号を生成したときの露光時間が、閾時間以上である場合には前記第１の紐付けに基づく序列を適用し、前記閾時間未満である場合には前記第２の紐付けに基づく序列を適用することを特徴とする請求項１に記載の欠陥画素補正装置。
【請求項１０】
前記補正部は、前記イメージセンサから出力される前記画素信号に対して適用されるＩＳＯ感度が高いほど前記閾時間が短くなるように設定することを特徴とする請求項９に記載の欠陥画素補正装置。
【請求項１１】
前記記憶部は、前記欠陥画素の位置に紐付けて前記欠陥画素の欠陥属性を記憶すると共に、前記欠陥属性に紐付けて前記序列を記憶しており、前記欠陥画素の位置と前記欠陥画素の序列とを、前記欠陥画素の欠陥属性を経由して紐付けていることを特徴とする請求項１に記載の欠陥画素補正装置。
【請求項１２】
欠陥画素を含む複数の画素を有し、画素信号を出力するイメージセンサと、
前記欠陥画素の位置と前記欠陥画素の序列とを紐付けて記憶する記憶部と、
前記欠陥画素である対象画素に近傍を設定して、前記近傍内における通常画素を近傍通常画素、欠陥画素を近傍欠陥画素としたときに、前記近傍通常画素がある場合には、前記近傍通常画素の画素信号に基づいて前記対象画素の画素信号を補正し、前記近傍通常画素がなく、かつ前記対象画素よりも序列が低い前記近傍欠陥画素がある場合には、最も序列が低い前記近傍欠陥画素の画素信号に基づいて前記対象画素の画素信号を補正する補正部と、
を具備することを特徴とする撮像装置。
【請求項１３】
欠陥画素を含む複数の画素を有するイメージセンサから出力される画素信号に対して、前記欠陥画素の画素信号を補正する欠陥画素補正方法であって、
前記欠陥画素の位置と前記欠陥画素の序列とを紐付けて記憶する記憶ステップと、
前記欠陥画素である対象画素に近傍を設定して、前記近傍内における通常画素を近傍通常画素、欠陥画素を近傍欠陥画素としたときに、前記近傍通常画素がある場合には、前記近傍通常画素の画素信号に基づいて前記対象画素の画素信号を補正し、前記近傍通常画素がなく、かつ前記対象画素よりも序列が低い前記近傍欠陥画素がある場合には、最も序列が低い前記近傍欠陥画素の画素信号に基づいて前記対象画素の画素信号を補正する補正ステップと、
を有することを特徴とする欠陥画素補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサから出力される画素信号に対して、欠陥画素の画素信号を補正する欠陥画素補正装置、撮像装置、欠陥画素補正方法に関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラ等の撮像装置において、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサ等の固体イメージセンサが、従来より一般的に使用されている。
【０００３】
固体イメージセンサは、製造過程において、通常画素と異なる画素信号を生成する欠陥画素を生じることがある。欠陥画素は、撮像画像の質を低下する要因の１つであり、かつ、固体イメージセンサの製造歩留まりを下げる要因の１つである。
【０００４】
特開２００５−１３６９７０号公報には、工場出荷時に欠陥検出を行っても欠陥画素として検出されない場合があること、あるいは欠陥検出後に欠陥レベルが高くなる場合があることを考慮して、工場出荷時の欠陥検出の結果と工場出荷後の欠陥検出の結果とを別途に記憶しておき、同一の画素位置に対して複数の欠陥レベルの情報がある場合には、欠陥レベルの高い欠陥情報を用いて欠陥画素の補間を行う技術が記載されている。
【０００５】
この技術を用いれば、工場出荷後に新たに生じた欠陥画素を検出して欠陥情報に追加することができ、さらに、工場出荷時に検出されていた欠陥画素の欠陥レベルが工場出荷後に高くなった場合にも新しい欠陥情報を記憶することができる。従って、欠陥画素の追加や欠陥レベルの変化に対応して、画像が高画質である状態を長期に渡って維持することができるとされている。
【０００６】
また、特許５３０９９４０号公報には、補間対象の欠陥画素に隣接する画素が全て正常画素であることを前提として、補間精度が異なる複数の補間値算出式の中から最適な算出式を選択して補間対象画素の画素信号を算出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−１３６９７０号公報
【特許文献２】特許５３０９９４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
欠陥画素である対象画素の画素信号は、一般に、対象画素に隣接する同色画素の画素信号に基づき補正される。しかし、イメージセンサは、時間の経過と共に、後発的な欠陥が増える性質をもっているために、工場出荷時には対象画素に隣接する同色画素の中に通常画素が含まれていたとしても、時間が経過すると、対象画素に隣接する同色画素が全て欠陥画素となってしまう可能性がある。
【０００９】
こうした場合に、対象画素に隣接する同色の正常画素のみを用いて対象画素の画素信号を算出する従来技術では、補正をすることができず、対象画素は未補正扱いとなる。
【００１０】
従って、上記従来の技術では、新たに生じた欠陥画素の検出、および既存の欠陥画素の欠陥レベルが変化したことの検出を行うことができるが、欠陥画素として扱われる画素が増えることにより、欠陥画素の補正を行うことができない状態が生じてしまうことがある。
【００１１】
本発明は上記事情に鑑みてなされたものであり、工場出荷後のイメージセンサの欠陥画素の状態に対応しながら、未補正となる欠陥画素を少なくして、画像の画質が時間の経過に伴って低下するのを抑制することができる欠陥画素補正装置、撮像装置、欠陥画素補正方法を提供することを目的としている。
【課題を解決するための手段】
【００１２】
本発明の一態様による欠陥画素補正装置は、欠陥画素を含む複数の画素を有するイメージセンサから出力される画素信号に対して、前記欠陥画素の画素信号を補正する欠陥画素補正装置であって、前記欠陥画素の位置と前記欠陥画素の序列とを紐付けて記憶する記憶部と、前記欠陥画素である対象画素に近傍を設定して、前記近傍内における通常画素を近傍通常画素、欠陥画素を近傍欠陥画素としたときに、前記近傍通常画素がある場合には、前記近傍通常画素の画素信号に基づいて前記対象画素の画素信号を補正し、前記近傍通常画素がなく、かつ前記対象画素よりも序列が低い前記近傍欠陥画素がある場合には、最も序列が低い前記近傍欠陥画素の画素信号に基づいて前記対象画素の画素信号を補正する補正部と、を具備する。
【００１３】
本発明の他の態様による撮像装置は、欠陥画素を含む複数の画素を有し、画素信号を出力するイメージセンサと、前記欠陥画素の位置と前記欠陥画素の序列とを紐付けて記憶する記憶部と、前記欠陥画素である対象画素に近傍を設定して、前記近傍内における通常画素を近傍通常画素、欠陥画素を近傍欠陥画素としたときに、前記近傍通常画素がある場合には、前記近傍通常画素の画素信号に基づいて前記対象画素の画素信号を補正し、前記近傍通常画素がなく、かつ前記対象画素よりも序列が低い前記近傍欠陥画素がある場合には、最も序列が低い前記近傍欠陥画素の画素信号に基づいて前記対象画素の画素信号を補正する補正部と、を具備する。
【００１４】
本発明のさらに他の態様による欠陥画素補正方法は、欠陥画素を含む複数の画素を有するイメージセンサから出力される画素信号に対して、前記欠陥画素の画素信号を補正する欠陥画素補正方法であって、前記欠陥画素の位置と前記欠陥画素の序列とを紐付けて記憶する記憶ステップと、前記欠陥画素である対象画素に近傍を設定して、前記近傍内における通常画素を近傍通常画素、欠陥画素を近傍欠陥画素としたときに、前記近傍通常画素がある場合には、前記近傍通常画素の画素信号に基づいて前記対象画素の画素信号を補正し、前記近傍通常画素がなく、かつ前記対象画素よりも序列が低い前記近傍欠陥画素がある場合には、最も序列が低い前記近傍欠陥画素の画素信号に基づいて前記対象画素の画素信号を補正する補正ステップと、を有する。
【発明の効果】
【００１５】
本発明の欠陥画素補正装置、撮像装置、欠陥画素補正方法によれば、工場出荷後のイメージセンサの欠陥画素の状態に対応しながら、未補正となる欠陥画素を少なくして、画像の画質が時間の経過に伴って低下するのを抑制することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態１における欠陥画素補正装置を備える撮像装置の構成を示すブロック図。
【図２】上記実施形態１のイメージセンサにおける画素の色構成例を示す図。
【図３】上記実施形態１において、内部メモリに格納されている画素欠陥情報の一例を示す図。
【図４】上記実施形態１の欠陥画素補正装置を備える撮像装置の欠陥補正処理を示すフローチャート。
【図５】上記実施形態１において、図４のステップＳ６における欠陥画素補正処理の詳細を示すフローチャート。
【図６】上記実施形態１において、図５のステップＳ２３，Ｓ２６および図７のステップＳ４３における拡張欠陥補正処理の詳細を示すフローチャート。
【図７】上記実施形態１において、図５のステップＳ２９における追加補正処理の詳細を示すフローチャート。
【図８】上記実施形態１において、図７のステップＳ４５における１次元追加補正処理の詳細を示すフローチャート。
【図９】上記実施形態１において、補正対象画素の周囲に通常画素がある場合の一般的な補正例を示す図表。
【図１０】上記実施形態１において、長露光時間のときの欠陥画素の序列設定の例を示す図表。
【図１１】上記実施形態１において、短露光時間のときの欠陥画素の序列設定の例を示す図表。
【図１２】上記実施形態１において、撮影時のＩＳＯ感度設定に応じて、長露光時間と短露光時間とを区分する閾時間を変化させる例を示すグラフ。
【図１３】上記実施形態１において、補正対象画素の近傍に通常画素と欠陥画素とがある場合の補正例を示す図表。
【図１４】上記実施形態１において、近傍に通常画素がないが、補正対象画素よりも序列が低い欠陥画素であって、最も序列が低い近傍欠陥画素が１つ以上ある場合の補正例を示す図表。
【図１５】上記実施形態１において、近傍に通常画素がないが、補正対象画素よりも序列が低い欠陥画素であって、最も序列が低い近傍欠陥画素が１つだけある場合の補正例を示す図表。
【図１６】上記実施形態１において、長露光時間のときに、近傍に通常画素がないが、補正対象画素よりも序列が低い欠陥画素であって、最も序列が低い近傍欠陥画素が１つだけある場合の補正例を示す図表。
【図１７】上記実施形態１において、短露光時間のときに、近傍に通常画素として扱う画素が生じる場合の補正例を示す図表。
【図１８】上記実施形態１において、近傍に通常画素がなく、かつ補正対象画素よりも序列が低い欠陥画素がない場合であって、１次元補正を行うときに第２近傍に通常画素が１つだけある場合の補正例を示す図表。
【図１９】上記実施形態１において、近傍に通常画素がなく、かつ補正対象画素よりも序列が低い欠陥画素がない場合であって、２次元補正を行うときに第２近傍に通常画素が２つある場合の補正例を示す図表。
【図２０】上記実施形態１において、近傍に通常画素がなく、かつ補正対象画素よりも序列が低い欠陥画素がない場合に２次元補正を行うときに、さらに第２近傍に通常画素がなく、補正対象画素よりも序列が低い欠陥画素であって、最も序列が低い第２近傍欠陥画素が３つある場合の補正例を示す図表。
【図２１】上記実施形態１において、Ｇｒ画素とＧｂ画素を同色として扱う場合の近傍に通常画素と欠陥画素とがある場合の補正例を示す図表。
【図２２】上記実施形態１において、Ｇｒ画素とＧｂ画素を同色として扱う場合に、補正対象画素の近傍に通常画素がないが、補正対象画素よりも序列が低い欠陥画素であって、最も序列が低い近傍欠陥画素が１つ以上ある場合の補正例を示す図表。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
【００１８】
図１から図２２は本発明の実施形態１を示したものであり、図１は欠陥画素補正装置を備える撮像装置１の構成を示すブロック図である。
【００１９】
撮像装置１は、撮像部１０と、画素欠陥検出・補正部２０と、画像処理部３０と、バス２と、内部メモリ３と、外部メモリ４と、表示部５と、入力インタフェース（入力ＩＦ）６と、タッチパネル７と、バッテリ８と、システム制御部９と、を備えている。
【００２０】
撮像部１０は、撮影光学系１１と、メカニカルシャッタ１４と、イメージセンサ１５と、を備えている。
【００２１】
撮影光学系１１は、被写体の光学像をイメージセンサ１５に結像するレンズ１２と、レンズ１２を通過してイメージセンサ１５に到達する光束の通過範囲を制御する絞り１３と、を備えている。
【００２２】
メカニカルシャッタ１４は、レンズ１２を通過してイメージセンサ１５に到達する光束の通過時間を制御することにより、画像の露光時間を機械的に制御するものである。なお、露光時間の制御は、メカニカルシャッタ１４により行うに限るものではなく、イメージセンサ１５の電荷蓄積時間を制御するいわゆる素子シャッタにより行っても構わない。
【００２３】
イメージセンサ１５は、撮影光学系１１により結像された被写体の光学像を光電変換して撮像信号を生成する。イメージセンサ１５は、光電変換を行う画素が２次元状に複数配列されており、撮像信号は複数の画素信号を含む。
【００２４】
イメージセンサ１５は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、またはＣＣＤ（Charge Coupled Device）イメージセンサ等の、固体イメージセンサとして構成されている。ここに、固体イメージセンサは、半導体の単結晶などの固体上に、半導体プロセス等の技術を用いて集積回路を形成することにより製造されている。
【００２５】
ここで図２は、イメージセンサ１５における画素の色構成例を示す図である。
【００２６】
イメージセンサ１５は、例えば、複数色の画素を有し、複数色の画素信号を出力するカラーイメージセンサとして構成されていて、本実施形態に示す例では図２に示すように、原色ベイヤー配列で配置された、Ｒ画素と、Ｒ画素と同一ライン上に配置されたＧｒ画素と、Ｂ画素と、Ｂ画素と同一ライン上に配置されたＧｂ画素と、を備えている。
【００２７】
一般的に、イメージセンサ１５は、画素が配列された画素領域として、撮影光学系１１からの光が照射される通常画素領域と、撮影光学系１１からの光が遮光されるＯＢ（Optical Black）画素領域と、を備えている。
【００２８】
また、イメージセンサ１５は、画素信号をＡ／Ｄ変換してデジタルの画素信号として出力するデジタルイメージセンサであることを想定しているが、イメージセンサ１５をアナログの画素信号を出力するアナログイメージセンサとして、イメージセンサ１５の外部に別途のＡ／Ｄ変換器を設けても構わない。
【００２９】
画素欠陥検出・補正部２０は、イメージセンサ１５に配列された複数の画素に含まれる欠陥画素の検出を行って新たな検出結果については内部メモリ３に追加で登録し、登録された欠陥画素の情報に基づきイメージセンサ１５から得られた撮像信号に含まれる欠陥画素の画素信号の補正を行う。具体的に、画素欠陥検出・補正部２０は、画素欠陥検出部２１と、画素欠陥序列設定部２２と、画素欠陥登録部２３と、画素欠陥補正部２４と、を備えている。
【００３０】
画素欠陥検出部２１は、イメージセンサ１５から出力される画素信号に基づいて、欠陥画素を検出する。ここに、撮像装置１を製造した時点のイメージセンサ１５の欠陥画素の情報（画素欠陥情報）は、予め内部メモリ３に記憶されている。従って、画素欠陥検出部２１は、主に、撮像装置１を製造した時点以降における欠陥画素の情報を取得するために用いられる（ただし、製造時の欠陥検出を画素欠陥検出部２１により行っても勿論かまわない）。
【００３１】
製造時以降における欠陥画素の情報は、新たに生じた欠陥画素の情報と、既存の欠陥画素であるが欠陥レベルが変化した欠陥画素の情報と、製造時検査では検出されなかったが今回検出された欠陥画素の情報と、を含む。そして、欠陥画素の情報には、欠陥画素の位置と、欠陥画素の種類を示す欠陥属性と、が含まれる（図３参照）。
【００３２】
画素欠陥序列設定部２２は、欠陥画素の欠陥属性に応じて、序列を設定する。ここに、欠陥画素の欠陥属性に応じて設定される序列は、例えば撮影条件に応じて変化させても構わない。この場合には、画素欠陥序列設定部２２は、撮影条件の情報を取得して、取得した撮影条件に適した序列を設定することになる（後述する図１０、図１１等参照）。画素欠陥序列設定部２２により設定された欠陥画素の欠陥属性と序列との紐付けは、内部メモリ３に記憶される。
【００３３】
画素欠陥登録部２３は、画素欠陥検出部２１により検出された欠陥画素の情報を、内部メモリ３に記憶する。
【００３４】
画素欠陥補正部２４は、撮影して得られた画像中の、欠陥画素である対象画素の画素信号を、対象画素の近傍にある、対象画素と同色として扱われる画素の画素信号に基づき補正する。具体的に、本実施形態の画素欠陥補正部２４は、欠陥画素の上下左右にある同色の画素の画素信号、または欠陥画素の左右にある同色の画素の画素信号に基づいて補正値を算出し、算出した補正値で欠陥画素の画素信号の信号値を置き換える処理を行う。
【００３５】
上述した画素欠陥検出・補正部２０は、１〜数ライン程度のラインバッファを内蔵して、撮像部１０から出力される画素信号をこのラインバッファに記憶させ、ほぼリアルタイムに処理を行う構成であると好ましい。しかし、これに限定されるものではなく、撮像部１０から出力される画素信号を、内部メモリ３に一旦記憶させて、内部メモリ３から画素信号を読み込んで処理を行っても構わない。
【００３６】
そして、画素欠陥検出・補正部２０により欠陥画素の補正が行われた画素信号で構成される撮像信号は、バス２を経由して、例えば内部メモリ３に記憶される。
【００３７】
バス２は、撮像装置１内のある場所で発生した各種のデータや制御信号を、撮像装置１内の他の場所へ転送するための転送路である。本実施形態におけるバス２は、撮像部１０、画素欠陥検出部２１と画素欠陥序列設定部２２と画素欠陥登録部２３と画素欠陥補正部２４とを含む画素欠陥検出・補正部２０、画像解析部３１と画像補正部３２と現像処理部３３とを含む画像処理部３０、内部メモリ３、外部メモリ４、表示部５、入力ＩＦ６、タッチパネル７、バッテリ８、およびシステム制御部９に接続されている。
【００３８】
内部メモリ３は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリ、およびＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の不揮発性メモリを含んで構成された記憶部である。
【００３９】
揮発性メモリは、例えば、撮像部１０から出力される画素信号、画素欠陥検出・補正部２０において欠陥補正された画素信号、画像処理部３０等において処理された画素信号等の各種データを一時的に記憶する。
【００４０】
また、不揮発性メモリは、例えば、システム制御部９により実行される処理プログラム、処理プログラムを実行する際に用いる各種の設定値やパラメータなどを記憶する。ここに、不揮発性メモリに記憶される情報には、上述したような、製造時の欠陥画素の情報、および製造時以降に生じた欠陥画素の情報が含まれる。こうして内部メモリ３は、欠陥画素の位置と欠陥画素の序列とを紐付けて記憶する。
【００４１】
画像処理部３０は、画素欠陥検出・補正部２０により欠陥画素の補正が行われた画素信号で構成される撮像信号に画像処理を行って、画像信号を生成する。具体的に、画像処理部３０は、画像解析部３１と、画像補正部３２と、現像処理部３３と、を備えている。
【００４２】
画像解析部３１は、例えば、イメージセンサ１５のＯＢ画素領域から出力された画素信号に基づいて、ＯＢレベルを算出する等を行う。また、画像解析部３１は、画像のエッジ検出や深度検出などを行っても構わないし、その他の画像解析を行ってもよい。
【００４３】
画像補正部３２は、例えば、イメージセンサ１５の通常画素領域から出力された画素信号から、画像解析部３１により算出されたＯＢレベルを減算する補正等を行う。
【００４４】
現像処理部３３は、画像補正部３２により補正された画素信号に、ホワイトバランス処理、デモザイク処理、ノイズ低減処理、色変換処理、ガンマ変換処理、拡大縮小処理などの、いわゆる現像処理とよばれる各種の画像処理を行って、画像信号を生成する。
【００４５】
外部メモリ４は、画像処理部３０により処理された画像信号を不揮発に記録する記録媒体であり、例えば撮像装置１に着脱可能なメモリカード等により構成されている。従って、外部メモリ４は、撮像装置１に固有の構成でなくても構わない。
【００４６】
表示部５は、ＬＣＤ（Liquid Crystal Display）、有機発光ダイオード（Organic Light Emitting Diode）などを用いて構成された表示装置であり、画像処理部３０により生成された画像信号に基づく画像を表示すると共に、この撮像装置１に係る各種の情報を表示する。
【００４７】
こうして、外部メモリ４に記録される画像信号、および表示部５の表示に用いられる画像信号は、時系列的に増加する欠陥画素の補正が適切に行われた画像信号となる。
【００４８】
入力ＩＦ６は、ユーザが撮像装置１に対する各種の操作入力を行うための操作部である。入力ＩＦ６は、例えば、撮像装置１の電源をオン／オフするための電源ボタン、画像の撮影を指示するためのレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置１の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。
【００４９】
ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定可能な項目には、撮影モード（静止画撮影モード、動画撮影モード等）、記録モード、再生モード、画素欠陥検出モードなどが含まれている。入力ＩＦ６に対して操作が行われると、操作内容に応じた信号がバス２を経由してシステム制御部９へ送信される。
【００５０】
タッチパネル７は、上述したボタン類とは別途の入力インタフェースとして設けられた操作部であり、表示部５の表示面に配置された透明なシート状のタッチ位置入力装置を備えている。そして、タッチパネル７を操作することによっても、上述した入力ＩＦ６を操作するのとほぼ同様の操作を行うことができる。また、タッチパネル７を操作することにより、画像の拡大、縮小、スクロールなどを容易に行うことができる。
【００５１】
バッテリ８は、可搬式の撮像装置１における電源である。バッテリ８から発生される電力が、撮像装置１内の各部へ供給される。
【００５２】
システム制御部９は、例えばＣＰＵなどのプロセッサにより構成され、撮像装置１内の各部を統括的に制御する制御回路である。システム制御部９は、ユーザにより入力ＩＦ６またはタッチパネル７から操作入力が行われると、入力された情報を解析して、内部メモリ３に記録されている処理プログラムに従って、内部メモリ３から処理に必要なパラメータを読み込んで、種々の演算処理等を行いながら、操作内容に応じた各種のシーケンスを実行する。
【００５３】
また、システム制御部９は、撮像部１０の制御も行う。システム制御部９は、レンズ１２の焦点調節を行い、レンズ１２が電動ズームレンズである場合にはズーム調節も行う。また、システム制御部９は、設定された絞り値に基づいて絞り１３を制御し、設定された露光時間（シャッタ速度）に基づいてメカニカルシャッタ１４またはイメージセンサ１５による素子シャッタを制御する。さらに、システム制御部９は、イメージセンサ１５へクロック信号および制御信号を出力して、イメージセンサ１５による撮像動作を制御する。
【００５４】
なお、本実施形態における、欠陥画素を含む複数の画素を有するイメージセンサ１５から出力される画素信号に対して、欠陥画素の画素信号を補正する欠陥画素補正装置は、例えば次の各部を含んでいる。すなわち、欠陥画素補正装置は、例えば、画素欠陥検出・補正部２０と、内部メモリ３と、操作部である入力ＩＦ６およびタッチパネル７と、入力ＩＦ６およびタッチパネル７からの入力に応じて画素欠陥検出・補正部２０および内部メモリ３を制御するシステム制御部９と、画素欠陥検出・補正部２０、内部メモリ３、入力ＩＦ６、タッチパネル７、システム制御部９を接続するバス２と、を含んで構成されている。
【００５５】
次に、欠陥画素の情報について説明する。上述したように、欠陥画素の情報には、欠陥画素の位置と、欠陥画素の欠陥属性と、が含まれる。
【００５６】
図３は、内部メモリ３に格納されている画素欠陥情報の一例を示す図である。
【００５７】
図３は、１つの欠陥画素の情報を３２ビット（４バイト）で表す例となっている。
【００５８】
まず、図３に示す例において、欠陥属性を４ビットで表している。
【００５９】
そして、残りの（３２−４）＝２８ビットが、画素がＸ方向およびＹ方向に配列されているイメージセンサ１５の画素領域における、欠陥画素の位置を示す情報を格納するのに用いられる。
【００６０】
図３は、欠陥画素のＸ方向およびＹ方向の位置を、１４ビットのＸアドレスおよび１４ビットのＹアドレスで表す例を示している。この場合、概略、横１万６千×縦１万６千画素のアドレスを表現することができる。
【００６１】
図３に示す画素欠陥情報のＸアドレスおよびＹアドレスのビット数は、イメージセンサ１５の画素数およびアスペクト比等に応じて変更してもよい。
【００６２】
なお、より多くの情報を格納する場合、例えば欠陥属性としてより多くの情報を格納する場合、あるいは欠陥属性以外の他の情報をさらに格納する場合、またはイメージセンサ１５の画素数がより多い場合などには、画素欠陥情報を、５バイト以上、例えば６４ビット（８バイト）で表すようにしても構わない。
【００６３】
撮像装置１は、工場出荷時の検査の１つとして、画素欠陥検出が行われる。画素欠陥を検出する際には、特定の撮影条件（露光時間（シャッタスピード）、ＩＳＯ感度、絞り１３の絞り値）を設定した上で、イメージセンサ１５により特定の被写体、例えば、一様な明るさの被写体と、メカニカルシャッタ１４を閉じた状態での暗黒被写体との少なくとも一方（好ましくは両方）を撮影して、明時画像と暗時画像との少なくとも一方（好ましくは両方）を取得する。
【００６４】
イメージセンサ１５により取得された明時画像または暗時画像に係る画素信号は、画素欠陥検出・補正部２０へ送信される。
【００６５】
画素欠陥検出部２１は、画像毎に任意の閾値が設定されており、例えば明時画像には被写体の明るさに応じた閾値が設定され、暗時画像にも暗時用の閾値が設定されている。画素欠陥検出部２１は、イメージセンサ１５から受信した画素信号の信号値を閾値と比較して画素欠陥であるか否かを判定することを、画像を構成する各画素について行う。
【００６６】
例えば、明時画像において、設定された閾値よりも信号値が低い画素は、明時画素欠陥（正常画素よりも信号値が低い画素）の画素と判定される。
【００６７】
また、暗時画像において、暗時用の閾値よりも信号値が高い画素は、暗時画素欠陥（正常画素よりも信号値が高い画素）の画素と判定される。
【００６８】
さらに、画素欠陥検出部２１は、明時画素欠陥であるか、暗時画素欠陥であるかを判定するだけでなく、欠陥の程度を示す欠陥レベルも判定する。すなわち、画素欠陥検出部２１は、信号値が閾値からどれだけ乖離しているかに応じて、乖離度が高い場合に欠陥レベルが高く、乖離度が低い場合に欠陥レベルが低いと判定する。そして、画素欠陥検出部２１は、欠陥レベルが高い方から低い方に向かって順に、例えばＡ，Ｂ，Ｃ，…の欠陥レベルを付与する。
【００６９】
これにより、欠陥画素は、撮影条件が明時撮影と暗時撮影との何れであるかと、欠陥レベルと、に応じて、例えば、暗時Ａ欠陥や明時Ｂ欠陥のように識別される。
【００７０】
また、画素欠陥検出は、工場出荷時に行われるだけでなく、工場出荷後の任意の時点でユーザが画素欠陥検出モードに設定することで行うことも可能となっている。ただし、画素欠陥検出モードの設定は、手動で行われるに限るものではない。例えば、撮影枚数が一定数に到達する毎に自動的に画素欠陥検出モードに設定されるようにしてもよいし、製造時点からの経過時間が一定時間に到達する毎に自動的に画素欠陥検出モードに設定されるようにしても構わないし、その他のパラメータに応じて自動的に画素欠陥検出モードに設定されるようにしてもよい。
【００７１】
そして、本実施形態においては、工場出荷時に検出された画素欠陥を先発画素欠陥、工場出荷後に検出された画素欠陥を後発画素欠陥としている。
【００７２】
ユーザが画素欠陥検出を行う際に、一様な明るさの被写体を用意することは難しいために、後発画素欠陥の検出においては、メカニカルシャッタ１４を閉じてイメージセンサ１５を遮光した状態で、イメージセンサ１５により暗時画像を取得して、暗時画素欠陥を検出することが行われる。すなわち、本実施形態において、後発画素欠陥は、暗時画素欠陥を対象とすることを想定しているが、これに限定されるものではない。例えば１面白色の紙を被写体として撮影する等により、後発画素欠陥としての明時画素欠陥を検出することができるようにしても構わない。
【００７３】
さらに、その他の画素欠陥として適応欠陥がある。適応欠陥は、定常的な画素欠陥ではなく、ランダムなタイミングで生じる画素欠陥（一例を挙げれば、１０００枚撮影した画像の中の、１枚の画像にのみ生じる画素欠陥）である。適応欠陥は、明時画像と暗時画像との何れとも異なる撮影画像から適応的に検出される。具体的に、画素欠陥検出部２１は、撮影画像における１つの画素に着目して、着目画素の信号値を、着目画素の周囲の画素の信号値（例えば、着目画素の周囲にある同色の画素の信号値の平均値）と比較し、信号値の乖離が適応的に設定された閾値よりも大きい場合に、着目画素が適応欠陥であると判定する。
【００７４】
適応欠陥は、ランダムなタイミングで発生するために点滅欠陥とも呼ばれる。これに対して、適応欠陥以外の常に発生する欠陥は定常欠陥と呼ばれる。従って、適応欠陥は、製造時検査では検出されないことが多く、製造後のある時点の検査で検出されても、その後の別の時点の検査では検出されないことがある。
【００７５】
上述したように検出された先発画素欠陥、後発画素欠陥、適応欠陥の種類を示す欠陥属性は、図３に示したような欠陥画素の位置を示す情報と共に、画素欠陥登録部２３により、内部メモリ３に不揮発に記録して登録される。
【００７６】
なお、後発画素欠陥および適応欠陥は、先発画素欠陥と異なる画素位置に新たに生じるだけでなく、先発画素欠陥と同一の画素位置に異なる欠陥レベルで生じることがある。従って、画素欠陥補正部２４は、同一画素位置に複数の画素欠陥情報が登録されている場合には、後述するような序列を参照して、最も序列が高い画素欠陥情報を該当画素位置の画素欠陥情報として用いるようになっている。
【００７７】
内部メモリ３は、欠陥画素の位置と欠陥画素の序列との紐付けを、長露光時間に対する第１の紐付けと、短露光時間に対する第２の紐付けと、に場合分けして記憶している。
【００７８】
つまり、内部メモリ３には、欠陥属性と、画素欠陥序列設定部２２により設定された序列と、の関係を示す情報が、例えば図１０または図１１に示すようなテーブルとしてさらに記憶されている。なお、ここでは図１０または図１１に示すようなテーブルを内部メモリ３に記憶する例を説明するが、画素欠陥検出・補正部２０内の図示しないメモリに不揮発に記憶しても構わず、テーブルを記憶するメモリの配置は特定の位置に限定されるものではない。
【００７９】
図１０は、長露光時間のときの欠陥画素の序列設定の例を示す図表である。また、図１１は、短露光時間のときの欠陥画素の序列設定の例を示す図表である。
【００８０】
ここに、長露光時間は、閾時間よりも長い露光時間であり、適宜に長秒と略称する。また、短露光時間は、閾時間以下の露光時間であり、適宜に短秒と略称する。閾時間は、固定値でもよいが、適応的に値を決定しても構わない。閾時間の値を適応的に決定する例を、後で図１２を参照して説明する。
【００８１】
欠陥の種類（欠陥種）に対して紐付けられる欠陥属性の情報は、図１０に示す場合と図１１に示す場合とで同一である。
【００８２】
すなわち、先発暗時Ａ欠陥、後発暗時Ａ欠陥、先発明時Ａ欠陥、先発暗時Ｂ欠陥、後発暗時Ｂ欠陥、先発明時Ｂ欠陥、先発暗時Ｃ欠陥、適応欠陥に、欠陥属性を示すデジタル値１，２，３，４，５，６，７，８がそれぞれ紐付けられている（なお、その他の欠陥種にデジタル値９以上が紐付けられても構わないが、以下は省略する）。従って、図３に示す画素欠陥情報において、４ビットの属性の値が例えば１である欠陥画素は、欠陥の種類が先発暗時Ａ欠陥であることになる。
【００８３】
また、図１０および図１１の長秒・短秒の欄は、処理対象の画像が長露光時間の露光により取得されたか、または短露光時間の露光により取得されたかを１ビットのデータで示している。図１０は長露光時間（長秒）のときのテーブルであるために長秒・短秒の欄にはビット値として１が与えられ、図１１は短露光時間（短秒）のときのテーブルであるために長秒・短秒の欄にはビット値として０が与えられている。従って、長秒・短秒の欄は、処理対象の画像が長露光時間の露光により取得された画像であることを示すフラグ（ビット値が１、つまりフラグが立っていれば、長露光時間の露光により取得された画像である）となっている。
【００８４】
画素欠陥には、長露光時間の画像にのみ発生する画素欠陥（つまり、短露光時間の画像の場合には、画素欠陥として扱う必要がなく通常画素として扱えばよい）がある（図１０および図１１に示す具体例では、先発暗時Ｃ欠陥）。先発暗時Ｃ欠陥は、例えば、露光時間が長くなるにつれて信号値が大きくなっていき、露光時間が閾時間よりも長くなると画素欠陥として認識されるようになる。
【００８５】
そこで、欠陥画素の序列設定が有効であるか否かを示す１ビットの情報である有効設定を設けている。
【００８６】
図１０に示すように、長露光時間（長秒・短秒のビット値１）のときには、先発暗時Ａ欠陥、後発暗時Ａ欠陥、先発明時Ａ欠陥、先発暗時Ｂ欠陥、後発暗時Ｂ欠陥、先発明時Ｂ欠陥、先発暗時Ｃ欠陥、適応欠陥の全ての有効設定がオンであり、有効設定のビット値として１が与えられている。これにより、全ての欠陥画素の序列が考慮される。
【００８７】
これに対して、図１１に示すように、短露光時間（長秒・短秒のビット値０）のときには、先発暗時Ａ欠陥、後発暗時Ａ欠陥、先発明時Ａ欠陥、先発暗時Ｂ欠陥、後発暗時Ｂ欠陥、先発明時Ｂ欠陥、適応欠陥の有効設定がオンであり、有効設定のビット値として１が与えられているが、先発暗時Ｃ欠陥の有効設定はオフであり、有効設定のビット値として０が与えられている。従って、短露光時間のときには、先発暗時Ｃ欠陥は序列考慮の対象とはならず、通常画素として扱われる。こうして、有効設定は、欠陥属性に紐付けられた序列設定が有効であることを示すフラグ（ビット値が１であれば序列設定が有効である）となっている。
【００８８】
また、論理回路で演算を行う際は、有効設定のビット値と序列設定のビット値との論理積をとった結果を、有効な序列設定として用いることができ、演算処理が容易となる。
【００８９】
そして、序列設定は、例えば４ビットのデータとなっている。欠陥属性と序列との関係は、先発暗時Ａ欠陥、後発暗時Ａ欠陥、および先発明時Ａ欠陥に序列１が、先発暗時Ｂ欠陥および後発暗時Ｂ欠陥に序列２が、先発明時Ｂ欠陥に序列３が、先発暗時Ｃ欠陥に序列４が、適応欠陥に序列５が、それぞれ設定されている。ここに序列は、１を起点としてシリアルに増加する正の整数値として表されており、数値が低いほど序列が高く、数値が大きいほど序列が低いことを示している。従って、具体例を挙げれば、序列１は序列２よりも序列が高く、序列２は序列３よりも序列が高い。
【００９０】
なお、図１０および図１１に示すテーブルの例では、欠陥属性に紐付けられる序列が、長露光時間と短露光時間とで同一であったが、これに限るものではない。例えば、ある欠陥種は露光時間が長くなるに従って信号値が増加するが、他の欠陥種は露光時間の長短に関わらず常に一定の信号値を出力する、といったような場合には、長露光時間と短露光時間とで欠陥属性に紐付けられる序列を変更しても構わない。
【００９１】
また、上述では露光時間の長短に応じた有効設定および序列設定の例を説明したが、これに限定されるものでもなく、その他の撮影条件に応じた有効設定および序列設定を設定してもよいし、複数の撮影条件を組み合わせた結果に応じた有効設定および序列設定を設定しても構わない。こうした
【００９２】
このような撮影条件に応じた、欠陥属性に紐付けられる有効設定および序列設定の適応的な変更は、画素欠陥序列設定部２２により行われる。
【００９３】
こうして、画素欠陥補正部２４は、任意の画素の画素位置が、内部メモリ３に登録されている欠陥画素の画素位置に一致する場合には、図３に示す属性を読み込んで、読み込んだ属性に基づき図１０または図１１のテーブルを参照することで、該当画素の序列を読み取ることができる。
【００９４】
また、画素欠陥補正部２４が画素の序列を読み取るときに、同一の画素位置に対して登録されている欠陥画素の画素位置が複数ある場合には、上述したように、最も高い序列を該当画素の序列とする。
【００９５】
具体的に、例えばある画素が序列４の先発画素欠陥であったが、その後にさらに序列２の後発画素欠陥となった場合に、画素欠陥補正部２４は、該当画素の序列を２として読み取ることになる。なお、このときに、長露光時間と短露光時間とで場合分けされた序列を適用することは、上述した通りである。
【００９６】
こうして、内部メモリ３は、欠陥画素の位置に紐付けて欠陥画素の欠陥属性を記憶する（図３）と共に、欠陥属性に紐付けて序列を記憶しており（図１０、図１１）、欠陥画素の位置と欠陥画素の序列とを、欠陥画素の欠陥属性を経由して紐付けている。このような対応を行うことで、欠陥属性に紐付ける序列を、上述したように適応的に変更することが容易となる。
【００９７】
図４は、欠陥画素補正装置を備える撮像装置１の欠陥補正処理を示すフローチャートである。
【００９８】
図示しないメイン処理からこの欠陥補正処理に入ると、画素欠陥補正部２４は、イメージセンサ１５により撮影画像を取得する際の撮影条件を、例えばシステム制御部９から読み込む（ステップＳ１）。ここでは、撮影条件として、例えばＩＳＯ感度と露光時間とを読み込む。
【００９９】
図１２は、撮影時のＩＳＯ感度設定に応じて、長露光時間と短露光時間とを区分する閾時間を変化させる例を示すグラフである。
【０１００】
図１２に示すグラフは、例えば内部メモリ３の不揮発性メモリ、または画素欠陥検出・補正部２０内の図示しない不揮発性メモリなどに記憶されている。ここに、ＩＳＯ感度設定に応じた閾時間の変化は、グラフとして記憶するに限るものではない。例えば、幾つかのＩＳＯ感度に対応する露光時間をテーブルとして記憶しておき、テーブルにないＩＳＯ感度が設定された場合には補間等を行って設定されたＩＳＯ感度に対応する露光時間を算出するようにしても構わない。あるいはグラフに対応する数式を記憶してもよい。
【０１０１】
この図１２に示す処理は、省略しても構わないが、もし実施する場合には、画素欠陥補正部２４が、イメージセンサ１５から出力される画素信号に対して適用されるＩＳＯ感度が高いほど閾時間が短くなるように、閾時間を設定する。そして、画素欠陥補正部２４は、読み込んだ露光時間が、設定されているＩＳＯ感度における閾時間以上であるか、閾時間未満であるかを、図１２のグラフに従って判定する。
【０１０２】
ここで、閾時間以上であると判定した場合には図１０に示すような長露光時間用のテーブルを内部メモリ３から読み込み、閾時間未満であると判定した場合には図１１に示すような短露光時間用のテーブルを内部メモリ３から読み込む。
【０１０３】
従って、画素欠陥補正部２４は、イメージセンサ１５が画素信号を生成したときの露光時間が、閾時間以上である場合には図１０に示すような第１の紐付けに基づく序列を適用し、閾時間未満である場合には図１１に示すような第２の紐付けに基づく序列を適用する。
【０１０４】
イメージセンサ１５から出力される撮像信号は、設定されたＩＳＯ感度に応じて信号増幅されるために、欠陥画素の信号値もＩＳＯ感度に応じて信号増幅される。つまり、設定されたＩＳＯ感度に応じて画素の欠陥レベルが変化するために、例えば図１２に示すように、ＩＳＯ感度に応じて閾時間を変化させるようにしている。
【０１０５】
なお、ここではＩＳＯ感度を例に挙げたが、欠陥画素の欠陥レベルを変化させる他のパラメータ（例えば、イメージセンサ１５の温度、露出補正値、ホワイトバランス、ガンマ変換曲線など）に応じて閾時間を変化させても構わない。
【０１０６】
そして、読み込んだテーブルに基づき、欠陥の種類を示す欠陥属性と、欠陥の序列と、序列の有効／無効と、をそれぞれ設定する（ステップＳ２）。
【０１０７】
さらに、ＧｒとＧｂとを同色として扱い欠陥補正を行うか、あるいはＧｒとＧｂとを異なる色としてのみ扱い欠陥補正を行うか、を設定する（ステップＳ３）。この設定は、後述するように、ユーザによる操作入力、または自動設定に基づき行われる。
【０１０８】
その後、画素位置を示す（Ｘ，Ｙ）アドレスの初期値として（０，０）を設定する（ステップＳ４）。ここに、取り得る（Ｘ，Ｙ）アドレスは、（０，０）〜（Ｘｍａｘ，Ｙｍａｘ）であることを想定している。Ｘｍａｘはイメージセンサ１５における１ラインの画素数、Ｙｍａｘはイメージセンサ１５における全ライン数をそれぞれ表している。
【０１０９】
次に、現在設定されている（Ｘ，Ｙ）アドレスが、内部メモリ３に図３に示したように登録されている欠陥画素のアドレスと一致するか否かを判定する（ステップＳ５）。
【０１１０】
ここで、一致した場合には、（Ｘ，Ｙ）アドレスの画素から読み出した画素信号に対して、図５を参照して説明するような欠陥画素補正処理を行う（ステップＳ６）。
【０１１１】
ステップＳ６の処理を行うか、またはステップＳ５において一致しないと判定された場合には、画素欠陥補正部２４は、Ｘが１ラインの画素数Ｘｍａｘに達したか否かを判定する（ステップＳ７）。
【０１１２】
ここで、Ｘｍａｘに達していないと判定された場合には、Ｘをインクリメントしてから（ステップＳ８）、ステップＳ５へ戻って次の画素に対する処理を行う。
【０１１３】
また、ステップＳ７においてＸｍａｘに達したと判定された場合には、Ｘを０にリセットして（ステップＳ９）、Ｙが全ライン数Ｙｍａｘに達したか否かを判定する（ステップＳ１０）。
【０１１４】
ここで、Ｙｍａｘに達していないと判定された場合には、Ｙをインクリメントしてから（ステップＳ１１）、ステップＳ５へ戻って次のラインの最初の画素に対する処理を行う。
【０１１５】
こうして、ステップＳ１０においてＹｍａｘに達したと判定された場合には、この処理から図示しないメイン処理へリターンする。
【０１１６】
図５は、図４のステップＳ６における欠陥画素補正処理の詳細を示すフローチャートである。
【０１１７】
この処理を開始すると、画素欠陥補正部２４が、欠陥補正の対象である対象画素がＧｒ画素またはＧｂ画素の何れかであり、かつＧｒとＧｂとを同色扱いにする設定がなされているか否かを判定する（ステップＳ２１）。
【０１１８】
ここに、ＧｒとＧｂとを同色扱いにする設定は、ユーザによる操作部からの操作入力に応じて、選択することができるようになっている。また、ユーザからの操作入力がないときには、予め設定された初期選択値が設定される。
【０１１９】
なお、後述するステップＳ２５以降の、ＧｒとＧｂとを別色扱いにする場合には、Ｒ，Ｇｒ，Ｂ，Ｇｂに対して同一の処理を適用することができる。これに対して、ＧｒとＧｂとを同色扱いにする処理は、ＧｒおよびＧｂのみに対して適用され、ＲおよびＢに対しては適用されない。従って、ＧｒとＧｂとを同色扱いすると処理が複雑になり、システムの複雑化・大規模化（あるいは処理負荷の増大、以下同様）が必要となるために、複雑化・大規模化を防ぐことができるように、ここでは同色扱いの処理をオン／オフ可能としている。
【０１２０】
このステップＳ２１の条件が成立する場合には、画素欠陥補正部２４が、ＧｒとＧｂとを同色として扱う場合の近傍を設定する（ステップＳ２２）。
【０１２１】
ＧｒとＧｂとを同色として扱う場合に設定される近傍について、図２１に示す画素配置を例に挙げて具体的に説明する。ここに、図２１は、Ｇｒ画素とＧｂ画素を同色として扱う場合の近傍に通常画素と欠陥画素とがある場合の補正例を示す図表である。
【０１２２】
図２１に示す画素配置において、欠陥補正の対象画素が例えば緑色画素のＧｒ０であるとする。このときには、Ｇｒ０の最近傍にある同色画素は、Ｇｒ０の斜め４方向に隣接する４つのＧｂ画素、つまり、右上のＧｂ１、左上のＧｂ２、左下のＧｂ３、および右下のＧｂ４である。そこで、画素欠陥補正部２４は、これらＧｂ１、Ｇｂ２、Ｇｂ３、およびＧｂ４を近傍に設定する。なお、対象画素がＧｂ画素であるときも同様に、画素欠陥補正部２４は、対象画素の斜め４方向に隣接する４つのＧｒ画素を近傍に設定する。
【０１２３】
そして、設定された近傍に基づいて、画素欠陥補正部２４が、図６を参照して説明するような拡張欠陥補正処理を行う（ステップＳ２３）。
【０１２４】
こうして、画素欠陥補正部２４は、後述するステップＳ２５以降の処理によりＧｒ画素とＧｂ画素とを別色として扱って対象画素の画素信号を補正する前に、ステップＳ２２およびステップＳ２３の処理によりＧｒ画素とＧｂ画素とを同色として扱って対象画素の画素信号を補正する同色扱い処理が選択可能となっている。
【０１２５】
そして、画素欠陥補正部２４は、ステップＳ２３の拡張欠陥補正を実行したか否かを判定する（ステップＳ２４）。
【０１２６】
ここで、補正を実行しなかったと判定された場合、またはステップＳ２１において、対象画素がＧｒ画素とＧｂ画素との何れでもないか、あるいはＧｒ画素またはＧｂ画素の何れかであってもＧｒとＧｂとを同色扱いにする設定がなされていないと判定された場合には、次の処理を行う。
【０１２７】
すなわち、画素欠陥補正部２４が、Ｇｒ画素とＧｂ画素とを別色として扱う場合、つまりＲ画素とＧｒ画素とＢ画素とＧｂ画素とをそれぞれ別色として扱う場合の近傍を設定する（ステップＳ２５）。Ｇｒ画素とＧｂ画素とを別色として扱う場合には、Ｒ，Ｇｒ，Ｇｂ，Ｂの何れに対しても、設定される近傍画素の対象画素に対する配置が同じとなる。
【０１２８】
まず、本実施形態における画素欠陥補正部２４は、対象画素が配置されたラインにある画素の画素信号に基づき対象画素の画素信号を補正する１次元補正と、対象画素が配置されたラインに隣接するラインを含む複数ラインにある画素の画素信号に基づき対象画素の画素信号を補正する２次元補正と、を選択可能であることを想定している。
【０１２９】
具体的に、画素欠陥補正部２４は、１ライン分のバッファデータに基づき欠陥画素の１次元補正を行うことと、例えば５ライン分のバッファデータに基づき欠陥画素の２次元補正を行うことと、を選択できるものとする。ここに、１次元補正を選択するか、または２次元補正を選択するかは、例えば、欠陥画素補正装置（あるいは欠陥画素補正装置を含む撮像装置１）の処理速度に応じて、あるいは被写体に応じて得られる撮影画像に応じて、適宜に決定される。
【０１３０】
図９に示す画素配置を例に挙げて具体的に説明する。ここに、図９は、補正対象画素の周囲に通常画素がある場合の一般的な補正例を示す図表である。
【０１３１】
図９に示す画素配置において、対象画素が例えば赤色画素のＲ０であるとすると、１次元補正を行う場合には、同一ラインにおける左側の最近傍同色画素Ｒ５および右側の最近傍同色画素Ｒ１を１次元の近傍に設定する。また、２次元補正を行う場合には、Ｒ１およびＲ５に加えて、さらに上側の最近傍同色画素Ｒ３および下側の最近傍同色画素Ｒ７を２次元の近傍に設定する。なお、対象画素がＧｒ，Ｇｂ，Ｂの何れである場合にも、Ｒと同様に近傍が設定される。
【０１３２】
そして、設定された近傍に基づいて、画素欠陥補正部２４が、図６を参照して説明するような拡張欠陥補正処理を行う（ステップＳ２６）。
【０１３３】
その後、画素欠陥補正部２４は、ステップＳ２６の拡張欠陥補正を実行したか否かを判定する（ステップＳ２７）。
【０１３４】
ここで、補正を実行しなかったと判定された場合に、画素欠陥補正部２４は、さらに追加補正を実行する設定がなされているか否かに応じて、追加補正を実行するか否かを判定する（ステップＳ２８）。
【０１３５】
ここに、追加補正を実行する設定は、ユーザによる操作部からの操作入力に応じて、選択することができるようになっている。また、ユーザからの操作入力がないときには、予め設定された初期選択値が設定される。
【０１３６】
ここで追加補正を実行するか否かを切り替えることができるようにしたのは、対象画素からの空間距離が遠い画素の画素信号を用いて対象画素を欠陥補正すると、画質が改善することを期待して補正を行ったにも関わらず、逆に画質が低下することもあるためである。補正により画質が低下する可能性がある被写体の例としては、空間相関性が低い被写体、例えば平坦でなく空間周波数が高い被写体などが挙げられる。
【０１３７】
ステップＳ２８において実行すると判定された場合には、画素欠陥補正部２４が、図７を参照して説明するような追加補正を行う（ステップＳ２９）。
【０１３８】
こうして、ステップＳ２９の処理を行った場合、ステップＳ２４もしくはステップＳ２７において補正を実行したと判定された場合、またはステップＳ２８において追加補正を実行しないと判定された場合には、この処理から図４に示した処理にリターンする。
【０１３９】
なお、ステップＳ２８において追加補正を実行しないと判定された場合には、対象画素は未補正のままとなる。
【０１４０】
図６は、図５のステップＳ２３，Ｓ２６および図７のステップＳ４３における拡張欠陥補正処理の詳細を示すフローチャートである。
【０１４１】
まずここでは、図５のステップＳ２３，Ｓ２６において実行される拡張欠陥補正処理について説明する。
【０１４２】
画素欠陥補正部２４は、図５のステップＳ２２またはＳ２５において、欠陥画素である対象画素に近傍を設定する。ここで設定された近傍内における、通常画素を近傍通常画素、欠陥画素を近傍欠陥画素とする。このときに、画素欠陥補正部２４は、近傍通常画素がある場合には、近傍通常画素の画素信号に基づいて対象画素の画素信号を補正する。また、画素欠陥補正部２４は、近傍通常画素がなく、かつ対象画素よりも序列が低い近傍欠陥画素がある場合には、最も序列が低い近傍欠陥画素の画素信号に基づいて対象画素の画素信号を補正するようになっている。
【０１４３】
すなわち、この処理を開始すると、画素欠陥補正部２４が、対象画素に対して設定された近傍に同色の近傍通常画素があるか否かを判定する（ステップＳ３１）。
【０１４４】
ここで、同色の近傍通常画素があると判定された場合には、近傍通常画素の画素信号に基づき対象画素の画素信号を補正する（ステップＳ３２）。
【０１４５】
例えば、図９のＡ欄は、ステップＳ２５において設定された近傍画素が通常画素である例を示している。
【０１４６】
この図９のＡ欄に示す例において１次元補正を行う場合に、Ｒ１およびＲ５が通常画素であるために、対象画素Ｒ０の画素信号Ｒ０（表記を簡単にするために、画素を表す符号と画素信号を表す符号とを同一とする。以下同様。）を、画素信号Ｒ１および画素信号Ｒ５に基づいて算出した（Ｒ１＋Ｒ５）／２で置き換えることで補正を行う（ステップＳ２６において実行されるステップＳ３２）。
【０１４７】
一方、図９のＡ欄に示す例において２次元補正を行う場合に、Ｒ１、Ｒ３、Ｒ５、およびＲ７が通常画素であるために、画素信号Ｒ０を、画素信号Ｒ１，Ｒ３，Ｒ５，Ｒ７に基づいて算出した（Ｒ１＋Ｒ３＋Ｒ５＋Ｒ７）／４で置き換えることで補正を行う（ステップＳ２６において実行されるステップＳ３２）。なお、図９のＡ欄に示す補正値は、何れも対象画素Ｒ０の近傍にある同色の通常画素信号の平均値となっている。
【０１４８】
また、図９のＢ欄は、Ｒ５が通常画素でなく欠陥画素である例を示している。このときには、１次元補正を行う場合に、画素信号Ｒ０を、画素信号Ｒ１で置き換えることで補正を行う（ステップＳ２６において実行されるステップＳ３２）。また、２次元補正を行う場合に、画素信号Ｒ０を、（Ｒ１＋Ｒ３＋Ｒ７）／３で置き換えることで補正を行う（ステップＳ２６において実行されるステップＳ３２）。従って、図９のＢ欄に示す補正値は、何れも、欠陥画素を除外した、対象画素Ｒ０の近傍にある同色の通常画素信号の平均値となっている。
【０１４９】
特定の箇所に欠陥画素が集中的に存在するイメージセンサ１５は、検査で除外されるために製品には搭載されない。従って、工場出荷後にあまり時間が経過していないイメージセンサ１５は、欠陥画素が集中的に存在することはなく、工場出荷時の検査で検出された登録された画素欠陥情報（先発画素欠陥の情報）に基づいて、図９を参照して説明したような欠陥補正の処理を行えば足りる。
【０１５０】
しかし、イメージセンサ１５は、時間の経過と共に後発的な画素欠陥が増える性質をもっている。つまり、工場出荷時の先発画素欠陥だけでなく、工場出荷後に検出され登録される後発画素欠陥および適応欠陥が生じるために、イメージセンサ１５に係る画素欠陥の登録数は時系列的に増加していくことになる。
【０１５１】
この結果、図９のＢ欄のように、ある画素欠陥に隣接する同色の画素が欠陥画素となるケースが増加し、場合によっては、ある画素欠陥の例えば上下左右に隣接する同色の画素が全て何れかの属性の画素欠陥で埋まってしまうケースも生じる。
【０１５２】
このように、近傍通常画素がない場合でも、近傍欠陥画素に基づいて欠陥補正を行うことができる場合が生じるようにしたために、図６に示す処理を拡張欠陥補正と称している。
【０１５３】
図１３は、補正対象画素の近傍に通常画素と欠陥画素とがある場合の補正例を示す図表である。図１３は、Ｒ３が通常画素でなく欠陥画素である例を示している。このときには、１次元補正に影響はないために、画素信号Ｒ０を（Ｒ１＋Ｒ５）／２で置き換えることで１次元補正を行う（ステップＳ２６において実行されるステップＳ３２）。また、２次元補正を行う場合に、画素信号Ｒ０を、（Ｒ１＋Ｒ５＋Ｒ７）／３で置き換えることで補正を行う（ステップＳ２６において実行されるステップＳ３２）。
【０１５４】
図１７は、短露光時間のときに、近傍に通常画素として扱う画素が生じる場合の補正例を示す図表である。
【０１５５】
図１７に示す例においては、対象画素Ｒ０が属性１で序列１、近傍同色画素Ｒ１が属性７で序列４、近傍同色画素Ｒ３が属性８で序列５、近傍同色画素Ｒ５が属性１で序列１、近傍同色画素Ｒ７が属性２で序列１となっている。
【０１５６】
ただし、図１１を参照すれば分かるように、短露光時間のときには、属性７の欠陥画素は序列が無効に設定されていて、通常画素として扱われる。従って、ステップＳ２６において実行されるステップＳ３１において通常画素があるとして扱われて、ステップＳ３２において、１次元補正を行う場合、および２次元補正を行う場合の何れも、画素信号Ｒ０を、画素信号Ｒ１で置き換えることで補正を行う。
【０１５７】
図２１は、Ｇｂ２およびＧｂ４は通常画素であるが、Ｇｂ１およびＧｂ３が通常画素でなく欠陥画素である例を示している。このときには、画素信号Ｇｒ０を（Ｇｂ２＋Ｇｂ４）／２で置き換えることで補正を行う（ステップＳ２３において実行されるステップＳ３２）。
【０１５８】
一方、ステップＳ３１において、同色の近傍通常画素がないと判定された場合には、さらに、対象画素よりも序列が低い同色の近傍欠陥画素があるか否かを画素欠陥補正部２４が判定する（ステップＳ３３）。
【０１５９】
ここで、対象画素よりも序列が低い同色の近傍欠陥画素があると判定された場合には、最小序列の近傍欠陥画素の画素信号に基づき対象画素の画素信号を補正する（ステップＳ３４）。
【０１６０】
図１４は、近傍に通常画素がないが、補正対象画素よりも序列が低い欠陥画素であって、最も序列が低い近傍欠陥画素が１つ以上ある場合の補正例を示す図表である。
【０１６１】
図１４に示す例においては、対象画素Ｒ０が属性１で序列１、近傍同色画素Ｒ１が属性８で序列５、近傍同色画素Ｒ３が属性８で序列５、近傍同色画素Ｒ５が属性１で序列１、近傍同色画素Ｒ７が属性２で序列１となっている。
【０１６２】
すなわち、対象画素Ｒ０よりも序列が低い近傍同色画素Ｒ１およびＲ３が存在し、何れも序列５である。従って、１次元補正を行う場合に、画素信号Ｒ０を、画素信号Ｒ１で置き換えることで補正を行う（ステップＳ２６において実行されるステップＳ３４）。また、２次元補正を行う場合に、画素信号Ｒ０を、（Ｒ１＋Ｒ３）／２で置き換えることで補正を行う（ステップＳ２６において実行されるステップＳ３４）。
【０１６３】
図１５は、近傍に通常画素がないが、補正対象画素よりも序列が低い欠陥画素であって、最も序列が低い近傍欠陥画素が１つだけある場合の補正例を示す図表である。
【０１６４】
図１５に示す例においては、対象画素Ｒ０が属性１で序列１、近傍同色画素Ｒ１が属性８で序列５、近傍同色画素Ｒ３が属性６で序列３、近傍同色画素Ｒ５が属性１で序列１、近傍同色画素Ｒ７が属性２で序列１となっている。
【０１６５】
すなわち、対象画素Ｒ０よりも序列が低い近傍同色画素Ｒ１およびＲ３が存在するが、最小序列の近傍画素はＲ１である。従って、１次元補正を行う場合、および２次元補正を行う場合の何れも、画素信号Ｒ０を、画素信号Ｒ１で置き換えることで補正を行う（ステップＳ２６において実行されるステップＳ３４）。
【０１６６】
図１６は、長露光時間のときに、近傍に通常画素がないが、補正対象画素よりも序列が低い欠陥画素であって、最も序列が低い近傍欠陥画素が１つだけある場合の補正例を示す図表である。上述した図１７は短露光時間の例であったが、この図１６は図１７とは異なる長露光時間の例である。
【０１６７】
図１６に示す例においては、対象画素Ｒ０が属性１で序列１、近傍同色画素Ｒ１が属性８で序列５、近傍同色画素Ｒ３が属性７で序列４、近傍同色画素Ｒ５が属性１で序列１、近傍同色画素Ｒ７が属性２で序列１となっている。
【０１６８】
すなわち、対象画素Ｒ０よりも序列が低い近傍同色画素Ｒ１およびＲ３が存在するが、最小序列の近傍画素はＲ１である。従って、１次元補正を行う場合、および２次元補正を行う場合の何れも、画素信号Ｒ０を、画素信号Ｒ１で置き換えることで補正を行う（ステップＳ２６において実行されるステップＳ３４）。
【０１６９】
また、図２２は、Ｇｒ画素とＧｂ画素を同色として扱う場合に、補正対象画素の近傍に通常画素がないが、補正対象画素よりも序列が低い欠陥画素であって、最も序列が低い近傍欠陥画素が１つ以上ある場合の補正例を示す図表である。
【０１７０】
図２２に示す例においては、対象画素Ｇｒ０が属性４で序列２、近傍同色画素Ｇｂ１が属性５で序列２、近傍同色画素Ｇｂ２が属性４で序列２、近傍同色画素Ｇｂ３が属性７で序列４、近傍同色画素Ｇｂ４が属性７で序列４となっている。
【０１７１】
すなわち、対象画素Ｇｒ０よりも序列が低い近傍同色画素Ｇｂ３およびＧｂ４が存在し、何れも序列４である。従って、画素信号Ｇｒ０を、（Ｇｂ３＋Ｇｂ４）／２で置き換えることで補正を行う（ステップＳ２３において実行されるステップＳ３４）。
【０１７２】
こうして、ステップＳ３２またはステップＳ３４の処理を行うか、またはステップＳ３３において対象画素よりも序列が低い同色の近傍欠陥画素がないと判定された場合には、図５に示す処理にリターンする。
【０１７３】
図７は、図５のステップＳ２９における追加補正処理の詳細を示すフローチャートである。
【０１７４】
画素欠陥補正部２４は、１次元補正と２次元補正との何れを追加補正の処理に適用するかを選択可能となっている。そこで、この処理を開始すると、追加補正を、１次元補正として行う選択がなされているか、または２次元補正として行う選択がなされているかを判定する（ステップＳ４１）。
【０１７５】
ここで、２次元補正として行うと判定された場合に、画素欠陥補正部２４は、２次元の近傍の外側に２次元の第２近傍を設定してから（ステップＳ４２）、設定した第２近傍の画素に基づき、図６を参照して説明したような拡張欠陥補正を行う（ステップＳ４３）。
【０１７６】
すなわち、ステップＳ４３において図６の拡張欠陥補正処理に入る場合には、近傍を第２近傍に読み替えて処理が行われる。なお、ステップＳ４３から実行される図６のステップＳ３３において、対象画素よりも序列が低い同色の第２近傍欠陥画素がないと判定された場合には、対象画素は未補正のままとなる。
【０１７７】
一方、２次元補正ではなく、１次元補正として行うと判定された場合に、画素欠陥補正部２４は、１次元の近傍の外側に１次元の第２近傍を設定してから（ステップＳ４４）、図８を参照して説明するような１次元追加補正を行う（ステップＳ４５）。
【０１７８】
なお、ステップＳ４２またはステップＳ４３において設定される第２近傍内における、通常画素を第２近傍通常画素、欠陥画素を第２近傍欠陥画素と適宜呼ぶことにする。
【０１７９】
上述したステップＳ４３またはステップＳ４５の処理を行ったら、図５に示す処理にリターンする。
【０１８０】
図１９は、近傍に通常画素がなく、かつ補正対象画素よりも序列が低い欠陥画素がない場合であって、２次元補正を行うときに第２近傍に通常画素が２つある場合の補正例を示す図表である。
【０１８１】
図１９に示す例においては、対象画素Ｒ０が属性４で序列２、近傍同色画素Ｒ１が属性５で序列２、近傍同色画素Ｒ３が属性５で序列２、近傍同色画素Ｒ５が属性１で序列１、近傍同色画素Ｒ７が属性２で序列１となっている。すなわち、対象画素Ｒ０よりも序列が低い近傍同色画素が存在しない。
【０１８２】
そこで、ステップＳ４１で２次元補正を行うと判定された後のステップＳ４２において、２次元の近傍である画素Ｒ１，Ｒ３，Ｒ５，Ｒ７の外側にある、右上の第２近傍画素Ｒ２と、左上の第２近傍画素Ｒ４と、左下の第２近傍画素Ｒ６と、右下の第２近傍画素Ｒ８とを、２次元の第２近傍に設定する。なお、対象画素Ｒ０を中心とした空間距離は、Ｒ１，Ｒ３，Ｒ５，Ｒ７までよりもＲ２，Ｒ４，Ｒ６，Ｒ８までの方が大きい。従って、第２近傍は近傍の外側に設定されているといえる。
【０１８３】
ステップＳ４２において設定された第２近傍においては、第２近傍画素Ｒ４，Ｒ８は属性８であるが、第２近傍画素Ｒ２，Ｒ６は通常画素である。そこで、ステップＳ４３から実行されるステップＳ３２において、画素信号Ｒ０を、（Ｒ２＋Ｒ６）／２で置き換えることで補正を行う。すなわち、画素欠陥補正部２４は、第２近傍通常画素がある場合には、第２近傍通常画素の画素信号に基づいて対象画素の画素信号を補正する。この場合に、第２近傍画素Ｒ４，Ｒ８の序列は考慮する必要がない。
【０１８４】
図２０は、近傍に通常画素がなく、かつ補正対象画素よりも序列が低い欠陥画素がない場合に２次元補正を行うときに、さらに第２近傍に通常画素がなく、補正対象画素よりも序列が低い欠陥画素であって、最も序列が低い第２近傍欠陥画素が３つある場合の補正例を示す図表である。
【０１８５】
図２０に示す例においては、対象画素Ｒ０が属性４で序列２、近傍同色画素Ｒ１が属性５で序列２、近傍同色画素Ｒ３が属性５で序列２、近傍同色画素Ｒ５が属性１で序列１、近傍同色画素Ｒ７が属性２で序列１となっている。すなわち、対象画素Ｒ０よりも序列が低い近傍同色画素が存在しない。
【０１８６】
そこで、ステップＳ４１で２次元補正を行うと判定された後のステップＳ４２において、近傍である画素Ｒ１，Ｒ３，Ｒ５，Ｒ７の外側にある、右上の第２近傍画素Ｒ２と、左上の第２近傍画素Ｒ４と、左下の第２近傍画素Ｒ６と、右下の第２近傍画素Ｒ８とを、２次元の第２近傍に設定する。
【０１８７】
ステップＳ４２において設定された第２近傍においては、通常画素が存在せず、第２近傍画素Ｒ２が属性６で序列３、第２近傍画素Ｒ４，Ｒ６，Ｒ８が属性８で序列５である。従って、対象画素Ｒ０よりも序列が低い近傍同色画素が第２近傍に存在して、最小序列である序列５の第２近傍欠陥画素はＲ４，Ｒ６，Ｒ８となる。
【０１８８】
そこで、ステップＳ４３から実行されるステップＳ３４において、画素信号Ｒ０を、（Ｒ４＋Ｒ６＋Ｒ８）／３で置き換えることで補正を行う。
【０１８９】
図８は、図７のステップＳ４５における１次元追加補正処理の詳細を示すフローチャートである。
【０１９０】
この処理を開始すると、対象画素の左側にある、対象画素と同色の第２近傍画素が、通常画素であるか否かを判定する（ステップＳ５１）。
【０１９１】
ここで、通常画素であると判定された場合には、左側の第２近傍通常画素の画素信号に基づいて、対象画素の画素信号を補正する（ステップＳ５２）。
【０１９２】
なお、ここではラスタスキャンの順序に従って、左側の第２近傍通常画素の画素信号を優先的に用いるようにしたが、これに限定されるものではない。
【０１９３】
また、ステップＳ５１において、左側の同色の第２近傍画素が通常画素でないと判定された場合には、次に、対象画素の右側にある、対象画素と同色の第２近傍画素が、通常画素であるか否かを判定する（ステップＳ５３）。
【０１９４】
ここで、通常画素であると判定された場合には、右側の第２近傍通常画素の画素信号に基づいて、対象画素の画素信号を補正する（ステップＳ５４）。
【０１９５】
こうして、ステップＳ５２もしくはステップＳ５４の処理を行うか、またはステップＳ５３において右側の同色の第２近傍画素が通常画素でないと判定された場合には、図７に示す処理にリターンする。
【０１９６】
従って、画素欠陥補正部２４は、第２近傍通常画素がある場合に、第２近傍通常画素の画素信号に基づいて対象画素の画素信号を補正する。これに対して、画素欠陥補正部２４は、１次元補正を適用するときに、第２近傍通常画素がない場合、つまり、ステップＳ５３において右側の同色の第２近傍画素が通常画素でないと判定された場合には、対象画素を未補正のままとする。
【０１９７】
こうして、画素欠陥補正部２４は、２次元補正を適用するときにのみ、第２近傍通常画素がない場合であって対象画素よりも序列が低い第２近傍欠陥画素がある場合に、最も序列が低い第２近傍欠陥画素の画素信号に基づいて対象画素の画素信号を補正する（つまり、１次元補正を適用するときには、第２近傍欠陥画素の画素信号に基づく対象画素の画素信号の補正は行わない）。
【０１９８】
図１８は、近傍に通常画素がなく、かつ補正対象画素よりも序列が低い欠陥画素がない場合であって、１次元追加補正を行うときに第２近傍に通常画素が１つだけある場合の補正例を示す図表である。
【０１９９】
図１８に示す例においては、対象画素Ｒ０が属性４で序列２、近傍同色画素Ｒ１が属性５で序列２、近傍同色画素Ｒ３が属性５で序列２、近傍同色画素Ｒ５が属性１で序列１、近傍同色画素Ｒ７が属性２で序列１となっている。すなわち、対象画素Ｒ０よりも序列が低い近傍同色画素が存在しない。
【０２００】
そこで、ステップＳ４１で１次元補正を行うと判定された後のステップＳ４２において、１次元の近傍である画素Ｒ５，Ｒ１の外側にある、左側の第２近傍画素Ｒ１２および右側の第２近傍画素Ｒ９を１次元の第２近傍に設定する。
【０２０１】
ステップＳ４２において設定された第２近傍においては、左側の第２近傍画素Ｒ１２は属性６であるが、右側の第２近傍画素Ｒ９に欠陥属性の情報がなく、つまり第２近傍画素Ｒ９は通常画素である。そこで、ステップＳ５４において、画素信号Ｒ０を、画素信号Ｒ９で置き換えることで補正を行う。この場合に、左側の第２近傍画素Ｒ１２の序列は考慮する必要がない。
【０２０２】
なお、もし上下方向のさらに外側にある同色画素、つまり、画素Ｒ３よりも上にある同色画素、および画素Ｒ７より下にある同色画素を考慮しようとすると、９ライン分のバッファデータが必要となってしまい、回路規模が増大することになる。そこでここでは、上下方向のさらに外側にある同色画素は考慮しない処理として、回路規模の増大を防ぐようにしている。
【０２０３】
なお、画素信号の空間相関性は、空間距離が近いほど高い。従って、対象画素Ｒ０の補正に用いるのに最も適した画素は上下左右の同色画素Ｒ１，Ｒ３，Ｒ５，Ｒ７、次に適した画素は斜め方向に隣接する同色画素Ｒ２，Ｒ４，Ｒ６，Ｒ８、さらに次に適した画素はＲ５の左側に隣接する同色画素Ｒ１２およびＲ１の右側に隣接する同色画素Ｒ９となる。
【０２０４】
また、ステップＳ２２およびステップＳ２３を参照して説明したようなＧｒ画素とＧｂ画素とを同色として扱う場合には、別色として扱う場合よりも空間距離が近い画素の画素信号を用いることができる。従って、より空間相関性が高い画素信号が欠陥補正に用いられることになり、より適切な補正値が得られる。そして、ステップＳ２２およびステップＳ２３の処理を、ステップＳ２５の処理よりも前に行うことで、こうしたメリットを有効に享受することができる。
【０２０５】
なお、上述では原色ベイヤー配列のイメージセンサを例に挙げて説明したが、これに限定されるものではない。例えば、原色系に限らず補色系のイメージセンサであっても構わない。また、ベイヤー配列に限らずその他の配列のイメージセンサでもよい。さらに、画素の色として、ホワイト画素（カラーフィルタなしの画素）、赤外透過フィルタを備える画素、紫外透過フィルタを備える画素などの、各種画素を含んでも構わない。これらの何れの場合であっても、補正部が、対象画素と同色として扱われる画素の画素信号に基づき、対象画素の画素信号を補正すればよい。
【０２０６】
また、上述では、イメージセンサ１５が複数色の画素を有するカラーイメージセンサである場合を説明したが、イメージセンサ１５がモノクロイメージセンサであっても、上述した処理を同様に適用することができる。すなわち、モノクロ画像に対しても、補正部が、近傍通常画素がある場合には、近傍通常画素の画素信号に基づいて対象画素の画素信号を補正し、近傍通常画素がなく、かつ対象画素よりも序列が低い近傍欠陥画素がある場合には、最も序列が低い近傍欠陥画素の画素信号に基づいて対象画素の画素信号を補正すればよい。言い替えれば、モノクロイメージセンサは、全ての画素を同色として扱う場合に該当する。
【０２０７】
このような実施形態１によれば、画素欠陥検出・補正部２０により、工場出荷後に発生する欠陥画素を検出して内部メモリ３に登録するようにしたために、工場出荷後のイメージセンサの欠陥画素の状態に対応することができる。
【０２０８】
また、従来は近傍通常画素がないと対象画素が未補正となっていたが、本実施形態によれば、対象画素よりも序列が低い近傍欠陥画素がある場合には、最も序列が低い近傍欠陥画素の画素信号に基づいて対象画素の画素信号を補正するようにしたために、未補正となる欠陥画素が少なくなる。
【０２０９】
そして、最も序列が低い近傍欠陥画素の画素信号に基づいて対象画素の画素信号を補正しているために、対象画素の画素信号の欠陥の度合いを軽減することができ、画像の画質の低下を抑制することができる。
【０２１０】
こうして、時系列的に増加する欠陥画素に対応するようにしたために、画像の画質が時間の経過に伴って低下するのを抑制することができる。
【０２１１】
さらに、対象画素と同色として扱われる画素の画素信号に基づき、対象画素の画素信号を補正するようにしたために、異なる色信号の相関性が低い場合にも、良好な補正結果を得ることができる。
【０２１２】
また、Ｒ画素とＧｒ画素とＢ画素とＧｂ画素とをそれぞれ別色として扱って近傍を設定した上で、対象画素の画素信号を補正する場合には、Ｒ画素とＧｒ画素とＢ画素とＧｂ画素とのそれぞれに対して同一の処理を適用することが可能となり、処理負荷を軽減して処理システムの複雑化・大規模化を防ぐことができる。
【０２１３】
さらに、追加補正の処理において、近傍の外側に第２近傍を設定し、第２近傍通常画素がある場合には、第２近傍通常画素の画素信号に基づいて対象画素の画素信号を補正するようにしたために、近傍に、近傍通常画素がなく、かつ対象画素よりも序列が低い近傍欠陥画素がない場合であっても、対象画素の欠陥補正を行うことができ、画像の画質低減を抑制することができる。
【０２１４】
そして、２次元補正による追加補正において、最も序列が低い第２近傍欠陥画素の画素信号に基づいて対象画素の画素信号を補正するようにしたために、第２近傍通常画素がない場合であって対象画素よりも序列が低い第２近傍欠陥画素がある場合には、対象画素の欠陥補正を行うことができ、画像の画質低減を抑制することができる。
【０２１５】
追加補正の処理に進むか否かを、操作部からの操作入力に応じて選択することができるようにしたために、被写体に応じて適切な処理を選択することで、未補正の場合よりも画質が低下してしまうのを防止することが可能となる。
【０２１６】
Ｇｒ画素とＧｂ画素とを別色として扱う前に、Ｇｒ画素とＧｂ画素とを同色として扱って対象画素の画素信号を補正する同色扱い処理を選択することができるようにしたために、対象画素の斜め４方向に隣接する４つのＧ画素を近傍に設定することで、より相関性の高い画素の画素信号を用いた、より精度の高い欠陥画素補正を行うことが可能となり、より高画質の画像を得ることができる。
【０２１７】
このとき、同色扱い処理を選択するか否かを、操作部からの操作入力に応じて決定することができるようにしたために、同色扱い処理をオフして処理負荷を軽減し処理システムの複雑化・大規模化を防ぐか、または同色扱い処理をオンしてより高画質の画像を得るかを選択することができる。
【０２１８】
欠陥画素の位置と欠陥画素の序列との紐付けを、露光時間が閾時間以上である場合と閾時間未満である場合とに分けて用いるようにしたために、欠陥画素として扱う必要あるか否かが露光時間の長さに応じて変化する画素の処理を適切に行うことが可能となる。
【０２１９】
また、ＩＳＯ感度が高いほど閾時間が短くなるように設定したために、信号増幅率によって欠陥画素の欠陥の度合いが変化するのに対応することができる。
【０２２０】
そして、欠陥画素の位置と欠陥画素の序列とを、欠陥画素の欠陥属性を経由して紐付けるようにしたために、撮影条件の変化に応じて、欠陥画素の位置に対する欠陥画素の序列を、画素欠陥序列設定部２２が所望に設定することが可能となる。これにより、撮影条件の変化に応じて欠陥画素の序列を適切に設定することができる。
【０２２１】
なお、上述した各部の処理は、ハードウェアとして構成された１つ以上のプロセッサが行うようにしてもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。あるいは、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録された処理プログラムを読み込んで実行することにより、各部としての機能を実行するようにしても構わない。
【０２２２】
また、上述では主として欠陥画素補正装置について説明したが、欠陥画素補正装置と同様の処理を行う欠陥画素補正方法であってもよいし、コンピュータに欠陥画素補正装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
【０２２３】
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【０２２４】
１…撮像装置
２…バス
３…内部メモリ
４…外部メモリ
５…表示部
６…入力ＩＦ
７…タッチパネル
８…バッテリ
９…システム制御部
１０…撮像部
１１…撮影光学系
１２…レンズ
１３…絞り
１４…メカニカルシャッタ
１５…イメージセンサ
２０…画素欠陥検出・補正部
２１…画素欠陥検出部
２２…画素欠陥序列設定部
２３…画素欠陥登録部
２４…画素欠陥補正部
３０…画像処理部
３１…画像解析部
３２…画像補正部
３３…現像処理部
【図１】
2020022135.tif 000003
【図２】
2020022135.tif 000004
【図３】
2020022135.tif 000005
【図４】
2020022135.tif 000006
【図５】
2020022135.tif 000007
【図６】
2020022135.tif 000008
【図７】
2020022135.tif 000009
【図８】
2020022135.tif 000010
【図９】
2020022135.tif 000011
【図１０】
2020022135.tif 000012
【図１１】
2020022135.tif 000013
【図１２】
2020022135.tif 000014
【図１３】
2020022135.tif 000015
【図１４】
2020022135.tif 000016
【図１５】
2020022135.tif 000017
【図１６】
2020022135.tif 000018
【図１７】
2020022135.tif 000019
【図１８】
2020022135.tif 000020
【図１９】
2020022135.tif 000021
【図２０】
2020022135.tif 000022
【図２１】
2020022135.tif 000023
【図２２】
2020022135.tif 000024