(57)【要約】異常画素の検出精度を向上させる。画像処理装置１００は、複数の画素から第１の方法に従って異常画素を特定する第１特定部１１０と、前記複数の画素のうち第１特定部１１０により特定された異常画素を除外した画素から、前記第１の方法と異なる第２の方法に従って第２の異常画素を特定する第２特定部１２０とを含む。
2018198916.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素から第１の方法に従って異常画素を特定する第１の特定手段と、
前記複数の画素のうち前記第１の特定手段により特定された異常画素を除外した画素から、前記第１の方法と異なる第２の方法に従って異常画素を特定する第２の特定手段と
を備える画像処理装置。
【請求項２】
前記第１の方法は、前記複数の画素の特性を第１の変量で表した場合の度数分布に基づいて異常画素を特定し、
前記第２の方法は、前記複数の画素のうち前記第１の特定手段により特定された異常画素を除外した画素の特性を前記第１の変量と異なる第２の変量で表した場合の度数分布に基づいて異常画素を特定する
請求項１に記載の画像処理装置。
【請求項３】
前記複数の画素の特性を前記第１の変量で表した場合の度数分布と、前記複数の画素の特性を前記第２の変量で表した場合の度数分布とは、度数のピークを２以上有し、
前記複数の画素の特性を前記第１の変量で表した場合の度数分布は、前記複数の画素の特性を前記第２の変量で表した場合の度数分布よりも複数の分布の山の重なりが少ない
請求項２に記載の画像処理装置。
【請求項４】
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
請求項１から請求項３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記第１の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
請求項１から請求項３までのいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定する
請求項１から請求項３までのいずれか１項に記載の画像処理装置。
【請求項７】
前記第１の特定手段又は前記第２の特定手段により特定された異常画素の出力信号を、当該異常画素の近傍の異常画素でない画素の出力信号に基づいて補正する補正手段をさらに備える
請求項１から請求項６までのいずれか１項に記載の画像処理装置。
【請求項８】
前記第１の特定手段又は前記第２の特定手段により特定された異常画素の位置を記憶する記憶手段をさらに含み、
前記補正手段は、前記記憶手段に記憶された前記位置に基づいて前記異常画素でない画素を特定する
請求項７に記載の画像処理装置。
【請求項９】
前記複数の画素のうち前記第１の特定手段又は前記第２の特定手段により特定された異常画素を除外した画素から、前記第１の方法及び前記第２の方法のいずれとも異なる第３の方法に従って異常画素を特定する第３の特定手段をさらに備える
請求項１から請求項８までのいずれか１項に記載の画像処理装置。
【請求項１０】
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第３の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
請求項９に記載の画像処理装置。
【請求項１１】
複数の画素から第１の方法に従って異常画素を特定し、
前記複数の画素のうち前記特定された異常画素を除外した画素から、前記第１の方法と異なる第２の方法に従って異常画素を特定する
画像処理方法。
【請求項１２】
前記第１の方法は、前記複数の画素の特性を第１の変量で表した場合の度数分布に基づいて異常画素を特定し、
前記第２の方法は、前記複数の画素のうち前記第１の方法により特定された異常画素を除外した画素の特性を前記第１の変量と異なる第２の変量で表した場合の度数分布に基づいて異常画素を特定する
請求項１１に記載の画像処理方法。
【請求項１３】
前記複数の画素の特性を前記第１の変量で表した場合の度数分布と、前記複数の画素の特性を前記第２の変量で表した場合の度数分布とは、度数のピークを２以上有し、
前記複数の画素の特性を前記第１の変量で表した場合の度数分布は、前記複数の画素の特性を前記第２の変量で表した場合の度数分布よりも複数の分布の山の重なりが少ない
請求項１２に記載の画像処理方法。
【請求項１４】
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
請求項１１から請求項１３までのいずれか１項に記載の画像処理方法。
【請求項１５】
前記第１の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
請求項１１から請求項１３までのいずれか１項に記載の画像処理方法。
【請求項１６】
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定する
請求項１１から請求項１３までのいずれか１項に記載の画像処理方法。
【請求項１７】
特定された異常画素の出力信号を、当該異常画素の近傍の異常画素でない画素の出力信号に基づいて補正する
請求項１１から請求項１６までのいずれか１項に記載の画像処理方法。
【請求項１８】
特定された異常画素の位置を記憶する記憶手段に記憶された前記位置に基づいて前記異常画素でない画素を特定する
請求項１７に記載の画像処理方法。
【請求項１９】
前記複数の画素のうち特定された異常画素を除外した画素から、前記第１の方法及び前記第２の方法のいずれとも異なる第３の方法に従って異常画素を特定する
請求項１１から請求項１８までのいずれか１項に記載の画像処理方法。
【請求項２０】
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第３の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
請求項１９に記載の画像処理方法。
【請求項２１】
コンピュータに、
複数の画素から第１の方法に従って異常画素を特定する第１の特定処理と、
前記複数の画素のうち前記特定された異常画素を除外した画素から、前記第１の方法と異なる第２の方法に従って異常画素を特定する第２の特定処理と
を実行させるためのプログラムを記憶する記憶媒体。
【請求項２２】
前記第１の方法は、前記複数の画素の特性を第１の変量で表した場合の度数分布に基づいて異常画素を特定し、
前記第２の方法は、前記複数の画素のうち前記第１の特定処理により特定された異常画素を除外した画素の特性を前記第１の変量と異なる第２の変量で表した場合の度数分布に基づいて異常画素を特定する
請求項２１に記載の記憶媒体。
【請求項２３】
前記複数の画素の特性を前記第１の変量で表した場合の度数分布と、前記複数の画素の特性を前記第２の変量で表した場合の度数分布とは、度数のピークを２以上有し、
前記複数の画素の特性を前記第１の変量で表した場合の度数分布は、前記複数の画素の特性を前記第２の変量で表した場合の度数分布よりも複数の分布の山の重なりが少ない
請求項２２に記載の記憶媒体。
【請求項２４】
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
請求項２１から請求項２３までのいずれか１項に記載の記憶媒体。
【請求項２５】
前記第１の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
請求項２１から請求項２３までのいずれか１項に記載の記憶媒体。
【請求項２６】
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定する
請求項２１から請求項２３までのいずれか１項に記載の記憶媒体。
【請求項２７】
前記プログラムは、コンピュータに、
前記第１の特定処理又は前記第２の特定処理により特定された異常画素の出力信号を、当該異常画素の近傍の異常画素でない画素の出力信号に基づいて補正する補正処理をさらに実行させる
請求項２１から請求項２６までのいずれか１項に記載の記憶媒体。
【請求項２８】
前記補正処理は、前記第１の特定処理又は前記第２の特定処理により特定された異常画素の位置を記憶する記憶手段に記憶された前記位置に基づいて前記異常画素でない画素を特定する
請求項２７に記載の記憶媒体。
【請求項２９】
前記プログラムは、コンピュータに、
前記複数の画素のうち前記第１の特定処理又は前記第２の特定処理により特定された異常画素を除外した画素から、前記第１の方法及び前記第２の方法のいずれとも異なる第３の方法に従って異常画素を特定する第３の特定処理をさらに実行させる
請求項２１から請求項２８までのいずれか１項に記載の記憶媒体。
【請求項３０】
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第３の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
請求項２９に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置等に関する。
【背景技術】
【０００２】
イメージセンサには、製造工程等に起因するさまざまな要因によって欠陥が生じる場合がある。例えば、イメージセンサを構成するセンサ素子には、半導体メサの傷や表面の歪みといった構造的要因や、回路間の接合断裂、素子間の接合短絡といった電気的要因による欠陥が生じ得る。【０００３】
センサ素子の欠陥は、出力結果である画素に異常を生じさせる可能性がある。ここでいう異常は、本来出力されるべき輝度値よりも特異的に明るく又は暗くなったり、入射光又はその強度変化に対して応答しなかったりすることを意味する。説明の便宜上、以下においては、このような異常が生じる画素のことを「異常画素」、異常画素でない画素のことを「正常画素」という。【０００４】
異常画素の検出に関連する技術の一例として、特許文献１〜３に記載された技術がある。特許文献１は、所定のパターンを被加工物上に投影する欠陥画素補償方法を開示している。特許文献２は、複数の判定方法に基づいて欠陥素子を判定する赤外線撮像装置を開示している。特許文献３は、固体撮像素子において発生した点滅欠陥画素を検出するための方法を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００５−５１０８６２号公報
【特許文献２】特開２００１−００８１００号公報
【特許文献３】特許第３９９５５１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
いくつかの場合に、正常画素と異常画素の区別が困難になる。例えば、１つのイメージセンサに異常画素が比較的多数生じるような場合には、正常画素と異常画素の区別が困難になる可能性がある。このような場合において、例えば特許文献３に開示された技術のように周辺画素を参照することによって画素の異常を検出すると、周辺画素にも異常画素が含まれるゆえに、検出の精度が低下するおそれがある。【０００７】
本発明の例示的な目的は、異常画素の検出精度を向上させることにある。
【課題を解決するための手段】
【０００８】
一の態様において、複数の画素から第１の方法に従って異常画素を特定する第１の特定手段と、前記複数の画素のうち前記第１の特定手段により特定された異常画素を除外した画素から、前記第１の方法と異なる第２の方法に従って異常画素を特定する第２の特定手段とを含む画像処理装置が提供される。【０００９】
別の態様において、複数の画素から第１の方法に従って第１の異常画素を特定し、前記複数の画素のうち前記第１の異常画素を除外した画素から、前記第１の方法と異なる第２の方法に従って第２の異常画素を特定する画像処理方法が提供される。【００１０】
さらに別の態様において、コンピュータに、複数の画素から第１の方法に従って第１の異常画素を特定する処理と、前記複数の画素のうち前記第１の異常画素を除外した画素から、前記第１の方法と異なる第２の方法に従って第２の異常画素を特定する処理とを実行させるためのプログラムを記憶する記憶媒体が提供される。別の態様において、前述のプログラムが提供されてもよい。
【発明の効果】
【００１１】
本発明によれば、異常画素の検出精度が向上する。
【図面の簡単な説明】
【００１２】
【図１】図１は、画像処理装置の構成の一例を示すブロック図である。
【図２】図２は、画像処理装置の動作の一例を示すフローチャートである。
【図３Ａ】図３Ａは、イメージセンサの出力特性（Ｖ）を示す度数分布の一例を示す。
【図３Ｂ】図３Ｂは、イメージセンサの出力特性（ΔＶ／Ｎ）を示す度数分布の一例を示す。
【図３Ｃ】図３Ｃは、イメージセンサの出力特性（Ｖ）を示す度数分布の別の例を示す。
【図４】図４は、画像処理装置の構成の別の例を示すブロック図である。
【図５】図５は、画像処理装置の構成のさらに別の例を示すブロック図である。
【図６】図６は、画像処理装置の動作の別の例を示すフローチャートである。
【図７】図７は、補正システムの構成の一例を示すブロック図である。
【図８Ａ】図８Ａは、イメージセンサの出力特性（ΔＶ）を示す度数分布の一例を示す。
【図８Ｂ】図８Ｂは、イメージセンサの出力特性（ΔＶ）を示す度数分布の別の例を示す。
【図９】図９は、異常画素を特定する手順を例示する。
【図１０】図１０は、異常画素の検出処理の一例を示すフローチャートである。
【図１１】図１１は、異常画素の補正処理の一例を示すフローチャートである。
【図１２Ａ】図１２Ａは、画素の走査方法の一例を示す。
【図１２Ｂ】図１２Ｂは、画素の走査方法の別の例を示す。
【図１２Ｃ】図１２Ｃは、画素の走査方法のさらに別の例を示す。
【図１３】図１３は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１３】
［第１実施形態］
図１は、一実施形態に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、少なくとも第１特定部１１０と第２特定部１２０とを含んで構成される。画像処理装置１００は、必要に応じて他の構成を含んでもよい。
【００１４】
画像処理装置１００は、複数の画素から正常画素を検出する。ここでいう複数の画素は、ある画像を構成する。複数の画素は、イメージセンサを構成する複数のセンサ素子からの出力に相当する。イメージセンサは、例えば、所定の規則で平面的に配置された複数のセンサ素子を有する。なお、イメージセンサは、可視光と不可視光（赤外線等）のいずれに感度を有するものであってもよい。ただし、以下においては、説明の便宜上、イメージセンサは可視光センサであるとする。
【００１５】
ここでいう異常画素は、正常画素でない画素を意味する。正常画素は、その出力が所定の基準を満たす画素を意味する。したがって、異常画素は、その出力が所定の基準を満たさない画素であるともいえる。なお、ここでいう異常画素は、欠陥画素（defective pixel(s)）、不良画素（bad pixel(s)）、欠損画素（本来あるべき情報が欠損した画素）と言い換えてもよい。
【００１６】
第１特定部１１０及び第２特定部１２０は、異常画素を特定する。第１特定部１１０及び第２特定部１２０は、異常画素の特定方法が異なる。説明の便宜上、以下においては、第１特定部１１０が用いる特定方法を「第１の方法」といい、第２特定部１２０が用いる特定方法を「第２の方法」という。第１の方法及び第２の方法は、必ずしも特定の方法に限定されない。第１の方法及び第２の方法は、方法自体は周知であってもよい。
【００１７】
また、説明の便宜上、以下においては、第１特定部１１０により特定される異常画素を「第１の異常画素」、第２特定部１２０により特定される異常画素を「第２の異常画素」ともいう。第１特定部１１０及び第２特定部１２０は、いずれも異常画素を特定する点においては共通するが、異常の判断基準（すなわち特定方法）が異なるといえる。したがって、ここでいう第１の異常画素及び第２の異常画素も、異常の判断基準が異なるだけであり、異常画素である点においては共通している。なお、第１の異常画素及び第２の異常画素は、いずれも１以上（典型的には複数）ある。
【００１８】
いくつかの場合において、第１特定部１１０及び第２特定部１２０は、異常画素を統計的に特定する。例えば、第１特定部１１０は、複数の画素の特性を所定の変量（以下「第１の変量」ともいう。）で表した場合の度数分布に基づいて第１の異常画素を特定する。
また、第２特定部１２０は、複数の画素の特性を第１の変量と異なる変量（以下「第２の変量」ともいう。）で表した場合の度数分布に基づいて第２の異常画素を特定する。第１の変量及び第２の変量は、例えば、第１の変量を用いた度数分布の方が第２の変量を用いた度数分布よりも正常画素と異常画素の区別が容易になるように選択される。
【００１９】
また、第１特定部１１０及び第２特定部１２０は、異常画素を段階的に特定するように構成される。具体的には、第２特定部１２０は、第１特定部１１０により第１の方法に従って異常画素が特定された後、第２の方法に従って、異常画素をさらに特定する。
【００２０】
より詳細には、第２特定部１２０は、画像処理装置１００に入力される複数の画素のうち、第１の異常画素を除外した画素から第２の異常画素を特定する。したがって、正常画素は、画像処理装置１００に入力される複数の画素のうち、第１特定部１１０に第１の異常画素であると特定されず、かつ第２特定部１２０にも第２の異常画素であると特定されなかった画素である。
【００２１】
例えば、画像処理装置１００に入力される画素の総数をＭ、第１特定部１１０により特定された第１の異常画素の数をｍ1、第２特定部１２０により特定された第２の異常画素の数をｍ2とする。この場合、第２特定部１２０は、（Ｍ−ｍ1）個の正常画素から第２の異常画素を特定する。また、異常画素の総数は（ｍ1＋ｍ2）個であり、正常画素の総数は（Ｍ−ｍ1−ｍ2）個である。
【００２２】
画像処理装置１００の構成は、以上のとおりである。この構成のもと、画像処理装置１００は、入力される複数の画素から異常画素を検出する。換言すれば、画像処理装置１００は、入力される複数の画素を正常画素と異常画素に区別する。画像処理装置１００は、以下の動作によって異常画素を検出する。
【００２３】
図２は、画像処理装置１００の動作を示すフローチャートである。ステップＳ１１において、第１特定部１１０は、第１の方法に従って、入力された複数の画素から第１の異常画素を特定する。ステップＳ１２において、第２特定部１２０は、入力された複数の画素のうちステップＳ１１において特定された第１の異常画素を除外した画素から、第２の方法に従って第２の異常画素を特定する。
【００２４】
図３Ａは、あるイメージセンサの出力特性を示す度数分布の一例を示す。この例において、出力信号Ｖは、所定の均一輝度の面光源を入射光とした場合の各画素の応答を意味する。出力信号Ｖは、画素値、輝度値などと言い換えてもよい。出力信号Ｖは、上述の第２の変量の一例に相当する。
【００２５】
入射光が均一であるゆえ、それぞれの画素は、理想的には同じ値を示すはずである。しかし、異常画素は、正常画素と異なる応答を示す。また、正常画素の出力信号であっても、実際には、ある値を最頻値として有限の範囲に分布する。このような理由により、出力信号Ｖは、さまざまな値を含んでいる。
【００２６】
また、異常画素の出力信号には、２通りの傾向が考えられる。第一に、異常画素は、正常画素よりも明るい（すなわち大きい）応答を示す可能性がある。このような異常のことを、以下においては「白色異常」ともいう。第二に、異常画素は、正常画素よりも暗い（すなわち小さい）応答を示す可能性がある。このような異常のことを、以下においては「黒色異常」ともいう。
【００２７】
これらの異常画素は、入射光に対して一応の応答は示すものの、その応答が正常でない画素である。このような異常画素は、正常画素と同様に、ある値を最頻値とした有限の範囲に分布する。そうすると、出力信号Ｖの度数分布には、３つのピークが現れる。すなわち、出力信号Ｖの度数分布は、複数の分布を含んだ多峰性分布（multimodal distribution）である。
【００２８】
なお、本実施形態でいう多峰性分布は、双峰性分布（bimodal distribution）を含むものとする。すなわち、ここでいう多峰性分布は、度数のピーク（極大値）を２以上含む分布である。換言すれば、ここでいう多峰性分布は、ピークが現れる分布のうち単峰性分布（unimodal distribution）以外の分布を意味する、ともいえる。
【００２９】
ここで、画像に占める異常画素の比率が少ない場合、正常画素の分布の山と異常画素の分布の山は、オーバーラップ（重複）しない。しかし、画像に占める異常画素の比率が多くなると、正常画素の分布の山と異常画素の分布の山とがオーバーラップするようになる。ここにおいて、「正常画素（又は異常画素）の分布の山」は、正常画素と異常画素とを区別できると仮定した場合における、正常画素（又は異常画素）のみの度数分布を意味する。また、正常画素の分布の山と異常画素の分布の山とがオーバーラップする状態は、正常画素の分布範囲と異常画素の分布範囲とが重なりを有する状態ともいえる。
【００３０】
図３Ａの例のように、正常画素の分布の山と異常画素の分布の山とがオーバーラップし、１つの分布曲線で表されるようになると、出力信号Ｖの度数分布のみに基づいて正常画素と異常画素とを区別することが極めて困難になる。図３Ａのようにオーバーラップが生じている場合、出力信号Ｖに対していかなる閾値を設定しても、異常画素を正常画素が含まれないように抽出することができない。
【００３１】
図３Ｂは、図３Ａにおいて例示されたイメージセンサの出力特性を別の変量で表した場合の度数分布の一例を示す。この例において、変量は、ΔＶ／Ｎで表される。ここにおいて、ΔＶは、輝度が異なる２つの面光源のそれぞれを入射光とした場合の応答の差分を意味する。また、Ｎは、イメージセンサを構成する各センサ素子に対して所定時間に渡って所定の均一輝度の入射光を入射した場合の応答の最大値と最小値の差分、すなわちセンサ素子のノイズ（雑音）を意味する。ΔＶ／Ｎは、上述の第１の変量の一例に相当する。
【００３２】
正常画素の場合、差分ΔＶは、入射光の輝度差に応じた一定の値を示す。これに対し、異常画素の場合、差分ΔＶは、正常画素と異なる値を示す。例えば、異常画素は、入射光の輝度によらず一定の応答を示したり、正常画素よりも差分が小さい応答を示したりする可能性がある。このような場合、異常画素の差分ΔＶは、正常画素の差分ΔＶよりも小さくなる。
【００３３】
また、ノイズＮは、正常画素であれば小さい。一方、異常画素は、いくつかの場合において、応答にばらつきを生じる。このような異常画素のノイズＮは、正常画素よりも大きな値を示す。
【００３４】
したがって、異常画素において、差分ΔＶは小さくなる傾向にあり、ノイズＮは大きくなる傾向にある。ゆえに、ΔＶ／Ｎは、異常画素で小さく、正常画素で大きくなる傾向にある。そのため、ΔＶ／Ｎの度数分布は、図３Ｂに例示されるように、正常画素の分布曲線が右側（値が大きい側）に位置し、異常画素の分布曲線が左側（値が小さい側）に位置する。
【００３５】
ΔＶ／Ｎの度数分布は、出力信号Ｖの度数分布と同様に、多峰性分布である。しかし、ΔＶ／Ｎの度数分布は、出力信号Ｖの度数分布に比べ、オーバーラップが少ない。換言すれば、ΔＶ／Ｎの度数分布は、出力信号Ｖの度数分布に比べ、正常画素の分布の山と異常画素の分布の山との重なりが少ない。ゆえに、ΔＶ／Ｎの度数分布は、出力信号Ｖの度数分布に比べ、正常画素か異常画素かを区別できない画素の数が少ないといえる。
【００３６】
例えば、第１特定部１１０は、図３Ｂにおける閾値Ｔｈ1を用いて正常画素と異常画素とを区別することができる。この場合、第２特定部１２０は、入力された複数の画素から第１特定部１１０により異常画素であると特定された画素を除外した画素を母集団として正常画素と異常画素とを区別する。
【００３７】
図３Ｃは、図３Ａにおいて例示されたイメージセンサの出力信号Ｖの度数分布を示す。
この度数分布（実線）は、イメージセンサを構成する複数の画素のうち第１特定部１１０により異常画素であると特定された画素を除外した画素を母集団とした度数分布である点において、図３Ａの度数分布（破線）と異なる。
【００３８】
第１特定部１１０により特定された第１の異常画素を除外した出力信号Ｖの度数分布は、正常画素の頻度は実質的に変化しないものの、異常画素の頻度が低下することにより、正常画素の分布の山と白色異常又は黒色異常の分布の山との重なりが元の度数分布（図３Ａ）よりも少なくなる。したがって、第１特定部１１０により特定された第１の異常画素を除外した出力信号Ｖの度数分布は、元の度数分布よりも正常画素と異常画素の区別が容易になる。なお、ここでいう重なりが「少ない」状態とは、重なりがない状態を含み得る。
【００３９】
例えば、第２特定部１２０は、出力信号Ｖが閾値ＴｈL以上閾値ＴｈH以下の範囲にある画素を正常画素とし、そうでない画素を異常画素と特定することができる。この場合、出力信号Ｖが閾値ＴｈL未満である画素は、黒色異常の画素である。また、出力信号Ｖが閾値ＴｈHを超える画素は、白色異常の画素である。
【００４０】
以上のとおり、本実施形態の画像処理装置１００は、異常画素を複数の方法で段階的に特定する構成を有する。この構成は、例えば、第１の方法を用いずに第２の方法のみを用いて異常画素を特定する場合と比較すると、正常画素と異常画素の区別を容易にすることを可能にする。したがって、画像処理装置１００は、異常画素の検出精度を向上させることが可能である。
【００４１】
また、本実施形態において、異常画素を複数の方法に従って特定することは、異常画素を複数の判断基準に従って特定することを意味するともいえる。ゆえに、画像処理装置１００によれば、単一の方法のみでは特定できない異常が生じる画素をも異常画素として検出することが可能である。
【００４２】
なお、本実施形態において、異常画素の段階的な特定は、上述のような２段階の特定に限定されない。すなわち、画像処理装置１００は、ｍ通り（ただし、ｍは２以上の整数）の特定方法に従って異常画素を段階的に特定するように構成されてもよい。
【００４３】
図４は、画像処理装置１００の構成の他の例を示すブロック図である。画像処理装置１００は、第１特定部１１０及び第２特定部１２０に加え、第３特定部１３０を含む。第３特定部１３０は、第１の方法及び第２の方法のいずれとも異なる第３の方法に従って異常画素を特定する。なお、画像処理装置１００は、図１及び図４の構成に限定されず、異常画素の特定方法が異なるより多くの特定部を含んで構成されてもよい。
【００４４】
［第２実施形態］
図５は、別の実施形態に係る画像処理装置２００の構成を示すブロック図である。画像処理装置２００は、検出部２１０と、記憶部２２０と、補正部２３０とを含んで構成される。
【００４５】
なお、以降の実施形態（及び変形例）において、他の実施形態に既に記載されている用語は、特に断りがある場合を除き、当該他の実施形態における意味と同様の意味で用いられるものとする。また、このような用語に関する重複的な説明は、適宜省略される。
【００４６】
画像処理装置２００は、第１実施形態の画像処理装置１００と共通の構成を含む。より詳細には、検出部２１０は、第１特定部１１０と、第２特定部１２０とを含む。検出部２１０は、第１実施形態の画像処理装置１００の一例に相当するともいえる。すなわち、検出部２１０は、所定のイメージセンサにおける異常画素を検出する。
【００４７】
また、検出部２１０は、イメージセンサにおける異常画素の位置を記録する。検出部２１０は、第１特定部１１０により特定された第１の異常画素の位置と、第２特定部１２０により特定された第２の異常画素の位置とを記録する。なお、検出部２１０は、異常画素の位置に代えて正常画素の位置を記録してもよい。なぜならば、イメージセンサにおける正常画素の位置が特定できれば、異常画素の位置も特定できるからである。
【００４８】
記憶部２２０は、異常画素の位置を示すデータを記憶する。イメージセンサを構成する各画素の位置は、例えば、所定の画素の位置を基準とした２次元直交座標系を用いて表すことができる。ここでいう基準の位置は、例えば、画像が長方形である場合であれば、長方形の頂点のいずれかに相当する。なお、記憶部２２０は、画像処理装置２００に対して着脱可能に構成されたり、画像処理装置２００とは別の記憶装置として構成されたりしてもよい。
【００４９】
補正部２３０は、異常画素の出力信号を補正する。補正部２３０は、異常画素の出力信号を、当該画素が正常画素であった場合に想定される出力信号に近付くように補正する。
具体的には、補正部２３０は、異常画素の出力信号を、当該画素の近傍の１以上の正常画素の出力信号に基づいて補正する。補正部２３０は、記憶部２２０に記憶されたデータを参照することによって、正常画素及び異常画素の位置を特定することができる。
【００５０】
ここでいう「近傍」の範囲は、特定の範囲に限定されない。換言すれば、ここでいう「近傍」の範囲は、可変である。いくつかの場合において、ここでいう「近傍」の範囲は、異常画素の周囲に存在する正常画素（又は異常画素）の数に依存する。例えば、異常画素の近傍の画素は、当該異常画素を基準として所定の規則に従って選択される。
【００５１】
図６は、画像処理装置２００の動作を示すフローチャートである。ステップＳ２１において、検出部２１０は、入力された複数の画素から異常画素を検出する。検出部２１０は、第１実施形態の画像処理装置１００と同様の要領で異常画素を検出することができる。
すなわち、検出部２１０は、複数の方法を用いて段階的に異常画素を検出することができる。また、検出部２１０は、異常画素の位置を示すデータを記憶部２２０に記録する。
【００５２】
ステップＳ２２において、補正部２３０は、異常画素の出力信号を補正する。補正部２３０は、記憶部２２０に記憶されたデータを参照することによって、補正対象の画素、すなわち異常画素を特定する。また、補正部２３０は、補正対象の異常画素の出力信号を、当該画素の近傍にある正常画素の出力信号に基づいて補正する。
【００５３】
以上のとおり、本実施形態の画像処理装置２００は、第１実施形態の画像処理装置１００と共通する構成を含む。したがって、画像処理装置２００は、画像処理装置１００と同様に、異常画素の検出精度を向上させることが可能である。
【００５４】
また、画像処理装置２００は、検出された異常画素の出力信号を近傍の正常画素の出力信号に基づいて補正する構成を有する。この構成は、異常画素の出力信号の補正精度を向上させる。特に、この構成は、イメージセンサに対応する画像全体に対する異常画素の比率が比較的高い場合に、異常画素の出力信号をより精度良く補正することを可能にするといえる。
【００５５】
一般に、ある画素の出力信号を当該画素の近傍の画素の出力信号に基づいて補正する場合、ここでいう「近傍の画素」の位置や数は、あらかじめ決められている。しかし、画像全体に対する異常画素の比率が比較的高い場合には、異常画素の周辺に他の異常画素がある可能性が高い。異常画素の出力信号が他の異常画素の出力信号に基づいて補正されると、補正の精度が低下する。
【００５６】
一方、画像処理装置２００は、記憶部２２０に記憶されたデータを参照することによって、正常画素と異常画素の位置を特定することができるため、ここでいう「近傍の画素」から異常画素を除外することが可能である。画像処理装置２００は、このようにして正常画素の出力信号を選択的に参照して異常画素の出力信号を補正することにより、補正精度を向上させることが可能である。
【００５７】
［第３実施形態］
図７は、さらに別の実施形態に係る補正システム３００の構成を示すブロック図である。補正システム３００は、イメージセンサ３１０と、画像処理装置３２０とを含む。画像処理装置３２０は、検出部３２１と、記憶部３２２と、補正部３２３とを含む。
【００５８】
イメージセンサ３１０は、複数のセンサ素子を有し、入射光に応じた出力信号を画像処理装置３２０に供給する。イメージセンサ３１０からの出力は、複数の異常画素を含み得る。例えば、イメージセンサ３１０は、試作品のような、性能を評価する段階にある製品であってもよい。すなわち、イメージセンサ３１０は、異常画素がない（又は少ない）というよりも、むしろ異常画素がある（又は多い）ことが前提にあるともいえる。
【００５９】
画像処理装置３２０は、第２実施形態の画像処理装置２００の一例に相当する。具体的には、検出部３２１、記憶部３２２及び補正部３２３は、検出部２１０、記憶部２２０及び補正部２３０と共通の構成を有する。ただし、検出部３２１、記憶部３２２及び補正部３２３の動作は、検出部２１０、記憶部２２０及び補正部２３０の動作と部分的に相違する。その相違点は、主として以下のとおりである。
【００６０】
検出部３２１は、３通りの特定方法のうち２以上の方法を用いて、異常画素を段階的に特定する。具体的には、検出部３２１は、Ｓ／Ｎ比に基づく方法と、差分ΔＶに基づく方法と、出力信号Ｖに基づく方法とを用いて異常画素を特定することが可能である。ここでいうＳ／Ｎ比は、第１実施形態におけるΔＶ／Ｎに相当する。すなわち、Ｓ／Ｎ比は、輝度が異なる２つの面光源のそれぞれを入射光とした場合のイメージセンサ３１０の応答の差分を、イメージセンサ３１０のセンサ素子のノイズで除した値である。
【００６１】
図８Ａは、イメージセンサの出力特性を、差分ΔＶを変量として用いて表した場合の度数分布の一例を示す。正常画素は、２つの面光源の輝度差に応じた応答を示す。これに対し、異常画素は、入射光の輝度変化に対する応答性が正常画素よりも悪く、場合によっては輝度変化に応答しない（すなわち輝度が変化しても出力が変化しない）。そのため、異常画素の差分ΔＶは、正常画素の差分ΔＶよりも小さくなる傾向にあり、一部は負の値を示すこともある。ただし、異常画素の差分ΔＶ及び正常画素の差分ΔＶは、一定のばらつきを生じるため、互いに異なる値を最頻値とした分布を示す。ゆえに、差分ΔＶの度数分布も、出力信号Ｖ又はＳ／Ｎ比（すなわちΔＶ／Ｎ）の度数分布の度数分布と同様に、多峰性分布である。
【００６２】
図８Ｂは、差分ΔＶの度数分布の別の例を示す。この例は、Ｓ／Ｎ比に基づく方法により特定された異常画素を除外した場合の度数分布を示している。したがって、図８Ｂの度数分布は、図８Ａの度数分布に比べ、異常画素に起因する値の頻度が低下する。結果として、差分ΔＶの度数分布は、複数の分布のオーバーラップが減少することにより、正常画素と異常画素の区別が容易になる。例えば、検出部３２１は、閾値Ｔｈ2を用いて正常画素と異常画素とを区別することができる。
【００６３】
正常画素と異常画素の区別の容易性は、Ｓ／Ｎ比に基づく方法、差分ΔＶに基づく方法、出力信号Ｖに基づく方法の順に高い。すなわち、Ｓ／Ｎ比に基づく方法は、これらの方法のうち、正常画素と異常画素の区別が最も容易な方法である。一方、出力信号Ｖに基づく方法は、これらの方法のうち、正常画素と異常画素の区別が最も困難な方法である。ここにおいて、正常画素と異常画素の区別が困難であることは、度数分布において正常画素の分布の山と異常画素の分布の山とに重なりが生じやすいことを意味する。
【００６４】
ある特定方法を用いて特定される異常画素と別の特定方法を用いて特定される異常画素とは、必ずしも同一ではない。例えば、異常画素には、Ｓ／Ｎ比に基づく方法では特定できるものの、差分ΔＶに基づく方法では異常画素であると特定できないものが含まれ得る。同様に、異常画素には、差分ΔＶに基づく方法では特定できるものの、出力信号Ｖに基づく方法では異常画素であると特定できないものが含まれ得る。したがって、検出部３２１は、複数の特定方法を併用することによって、異常画素の検出精度を向上させる。
【００６５】
図９は、検出部３２１が異常画素を特定する手順を例示する。検出部３２１は、上述の３通りの特定方法を全て用いる場合、Ｓ／Ｎ比に基づく方法、差分ΔＶに基づく方法、出力信号Ｖに基づく方法の順に異常画素を特定する。換言すれば、検出部３２１は、正常画素と異常画素の区別が容易な方法から順番に適用して異常画素を特定する。この場合、Ｓ／Ｎ比に基づく方法は、第１実施形態における第１の方法の一例に相当する。差分ΔＶに基づく方法は、第１実施形態における第２の方法の一例に相当する。出力信号Ｖに基づく方法は、第１実施形態における第３の方法の一例に相当する。
【００６６】
また、検出部３２１は、上述の３通りの特定方法のうち２つの方法を用いる場合、次のいずれかの順に異常画素を特定する。
（１）Ｓ／Ｎ比に基づく方法、出力信号Ｖに基づく方法の順
（２）差分ΔＶに基づく方法、出力信号Ｖに基づく方法の順
（３）Ｓ／Ｎ比に基づく方法、差分ΔＶに基づく方法の順
【００６７】
（１）又は（３）の場合のＳ／Ｎ比に基づく方法と、（２）の場合の差分ΔＶに基づく方法は、第１実施形態における第１の方法の一例に相当する。また、（１）又は（２）の場合の出力信号Ｖに基づく方法と、（３）の場合の差分ΔＶに基づく方法は、第１実施形態における第２の方法の一例に相当する。
【００６８】
図１０は、異常画素の検出処理を示すフローチャートである。なお、検出部３２１は、この例においては、上述の３通りの特定方法の全てを用いて異常画素を検出する。ステップＳ３０１において、検出部３２１は、イメージセンサ３１０から出力信号Ｖ1、Ｖ2を取得する。出力信号Ｖ1、Ｖ2は、いずれも、イメージセンサ３１０に対して均一輝度の入射光を照射した場合の応答である。ただし、出力信号Ｖ1、Ｖ2は、入射光の輝度が異なる。
ここでは、出力信号Ｖ1が出力されるときの光源の方が高輝度であるとする。なお、このような入射光は、例えば、均一標準光源を用いて照射される。
【００６９】
ステップＳ３０２において、検出部３２１は、ステップＳ３０１において取得された出力信号Ｖ1、Ｖ2を用いて、差分ＶとＳ／Ｎ比（ΔＶ／Ｎ）とを算出する。差分ΔＶは、出力信号Ｖ1から出力信号Ｖ2を減じた値であり、画素毎に算出される。なお、ノイズＮは、検出処理の実行前にあらかじめ測定されていてもよい。
【００７０】
ステップＳ３０３において、検出部３２１は、Ｓ／Ｎ比に基づく方法に従って異常画素を特定する。ステップＳ３０４において、検出部３２１は、ステップＳ３０３において特定された異常画素をマスキングし、当該特定された異常画素の位置を記憶部３２２に記録する。ここでいうマスキングは、対象の画素を以降の処理において除外することを意味する。
【００７１】
なお、検出部３２１は、所定の座標系を用いて、異常画素の位置を記憶部３２２に記録する。以下においては、異常画素の位置は、２次元直交座標系のｘ成分及びｙ成分によって表されるものとする。また、イメージセンサ３１０は、センサ素子が矩形内に格子状に配置され、その矩形の辺がｘ軸及びｙ軸に平行であるとする。
【００７２】
ステップＳ３０５において、検出部３２１は、差分ΔＶに基づく方法に従って異常画素を特定する。このとき、検出部３２１は、マスキングされた画素（すなわちステップＳ３０３において異常画素であると特定された画素）以外の画素の度数分布を算出する。そうすると、図８Ａ、図８Ｂにおいて例示されたように、正常画素と異常画素の区別が容易になる。
【００７３】
ステップＳ３０６において、検出部３２１は、ステップＳ３０５において特定された異常画素をマスキングし、当該特定された異常画素の位置を記憶部３２２に記録する。なお、ステップＳ３０６の処理は、ステップＳ３０４の処理と同様に実行される。
【００７４】
ステップＳ３０７において、検出部３２１は、出力信号Ｖに基づく方法に従って異常画素を特定する。このとき、検出部３２１は、ステップＳ３０１において取得された出力信号Ｖ1、Ｖ2のいずれか一方を出力信号Ｖとして用いて度数分布を算出する。そうすると、図３Ａ、図３Ｃにおいて例示されたように、正常画素と異常画素の区別が容易になる。ステップＳ３０８において、検出部３２１は、ステップＳ３０７において特定された異常画素の位置を記憶部３２２に記録する。
【００７５】
ステップＳ３０９において、検出部３２１は、正常画素の出力信号Ｖの平均値を算出する。より詳細には、検出部３２１は、出力信号Ｖの各画素のうち、ステップＳ３０４、Ｓ３０６及びＳ３０８において異常画素として記録された画素を除いた画素を正常画素であるとし、その出力信号Ｖの平均値を算出する。
【００７６】
ステップＳ３１０において、検出部３２１は、異常画素が白色異常と黒色異常のいずれであるかを記憶部３２２に記録する。このとき、検出部３２１は、異常画素の出力信号ＶをステップＳ３０９において算出された平均値と比較し、出力信号Ｖが平均値より大きい異常画素を白色異常とし、出力信号Ｖが平均値より小さい異常画素を黒色異常とする。
【００７７】
なお、ステップＳ３０９、Ｓ３１０は、異常画素の検出処理において必須ではない。ステップＳ３０９、Ｓ３１０を実行すると、異常画素が白色異常と黒色異常のいずれであるかを特定することが可能である。異常画素が白色異常と黒色異常のいずれであるかが特定できると、特定結果をイメージセンサ３１０の評価に利用することができる。
【００７８】
図１１は、異常画素の補正処理を示すフローチャートである。補正部３２３は、検出処理の実行結果に基づいて、イメージセンサ３１０により撮像された画像を表す出力信号に対して以下の補正処理を実行する。
【００７９】
ステップＳ３１１において、補正部３２３は、異常画素のいずれかの座標を選択する。
補正部３２３は、記憶部３２２に記憶されたデータを参照することにより、異常画素の位置を示す座標を特定する。補正部３２３は、異常画素の座標を所定の順序（例えば、昇順又は降順）で特定していく。
【００８０】
ステップＳ３１２において、補正部３２３は、ステップＳ３１１において選択された座標が画像の隅（コーナー）に相当するか判断する。より詳細には、補正部３２３は、ステップＳ３１１において取得された座標が次のいずれかに該当するか判断する。すなわち、ここでいう隅とは、「ｘ成分及びｙ成分が最小」、「ｘ成分が最小かつｙ成分が最大」、「ｘ成分が最大かつｙ成分が最小」、「ｘ成分及びｙ成分が最大」のいずれかを満たす画素をいう。
【００８１】
ステップＳ３１１において選択された座標が画像の隅に相当する場合（Ｓ３１２：ＹＥＳ）、補正部３２３は、ステップＳ３１３を実行する。ステップＳ３１３において、補正部３２３は、第１の走査方法に従って異常画素の近傍の画素を走査する。
【００８２】
一方、ステップＳ３１１において選択された座標が画像の隅に相当しない場合（Ｓ３１２：ＮＯ）、補正部３２３は、ステップＳ３１４を実行する。ステップＳ３１４において、補正部３２３は、ステップＳ３１１において選択された座標が画像の縁に相当するか判断する。
【００８３】
より詳細には、補正部３２３は、ステップＳ３１１において取得された座標が次のいずれかに該当するか判断する。すなわち、ここでいう縁とは、隅に該当しない画素のうち、「ｘ成分が最小」、「ｘ成分が最大」、「ｙ成分が最小」、「ｙ成分が最大」のいずれかを満たす画素をいう。
【００８４】
ステップＳ３１１において選択された座標が画像の縁に相当する場合（Ｓ３１４：ＹＥＳ）、補正部３２３は、ステップＳ３１５を実行する。ステップＳ３１５において、補正部３２３は、第２の走査方法に従って異常画素の近傍の画素を走査する。
【００８５】
一方、ステップＳ３１１において選択された座標が画像の縁に相当しない場合（Ｓ３１４：ＮＯ）、補正部３２３は、ステップＳ３１６を実行する。ステップＳ３１６において、補正部３２３は、第３の走査方法に従って異常画素の近傍の画素を走査する。
【００８６】
図１２Ａ、図１２Ｂ及び図１２Ｃは、画素の走査方法の一例を示す。これらの図において、ハッチングされた画素は、補正対象の異常画素を示している。図１２Ａは、第１の走査方法を示す。図１２Ｂは、第２の操作方法を示す。図１２Ｃは、第３の操作方法を示す。
【００８７】
図１２Ａに例示されるように、異常画素が座標（０，０）にある場合、補正部３２３は、座標（１，０）、座標（１，１）、座標（０，１）、座標（２，０）、座標（２，１）、…といった順序で画素を走査する。補正部３２３は、所定数の正常画素をスキャンするまで、このように画素を１つずつ走査する。
【００８８】
また、図１２Ｂに例示されるように、異常画素が座標（０，２）にある場合、補正部３２３は、座標（０，１）、座標（１，１）、座標（１，２）、座標（１，３）、座標（０，３）、座標（０，０）、座標（１，０）、…といった順序で画素を走査する。補正部３２３は、所定数の正常画素をスキャンするまで、このように画素を１つずつ走査する。
【００８９】
図１２Ｃに例示されるように、異常画素が座標（２，２）にある場合、補正部３２３は、座標（２，１）、座標（３，１）、座標（３，２）、座標（３，３）、座標（２，３）、座標（１，３）、座標（１，２）、…といった順序で画素を走査する。補正部３２３は、所定数の正常画素をスキャンするまで、このように画素を１つずつ走査する。
【００９０】
ステップＳ３１７において、補正部３２３は、走査された画素が正常画素であるかを判断する。走査された画素が正常画素である場合（Ｓ３１７：ＹＥＳ）、補正部３２３は、ステップＳ３１８において当該画素の出力信号を取得する。また、ステップＳ３１９において、補正部３２３は、ステップＳ３１８において取得された出力信号を記憶部３２２に記録する。
【００９１】
一方、走査された画素が正常画素でない場合（Ｓ３１７：ＮＯ）、補正部３２３は、ステップＳ３１８、Ｓ３１９をスキップする。すなわち、この場合、補正部３２３は、出力信号の記録を行わない。
【００９２】
ステップＳ３２０において、補正部３２３は、走査された正常画素の数が所定の閾値（ここでは「ｎ」とする。）に達したかを判断する。補正部３２３は、走査された正常画素の数をステップＳ３１８、Ｓ３１９の実行回数に基づいて判断することができる。走査された正常画素の数は、出力信号が記録された回数と等しい。
【００９３】
走査された正常画素の数がｎ未満である場合（Ｓ３２０：ＮＯ）、補正部３２３は、画素の走査を続行する。すなわち、補正部３２３は、走査する画素の位置をずらしながら、ステップＳ３１７以降の処理を繰り返す。この場合の画素の走査方法は、図１２Ａ〜図１２Ｃに例示されたように、異常画素の座標に応じて異なり得る。
【００９４】
走査された正常画素の数がｎに達した場合（Ｓ３２０：ＹＥＳ）、補正部３２３は、ステップＳ３２１において異常画素の補正値を算出する。ここにおいて、補正部３２３は、記憶部３２２に記憶されたｎ個の正常画素の出力信号に基づいて補正値を算出する。
【００９５】
補正値は、例えば、ｎ個の正常画素の出力信号の平均値である。ただし、補正値の具体的な算出方法は、このような単純平均に限定されず、異常画素と正常画素との距離に応じた重み付き平均であってもよい。あるいは、補正部３２３は、異常画素が白色異常か黒色異常であるかで補正値の算出方法を異ならせてもよい。
【００９６】
ステップＳ３２２において、補正部３２３は、ステップＳ３１１において選択された座標にある異常画素の出力信号を補正する。例えば、補正部３２３は、異常画素の出力信号を、ステップＳ３２１において算出された補正値に置き換える。あるいは、補正部３２３は、異常画素の出力信号に対し、ステップＳ３２１において算出された補正値に応じた値を加算又は減算してもよい。
【００９７】
ステップＳ３２３において、補正部３２３は、全ての異常画素が補正されたか判断する。すなわち、補正部３２３は、記憶部３２２に記憶されている異常画素の全てに対して上述の補正が実行されたかを判断する。補正されていない異常画素がある場合（Ｓ３２３：ＮＯ）、補正部３２３は、ステップＳ３１１以降の処理を再度実行する。具体的には、補正部３２３は、ステップＳ３１１において未補正の異常画素の座標を選択し、ステップＳ３１２以降の処理を実行する。そして、全ての異常画素が補正された場合（Ｓ３２３：ＹＥＳ）、補正部３２３は、補正処理を終了する。
【００９８】
以上のとおり、本実施形態の補正システム３００は、第１実施形態の画像処理装置１００又は第２実施形態の画像処理装置２００と共通する構成を含む。したがって、補正システム３００は、画像処理装置１００、２００と同様に、異常画素の検出精度を向上させることが可能である。
【００９９】
また、補正システム３００は、イメージセンサ３１０から検出された異常画素の出力信号を補正する構成を有する。補正システム３００は、イメージセンサ３１０に異常画素がある場合においても、異常画素に起因する出力信号、すなわち本来の値と異なる出力信号を精度良く補正することができる。
【０１００】
［変形例］
上述された第１〜第３実施形態は、例えば、以下のような変形を適用することができる。これらの変形例は、必要に応じて適宜組み合わせることも可能である。
【０１０１】
（１）上述したとおり、イメージセンサは、不可視光に感度を有するセンサであってもよい。例えば、イメージセンサは、赤外線を感知する赤外線センサであってもよい。
【０１０２】
イメージセンサとして赤外線センサを用いる場合、Ｓ／Ｎ比は、ＮＥＴＤ（Noise Equivalent Temperature Difference）に置き換えられる。ここにおいて、ＮＥＴＤは、Ｎ／（ΔＶ／Ｔ）で表すことができる。ただし、ΔＴは、ΔＶの算出に用いられる２通りの入射光の強度差（温度差）を表す。
【０１０３】
ＮＥＴＤは、Ｓ／Ｎ比の逆数に比例する。したがって、ＮＥＴＤに基づく度数分布は、正常画素の分布曲線と異常画素の分布曲線とがＳ／Ｎ比に基づく度数分布（図３Ｂ参照）とは逆に位置する。ＮＥＴＤに基づく度数分布は、正常画素の分布曲線が異常画素の分布曲線よりも左側（値が小さい側）にシフトする。なお、ＮＥＴＤに基づく度数分布は、Ｓ／Ｎ比に基づく度数分布と同様に、差分ΔＶに基づく度数分布や出力信号Ｖに基づく度数分布に比べ、正常画素の分布の山と異常画素の分布の山との重なりが少ないため、正常画素と異常画素の区別が容易である。
【０１０４】
（２）本発明の実施形態に係る装置（画像処理装置１００、２００、３２０）の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、本発明の実施形態に係る装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。
【０１０５】
図１３は、本発明の実施形態に係る装置を実現するコンピュータ装置４００のハードウェア構成の一例を示すブロック図である。コンピュータ装置４００は、ＣＰＵ（Central Processing Unit）４０１と、ＲＯＭ（Read Only Memory）４０２と、ＲＡＭ（Random Access Memory）４０３と、記憶装置４０４と、ドライブ装置４０５と、通信インタフェース４０６と、入出力インタフェース４０７とを含んで構成される。
【０１０６】
ＣＰＵ４０１は、ＲＡＭ４０３を用いてプログラム４０８を実行する。通信インタフェース４０６は、ネットワーク４１０を介して外部装置とデータをやり取りする。入出力インタフェース４０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。
通信インタフェース４０６及び入出力インタフェース４０７は、データを取得又は出力するための構成要素として機能することができる。
【０１０７】
なお、プログラム４０８は、ＲＯＭ４０２に記憶されていてもよい。また、プログラム４０８は、メモリカード等の記録媒体４０９に記録され、ドライブ装置４０５によって読み出されてもよいし、外部装置からネットワーク４１０を介して送信されてもよい。
【０１０８】
本開示に係る装置は、図１３に示される構成（又はその一部）によって実現され得る。
例えば、画像処理装置１００の場合、第１特定部１１０及び第２特定部１２０は、ＣＰＵ４０１、ＲＯＭ４０２及びＲＡＭ４０３に対応する。また、画像処理装置２００の場合、検出部２１０及び補正部２３０は、ＣＰＵ４０１、ＲＯＭ４０２及びＲＡＭ４０３に対応し、記憶部２２０は、ＲＡＭ４０３又は記憶装置４０４に対応する。
【０１０９】
なお、本発明の実施形態に係る装置の構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。例えば、本開示に係る装置は、一部が専用のプロセッサによって実現され、他の部分が汎用のプロセッサによって実現されてもよい。
【０１１０】
［付記］
本発明の一部又は全部は、以下の付記のようにも記載され得る。ただし、本発明は、必ずしもこの付記の態様に限定されない。
【０１１１】
（付記１）
複数の画素から第１の方法に従って異常画素を特定する第１の特定手段と、
前記複数の画素のうち前記第１の特定手段により特定された異常画素を除外した画素から、前記第１の方法と異なる第２の方法に従って異常画素を特定する第２の特定手段と
を備える画像処理装置。
【０１１２】
（付記２）
前記第１の方法は、前記複数の画素の特性を第１の変量で表した場合の度数分布に基づいて異常画素を特定し、
前記第２の方法は、前記複数の画素のうち前記第１の特定手段により特定された異常画素を除外した画素の特性を前記第１の変量と異なる第２の変量で表した場合の度数分布に基づいて異常画素を特定する
付記１に記載の画像処理装置。
【０１１３】
（付記３）
前記複数の画素の特性を前記第１の変量で表した場合の度数分布と、前記複数の画素の特性を前記第２の変量で表した場合の度数分布とは、度数のピークを２以上有し、
前記複数の画素の特性を前記第１の変量で表した場合の度数分布は、前記複数の画素の特性を前記第２の変量で表した場合の度数分布よりも複数の分布の山の重なりが少ない
付記２に記載の画像処理装置。
【０１１４】
（付記４）
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記１から付記３までのいずれか１項に記載の画像処理装置。
【０１１５】
（付記５）
前記第１の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記１から付記３までのいずれか１項に記載の画像処理装置。
【０１１６】
（付記６）
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定する
付記１から付記３までのいずれか１項に記載の画像処理装置。
【０１１７】
（付記７）
前記第１の特定手段又は前記第２の特定手段により特定された異常画素の出力信号を、当該異常画素の近傍の異常画素でない画素の出力信号に基づいて補正する補正手段をさらに備える
付記１から付記６までのいずれか１項に記載の画像処理装置。
【０１１８】
（付記８）
前記第１の特定手段又は前記第２の特定手段により特定された異常画素の位置を記憶する記憶手段をさらに含み、
前記補正手段は、前記記憶手段に記憶された前記位置に基づいて前記異常画素でない画素を特定する
付記７に記載の画像処理装置。
【０１１９】
（付記９）
前記複数の画素のうち前記第１の特定手段又は前記第２の特定手段により特定された異常画素を除外した画素から、前記第１の方法及び前記第２の方法のいずれとも異なる第３の方法に従って異常画素を特定する第３の特定手段をさらに備える
付記１から付記８までのいずれか１項に記載の画像処理装置。
【０１２０】
（付記１０）
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第３の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記９に記載の画像処理装置。
【０１２１】
（付記１１）
複数の画素から第１の方法に従って異常画素を特定し、
前記複数の画素のうち前記特定された異常画素を除外した画素から、前記第１の方法と異なる第２の方法に従って異常画素を特定する
画像処理方法。
【０１２２】
（付記１２）
前記第１の方法は、前記複数の画素の特性を第１の変量で表した場合の度数分布に基づいて異常画素を特定し、
前記第２の方法は、前記複数の画素のうち前記第１の方法により特定された異常画素を除外した画素の特性を前記第１の変量と異なる第２の変量で表した場合の度数分布に基づいて異常画素を特定する
付記１１に記載の画像処理方法。
【０１２３】
（付記１３）
前記複数の画素の特性を前記第１の変量で表した場合の度数分布と、前記複数の画素の特性を前記第２の変量で表した場合の度数分布とは、度数のピークを２以上有し、
前記複数の画素の特性を前記第１の変量で表した場合の度数分布は、前記複数の画素の特性を前記第２の変量で表した場合の度数分布よりも複数の分布の山の重なりが少ない
付記１２に記載の画像処理方法。
【０１２４】
（付記１４）
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記１１から付記１３までのいずれか１項に記載の画像処理方法。
【０１２５】
（付記１５）
前記第１の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記１１から付記１３までのいずれか１項に記載の画像処理方法。
【０１２６】
（付記１６）
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定する
付記１１から付記１３までのいずれか１項に記載の画像処理方法。
【０１２７】
（付記１７）
特定された異常画素の出力信号を、当該異常画素の近傍の異常画素でない画素の出力信号に基づいて補正する
付記１１から付記１６までのいずれか１項に記載の画像処理方法。
【０１２８】
（付記１８）
特定された異常画素の位置を記憶する記憶手段に記憶された前記位置に基づいて前記異常画素でない画素を特定する
付記１７に記載の画像処理方法。
【０１２９】
（付記１９）
前記複数の画素のうち特定された異常画素を除外した画素から、前記第１の方法及び前記第２の方法のいずれとも異なる第３の方法に従って異常画素を特定する
付記１１から付記１８までのいずれか１項に記載の画像処理方法。
【０１３０】
（付記２０）
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第３の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記１９に記載の画像処理方法。
【０１３１】
（付記２１）
コンピュータに、
複数の画素から第１の方法に従って異常画素を特定する第１の特定処理と、
前記複数の画素のうち前記特定された異常画素を除外した画素から、前記第１の方法と異なる第２の方法に従って異常画素を特定する第２の特定処理と
を実行させるためのプログラムを記憶する記憶媒体。
【０１３２】
（付記２２）
前記第１の方法は、前記複数の画素の特性を第１の変量で表した場合の度数分布に基づいて異常画素を特定し、
前記第２の方法は、前記複数の画素のうち前記第１の特定処理により特定された異常画素を除外した画素の特性を前記第１の変量と異なる第２の変量で表した場合の度数分布に基づいて異常画素を特定する
付記２１に記載の記憶媒体。
【０１３３】
（付記２３）
前記複数の画素の特性を前記第１の変量で表した場合の度数分布と、前記複数の画素の特性を前記第２の変量で表した場合の度数分布とは、度数のピークを２以上有し、
前記複数の画素の特性を前記第１の変量で表した場合の度数分布は、前記複数の画素の特性を前記第２の変量で表した場合の度数分布よりも複数の分布の山の重なりが少ない
付記２２に記載の記憶媒体。
【０１３４】
（付記２４）
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記２１から付記２３までのいずれか１項に記載の記憶媒体。
【０１３５】
（付記２５）
前記第１の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記２１から付記２３までのいずれか１項に記載の記憶媒体。
【０１３６】
（付記２６）
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定する
付記２１から付記２３までのいずれか１項に記載の記憶媒体。
【０１３７】
（付記２７）
前記プログラムは、コンピュータに、
前記第１の特定処理又は前記第２の特定処理により特定された異常画素の出力信号を、当該異常画素の近傍の異常画素でない画素の出力信号に基づいて補正する補正処理をさらに実行させる
付記２１から付記２６までのいずれか１項に記載の記憶媒体。
【０１３８】
（付記２８）
前記補正処理は、前記第１の特定処理又は前記第２の特定処理により特定された異常画素の位置を記憶する記憶手段に記憶された前記位置に基づいて前記異常画素でない画素を特定する
付記２７に記載の記憶媒体。
【０１３９】
（付記２９）
前記プログラムは、コンピュータに、
前記複数の画素のうち前記第１の特定処理又は前記第２の特定処理により特定された異常画素を除外した画素から、前記第１の方法及び前記第２の方法のいずれとも異なる第３の方法に従って異常画素を特定する第３の特定処理をさらに実行させる
付記２１から付記２８までのいずれか１項に記載の記憶媒体。
【０１４０】
（付記３０）
前記第１の方法は、前記複数の画素の出力信号と雑音とに基づいた比率を用いて異常画素を特定し、
前記第２の方法は、前記複数の画素に対応する複数のセンサ素子に対して第１の強度で入射光が照射された場合の出力信号と第２の強度で入射光が照射された場合の出力信号との差分を用いて異常画素を特定し、
前記第３の方法は、前記複数の画素の出力信号を用いて異常画素を特定する
付記２９に記載の記憶媒体。
【０１４１】
以上、本発明は、上述された実施形態及び変形例を模範的な例として説明された。しかし、本発明は、これらの実施形態及び変形例に限定されない。本発明は、本発明のスコープ内において、いわゆる当業者が把握し得るさまざまな変形又は応用を適用した実施の形態を含み得る。また、本発明は、本明細書に記載された事項を必要に応じて適宜に組み合わせ、又は置換した実施の形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。
【０１４２】
この出願は、２０１７年４月２４日に出願された日本出願特願２０１７−０８４９２７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１４３】
１００、２００、３２０    画像処理装置
１１０    第１特定部
１２０    第２特定部
１３０    第３特定部
２１０、３２１    検出部
２２０、３２２    記憶部
２３０、３２３    補正部
３００    補正システム
３１０    イメージセンサ
４００    コンピュータ装置
【図１】
2018198916.tif 000003
【図２】
2018198916.tif 000004
【図３Ａ】
2018198916.tif 000005
【図３Ｂ】
2018198916.tif 000006
【図３Ｃ】
2018198916.tif 000007
【図４】
2018198916.tif 000008
【図５】
2018198916.tif 000009
【図６】
2018198916.tif 000010
【図７】
2018198916.tif 000011
【図８Ａ】
2018198916.tif 000012
【図８Ｂ】
2018198916.tif 000013
【図９】
2018198916.tif 000014
【図１０】
2018198916.tif 000015
【図１１】
2018198916.tif 000016
【図１２Ａ】
2018198916.tif 000017
【図１２Ｂ】
2018198916.tif 000018
【図１２Ｃ】
2018198916.tif 000019
【図１３】
2018198916.tif 000020
【国際調査報告】
2018198916.tif 000021
2018198916.tif 000022
2018198916.tif 000023
2018198916.tif 000024