(57)【要約】【課題】高ダイナミックレンジの画像の撮像が可能なイメージセンサにおいて効率的な欠陥補正処理を実行できるようにする。【解決手段】異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部とを備える。【選択図】図３
2015019293.tif 000002
【特許請求の範囲】
【請求項１】
異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、
前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部と
を備える固体撮像装置。
【請求項２】
前記画素アレイ上に、同一の露光時間または露光感度の画素が行単位で規則的に配置されている
請求項１に記載の固体撮像装置。
【請求項３】
前記画素アレイ上に、同一の露光時間または露光感度の所定数の画素がＬ字型の一群の画素として規則的に配置されている
請求項１に記載の固体撮像装置。
【請求項４】
前記画素値補正部は、
前記画素アレイに配置された画素のうち、注目画素を中心とし、予め設定された行数の画素から成る処理単位領域を抽出し、前記処理単位領域毎に前記注目画素の画素値を補正する
請求項１に記載の固体撮像装置。
【請求項５】
前記処理単位領域の行数は５である
請求項４に記載の固体撮像装置。
【請求項６】
前記画素値補正部は、
前記処理単位領域の画素のうち、最大値となる画素値を出力する画素の数に基づいて、前記処理単位領域が飽和しているか否かを判定する飽和判定部と、
前記処理単位領域の画素により構成される画像が、テクスチャが含まれない平坦な画像であるか否かを判定する平坦判定部と、
前記処理単位領域の画素により構成される画像が、平坦な画像ではないと判定された場合、前記テクスチャの方向を検出する方向検出部と、
前記注目画素が欠陥画素であるか否かを判定する欠陥判定部と、
前記注目画素が欠陥画素であると判定された場合、前記注目画素の画素値を補正する欠陥補正部と
を備える請求項４に記載の固体撮像装置。
【請求項７】
前記飽和判定部の判定結果に応じて、前記平坦判定部、および、前記方向検出部のそれぞれが異なる方式により、前記平坦な画像であるか否かの判定、および、前記テクスチャの方向の検出を行う
請求項６に記載の固体撮像装置。
【請求項８】
前記平坦判定部の判定結果に応じて、前記欠陥判定部、および、前記欠陥補正部のそれぞれが異なる方式により、前記注目画素が欠陥画素であるか否かの判定、および、前記注目画素の画素値の補正を行う
請求項７に記載の固体撮像装置。
【請求項９】
前記欠陥補正部は、
前記処理単位領域の画素により構成される画像が、平坦な画像ではないと判定された場合、前記注目画素の画素値を、前記検出されたテクスチャの方向に基づいて選択された画素の画素値と置き換えることで補正する
請求項８に記載の固体撮像装置。
【請求項１０】
前記欠陥補正部は、
前記画素アレイ上に、同一の露光時間または露光感度の所定数の画素がＬ字型の一群の画素として規則的に配置されている場合、前記検出されたテクスチャの方向が垂直方向であったとき、
前記テクスチャの方向に基づいて選択された画素の画素値を、線形補間によって生成する
請求項９に記載の固体撮像装置。
【請求項１１】
前記欠陥補正部は、さらに、
前記線形補間によって生成された画素値に基づいて決定される混合比率に基づいて、前記線形補間によって生成された画素値と、前記注目画素の画素値を混合する
請求項１０に記載の固体撮像装置。
【請求項１２】
前記処理単位領域の画素のうち、第１の露光時間または第１の露光感度を有する画素の画素値に、所定のゲインを乗じることで、前記処理単位領域の画素値を、前記第２の露光時間または第２の露光感度を有する画素の画素値を基準として正規化するゲイン付加部をさらに備える
請求項６に記載の固体撮像装置。
【請求項１３】
積層型のイメージセンサとして構成され、
第１のチップに前記画素アレイが配置され、
第２のチップに前記画素値補正部の機能を実現するための回路が形成される
請求項１に記載の固体撮像装置。
【請求項１４】
異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正するステップ
を含む固体撮像方法。
【請求項１５】
異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、
前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部とを有する固体撮像装置
を備える電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、固体撮像装置および方法、並びに、電子機器に関し、特に、高ダイナミックレンジの画像の撮像が可能なイメージセンサにおいて効率的な欠陥補正処理を実行できるようにする固体撮像装置および方法、並びに、電子機器に関する。
【背景技術】
【０００２】
従来より、イメージセンサから出力される画像信号において、欠陥画素に係る画素信号の補正が行われている。
【０００３】
欠陥画素は、通常、極めて大きい値の画素信号を常に出力する白とび（白点欠陥画素）、または、極めて小さい値の画素信号を常に出力する黒つぶれ（黒点欠陥画素）に分類される。そして、このような欠陥画素に係る画素信号の補正処理（欠陥補正処理）は、欠陥画素の周囲の画素の画素信号に基づいて、欠陥画素の画素信号を演算して生成することにより行われる。
【０００４】
また、例えば、ベイヤー配列の画素アレイ内において、欠陥画素の補正のために用いる画素を、欠陥画素と同色の画素から選択する技術も提案されている（例えば、特許文献１参照）。
【０００５】
また、近年、イメージセンサのダイナミックレンジを拡大させる方式が提案されている。例えば、ベイヤー配列の画素アレイ内において、画素の位置に応じて露光時間を変えることにより、低輝度の画素から高輝度の画素まで適切に表示された、高ダイナミックレンジの画像を得る技術も開発されている。このような高ダイナミックレンジ画像の撮像方式には、ＳＶＥ（Spatially Varying Exposure）方式などがある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１３０２３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の欠陥画素の補正では、ＳＶＥ方式のイメージセンサにおける欠陥補正処理が考慮されていなかった。
【０００８】
本技術はこのような状況に鑑みて開示するものであり、高ダイナミックレンジの画像の撮像が可能なイメージセンサにおいて効率的な欠陥補正処理を実行できるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の第１の側面は、異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部とを備える固体撮像装置である。
【００１０】
前記画素アレイ上に、同一の露光時間または露光感度の画素が行単位で規則的に配置されているようにすることができる。
【００１１】
前記画素アレイ上に、同一の露光時間または露光感度の所定数の画素がＬ字型の一群の画素として規則的に配置されているようにすることができる。
【００１２】
前記画素値補正部は、前記画素アレイに配置された画素のうち、注目画素を中心とし、予め設定された行数の画素から成る処理単位領域を抽出し、前記処理単位領域毎に前記注目画素の画素値を補正するようにすることができる。
【００１３】
前記処理単位領域の行数は５であるようにすることができる。
【００１４】
前記画素値補正部は、前記処理単位領域の画素のうち、最大値となる画素値を出力する画素の数に基づいて、前記処理単位領域が飽和しているか否かを判定する飽和判定部と、前記処理単位領域の画素により構成される画像が、テクスチャが含まれない平坦な画像であるか否かを判定する平坦判定部と、前記処理単位領域の画素により構成される画像が、平坦な画像ではないと判定された場合、前記テクスチャの方向を検出する方向検出部と、前記注目画素が欠陥画素であるか否かを判定する欠陥判定部と、前記注目画素が欠陥画素であると判定された場合、前記注目画素の画素値を補正する欠陥補正部とを備えるようにすることができる。
【００１５】
前記飽和判定部の判定結果に応じて、前記平坦判定部、および、前記方向検出部のそれぞれが異なる方式により、前記平坦な画像であるか否かの判定、および、前記テクスチャの方向の検出を行うようにすることができる。
【００１６】
前記平坦判定部の判定結果に応じて、前記欠陥判定部、および、前記欠陥補正部のそれぞれが異なる方式により、前記注目画素が欠陥画素であるか否かの判定、および、前記注目画素の画素値の補正を行うようにすることができる。
【００１７】
前記欠陥補正部は、前記処理単位領域の画素により構成される画像が、平坦な画像ではないと判定された場合、前記注目画素の画素値を、前記検出されたテクスチャの方向に基づいて選択された画素の画素値と置き換えることで補正するようにすることができる。
【００１８】
前記欠陥補正部は、前記画素アレイ上に、同一の露光時間または露光感度の所定数の画素がＬ字型の一群の画素として規則的に配置されている場合、前記検出されたテクスチャの方向が垂直方向であったとき、前記テクスチャの方向に基づいて選択された画素の画素値を、線形補間によって生成するようにすることができる。
【００１９】
前記欠陥補正部は、さらに、前記線形補間によって生成された画素値に基づいて決定される混合比率に基づいて、前記線形補間によって生成された画素値と、前記注目画素の画素値を混合するようにすることができる。
【００２０】
前記処理単位領域の画素のうち、第１の露光時間または第１の露光感度を有する画素の画素値に、所定のゲインを乗じることで、前記処理単位領域の画素値を、前記第２の露光時間または第２の露光感度を有する画素の画素値を基準として正規化するゲイン付加部をさらに備えるようにすることができる。
【００２１】
積層型のイメージセンサとして構成され、第１のチップに前記画素アレイが配置され、第２のチップに前記画素値補正部の機能を実現するための回路が形成されるようにすることができる。
【００２２】
本技術の第１の側面は、異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正するステップを含む固体撮像方法である。
【００２３】
本技術の第２の側面は、異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部とを有する固体撮像装置を備える電子機器である。
【００２４】
本技術の第１の側面および第２の側面においては、異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値が、他の画素の画素値を用いて補正される。
【発明の効果】
【００２５】
本技術によれば、高ダイナミックレンジの画像の撮像が可能なイメージセンサにおいて効率的な欠陥補正処理を実行できる。
【図面の簡単な説明】
【００２６】
【図１】ＳＶＥ方式における行露光配列を説明する図である。
【図２】ＳＶＥ方式における均一露光配列を説明する図である。
【図３】本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
【図４】欠陥補正処理部の詳細な構成例を示すブロック図である。
【図５】行露光配列における処理単位領域の例を示す図である。
【図６】行露光配列における図４の平坦判定部の処理を説明する図である。
【図７】行露光配列における図４の方向検出部の処理を説明する図である。
【図８】処理単位領域が飽和している場合の図４の欠陥補正部の処理を説明する図である。
【図９】均一露光配列における処理単位領域の例を示す図である。
【図１０】均一露光配列における図４の平坦判定部の処理を説明する図である。
【図１１】均一露光配列の場合、注目画素がＧの画素であったときの図４の平坦判定部の処理を説明する図である。
【図１２】均一露光配列の場合、処理単位領域が飽和していないときの図４の欠陥補正部の処理を説明する図である。
【図１３】均一露光配列の場合、処理単位領域が飽和しているときの図４の方向検出部の処理を説明する図である。
【図１４】均一露光配列の場合、処理単位領域が飽和しているときの図４の欠陥補正部の処理を説明する図である。
【図１５】補正候補値と注目画素の画素値との混合の方式を説明する図である。
【図１６】垂直方向に、注目画素と同色で同露光時間の画素を選択するために必要となる画素領域を説明する図である。
【図１７】行露光配列欠陥補正処理の例を説明するフローチャートである。
【図１８】非飽和平坦判定処理の例を説明するフローチャートである。
【図１９】平坦欠陥判定処理の例を説明するフローチャートである。
【図２０】平坦欠陥補正処理の例を説明するフローチャートである。
【図２１】方向検出処理の例を説明するフローチャートである。
【図２２】非平坦欠陥判定処理の例を説明するフローチャートである。
【図２３】非平坦欠陥補正処理の例を説明するフローチャートである。
【図２４】飽和欠陥判定処理の例を説明するフローチャートである。
【図２５】飽和欠陥補正処理の例を説明するフローチャートである。
【図２６】均一露光配列欠陥補正処理の例を説明するフローチャートである。
【図２７】飽和平坦判定処理の例を説明するフローチャートである。
【図２８】飽和非平坦欠陥判定処理の例を説明するフローチャートである。
【図２９】飽和非平坦欠陥補正処理の例を説明するフローチャートである。
【図３０】飽和非平坦欠陥補正処理の例を説明するフローチャートである。
【図３１】飽和非平坦欠陥補正処理の例を説明するフローチャートである。
【図３２】本技術の一実施形態に係る半導体装置としての固体撮像装置の構成例を示す図である。
【図３３】本実施形態に係る積層構造のイメージセンサのプロセスフローを説明する図である。
【図３４】本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００２８】
図１および図２は、ＳＶＥ（Spatially Varying Exposure）方式を採用したイメージセンサの画素アレイの平面図の例を示す図である。ＳＶＥは、ベイヤー配列の画素アレイ内において、画素の位置に応じて露光時間を変えることにより、低輝度の画素から高輝度の画素まで適切に表示された、高ダイナミックレンジの画像を得る技術である。
【００２９】
図１および図２の例では、ハッチングされた画素が短時間露光画素とされ、ハッチングされていない画素が長時間露光画素とされている。
【００３０】
図１と図２の構成では、露光配列が異なっている。すなわち、短時間露光画素の配置と長時間露光画素の配置のパターンが異なっている。
【００３１】
図１の構成の場合、上から２行の画素が短時間露光画素とされ、その下の２行の画素が長時間露光画素とされ、さらにその下の２行の画素が短時間露光画素とされ、さらにその下の２行の画素が長時間露光画素とされている。すなわち、画素アレイ上に同一の露光時間の画素が行単位で規則的に配置されている。図１に示される露光配列は、行別露光配列とも称される。
【００３２】
図２の構成の場合、ベイヤー配列の画素アレイの中で各色の短時間露光画素および長時間露光画素が空間的に均一になるよう配置されている。この例では、短時間露光画素および長時間露光画素のそれぞれが、Ｒ，Ｇ，Ｇ，およびＢの４つの画素から成るＬ字型の一群の画素として規則的に配置されている。図２に示される露光配列は、均一露光配列とも称される。
【００３３】
図３は、本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。この画像処理装置１０は、ＳＶＥ方式のイメージセンサから出力される画像信号に対応する画像を入力画像とし、高ダイナミックレンジの出力画像を生成して出力するものとされる。
【００３４】
また、画像処理装置１０は、後述するように、積層型のイメージセンサにおいて、いわゆる下チップに実装されるようになされており、ＳＶＥ方式のイメージセンサのセンサチップと一体化されて構成される。
【００３５】
この例では、画像処理装置１０は、欠陥補正処理部２１、ＨＤＲ合成処理部２２、および、階調変換処理部２３を有する構成とされている。
【００３６】
欠陥補正処理部２１は、入力画像の欠陥画素の画素値を補正するブロックとされる。欠陥補正処理部２１は、行別露光配列または均一露光配列で配置された各画素の画素値を必要に応じて補正する。
【００３７】
ＨＤＲ合成処理部２２は、１枚の入力画像（行別露光配列または均一露光配列で配置された各画素から成る画像から、暗い領域用の画像および明るい領域用の画像を生成して合成するブロックとされる。すなわち、ＨＤＲ合成処理部２２は、画像の中の暗い領域を鮮明に表示することができるように長時間露光画素の画素値を用いた暗い領域用の画像と、画像の中の明るい領域を鮮明に表示することができるように短時間露光画素の画素値を用いた明るい領域用の画像とを生成する。そしてこれらの画像が合成される。
【００３８】
階調変換処理部２３は、例えば、ＨＤＲ合成処理部２２によって合成された画像の画素値のビット数を調整する階調変換処理を行うブロックとされる。
【００３９】
次に、欠陥補正処理部２１による処理について詳細に説明する。図４は、欠陥補正処理部２１の詳細な構成例を示すブロック図である。
【００４０】
欠陥補正処理部２１は、イメージセンサの画素アレイの有効領域に配置された各画素をそれぞれ注目画素とし、注目画素が欠陥画素であった場合、注目画素の画素信号を他の画素の画素信号を用いて生成する。この例では、欠陥補正処理部２１は、ゲイン補正部４１、飽和判定部４２、平坦判定部４３、方向検出部４４、欠陥判定部４５、および欠陥補正部４６を有する構成とされている。
【００４１】
詳細は後述するが、ゲイン補正部４１は、主に、ＳＶＥ方式のイメージセンサの画素アレイに長時間露光画素と短時間露光画素とが混在する中で、短時間露光画素の画素値を、長時間露光画素と比較できるようにするためにゲインを乗じる機能ブロックとされる。
【００４２】
飽和判定部４２は、主に、画素アレイの中の所定の領域が強い光を受光するなどして飽和しているか否かを判定する機能ブロックとされる。ＳＶＥ方式のイメージセンサの画素アレイには、長時間露光画素が存在するため、強い光を受光するすると、長時間露光画素の画素値が最大値に達し、受光量に対応する正確な画素値を得られない状態（飽和した状態）となりやすい。
【００４３】
平坦判定部４３は、主に、画素アレイの中の所定の領域で受光した光に対応する画像にテクスチャなどが含まれている（すなわち、画像が平坦ではない）か否かを判定する機能ブロックとされる。
【００４４】
方向検出部４４は、欠陥判定部により、画素アレイの中の所定の領域で受光した光に対応する画像にテクスチャなどが含まれていると判定された場合、テクスチャの方向を検出する機能ブロックとされる。
【００４５】
欠陥判定部４５は、主に、注目画素が欠陥画素であるか否かを判定する機能ブロックである。なお、欠陥画素は、通常、極めて大きい値の画素信号を常に出力する白とび（白点欠陥画素）、または、極めて小さい値の画素信号を常に出力する黒つぶれ（黒点欠陥画素）に分類される。
【００４６】
欠陥補正部４６は、主に、欠陥判定部４５により欠陥画素であると判定された注目画素の画素値を、他の画素の画素値を用いて補正する機能ブロックとされる。
【００４７】
なお、欠陥補正処理部２１は、露光配列が行露光配列である場合と、均一露光配列である場合とで、それぞれ異なる処理を実行するが、ここでは、最初に露光配列が行露光配列である場合の処理について説明する。
【００４８】
［行露光配列の場合の欠陥補正処理部２１の処理］
ゲイン補正部４１は、入力画像の画素値について、露光時間の差に伴う差分を調整するための補正を行う。
【００４９】
すなわち、入力画像の画素値は、ＳＶＥ方式のイメージセンサから出力される画像信号に対応するものなので、短時間露光画素の画素値と長時間露光画素の画素値が混在している。ゲイン補正部４１は、例えば、短時間露光画素の画素値に、（長時間露光画素の露光時間/短時間露光画素の露光時間）として求められるゲインを乗じる。これにより、短時間露光画素の画素値が長時間露光相当の画素値に補正される。換言すれば、ゲイン補正部４１の処理によって、短時間露光画素の画素値と長時間露光画素の画素値が混在する入力画像の画素値が、長時間露光画素の画素値を基準として正規化される。
【００５０】
飽和判定部４２は、注目画素を中心とする所定画素数の領域である処理単位領域について、画素値が飽和しているか否かを判定する。すなわち、当該処理単位領域が、画像の中の極めて明るい領域に対応しているか否かを判定する。
【００５１】
図５は、処理単位領域の例を示す図である。この例では、ベイヤー配列の画素アレイにおける２５（＝５×５）個の画素で構成される領域が処理単位領域とされている。図５の例では、注目画素が図中×印で表示されており、この例では、赤色（Ｒ）の長時間露光画素とされている。
【００５２】
飽和判定部４２は、注目画素を中心とする２５個の画素で構成される処理単位領域の中で、画素値が最大値となっている画素の数を特定する。ここで、画素値が最大値となっている画素とは、例えば、画素値を所定のビット数からなるデジタルデータで表現する場合、当該ビット数で表現できる最大値（例えば、８ビットのデジタルデータで表現する場合、２５５）となっている画素を意味する。すなわち、ここでは、単位時間内の受光量が大きすぎて、受光した光の全てを光電変換により電荷として出力し得ない状態を飽和と称している。
【００５３】
飽和判定部４２は、画素値が最大値となっている画素の数が予め設定された閾値以上である場合、当該処理単位領域は飽和していると判定する。例えば、画素値が最大値となっている画素の数が３（閾値）以上である場合、当該処理単位領域は飽和していると判定される。ここで、閾値が３とされているのは、注目画素が白点欠陥画素であった場合を考慮し、注目画素以外の２つの画素の画素値が最大値となっているか否かにより、飽和しているか否かを判定できるようにしたものである。
【００５４】
なお、平坦判定部４３乃至欠陥補正部４６の処理は、飽和判定部４２の判定結果によって異なる。例えば、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、平坦判定部４３による判定および方向検出部４４による方向の検出は行われない。飽和した処理単位領域が、本来テクスチャを含む領域であったか否かを判定するのは困難だからである。
【００５５】
ここでは、最初に飽和判定部４２により、当該処理単位領域が飽和していないと判定された場合の平坦判定部４３乃至欠陥補正部４６の処理の例について説明する。
【００５６】
［行露光配列において当該処理単位領域が飽和していない場合］
平坦判定部４３は、当該処理単位領域が平坦であるか否かを判定する。例えば、当該処理単位領域が画像の中のテクスチャの一部である場合、当該処理単位領域は平坦ではないものと判定される。
【００５７】
平坦判定部４３は、当該処理単位領域内における注目画素と同色の画素の画素値の最大値または最小値と比較して当該注目画素の画素値が大きいかまたは小さいかを判定する。例えば、注目画素がＲの長時間露光画であった場合、図６に示されるように、処理単位領域内において円が付された８個のＲの画素（Ｒ０乃至Ｒ７）の最大値または最小値を特定する。注目画素の画素値がＲ０乃至Ｒ７の画素値の最大値より大きい場合、当該注目画素は白点欠陥画素候補として所定のフラグなどが設定される。また、注目画素の画素値がＲ０乃至Ｒ７の画素値の最小値より小さい場合、当該注目画素は黒点欠陥画素候補として所定のフラグなどが設定される。
【００５８】
平坦判定部４３は、さらに、当該処理単位領域の平均偏差を演算する。例えば、図６の例の場合、平坦判定部４３は、Ｒ０乃至Ｒ７の画素値の平均値ａｖｅ＿ａｒｅａを式（１）により演算し、その演算結果を用いて、当該処理単位領域の平均偏差ｓｔｄ＿ａｒｅａを、式（２）により算出する。
【００５９】
【数１】
2015019293.tif 000003
・・・（１）
【００６０】
【数２】
2015019293.tif 000004
・・・（２）
【００６１】
そして、平坦判定部４３は、式（２）により算出された平均偏差ｓｔｄ＿ａｒｅａが予め設定された閾値未満である場合、当該処理単位領域が平坦であると判定し、平均偏差ｓｔｄ＿ａｒｅａが予め設定された閾値以上である場合、当該処理単位領域が平坦ではないと判定する。
【００６２】
なお、上述したように、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、平坦判定部４３による判定は行われない。
【００６３】
方向検出部４４は、当該処理単位領域が平坦ではないと判定された場合、当該処理単位領域に含まれるテクスチャ（模様）の方向を判定する。
【００６４】
方向検出部４４は、処理単位領域の左右両端を１画素ずつ拡張した３５（＝７×５）個の画素から成る方向検出領域を抽出する。そして、方向検出部４４は、方向検出領域内において、隣接する同色画素の差分絶対値を１５通り計算する。このとき、図７に示されるように、方向検出部４４は、水平方向、垂直方向、＋４５°方向、および−４５°方向の４方向について、隣接する同色画素の差分絶対値をそれぞれ１５通り計算する。
【００６５】
図７Ａは、方向検出領域内の水平方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の水平方向の矢印で示されるように、１５組の同色画素が示されている。
【００６６】
図７Ｂは、方向検出領域内の垂直方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の垂直方向の矢印で示されるように、１５組の同色画素が示されている。
【００６７】
図７Ｃは、方向検出領域内の＋４５°方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の＋４５°方向の矢印で示されるように、１５組の同色画素が示されている。
【００６８】
図７Ｄは、方向検出領域内の−４５°方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の−４５°方向の矢印で示されるように、１５組の同色画素が示されている。
【００６９】
次に、方向検出部４４は、領域内の欠陥画素の影響を排除するために、各方向の１５通りの差分絶対値について、下位１１通りを選択する。すなわち、欠陥画素の画素値を用いた差分絶対値は意味をなさないので、欠陥画素の画素値を用いた差分絶対値を除外すべく、上位４通りの差分絶対値が排除される。ここでは、方向検出領域内において、注目画素と他の１つの画素（合計２画素）が欠陥画素であることを考慮して、上位４通りの差分絶対値が排除されている。
【００７０】
そして、方向検出部４４は、各方向における１１通りの差分絶対値の平均値を求める。
【００７１】
ここで、水平方向における１１通りの差分絶対値の平均値、および、垂直方向における１１通りの差分絶対値の平均値は、それぞれ√２倍される。水平方向または垂直方向における隣接する画素間の距離が、＋４５°方向または−４５°方向における隣接する画素間の距離より小さいため、その影響を排除するためである。
【００７２】
さらに、方向検出部４４は、各方向に対応する４つの平均値の中の最小値を選択するとともに、最小値に対応する方向をテクスチャの方向として検出する。
【００７３】
なお、上述したように、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、方向検出部４４による方向の検出は行われない。
【００７４】
欠陥判定部４５は、注目画素が欠陥画素であるか否かを判定する。
【００７５】
欠陥判定部４５は、最初に欠陥判定のための閾値を演算する。なお、欠陥判定部４５は、平坦判定部４３の判定結果に基づいて閾値を演算する。平坦判定部４３により処理単位領域が平坦であると判定された場合、欠陥判定部４５は、式（３）により閾値を演算する。
【００７６】
【数３】
2015019293.tif 000005
・・・（３）
【００７７】
なお、式（３）におけるａ、ｂは、パラメータとされ、Ｒ０乃至Ｒ７の画素値の平均値ａｖｅ＿ａｒｅａの大きさに応じて変更される。
【００７８】
一方、平坦判定部４３により処理単位領域が平坦ではないと判定された場合、欠陥判定部４５は、式（４）により閾値を演算する。
【００７９】
【数４】
2015019293.tif 000006
・・・（４）
【００８０】
なお、式（４）におけるａ、ｂ、ｃは、パラメータとされ、テクスチャの方向の検出に用いた最小値ｇｒａｄの大きさに応じて変更される。
【００８１】
欠陥判定部４５は、処理単位領域が平坦である場合、注目画素が白点欠陥画素候補であるとき、図６のＲ０乃至Ｒ７の中の最大値と注目画素の差分絶対値が、上述した閾値以上であるか否かを判定する。Ｒ０乃至Ｒ７の中の最大値と注目画素の差分絶対値が、上述した閾値以上である場合、注目画素は白点欠陥画素であると判定され、閾値未満である場合、注目画素は欠陥画素ではないと判定される。
【００８２】
また、欠陥判定部４５は、処理単位領域が平坦である場合、注目画素が黒点欠陥画素候補であるとき、図６のＲ０乃至Ｒ７の中の最小値と注目画素の差分絶対値が、上述した閾値以上であるか否かを判定する。Ｒ０乃至Ｒ７の中の最大値と注目画素の差分絶対値が、上述した閾値以上である場合、注目画素は黒点欠陥画素であると判定され、閾値未満である場合、注目画素は欠陥画素ではないと判定される。
【００８３】
さらに、欠陥判定部４５は、処理単位領域が平坦でない場合、注目画素の画素値と、処理単位領域内の同色の画素（例えば、図６のＲ０乃至Ｒ７）の画素値の平均値との差分が上述した閾値以上であるか否かを判定する。
【００８４】
閾値以上であると判定された場合、注目画素は欠陥画素であると判定され、閾値未満の場合、注目画素は欠陥画素ではないと判定される。さらに、欠陥画素と判定された場合、注目画素の画素値が処理単位領域内の同色の画素の画素値の平均値より大きいとき、白点欠陥画素とされ、注目画素の画素値が処理単位領域内の同色の画素の画素値の平均値より小さいとき、白点欠陥画素とされる。
【００８５】
欠陥補正部４６は、当該処理単位領域が平坦である場合、欠陥判定部４５により注目画素が欠陥画素であると判定されたとき、注目画素の画素値を、当該処理単位領域内の同色かつ同露光時間の画素の画素値と置き換えることによって補正する。
【００８６】
例えば、図６において、注目画素が白点欠陥画素であると判定された場合、欠陥補正部４６は、図６のＲ３またはＲ４のうちのいずれか大きい方の画素値と置き換える。
【００８７】
また、例えば、図６において、注目画素が黒点欠陥画素であると判定された場合、欠陥補正部４６は、図６のＲ３またはＲ４のうちのいずれか小さい方の画素値と置き換える。
【００８８】
さらに、欠陥補正部４６は、当該処理単位領域が平坦でない場合、欠陥判定部４５により注目画素が欠陥画素であると判定されたとき、方向検出部４４により検出されたテクスチャの方向に基づいて、画素値の置き換えを行う。
【００８９】
すなわち、テクスチャの方向が水平方向である場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ３またはＲ４のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。また、テクスチャの方向が垂直方向である場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ１またはＲ６のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。さらに、テクスチャの方向が、＋４５°の場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ２またはＲ５のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。また、テクスチャの方向が、−４５°の場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ０またはＲ７のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。
【００９０】
なお、図６におけるＲ０乃至Ｒ２、Ｒ５乃至Ｒ７の画素は、注目画素とは露光時間の異なる画素であるが、上述したように、処理単位領域内の画素値は、ゲイン補正部４１の処理によって、長時間露光画素の画素値を基準として正規化されているので置き換えることができる。
【００９１】
ただし、注目画素が短時間露光画素であった場合、欠陥補正部４６は、テクスチャの方向に基づいて置き換えた画素値に、（短時間露光画素の露光時間/長時間露光画素の露光時間）として求められるゲインを乗じることで、ゲイン補正部４１による補正の影響を排除する。
【００９２】
飽和判定部４２により、当該処理単位領域が飽和していないと判定された場合、上述のようにして、注目画素が欠陥画素であるか否かが判定され、欠陥画素であった場合の画素値の補正が行われる。
【００９３】
［行露光配列において当該処理単位領域が飽和している場合］
一方、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、欠陥判定部４５は、注目画素を中心とする水平方向の９個の画素のダイナミックレンジを演算する。例えば、図８に示される９（１×９）個の画素から成る領域がダイナミックレンジ検出領域として抽出される。なお、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、ゲイン補正部４１による補正前の画素値を用いた演算が行われる。
【００９４】
そして、欠陥判定部４５は、図８において円が付された画素である注目画素と同色の画素（この例ではＲの画素）について、図中の矢印で示されるように隣接する画素間の画素値の差分絶対値を４通り算出し、それら４通りの差分絶対値の中でのダイナミックレンジを算出する。また、欠陥判定部４５は、注目画素とは異なる色の画素（この例ではＧの画素）の画素値について、ダイナミックレンジを算出する。
【００９５】
この例では、注目画素がＲである場合の例について説明したが、注目画素がＧの画素である場合、注目画素とは異なる色の画素としてＲの画素が選択される。また、注目画素がＢの画素である場合、注目画素とは異なる色の画素としてＧの画素が選択される。
【００９６】
そして、欠陥判定部４５は、図８において円で示される注目画素と同色の画素の画素値の平均値の平方根を求め、必要に応じてパラメータを乗じたり、加算したりすることで、これを欠陥判定のための閾値とする。なお、閾値は、後述するように第１乃至第３の条件のそれぞれ用いるために、パラメータを変化させて３通りの閾値が求められる。
【００９７】
欠陥判定部４５は、次の３つの条件のいずれにも該当する場合、注目画素が白点欠陥画素であると判定する。
【００９８】
第１番目の条件は、注目画素の画素値が、図８において円が付された４つの同色の画素の画素値のうち、２番目に大きいものよりも大きく、かつ、注目画素の画素値と、図８において円が付された４つの画素値のうちの２番目に大きいものとの差分が閾値よりも大きいことである。
【００９９】
なお、欠陥画素、非欠陥画素、欠陥画素、・・・のように、同色１つとびで欠陥画素が存在する場合を考慮し、１番大きいものとの差分を閾値と比較せずに、２番目に大きいものとの差分を閾値と判定するようになされている。
【０１００】
第２番目の条件は、図８において矢印で示した注目画素と同色の画素についての隣接する画素間の画素値の差分絶対値の中でのダイナミックレンジが閾値よりも大きいことである。
【０１０１】
第３番目の条件は、図８に示される注目画素とは異なる色の画素（図８ではＧの画素）の画素値についてのダイナミックレンジが閾値より小さいことである。
【０１０２】
上述の第１番目乃至第３番目の条件のいずれにも該当する場合、注目画素は、白点欠陥画素と判定される。
【０１０３】
また、欠陥判定部４５は、次の３つの条件のいずれにも該当する場合、注目画素が黒点欠陥画素であると判定する。
【０１０４】
第１番目の条件は、注目画素の画素値が、図８において円が付された４つの同色の画素の画素値のうち、２番目に小さいものよりも小さく、かつ、注目画素の画素値と、図８において円が付された４つの画素値のうちの２番目に大きいものとの差分が閾値よりも大きいことである。
【０１０５】
第２番目の条件および第３番目の条件は、白点欠陥画素の場合と同様なので、詳細な説明は省略する。
【０１０６】
上述の第１番目乃至第３番目の条件のいずれにも該当する場合、注目画素は、黒点欠陥画素と判定される。
【０１０７】
欠陥補正部４６は、注目画素が白点欠陥画素であった場合、注目画素の画素値を、図８において円が付された４つの画素値のうちの２番目に大きい画素値と置き換える。また、欠陥補正部４６は、注目画素が黒点欠陥画素であった場合、注目画素の画素値を、図８において円が付された４つの画素値のうちの２番目に小さい画素値と置き換える。
【０１０８】
飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、上述のようにして、注目画素が欠陥画素であるか否かが判定され、欠陥画素であった場合の画素値の補正が行われる。
【０１０９】
このようにして、欠陥補正処理部２１は、欠陥画素の画素値を補正する。
【０１１０】
次に、均一露光配列の場合の欠陥補正処理部２１の処理について説明する。均一露光配列の場合、当該処理単位領域が飽和しているときも、平坦判定部４３による判定および方向検出部４４による方向の検出が行われるようにした点で、行露光配列の場合と異なっている。
【０１１１】
［均一露光配列の場合の欠陥補正処理部２１の処理］
ゲイン補正部４１は、行露光配列の場合と同様に、入力画像の画素値について、露光時間の差に伴う差分を調整するための補正を行う。
【０１１２】
飽和判定部４２は、行露光配列の場合と同様に、注目画素を中心とする所定画素数の領域である処理単位領域について、画素値が飽和しているか否かを判定する。すなわち、当該処理単位領域が、画像の中の極めて明るい領域に対応しているか否かを判定する。
【０１１３】
図９は、均一露光配列の場合の処理単位領域の例を示す図である。この例では、ベイヤー配列の画素アレイにおける２５（＝５×５）個の画素で構成される領域が処理単位領域とされている。図９の例では、注目画素が図中×印で表示されており、この例では、赤色（Ｒ）の長時間露光画素とされている。
【０１１４】
飽和判定部４２は、画素値が最大値となっている画素の数が予め設定された閾値以上である場合、当該処理単位領域は飽和していると判定する。例えば、画素値が最大値となっている画素の数が３（閾値）以上である場合、当該処理単位領域は飽和していると判定される。
【０１１５】
なお、均一露光配列の場合も、平坦判定部４３乃至欠陥補正部４６の処理は、やはり飽和判定部４２の判定結果によって異なる。
【０１１６】
ここでは、最初に飽和判定部４２により、当該処理単位領域が飽和していないと判定された場合の平坦判定部４３乃至欠陥補正部４６の処理の例について説明する。
【０１１７】
［均一露光配列において当該処理単位領域が飽和していない場合］
平坦判定部４３は、当該処理単位領域が平坦であるか否かを判定する。例えば、当該処理単位領域が画像の中のテクスチャの一部である場合、当該処理単位領域は平坦ではないものと判定される。
【０１１８】
平坦判定部４３は、行露光配列の場合と同様に、当該処理単位領域内における注目画素と同色の画素の画素値の最大値または最小値と比較して当該注目画素の画素値が大きいかまたは小さいかを判定する。例えば、注目画素がＲの長時間露光画であった場合、図１０に示されるように、処理単位領域内において円が付された８個のＲの画素（Ｒ０乃至Ｒ７）の最大値または最小値を特定する。注目画素の画素値がＲ０乃至Ｒ７の画素値の最大値より大きい場合、当該注目画素は白点欠陥画素候補として所定のフラグなどが設定される。また、注目画素の画素値がＲ０乃至Ｒ７の画素値の最小値より小さい場合、当該注目画素は黒点欠陥画素候補として所定のフラグなどが設定される。
【０１１９】
平坦判定部４３は、さらに、行露光配列の場合と同様に、当該処理単位領域の平均偏差を演算する。
【０１２０】
そして、平坦判定部４３は、算出された平均偏差ｓｔｄ＿ａｒｅａが予め設定された閾値未満である場合、当該処理単位領域が平坦であると判定し、平均偏差ｓｔｄ＿ａｒｅａが予め設定された閾値以上である場合、当該処理単位領域が平坦ではないと判定する。
【０１２１】
ただし、均一露光配列の場合、注目画素がＧの画素であったときは、処理単位領域において、同色の画素が図１１に示されるように配置されていることになる。すなわち、処理単位領域において、同色の画素が全て同露光時間（この例では、短時間露光画素）となる。
【０１２２】
従って、注目画素がＧの画素であったときは、ゲイン補正部４１による補正前の画素値を用いた演算が行われる。このため、均一露光配列の場合、平坦か否かの判定に用いられる閾値として、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値が用意される。
【０１２３】
方向検出部４４は、当該処理単位領域が平坦ではないと判定された場合、行露光配列の場合と同様に、当該処理単位領域に含まれるテクスチャ（模様）の方向を判定する。
【０１２４】
欠陥判定部４５は、当該処理単位領域が平坦である場合、および、当該処理単位領域が平坦でない場合のそれぞれにおいて、行露光配列の場合と同様に、注目画素が欠陥画素であるか否かを判定する。ただし、欠陥判定のための閾値を演算する際には、欠陥判定部４５は、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値を演算する。
【０１２５】
欠陥補正部４６は、行露光配列の場合と同様に、当該処理単位領域が平坦である場合、欠陥判定部４５により注目画素が欠陥画素であると判定されたとき、注目画素の画素値を、当該処理単位領域内の同色かつ同露光時間の画素の画素値と置き換えることによって補正する。
【０１２６】
均一露光配列の場合、置き換える画素として、注目画素がＲのとき、図１０のＲ０、Ｒ２、Ｒ５、またはＲ７が用いられ、注目画素がＧのとき、図１２のＧ０乃至Ｇ７が用いられる。なお、注目画素がＢのときは、注目画素がＲのときと同様に、当該処理単位領域内の同色かつ同露光時間の画素が用いられる。
【０１２７】
また、欠陥補正部４６は、行露光配列の場合と同様に、当該処理単位領域が平坦でない場合、欠陥判定部４５により注目画素が欠陥画素であると判定されたとき、方向検出部４４により検出されたテクスチャの方向に基づいて、画素値の置き換えを行う。
【０１２８】
飽和判定部４２により、当該処理単位領域が飽和していないと判定された場合、上述のようにして、注目画素が欠陥画素であるか否かが判定され、欠陥画素であった場合の画素値の補正が行われる。
【０１２９】
［均一露光配列において当該処理単位領域が飽和している場合］
一方、均一露光配列に係る欠陥画素の補正の処理においては、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合も、平坦判定部４３および方向検出部４４による処理が行われる。
【０１３０】
平坦判定部４３は、注目画素がＧの場合、行露光配列のときと同様に、当該処理単位領域が平坦であるか否かを判定する。
【０１３１】
一方、注目画素がＲまたはＢの場合、平坦判定部４３は、例えば、図１２において円が付された画素であって、注目画素と同色で同露光時間の４つの画素の画素値うちの最大値または最小値より、注目画素の画素値が大きいかまたは小さいかを判定する。注目画素の画素値が４つの画素の画素値うちの最大値より大きい場合、当該注目画素は白点欠陥画素候補として所定のフラグなどが設定される。また、注目画素の画素値が４つの画素の画素値うちの最小値より小さい場合、当該注目画素は黒点欠陥画素候補として所定のフラグなどが設定される。
【０１３２】
なお、図１２には、注目画素がＲの長時間露光画素である場合の例が示されているが、注目画素がＲの短時間露光画素、または、Ｂの長時間露光画素若しくは短時間露光画素である場合も同様である。
【０１３３】
平坦判定部４３は、さらに、当該処理単位領域の平均偏差を演算する。例えば、図１０の例の場合、平坦判定部４３は、Ｒ０、Ｒ２、Ｒ５、Ｒ７の画素値の平均値ａｖｅ＿ａｒｅａを式（５）により演算し、その演算結果を用いて、当該処理単位領域の平均偏差ｓｔｄ＿ａｒｅａを、式（６）により算出する。
【０１３４】
【数５】
2015019293.tif 000007
・・・（５）
【０１３５】
【数６】
2015019293.tif 000008
・・・（６）
【０１３６】
そして、平坦判定部４３は、式（６）により算出された平均偏差ｓｔｄ＿ａｒｅａが予め設定された閾値未満である場合、当該処理単位領域が平坦であると判定し、平均偏差ｓｔｄ＿ａｒｅａが予め設定された閾値以上である場合、当該処理単位領域が平坦ではないと判定する。
【０１３７】
なお、均一露光配列の場合、当該処理単位領域が飽和しているときは、平坦か否かの判定に用いられる閾値として、ＲまたはＢの長時間露光画素用の閾値、ＲまたはＢの短時間露光画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の４種類の閾値が用意される。
【０１３８】
方向検出部４４は、当該処理単位領域が平坦ではないと判定された場合、当該処理単位領域に含まれるテクスチャ（模様）の方向を判定する。
【０１３９】
いまの場合、長時間露光画素は飽和していると考えられるので、Ｇの短時間露光画素のみを用いた方向検出が行われる。
【０１４０】
方向検出部４４は、処理単位領域の左右両端を１画素ずつ拡張した３５（＝７×５）個の画素から成る方向検出領域を抽出する。そして、方向検出部４４は、方向検出領域内において、隣接するＧの画素の差分絶対値を計算する。このとき、図１３に示されるように、方向検出部４４は、水平方向、垂直方向、＋４５°方向、および−４５°方向の４方向について、隣接するＧの画素の差分絶対値をそれぞれ計算する。
【０１４１】
図１３Ａは、方向検出領域内の水平方向に隣接するＧの画素の差分絶対値の計算の例を示す図であり、同図の水平方向の矢印で示されるように、９組のＧの画素が示されている。
【０１４２】
図１３Ｂは、方向検出領域内の垂直方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の垂直方向の矢印で示されるように、８組のＧの画素が示されている。
【０１４３】
図１３Ｃは、方向検出領域内の＋４５°方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の＋４５°方向の矢印で示されるように、６組のＧの画素が示されている。
【０１４４】
図１３Ｄは、方向検出領域内の−４５°方向に隣接する同色画素の差分絶対値の計算の例を示す図であり、同図の−４５°方向の矢印で示されるように、６組のＧの画素が示されている。
【０１４５】
次に、方向検出部４４は、領域内の欠陥画素の影響を排除するために、各方向の複数通りの差分絶対値について、下位４通りを選択する。すなわち、欠陥画素の画素値を用いた差分絶対値は意味をなさないので、欠陥画素の画素値を用いた差分絶対値を除外すべく、上位の差分絶対値が排除される。
【０１４６】
そして、方向検出部４４は、各方向における４通りの差分絶対値の平均値を求める。
【０１４７】
ここで、水平方向における４通りの差分絶対値の平均値、および、垂直方向における４通りの差分絶対値の平均値は、それぞれ√２倍される。水平方向または垂直方向における隣接する画素間の距離が、＋４５°方向または−４５°方向における隣接する画素間の距離より小さいため、その影響を排除するためである。
【０１４８】
さらに、方向検出部４４は、各方向に対応する４つの平均値の中の最小値を選択するとともに、最小値に対応する方向をテクスチャの方向として検出する。
【０１４９】
なお、図１３の例において、注目画素がＧの短時間露光画素またはＢの画素の場合は、Ｇの短時間露光画素の数が最も多くなる３５（＝７×５）画素の領域を抽出すると、注目画素の位置がその領域の中心とならない。その場合、注目画素の左に位置する画素を中心とした場合の方向検出結果を流用するものとする。
【０１５０】
欠陥判定部４５は、当該処理単位領域が平坦である場合、行露光配列の場合と同様に、注目画素が欠陥画素であるか否かを判定する。ただし、均一露光配列の場合、欠陥判定のための閾値を演算する際には、欠陥判定部４５は、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値が演算される。
【０１５１】
また、欠陥判定部４５は、当該処理単位領域が平坦でない場合、次のようにして、注目画素が欠陥画素であるか否かを判定する。
【０１５２】
すなわち、欠陥判定部４５は、欠陥判定のための閾値を求める際には、処理単位領域における注目画素と同色で同露光時間の画素の平均値、および、方向検出部４４により検出された方向に対応する平均値（４通りの差分絶対値の平均値）を用いて閾値を演算する。例えば、注目画素がＲまたはＢである場合、欠陥判定部４５は、図１０において白色であり円の付された位置の４つの画素の画素値の平均値の平方根、および、方向検出部４４により検出された方向に対応する平均値を用いて閾値を演算する。一方、注目画素がＧである場合、欠陥判定部４５は、図１１において円の付された位置の８つの画素の画素値の平均値の平方根、および、方向検出部４４により検出された方向に対応する平均値を用いて閾値を演算する。
【０１５３】
ただし、欠陥判定のための閾値を演算する際には、欠陥判定部４５は、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値を演算する。
【０１５４】
そして、注目画素がＲまたはＢである場合、図１０において白色であり円の付された位置の４つの画素の画素値の平均値と、注目画素の画素値との差分が閾値以上の場合、注目画素が欠陥画素と判定される。また、注目画素がＧである場合、図１１において円の付された位置の８つの画素の画素値の平均値と、注目画素の画素値との差分が閾値以上の場合、注目画素が欠陥画素と判定される。
【０１５５】
欠陥補正部４６は、行露光配列の場合と同様に、当該処理単位領域が平坦である場合、欠陥判定部４５により注目画素が欠陥画素であると判定されたとき、注目画素の画素値を、当該処理単位領域内の同色かつ同露光時間の画素の画素値と置き換えることによって補正する。
【０１５６】
一方、当該処理単位領域が平坦でない場合、欠陥補正部４６は、注目画素がＧであるか、または、Ｒ若しくはＢであるかによって異なる処理を行う。
【０１５７】
注目画素がＧである場合、欠陥補正部４６は、図１１において円の付された位置の８つの画素のうち、方向検出部４４により検出されたテクスチャの方向に基づいて２つの画素を選択する。
【０１５８】
すなわち、テクスチャの方向が水平方向の場合、図１１のＧ３およびＧ４が選択される。また、テクスチャの方向が垂直方向の場合、図１１のＧ１およびＧ６が選択される。さらに、テクスチャの方向が＋４５°方向の場合、図１１のＧ２およびＧ５が選択される。また、テクスチャの方向が−４５°方向の場合、Ｇ０およびＧ７が選択される。
【０１５９】
欠陥補正部４６は、注目画素が白点欠陥画素であると判定された場合、上述のように選択された２つの画素の画素値のうち、大きい方の画素値によって注目画素の画素値を置き換える。また、欠陥補正部４６は、注目画素が黒点欠陥画素であると判定された場合、上述のように選択された２つの画素の画素値のうち、小さい方の画素値によって注目画素の画素値を置き換える。
【０１６０】
注目画素がＲまたはＢである場合、欠陥補正部４６は、例えば、図１４において円が付された位置の８つの画素のうち、方向検出部４４により検出されたテクスチャの方向に基づいて２つの画素を選択する。
【０１６１】
すなわち、テクスチャの方向が＋４５°方向の場合、図１４のＲ２およびＲ５が選択される。テクスチャの方向が−４５°方向の場合、図１４のＲ０およびＲ７が選択される。
【０１６２】
テクスチャの方向が水平方向の場合、図１４のＲ３およびＲ４が選択される。なお、均一露光配列の場合、注目画素と水平方向に最も近い同色の画素は、注目画素の露光時間とは異なる露光時間の画素となるため、３５（＝７×５）画素の方向検出領域をさらに拡張した４５（＝９×５）画素の方向検出領域から画素を選択する必要がある。
【０１６３】
テクスチャの方向が垂直方向の場合、垂直方向の２つの位置の画素値を線形補間によって求める。すなわち、（Ｒ０＋Ｒ２）／２として算出される画素値を有する仮想的な画素、および、（Ｒ５＋Ｒ７）／２として算出される画素値を有する仮想的な画素が選択される。均一露光配列の場合、５行分の領域の中に、垂直方向に同色で同露光時間の画素が存在しないからである。
【０１６４】
欠陥補正部４６は、注目画素が白点欠陥画素であると判定された場合、上述のように選択された２つの画素の画素値のうち、大きい方の画素値によって注目画素の画素値を置き換える。また、欠陥補正部４６は、注目画素が黒点欠陥画素であると判定された場合、上述のように選択された２つの画素の画素値のうち、小さい方の画素値によって注目画素の画素値を置き換える。
【０１６５】
ただし、注目画素がＲまたはＢであり、かつ、テクスチャの方向が垂直方向の場合、上述したように仮想的な画素の画素値による置き換えが行われることになるので、欠陥補正部４６は、注目画素の画素値を全て仮想的な画素の画素値によって置き換えるのではなく、部分的に置き換えるようになされている。
【０１６６】
注目画素がＲまたはＢであり、かつ、テクスチャの方向が垂直方向の場合、欠陥補正部４６は、上述した２つの仮想的な画素の画素値とともに、垂直方向の同色の画素（いまの場合、線形補間により得られた仮想的な画素）の平均値（図１４の場合、(Ｒ１＋Ｒ６)／２）を算出する。なお、垂直方向の同色の画素は、注目画素とは露光時間が異なるので、短時間露光時間に係る画素値が、予め、（長時間露光の露光時間/短時間露光の露光時間）で求められるゲインを乗じて補正されるようにする。
【０１６７】
次に、仮想的画素の画素値のうち、置き換えの対象となる画素値（補正候補値と称することにする）と、垂直方向の同色の画素の平均値との差分が計算される。そして、この差分の大きさに応じ、補正候補値に注目画素の画素値が混合されるようにする。
【０１６８】
図１５は、補正候補値と注目画素の画素値との混合の方式を説明する図である。図１５は、横軸が補正候補値と垂直方向の同色の画素の平均値との差分とされ、縦軸が注目画素の画素値の混合比率とされる。
【０１６９】
同図に示されるように、予め閾値Ｘおよび閾値Ｙが設定され、補正候補値と垂直方向の同色の画素の平均値との差分が閾値Ｘ未満の場合、注目画素の画素値の混合比率は０とされている。また、補正候補値と垂直方向の同色の画素の平均値との差分が閾値Ｙ以上の場合、注目画素の画素値の混合比率は１とされている。そして、補正候補値と垂直方向の同色の画素の平均値との差分が閾値Ｘ以上閾値Ｙ未満の場合、注目画素の画素値の混合比率が、補正候補値と垂直方向の同色の画素の平均値との差分の大きさに応じて変化するようになされている。
【０１７０】
補正候補値と垂直方向の同色の画素の平均値との差分が大きい場合、処理単位領域の画像がＲまたはＢの画素のナイキスト周波数付近の成分を有していると考えられる。このような場合、隣接画素からの線形補間による仮想的な画素の画素値を用いた補正が行われると、本来ない色が付加されたり、アーティファクトを発生させることがある。
【０１７１】
上述のように、注目画素がＲまたはＢであり、かつ、テクスチャの方向が垂直方向の場合、注目画素の画素値を仮想的な画素の画素値によって部分的に置き換えるようにすることで、色付きやアーティファクトの発生を抑止することが可能となる。
【０１７２】
また、本技術では、上述のように、注目画素がＲまたはＢであり、かつ、テクスチャの方向が垂直方向の場合、注目画素の画素値を仮想的な画素の画素値によって部分的に置き換えるようにしたので、欠陥補正処理において必要となるメモリの容量などを低く抑制することができる。
【０１７３】
すなわち、行露光配列または均一露光配列のいずれの露光配列においても、垂直方向に、注目画素と同色で同露光時間の画素を選択するためには、少なくとも９行分の画素領域をメモリなどに記憶させる必要がある。
【０１７４】
図１６は、垂直方向に、注目画素と同色で同露光時間の画素を選択するために必要となる画素領域を説明する図である。図１６Ａは、行露光配列の場合の例を示しており、図１６Ｂは均一露光配列の場合の例を示している。図１６Ａおよび図１６Ｂのいずれにおいても、垂直方向に、注目画素と同色で同露光時間の画素を選択するために９行分の画素領域が必要となっている。
【０１７５】
これに対して、本技術では、図１４を参照して上述したように、５行分の画素領域があれば、欠陥画素の補正を行うことが可能となる。
【０１７６】
次に、図１７のフローチャートを参照して、欠陥補正処理部２１による行露光配列欠陥補正処理の例について説明する。
【０１７７】
ステップＳ２１において、ゲイン補正部４１は、入力画像の画素値について、露光時間の差に伴う差分を調整するための補正を行う。ゲイン補正部４１は、例えば、短時間露光画素の画素値に、（長時間露光画素の露光時間/短時間露光画素の露光時間）として求められるゲインを乗じる。これにより、短時間露光画素の画素値が長時間露光相当の画素値に補正される。
【０１７８】
なお、ステップＳ２１以降の処理では、ゲイン補正部４１による補正後の画素値とともに、必要に応じて補正前の画素値も参照できるものとする。
【０１７９】
ステップＳ２２において、飽和判定部４２は、注目画素を中心とする所定画素数の領域である処理単位領域について、画素値が飽和しているか否かを判定する。すなわち、当該処理単位領域が、画像の中の極めて明るい領域に対応しているか否かを判定する。
【０１８０】
このとき、例えば、画素値が最大値となっている画素の数が予め設定された閾値以上である場合、当該処理単位領域は飽和していると判定される。例えば、画素値が最大値となっている画素の数が３（閾値）以上である場合、当該処理単位領域は飽和していると判定される。
【０１８１】
ステップＳ２２において、処理単位領域が飽和していないと判定された場合、処理は、ステップＳ２３に進む。
【０１８２】
ステップＳ２３において、平坦判定部４３は、図１８を参照して後述する非飽和平坦判定処理を実行する。これにより、当該処理単位領域が平坦であるか否かが判定する。
【０１８３】
ここで、図１８のフローチャートを参照して、図１７のステップＳ２３の非飽和平坦判定処理の詳細な例について説明する。
【０１８４】
ステップＳ４１において、平坦判定部４３は、当該処理単位領域内における注目画素と同色の画素の画素値の最大値または最小値と比較する。
【０１８５】
ステップＳ４２において、平坦判定部４３は、ステップＳ４１の比較の結果、当該注目画素の画素値が最大値より大きいか否かを判定する。ステップＳ４２において、注目画素の画素値が最大値より大きいと判定された場合、処理は、ステップＳ４３に進む。
【０１８６】
ステップＳ４３において、当該注目画素は白点欠陥画素候補とされ、所定のフラグなどが設定される。
【０１８７】
一方、ステップＳ４２において、当該注目画素の画素値が最大値より大きくないと判定された場合、処理は、ステップＳ４４に進む。
【０１８８】
ステップＳ４４において、平坦判定部４３は、ステップＳ４１の比較の結果、当該注目画素の画素値が最小値より小さいか否かを判定する。ステップＳ４４において、注目画素の画素値が最小値より小さいと判定された場合、処理は、ステップＳ４５に進む。
【０１８９】
ステップＳ４５において、当該注目画素は黒点欠陥画素候補とされ、所定のフラグなどが設定される。
【０１９０】
ステップＳ４４において、当該注目画素の画素値が最小値より小さくないと判定された場合、ステップＳ４５の処理はスキップされる。
【０１９１】
ステップＳ４６において、平坦判定部４３は、注目画素と同色の画素の画素値の平均値ａｖｅ＿ａｒｅａを算出する。このとき、例えば、式（１）により、平均値ａｖｅ＿ａｒｅａが算出される。
【０１９２】
ステップＳ４７において、平坦判定部４３は、ステップＳ４６の演算結果を用いて、当該処理単位領域の平均偏差ｓｔｄ＿ａｒｅａを算出する。このとき、例えば、式（２）により、平均偏差ｓｔｄ＿ａｒｅａが算出される。
【０１９３】
ステップＳ４８において、平坦判定部４３は、ステップＳ４７の処理で演算された平均偏差ｓｔｄ＿ａｒｅａが、予め設定された閾値以上であるか否かを判定する。
【０１９４】
ステップＳ４８において、閾値未満であると判定された場合、処理は、ステップＳ４９に進み、平坦判定部４３は、当該処理単位領域が平坦であると判定する。
【０１９５】
ステップＳ４８において、閾値以上であると判定された場合、処理は、ステップＳ５０に進み、平坦判定部４３は、当該処理単位領域が平坦ではないと判定する。
【０１９６】
このようにして、非飽和平坦判定処理が実行される。
【０１９７】
図１７に戻って、ステップＳ２４において、平坦判定部４３は、ステップＳ２３の判定結果が平坦であったか否かを判定する。平坦であった場合、処理は、ステップＳ２５に進む。
【０１９８】
ステップＳ２５において、欠陥判定部４５は、図１９を参照して後述する平坦欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。
【０１９９】
ステップＳ２６において、欠陥補正部４６は、図２０を参照して後述する平坦欠陥補正処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。
【０２００】
ここで、図１９のフローチャートを参照して、図１７のステップＳ２５の平坦欠陥判定処理の詳細な例について説明する。
【０２０１】
ステップＳ６１において、欠陥判定部４５は、欠陥判定のための閾値を演算する。このとき、例えば、式（３）により閾値が演算される。
【０２０２】
ステップＳ６２において、欠陥判定部４５は、注目画素が白点欠陥画素候補であるか否かを判定し、白点欠陥画素候補であると判定された場合、処理は、ステップＳ６３に進む。
【０２０３】
ステップＳ６３において、欠陥判定部４５は、処理単位領域内における注目画素と同色の画素の画素値の最大値と注目画素の画素値との差分が、ステップＳ６１で演算された閾値以上であるか否かを判定する。例えば、図６のＲ０乃至Ｒ７の中の最大値と注目画素の差分絶対値が、上述した閾値以上であるか否かが判定される。
【０２０４】
ステップＳ６３において、差分が閾値以上であると判定された場合、処理は、ステップＳ６４に進み、注目画素は白点欠陥画素であると判定される。なお、ステップＳ６３で閾値以上ではないと判定された場合、注目画素は、欠陥画素ではないと判定されたことになる。
【０２０５】
ステップＳ６２において、注目画素が白点欠陥画素候補ではないと判定された場合、処理は、ステップＳ６５に進む。
【０２０６】
ステップＳ６５において、欠陥判定部４５は、注目画素が黒点欠陥画素候補であるか否かを判定し、黒点欠陥画素候補であると判定された場合、処理は、ステップＳ６６に進む。なお、ステップＳ６５で黒点欠陥画素候補ではないと判定された場合、注目画素は、欠陥画素ではないと判定されたことになる。
【０２０７】
ステップＳ６６において、欠陥判定部４５は、処理単位領域内における注目画素と同色の画素の画素値の最小値と注目画素の画素値との差分が、ステップＳ６１で演算された閾値以上であるか否かを判定する。例えば、図６のＲ０乃至Ｒ７の中の最小値と注目画素の差分絶対値が、上述した閾値以上であるか否かが判定される。
【０２０８】
ステップＳ６６において、差分が閾値以上であると判定された場合、処理は、ステップＳ６７に進み、注目画素は黒点欠陥画素であると判定される。なお、ステップＳ６６で閾値以上ではないと判定された場合、注目画素は、欠陥画素ではないと判定されたことになる。
【０２０９】
このようにして、平坦欠陥判定処理が実行される。
【０２１０】
次に、図２０のフローチャートを参照して、図１７のステップＳ２６の平坦欠陥補正処理の詳細な例について説明する。
【０２１１】
ステップＳ８１において、注目画素が白点欠陥画素であるか否かを判定し、白点欠陥画素であると判定された場合、処理は、ステップＳ８２に進む。
【０２１２】
ステップＳ８２において、欠陥補正部４６は、処理単位領域内における注目画素と同色で同露光時間の画素値のうちの大きい方の画素値によって、注目画素の画素値と置き換える。このとき、例えば、注目画素の画素値が、図６のＲ３またはＲ４のうちのいずれか大きい方の画素値と置き換えられる。
【０２１３】
一方、ステップＳ８１において、白点欠陥画素であると判定された場合、処理は、ステップＳ８３に進む。
【０２１４】
ステップＳ８３において、注目画素が黒点欠陥画素であるか否かを判定し、黒点欠陥画素であると判定された場合、処理は、ステップＳ８４に進む。
【０２１５】
ステップＳ８４において、欠陥補正部４６は、処理単位領域内における注目画素と同色で同露光時間の画素値のうちの小さい方の画素値によって、注目画素の画素値と置き換える。このとき、例えば、注目画素の画素値が、図６のＲ３またはＲ４のうちのいずれか小さい方の画素値と置き換えられる。
【０２１６】
このようにして、平坦欠陥補正処理が実行される。
【０２１７】
図１７に戻って、ステップＳ２４において、平坦ではないと判定された場合、処理は、ステップＳ２７に進む。
【０２１８】
ステップＳ２７において、方向検出部４４は、図２１を参照して後述する方向検出処理を実行する。これにより、テクスチャの方向が検出される。
【０２１９】
ステップＳ２８において、欠陥判定部４５は、図２２を参照して後述する非平坦欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。
【０２２０】
ステップＳ２９において、欠陥補正部４６は、図２３を参照して後述する非平坦欠陥補正処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。
【０２２１】
ここで、図２１のフローチャートを参照して、図１７のステップＳ２７の方向検出処理の詳細な例について説明する。
【０２２２】
ステップＳ１０１において、方向検出部４４は、水平方向に隣接する同色画素の差分絶対値を計算する。このとき、方向検出部４４は、処理単位領域の左右両端を１画素ずつ拡張した３５（＝７×５）個の画素から成る方向検出領域を抽出する。そして、例えば、図７Ａの矢印で示されるように、１５組の同色画素の差分絶対値が計算される。
【０２２３】
ステップＳ１０２において、方向検出部４４は、垂直方向に隣接する同色画素の差分絶対値を計算する。このとき、例えば、図７Ｂの矢印で示されるように、１５組の同色画素の差分絶対値が計算される。
【０２２４】
ステップＳ１０３において、方向検出部４４は、＋４５°方向に隣接する同色画素の差分絶対値を計算する。このとき、例えば、図７Ｃの矢印で示されるように、１５組の同色画素の差分絶対値が計算される。
【０２２５】
ステップＳ１０４において、方向検出部４４は、−４５°方向に隣接する同色画素の差分絶対値を計算する。このとき、例えば、図７Ｄの矢印で示されるように、１５組の同色画素の差分絶対値が計算される。
【０２２６】
ステップＳ１０５において、方向検出部４４は、各方向の差分絶対値の平均値を算出する。このとき、上述したように、方向検出部４４は、領域内の欠陥画素の影響を排除するために、各方向の１５通りの差分絶対値について、下位１１通りを選択する。そして、方向検出部４４は、各方向における１１通りの差分絶対値の平均値を求める。なお、水平方向における１１通りの差分絶対値の平均値、および、垂直方向における１１通りの差分絶対値の平均値は、それぞれ√２倍される。
【０２２７】
ステップＳ１０６において、方向検出部４４は、各方向に対応する４つの平均値の中の最小値を選択するとともに、最小値に対応する方向をテクスチャの方向として検出する。
【０２２８】
このようにして方向検出処理が実行される。
【０２２９】
次に、図２２のフローチャートを参照して、図１７のステップＳ２８の非平坦欠陥判定処理の詳細な例について説明する。
【０２３０】
ステップＳ１２１において、欠陥判定部４５は、欠陥判定のための閾値を演算する。このとき、例えば、式（４）により閾値が演算される。
【０２３１】
ステップＳ１２２において、欠陥判定部４５は、注目画素の画素値と、処理単位領域内の同色の画素（例えば、図６のＲ０乃至Ｒ７）の画素値の平均値との差分が上述した閾値以上であるか否かを判定する。ステップＳ１２２において、閾値以上ではないと判定された場合、注目画素は欠陥画素ではないと判定されたことになる。ステップＳ１２２において、閾値以上であると判定された場合、処理は、ステップＳ１２３に進む。
【０２３２】
ステップＳ１２３において、欠陥判定部４５は、注目画素の画素値が処理単位領域内の同色の画素の画素値の平均値より大きいか否かを判定する。
【０２３３】
ステップＳ１２３において、注目画素の画素値が処理単位領域内の同色の画素の画素値の平均値より大きいと判定された場合、処理は、ステップＳ１２４に進み、注目画素は白点欠陥画素と判定される。
【０２３４】
ステップＳ１２３において、注目画素の画素値が処理単位領域内の同色の画素の画素値の平均値より大きくない（小さい）と判定された場合、処理は、ステップＳ１２５に進み、注目画素は黒点欠陥画素と判定される。
【０２３５】
このようにして、非平坦欠陥判定処理が実行される。
【０２３６】
次に、図２３のフローチャートを参照して、図１７のステップＳ２９の非平坦欠陥補正処理の詳細な例について説明する。
【０２３７】
ステップＳ１４１において、欠陥補正部４６は、注目画素が黒点欠陥画素であるか否かを判定し、黒点欠陥画素であると判定された場合、処理は、ステップＳ１４２に進む。
【０２３８】
ステップＳ１４２において、欠陥補正部４６は、ステップＳ２７の処理の結果、検出されたテクスチャの方向に基づいて、画素値の置き換えに用いる画素を選択する。
【０２３９】
ステップＳ１４３において、欠陥補正部４６は、注目画素の画素値を、ステップＳ１４２の処理で選択された画素の画素値のうち、小さい方の画素値と置き換えることにより補正する。
【０２４０】
一方、ステップＳ１４１において、黒点欠陥画素でないと判定された場合、処理は、ステップＳ１４４に進む。
【０２４１】
ステップＳ１４４において、欠陥補正部４６は、注目画素が白点欠陥画素であるか否かを判定し、白点欠陥画素であると判定された場合、処理は、ステップＳ１４５に進む。
【０２４２】
ステップＳ１４５において、欠陥補正部４６は、ステップＳ２７の処理の結果、検出されたテクスチャの方向に基づいて、画素値の置き換えに用いる画素を選択する。
【０２４３】
ステップＳ１４６において、欠陥補正部４６は、注目画素の画素値を、ステップＳ１４５の処理で選択された画素の画素値のうち、大きい方の画素値と置き換えることにより補正する。
【０２４４】
例えば、テクスチャの方向が水平方向である場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ３またはＲ４のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。また、テクスチャの方向が垂直方向である場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ１またはＲ６のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。さらに、テクスチャの方向が、＋４５°の場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ２またはＲ５のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。また、テクスチャの方向が、−４５°の場合、注目画素が白点欠陥画素であると判定されたとき、図６のＲ０またはＲ７のいずれか大きい方の画素値と置き換え、注目画素が黒点欠陥画素であると判定されたとき、小さい方の画素値と置き換える。
【０２４５】
ステップＳ１４７において、欠陥補正部４６は、注目画素が短時間露光画素であるか否かを判定し、短時間露光画素であると判定された場合、処理は、ステップＳ１４８に進む。
【０２４６】
ステップＳ１４８において、欠陥補正部４６は、ステップＳ１４３またはステップＳ１４６で置き換えた画素値に、（短時間露光画素の露光時間/長時間露光画素の露光時間）として求められるゲインを乗じることで、ゲイン補正部４１による補正の影響を排除する（画素値を逆補正する）。
【０２４７】
このようにして、非平坦欠陥補正処理が実行される。
【０２４８】
図１７に戻って、ステップＳ２２において、飽和していると判定された場合、処理は、ステップＳ３０に進む。
【０２４９】
ステップＳ３０において、欠陥判定部４５は、図２４を参照して後述する飽和欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。
【０２５０】
ステップＳ３１において、欠陥補正部４６は、図２５を参照して後述する飽和欠陥補正処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。
【０２５１】
ここで、図２４のフローチャートを参照して、図１７のステップＳ３０の飽和欠陥判定処理の詳細な例について説明する。
【０２５２】
ステップＳ１６１において、欠陥判定部４５は、注目画素を中心とする水平方向の９個の画素のダイナミックレンジを演算する。
【０２５３】
このとき、例えば、図８に示される９（１×９）個の画素から成る領域がダイナミックレンジ検出領域として抽出される。なお、飽和判定部４２により、当該処理単位領域が飽和していると判定された場合、ゲイン補正部４１による補正前の画素値を用いた演算が行われる。そして、欠陥判定部４５は、図８において円が付された画素である注目画素と同色の画素（この例ではＲの画素）について、図中の矢印で示されるように隣接する画素間の画素値の差分絶対値を４通り算出し、それら４通りの差分絶対値の中でのダイナミックレンジを算出する。また、欠陥判定部４５は、注目画素とは異なる色の画素（この例ではＧの画素）の画素値について、ダイナミックレンジを算出する。
【０２５４】
ステップＳ１６２において、欠陥判定部４５は、欠陥判定のための閾値を演算する。このとき、例えば、図８において円で示される注目画素と同色の画素の画素値の平均値の平方根を求め、必要に応じてパラメータを乗じたり、加算したりすることで、これを欠陥判定のための閾値が求められる。なお、閾値は、第１乃至第３の条件のそれぞれ用いるために、パラメータを変化させて３通りの閾値が求められる。
【０２５５】
ステップＳ１６３において、欠陥判定部４５は、注目画素について、白点欠陥の３つの条件のいずれにも該当するか否かを判定する。
【０２５６】
すなわち、第１番目の条件は、注目画素の画素値が、図８において円が付された４つの同色の画素の画素値のうち、２番目に大きいものよりも大きく、かつ、注目画素の画素値と、図８において円が付された４つの画素値のうちの２番目に大きいものとの差分が閾値よりも大きいことである。
【０２５７】
なお、欠陥画素、非欠陥画素、欠陥画素のように、同色１つとびで欠陥画素が存在する場合を考慮し、１番大きいものとの差分を閾値と比較せずに、２番目に大きいものとの差分を閾値と判定するようになされている。
【０２５８】
第２番目の条件は、図８において矢印で示した注目画素と同色の画素についての隣接する画素間の画素値の差分絶対値の中でのダイナミックレンジが閾値よりも大きいことである。
【０２５９】
第３番目の条件は、図８に示される注目画素とは異なる色の画素（図８ではＧの画素）の画素値についてのダイナミックレンジが閾値より小さいことである。
【０２６０】
ステップＳ１６３において、上述の第１番目乃至第３番目の条件のいずれにも該当すると判定された場合、処理は、ステップＳ１６４に進み、注目画素は、白点欠陥画素と判定される。
【０２６１】
ステップＳ１６３において、白点欠陥の３つの条件のうち、少なくともいずれか１つは該当しないと判定された場合、処理は、ステップＳ１６５に進む。
【０２６２】
ステップＳ１６５において、欠陥判定部４５は、注目画素について、黒点欠陥の３つの条件のいずれにも該当するか否かを判定する。
【０２６３】
すなわち、第１番目の条件は、注目画素の画素値が、図８において円が付された４つの同色の画素の画素値のうち、２番目に小さいものよりも小さく、かつ、注目画素の画素値と、図８において円が付された４つの画素値のうちの２番目に大きいものとの差分が閾値よりも大きいことである。
【０２６４】
第２番目の条件および第３番目の条件は、白点欠陥画素の場合と同様なので、詳細な説明は省略する。
【０２６５】
ステップＳ１６５において、上述の第１番目乃至第３番目の条件のいずれにも該当すると判定された場合、処理は、ステップＳ１６６に進み、注目画素は、黒点欠陥画素と判定される。
【０２６６】
ステップＳ１６５において、白点欠陥の３つの条件のうち、少なくともいずれか１つは該当しないと判定された場合、注目画素は欠陥画素ではないと判定されたことになる。
【０２６７】
このようにして、飽和欠陥判定処理が実行される。
【０２６８】
次に、図２５のフローチャートを参照して、図１７のステップＳ３１の飽和欠陥補正処理の詳細な例について説明する。
【０２６９】
ステップＳ１８１において、欠陥補正部４６は、ステップＳ３０の処理の結果、注目画素は黒点欠陥画素と判定されたか否かを判定する。
【０２７０】
ステップＳ１８１において、注目画素は黒点欠陥画素であると判定された場合、処理は、ステップＳ１８２に進む。
【０２７１】
ステップＳ１８２において、欠陥補正部４６は、注目画素の画素値を、図８において円で示される注目画素と同色の画素の画素値のうち２番目に小さい画素値と置き換える。
【０２７２】
一方、ステップＳ１８１において、注目画素は黒点欠陥画素ではないと判定された場合、処理は、ステップＳ１８３に進む。
【０２７３】
ステップＳ１８３において、欠陥補正部４６は、ステップＳ３０の処理の結果、注目画素は白点欠陥画素と判定されたか否かを判定する。ステップＳ１８３において、注目画素は白点欠陥画素であると判定された場合、処理は、ステップＳ１８４に進む。
【０２７４】
ステップＳ１８４において、欠陥補正部４６は、注目画素の画素値を、図８において円で示される注目画素と同色の画素の画素値のうち２番目に大きい画素値と置き換える。
【０２７５】
このようにして、飽和欠陥補正処理が実行される。
【０２７６】
以上のようにして、行露光配列欠陥補正処理が実行される。
【０２７７】
次に、図２６のフローチャートを参照して、欠陥補正処理部２１による均一露光配列欠陥補正処理の例について説明する。
【０２７８】
ステップＳ２０１において、ゲイン補正部４１は、入力画像の画素値について、露光時間の差に伴う差分を調整するための補正を行う。ゲイン補正部４１は、例えば、短時間露光画素の画素値に、（長時間露光画素の露光時間/短時間露光画素の露光時間）として求められるゲインを乗じる。これにより、短時間露光画素の画素値が長時間露光相当の画素値に補正される。
【０２７９】
なお、ステップＳ２０１以降の処理では、ゲイン補正部４１による補正後の画素値とともに、必要に応じて補正前の画素値も参照できるものとする。
【０２８０】
ステップＳ２０２において、飽和判定部４２は、注目画素を中心とする所定画素数の領域である処理単位領域について、画素値が飽和しているか否かを判定する。すなわち、当該処理単位領域が、画像の中の極めて明るい領域に対応しているか否かを判定する。
【０２８１】
このとき、例えば、画素値が最大値となっている画素の数が予め設定された閾値以上である場合、当該処理単位領域は飽和していると判定される。例えば、画素値が最大値となっている画素の数が３（閾値）以上である場合、当該処理単位領域は飽和していると判定される。
【０２８２】
ステップＳ２０２において、処理単位領域が飽和していないと判定された場合、処理は、ステップＳ２０３に進む。
【０２８３】
ステップＳ２０３において、平坦判定部４３は、図１８を参照して後述する非飽和平坦判定処理を実行する。これにより、当該処理単位領域が平坦であるか否かが判定される。
【０２８４】
図２６のステップＳ２０３の処理は、図１７のステップＳ２３の処理と同様の処理なので、詳細な説明は省略する。ただし、ステップＳ２０３では、注目画素がＧの画素であったときは、処理単位領域において、同色の画素が図１１に示されるように配置されていることになる。すなわち、処理単位領域において、同色の画素が全て同露光時間（この例では、短露光時間）となる。
【０２８５】
従って、ステップＳ２０３では、注目画素がＧの画素であったときは、ゲイン補正部４１による補正前の画素値を用いた演算が行われる。また、平坦か否かの判定に用いられる閾値として、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値が用意される。
【０２８６】
ステップＳ２０４において、平坦判定部４３は、ステップＳ２０３の判定結果が平坦であったか否かを判定する。平坦であった場合、処理は、ステップＳ２０５に進む。
【０２８７】
ステップＳ２０５において、欠陥判定部４５は、平坦欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。
【０２８８】
ステップＳ２０５の処理は、図１７のステップＳ２５と同様の処理なので詳細な説明は省略する。ただし、ステップＳ２０５では、欠陥判定のための閾値を演算する際には、欠陥判定部４５は、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値を演算する。
【０２８９】
ステップＳ２０６において、欠陥補正部４６は、平坦欠陥補正処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。
【０２９０】
ステップＳ２０６の処理は、図１７のステップＳ２６の処理と同様の処理なので詳細な説明は省略する。ただし、ステップＳ２０６では、置き換える画素として、注目画素がＲのとき、図１０のＲ０、Ｒ２、Ｒ５、またはＲ７が用いられ、注目画素がＧのとき、図１２のＧ０乃至Ｇ７が用いられる。なお、注目画素がＢのときは、注目画素がＲのときと同様に、当該処理単位領域内の同色かつ同露光時間の画素が用いられる。
【０２９１】
一方、ステップＳ２０４において、平坦ではなかったと判定された場合、処理は、ステップＳ２０７に進む。
【０２９２】
ステップＳ２０７において、方向検出部４４は、方向検出処理を実行する。これにより、テクスチャの方向が検出される。
【０２９３】
ステップＳ２０８において、欠陥判定部４５は、非平坦欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。
【０２９４】
ステップＳ２０９において、欠陥補正部４６は、非平坦欠陥補正処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。
【０２９５】
ステップＳ２０７乃至ステップＳ２０９の処理は、図１７のステップＳ２７乃至ステップＳ２９と同様の処理なので詳細な説明は省略する。
【０２９６】
一方、ステップＳ２０２において、処理単位領域が飽和していると判定された場合、処理は、ステップＳ２１０に進む。
【０２９７】
ステップＳ２１０において、平坦判定部４３は、飽和平坦判定処理を実行する。これにより、これにより、当該処理単位領域が平坦であるか否かが判定される。
【０２９８】
ここで、図２７のフローチャートを参照して、図２６のステップＳ２１０の飽和平坦判定処理の詳細な例について説明する。
【０２９９】
ステップＳ２２１において、平坦判定部４３は、注目画素がＧの画素であるか否かを判定し、注目画素がＧの画素であると判定された場合、処理は、ステップＳ２２２に進む。
【０３００】
ステップＳ２２２において、平坦判定部４３は、当該処理単位領域内における注目画素と同色の画素の画素値の最大値または最小値と、注目画素値とを比較する。
【０３０１】
一方、ステップＳ２２１において、注目画素がＧの画素ではない（すなわち、ＲまたはＢの画素である）と判定された場合、処理は、ステップＳ２２３に進む。
【０３０２】
ステップＳ２２３において、平坦判定部４３は、例えば、図１２において円が付された画素であって、注目画素と同色で同露光時間の４つの画素の画素値うちの最大値または最小値と、注目画素値とを比較する。
【０３０３】
ステップＳ２２４において、平坦判定部４３は、ステップＳ２２１またはステップＳ２２２の比較の結果、当該注目画素の画素値が最大値より大きいか否かを判定する。ステップＳ２２４において、注目画素の画素値が最大値より大きいと判定された場合、処理は、ステップＳ２２５に進む。
【０３０４】
ステップＳ２２５において、当該注目画素は白点欠陥画素候補とされ、所定のフラグなどが設定される。
【０３０５】
一方、ステップＳ２２４において、ステップＳ４１の比較の結果、当該注目画素の画素値が最大値より大きくないと判定された場合、処理は、ステップＳ２２６に進む。
【０３０６】
ステップＳ２２６において、平坦判定部４３は、ステップＳ２２２またはステップＳ２２３の比較の結果、当該注目画素の画素値が最小値より小さいか否かを判定する。ステップＳ２２６において、注目画素の画素値が最小値より小さいと判定された場合、処理は、ステップＳ２２７に進む。
【０３０７】
ステップＳ２２７において、当該注目画素は黒点欠陥画素候補とされ、所定のフラグなどが設定される。
【０３０８】
ステップＳ２２６において、当該注目画素の画素値が最小値より小さくないと判定された場合、ステップＳ２２７の処理はスキップされる。
【０３０９】
ステップＳ２２８において、平坦判定部４３は、注目画素と同色の画素の画素値の平均値ａｖｅ＿ａｒｅａを算出する。このとき、例えば、式（５）により、平均値ａｖｅ＿ａｒｅａが算出される。
【０３１０】
ステップＳ２２９において、平坦判定部４３は、ステップＳ２２８の演算結果を用いて、当該処理単位領域の平均偏差ｓｔｄ＿ａｒｅａを算出する。このとき、例えば、式（６）により、平均偏差ｓｔｄ＿ａｒｅａが算出される。
【０３１１】
ステップＳ２３０において、平坦判定部４３は、ステップＳ２２９の処理で演算された平均偏差ｓｔｄ＿ａｒｅａが、予め設定された閾値以上であるか否かを判定する。
【０３１２】
なお、ステップＳ２３０では、平坦か否かの判定に用いられる閾値として、ＲまたはＢの長時間露光画素用の閾値、ＲまたはＢの短時間露光画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の４種類の閾値が用意される。
【０３１３】
ステップＳ２３０において、閾値未満であると判定された場合、処理は、ステップＳ２３１に進み、平坦判定部４３は、当該処理単位領域が平坦であると判定する。
【０３１４】
ステップＳ２３０において、閾値以上であると判定された場合、処理は、ステップＳ２３２に進み、平坦判定部４３は、当該処理単位領域が平坦ではないと判定する。
【０３１５】
このようにして、飽和平坦判定処理が実行される。
【０３１６】
図２６に戻って、ステップＳ２１１において、平坦判定部４３は、ステップＳ２１０の処理の結果、当該処理単位領域が平坦と判定されたか否かを判定し、平坦と判定された場合、処理は、ステップＳ２１２に進む。
【０３１７】
ステップＳ２１２において、欠陥判定部４５は、飽和平坦欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。
【０３１８】
ステップＳ２１２の処理は、図１７のステップＳ２５と同様の処理なので詳細な説明は省略する。ただし、ステップＳ２１２では、欠陥判定のための閾値を演算する際には、欠陥判定部４５は、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値を演算する。
【０３１９】
ステップＳ２１３において、欠陥補正部４６は、飽和平坦欠陥補正処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。
【０３２０】
ステップＳ２１３の処理は、図１７のステップＳ２６の処理と同様の処理なので詳細な説明は省略する。ただし、ステップＳ２０６では、置き換える画素として、注目画素がＲのとき、図１０のＲ０、Ｒ２、Ｒ５、またはＲ７が用いられ、注目画素がＧのとき、図１２のＧ０乃至Ｇ７が用いられる。なお、注目画素がＢのときは、注目画素がＲのときと同様に、当該処理単位領域内の同色かつ同露光時間の画素が用いられる。
【０３２１】
一方、ステップＳ２１１において、ステップＳ２１０の処理の結果、当該処理単位領域が平坦ではないと判定された場合、処理は、ステップＳ２１４に進む。
【０３２２】
ステップＳ２１４において、方向検出部４４は、飽和方向検出処理を実行する。これにより、テクスチャの方向が検出される。
【０３２３】
ステップＳ２１４の処理は、図１７のステップＳ２７と同様の処理である。
【０３２４】
ただし、ステップＳ２１４では、長時間露光画素は飽和していると考えられるので、Ｇの短時間露光画素のみを用いた方向検出が行われる。
【０３２５】
すなわち、方向検出部４４は、処理単位領域の左右両端を１画素ずつ拡張した３５（＝７×５）個の画素から成る方向検出領域を抽出する。そして、方向検出部４４は、方向検出領域内において、隣接するＧの画素の差分絶対値を計算する。このとき、図１３に示されるように、方向検出部４４は、水平方向、垂直方向、＋４５°方向、および−４５°方向の４方向について、隣接するＧの画素の差分絶対値をそれぞれ計算する。
【０３２６】
そして、領域内の欠陥画素の影響を排除するために、各方向の複数通りの差分絶対値について、下位４通りが選択され、各方向における４通りの差分絶対値の平均値が算出される。なお、水平方向における４通りの差分絶対値の平均値、および、垂直方向における４通りの差分絶対値の平均値は、それぞれ√２倍される。
【０３２７】
さらに、方向検出部４４は、各方向に対応する４つの平均値の中の最小値を選択するとともに、最小値に対応する方向をテクスチャの方向として検出する。
【０３２８】
なお、注目画素がＧの短時間露光画素またはＢの画素の場合は、Ｇの短時間露光画素の数が最も多くなる３５（＝７×５）画素の領域を抽出すると、注目画素の位置がその領域の中心とならない。その場合、注目画素の左に位置する画素を中心とした場合の方向検出結果を流用するものとする。
【０３２９】
ステップＳ２１５において、欠陥判定部４５は、図２８を参照して後述する飽和非平坦欠陥判定処理を実行する。これにより、注目画素が欠陥画素であるか否かが判定される。
【０３３０】
ステップＳ２１６において、欠陥補正部４６は、図２９乃至図３１を参照して後述する飽和非平坦欠陥判定処理を実行する。これにより、欠陥画素である注目画素の画素値が補正される。
【０３３１】
ここで、図２８のフローチャートを参照して、図２６のステップＳ２１５の飽和非平坦欠陥判定処理の詳細な例について説明する。
【０３３２】
ステップＳ２４１において、欠陥判定部４５は、注目画素の色に応じて、同色で同露光時間の画素の画素値の平均値を算出する。
【０３３３】
例えば、注目画素がＲまたはＢである場合、欠陥判定部４５は、図１０において白色であり円の付された位置の４つの画素の画素値の平均値を算出し、注目画素がＧである場合、欠陥判定部４５は、図１１において円の付された位置の８つの画素の画素値の平均値を算出する。
【０３３４】
ステップＳ２４２において、欠陥判定部４５は、欠陥判定のための閾値を演算する。このとき、ステップＳ２４１で算出された平均値の平方根、および、ステップＳ２１４の処理で方向検出部４４により検出された方向に対応する平均値（４通りの差分絶対値の平均値）を用いて閾値が演算される。なお、ここでは、ＲまたはＢの画素用の閾値、Ｇの長時間露光画素用の閾値、および、Ｇの短時間露光画素用の閾値の３種類の閾値が演算される。
【０３３５】
ステップＳ２４３において、欠陥判定部４５は、ステップＳ２４１で算出された平均値と注目画素の画素値との差分絶対値が、ステップＳ２４２で演算された閾値以上であるか否かを判定する。ステップＳ２４３で閾値以上ではないと判定された場合、注目画素は、欠陥画素ではないと判定されたことになる。
【０３３６】
ステップＳ２４３において、閾値以上であると判定された場合、処理は、ステップＳ２４４に進む。
【０３３７】
ステップＳ２４４において、欠陥判定部４５は、注目画素の画素値が、ステップＳ２４１で算出された平均値より大きいか否かを判定する。
【０３３８】
ステップＳ２４４において、注目画素の画素値が、ステップＳ２４１で算出された平均値より大きいと判定された場合、処理は、ステップＳ２４５に進み、注目画素は白点欠陥画素と判定される。
【０３３９】
一方、ステップＳ２４４において、注目画素の画素値が、ステップＳ２４１で算出された平均値より小さいと判定された場合、処理は、ステップＳ２４６に進み、注目画素は黒点欠陥画素と判定される。
【０３４０】
このようにして、飽和非平坦欠陥判定処理が実行される。
【０３４１】
次に、図２９乃至図３１のフローチャートを参照して、図２６のステップＳ２１６の飽和非平坦欠陥補正処理の詳細な例について説明する。
【０３４２】
ステップＳ２６１において、欠陥補正部４６は、注目画素がＧの画素であるか否かを判定し、Ｇの画素であると判定された場合、処理は、ステップＳ２６２に進む。
【０３４３】
ステップＳ２６２において、欠陥補正部４６は、注目画素は黒点欠陥画素であるか否かを判定し、黒点欠陥画素であると判定された場合、処理は、ステップＳ２６３に進む。
【０３４４】
ステップＳ２６３において、欠陥補正部４６は、ステップＳ２１４の処理の結果、検出されたテクスチャの方向に基づいて、画素値の置き換えに用いる画素を選択する。
【０３４５】
ステップＳ２６４において、欠陥補正部４６は、注目画素の画素値を、ステップＳ２６３の処理で選択された画素の画素値のうち、小さい方の画素値と置き換えることにより補正する。
【０３４６】
一方、ステップＳ２６２において、黒点欠陥画素でないと判定された場合、処理は、ステップＳ２６５に進む。
【０３４７】
ステップＳ２６５において、欠陥補正部４６は、注目画素が白点欠陥画素であるか否かを判定し、白点欠陥画素であると判定された場合、処理は、ステップＳ２６６に進む。
【０３４８】
ステップＳ２６６において、欠陥補正部４６は、ステップＳ２１４の処理の結果、検出されたテクスチャの方向に基づいて、画素値の置き換えに用いる画素を選択する。
【０３４９】
ステップＳ２６７において、欠陥補正部４６は、注目画素の画素値を、ステップＳ２６６の処理で選択された画素の画素値のうち、大きい方の画素値と置き換えることにより補正する。
【０３５０】
ステップＳ２６２乃至ステップＳ２６７の処理では、例えば、テクスチャの方向が水平方向の場合、図１１のＧ３およびＧ４が選択される。また、テクスチャの方向が垂直方向の場合、図１１のＧ１およびＧ６が選択される。さらに、テクスチャの方向が＋４５°方向の場合、図１１のＧ２およびＧ５が選択される。また、テクスチャの方向が−４５°方向の場合、Ｇ０およびＧ７が選択される。
【０３５１】
そして、注目画素が白点欠陥画素であると判定された場合、上述のように選択された２つの画素の画素値のうち、大きい方の画素値によって注目画素の画素値を置き換えられる。また、注目画素が黒点欠陥画素であると判定された場合、上述のように選択された２つの画素の画素値のうち、小さい方の画素値によって注目画素の画素値を置き換えられる。
【０３５２】
一方、ステップ２６１において、注目画素がＧの画素ではない（すなわち、注目画素はＲまたはＢの画素）と判定された場合、処理は、図３０のステップＳ２８１に進む。
【０３５３】
ステップＳ２８１において、欠陥補正部４６は、ステップＳ２１４の処理で検出されたテクスチャの方向は垂直方向であるか否かを判定し、垂直方向であると判定された場合、処理は、ステップＳ２８２に進む。
【０３５４】
ステップＳ２８２において、欠陥補正部４６は、注目画素は黒点欠陥画素であるか否かを判定し、黒点欠陥画素であると判定された場合、処理は、ステップＳ２８３に進む。
【０３５５】
ステップＳ２８３において、欠陥補正部４６は、ステップＳ２１４の処理で検出されたテクスチャの方向に基づいて、注目画素と同色で同露光時間の画素を選択する。
【０３５６】
ステップＳ２８４において、欠陥補正部４６は、注目画素の画素値を、ステップＳ２８３の処理で選択された画素のうち、小さい方の画素値によって置き換える。
【０３５７】
一方、ステップＳ２８２において、黒点欠陥画素ではないと判定された場合、処理は、ステップＳ２８５に進む。
【０３５８】
ステップＳ２８５において、欠陥補正部４６は、注目画素は白点欠陥画素であるか否かを判定し、白点欠陥画素であると判定された場合、処理は、ステップＳ２８６に進む。
【０３５９】
ステップＳ２８６において、欠陥補正部４６は、注目画素の画素値を、ステップＳ２８５の処理で選択された画素のうち、大きい方の画素値によって置き換える。
【０３６０】
ステップＳ２８２乃至ステップＳ２８７の処理では、例えば、テクスチャの方向が＋４５°方向の場合、図１５のＲ２およびＲ５が選択される。テクスチャの方向が−４５°方向の場合、図１５のＲ０およびＲ７が選択される。
【０３６１】
テクスチャの方向が水平方向の場合、図１５のＲ３およびＲ４が選択される。なお、均一露光配列の場合、注目画素と水平方向に最も近い同色の画素は、注目画素の露光時間とは異なる露光時間の画素となるため、３５（＝７×５）画素の方向検出領域をさらに拡張した４５（＝９×５）画素の方向検出領域から画素を選択する必要がある。
【０３６２】
そして、注目画素が黒点欠陥画素の場合、選択された画素のうち、小さい方の画素値によって置き換えられ、注目画素が白点欠陥画素の場合、選択された画素のうち、大きい方の画素値によって置き換えられる。
【０３６３】
一方、ステップＳ２８１において、テクスチャの方向は垂直方向であると判定された場合、処理は、図３１のステップＳ３０１に進む。
【０３６４】
ステップＳ３０１において、欠陥補正部４６は、線形補間によって仮想的な画素の画素値を求める。
【０３６５】
すなわち、テクスチャの方向が垂直方向の場合、垂直方向の２つの位置の画素値を線形補間によって求める。例えば、図１４の（Ｒ０＋Ｒ２）／２として算出される画素値を有する仮想的な画素値、および、（Ｒ５＋Ｒ７）／２として算出される画素値を有する仮想的な画素値が算出される。均一露光配列の場合、５行分の領域の中に、垂直方向に同色で同露光時間の画素が存在しないからである。
【０３６６】
ステップＳ３０２において、欠陥補正部４６は、注目画素は黒点欠陥画素であるか否かを判定し、黒点欠陥画素であると判定された場合、処理は、ステップＳ３０３に進む。
【０３６７】
ステップＳ３０３において、欠陥補正部４６は、ステップＳ３０１の処理で求めた仮想的な画素値のうち、小さい方の画素値を補正候補値とする。
【０３６８】
一方、ステップＳ３０２において、黒点欠陥画素ではないと判定された場合、処理は、ステップＳ３０４に進む。
【０３６９】
ステップＳ３０４において、欠陥補正部４６は、注目画素は白点欠陥画素であるか否かを判定し、白点欠陥画素であると判定された場合、処理は、ステップＳ３０５に進む。
【０３７０】
ステップＳ３０５において、欠陥補正部４６は、ステップＳ３０１の処理で求めた仮想的な画素値のうち、大きい方の画素値を補正候補値とする。
【０３７１】
ステップＳ３０６において、ステップＳ３０３またはステップＳ３０５で得られた補正候補値について、短時間露光時間に係る画素値が、（長時間露光の露光時間/短時間露光の露光時間）で求められるゲインを乗じて補正される。
【０３７２】
ステップＳ３０７において、欠陥補正部４６は、垂直方向の注目画素と同色の画素の平均値を求める。例えば、図１４の場合、(Ｒ１＋Ｒ６)／２が算出される。なお、Ｒ１とＲ６は、線形補間により求められた仮想的な画素の画素値である。
【０３７３】
ステップＳ３０８において、欠陥補正部４６は、ステップＳ３０３またはステップＳ３０５で得られた補正候補値と、ステップＳ３０７で得られた平均値の差分絶対値を求める。
【０３７４】
ステップＳ３０９において、欠陥補正部４６は、ステップＳ３０８で得られた差分絶対値に基づいて、補正候補値に注目画素の画素値が混合される際の混合比率を決定する。
【０３７５】
このとき、例えば、図１５を参照して上述したように、混合比率が決定される。
【０３７６】
ステップＳ３１０において、欠陥補正部４６は、ステップＳ３０９で得られた混合比率に基づいて、補正候補値に注目画素の画素値を混合することによって、注目画素の画素値を補正する。
【０３７７】
このようにして、飽和非平坦欠陥補正処理が実行される。
【０３７８】
以上のようにして、均一露光配列欠陥補正処理が実行される。
【０３７９】
以上においては、本技術を、ベイヤー配列の画素アレイ内において、画素の位置に応じて露光時間を変えることにより、低輝度の画素から高輝度の画素まで適切に表示された、高ダイナミックレンジの画像を得るイメージセンサに適用する例について説明した。しかし、本技術は、ベイヤー配列の画素アレイ内において、画素の位置に応じて受光感度を変えることにより、低輝度の画素から高輝度の画素まで適切に表示された、高ダイナミックレンジの画像を得るイメージセンサに適用することも可能である。
【０３８０】
また、本技術が適用されるイメージセンサは、必ずしもベイヤー配列の画素アレイを有するイメージセンサに限られるものではない。
【０３８１】
図３２は、本技術の一実施形態に係る半導体装置としての固体撮像装置の構成例を示す図である。同図において、同図に示される固体撮像装置１００は、例えば、ＳＶＥ（Spatially Varying Exposure）方式を採用したイメージセンサであって、図１７乃至図３１を参照して上述した処理を実行可能なイメージセンサ１００として構成される。
【０３８２】
イメージセンサ１００は、図３２に示されるように、第１チップ（上チップ）１０１と第２チップ（下チップ）１０２の積層構造を有している。このイメージセンサ１００は、後で述べるように、ウェハレベルで貼り合わせ後、ダイシングで切り出した積層構造の固体撮像装置として形成される。
【０３８３】
上下２チップの積層構造において、例えば、第１チップ１０１はイメージセンサチップ、第２チップ１０２は第１チップの制御回路および画像処理回路を含むロジックチップとして構成される。
【０３８４】
ボンディングパッドＢＰＤおよび入出力回路は第２チップ（下チップ）１０２に形成されており、第１チップ（上チップ）には、第２チップ１０２にワイヤーボンドするための開口部ＯＰＮが形成されている。
【０３８５】
図３２のイメージセンサ１００の図中上側であって、第１チップ１０１の中央に行露光配列、または、均一露光配列で、短時間露光画素および長時間露光画素が配置された画素アレイが形成される。
【０３８６】
そして、第２チップ（下チップ）１０２には、図３に示される画像処理装置１０の機能を実現するための回路などが形成されている。
【０３８７】
図３３は、本実施形態に係る積層構造のイメージセンサのプロセスフローを説明する図である。
【０３８８】
図３３Ａに示されるように、上下のチップをそれぞれ最適なプロセスで作製したウェハーを貼りあわせた後に、上チップの裏面を研磨し上チップのウェハー厚を薄くする。第１チップ（上チップ）１０１側にパターニング後、第１チップ１０１側から第２チップ（下チップ）１０２の配線層までの貫通穴を開け、金属で埋めてビア（ＶＩＡ）を形成する。
【０３８９】
図３３Ｂに示されるように、このＶＩＡにより上下チップ間の信号線および電源線が電気的に接合される。
【０３９０】
そして、図３３Ｃに示されるように、第１チップ（上チップ）１０１側に、カラーフィルタおよびマイクロレンズの加工を行った後に、ダイシングによりチップとして切り出す。
【０３９１】
図３４は、本技術を適用した電子機器としての、撮像装置の構成例を示すブロック図である。
【０３９２】
図３４の撮像装置６００は、レンズ群などからなる光学部６０１、固体撮像装置（撮像デバイス）６０２、およびカメラ信号処理回路であるＤＳＰ回路６０３を備える。また、撮像装置６００は、フレームメモリ６０４、表示部６０５、記録部６０６、操作部６０７、および電源部６０８も備える。ＤＳＰ回路６０３、フレームメモリ６０４、表示部６０５、記録部６０６、操作部６０７および電源部６０８は、バスライン６０９を介して相互に接続されている。
【０３９３】
光学部６０１は、被写体からの入射光（像光）を取り込んで固体撮像装置６０２の撮像面上に結像する。固体撮像装置６０２は、光学部６０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像装置６０２として、上述した実施の形態に係るイメージセンサ１００等の固体撮像装置を用いることができる。
【０３９４】
表示部６０５は、例えば、液晶パネルや有機ＥＬ(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像装置６０２で撮像された動画または静止画を表示する。記録部６０６は、固体撮像装置６０２で撮像された動画または静止画を、ビデオテープやＤＶＤ(Digital Versatile Disk)等の記録媒体に記録する。
【０３９５】
操作部６０７は、ユーザによる操作の下に、撮像装置６００が有する様々な機能について操作指令を発する。電源部６０８は、ＤＳＰ回路６０３、フレームメモリ６０４、表示部６０５、記録部６０６および操作部６０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
【０３９６】
また、本技術は、可視光の入射光量の分布を検知して画像として撮像する固体撮像装置への適用に限らず、赤外線やＸ線、あるいは粒子等の入射量の分布を画像として撮像する固体撮像装置や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の固体撮像装置（物理量分布検知装置）全般に対して適用可能である。
【０３９７】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３９８】
なお、本技術は以下のような構成も取ることができる。
【０３９９】
（１）
異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、
前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部と
を備える固体撮像装置。
（２）
前記画素アレイ上に、同一の露光時間または露光感度の画素が行単位で規則的に配置されている
（１）に記載の固体撮像装置。
（３）
前記画素アレイ上に、同一の露光時間または露光感度の所定数の画素がＬ字型の一群の画素として規則的に配置されている
（１）に記載の固体撮像装置。
（４）
前記画素値補正部は、
前記画素アレイに配置された画素のうち、注目画素を中心とし、予め設定された行数の画素から成る処理単位領域を抽出し、前記処理単位領域毎に前記注目画素の画素値を補正する
（１）乃至（３）のいずれかに記載の固体撮像装置。
（５）
前記処理単位領域の行数は５である
（４）に記載の固体撮像装置。
（６）
前記画素値補正部は、
前記処理単位領域の画素のうち、最大値となる画素値を出力する画素の数に基づいて、前記処理単位領域が飽和しているか否かを判定する飽和判定部と、
前記処理単位領域の画素により構成される画像が、テクスチャが含まれない平坦な画像であるか否かを判定する平坦判定部と、
前記処理単位領域の画素により構成される画像が、平坦な画像ではないと判定された場合、前記テクスチャの方向を検出する方向検出部と、
前記注目画素が欠陥画素であるか否かを判定する欠陥判定部と、
前記注目画素が欠陥画素であると判定された場合、前記注目画素の画素値を補正する欠陥補正部と
を備える（４）に記載の固体撮像装置。
（７）
前記飽和判定部の判定結果に応じて、前記平坦判定部、および、前記方向検出部のそれぞれが異なる方式により、前記平坦な画像であるか否かの判定、および、前記テクスチャの方向の検出を行う
（６）に記載の固体撮像装置。
（８）
前記平坦判定部の判定結果に応じて、前記欠陥判定部、および、前記欠陥補正部のそれぞれが異なる方式により、前記注目画素が欠陥画素であるか否かの判定、および、前記注目画素の画素値の補正を行う
（７）に記載の固体撮像装置。
（９）
前記欠陥補正部は、
前記処理単位領域の画素により構成される画像が、平坦な画像ではないと判定された場合、前記注目画素の画素値を、前記検出されたテクスチャの方向に基づいて選択された画素の画素値と置き換えることで補正する
（８）に記載の固体撮像装置。
（１０）
前記欠陥補正部は、
前記画素アレイ上に、同一の露光時間または露光感度の所定数の画素がＬ字型の一群の画素として規則的に配置されている場合、前記検出されたテクスチャの方向が垂直方向であったとき、
前記テクスチャの方向に基づいて選択された画素の画素値を、線形補間によって生成する
（９）に記載の固体撮像装置。
（１１）
前記欠陥補正部は、さらに、
前記線形補間によって生成された画素値に基づいて決定される混合比率に基づいて、前記線形補間によって生成された画素値と、前記注目画素の画素値を混合する
（１０）に記載の固体撮像装置。
（１２）
前記処理単位領域の画素のうち、第１の露光時間または第１の露光感度を有する画素の画素値に、所定のゲインを乗じることで、前記処理単位領域の画素値を、前記第２の露光時間または第２の露光感度を有する画素の画素値を基準として正規化するゲイン付加部をさらに備える
（６）に記載の固体撮像装置。
（１３）
積層型のイメージセンサとして構成され、
第１のチップに前記画素アレイが配置され、
第２のチップに前記画素値補正部の機能を実現するための回路が形成される
（１）乃至（１３）のいずれかに記載の固体撮像装置。
（１４）
異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正するステップ
を含む固体撮像方法。
（１５）
異なる露光時間または異なる露光感度を有する複数の画素が所定の規則に従って配置された画素アレイと、
前記画素アレイの各画素から得られる画素値のうち、予め設定された条件に該当する画素の画素値を、他の画素の画素値を用いて補正する画素値補正部とを有する固体撮像装置
を備える電子機器。
【符号の説明】
【０４００】
１０  画像処理装置，  ２１  欠陥補正処理部，  ２２  ＨＤＲ合成処理部，  ２３  階調変換処理部，  ４１  ゲイン補正部，  ４２  飽和判定部，  ４３  平坦判定部，  ４４  方向検出部，  ４５  欠陥判定部，  ４６  欠陥補正部，  １００  イメージセンサ，  １０１  第１チップ，  １０２  第２チップ，  ６００  撮像装置，  ６０２  固体撮像装置
【図１】
2015019293.tif 000009
【図２】
2015019293.tif 000010
【図３】
2015019293.tif 000011
【図４】
2015019293.tif 000012
【図５】
2015019293.tif 000013
【図６】
2015019293.tif 000014
【図７】
2015019293.tif 000015
【図８】
2015019293.tif 000016
【図９】
2015019293.tif 000017
【図１０】
2015019293.tif 000018
【図１１】
2015019293.tif 000019
【図１２】
2015019293.tif 000020
【図１３】
2015019293.tif 000021
【図１４】
2015019293.tif 000022
【図１５】
2015019293.tif 000023
【図１６】
2015019293.tif 000024
【図１７】
2015019293.tif 000025
【図１８】
2015019293.tif 000026
【図１９】
2015019293.tif 000027
【図２０】
2015019293.tif 000028
【図２１】
2015019293.tif 000029
【図２２】
2015019293.tif 000030
【図２３】
2015019293.tif 000031
【図２４】
2015019293.tif 000032
【図２５】
2015019293.tif 000033
【図２６】
2015019293.tif 000034
【図２７】
2015019293.tif 000035
【図２８】
2015019293.tif 000036
【図２９】
2015019293.tif 000037
【図３０】
2015019293.tif 000038
【図３１】
2015019293.tif 000039
【図３２】
2015019293.tif 000040
【図３３】
2015019293.tif 000041
【図３４】
2015019293.tif 000042