(57)【要約】【課題】被写体領域の信号レベルが平坦か否かに拘わらず、欠陥画素を適切に補正する。【解決手段】画像補正装置は、第１範囲内の複数の画素の信号レベルの差分を導出し、信号レベルの差分が予め定められた第１閾値未満であるか否か判定する平坦度判定部１３６と、平坦度判定部の判定結果が第１閾値未満であれば、所定の画素の信号レベルを抽出する前置補間部１３８と、平坦度判定部の判定結果が第１閾値以上であれば、第２範囲内の複数の画素から相関のある方向である相関方向を特定し、特定した相関方向に含まれる複数の画素に基づいて信号レベルを導出する相関導出部１４０と、前置補間部によって抽出された、または、相関導出部によって導出された信号レベルを欠陥画素の信号レベルとする補正実行部１４２とを備える。【選択図】図１
2013162253.tif 000002
【特許請求の範囲】
【請求項１】
格子状に配列された複数の受光素子から出力される複数の画素のうち、予め位置が特定されている欠陥受光素子から出力される欠陥画素を補正する画像補正装置であって、
前記欠陥画素の位置に基づいて予め定められた第１範囲内の複数の画素の信号レベルの差分を導出し、前記信号レベルの差分が予め定められた第１閾値未満であるか否か判定する平坦度判定部と、
前記平坦度判定部の判定結果が前記第１閾値未満であれば、前記欠陥画素の位置に基づいて予め定められた相対位置にある画素の信号レベルを抽出する前置補間部と、
前記平坦度判定部の判定結果が前記第１閾値以上であれば、前記欠陥画素の位置に基づいて予め定められた第２範囲内の複数の画素から相関のある方向である相関方向を特定し、特定した相関方向に含まれる複数の画素に基づいて信号レベルを導出する相関導出部と、
前記前置補間部によって抽出された、または、前記相関導出部によって導出された信号レベルを前記欠陥画素の信号レベルとする補正実行部と、
を備えることを特徴とする画像補正装置。
【請求項２】
前記欠陥画素の位置に基づいて予め定められた第３範囲内の複数の画素の信号レベルの平均値に基づいて前記第１閾値を決定する閾値決定部をさらに備えることを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記平坦度判定部が導出する差分は、前記第１範囲内の複数の画素をその信号レベルの大きさ順に並べた場合の予め定められた所定順にある２つの画素の信号レベルの差分であることを特徴とする請求項１または２に記載の画像補正装置。
【請求項４】
前記相関導出部は、前記欠陥画素を含む、複数の方向にそれぞれ配された複数の画素の信号レベルの偏差を導出し、偏差が最も小さい方向を相関方向として特定することを特徴とする請求項１から３のいずれか１項に記載の画像補正装置。
【請求項５】
格子状に配列された複数の受光素子から出力される複数の画素のうち、予め位置が特定されている欠陥受光素子から出力される欠陥画素を補正する画像補正方法であって、
前記欠陥画素の位置に基づいて予め定められた第１範囲内の複数の画素の信号レベルの差分を導出し、前記信号レベルの差分が予め定められた第１閾値未満であるか否か判定し、
その判定結果が前記第１閾値未満であれば、前記欠陥画素の位置に基づいて予め定められた相対位置にある画素の信号レベルを抽出し、前記判定結果が前記第１閾値以上であれば、前記欠陥画素の位置に基づいて予め定められた第２範囲内の複数の画素から相関のある方向である相関方向を特定し、特定した相関方向に含まれる複数の画素に基づいて信号レベルを導出し、
抽出または導出した信号レベルを前記欠陥画素の信号レベルとすることを特徴とする画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、格子状に配列された複数の受光素子から出力される複数の画素のうち、予め位置が特定されている欠陥受光素子から出力される欠陥画素を補正する画像補正装置および画像補正方法に関する。
【背景技術】
【０００２】
複数の受光素子が格子状に配列された撮像素子では、その製造過程で発生する結晶欠陥等により正常な信号を出力することができない欠陥受光素子が生じることがある。ただし、この場合、欠陥受光素子を予め特定することができるので、かかる欠陥受光素子から出力された欠陥画素（傷画素）を、その周囲の受光素子から出力された画素で補正することができる。
【０００３】
このような欠陥画素の補正技術として、水平ラインの隣接する画素の情報を、欠陥画素の情報とする技術が開示されている（例えば、特許文献１）。
【０００４】
また、欠陥画素の補正技術として、欠陥画素の周囲の画素の状況に応じ、上下・左右・斜め等の一対の相関方向を選択して、欠陥画素の補間値を決定する技術も公開されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第昭６２−４０９１７号
【特許文献２】特開２００５−１７５５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
欠陥受光素子では、その欠陥原因によって様々な信号レベルが出力される。例えば、欠陥受光素子として、被写体の明るさ(入射光量)に拘わらず、常に信号の最大レベルに近い値を出力する受光素子(白傷)や、常に信号の最低レベルに近い値を出力する受光素子(黒傷)の様に固定値を出力する受光素子がある。また、本来の入射光量に応じた信号レベルより若干大きい、あるいは若干小さい信号レベルを出力する受光素子（オフセット傷）も存在する。
【０００７】
上記白傷は、明るい被写体領域では目立ち難いが、暗い被写体領域では傷として認識され易い。一方、上記黒傷は、暗い被写体領域では目立ち難いが、明るい被写体領域では傷として認識され易い。また、上記オフセット傷はノイズを含む（ノイズレベルが高い）画像領域では目立ち難いが、ノイズを含まない（ノイズレベルが低い）領域では傷として認識され易い。
【０００８】
また、さらに、白傷、黒傷、オフセット傷は、いずれも、被写体像の状態(画柄)によっては、補正を行うと補正を行う前の状態よりむしろ傷が目立つ場合がある。例えば、上述した特許文献１の技術を単純に用いると、欠陥画素周辺の被写体画像の特徴に拘わらず一義的に欠陥画素を補正してしまうため、欠陥画素周辺の被写体画像の特徴と水平ラインの隣接する画素とが異なる場合に、欠陥画素が却って目立つ結果を招くこととなる。
【０００９】
さらに、上述した特許文献２の技術を単純に用いると、信号レベルが平坦な被写体領域において微小なノイズが含まれる場合に、そのノイズの影響を受けて相関方向が高頻度で変化すると共に相関方向が変わる度にその補正値も変化してしまうので、欠陥画素が目立つこととなる。
【００１０】
そこで本発明は、このような課題に鑑み、被写体領域の信号レベルが平坦か否かに拘わらず、欠陥画素を適切に補正可能な画像補正装置および画像補正方法を提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明は下記の画像補正装置および画像補正方法を提供するものである。
（１）格子状に配列された複数の受光素子から出力される複数の画素のうち、予め位置が特定されている欠陥受光素子から出力される欠陥画素を補正する画像補正装置であって、前記欠陥画素の位置に基づいて予め定められた第１範囲内の複数の画素の信号レベルの差分を導出し、前記信号レベルの差分が予め定められた第１閾値未満であるか否か判定する平坦度判定部と、前記平坦度判定部の判定結果が前記第１閾値未満であれば、前記欠陥画素の位置に基づいて予め定められた相対位置にある画素の信号レベルを抽出する前置補間部と、前記平坦度判定部の判定結果が前記第１閾値以上であれば、前記欠陥画素の位置に基づいて予め定められた第２範囲内の複数の画素から相関のある方向である相関方向を特定し、特定した相関方向に含まれる複数の画素に基づいて信号レベルを導出する相関導出部と、前記前置補間部によって抽出された、または、前記相関導出部によって導出された信号レベルを前記欠陥画素の信号レベルとする補正実行部と、を備えることを特徴とする画像補正装置。
（２）前記欠陥画素の位置に基づいて予め定められた第３範囲内の複数の画素の信号レベルの平均値に基づいて前記第１閾値を決定する閾値決定部をさらに備えることを特徴とする上記（１）に記載の画像補正装置。
（３）前記平坦度判定部が導出する差分は、前記第１範囲内の複数の画素をその信号レベルの大きさ順に並べた場合の予め定められた所定順にある２つの画素の信号レベルの差分であることを特徴とする上記（１）または（２）に記載の画像補正装置。
（４）前記相関導出部は、前記欠陥画素を含む、複数の方向にそれぞれ配された複数の画素の信号レベルの偏差を導出し、偏差が最も小さい方向を相関方向として特定することを特徴とする上記（１）から（３）のいずれかに記載の画像補正装置。
（５）格子状に配列された複数の受光素子から出力される複数の画素のうち、予め位置が特定されている欠陥受光素子から出力される欠陥画素を補正する画像補正方法であって、前記欠陥画素の位置に基づいて予め定められた第１範囲内の複数の画素の信号レベルの差分を導出し、前記信号レベルの差分が予め定められた第１閾値未満であるか否か判定し、その判定結果が前記第１閾値未満であれば、前記欠陥画素の位置に基づいて予め定められた相対位置にある画素の信号レベルを抽出し、前記判定結果が前記第１閾値以上であれば、前記欠陥画素の位置に基づいて予め定められた第２範囲内の複数の画素から相関のある方向である相関方向を特定し、特定した相関方向に含まれる複数の画素に基づいて信号レベルを導出し、抽出または導出した信号レベルを前記欠陥画素の信号レベルとすることを特徴とする画像補正方法。
【発明の効果】
【００１２】
本発明によれば、被写体領域の信号レベルが平坦か否かに拘わらず、欠陥画素を適切に補正することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】撮像装置の概略的な関係を示した機能ブロック図である。
【図２】撮像装置の外観を示した斜視図である。
【図３】平坦度判定部の動作を説明するための説明図である。
【図４】前置補間部と相関導出部とを選択する理由を説明するための説明図である。
【図５】前置補間部と相関導出部とを選択する理由を説明するための説明図である。
【図６】欠陥画素の信号レベルを加重加算する処理の説明図である。
【図７】閾値決定部の動作を説明するための説明図である。
【図８】閾値決定部の動作を説明するための説明図である。
【図９】画像補正方法の具体的な処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１５】
画像補正装置は、格子状に配列された複数の受光素子から出力される複数の画素のうち、予め位置が特定されている欠陥受光素子から出力される欠陥画素を補正する。本実施形態では、当該画像補正装置を撮像装置１００に組み込んだ例を挙げ、その機能を説明する。ただし、画像補正装置は、撮像装置１００に限らず、画像データが用いられる様々な電子機器に採用することができ、また、単独でも動作可能である。
【００１６】
（撮像装置１００）
図１は、撮像装置１００の概略的な関係を示した機能ブロック図であり、図２は、撮像装置１００の外観を示した斜視図である。図１および図２に示すように、撮像装置１００は、撮像部１１０と、データ処理部１１２と、画像補正部１１４と、表示部１１６と、操作部１１８と、画像保持部１２０と、中央制御部１２２とを含んで構成される。
【００１７】
撮像部１１０は、撮像レンズ１１０ａと、焦点調整に用いられるフォーカスレンズ１１０ｂと、露光調整に用いられる絞り（アイリス）１１０ｃと、複数の受光素子が格子状に配列され、撮像レンズ１１０ａを通じて入射した光束を画像データに光電変換する撮像素子１１０ｄと、後述する撮像制御部１３０の制御信号に応じてフォーカスレンズ１１０ｂ、絞り１１０ｃおよび撮像素子１１０ｄをそれぞれ駆動させる駆動部１１０ｅとを含んで構成され、１／６０秒のフレーム毎に（６０ｆｐｓで）連続して画像データ（動画および静止画）を生成する。
【００１８】
データ処理部１１２は、撮像部１１０で生成された画像データに、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理等の画像信号処理を施す。画像補正部１１４は、データ処理部１１２が処理した画像データの欠陥画素を補正する。かかる欠陥画素の補正については、後ほど詳述する。
【００１９】
表示部１１６は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、画像補正部１１４で欠陥画素が補正された画像データに基づく画像を表示する。操作部１１８は、操作キー、十字キー、ジョイスティック、表示部１１６の表示面に重畳されたタッチパネル等で構成され、撮像者の操作入力を受け付ける。
【００２０】
画像保持部１２０は、ＨＤＤ、フラッシュメモリ、不揮発性ＲＡＭ等で構成され、後述する記憶制御部１３２の制御信号に応じて、中央制御部１２２から送信された画像データを保持する。また、画像保持部１２０は、ＣＤ（Compact Disc）、ＤＶＤやＢＤ（Blu-ray Disc）といった光ディスク媒体や、ポータブルメモリカード等、着脱可能な記憶媒体に画像データを保持させる装置として構成されてもよい。
【００２１】
中央制御部１２２は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、撮像装置１００全体を管理および制御する。また、中央制御部１２２は、上記撮像素子１１０ｄにおける、正常な信号が出力されない欠陥受光素子の位置（画像データにおける欠陥画素の位置）を示す情報（欠陥画素位置情報）をＲＯＭ等に保持すると共に、撮像制御部１３０、記憶制御部１３２、閾値決定部１３４、平坦度判定部１３６、前置補間部１３８、相関導出部１４０、補正実行部１４２としても機能する。以下では、撮像装置１００を構成する機能部を簡単に説明し、本実施形態に特徴的な各機能部を後ほど詳述する。
【００２２】
撮像制御部１３０は、撮像者の操作入力に応じて、適切な画像データが得られるように、フォーカスレンズ１１０ｂ、絞り１１０ｃおよび撮像素子１１０ｄを駆動部１１０ｅに駆動させる。記憶制御部１３２は、撮像部１１０が画像データを生成している間、画像補正部１１４で欠陥画素が補正された画像データを画像保持部１２０に記憶する。
【００２３】
閾値決定部１３４は、上記欠陥画素位置情報を参照し、欠陥画素の位置に基づいて予め定められた所定の範囲（第３範囲）内の複数の画素の信号レベルの平均値に基づいて第１閾値を決定する。上記信号レベルは、輝度、明度、彩度、色相等、受光素子が生成する信号の様々なパラメータを含んでいる。
【００２４】
平坦度判定部１３６は、上記欠陥画素位置情報を参照し、欠陥画素の位置に基づいて予め定められた所定の範囲（第１範囲）内の複数の画素の信号レベルの差分を導出し、信号レベルの差分が第１閾値未満であるか否か判定する。かかる判定に応じて、欠陥画素近傍の信号レベルが平坦な画像を示しているか否か判定され、その結果に応じて、前置補間部１３８および相関導出部１４０のいずれか一方で欠陥画素に対応する画素の信号レベルが導出（抽出）される。
【００２５】
前置補間部１３８は、平坦度判定部１３６の判定結果が第１閾値未満であれば、欠陥画素の位置に基づいて予め定められた相対位置にある画素の信号レベルを抽出する。
【００２６】
相関導出部１４０は、平坦度判定部１３６の判定結果が第１閾値以上であれば、上記欠陥画素位置情報を参照し、欠陥画素の位置に基づいて予め定められた所定の範囲（第２範囲）内の複数の画素から相関のある方向である相関方向を特定する。そして、相関導出部１４０は、特定した相関方向に含まれる複数の画素に基づいて信号レベルを導出する。
【００２７】
補正実行部１４２は、撮像素子１１０ｄに画像データの生成を指示すると共に、前置補間部１３８によって抽出された、または、相関導出部１４０によって導出された信号レベルを画像補正部１１４に送信し、撮像素子１１０ｄにおいて欠陥画素が読み出されるタイミングで、画像補正部１１４に、送信した信号レベルを欠陥画素の信号レベルとして画像データに反映させる。
【００２８】
以下、平坦度判定部１３６、前置補間部１３８、相関導出部１４０、閾値決定部１３４について、具体的な処理を説明する。
【００２９】
（平坦度判定部１３６の処理）
図３は、平坦度判定部１３６の動作を説明するための説明図である。図３（ａ）および図３（ｂ）は、撮像態様の異なる任意の画像データの部分データ例であり、画素に相当する四角中の上部に示されている数値は、図３（ａ）および図３（ｂ）中、左上の画素を始点とする座標（Ｘ座標，Ｙ座標）であり、四角中の下部に示されている数値は、その画素の信号レベルとして輝度（０〜２５５）を示している。そして、図３（ａ）および図３（ｂ）では、その中央の画素（３，３）に欠陥画素が位置しており、他の画素は全て正常な信号レベルを出力しているとする。ここでは、欠陥画素（３，３）自体の信号レベルは他の画素に何らの影響を及ぼさず、本実施形態により補正されるので、記載を省略している。また、第１閾値は、閾値決定部１３４が決定するか、もしくは、予め決定されているが、ここでは、説明の便宜上、仮に固定値の２０を用いる。
【００３０】
平坦度判定部１３６は、上記欠陥画素位置情報を参照して欠陥画素の位置を特定すると、その欠陥画素（３，３）を中心とする垂直３画素×水平３画素の範囲（第１範囲）２１０内の複数の画素をその信号レベルの大きさ順に並べる。そして、平坦度判定部１３６は、予め定められた所定順にある２つの画素の信号レベルの差分を導出する。
【００３１】
具体例を挙げると、平坦度判定部１３６は、図３（ａ）の部分データの垂直３画素×水平３画素の範囲２１０内の欠陥画素（３，３）以外の画素に関して、画素（２，２）＝１１０、画素（２，３）＝９３、画素（２，４）＝９５、画素（３，２）＝１１１、画素（３，４）＝１０５、画素（４，２）＝９０、画素（４，３）＝９５、画素（４，４）＝１０５の８つの信号レベルを取得する。
【００３２】
次に、平坦度判定部１３６は、取得した８つの信号レベルを昇順に並べ、最大値より１つ小さな（２番目に大きな）信号レベルｍａｘ２と、最小値より１つ大きな（２番目に小さな）信号レベルｍｉｎ２とを抽出する。すると、ｍａｘ２＝１１０、ｍｉｎ２＝９３となる。
【００３３】
そして、平坦度判定部１３６は、その差分ＤＮ＝ｍａｘ２−ｍｉｎ２を導出し、第１閾値と比較する。ここでは、差分ＤＮ＝１７となる。次に、平坦度判定部１３６は、差分ＤＮから第１閾値（例えば２０）を減算する。すると、その減算結果ＤＤは負の値となる。このように減算結果ＤＤが負の値となる場合、差分ＤＮが第１閾値未満であるということに等しいので、平坦度判定部１３６は、欠陥画素近傍の信号レベルが平坦な画像を示していると判定し前置補間部１３８を機能させる。
【００３４】
ここで、平坦度判定部１３６が、予め定められた所定順として、最大値より１つ小さな信号レベルｍａｘ２と、最小値より１つ大きな信号レベルｍｉｎ２とを用いているのは、対象となる範囲２１０内において、他の欠陥画素が隣接して存在する場合に、他の欠陥画素を平坦な画像か否かの判定に極力用いないようにするためである。したがって、欠陥画素同士が離隔していることが予め把握できる場合は、最小値および最大値を用いてもよく、また、所定順として２ではなく、画像の状態に応じて３以上の数値を用いてもよい。
【００３５】
一方、図３（ｂ）に示す部分データの場合、平坦度判定部１３６は、垂直３画素×水平３画素の範囲２１０内の欠陥画素（３，３）以外の画素に関して、画素（２，２）＝４８、画素（２，３）＝１４９、画素（２，４）＝５０、画素（３，２）＝４９、画素（３，４）＝５１、画素（４，２）＝５０、画素（４，３）＝１５１、画素（４，４）＝５２の８つの信号レベルを取得する。すると、ｍａｘ２＝１４９、ｍｉｎ２＝４９が導き出される。
【００３６】
そして、その差分ＤＮは、ｍａｘ２−ｍｉｎ２＝１００となり、差分ＤＮから第１閾値（例えば２０）を減算すると、その減算結果ＤＤは正の値となる。このように減算結果ＤＤが正の値となる場合、差分が第１閾値以上であるということに等しいので、平坦度判定部１３６は、欠陥画素近傍の信号レベルが平坦な画像を示していない、即ち、凹凸のある画像であると判定し相関導出部１４０を機能させる。
【００３７】
（前置補間部１３８の処理）
上述したように、平坦度判定部１３６の判定結果が第１閾値未満であれば、前置補間部１３８が機能し、前置補間部１３８は、欠陥画素（３，３）の位置に基づいて予め定められた相対位置、例えば、上記の範囲２１０内にあり、かつ、水平方向の左側に隣接する画素（３，２）の信号レベルを抽出する（図３（ａ）中、太枠で示す。）。したがって、図３（ａ）の例では、画素（３，２）の信号レベル１１１が欠陥画素（３，３）の信号レベルとして抽出される。
【００３８】
ここでは、部分データが人間の皮膚や建物の壁といったように平坦度が高く、欠陥画素の近傍に位置する画素の信号レベルがほぼ均一な値を示しているため（差分が第１閾値未満）、欠陥画素の信号レベルとして、隣接する特定の１の画素の信号レベルに置換することで、特定の画素を目立たせることなく、近傍の画素とのバランスを図ることができる。
【００３９】
（相関導出部１４０の処理）
上述したように、平坦度判定部１３６の判定結果が第１閾値以上であれば、相関導出部１４０が機能し、相関導出部１４０は、まず、欠陥画素（３，３）を中心とする、例えば垂直５画素×水平５画素の範囲（第２範囲）２１２内の複数の画素から、相関のある方向である相関方向を特定する。
【００４０】
相関方向は、具体的に以下のようにして特定する。即ち、相関導出部１４０は、欠陥画素（３，３）を除く、複数の方向にそれぞれ配された範囲２１２内の複数の画素の信号レベルを全て抽出し、それぞれの方向における信号レベルの偏差を導出する。
【００４１】
例えば、図３（ｂ）の例では、図３（ｂ）中に対象方向として示した、水平方向を０度としたとき、欠陥画素（３，３）を中心として反時計回りに０度、４５度、９０度、１３５度の角度で特定される４つの方向を挙げる。ここでは、それぞれの方向をＤ０、Ｄ４５、Ｄ９０、Ｄ１３５のように表す。
【００４２】
任意の方向についての信号レベルの偏差は、その方向に存在する画素の信号レベルの最大値と最小値の差分によって導出される。例えば、方向Ｄ０に存在する、欠陥画素（３，３）を除く全ての画素の信号レベルは、画素（３，１）＝１４８、画素（３，２）＝４９、画素（３，４）＝５１、画素（３，５）＝１５２であるから、方向Ｄ０に関する信号レベルの偏差は、１５２−４９＝１０３となる。同様に、方向Ｄ４５に関する信号レベルの偏差は１５０−５０＝１００となり、方向Ｄ９０に関する信号レベルの偏差は１５２−１４８＝４となり、方向Ｄ１３５に関する信号レベルの偏差は１５４−４８＝１０６となる。
【００４３】
ここでは、偏差が小さいほど、各方向の相関性が高いことを示す。したがって、相関導出部１４０は、４つの方向Ｄ０、Ｄ４５、Ｄ９０、Ｄ１３５の偏差が最小となる方向を相関方向として特定する。例えば、図３（ｂ）の例では、方向Ｄ９０の偏差が４で最小となり、相関方向は、垂直方向に相当する方向Ｄ９０となる。
【００４４】
そして、相関導出部１４０は、特定した相関方向Ｄ９０に含まれる複数の画素に基づいて、例えば、方向Ｄ９０に存在する、欠陥画素（３，３）を除く全ての画素の信号レベル（画素（１，３）＝１４８、画素（２，３）＝１４９、画素（４，３）＝１５１、画素（５，３）＝１５２）の平均値を導出する。平均値は、（１４８＋１４９＋１５１＋１５２）／４＝１５０となる。
【００４５】
このようにして相関導出部１４０に導出された信号レベルは、図３（ｂ）の欠陥画素（３，３）に代入されることとなる。図３（ｂ）における欠陥画素（３，３）以外の他の画素は、全体的に垂直方向に信号レベルが近似しているので、欠陥画素（３，３）に信号レベル１５０を代入することで、垂直方向に相関性の高い画像を維持することができる。
【００４６】
（前置補間部１３８と相関導出部１４０とを選択する理由）
本実施形態では、欠陥画素近傍の信号レベルが平坦な画像を示しているか否かに応じて、前置補間部１３８および相関導出部１４０のいずれか一方が選択される。このような選択を行う理由を以下に述べる。
【００４７】
図４および図５は、前置補間部１３８と相関導出部１４０とを選択する理由を説明するための説明図である。図３（ｂ）を用いて説明したように、平坦度判定部１３６の判定結果が第１閾値以上であれば、相関導出部１４０を機能させ、相関導出部１４０は、相関方向の特定を通じ、相関方向に相関性の高い信号レベル１５０を欠陥画素（３，３）の信号レベルとして導出する。
【００４８】
かかる信号レベル１５０を欠陥画素（３，３）に代入すると、部分データは図４（ａ）の左図のようになる。このとき、信号レベルが比較的低い（５０近傍）画素をクロスハッチングで示し、信号レベルが比較的高い（１５０近傍）画素をハッチングで示すと図４（ａ）の右図のようなイメージになり、垂直方向に相関性の高い画像が維持されているのが理解できる。
【００４９】
しかし、平坦度判定部１３６の判定結果に拘わらず前置補間部１３８を機能させた場合、前置補間部１３８は、水平方向の左側に隣接する画素（３，２）にある画素の信号レベル４９を欠陥画素（３，３）の信号レベルとして導出するので、部分データは図４（ｂ）の左図のようになる。このとき、信号レベルが比較的低い（５０近傍）画素をクロスハッチングで示し、信号レベルが比較的高い（１５０近傍）画素をハッチングで示すと図４（ｂ）の右図のようなイメージになり、垂直方向に相関性の高い画像が途切れると共に、信号レベルが比較的低い帯２２０同士が接続されているかのように視認してしまい、欠陥画素（３，３）が非常に目立つ画素となってしまう。
【００５０】
したがって、欠陥画素近傍の信号レベルが平坦な画像を示していない場合は、相関導出部１４０によって、その画像の凹凸を見極め、相関方向に相関性の高い信号レベルを導出するのが望ましい。
【００５１】
次に、前置補間部１３８を選択する理由を説明する。図３（ａ）を用いて説明したように、平坦度判定部１３６の判定結果が第１閾値未満であれば、前置補間部１３８を機能させ、前置補間部１３８は、水平方向の左側に隣接する画素にある画素の信号レベル１１１を欠陥画素（３，３）の信号レベルとして導出する。
【００５２】
仮に、平坦度判定部１３６の判定結果に拘わらず相関導出部１４０を機能させた場合、相関導出部１４０は、信号レベルが平坦な被写体領域において、微小なノイズが含まれると、そのノイズの影響を受けて相関方向が高頻度で変化し、相関方向が変わる度にその補正値も変化してしまう。
【００５３】
欠陥画素近傍の信号レベルが平坦な画像を示している図３（ａ）の部分データの欠陥画素（３，３）に関し、相関導出部１４０が処理を遂行すると以下のように信号レベルが導出される。
【００５４】
即ち、図３（ａ）中において、欠陥画素（３，３）を中心として反時計回りに０度、４５度、９０度、１３５度の角度で特定される４つの方向Ｄ０、Ｄ４５、Ｄ９０、Ｄ１３５を挙げる。かかる４つの方向についての信号レベルの偏差は、その方向に存在する画素の信号レベルの最大値と最小値の差分によって導出されるので、例えば、方向Ｄ０に関する信号レベルの偏差は１１１−１０５＝６となり、方向Ｄ４５に関する信号レベルの偏差は１０５−９０＝１５となり、方向Ｄ９０に関する信号レベルの偏差は９５−９０＝５となり、方向Ｄ１３５に関する信号レベルの偏差は１１０−９５＝１５となる。そもそも図３（ａ）の部分データは欠陥画素近傍の信号レベルが平坦な画像を示しているので、全ての偏差は第１閾値２０以下となる可能性が高い。
【００５５】
続いて、相関導出部１４０は、４つの方向Ｄ０、Ｄ４５、Ｄ９０、Ｄ１３５の偏差が最小となる方向を相関方向として特定する。例えば、図３（ａ）の例では、方向Ｄ９０の偏差が５で最小となり、相関方向は、垂直方向に相当する方向Ｄ９０となる。
【００５６】
そして、相関導出部１４０は、特定した相関方向Ｄ９０に含まれる複数の画素に基づいて、例えば、方向Ｄ９０に存在する、欠陥画素（３，３）を除く全ての画素の信号レベル（画素（１，３）＝９５、画素（２，３）＝９３、画素（４，３）＝９５、画素（５，３）＝９０）の平均値を導出する。平均値は、（９５＋９３＋９５＋９０）／４＝９３．２５≒９３となる。
【００５７】
このようにして相関導出部１４０に導出された信号レベル９３が、欠陥画素（３，３）に代入されると、部分データは、図５（ａ）の左図のようになる。このとき、信号レベルが比較的低い（１００未満）画素をクロスハッチングで示し、信号レベルが比較的高い（１００以上）画素をハッチングで示すと図５（ａ）の右図のようなイメージになり、垂直方向に相関性の高い画像が得られることが理解できる。
【００５８】
そして、１／６０秒後の次のフレームでは、ノイズによって画素（３，２）の信号レベルのみが１１１から１０９に変化したとする。このとき、方向Ｄ０に関する信号レベルの偏差は、１０９−１０５＝４に変化し、他の方向Ｄ４５、Ｄ９０、Ｄ１３５に関する偏差は、１５、５、１５と変化しない。
【００５９】
続いて、相関導出部１４０は、４つの方向Ｄ０、Ｄ４５、Ｄ９０、Ｄ１３５の偏差が最小となる方向を相関方向として特定する。このとき、図３（ａ）の例では、方向Ｄ９０の偏差が５で最小となっていたが、画素（３，２）の信号レベルが変化することで、方向Ｄ０の偏差が４で最小となっている。したがって、相関方向は、水平方向に相当する方向Ｄ０となる。
【００６０】
そして、相関導出部１４０は、特定した相関方向Ｄ０に含まれる複数の画素に基づいて、例えば、方向Ｄ０に存在する、欠陥画素（３，３）を除く全ての画素の信号レベル（画素（３，１）＝１０５、画素（３，２）＝１０９、画素（３，４）＝１０５、画素（３，５）＝１０９）の平均値を導出する。平均値は、（１０５＋１０９＋１０５＋１０９）／４＝１０７となる。
【００６１】
このようにして相関導出部１４０に導出された信号レベル１０７が、欠陥画素（３，３）に代入されると、部分データは、図５（ｂ）の左図のようになる。このとき、信号レベルが比較的低い（１００未満）画素をクロスハッチングで示し、信号レベルが比較的高い（１００以上）画素をハッチングで示すと図５（ｂ）の右図のようなイメージになり、図５（ａ）の右図では相関性が高かった垂直方向の画像が途切れ、イメージが図５（ａ）の右図と異なっていることが理解できる。
【００６２】
また、隣接する画素（３，２）の信号レベルが１１１から１０９に２減少した場合に、前置補間部１３８が導出する欠陥画素（３，３）の信号レベルは１１１から１０９に２減少するだけであるが、相関導出部１４０が導出した欠陥画素（３，３）の信号レベルは９３から１０７に１４増加し、隣接する画素に対して、大きく変化していることがわかる。ここでは、前置補間部１３８に対し、相関導出部１４０の方が、ノイズの変化（−２）に対して、例えば、約７倍、逆の増減方向に導出される場合があることを示しており、欠陥画素（３，３）が非常に目立つこととなる。
【００６３】
さらに、１／６０秒後の次のフレームでは、画素（３，２）の信号レベルは変化せず、ノイズによって画素（５，３）のみが９０から９２に変化したとする。このとき、方向Ｄ９０に関する信号レベルの偏差は、９５−９２＝３に変化し、他の方向Ｄ０、Ｄ４５、Ｄ１３５に関する偏差は、４、１５、１５と変化しない。
【００６４】
続いて、相関導出部１４０は、４つの方向Ｄ０、Ｄ４５、Ｄ９０、Ｄ１３５の偏差が最小となる方向を相関方向として特定する。このとき、図５（ｂ）の例では、方向Ｄ０の偏差が４で最小となっていたが、画素（５，３）の信号レベルが変化することで、方向Ｄ９０の偏差が３で最小となっている。したがって、相関方向は、再度、垂直方向に相当する方向Ｄ９０となる。
【００６５】
そして、相関導出部１４０は、特定した相関方向Ｄ９０に含まれる複数の画素に基づいて、例えば、方向Ｄ９０に存在する、欠陥画素（３，３）を除く全ての画素の信号レベル（画素（１，３）＝９５、画素（２，３）＝９３、画素（４，３）＝９５、画素（５，３）＝９２）の平均値を導出する。平均値は、（９５＋９３＋９５＋９２）／４＝９３．７５≒９４となる。
【００６６】
このようにして相関導出部１４０に導出された信号レベル９４が、欠陥画素（３，３）に代入されると、部分データは、図５（ｃ）の左図のようになる。このとき、信号レベルが比較的低い（１００未満）画素をクロスハッチングで示し、信号レベルが比較的高い（１００以上）画素をハッチングで示すと図５（ｃ）の右図のようなイメージになり、図５（ｃ）の右図では、図５（ａ）の右図の如く、垂直方向に相関性の高い画像が得られることが理解できる。このように、図５（ａ）、（ｂ）、（ｃ）の３フレームの間に、そのノイズの影響を受けて相関方向が高頻度で変化し、相関方向が変わる度にその補正値も変化していることが把握される。
【００６７】
また、図５（ｂ）から図５（ｃ）にかけて、画素（５，３）の信号レベルが９０から９２に２増加した場合に、前置補間部１３８が導出する欠陥画素（３，３）の信号レベルは変化しないが、相関導出部１４０が導出した欠陥画素（３，３）の信号レベルは１０７から９４に１３減少し、隣接する画素に対して、大きく変化していることがわかる。こうして、欠陥画素（３，３）が非常に目立つこととなる。
【００６８】
このように、平坦度判定部１３６の判定結果に拘わらず相関導出部１４０を機能させた場合、周辺画素のノイズレベルより大きな信号レベルが変化したり、そもそも周辺画素が平坦なので、微小なノイズレベルの変化により、そのような現象が高頻度で生じたりして、欠陥画素が目立ちやすくなる。本実施形態では、このような欠陥画素近傍の信号レベルが平坦な画像では、水平方向の左側に隣接する画素にある画素の信号レベルを欠陥画素の信号レベルとして導出するので、その隣接する画素に追従して信号レベルが変化し、ノイズの影響によって欠陥画素が目立つことを回避できる。
【００６９】
上記をまとめると、図４および図５を用いて理解できるように、画像の平坦度（平坦または凹凸）に拘わらず、一義的に前置補間部１３８を用いた場合、欠陥画素近傍の信号レベルが平坦な画像では、補正された欠陥画素が目立ち難いが、凹凸のある画像では、目立つこととなる。一方、一義的に相関導出部１４０を用いた場合、欠陥画素近傍の信号レベルが凹凸のある画像では、欠陥画素が目立ち難いが、平坦な画像では、欠陥画素が目立つこととなる。本実施形態では、画像の平坦度に応じて、欠陥画素近傍の信号レベルが平坦な画像に関しては前置補間部１３８を適切に機能させ、欠陥画素近傍の信号レベルが平坦ではない画像に関しては相関導出部１４０を適切に機能させることで、平坦な画像や平坦ではない画像のいずれに対しても良好な補正結果を得ることが可能となる。
【００７０】
また、欠陥画素近傍の信号レベルが平坦な画像に関しては前置補間部１３８を用いることで、一義的に相関導出部１４０を機能させる場合より、計算負荷を軽減することが可能となり、消費電力やコストの低減を図ることができる。
【００７１】
また、本実施形態では、平坦度判定部１３６が、差分ＤＮから第１閾値（例えば２０）を減算した減算結果ＤＤが正の値であるか負の値であるかに応じて、前置補間部１３８と相関導出部１４０のいずれかを一義的に選択する例を挙げて説明したが、かかる場合に限らず、重み係数Ｋを通じて双方の導出結果を加重加算し、欠陥画素の信号レベルを導出するとしてもよい。
【００７２】
図６は、欠陥画素の信号レベルを加重加算する処理の説明図である。例えば、第１閾値が２０である場合に、その±２０を加重加算領域とする。平坦度判定部１３６は、図６に基づき、差分ＤＮから第１閾値（例えば２０）を減算した減算結果ＤＤに応じて、重み係数Ｋを導出する。そして、平坦度判定部１３６は、前置補間部１３８が導出した欠陥画素の信号レベルＱｐと相関導出部１４０が導出した欠陥画素の信号レベルＱｃと重み係数Ｋとを用い、下記の数式１に基づいて加重加算を行い、欠陥画素の信号レベルＱを導出する。
Ｑ＝Ｑｐ                        （ＤＤ<−２０）
Ｑ＝（１−Ｋ）×Ｑｐ＋Ｋ×Ｑｃ  （−２０≦ＤＤ<２０）
Ｑ＝Ｑｃ                        （２０≦ＤＤ）
…（数式１）
かかる加重加算によって周囲画素の変化に対して欠陥画素の信号レベルの変化の連続性を高くすることが可能となる。
【００７３】
（閾値決定部１３４の動作説明）
図７および図８は、閾値決定部１３４の動作を説明するための説明図である。上述したように、本実施形態の撮像装置１００では、撮像装置１００の特性を考慮し、データ処理部１１２によって、撮像部１１０で生成された画像データに、γ補正等の非線形処理を実行するのが一般的である。かかる非線形処理(γ補正)は、図７の撮像部１１０から出力された信号レベルに対するγ補正後の出力を参照して理解できるように、暗部に関しては信号レベルにより高い利得を乗算し、明部に関しては暗部より低い利得を乗算している。
【００７４】
そのため、欠陥画素周辺の平坦度を示す信号レベルの差分ＤＮが等しくとも、明部ではより平坦な信号に変換されるのに対し、暗部では凹凸の度合いが強調される。そこで、閾値決定部１３４は、欠陥画素の位置に基づいて予め定められた範囲、例えば、図３〜図５の欠陥画素（３，３）を中心とする、例えば垂直５画素×水平５画素の範囲（第３範囲）内の明暗を判定する。具体的には、かかる範囲に含まれる、欠陥画素（３，３）を除く全ての画素の信号レベルの平均値を用い、図８に基づいて第１閾値を決定する。ここでは、第３範囲を上記第２範囲と等しくしたが、これに限らず、任意の範囲とすることができる。
【００７５】
例えば、図８（ａ）を参照すると、閾値決定部１３４は、欠陥画素（３，３）を除く全ての画素の信号レベルの平均値が大きいほど（明るいほど）、小さい第１閾値を選択する。また、図８（ｂ）のように、欠陥画素（３，３）を除く全ての画素の信号レベルの平均値が所定値Ｓ１未満であれば、第１閾値として予め定められた所定の最大値が選択され、信号レベルの平均値が所定値Ｓ２以上であれば、第１閾値として予め定められた所定の最小値が選択され、所定値Ｓ１〜Ｓ２の間は、最大値から最小値に線形変化させるとしてもよい。そして、平坦度判定部１３６は、決定された第１閾値を用いて、欠陥画素近傍の信号レベルが平坦な画像を示しているか否か判定する。
【００７６】
こうして、欠陥画素周辺の画像の明暗に拘わらず、隣接画素を用いた適切かつ一様な補正を行なうことが可能となり、ノイズを不要に強調する補正を回避することができる。
【００７７】
以下、上述した撮像装置１００を用いた画像補正方法の具体的な処理の流れを図９のフローチャートを用いて説明する。
【００７８】
（画像補正方法）
図９によれば、撮像装置１００による撮像が開始し、撮像部１１０の撮像素子１１０ｄが画像データを生成すると、その１フレーム分の画像データを１画素ずつ処理する。
【００７９】
まず、中央制御部１２２は、任意の１画素を取得し（Ｓ３００）、欠陥画素位置情報を参照して、その画素が欠陥画素であるか否か判定する（Ｓ３０２）。取得した画素が欠陥画素でなければ（Ｓ３０２におけるＮＯ）、取得した画素の信号レベルを維持し（Ｓ３０４）、取得した画素が欠陥画素であれば（Ｓ３０２におけるＹＥＳ）、閾値決定部１３４は、欠陥画素位置情報を参照し、欠陥画素の位置に基づいて予め定められた所定の範囲（第３範囲）内の複数の画素の信号レベルの平均値（画像の明暗）に基づいて第１閾値を決定する（Ｓ３０６）。
【００８０】
続いて、平坦度判定部１３６は、欠陥画素位置情報を参照し、欠陥画素の位置に基づいて予め定められた所定の範囲（第１範囲）内の複数の画素の信号レベルの差分ＤＮを導出し（Ｓ３０８）、信号レベルの差分が、ステップＳ３０６で決定された第１閾値未満であるか否か判定する（Ｓ３１０）。
【００８１】
上記の判定結果が第１閾値未満であれば（Ｓ３１０におけるＹＥＳ）、前置補間部１３８は、欠陥画素の位置に基づいて予め定められた相対位置にある画素の信号レベルを抽出する（Ｓ３１２）。また、平坦度判定部１３６の判定結果が第１閾値以上であれば（Ｓ３１０におけるＮＯ）、相関導出部１４０は、欠陥画素の位置に基づいて予め定められた第２範囲内の複数の画素から相関のある方向である相関方向を特定し（Ｓ３１４）、特定した相関方向に含まれる複数の画素に基づいて信号レベルを導出する（Ｓ３１６）。
【００８２】
そして、補正実行部１４２は、前置補間部１３８によって抽出された、または、相関導出部１４０によって導出された信号レベルを、欠陥画素の信号レベルとして画像データに反映する（Ｓ３１８）。次に、画像データ内の画素が全て処理されたか否か判定され（Ｓ３２０）、処理されていなければ（Ｓ３２０におけるＮＯ）、次の１画素を取得して（Ｓ３２２）、ステップＳ３０２からを繰り返す。処理が完了していれば（Ｓ３２０におけるＹＥＳ）、当該画像補正方法を終了する。ここでは、このような画像補正処理が、撮像素子１１０ｄが画像データを生成する毎に、即ち、１／６０秒毎に実行される。
【００８３】
以上、説明した画像補正装置（撮像装置１００）や画像補正方法によれば、被写体領域の信号レベルが平坦か否かに拘わらず、欠陥画素を適切に補正することが可能となる。具体的に、欠陥画素近傍の信号レベルが平坦な画像を示していれば、隣接する特定の１の画素の信号レベルに置換することで、特定の画素を目立たせることなく、近傍の画素とのバランスを図ることができ、欠陥画素近傍の信号レベルが平坦な画像を示していなければ、相関方向を特定し、その相関方向における信号レベルの偏差を通じて、特定の画素を目立たせることなく、欠陥画素近傍における相関性の高い画像を維持することができる。
【００８４】
また、非線形処理(γ補正)による信号レベルの変化を考慮し、暗部に関しては信号レベルにより高い利得を乗算し、明部に関しては暗部より低い利得を乗算することで、欠陥画素周辺の画像の明暗に拘わらず、隣接画素を用いた適切かつ一様な補正を行なうことが可能となり、ノイズを不要に強調する補正を回避することができる。
【００８５】
さらに、コンピュータを画像補正装置として機能させる画像補正プログラムや、その画像補正プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記録媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８７】
例えば、上述した実施形態では、閾値決定部１３４が、その都度、第１閾値を決定し、平坦度判定部１３６がリアルタイムでその第１閾値を利用する構成を説明したが、第１閾値を固定値とすることができる。その場合、画像補正方法におけるステップＳ３０６を省略することが可能となる。
【００８８】
なお、本明細書の画像補正方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００８９】
本発明は、格子状に配列された複数の受光素子から出力される複数の画素のうち、予め位置が特定されている欠陥受光素子から出力される欠陥画素を補正する画像補正装置および画像補正方法に利用することができる。
【符号の説明】
【００９０】
１００  …撮像装置
１１０  …撮像部
１１０ｄ  …撮像素子
１１２  …データ処理部
１１４  …画像補正部
１３４  …閾値決定部
１３６  …平坦度判定部
１３８  …前置補間部
１４０  …相関導出部
１４２  …補正実行部
【図１】
2013162253.tif 000003
【図２】
2013162253.tif 000004
【図３】
2013162253.tif 000005
【図４】
2013162253.tif 000006
【図５】
2013162253.tif 000007
【図６】
2013162253.tif 000008
【図７】
2013162253.tif 000009
【図８】
2013162253.tif 000010
【図９】
2013162253.tif 000011