(57)【要約】【課題】より高品質な画像を得ることができるようにする。【解決手段】推定値算出部は、撮影画像上の注目画素近傍にある、注目画素と同色の画素に基づいて注目画素の画素値の推定値を算出する。異色差分値算出部は、注目画素近傍にある、注目画素と異なる色の画素に基づいて、各色の画素の感度差が補償された異色差分値を算出する。また、推定値算出部は、算出した推定値に異色差分値を加算して最終的な推定値とする。補正部は注目画素の画素値と推定値とを比較し、その比較結果に応じて注目画素を欠陥画素補正する。本技術は固体撮像装置に適用することができる。【選択図】図１
2016139841.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像上の注目画素近傍にある、前記注目画素の色と同じ色の同色画素、および前記注目画素の色とは異なる色の異色画素に基づいて、感度補償された、前記異色画素の画素値の差分値を算出する異色差分値算出部と、
前記撮影画像上の前記注目画素近傍にある前記同色画素に基づいて、前記注目画素の画素値の推定値を算出するとともに、前記推定値に前記差分値を加算して、前記注目画素の最終的な前記推定値とする推定値算出部と
を備える画像処理装置。
【請求項２】
前記異色差分値算出部は、前記注目画素近傍にある前記同色画素の画素値と、前記注目画素近傍にある前記異色画素の画素値との比を、前記注目画素近傍にある前記異色画素の画素値の差分値に乗算することで、前記感度補償された前記差分値を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記異色差分値算出部は、前記注目画素の色とは異なる複数の色ごとに前記感度補償された前記差分値を算出するとともに、前記複数の色ごとに算出された前記感度補償された前記差分値に基づいて、最終的な前記感度補償された前記差分値を算出する
請求項１に記載の画像処理装置。
【請求項４】
前記注目画素の画素値と、前記注目画素の前記最終的な前記推定値とを比較して、その比較結果に応じて前記注目画素の画素値を補正する補正部をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
前記補正部は、前記注目画素の画素値と前記最終的な前記推定値との差分絶対値が閾値より大きい場合、前記注目画素の画素値を前記最終的な前記推定値に置き換えることで、前記注目画素の画素値を補正する
請求項４に記載の画像処理装置。
【請求項６】
撮影画像上の注目画素近傍にある、前記注目画素の色と同じ色の同色画素、および前記注目画素の色とは異なる色の異色画素に基づいて、感度補償された、前記異色画素の画素値の差分値を算出し、
前記撮影画像上の前記注目画素近傍にある前記同色画素に基づいて、前記注目画素の画素値の推定値を算出するとともに、前記推定値に前記差分値を加算して、前記注目画素の最終的な前記推定値とする
ステップを含む画像処理方法。
【請求項７】
撮影画像上の注目画素近傍にある、前記注目画素の色と同じ色の同色画素、および前記注目画素の色とは異なる色の異色画素に基づいて、感度補償された、前記異色画素の画素値の差分値を算出し、
前記撮影画像上の前記注目画素近傍にある前記同色画素に基づいて、前記注目画素の画素値の推定値を算出するとともに、前記推定値に前記差分値を加算して、前記注目画素の最終的な前記推定値とする
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、より高品質な画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、撮像素子の画素に欠陥が発生することがあることから、撮像素子で得られた画像に対して欠陥画素補正が行われている。
【０００３】
例えば、微小な欠陥を分かりやすくするために各画素の画素信号に対して記録用ゲインよりも大きい評価用ゲインをかけて、各画素について、それらの画素と周囲の画素を比較することで欠陥画素を検出し、欠陥画素補正を行う技術が提案されている（例えば、特許文献１参照）。このように画素信号に対して大きなゲインをかけると、微小な画素信号の差が大きくなることから、欠陥画素を検出しやすくすることができる。
【０００４】
また、画素の色ごとに光電変換素子の感度が異なることを考慮して、画素の色ごとにホワイトバランスのゲイン値を用いた判定式の計算を行い、その計算結果に応じて各色の画素の欠陥画素補正を行うかを判定する技術も提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−９９８８６号公報
【特許文献２】特開２００９−２７２８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら上述した技術では、高精度に欠陥画素補正を行い、高品質な画像を得ることは困難であった。
【０００７】
すなわち、評価用ゲインをかけて欠陥画素を検出する技術では、欠陥画素は検出しやすくなるが、欠陥でない画素の画素信号も評価用ゲインにより大きくなるため、欠陥画素の誤検出も増えてしまう。例えば画像上の高周波成分の多い領域などでは、処理対象の画素の画素信号と、その周囲の画素の画素信号との差が大きくなり、欠陥画素ではない画素も欠陥画素とされて、補正が行われてしまうことがあった。
【０００８】
また、色ごとに欠陥画素補正を行うかを判定する技術では、画像全体の画素から算出するホワイトバランスのゲイン値を用いるため、被写体によっては欠陥画素補正を行うかの判定精度が低くなってしまう。そうすると、欠陥画素補正に大きな効果を期待することができなくなってしまう。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、より高品質な画像を得ることができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の画像処理装置は、撮影画像上の注目画素近傍にある、前記注目画素の色と同じ色の同色画素、および前記注目画素の色とは異なる色の異色画素に基づいて、感度補償された、前記異色画素の画素値の差分値を算出する異色差分値算出部と、前記撮影画像上の前記注目画素近傍にある前記同色画素に基づいて、前記注目画素の画素値の推定値を算出するとともに、前記推定値に前記差分値を加算して、前記注目画素の最終的な前記推定値とする推定値算出部とを備える。
【００１１】
前記異色差分値算出部には、前記注目画素近傍にある前記同色画素の画素値と、前記注目画素近傍にある前記異色画素の画素値との比を、前記注目画素近傍にある前記異色画素の画素値の差分値に乗算させることで、前記感度補償された前記差分値を算出させることができる。
【００１２】
前記異色差分値算出部には、前記注目画素の色とは異なる複数の色ごとに前記感度補償された前記差分値を算出させるとともに、前記複数の色ごとに算出された前記感度補償された前記差分値に基づいて、最終的な前記感度補償された前記差分値を算出させることができる。
【００１３】
画像処理装置には、前記注目画素の画素値と、前記注目画素の前記最終的な前記推定値とを比較して、その比較結果に応じて前記注目画素の画素値を補正する補正部をさらに設けることができる。
【００１４】
前記補正部には、前記注目画素の画素値と前記最終的な前記推定値との差分絶対値が閾値より大きい場合、前記注目画素の画素値を前記最終的な前記推定値に置き換えることで、前記注目画素の画素値を補正させることができる。
【００１５】
本技術の一側面の画像処理方法またはプログラムは、撮影画像上の注目画素近傍にある、前記注目画素の色と同じ色の同色画素、および前記注目画素の色とは異なる色の異色画素に基づいて、感度補償された、前記異色画素の画素値の差分値を算出し、前記撮影画像上の前記注目画素近傍にある前記同色画素に基づいて、前記注目画素の画素値の推定値を算出するとともに、前記推定値に前記差分値を加算して、前記注目画素の最終的な前記推定値とするステップを含む。
【００１６】
本技術の一側面においては、撮影画像上の注目画素近傍にある、前記注目画素の色と同じ色の同色画素、および前記注目画素の色とは異なる色の異色画素に基づいて、感度補償された、前記異色画素の画素値の差分値が算出され、前記撮影画像上の前記注目画素近傍にある前記同色画素に基づいて、前記注目画素の画素値の推定値が算出されるとともに、前記推定値に前記差分値が加算されて、前記注目画素の最終的な前記推定値とされる。
【発明の効果】
【００１７】
本技術の一側面によれば、より高品質な画像を得ることができる。
【図面の簡単な説明】
【００１８】
【図１】画像処理装置の構成例を示す図である。
【図２】カラーフィルタ配列の一例を示す図である。
【図３】欠陥画素補正について説明する図である。
【図４】欠陥画素補正について説明する図である。
【図５】欠陥画素補正の結果を示す図である。
【図６】欠陥画素補正の結果を示す図である。
【図７】欠陥画素補正処理を説明するフローチャートである。
【図８】カラーフィルタ配列の一例を示す図である。
【図９】欠陥画素補正について説明する図である。
【図１０】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２０】
〈第１の実施の形態〉
〈画像処理装置の構成例〉
まず、本技術を適用した画像処理装置の構成例について説明する。図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００２１】
画像処理装置１１は、例えばCMOS（Complementary Metal Oxide Semiconductor）イメージセンサや、CCD（Charge Coupled Device）イメージセンサなどの固体撮像装置からなる。画像処理装置１１は、被写体からの光を受光して光電変換し、その結果得られた撮影画像の画像信号を出力する。なお、ここでは画像処理装置１１が固体撮像装置である例について説明するが、本技術は固体撮像装置を搭載したカメラや携帯型電話機など、撮像機能を有する各種の電子機器に適用可能である。
【００２２】
画像処理装置１１は、撮像部２１、読み出し部２２、欠陥補正部２３、画像処理部２４、および出力部２５を有している。
【００２３】
撮像部２１は、複数の画素が行列状に配置されたセンサチップなどからなり、センサチップに設けられた各画素は、被写体から入射した光を受光して光電変換する光電変換素子を有している。また、各画素には、特定の色の光を透過するカラーフィルタが設けられている。撮像部２１で得られる撮影画像は、各画素が複数の色のうちの何れかの色の成分の値を画素値として有するカラー画像となる。
【００２４】
撮像部２１は、各画素における光電変換により得られた画素信号からなる撮影画像の画像信号を読み出し部２２へと供給する。読み出し部２２は、撮像部２１から画素行単位などで画素信号を読み出して、読み出した各画素の画素信号からなる撮影画像の画像信号を欠陥補正部２３に供給する。
【００２５】
欠陥補正部２３は、読み出し部２２から供給された画像信号に基づいて、撮影画像を構成する画素から欠陥画素を検出し、その検出結果に応じて欠陥画素を補正する欠陥画素補正を行う。そして、欠陥補正部２３は、適宜、欠陥画素補正が行われた撮影画像の画像信号を画像処理部２４に供給する。
【００２６】
ここで、欠陥画素とは、何らかの理由により、本来出力すべき値の画素信号を出力することができない画素をいう。
【００２７】
また、欠陥補正部２３は、推定値算出部３１、異色差分値算出部３２、および補正部３３を有している。
【００２８】
推定値算出部３１は、撮影画像の各画素を順番に注目画素として、注目画素の近傍にある、注目画素と同色の画素（以下、同色画素とも称する）の画素値、つまり画素信号の値に基づいて、注目画素の画素値の推定値を算出する。
【００２９】
異色差分値算出部３２は、撮影画像の注目画素近傍にある、同色画素の画素値と、注目画素の色と異なる色の画素（以下、異色画素とも称する）の画素値とに基づいて、画素の色ごとの感度の差（感度の違い）が補償された異色画素の画素値の差分値である異色差分値を算出する。ここでいう感度とは、画素の色ごとに画素（カラーフィルタ）における分光透過率特性等が異なることから生じる、入射した光を取り込んで入射光量に対応する画素値を出力する際の入射光に対する感度をいう。
【００３０】
また、推定値算出部３１は、注目画素の推定値に、その注目画素について求められた異色差分値を加算して、注目画素の最終的な推定値とする。
【００３１】
補正部３３は、注目画素の画素値と推定値とを比較し、その比較結果に応じて注目画素に対する欠陥画素補正を行い、画素ごとに適宜、欠陥画素補正された撮影画像の画像信号を画像処理部２４に出力する。
【００３２】
画像処理部２４は、欠陥補正部２３から供給された撮影画像の画像信号に対して、デモザイク処理などの各種の画像処理を施して出力部２５に供給する。出力部２５は、画像処理部２４から供給された撮影画像の画像信号を、外部のブロックに出力する。
【００３３】
このように画像処理装置１１では、読み出し部２２の直後に欠陥補正部２３が設けられており、読み出された撮影画像に対して欠陥画素補正が行われた後、画像処理部２４において撮影画像に対する画像処理が行われる。
【００３４】
撮影画像に欠陥情報が残ったまま、つまり欠陥画素補正前に撮影画像に対する画像処理が行われると、撮影画像の画質が低下してしまうおそれがある。これに対して、画像処理装置１１では、欠陥画素補正が行われてから撮影画像に画像処理が施されるので、撮影画像の画質低下を防止し、より高品質な画像を得ることができる。
【００３５】
また、上述したように、撮像部２１の各画素にはカラーフィルタが設けられている。撮像部２１におけるカラーフィルタの配置はどのような配置であってもよいが、例えば図２に示すようにRGBW配列とすることができる。
【００３６】
図２では、各四角形が1つの画素を表しており、それらの画素内に記された文字はカラーフィルタの色を示している。すなわち、文字「R」、「G」、「B」、および「W」は、それぞれR（赤）、G（緑）、B（青）、およびW（白）のカラーフィルタの各色を示している。
【００３７】
したがって、例えばRのカラーフィルタが設けられた画素では、画素の画素値（画素信号の値）として、R成分の値が得られ、Wのカラーフィルタが設けられた画素では、画素の画素値として、W成分の値が得られる。以下、R、G、B、およびWの各色のカラーフィルタが設けられた画素を、単にR画素、G画素、B画素、およびW画素とも称する。
【００３８】
この例では、図中、横方向にG画素とW画素が交互に並ぶ画素行と、横方向にR画素、B画素、およびW画素が並ぶ画素行とが、図中、縦方向に交互に並んでいる。以下では、撮像部２１におけるカラーフィルタ配列が、図２に示すRGBW配列であるものとして説明を続ける。また、以下では、図２における横方向を撮影画像および撮像部２１における水平方向とし、図２における縦方向を撮影画像および撮像部２１における垂直方向として説明を続ける。なお、ここでいう水平方向とは、例えば読み出し部２２による画素信号の読み出しが同時に行われる画素からなる画素行を構成する各画素が並ぶ方向などとされる。
【００３９】
〈欠陥画素補正について〉
続いて、欠陥補正部２３で行われる欠陥画素補正について説明する。
【００４０】
例えば、撮影画像上の高周波成分の多い領域、つまり高周波領域において、欠陥画素補正の誤補正を抑制するために、注目画素の推定値に色成分ごとの感度の差を補償していない異色差分値を加算して、注目画素の最終的な推定値とすることが考えられる。
【００４１】
例えば、そのような欠陥画素補正として、例えば図３に示す１次元ダイナミック欠陥補正アルゴリズムに従った欠陥画素補正を考えることとする。
【００４２】
図３では、横方向は撮影画像の水平方向を示しており、縦方向は各画素の画素信号のレベル、つまり画素値を示している。特に、図中、上側の位置にある画素ほど、より大きい画素値を有する画素となっている。
【００４３】
また、図３では矢印A11に示される、水平方向に並ぶ各四角形は撮影画像の水平方向に並ぶ各画素に対応する撮像部２１の画素を表しており、それらの四角形内の文字は画素の色、つまり画素に設けられたカラーフィルタの色を示している。
【００４４】
さらに、水平方向に並ぶ画素G11乃至画素G19は、矢印A11に示される撮像部２１の各画素のうち、画素G11乃至画素G19と図中、横方向の同じ位置にある画素に対応する撮影画像の画素を表している。
【００４５】
したがって画素G11、画素G13、画素G15、画素G17、および画素G19は撮影画像上のW画素を表しており、画素G12および画素G16は撮影画像上のR画素を表しており、画素G14および画素G18は撮影画像上のB画素を表している。
【００４６】
ここで、W画素である画素G15を注目画素とすると、１次元ダイナミック欠陥補正アルゴリズムでは、その画素G15の近傍にあり、かつ画素G15の同色画素である画素G11、画素G13、画素G17、および画素G19の各画素の画素値から、注目画素の推定値が算出される。つまり、画素G15の図中、左側に位置し、水平方向に並ぶ2つの画素G11および画素G13と、画素G15の図中、右側に位置し、水平方向に並ぶ2つの画素G17および画素G19とが用いられて、画素G15の画素値の推定値が算出される。
【００４７】
この例では、画素G21が、同色画素から算出された注目画素である画素G15の推定値を表している。すなわち、画素G21は同色画素から算出された推定値を画素値として有する画素となっている。
【００４８】
また、１次元ダイナミック欠陥補正アルゴリズムでは、誤補正を抑制するために注目画素に対する異色画素も用いられて異色差分値が算出され、推定値に加算される。
【００４９】
すなわち、画素G15の近傍にあり、かつ画素G15の色であるWとは異なるRの色の画素G12の画素値と画素G16の画素値の差分値が異色差分値として求められる。同様にして画素G15の近傍にあり、かつ画素G15の色であるWとは異なるBの色の画素G14の画素値と画素G18の画素値の差分値が異色差分値として求められる。そして、それらのR画素について求めた異色差分値と、B画素について求めた異色差分値とから最終的な異色差分値が算出される。なお、ここでは異色差分値は図中、注目画素の左右に隣接する、同じ色の2つの異色画素の画素値の差分値とされている。
【００５０】
さらに、画素G21により示される推定値に、算出された異色差分値が加算され、画素G22により示される、注目画素の画素値の最終的な推定値とされる。この例では、画素G22は同色画素から算出された推定値に、さらに異色差分値を加算して得られる値を画素値として有する画素となっている。
【００５１】
このようにして注目画素の最終的な推定値が算出されると、注目画素の実際の画素値、つまり読み出された撮影画像の注目画素の画素値と、その注目画素の推定値との差分値が算出される。そして、その差分値、より詳細には差分値の絶対値が予め定めた閾値を超えている場合、注目画素は欠陥画素であるとされて、撮影画像における注目画素の画素値が、算出された推定値に置き換えられる。つまり、算出された推定値が最終的な注目画素の画素値とされる。
【００５２】
これに対して、注目画素の画素値と推定値との差分値が閾値以下である場合、注目画素は欠陥画素ではないとされて、撮影画像における注目画素の画素値が、そのまま最終的な注目画素の画素値とされる。
【００５３】
以上のような１次元ダイナミック欠陥補正アルゴリズムによれば、注目画素の推定値が、さらに異色画素の差分値である異色差分値で補正されるので、注目画素の画素値の推定精度を向上させることができる。
【００５４】
すなわち、注目画素近傍にある同色画素のみで推定値を算出するよりも、注目画素近傍の同色画素だけでなく異色画素も用いて推定値を算出すれば、より高精度に注目画素の画素値を推定することができ、高周波領域における画素の誤補正を抑制することができる。
【００５５】
ところが、上述したように各画素が受光する色成分によって、つまり画素に設けられたカラーフィルタによって、それらの画素の入射光に対する感度が異なる。換言すれば、画素を構成する光電変換素子が取り込める光の光量が異なる。例えば図３に示した例では、R画素やB画素の感度はW画素の感度よりも低くなる。
【００５６】
そのため、白背景に黒の細い線が高密度で並んでいる模様を有するCZP（Circular Zone Plate）を撮影して得られた画像など、高周波成分の多い画像では、例えば図４に示すように誤補正が発生してしまうことがある。
【００５７】
図４では、横方向は撮影画像の水平方向を示しており、縦方向は各画素の画素信号のレベルを示している。特に、図中、上側の位置にある画素ほど、より大きい画素値を有する画素となっている。
【００５８】
また、図４では矢印A21に示される、水平方向に並ぶ各四角形は図３における場合と同様に撮像部２１の画素を表しており、それらの四角形内の文字は画素の色を示している。
【００５９】
さらに、水平方向に並ぶ画素G41乃至画素G49は、矢印A21に示される撮像部２１の各画素のうち、画素G41乃至画素G49と図中、横方向の同じ位置にある画素に対応する撮影画像の画素を表している。
【００６０】
したがって画素G41、画素G43、画素G45、画素G47、および画素G49は撮影画像上のW画素を表しており、画素G42および画素G46は撮影画像上のR画素を表しており、画素G44および画素G48は撮影画像上のB画素を表している。
【００６１】
さらに、矢印A22に示される、水平方向に並ぶ各四角形は撮影画像上の画素G41乃至画素G49における被写体の実際の色と画素値を表している。
【００６２】
すなわち、デモザイク処理が施された撮影画像上では、画素G41乃至画素G43および画素G47乃至画素G49における被写体の色は白色となっており、画素G44乃至画素G46における被写体の色は黒色となっている。さらに、撮影画像の画素G41乃至画素G49の画素値は、それぞれW1、R1、W2、B1、W3、R2、W4、B2、およびW5となっている。
【００６３】
ここで、W画素である画素G45を注目画素とすると、１次元ダイナミック欠陥補正アルゴリズムでは、図３を参照して説明した場合と同様にして、画素G45の同色画素である画素G41、画素G43、画素G47、および画素G49の画素値から、注目画素の画素値の推定値が算出される。この例では、画素G51が、同色画素から算出された、注目画素である画素G45の推定値を表している。
【００６４】
この場合、注目画素である画素G45部分の実際の被写体の色は黒色であり、そのため実際の画素G45の画素値は小さい値となっている。これに対して、注目画素近傍にある全ての同色画素部分の実際の被写体の色は白色であるため、これらの同色画素から算出された注目画素の画素値の推定値は、大きな値となっている。つまり、実際には注目画素は黒色であるにも関わらず、その推定値は白色となってしまっている。
【００６５】
また、１次元ダイナミック欠陥補正アルゴリズムでは、図３における場合と同様に、注目画素に対する異色画素が用いられて異色差分値が算出され、推定値に加算される。
【００６６】
すなわち、W画素とは異なるR画素である画素G42の画素値と画素G46の画素値の差分値が異色差分値として求められ、さらにW画素とは異なるB画素である画素G44の画素値と画素G48の画素値の差分値が異色差分値として求められて、これらの異色差分値から最終的な異色差分値が算出される。
【００６７】
そして、画素G51により示される推定値に、算出された異色差分値が加算され、画素G52により示される、注目画素の最終的な推定値とされる。
【００６８】
この例では、異色差分値の加算により最終的な推定値がより小さくなり、画素G45の画素値に近づく方向に補正されているものの、W画素よりもR画素やB画素の感度が低いため画素値の推定誤差が十分に緩和されていない。そのため、このままでは注目画素が欠陥画素であると誤検出されて、注目画素の画素値が不適切に補正されてしまう。すなわち、この例では、黒色の注目画素が白色に誤補正されてしまう。
【００６９】
そこで、本技術を適用した画像処理装置１１の欠陥補正部２３では、注目画素近傍の画素を利用して簡易的に異色差分値の感度補償を行うことで、異色画素の感度を注目画素の感度に合わせ、より効果的な異色差分値が得られるようにした。これにより、注目画素の誤補正を抑制して偽色の発生等を低減させ、より高品質な画像を得ることができるようになる。
【００７０】
具体的には、例えば図４の例では、異色差分値算出部３２は、次式（１）を計算することで、R画素の異色差分値を算出する。
【００７１】
異色差分値＝（R2-R1）×W_ave/R1    ・・・（１）
【００７２】
ここで、式（１）におけるW_aveは、例えば次式（２）により求まる値であり、注目画素近傍における平均的（代表的）なW画素の画素値である。
【００７３】
W_ave＝（W1＋W2）/2    ・・・（２）
【００７４】
なお、式（２）では、画素G41の画素値W1と、画素G43の画素値W2との平均値が、注目画素近傍における、注目画素と同色であるW画素の平均的な画素値を示すW_aveとされている。しかし、W_aveは注目画素近傍におけるW画素の平均的な画素値を示すものであれば、どのようにして求められてもよい。
【００７５】
式（１）の計算では、W_ave/R1の値が、注目画素近傍におけるW画素とR画素の簡易的な感度の比（感度比）を示しており、この感度比をR画素の画素値の差分値（R2-R1）に乗算することで、異色差分値が感度補償されている。
【００７６】
つまり、異色差分値の感度補償では、注目画素近傍というローカル（局所的）な領域で、互いに異なる色の画素の画素値の比を求めることで感度比が算出され、その感度比がR画素の差分値に乗算される。こうすることで、R画素の差分値が注目画素と同色であるW画素の差分値に相当する値、つまりR成分の変化量がW成分の変化量に相当する値へと変換され、より効果的な異色差分値が得られるようになる。特に、この場合、注目画素近傍にある画素を用いて感度比を算出しているので、撮影画像全体の画素を用いて感度比を算出する場合よりも、より高精度に適切な感度補償を行うことができる。
【００７７】
このようにしてR画素の異色差分値が得られると、異色差分値算出部３２は、同様にして感度補償されたB画素の異色差分値も算出し、それらのR画素の異色差分値とB画素の異色差分値から、最終的な異色差分値を算出する。例えば最終的な異色差分値は、R画素の異色差分値とB画素の異色差分値の和や平均値でもよいし、R画素の異色差分値とB画素の異色差分値を重み付き加算して得られる値でもよい。
【００７８】
なお、ここではR画素の異色差分値とB画素の異色差分値の両方を用いて最終的な異色差分値を算出する例について説明したが、R画素の異色差分値とB画素の異色差分値の何れか一方を最終的な異色差分値として用いてもよい。但し、各色成分の異色差分値を用いて最終的な異色差分値を算出する方が、誤補正の抑制効果を向上させることができる。
【００７９】
また、ここでは図４中、注目画素の左側にある画素G41乃至画素G43を用いて感度比を算出する例について説明したが、図４中、注目画素の右側にある画素G46や画素G47も用いて感度比を算出するようにしてもよい。
【００８０】
以上のようにして、各色の画素の感度の違いを考慮して、感度補償された異色差分値を推定値に加算し、注目画素の最終的な推定値とすることで、高周波領域での誤補正を抑制し、より高品質な撮影画像を得ることができる。
【００８１】
例えばCZPを撮影して得られた撮影画像に対して、図３を参照して説明した１次元ダイナミック欠陥補正アルゴリズムによる欠陥画素補正を行った場合と、本技術による欠陥画素補正を行った場合とで、図５に示す結果が得られる。
【００８２】
図５では、矢印Q11に示す画像は、図３を参照して説明した１次元ダイナミック欠陥補正アルゴリズムによる欠陥画素補正が施された撮影画像を示しており、矢印Q12に示す画像は、本技術による欠陥画素補正が施された撮影画像を示している。
【００８３】
矢印Q11に示す撮影画像では、例えば領域P11の部分など、黒い線の部分の一部が誤補正により白くなっているとともに、撮影画像上に同心円状の偽色が発生し、撮影画像の画質が劣化していることが分かる。
【００８４】
これに対して、矢印Q12に示す撮影画像では、黒い線部分など、高周波領域部分での誤補正はなく、偽色も殆ど発生しておらず、高品質な撮影画像が得られていることが分かる。
【００８５】
また、例えば高周波画像として、秤の目盛り部分を撮影して得られた撮影画像に対して、図３を参照して説明した１次元ダイナミック欠陥補正アルゴリズムによる欠陥画素補正を行った場合と、本技術による欠陥画素補正を行った場合とで、図６に示す結果が得られる。
【００８６】
図６では、矢印Q21に示す画像は、図３を参照して説明した１次元ダイナミック欠陥補正アルゴリズムによる欠陥画素補正が施された撮影画像を示しており、矢印Q22に示す画像は、本技術による欠陥画素補正が施された撮影画像を示している。
【００８７】
矢印Q21に示す撮影画像では、例えば領域P21の部分など、秤の目盛り部分である黒い線の一部が誤補正により白くなって、目盛りの一部が削れたようになっているとともに、撮影画像上に偽色が発生し、撮影画像の画質が劣化していることが分かる。
【００８８】
これに対して、矢印Q22に示す撮影画像では、秤の目盛り部分などでの誤補正もないだけでなく、偽色も殆ど発生しておらず、高品質な撮影画像が得られていることが分かる。
【００８９】
〈欠陥画素補正処理の説明〉
続いて、画像処理装置１１の動作について説明する。
【００９０】
画像処理装置１１は、撮影画像の撮影が指示されると露光を開始する。すなわち、撮像部２１の各画素は、被写体から入射した光を光電変換する。そして、読み出し部２２は、撮像部２１の各画素から、それらの画素における光電変換により得られた画素信号を順番に読み出していく。換言すれば、読み出し部２２は、撮像部２１から各画素の画素信号からなる撮影画像の画像信号を読み出して欠陥補正部２３に供給していく。
【００９１】
そして、撮影画像の一部または全部が読み出されて欠陥補正部２３に供給されると、欠陥補正部２３は、欠陥画素補正処理を行って、欠陥画素補正された撮影画像の画像信号を画像処理部２４に出力する。
【００９２】
以下、図７のフローチャートを参照して、欠陥補正部２３による欠陥画素補正処理について説明する。
【００９３】
ステップＳ１１において、欠陥補正部２３は、読み出し部２２から供給された撮影画像から注目画素を1つ選択する。例えば欠陥補正部２３は、撮影画像上の各画素を１つずつ順番に注目画素として選択していく。
【００９４】
ステップＳ１２において、推定値算出部３１は、撮影画像上の注目画素近傍にある同色画素に基づいて注目画素の画素値の推定値を算出する。
【００９５】
具体的には、推定値算出部３１は、注目画素を含み、撮影画像上の水平方向に並ぶ複数の画素のうちの、注目画素の左側に隣接する2つの同色画素の画素値と、注目画素の右側に隣接する2つの同色画素の画素値とに基づいて、注目画素の推定値を算出する。
【００９６】
例えば図４に示した例では、注目画素である画素G45の左側に隣接し、その画素G45と同じ色である画素G41および画素G43の各画素値と、画素G45の右側に隣接し、画素G45と同じ色である画素G47および画素G49の各画素値とから推定値が算出される。
【００９７】
このとき、例えば推定値算出部３１は、画素G41と画素G43の画素値の差分値を画素G43の画素値に加算して得られる値と、画素G47と画素G49の画素値の差分値を画素G47の画素値に加算して得られる値との平均値を推定値とするなどして推定値の算出を行う。
【００９８】
なお、ここでは水平方向に並ぶ同色画素を用いて注目画素の画素値の推定値を算出する例について説明したが、同色画素の画素値の所定方向の勾配を利用するなど、注目画素近傍にある同色画素を用いれば、どのようにして推定値を算出するようにしてもよい。例えば、画素G41と画素G43の画素値の差分値を画素G43の画素値に加算して得られる値と、画素G47と画素G49の画素値の差分値を画素G47の画素値に加算して得られる値とのうちの大きい方、または小さい方の値を推定値とするようにしてもよい。
【００９９】
ステップＳ１３において、異色差分値算出部３２は、撮影画像上の注目画素近傍にある異色画素に基づいて異色差分値を算出する。
【０１００】
具体的には異色差分値算出部３２は、注目画素を含み、撮影画像上の水平方向に並ぶ複数の画素のうちの、注目画素の左側に隣接する2つの異色画素の画素値と、注目画素の右側に隣接する2つの異色画素の画素値とに基づいて、画素の色ごとに画素値の差分値を異色差分値として算出する。
【０１０１】
例えば図４に示した例では、注目画素である画素G45の左右に隣接し、その画素G45と異なる色の画素G42および画素G46の画素値の差分値がRの異色差分値として算出される。この場合、例えば上述した式（１）における（R2-R1）、つまり注目画素からより近い画素の画素値R2から、注目画素からより遠い画素の画素値R1を減算して得られる値がRの異色差分値として算出される。同様に、注目画素である画素G45の左右に隣接し、その画素G45と異なる色の画素G44および画素G48の画素値の差分値がBの異色差分値として算出される。
【０１０２】
ステップＳ１４において、異色差分値算出部３２は、撮影画像上の注目画素近傍にある同色画素および異色画素に基づいて、異色差分値に対する感度補償を行う。
【０１０３】
具体的には、異色差分値算出部３２は異色差分値を算出した各色について、注目画素を含み、撮影画像上の水平方向に並ぶ複数の画素のうちの、注目画素と同じ色のいくつかの画素の画素値と、異色差分値を算出した色のいくつかの画素の画素値とから感度比を算出する。そして、異色差分値算出部３２は、色ごとに算出した感度比を各色の異色差分値に乗算することで、感度補償された異色差分値を得る。また、異色差分値算出部３２は、感度補償された各色の異色差分値から、最終的な1つの異色差分値を算出する。
【０１０４】
例えば図４に示した例では、注目画素と同じ色の画素G41および画素G43の各画素値と、注目画素と異なる色の画素G42の画素値とから式（１）におけるW_ave/R1がRの感度比として算出され、Rの異色差分値（R2-R1）に乗算される。
【０１０５】
同様に、注目画素と同じ色の画素G47および画素G49の各画素値と、注目画素と異なる色の画素G48の画素値とからBの感度比が算出され、Bの異色差分値に乗算される。そして、得られたRの異色差分値とBの異色差分値との和や平均値、重み付き加算値などが算出され、最終的な異色差分値とされる。その他、Rの異色差分値とBの異色差分値のうちのより絶対値が大きい方が最終的な異色差分値とされてもよい。
【０１０６】
ステップＳ１５において、推定値算出部３１は、ステップＳ１２の処理で算出した注目画素の推定値に、ステップＳ１４の処理で得られた異色差分値を加算して、注目画素の画素値の最終的な推定値とする。
【０１０７】
なお、ステップＳ１３およびステップＳ１４の処理が行われた後にステップＳ１２およびステップＳ１５の処理が行われるようにしてもよい。すなわち、異色差分値が算出されてから注目画素の推定値が算出されるようにしてもよい。
【０１０８】
ステップＳ１６において、補正部３３は、読み出し部２２から供給された撮影画像における注目画素の画素値と、ステップＳ１５の処理で得られた注目画素の推定値とを比較する。
【０１０９】
ステップＳ１７において、補正部３３は、注目画素の画素値と推定値の比較の結果、｜画素値−推定値｜＞閾値であるか否か、すなわち注目画素の画素値と推定値との差分絶対値が、予め定められた閾値より大きいか否かを判定する。
【０１１０】
ステップＳ１７において、注目画素の画素値と推定値との差分絶対値が閾値より大きくない、つまり差分絶対値が閾値以下であると判定された場合、注目画素は欠陥画素ではないとされて、処理はステップＳ１８へと進む。この場合、例えば図４に示した例で注目画素とされた画素G45のように、高周波領域にある注目画素が正しく非欠陥画素であると判定されることになる。
【０１１１】
ステップＳ１８において、補正部３３は、撮影画像上の注目画素の画素値に対して欠陥画素補正を行わず、その画素値をそのまま注目画素の最終的な画素値として用いる。ステップＳ１８の処理が行われると、その後、処理はステップＳ２０に進む。
【０１１２】
また、ステップＳ１７において、注目画素の画素値と推定値との差分絶対値が閾値より大きいと判定された場合、注目画素は欠陥画素であるとされて、処理はステップＳ１９へと進み、欠陥画素補正が行われる。
【０１１３】
ステップＳ１９において、補正部３３は、撮影画像上の注目画素の画素値を、ステップＳ１５の処理で算出された注目画素の推定値に置き換える。つまり、補正部３３は、注目画素の推定値を最終的な注目画素の画素値とすることで、欠陥画素とされた注目画素の画素値を補正する。ステップＳ１９の処理が行われると、その後、処理はステップＳ２０へと進む。
【０１１４】
ステップＳ１８またはステップＳ１９の処理が行われて、注目画素の画素値が定められると、ステップＳ２０において、欠陥補正部２３は撮影画像上の全ての画素を注目画素として処理したか否かを判定する。
【０１１５】
ステップＳ２０において、まだ全ての画素を処理していないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、次の注目画素が選択され、その注目画素が適宜、欠陥画素補正される。
【０１１６】
これに対して、ステップＳ２０において全ての画素を処理したと判定された場合、欠陥画素補正が施された撮影画像が得られたので、ステップＳ２１において欠陥補正部２３は、得られた撮影画像の画像信号を画像処理部２４に出力し、欠陥画素補正処理は終了する。
【０１１７】
このようにして撮影画像が出力されると、その後、画像処理部２４により撮影画像の画像信号に対する画像処理が施され、その結果得られた画像信号が出力部２５から外部に出力される。
【０１１８】
以上のようにして、欠陥補正部２３は、注目画素近傍にある同色画素および異色画素を用いて、感度補償された異色差分値を算出し、その異色差分値を用いて注目画素の最終的な推定値を求める。そして、欠陥補正部２３は、求めた推定値と注目画素の画素値とを比較し、その比較結果に応じて、適宜、注目画素を欠陥画素補正する。
【０１１９】
このように感度補償された異色差分値を用いて注目画素の推定値を算出することで、誤補正を抑制し、より高品質な撮影画像を得ることができる。特に、注目画素近傍の画素から感度比を算出し、感度補償することで、より高精度に推定値を算出することができる。
【０１２０】
〈カラーフィルタの他の配列例〉
なお、以上においては、撮像部２１の画素に設けられたカラーフィルタの配列が、図２に示したRGBW配列である例について説明したが、上述したようにカラーフィルタの配列はどのような配列であってもよい。
【０１２１】
例えば、撮像部２１の画素に設けられたカラーフィルタの配列は、図８に示すRGBのベイヤー配列とされてもよい。
【０１２２】
なお、図８では、各四角形が1つの画素を表しており、それらの画素内に記された文字はカラーフィルタの色を示している。すなわち、文字「R」、「G」、および「B」は、それぞれR（赤）、G（緑）、およびB（青）のカラーフィルタの各色を示している。
【０１２３】
このようにカラーフィルタ配列がRGBのベイヤー配列とされる場合においても、欠陥補正部２３では、以上において説明した欠陥画素補正処理と同様の処理が行われる。
【０１２４】
例えばCZPを撮影して得られた画像に対して、図９に示すように欠陥画素補正が行われる。なお、図９では、横方向は撮影画像の水平方向を示しており、縦方向は各画素の画素信号のレベルを示している。特に、図中、上側の位置にある画素ほど、より大きい画素値を有する画素となっている。
【０１２５】
また、図９では矢印A31に示される、水平方向に並ぶ各四角形は撮像部２１の画素を表しており、それらの四角形内の文字は画素の色を示している。この例では文字「Gr」が記された四角形はG画素を表しており、文字「R」が記された四角形はR画素を表している。
【０１２６】
さらに、水平方向に並ぶ画素G81乃至画素G89は、矢印A31に示される撮像部２１の各画素のうち、画素G81乃至画素G89と図中、横方向の同じ位置にある画素に対応する撮影画像の画素を表している。
【０１２７】
したがって画素G81、画素G83、画素G85、画素G87、および画素G89は撮影画像上のG画素を表しており、画素G82、画素G84、画素G86、および画素G88は撮影画像上のR画素を表している。
【０１２８】
さらに、矢印A32に示される、水平方向に並ぶ各四角形は撮影画像上の画素G81乃至画素G89における被写体の実際の色を表している。
【０１２９】
すなわち、デモザイク処理が施された撮影画像上では、画素G81乃至画素G83および画素G87乃至画素G89における被写体の色は白色となっており、画素G84乃至画素G86における被写体の色は黒色となっている。
【０１３０】
ここで、G画素である画素G85を注目画素とすると、推定値算出部３１は、画素G85の同色画素である画素G81、画素G83、画素G87、および画素G89の各画素値から、注目画素の画素値の推定値を算出する。この例では、画素G91が、同色画素から算出された注目画素である画素G85の画素値の推定値を表している。
【０１３１】
また、異色差分値算出部３２は、G画素とは異なるR画素である画素G82の画素値と画素G86の画素値の差分値を異色差分値として算出するとともに、それらの画素の近傍にあるR画素とG画素、例えば画素G81乃至画素G83を用いて感度比を算出し、異色差分値の感度補償を行う。
【０１３２】
同様に、異色差分値算出部３２は、R画素である画素G84の画素値と画素G88の画素値の差分値を異色差分値として算出するとともに、それらの画素近傍にあるR画素とG画素、例えば画素G87乃至画素G89を用いて感度比を算出し、異色差分値の感度補償を行う。
【０１３３】
そして、異色差分値算出部３２は、このようにして得られた2つの異色差分値から、最終的な異色差分値を算出する。このようにして、注目画素の左右に位置する異色画素を用いて算出した複数の異色差分値から最終的な異色差分値を算出することで、誤補正の抑制効果を向上させることができる。
【０１３４】
また、推定値算出部３１は、注目画素の推定値に異色差分値を加算し、注目画素の最終的な画素値の推定値を算出する。これにより、推定値が補正され、画素G92により示される、注目画素の最終的な推定値が得られる。
【０１３５】
この例では、注目画素である画素G85部分の実際の被写体の色は黒色であり、そのため実際の画素G85の画素値は小さい値となっている。
【０１３６】
これに対して、注目画素近傍にある全ての同色画素部分の実際の被写体の色は白色である。そのため、これらの同色画素から算出された注目画素の画素値の推定値は大きな値となっているが、この推定値を異色差分値により補正して得られた最終的な推定値は、実際の注目画素の画素値により近い値となっている。つまり、実際には注目画素は黒色であるにも関わらず、同色画素のみから算出された推定値は白色に近い値となってしまっていたが、その推定値を感度補償された異色差分値により補正することで、最終的な推定値はより黒色に近いものとなっている。
【０１３７】
そのため、注目画素の画素値と推定値との比較では、注目画素の画素値と推定値との差分絶対値が閾値以下となって、注目画素は欠陥画素ではない正常な画素であると判定されて、画素G85の画素値がそのまま注目画素の画素値として用いられる。すなわち、注目画素の誤補正が抑制され、正しい画素値の画像が得られることになる。
【０１３８】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１３９】
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１４０】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１４１】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１４２】
入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。例えば入力部５０６としての撮像素子が図１に示した撮像部２１などに相当する。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０１４３】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。すなわち、例えばCPU５０１により、図１に示した欠陥補正部２３等が実現される。
【０１４４】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１４５】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１４６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４７】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４８】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１４９】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５０】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５１】
さらに、本技術は、以下の構成とすることも可能である。
【０１５２】
［１］
撮影画像上の注目画素近傍にある、前記注目画素の色と同じ色の同色画素、および前記注目画素の色とは異なる色の異色画素に基づいて、感度補償された、前記異色画素の画素値の差分値を算出する異色差分値算出部と、
前記撮影画像上の前記注目画素近傍にある前記同色画素に基づいて、前記注目画素の画素値の推定値を算出するとともに、前記推定値に前記差分値を加算して、前記注目画素の最終的な前記推定値とする推定値算出部と
を備える画像処理装置。
［２］
前記異色差分値算出部は、前記注目画素近傍にある前記同色画素の画素値と、前記注目画素近傍にある前記異色画素の画素値との比を、前記注目画素近傍にある前記異色画素の画素値の差分値に乗算することで、前記感度補償された前記差分値を算出する
［１］に記載の画像処理装置。
［３］
前記異色差分値算出部は、前記注目画素の色とは異なる複数の色ごとに前記感度補償された前記差分値を算出するとともに、前記複数の色ごとに算出された前記感度補償された前記差分値に基づいて、最終的な前記感度補償された前記差分値を算出する
［１］または［２］に記載の画像処理装置。
［４］
前記注目画素の画素値と、前記注目画素の前記最終的な前記推定値とを比較して、その比較結果に応じて前記注目画素の画素値を補正する補正部をさらに備える
［１］乃至［３］の何れか一項に記載の画像処理装置。
［５］
前記補正部は、前記注目画素の画素値と前記最終的な前記推定値との差分絶対値が閾値より大きい場合、前記注目画素の画素値を前記最終的な前記推定値に置き換えることで、前記注目画素の画素値を補正する
［４］に記載の画像処理装置。
［６］
撮影画像上の注目画素近傍にある、前記注目画素の色と同じ色の同色画素、および前記注目画素の色とは異なる色の異色画素に基づいて、感度補償された、前記異色画素の画素値の差分値を算出し、
前記撮影画像上の前記注目画素近傍にある前記同色画素に基づいて、前記注目画素の画素値の推定値を算出するとともに、前記推定値に前記差分値を加算して、前記注目画素の最終的な前記推定値とする
ステップを含む画像処理方法。
［７］
撮影画像上の注目画素近傍にある、前記注目画素の色と同じ色の同色画素、および前記注目画素の色とは異なる色の異色画素に基づいて、感度補償された、前記異色画素の画素値の差分値を算出し、
前記撮影画像上の前記注目画素近傍にある前記同色画素に基づいて、前記注目画素の画素値の推定値を算出するとともに、前記推定値に前記差分値を加算して、前記注目画素の最終的な前記推定値とする
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１５３】
１１  画像処理装置，  ２１  撮像部，  ２３  欠陥補正部，  ３１  推定値算出部，  ３２  異色差分値算出部，  ３３  補正部
【図１】
2016139841.tif 000003
【図２】
2016139841.tif 000004
【図３】
2016139841.tif 000005
【図４】
2016139841.tif 000006
【図５】
2016139841.tif 000007
【図６】
2016139841.tif 000008
【図７】
2016139841.tif 000009
【図８】
2016139841.tif 000010
【図９】
2016139841.tif 000011
【図１０】
2016139841.tif 000012