(57)【要約】デモザイク処理された画像における奇偶不整合によってもたらされるアーチファクトを消失させる適応緑色チャネル奇偶不整合除去のための方法および装置。１つの適応的な手法では、赤色行の校正されたＧＲチャネル利得および青色行の校正されたＧＢチャネル利得を判定し、これらは個々の領域における有効画素のみの関数である。該校正後に、補正プロセスにおいて、領域の赤色行の該緑色画素に該校正されたＧＲチャネル利得が乗算される。他方、青色行の該緑色画素に該校正されたＧＢチャネル利得が乗算される。従って、デモザイク処理後、該補正された画像は、該緑色チャネルの奇偶不整合によってもたらされるアーチファクトを基本的に有していない。代替的に、該適応緑色チャネル奇偶不整合除去方法は、奇数の列および行を有する領域の該中央緑色画素を正規化された重み付け緑色画素の総計と置換する。該重み付け緑色画素の総計は、第１の重み係数で重み付けされた該中央緑色画素と、第２の重み係数に基づいた第１の階層の重み付け緑色画素値の合計と、第３の重み係数に基づいた第２の階層の重み付け緑色画素値の合計とを加算したものである。
2009536470.tif 000002
【特許請求の範囲】
【請求項１】
画像の領域ごとに赤色行の緑色（ＧＲ）チャネル利得および青色行の緑色（ＧＢ）チャネル利得を校正するステップと、
緑色チャネル奇偶不整合を除去するために、個々の領域ごとに校正された前記ＧＲチャネル利得を前記赤色行の緑色画素に、前記ＧＢチャネル利得を前記青色行の前記緑色画素に領域ごとに適用するステップとを備える、適応緑色チャネル奇偶不整合除去方法。
【請求項２】
前記画像は原バイエル画像である、請求項１に記載の方法。
【請求項３】
前記校正するステップは、１セットの有効画素対を形成するために、前記個々の領域の不良画素およびエッジ画素をフィルタリングして取り除くステップを含む、請求項１に記載の方法。
【請求項４】
前記校正するステップは、前記領域の前記有効画素対の数を計数するステップと、前記赤色行の前記有効緑色画素の平均数を計算するステップと、前記青色行の前記有効緑色画素の平均数を計算するステップとを含む、請求項３に記載の方法。
【請求項５】
前記ＧＲチャネル利得および前記ＧＢチャネル利得は、前記赤色行および前記青色行の前記有効緑色画素の前記計算された平均数の関数である、請求項４に記載の方法。
【請求項６】
前記校正するステップは、前記ＧＲチャネル利得および前記ＧＢチャネル利得を先行画像のＧＲチャネル利得およびＧＢチャネル利得でフィルタリングするステップを含んでおり、前記適用するステップの前記適用されたＧＲチャネル利得および前記適用されたＧＢチャネル利得は、前記フィルタリングされたＧＲチャネル利得および前記フィルタリングされたＧＢチャネル利得である、請求項１に記載の方法。
【請求項７】
前記適用するステップは、前記個々の領域の赤色行の前記緑色画素に前記ＧＲチャネル利得を乗算するステップと、青色行の前記緑色画素に前記ＧＢチャネル利得を乗算するステップとを備える、請求項１に記載の方法。
【請求項８】
処理デバイスによって実行されるプログラムコードであって、実行時に、
画像の領域ごとに赤色行の緑色（ＧＲ）チャネル利得および青色行の緑色（ＧＢ）チャネル利得を校正するように実施可能な命令と、
緑色チャネル奇偶不整合を前記画像から適応的に除去するために、個々の領域ごとに校正された前記ＧＲチャネル利得を前記赤色行の緑色画素に、前記ＧＢチャネル利得を前記青色行の緑色画素に領域ごとに適用するように実施可能な命令とを備える、プログラムコード。
【請求項９】
前記校正するように実施可能な命令は、１セットの有効画素対を形成するために、前記個々の領域の不良画素およびエッジ画素をフィルタリングして取り除くように実施可能な命令を含む、請求項８に記載のコード。
【請求項１０】
前記校正するように実施可能な命令は、前記領域の前記有効画素対の数を計数し、前記赤色行の有効緑色画素の平均数を計算し、前記青色行の前記有効緑色画素の平均数を計算するように実施可能な命令を含む、請求項９に記載のコード。
【請求項１１】
前記ＧＲチャネル利得および前記ＧＢチャネル利得は、前記赤色行および前記青色行の前記有効緑色画素の前記計算された平均数の関数である、請求項１０に記載のコード。
【請求項１２】
前記校正するように実施可能な命令は、前記ＧＲチャネル利得および前記ＧＢチャネル利得を先行画像のＧＲチャネル利得およびＧＢチャネル利得でフィルタリングするように実施可能な命令を含んでおり、前記ＧＲチャネル利得および前記ＧＢチャネル利得を適用するように実施可能な前記命令は、前記フィルタリングされたＧＲチャネル利得および前記フィルタリングされたＧＢチャネル利得を適用する、請求項８に記載のコード。
【請求項１３】
前記適用するように実施可能な命令は、前記個々の領域ごとに前記赤色行の前記緑色画素に前記ＧＲチャネル利得を乗算し、前記青色行の前記緑色画素に前記ＧＢチャネル利得を乗算するように実施可能な命令を含む、請求項８に記載のコード。
【請求項１４】
画像の領域ごとに赤色行の緑色（ＧＲ）チャネル利得および青色行の緑色（ＧＢ）チャネル利得を校正する手段と、
緑色チャネル奇偶不整合を除去するために、個々の領域ごとに校正された前記ＧＲチャネル利得を前記赤色行の緑色画素に、前記ＧＢチャネル利得を前記青色行の緑色画素に領域ごとに適用する手段とを備える、適応緑色チャネル奇偶不整合除去モジュール。
【請求項１５】
前記画像は原バイエル画像である、請求項１４に記載のモジュール。
【請求項１６】
前記校正する手段は、１セットの有効画素対を形成するために、前記個々の領域の不良画素およびエッジ画素をフィルタリングして取り除く手段を含む、請求項１４に記載のモジュール。
【請求項１７】
前記校正する手段は、前記領域の前記有効画素対の数を計数する手段と、前記赤色行の有効緑色画素の平均数を計算する手段と、前記青色行の有効緑色画素の平均数を計算する手段とを含む、請求項１６に記載のモジュール。
【請求項１８】
前記ＧＲチャネル利得および前記ＧＢチャネル利得は、前記赤色行および前記青色行の前記有効緑色画素の前記計算された平均数の関数である、請求項１７に記載のモジュール。
【請求項１９】
前記校正する手段は、前記ＧＲチャネル利得および前記ＧＢチャネル利得を先行画像のＧＲチャネル利得およびＧＢチャネル利得でフィルタリングする手段を含んでおり、前記適用する手段の前記適用されたＧＲチャネル利得および前記適用されたＧＢチャネル利得は、前記フィルタリングされたＧＲチャネル利得および前記フィルタリングされたＧＢチャネル利得である、請求項１７に記載のモジュール。
【請求項２０】
前記適用する手段は、前記個々の領域の前記赤色行の前記緑色画素に前記ＧＲチャネル利得を乗算する手段と、前記青色行の前記緑色画素に前記ＧＢチャネル利得を乗算する手段とを備える、請求項１９に記載のモジュール。
【請求項２１】
センサからの原画像を複数の領域に分割するステップと、
デモザイク処理された画像のアーチファクトを消失させるために、前記原画像の緑色チャネル奇偶不整合を領域ごとに適応的に除去するステップとを備える、適応緑色チャネル奇偶不整合除去方法。
【請求項２２】
前記原画像は原バイエル画像である、請求項２１に記載の方法。
【請求項２３】
前記除去するステップは、
前記原画像の領域ごとに赤色行の緑色（ＧＲ）チャネル利得および青色行の緑色（ＧＢ）チャネル利得を校正するステップと、
前記緑色チャネル奇偶不整合を除去するために、個々の領域ごとに校正された前記ＧＲチャネル利得を前記赤色行の緑色画素に、前記ＧＢチャネル利得を前記青色行の前記緑色画素に領域ごとに適用するステップとを備える、請求項２１に記載の方法。
【請求項２４】
前記除去するステップは、
前記原画像の前記個々の領域ごとに、
中央緑色画素の第１の重み係数に基づいた重み付け中央緑色画素値を生成するステップと、
第１の階層の合計を形成するために、前記領域の前記中央緑色画素に対する第１の階層の周辺緑色画素の第２の重み係数に基づいた重み付け緑色画素値を合計するステップと、
第２の階層の合計を形成するために、前記領域の前記中央緑色画素に対する第２の階層の周辺緑色画素の第３の重み係数に基づいた重み付け緑色画素値を合計するステップと、
重み付け緑色画素の総計を形成するために、前記重み付け中央緑色画素値と、前記第１の階層の合計と、前記第２の階層の合計とを合計するステップと、
前記重み付け緑色画素の総計を正規化するステップと、
前記中央緑色画素の画素値を前記正規化された重み付け緑色画素の総計と置換するステップとを備える、請求項２１に記載の方法。
【請求項２５】
前記生成するステップは、
前記重み付け中央緑色画素値を生成するために、前記中央緑色画素値に前記第１の重み係数を乗算するステップを備える、請求項２４に記載の方法。
【請求項２６】
前記第１の階層について前記合計するステップの前に、
前記第１の階層の各緑色画素の画素値を画素最大値および画素最小値と比較して、前記第１の階層の各緑色画素の前記画素値が範囲内であるかどうかを判定するステップと、
前記範囲内の前記第１の階層の緑色画素ごとに、対応する範囲内の重み付け緑色画素値を形成するために、前記各緑色画素の前記画素値に前記第１の重み係数を乗算するステップと、
前記範囲外の前記第１の階層の緑色画素ごとに、対応する範囲外の重み付け緑色画素値を形成するために、前記中央緑色画素値に前記第１の重み係数を乗算するステップとをさらに備える方法であって、
前記第１の階層について前記合計するステップは、前記範囲内の前記第１の階層の全緑色画素の前記範囲内の重み付け緑色画素値と、前記範囲外の前記第１の階層の全緑色画素の前記範囲外の重み付け緑色画素値とを合計する、請求項２４に記載の方法。
【請求項２７】
前記第２の階層について前記合計するステップの前に、
前記第２の階層の各緑色画素の画素値を前記画素最大値および前記画素最小値と比較して、前記第２の階層の緑色画素ごとの前記画素値が前記範囲内であるかどうかを判定するステップと、
前記範囲内の前記第２の階層の緑色画素ごとに、対応する範囲内の重み付け緑色画素値を形成するために、各緑色画素の前記画素値に前記第２の重み係数を乗算するステップと、
前記範囲外の前記第２の階層の緑色画素ごとに、対応する範囲外の重み付け緑色画素値を形成するために、前記中央緑色画素値に前記第２の重み係数を乗算するステップとをさらに備える方法であって、
前記第２の階層について前記合計するステップは、前記範囲内の前記第２の階層の全緑色画素の前記範囲内の重み付け緑色画素値と、前記範囲外の前記第２の階層の全緑色画素の前記範囲外の重み付け緑色画素値とを合計する、請求項２６に記載の方法。
【請求項２８】
最大緑色不整合比の上限しきい値（Ｆ＿ｍａｘ）を設定するステップと、
最大緑色不整合比の下限しきい値（Ｆ＿ｍｉｎ）を設定するステップと、
空間的に変化する緑色チャネル奇偶不整合を除去するために、前記中央緑色画素（ＣＧＰ）を囲んでいる赤色画素に適応したオフセットを算出するステップと、
Ｐ＿ｍａｘ＝ｍａｘ（Ｆ＿ｍａｘ＊ＣＧＰ，ＣＧＰ＋ｏｆｆｓｅｔ）と定義される式に基づいて画素最大値（Ｐ＿ｍａｘ）を算出するステップと、
Ｐ＿ｍｉｎ＝ｍｉｎ（Ｆ＿ｍｉｎ＊ＣＧＰ，ＣＧＰ−ｏｆｆｓｅｔ）と定義される式に基づいて画素最小値（Ｐ＿ｍｉｎ）を算出するステップとをさらに備える、請求項２６に記載の方法。
【請求項２９】
前記オフセットを算出するステップは、
ｋに前記周辺赤色画素の周辺赤色画素値の平均を乗算するステップを備え、ｋはクロストークの補正の大きさを調節するパラメータである、請求項２８に記載の方法。
【請求項３０】
センサからの原画像を複数の領域に分割する手段と、
デモザイク処理された画像のアーチファクトを消失させるために、前記原画像の各領域の緑色チャネル奇偶不整合を適応的に除去する手段とを備える、適応緑色チャネル奇偶不整合除去モジュール。
【請求項３１】
前記原画像は原バイエル画像である、請求項３０に記載のモジュール。
【請求項３２】
前記除去モジュールは、
前記原画像の領域ごとに赤色行の緑色（ＧＲ）チャネル利得および青色行の緑色（ＧＢ）チャネル利得を校正する手段と、
前記緑色チャネル奇偶不整合を除去するために、個々の領域ごとに校正された前記ＧＲチャネル利得を前記赤色行の緑色画素に、前記ＧＢチャネル利得を前記青色行の緑色画素に領域ごとに適用する手段とを備える、請求項３０に記載のモジュール。
【請求項３３】
前記除去する手段は、
中央緑色画素の第１の重み係数に基づいた重み付け中央緑色画素値を生成する手段と、
第１の階層の合計を形成するために、前記領域の前記中央緑色画素に対する第１の階層の周辺緑色画素の第２の重み係数に基づいた重み付け緑色画素値を合計する手段と、
第２の階層の合計を形成するために、前記領域の前記中央緑色画素に対する第２の階層の周辺緑色画素の第３の重み係数に基づいた重み付け緑色画素値を合計する手段と、
重み付け緑色画素の総計を形成するために、前記重み付け中央緑色画素値と、前記第１の階層の合計と、前記第２の階層の合計とを合計する手段と、
前記重み付け緑色画素の総計を正規化する手段と、
前記中央緑色画素の画素値を前記正規化された重み付け緑色画素の総計と置換する手段とを備える、請求項３２に記載のモジュール。
【請求項３４】
前記生成する手段は、
前記重み付け中央緑色画素値を生成するために、前記中央緑色画素値に前記第１の重み係数を乗算する手段を備える、請求項３３に記載のモジュール。
【請求項３５】
前記第１の階層の各緑色画素の画素値を画素最大値および画素最小値と比較して、前記第１の階層の各緑色画素の前記画素値が範囲内であるかどうかを判定する手段と、
前記範囲内の前記第１の階層の緑色画素ごとに、対応する範囲内の重み付け緑色画素値を形成するために、個々の緑色画素の前記画素値に前記第１の重み係数を乗算する手段と、
前記範囲外の前記第１の階層の緑色画素ごとに、対応する範囲外の重み付け緑色画素値を形成するために、前記中央緑色画素値に前記第１の重み係数を乗算する手段とをさらに備えるモジュールであって、
前記第１の階層について前記合計する手段は、前記範囲内の前記第１の階層の全緑色画素の前記範囲内の重み付け緑色画素値と、前記範囲外の前記第１の階層の全緑色画素の前記範囲外の重み付け緑色画素値とを合計する、請求項３３に記載のモジュール。
【請求項３６】
前記第２の階層について前記合計する前に、前記第２の階層の各緑色画素の画素値を前記画素最大値および前記画素最小値と比較して、前記第２の階層の各緑色画素の前記画素値が前記範囲内であるかどうかを判定する手段と、
前記範囲内の前記第２の階層の緑色画素ごとに、対応する範囲内の重み付け緑色画素値を形成するために、各緑色画素の前記画素値に前記第２の重み係数を乗算する手段と、
前記範囲外の第２の階層の緑色画素ごとに、対応する範囲外の重み付け緑色画素値を形成するために、前記中央緑色画素値に前記第２の重み係数を乗算する手段とをさらに備えており、
前記第２の階層について前記合計する手段は、前記範囲内の前記第２の階層の全緑色画素の前記範囲内の重み付け緑色画素値と、前記範囲外の前記第２の階層の全緑色画素の前記範囲外の重み付け緑色画素値とを合計する、請求項３５に記載のモジュール。
【請求項３７】
最大緑色不整合比の上限しきい値（Ｆ＿ｍａｘ）を設定する手段と、
最大緑色不整合比の下限しきい値（Ｆ＿ｍｉｎ）を設定する手段と、
空間的に変化する緑色チャネル奇偶不整合を除去するために、前記中央緑色画素（ＣＧＰ）を囲んでいる赤色画素に適応したオフセットを算出する手段と、
Ｐ＿ｍａｘ＝ｍａｘ（Ｆ＿ｍａｘ＊ＣＧＰ，ＣＧＰ＋ｏｆｆｓｅｔ）と定義される式に基づいて画素最大値（Ｐ＿ｍａｘ）を算出する手段と、
Ｐ＿ｍｉｎ＝ｍｉｎ（Ｆ＿ｍｉｎ＊ＣＧＰ，ＣＧＰ−ｏｆｆｓｅｔ）と定義される式に基づいて画素最小値（Ｐ＿ｍｉｎ）を算出する手段とをさらに備える、請求項３６に記載のモジュール。
【請求項３８】
前記オフセットを算出する手段は、
ｋに前記周辺赤色画素の周辺赤色画素値の平均を乗算する手段を備え、ｋはクロストークの補正の大きさを調節するパラメータである、請求項３７に記載のモジュール。
【請求項３９】
前記原画像の領域ごとに、
中央緑色画素の第１の重み係数に基づいた重み付け中央緑色画素値を生成するステップと、
第１の階層の合計を形成するために、前記領域の前記中央緑色画素に対する第１の階層の周辺緑色画素の第２の重み係数に基づいた重み付け緑色画素値を合計するステップと、
第２の階層の合計を形成するために、前記領域の前記中央緑色画素に対する第２の階層の周辺緑色画素の第３の重み係数に基づいた重み付け緑色画素値を合計するステップと、
重み付け緑色画素の総計を形成するために、前記重み付け中央緑色画素値と、前記第１の階層の合計と、前記第２の階層の合計とを合計するステップと、
前記重み付け緑色画素の総計を正規化するステップと、
前記緑色チャネル奇偶不整合を除去するために、前記中央緑色画素の画素値を前記正規化された重み付け緑色画素の総計と置換する各ステップとを備える、適応緑色チャネル奇偶不整合除去方法。
【請求項４０】
前記生成するステップは、
前記重み付け中央緑色画素値を生成するために、前記中央緑色画素値に前記第１の重み係数を乗算するステップを備える、請求項３９に記載の方法。
【請求項４１】
前記第１の階層について前記合計するステップの前に、
前記第１の階層の各緑色画素の画素値を画素最大値および画素最小値と比較して、前記第１の階層の各緑色画素の前記画素値が範囲内であるかどうかを判定するステップと、
前記範囲内の前記第１の階層の緑色画素ごとに、対応する範囲内の重み付け緑色画素値を形成するために、個々の緑色画素の前記画素値に前記第１の重み係数を乗算するステップと、
前記範囲外の前記第１の階層の緑色画素ごとに、対応する範囲外の重み付け緑色画素値を形成するために、前記中央緑色画素値に前記第１の重み係数を乗算するステップとをさらに備える方法であって、
前記第１の階層について前記合計するステップは、前記範囲内の前記第１の階層の全緑色画素の前記範囲内の重み付け緑色画素値と、前記範囲外の前記第１の階層の全緑色画素の前記範囲外の重み付け緑色画素値とを合計する、請求項４０に記載の方法。
【請求項４２】
前記第２の階層について前記合計するステップの前に、
前記第２の階層の各緑色画素の画素値を前記画素最大値および前記画素最小値と比較して、前記第２の階層の緑色画素ごとの前記画素値が前記範囲内であるかどうかを判定するステップと、
前記範囲内の前記第２の階層の緑色画素ごとに、対応する範囲内の重み付け緑色画素値を形成するために、個々の緑色画素の前記画素値に前記第２の重み係数を乗算するステップと、
前記範囲外の前記第２の階層の緑色画素ごとに、対応する範囲外の重み付け緑色画素値を形成するために、前記中央緑色画素値に前記第２の重み係数を乗算するステップとをさらに備える方法であって、
前記第２の階層について前記合計するステップは、前記範囲内の前記第２の階層の全緑色画素の前記範囲内の重み付け緑色画素値と、前記範囲外の前記第２の階層の全緑色画素の前記範囲外の重み付け緑色画素値とを合計する、請求項４１に記載の方法。
【請求項４３】
最大緑色不整合比の上限しきい値（Ｆ＿ｍａｘ）を設定するステップと、
最大緑色不整合比の下限しきい値（Ｆ＿ｍｉｎ）を設定するステップと、
空間的に変化する緑色チャネル奇偶不整合を除去するために、前記中央緑色画素（ＣＧＰ）を囲んでいる赤色画素に適応したオフセットを算出するステップと、
Ｐ＿ｍａｘ＝ｍａｘ（Ｆ＿ｍａｘ＊ＣＧＰ，ＣＧＰ＋ｏｆｆｓｅｔ）と定義される式に基づいて画素最大値（Ｐ＿ｍａｘ）を算出するステップと、
Ｐ＿ｍｉｎ＝ｍｉｎ（Ｆ＿ｍｉｎ＊ＣＧＰ，ＣＧＰ−ｏｆｆｓｅｔ）と定義される式に基づいて画素最小値（Ｐ＿ｍｉｎ）を算出するステップとをさらに備える、請求項４１に記載の方法。
【請求項４４】
前記オフセットを算出するステップは、
ｋに前記周辺赤色画素の周辺赤色画素値の平均を乗算するステップを備え、ｋはクロストークの補正の大きさを調節するパラメータである、請求項４３に記載の方法。
【請求項４５】
中央緑色画素の第１の重み係数に基づいた重み付け中央緑色画素値を生成する手段と、
第１の階層の合計を形成するために、前記領域の前記中央緑色画素に対する第１の階層の周辺緑色画素の第２の重み係数に基づいた重み付け緑色画素値を合計する手段と、
第２の階層の合計を形成するために、前記領域の前記中央緑色画素に対する第２の階層の周辺緑色画素の第３の重み係数に基づいた重み付け緑色画素値を合計する手段と、
重み付け緑色画素の総計を形成するために、前記重み付け中央緑色画素値と、前記第１の階層の合計と、前記第２の階層の合計とを合計する手段と、
前記重み付け緑色画素の総計を正規化する手段と、
前記中央緑色画素の画素値を前記正規化された重み付け緑色画素の総計と置換する手段とを備える、適応緑色チャネル奇偶不整合除去モジュール。
【請求項４６】
前記生成する手段は、
前記重み付け中央緑色画素値を生成するために、前記中央緑色画素値に前記第１の重み係数を乗算する手段を備える、請求項４５に記載のモジュール。
【請求項４７】
前記第１の階層の各緑色画素の画素値を画素最大値および画素最小値と比較して、前記第１の階層の各緑色画素の前記画素値が範囲内であるかどうかを判定する手段と、
前記範囲内の前記第１の階層の緑色画素ごとに、対応する範囲内の重み付け緑色画素値を形成するために、個々の緑色画素の前記画素値に前記第１の重み係数を乗算する手段と、
前記範囲外の前記第１の階層の緑色画素ごとに、対応する範囲外の重み付け緑色画素値を形成するために、前記中央緑色画素値に前記第１の重み係数を乗算する手段とをさらに備えるモジュールであって、
前記第１の階層について前記合計する手段は、前記範囲内の前記第１の階層の全緑色画素の前記範囲内の重み付け緑色画素値と、前記範囲外の前記第１の階層の全緑色画素の前記範囲外の重み付け緑色画素値とを合計する、請求項４５に記載のモジュール。
【請求項４８】
前記第２の階層について前記合計する手段によって合計する前に、前記第２の階層の各緑色画素の画素値を前記画素最大値および前記画素最小値と比較して、前記第２の階層の各緑色画素の前記画素値が前記範囲内であるかどうかを判定する手段と、
前記範囲内の前記第２の階層の緑色画素ごとに、対応する範囲内の重み付け緑色画素値を形成するために、個々の緑色画素の前記画素値に前記第２の重み係数を乗算する手段と、
前記範囲外の前記第２の階層の緑色画素ごとに、対応する範囲外の重み付け緑色画素値を形成するために、前記中央緑色画素値に前記第２の重み係数を乗算する手段とをさらに備えるモジュールであって、
前記第２の階層について前記合計する手段は、前記範囲内の前記第２の階層の全緑色画素の前記範囲内の重み付け緑色画素値と、前記範囲外の前記第２の階層の全緑色画素の前記範囲外の重み付け緑色画素値とを合計する、請求項４７に記載のモジュール。
【請求項４９】
最大緑色不整合比の上限しきい値（Ｆ＿ｍａｘ）を設定する手段と、
最大緑色不整合比の下限しきい値（Ｆ＿ｍｉｎ）を設定する手段と、
空間的に変化する緑色チャネル奇偶不整合を除去するために、前記中央緑色画素（ＣＰＧ）を囲む赤色画素に適応したオフセットを算出する手段と、
Ｐ＿ｍａｘ＝ｍａｘ（Ｆ＿ｍａｘ＊ＣＧＰ，ＣＧＰ＋ｏｆｆｓｅｔ）と定義される式に基づいて画素最大値（Ｐ＿ｍａｘ）を算出する手段と、
Ｐ＿ｍｉｎ＝ｍｉｎ（Ｆ＿ｍｉｎ＊ＣＧＰ，ＣＧＰ−ｏｆｆｓｅｔ）と定義される式に基づいて画素最小値（Ｐ＿ｍｉｎ）を算出する手段とをさらに備える、請求項３８に記載のモジュール。
【請求項５０】
前記オフセットを算出する手段は、
ｋに前記周辺赤色画素の周辺赤色画素値の平均を乗算する手段を備え、ｋはクロストークの補正の大きさを調節するパラメータである、請求項４９に記載のモジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２００６年１月１９日に先行して出願された仮特許出願第６０／７６０，７６９号および２００６年１月１８日に出願された仮特許出願第６０／７５９，８４２号の利点に権利を主張するものであり、両者は以下に全て記載されているかのように参照により本出願に組み込まれる。
【０００２】
本発明は、概して、画像補正方法、より具体的には、緑色チャネル奇偶不整合を適応的に除去するプロセスに関する。
【背景技術】
【０００３】
センサの画素数が増加すると、各画素フォトダイオードの面積は小さくなる。信号読み出し回路は弱い信号レベルの読み出しおよび転送に対処しなければならない。ＲＧＢバイエルパターン（RGB bayer pattern）センサの場合、奇数行および偶数行の緑色チャネルは通常異なる回路を介して読み出される。とくに、フォトダイオードの金属配線設計、電子リーク、光入射角度、および信号出力回路が原因で、バイエルパターンセンサの緑色チャネルは不平衡応答を示す。この不平衡は全体的なばらつきと局部的なばらつきとの両者を含む。回路設計は同じであっても、不完全な製造プロセスが原因で、読み出し／増幅回路が不整合になることがある。さらに、カラーフィルタ配列とレンズの被覆および装着などがそろっていないことが原因で、緑色チャネルが奇偶不整合を示すこともある。従って、全緑色チャネル奇偶不整合は、位置に左右され、かつ不均一である。緑色チャネル奇偶不整合は、図１に示されているようなアーチファクトのクロスハッチパターン（cross hatched pattern）になるため、緑色チャネル奇偶不整合は画像処理作業を難しくする。
【０００４】
図１において、フラットフィールド画像１０はデモザイク操作によって生成された。レンズは拡散レンズでカバーされているため、フラットフィールド画像はフラットであると考えられる。処理後の画像にはテクスチャはまったくないと考えられる。しかし、図１に見られるように、クロスハッチパターンは画像１０全体に広がっている。さらに調べることにより、このアーチファクトは緑色チャネル奇偶不整合によってもたらされていることが明らかになった。
【０００５】
バイエル画素の５０％が緑色であるため、デモザイクアルゴリズムは、通常、緑色チャネル信号に大きく依存してエッジを判定する。典型的なバイエル画素の配置が図１０Ｂに示されている。しかし、緑色チャネルの奇偶不整合があると、このような不整合がエッジとして取り扱われ、デモザイクモジュールは、垂直方向または水平方向のいずれかでこのようなエッジを保とうとする。最終結果は、デモザイク処理後の図１に示されているクロスハッチパターンである。このアーチファクトは、画像が約３００％に拡大される場合に最も顕著である。
【０００６】
失敗した解決策は、全体的な緑色チャネルの利得平衡を提案した。チャネル読み出し／増幅回路が緑色奇偶不整合の唯一の要因である場合、全体的な緑色チャネルの利得平衡を適用することにより、この問題は解決し得る。しかし、ＳｏｎｙＴＭ３ＭＰセンサの場合、全体的な緑色チャネルの利得平衡の使用は機能しなかった。さらなる分析により、奇偶不整合は画像全体で均一でないことが明らかになった。
【０００７】
３ＭＰセンサ画像を１領域当たり３２×３２画素の領域に分割することによって、フラットフィールド画像に領域ベースのチャネル平衡校正を行う。緑色チャネルを平衡化するための必要なＧｒ利得およびＧｂ利得は、図２Ａおよび２Ｂに示されている。図２Ａおよび２Ｂから容易に分かるように、緑色チャネルのバランスは画像全体で非常に不均一である。その結果、全体的な緑色チャネルの利得の適用は、問題を解決することも、図１に示されているアーチファクトのクロスハッチパターンを排除することもできない。
【０００８】
別の考えられる解決策は、適応バイエルフィルタを用いる。適応バイエルフィルタを緑色画素のみに適用して、奇偶不整合を滑らかにする（smooth out）ことができる。研究中のＳｏｎｙ社のセンサの場合、いくつかの領域が１３％の緑色チャネルの奇偶不整合を示していることが問題である。このような大きな不整合を滑らかにしようとすると、画像の真のエッジも悪化し得る。その結果、画像は不鮮明になる。
【０００９】
さらに、適応バイエルフィルタの計算コストはソフトウェア／ファームウェアに関して比較的に高い。さらに、この計算は相当な遅延時間をスナップショット画像の処理に加える。図３は、適応バイエルフィルタを図１のフラットフィールド画像に適用した後に得られる画像２０を示している。得られた画像２０は全処理パイプラインを経ている。適量の平滑化が適応バイエルフィルタで適用される。得られた画像２０には、滑らかになったクロスハッチパターンのアーチファクトもあるが、依然として残っているものもある。
【００１０】
より多くの量の平滑化が適応バイエルフィルタで適用されると、クロスハッチパターンを完全に除去することができるが、画像のテクスチャを不鮮明にする。
【００１１】
直接的な平滑化がバイエルドメインの原画像（raw image）に行われると、エッジおよびテクスチャが悪化する。緑色画素（ＧｒおよびＧｂ）の各対を無理に等しくすると、高周波数エッジが悪化する。
【発明の開示】
【発明の概要】
【００１２】
本発明の目的は、このような不整合によって生じたアーチファクトを消失させる適応緑色チャネル奇偶不整合除去方法を提供することである。
【００１３】
本発明の目的はまた、このような不整合によって生じたアーチファクトを消失させる適応緑色チャネル奇偶不整合除去モジュールを提供することである。
【００１４】
本発明の目的はまた、このような不整合によって生じたアーチファクトを消失させるために緑色チャネル奇偶不整合を適応的に除去するプロセッサによって実行可能なプログラム命令を提供することである。
【００１５】
本発明のさらなる目的は、計算の複雑さを最小化して画像処理速度を低下させないように容易に実施される適応緑色チャネル奇偶不整合除去を提供することである。
【００１６】
本発明のさらなる目的は、画像内容の分散（variance）と室内および屋外画像の分散とを補償するために、奇偶不整合を領域ごとに補正するように適応的に校正する適応緑色チャネル奇偶不整合除去を提供することである。
【００１７】
本発明のさらなる目的は、空間的に変化する緑色チャネル奇偶不整合を適応的に補償するように適応緑色チャネル奇偶不整合除去を提供することである。
【００１８】
本発明のさらなる目的は、高周波数エッジと垂直方向または水平方向いずれかのエッジとを含むエッジを多く保ちながら緑色チャネル奇偶不整合を解決する適応的な手法を使用して、適応緑色チャネル奇偶不整合除去を提供することである。
【００１９】
上記目的に関して、本発明の目的は、センサからの原画像を複数の領域に分割するステップと、デモザイク処理された画像のアーチファクトを消失させるために、該原画像の緑色チャネル奇偶不整合を領域ごとに適応的に除去するステップとを備える、適応緑色チャネル奇偶不整合除去方法によって実行される。
【００２０】
本発明の目的は、該原画像の領域ごとに赤色行の緑色（ＧＲ）チャネル利得および青色行の緑色（ＧＢ）チャネル利得を校正するステップによって緑色チャネル奇偶不整合を適応的に除去する方法によって実行される。該校正するステップの後で、該緑色チャネル奇偶不整合を除去するために、個々の領域ごとに校正された該赤色行の緑色画素に該ＧＲチャネル利得を、該青色行の該緑色画素に該ＧＢチャネル利得を領域ごとに適用する。
【００２１】
本発明の目的は、該原画像の領域ごとに、中央緑色画素の第１の重み係数に基づいた重み付け中央緑色画素値を生成し、第１の階層の合計を形成するために、該領域の該中央緑色画素に対する第１の階層の周辺緑色画素の第２の重み係数に基づいた重み付け緑色画素値を合計し、第２の階層の合計を形成するために、該領域の該中央緑色画素に対する第２の階層の周辺緑色画素の第３の重み係数に基づいた重み付け緑色画素値を合計し、重み付け緑色画素の総計を形成するために、該重み付け中央緑色画素値と、該第１の階層の合計と、該第２の階層の合計を合計することによって、該緑色チャネル奇偶不整合を適応的に除去する方法によって実行される。重み付け緑色画素の総計を生成した後で、重み付け緑色画素の総計は正規化される。緑色チャネル奇遇不整合を除去するために、該正規化された重み付け緑色画素の総計を該領域の中央緑色画素値と置換する。
【００２２】
本発明の目的は、該緑色チャネル奇偶不整合を原バイエル画像から除去する方法によって実行される。
【００２３】
本発明の目的は、該利得を校正する時に画像の領域ごとにエッジ画素を除去することによってデモザイク処理前に該緑色チャネル奇偶不整合を除去する方法によって実行される。
【００２４】
本発明の目的は、校正する時に、１セットの有効画素対を形成するために、各領域の不良画素およびエッジ画素をフィルタリングして取り除く、適応緑色チャネル奇偶不整合除去方法によって実行される。
【００２５】
本発明の目的は、校正する時に、該領域の該有効画素対の数を計数し、該赤色行の該有効緑色画素の平均数を計算し、該青色行の該有効緑色画素の平均数を計算する、適応緑色チャネル奇偶不整合除去方法によって実行される。
【００２６】
本発明の目的は、校正する時に、該ＧＲチャネル利得および該ＧＢチャネル利得を先行画像のＧＲチャネル利得およびＧＢチャネル利得でフィルタリングして雑音分散を低減する、適応緑色チャネル奇偶不整合除去方法によって実行される。該適用されたＧＲチャネル利得および該適用されたＧＢチャネル利得は、それぞれ、該フィルタリングされたＧＲチャネル利得および該フィルタリングされたＧＢチャネル利得である。
【００２７】
本発明の目的は、各領域の赤色行の該緑色画素に該ＧＲチャネル利得を乗算し、青色行の該緑色画素に該ＧＢチャネル利得を乗算し、該奇偶不整合を補正して、デモザイク処理後の該アーチファクトを消失させることを含む、適応緑色チャネル奇偶不整合除去方法によって実行される。
【００２８】
本発明の目的は、実行時に画像の領域ごとにＧＲチャネル利得およびＧＢチャネル利得を校正するように実施可能な命令を備える、処理デバイスによって実行されるプログラムコードによって行われる。命令はまた、個々の領域ごとに校正された該ＧＲチャネル利得および該ＧＢチャネル利得を領域ごとに適用して、緑色チャネル奇偶不整合を該画像から適応的に除去するように実施可能である。
【００２９】
本発明の目的は、画像の領域ごとにＧＲチャネル利得およびＧＢチャネル利得を校正する手段を備える、適応緑色チャネル奇偶不整合除去モジュールによって実行される。該モジュールはまた、該緑色チャネル奇偶不整合を除去するために、個々の領域ごとに校正された該ＧＢチャネル利得を該赤色行の緑色画素に、該ＧＲチャネル利得を該青色行の該緑色画素に領域ごとに適用する手段を含んでいる。
【００３０】
本発明の目的は、中央緑色画素の第１の重み係数に基づいた重み付け中央緑色画素値を生成する手段を備える、適応緑色チャネル奇偶不整合除去モジュールによって実行される。該モジュールはさらに、第１の階層の合計を形成するために、該領域の該中央緑色画素に対する第１の階層の周辺緑色画素の第２の重み係数に基づいた重み付け緑色画素値を合計する手段と、第２の階層の合計を形成するために、該領域の該中央緑色画素に対する第２の階層の周辺緑色画素の第３の重み係数に基づいた重み付け緑色画素値を合計する手段とを備えている。該モジュールはまた、重み付け緑色画素の総計を形成するために、該重み付け中央緑色画素値と、該第１の階層の合計と、該第２の階層の合計とを合計する手段と、該重み付け緑色画素の総計を正規化する手段と、該緑色チャネル奇偶不整合を除去するために該中央緑色画素の画素値を該正規化された重み付け緑色画素の総計と置換する手段とを含んでいる。
【００３１】
本発明の目的は、実行時に中央緑色画素の第１の重み係数に基づいた重み付け中央緑色画素値を生成するように実施可能な命令を備える処理デバイスによって実行されるプログラムコードによって行われる。該プログラムコードはさらに、第１の階層の合計を形成するために、該領域の該中央緑色画素に対する第１の階層の周辺緑色画素の第２の重み係数に基づいた重み付け緑色画素値を合計し、第２の階層の合計を形成するために、該領域の該中央緑色画素に対する第２の階層の周辺緑色画素の第３の重み係数に基づいた重み付け緑色画素値を合計するように実施可能である。該プログラムコードはさらに、重み付け緑色画素の総計を形成するために該重み付け中央緑色画素値と、該第１の階層の合計と、該第２の階層の合計とを合計し、該重み付け緑色画素の総計を正規化し、該緑色チャネル奇偶不整合を除去するために該中央緑色画素の画素値を該正規化された重み付け緑色画素の総計と置換するように実施可能である。
【００３２】
上記概要ならびに本発明の好ましい実施形態についての以下の詳細な説明は、添付の図面と併せて読むと、よりよく理解される。本発明を説明する目的で、現在好ましい実施形態が図面に示されている。しかし、本発明は、示されているものと全く同一の構成に制限されないことが理解されるべきである。
【詳細な説明】
【００３３】
本発明は多数の異なる形の実施形態を許容できるが、本明細書および添付の図面は、本発明の使用例として幾つかの形のみを開示している。本発明は、このような説明されている実施形態に制限されることを意図したものではなく、本発明の範囲は添付の請求項に示されている。
【００３４】
本発明に従う緑色チャネル奇偶不整合除去方法の好ましい実施形態を、スナップショット画像に対する特定の応用に関して後述する。しかし、本発明は緑色チャネル補正を必要とする他のタイプの画像にも十分に適応することは、当業者によって認識されるであろう。次に詳細に図面を参照すると、全体を通して同じ参照番号は同じ要素を示しており、本発明によると、図６Ａ、６Ｂ、および７において、自己校正プロセスおよび補正プロセスは全体的に参照番号１００および１２０で示されている。
【００３５】
しかし、本発明の理解を可能にするために、奇偶不整合とは、赤色画素および緑色画素を有する赤色行の緑色画素と、青色画素および緑色画素を有する青色行の緑色画素とが不整合であることを指す。上述の複数の理由により、シーン（scene）が平滑なフラットフィールド画像であっても、緑色画素応答は異なる。不整合は通常Ｇｒ／Ｇｂの比として特徴付けられる。Ｇｒは赤色行の緑色画素を意味しており、Ｇｂは青色行の緑色画素を意味している。理想的には、この比は１．０でなければならない。
【００３６】
図２Ａおよび２Ｂに示されているように、緑色チャネル奇偶不整合は画像全体で非常に不均一である。不整合パターンは容易にモデル化できない。緑色チャネルの不整合はセンサごとに異なることが明らかである。さらに、同一センサモデルの異なるモジュールにズレが生じることがある。同一センサによって取り込まれた図４の室内画像の緑色チャネルの不整合と図５の屋外画像の緑色チャネルの不整合とを比較することによって、緑色チャネルの不整合は画像内容にも左右されることが容易に分かる。
【００３７】
第１の例示的な実施形態において、緑色チャネル奇偶不整合除去方法は、図６Ａおよび６Ｂを参照して説明されている領域ごとの適応緑色チャネル利得自己校正プロセス１００と、図７を参照して説明されている補正プロセス１２０とを含む。概して、緑色チャネル奇偶不整合除去方法は、領域ごとの適応緑色チャネル利得自己校正プロセス１００によって緑色チャネルの不整合を補償した後、補正プロセス１２０においてスナップショット撮像デバイス２００のセンサモジュール２１０（図１１）から出力されたすべての最終スナップショット画像に緑色チャネルの利得を領域ごとに適用する。
【００３８】
次に図６Ａ、６Ｂ、８、９、１０Ａ、および１０Ｂを参照すると、領域ごとの適応緑色チャネル利得自己校正プロセス１００はステップＳ１０２から開始し、ここでは、原画像のようなセンサモジュール２１０（図１１）から出力された画像１５０全体は、Ｍ×Ｍ個の画素（図１０Ｂ）からなるＸ×Ｙ個の領域（図１０Ａ）に分割される（なお、Ｍは２の倍数である）。例示的な実施形態では、画像１５０は４×３（Ｘ＝４、Ｙ＝３）個の領域に分割され、各領域は８×８個の画素に分割される。この例では、画像１５０には１２個の領域がある。Ｒ１と表示された斜線領域は、図１０Ｂに示されているようにＭ×Ｍ個の画素に分割される。画像１５０は原バイエル画像であり、デモザイク処理２３０を受けていない。従って、図１０Ｂは、領域Ｒ１の原バイエル表記を示している。
【００３９】
単に説明の目的で、図１０Ｂの第１の行は、緑色および青色の画素が交互になっている青色行である。青色行の緑色画素はＧＢと記される。第１の行の直後の第２の行は、緑色と赤色の画素が交互になっている赤色行である。赤色行の緑色画素はＧＲと記される。この例示的な実施形態において、図１０Ｂの第１の列は、緑色と赤色の画素を交互に含んでいる。
【００４０】
再度図６Ａの流れ図を参照すると、ステップＳ１０２にはステップＳ１０３が続き、ここでは領域は１に設定される。ステップＳ１０３にはステップＳ１０４が続き、ここでは、領域ごとに、赤色行および青色行上の隣接緑色画素ＧＲおよびＧＢの比が計算される。この例示的な実施形態では、各領域の２つのＧＢ、ＧＲ画素対が選択される。ステップＳ１０４にはステップＳ１０６が続き、ここでは不良画素およびエッジ画素がフィルタリングして取り除かれる。
【００４１】
不良画素は同一色の隣接画素に基づいて検出することができる。例えば、同一色の現在の画素と隣接画素との比較があるしきい値を超えると、現在の画素は不良と判定され得る。他方、エッジ画素検出はＡ×Ａサイズのウィンドウおよび２−Ｄ畳み込み（2-D convolution）を用いることができる。２−Ｄ畳み込みの出力がしきい値と比較される。出力がしきい値より大きい場合、この出力はエッジである。そうでない場合は、出力はエッジではない。不良画素検出およびエッジ画素検出アルゴリズムは多数ある。ゆえに、不良画素検出およびエッジ画素検出に関する上記説明は例示目的にすぎない。
【００４２】
ステップＳ１０６にはステップＳ１０８が続き、ここでは、領域内の不良ではない画素のＧＢおよびＧＲ画素値の平均（Ｇｒ＿ａｖｇおよびＧｂ＿ａｖｇと記されている）が計算される。ステップＳ１０８には図６ＢのステップＳ１１０が続く。Ｇｒ＿ａｖｇおよびＧｂ＿ａｖｇは、それぞれ以下に説明されている式（１）および式（２）に基づいて計算される。
【００４３】
次に図８を参照して、Ｇｒ＿ａｖｇおよびＧｂ＿ａｖｇの画素値を算出するプロセスについて説明する。またＧｒ＿ａｖｇおよびＧｂ＿ａｖｇを算出する例示的なコードは、このセクションに続く付記（Appendix）において提供される。ステップＳ１０８のプロセスはステップＳ１４０から開始し、ここでは検討中の領域内の有効画素対の数（＃ＶＰ）が計数または測定される。有効対とは、フィルタリングステップＳ１０６後に残っている不良ではない画素の対である。ステップＳ１４０にはステップＳ１４２が続き、ここではｉが０に設定される。ステップＳ１４２には、判定ステップであるステップＳ１４４が続き、ｉがその領域の有効対の数（＃ＶＰ）未満であるかどうかを判定する。判定が「はい」の場合、ステップＳ１４６において、赤色行の不良ではない緑色画素ＧＲのＧＲ画素値の合計（Ｇｒ＿ｓｕｍと記されている）が算出される。ステップＳ１４６にはステップＳ１４８が続き、ここでは、青色行の不良ではない緑色画素ＧＢのＧＢ画素値の合計（Ｇｂ＿ｓｕｍと記されている）が算出される。ステップＳ１４８にはステップＳ１５０が続き、ここではｉが１ずつインクリメントされる。
【００４４】
ステップＳ１５０からステップＳ１４４に戻る。ステップＳ１４４、Ｓ１４６、１４８、および１５０はループであり、ｉが有効対の数未満になるまで反復される。従って、ステップＳ１４６において、合計は、その領域の各対応する不良ではないＧＲ画素の緑色画素値分インクリメントされる。ステップＳ１４８において、合計は、各対応する不良ではないＧＢ画素の緑色画素値分インクリメントされる。不良ではないＧＲおよびＧＢ画素のすべてが個々に合計されると、ステップＳ１４４にはステップＳ１５２が続き、ここでは、Ｇｒ＿ａｖｇ（領域の赤色行の不良ではない緑色画素の平均画素値）が、以下のように定義されている式（１）に基づいて算出される：
Ｇｒ＿ａｖｇ＝Ｇｒ＿ｓｕｍ／領域あたりの有効対の数              式（１）
ステップＳ１５２にはステップＳ１５４が続き、ここでは、Ｇｂ＿ａｖｇ（領域の青色行の不良ではない緑色画素の平均画素値）が、以下のように定義されている式（２）に基づいて算出される：
Ｇｂ＿ａｖｇ＝Ｇｂ＿ｓｕｍ／領域あたりの有効対の数              式（２）
次に図６Ｂおよび図９を参照すると、ステップＳ１１０において、２つのチャネルの緑色画素値の平均利得Ｇｒ＿ｇａｉｎおよびＧｂ＿ｇａｉｎが算出される。このことは、弱い緑色チャネルが１より大きな数値の利得（digital gain）を適用されるのに対して、強い緑色チャネルが１．０より小さな数値の利得を適用されることを意味している。このプロセスの目的は、異なる色のチャネル間ではなく、２つのチャネルの緑色画素を平衡化することであるため、１．０より小さな利得の適用は色ズレをもたらさないことに注目すべきである。従って、各（ＧＢ，ＧＲ）対のチャネル利得は、以下のように定義されているステップＳ１６０の式（３）、ステップＳ１６２の式（４）、およびステップＳ１６４の式（５）から導き出すことができる：
ａｖｇ＝（Ｇｒ＿ａｖｇ＋Ｇｂ＿ａｖｇ）／２                      式（３）
Ｇｒ＿ｇａｉｎ＝ａｖｇ／ＧＲ＿ａｖｇ                            式（４）
Ｇｂ＿ｇａｉｎ＝ａｖｇ／ＧＢ＿ａｖｇ                            式（５）
ここで、ａｖｇは、その領域内の不良ではないまたは有効な画素対について、式（１）で算出された赤色行の有効（不良ではない）緑色画素ＧＲと、式（２）で算出された青色行の有効（不良ではない）緑色画素ＧＲとの平均から算出される平均値である。
【００４５】
ステップＳ１１０は、チャネル利得Ｇｒ＿ｇａｉｎおよびＧｂ＿ｇａｉｎを生成し、これらはステップＳ１１２に渡される。ステップＳ１１２において、現在の画像１５０のＧｒ＿ｇａｉｎおよびＧｂ＿ｇａｉｎは、先行画像のチャネル利得（Ｇｒ＿ｇａｉｎおよびＧｂ＿ｇａｉｎ）でローパスフィルタリングされ、雑音分散を低減することができる。現在の画像のフィルタリングされたＧｒ＿ｇａｉｎおよびＧｂ＿ｇａｉｎは、Ｇｒ＿ｇａｉｎ’およびＧｂ＿ｇａｉｎ’と記される。
【００４６】
ステップＳ１１２を表すボックスは、Ｇｒ＿ｇａｉｎ’およびＧｂ＿ｇａｉｎ’として記された２つの出力を有し、これらは、補正プロセスにおいて算出に使用するために記憶される。ステップＳ１１２にはステップＳ１１４が続き、ここでは領域がインクリメントされる。
【００４７】
図６Ａおよび６Ｂのプロセスは反復され、Ｇｒ＿ｇａｉｎおよびＧｂ＿ｇａｉｎまたはフィルタリングされたＧｒ＿ｇａｉｎ’およびＧｂ＿ｇａｉｎ’を領域ごとに算出する。従って、ステップＳ１１４に続く判定ステップＳ１１６は、さらに領域があるかどうかを判定する。「はい」の場合、ステップＳ１１６は図６ＡのステップＳ１０４に戻り、次の領域を自己校正する。一方、これ以上領域がない場合、２つのチャネル利得を校正する自己校正プロセス１００は終了する。
【００４８】
次に図７を参照して、領域ごとにＧｒ＿ｇａｉｎ’およびＧｂ＿ｇａｉｎ’を使用する補正プロセス１２０について次に説明する。プロセス１２０はステップＳ１２２から開始し、ここでは領域が１に設定される。ステップＳ１２２にはステップＳ１２４が続き、ここでは青色行の各緑色画素ＧＢの画素値にＧｂ＿ｇａｉｎ’が乗算される。ステップＳ１２４にはステップＳ１２６が続き、ここでは赤色行の各緑色画素ＧＲの画素値にＧｒ＿ｇａｉｎ’が乗算される。ステップＳ１２６にはステップＳ１２８が続き、ここでは領域がインクリメントされる。ステップＳ１２８にはステップＳ１３０が続き、ここではさらに領域があるかどうかが判定される。「いいえ」の場合、プロセス１２０は終了する。一方、「はい」の場合、ステップＳ１３０はステップＳ１２４に戻り、ここでは次の領域に補正が適用される。
【００４９】
３２×３２画素の領域サイズを用いて、自己校正および補正プロセス１００および１２０はテスト画像で実行され、このテスト画像のデモザイク出力はクロスハッチパターンをもはや示さない。３２×３２の領域サイズは十分小さいため、従って、補正済み画像は認識可能な領域境界アーチファクトをまったく示さない。しかし、領域サイズが２５６×２５６のように大き過ぎる場合、ブロッキネス（blockiness）のアーチファクトが認識可能になることがある。図１２はデモザイク処理後の補正済み画像１０’を示している。図１と比較すると、図１２の画像１０’は大きく改善されている。
【００５０】
次に図１１を参照すると、スナップショット撮像デバイス２００は、レンズ２０２と、画像処理ユニット２１２およびカラーフィルタリングユニット２１４を有するセンサモジュール２１０とを含んでいる。カラーフィルタリングユニット２１４は、原バイエル画像を生成するバイエルカラーフィルタ配列である。原バイエル画像は、緑色チャネル奇偶不整合除去モジュール２２０によって補正される。１つの画素の位置における全３原色の赤、緑、および青のセンサ値は、隣接画素から補間される。この補間プロセスはデモザイク処理ユニット２３０によって実行される。画素複製、双一次補間、および中央値補間のような多数のデモザイク方法がある。適応緑色チャネル奇偶不整合除去モジュール２２０の出力は、補正された原バイエル画像をデモザイク処理ユニット２３０に提供する。
【００５１】
緑色チャネル奇偶不整合除去モジュール２２０によって行われる緑色チャネル奇偶不整合除去方法は、ファームウェア、ソフトウェア、およびハードウェアを使用して実施することができる。ファームウェアの実施の場合、ディジタル信号プロセス（ＤＳＰ）２２２は１度に１つの領域を読み出し、アドバンスドＲＩＳＣマシン（Advanced RISC Machine, ARM）２２６は、Ｇｒ＿ｇａｉｎ’およびＧｂ＿ｇａｉｎ’をＤＳＰ２２２に供給する。ＤＳＰ２２２は緑色画素に乗算を実行する。この処理は同じ場所にあり（in place）、つまり入力および出力画素は同じバッファ２２８を共有する。言い換えると、別のバッファを処理に割り当てる必要なしに、画像画素を新たな値に直接に置換することができる。プログラム命令２２４は、実行時に、領域ごとの適応緑色チャネル利得自己校正プロセス１００および補正プロセス１２０を行うように実施可能である。
【００５２】
ＤＳＰ２２２およびＡＲＭ２２６は緑色チャネル奇偶不整合除去モジュール２２０の一部として示されているが、スナップショット撮像デバイス２００は、画像処理ユニット２１２、カラーフィルタリングユニット２１４、およびデモザイク処理ユニット２３０の機能を実行するために、ＤＳＰ２２２およびＡＲＭ２２６をもとから含んでいる場合がある。従って、プログラム命令２２４を実行する処理デバイスは、もとから存在している場合がある。
【００５３】
他方、ソフトウェアの実施の場合、限定するわけではないが、例えばＣコードのようなプログラミング言語で記述されているプログラム命令は、ＡＲＭ２２６上で実行され、原バイエル画像などの原画像を複数の領域に分割し、その領域についてＧｒ＿ｇａｉｎ’およびＧｂ＿ｇａｉｎ’を使用して緑色画素に乗算を行う。ＡＲＭ２２６は一般的に既存のものであり、プログラム命令２２４を実行するために使用することができる。従って、ＡＲＭ２２６は自己校正および補正プロセス１００および１２０の両方を実行する。ソフトウェアの実施でも、この処理は同じ場所にあるため、別のバッファを処理に割り当てる必要なしに、画像画素を新たな値に直接に置換することができる。
【００５４】
ハードウェアの実施の場合、ルックアップテーブルのサイズが問題にならない限り、自己校正および補正プロセス１００および１２０はハードウェアで実施することができる。
【００５５】
緑色チャネル奇偶不整合は、画像プロセッサのビデオフロントエンド（ＶＦＥ）処理についてまったく新たな問題を生じる。不均一な不整合分布の性質により、全体的なチャネル利得はこの問題を解決しなかった。領域ごとの校正および補正プロセス１００および１２０は、不均一な不整合分布に関する問題を解決する効率的かつ迅速な方法を提供する。
【００５６】
図１３Ａは、詳細に後述されるように、緑色画素にインデックスを付した通常のＲＧＢバイエルパターンを示している。緑色チャネルを適応的に平衡化して奇偶不整合を除去する代わりの適応緑色チャネル奇偶不整合除去方法３００について、図１４Ａ乃至１４Ｅの流れ図および図１３Ａおよび１３Ｂの画像を参照して説明する。この実施形態では、プログラム命令２２４（図１１）は、ここで説明される適応緑色チャネル奇偶不整合除去方法３００を実行するために実施可能な命令を含むように修正される。
【００５７】
適応緑色チャネル奇偶不整合除去方法３００はステップＳ３０２から開始し、ここでは図１３Ａで最もよく分かる原バイエル画像のような原画像が取得される。方法３００の理解を可能にするために、図１３Ａは緑色画素にインデックスを付している。ステップＳ３０２にはステップＳ３０４が続き、ここではＮ×Ｎ画素の領域が画像から作成される。例示的な実施形態では、Ｎは奇数であり５に等しい。ステップＳ３０４にはステップＳ３０６が続き、ここでは中央緑色画素（ＣＧＰ）が選択される。この実施形態において、ＣＧＰは図１３ＡにＧ２２と記されている。ステップＳ３０６にはステップＳ３０８が続き、ここでは第１の重み係数がＣＧＰ  Ｇ２２に割り当てられる。例示的な実施形態では、第１の重み係数は８である。ステップＳ３０８にはステップＳ３１０が続き、ここでは、第２の重み係数が、ＣＧＰから１画素の距離にある領域Ｎ×Ｎ内の全緑色画素に割り当てられる。例示的な実施形態において、ＣＧＰまでの距離が１である対向する緑色チャネル内に近傍する緑色画素は４つある。１画素の距離のこれらの隣接画素は、ここでは「ＧＰ１」と称され、全体として第１の階層を定義する。第１の階層のＧＰ１は、Ｇ１１、Ｇ１３、Ｇ３１、およびＧ３３とインデックスを付された緑色画素を含む。例示的な実施形態において、第２の重み係数は４である。
【００５８】
ステップＳ３１０にはステップＳ３１２が続き、ここでは、ＣＧＰ  Ｇ２２から２画素の距離の緑色画素に第３の重み係数が割り当てられる。２画素の距離のこれらの近傍する画素は、ここでは「ＧＰ２」と称され、全体として第２の階層を定義する。例示的な実施形態において、Ｇ００、Ｇ０２、Ｇ０４、Ｇ２０、Ｇ２４、Ｇ４０、Ｇ４２、およびＧ４４とインデックスを付された８つのＧＰ２が第２の階層にあり、各々は重み係数１をとる。従って、全重み係数は３２であるため、５ビットのダウンシフトまたは２５で割ることによって正規化が容易になされ、画素値は、２進表現を使用して８、１０、または１２ビットで表され得る。正規化については後述する。
【００５９】
ステップＳ３１２にはステップＳ３１４が続き、ここではＦ＿ｍａｘ、Ｆ＿ｍｉｎが設定および算出される。Ｆ＿ｍａｘは最大緑色不整合比の上限しきい値（upper bound threshold）である。Ｆ＿ｍｉｎは最大緑色不整合比の下限しきい値(lower bound threshold)である。ステップＳ３１４にはステップ３１６が続き、ここではオフセットが算出され、オフセットは平滑化の実行に関する強度しきい値（intensity threshold）である。
【００６０】
緑色チャネル不整合の１つの重要な要因は、周辺赤色画素のクロストーク（cross talk）に起因する。つまり、Ｇｒ／Ｇｂチャネルの不一致（channel variance）は赤色チャネル値に左右される。従って、空間的に変化する緑色チャネル奇偶不整合を適切に除去するように、オフセットは周辺赤色画素に合わせる。例示的な実施形態では、周辺赤色画素はＲ１０、Ｒ１２、Ｒ１４、Ｒ３０、Ｒ３２、およびＲ３４のようにインデックスを付して記されている（図１３Ｂ）。例示的な実施形態において、６つの周辺赤色画素がある。オフセットパラメータは、以下のように式（６）で定義されている：
オフセット＝ｋ＊平均（Ｒ１０、Ｒ１２、Ｒ１４、Ｒ３０、Ｒ３２、Ｒ３４）    式（６）
ここでｋはクロストークの補正の大きさを調節するパラメータであり、Ｒ１０、Ｒ１２、Ｒ１４、Ｒ３０、Ｒ３２、Ｒ３４は、対応するインデックスを付された赤色画素の画素値を示している。
【００６１】
さらに、オフセットの上限（Offset Cap）として記される定数によってオフセットに上限を定めて、大き過ぎるオフセットしきい値を回避する。従って、オフセットが、オフセットの上限より大きい場合、ステップＳ３１６にはステップＳ３１７が続き、ステップＳ３１８において、オフセットは、オフセットの上限または他の定数に設定される。ステップＳ３１８にはステップＳ３１９が続く。しかし、オフセットが、オフセットの上限より大きくない場合、ステップＳ３１７にはステップＳ３１９が続く。
【００６２】
ステップＳ３１９において、ＣＧＰ  Ｇ２２について、変数Ｐ＿ｍａｘ、Ｐ＿ｍｉｎ、およびＧ＿ｓｕｍが、以下のように定義されている式（７）、式（８）、および式（９ａ）によって計算される：
Ｐ＿ｍａｘ＝ｍａｘ（Ｆ＿ｍａｘ＊Ｇ２２，Ｇ２２＋ｏｆｆｓｅｔ）    式（７）
Ｐ＿ｍｉｎ＝ｍｉｎ（Ｆ＿ｍｉｎ＊Ｇ２２，Ｇ２２−ｏｆｆｓｅｔ）    式（８）
Ｇ＿ｓｕｍ＝Ｇ２２＜＜３                                        式（９ａ）
ここで、Ｇ２２は中央画素Ｇ２２の緑色画素値を示しており、Ｐ＿ｍａｘは緑色画素の最大値であり、Ｐ＿ｍｉｎは緑色画素の最小値である。さらに、符号「＜＜」は３ビットのアップシフトを示している。言い換えると、Ｇ＿ｓｕｍは、重み係数８（２３）によって乗算された緑色中央画素Ｇ２２の画素値に等しい。従って、式９（ａ）は、式（９ｂ）のように書くこともできる：
Ｇ＿ｓｕｍ＝Ｇ２２の画素値＊Ｇ２２の重み係数                  式（９ｂ）
容易に分かるように、式（９ａ）または式（９ｂ）のＧ＿ｓｕｍは、中央緑色画素（ＣＧＰ）Ｇ２２の第１の重み係数に基づいた重み付け中央緑色画素値を生成する。
【００６３】
ステップＳ３１９にはステップＳ３２０が続き、ここでは、中央緑色画素（ＣＧＰ）Ｇ２２から距離１の第１の緑色画素が、第１の階層で取得される。ステップＳ３２０にはステップＳ３２２が続き、ここでは、緑色画素ＧＰ１の画素値がＰ＿ｍｉｎ以上であり、かつＰ＿ｍａｘ以下であるかどうかを判定する（ステップＳ３２２参照）。言い換えると、ステップＳ３２２は、評価中の緑色画素が範囲内にあるかどうかを判定する。ステップＳ３２２の判定が「はい」の場合、ステップＳ３２２にはステップＳ３２４が続き、ここでは、値Ｇ＿ｓｕｍが、第１の階層の重み付け画素値を生成するために２ビットをアップシフトされた第１の緑色画素ＧＰ１（例えば、インデックスを付された画素Ｇ１１）の緑色画素値分インクリメントされる。より具体的には、Ｇ＿ｓｕｍは、式（１０ａ）または式（１０ｂ）によって増加される：
Ｇ＿ｓｕｍ＋＝ＧＰ１＜＜２                                  式（１０ａ）、または
Ｇ＿ｓｕｍ＝Ｇ＿ｓｕｍ＋（ＧＰ１＊ＧＰ１の重み係数）        式（１０ｂ）
（第１の階層の重み係数＝４）
ここで、ＧＰ１は、中央緑色画素を囲んでいる第１の階層のインデックスを付された緑色画素の画素値である。例示的な実施形態では、第１の階層のＧＰ１はＧ１１、Ｇ１３、Ｇ３１、およびＧ３３を含んでいる。結果として、評価中の緑色画素値ＧＰ１がＰ＿ｍｉｎおよびＰ＿ｍａｘによって定義されている範囲内である場合、式（１０ａ）または式（１０ｂ）のＧ＿ｓｕｍは、第１の階層の重み係数（４）つまり（２２）が乗算された各ＧＰ１（Ｇ１１、Ｇ１３、Ｇ３１、およびＧ３３）の画素値分増加される。
【００６４】
他方、ステップＳ３２２の判定が「いいえ」である場合、緑色画素ＧＰ１の画素値は、Ｐ＿ｍｉｎよりも小さく、および／またはＰ＿ｍａｘよりも大きい。言い換えると、評価中の緑色画素値ＧＰ１は範囲外である。従って、ステップＳ３２２にはステップＳ３２６が続き、ここで、値Ｇ＿ｓｕｍは、２ビットをアップシフトされたＧ２２として記される中央緑色画素値の画素値分、増加される。より具体的には、Ｇ＿ｓｕｍは式（１１ａ）または式（１１ｂ）によって増加される：
Ｇ＿ｓｕｍ＋＝Ｇ２２＜＜２                            式（１１ａ）、または
Ｇ＿ｓｕｍ＝Ｇ＿ｓｕｍ＋（Ｇ２２＊ＧＰ１の重み係数）  式（１１ｂ）
（第１の階層の重み係数＝４）
ここで、Ｇ２２は、インデックスを付された中央緑色画素Ｇ２２の画素値を示している。同じ演算および重み付けが、第１の階層のＧ１３、Ｇ３１、およびＧ３３に行われる。評価中の緑色画素値ＧＰ１がＰ＿ｍｉｎおよびＰ＿ｍａｘによって定義されている範囲外であるとき、式（１１ａ）または式（１１ｂ）のＧ＿ｓｕｍの式が使用される。式（１１ａ）または式（１１ｂ）で容易に分かるように、第１の階層の範囲外の緑色画素は、中央緑色画素Ｇ２２の画素値と置換される。
【００６５】
ステップＳ３２４およびＳ３２６にはステップＳ３２８が続き、別のＧＰ１があるかどうかを判定する。ある場合は、ステップＳ３２８はステップＳ３２０に戻り、ステップＳ３２２、Ｓ３２４、Ｓ３２６が、次のＧＰ１の画素値に基づいて再評価される。
【００６６】
ステップＳ３２０、Ｓ３２２、Ｓ３２４、Ｓ３２６、およびＳ３２８によって定義されているループの終了時に、式（１０ａ）、（１０ｂ）、（１１ａ）、および／または（１１ｂ）のＧ＿ｓｕｍは、第１の階層の重み付け緑色画素値を一緒に加算し、これは通常第１の階層の合計を形成する。提供されている提案のプログラムコードにおいて、Ｇ＿ｓｕｍの式は、第１の階層の合計を、重み付け中央緑色画素値の前に算出されたＧ＿ｓｕｍにさらに加算する。
【００６７】
第１の階層にこれ以上ＧＰ１がない場合、ステップＳ３２８にはステップＳ３３０が続き、ここでは中央緑色画素（ＣＧＰ）Ｇ２２から距離２の第１の緑色画素が、第２の階層で取得される。ステップＳ３３０にはステップＳ３３２が続き、ここでは、緑色画素ＧＰ２の画素値がＰ＿ｍｉｎ以上であり、かつＰ＿ｍａｘ以下である（ステップＳ３３２参照）、つまり範囲内であるかどうかを判定する。ステップＳ３３２の判定が「はい」の場合、ステップＳ３３２にはステップＳ３３４が続き、ここでは値Ｇ＿ｓｕｍが、第１の緑色画素ＧＰ２（例えば、インデックスを付された画素Ｇ００）の緑色画素値分増加される。より具体的には、Ｇ＿ｓｕｍは式（１２ａ）または式（１２ｂ）によって増加される：
Ｇ＿ｓｕｍ＋＝ＧＰ２                                式（１２ａ）、または
Ｇ＿ｓｕｍ＝Ｇ＿ｓｕｍ＋ＧＰ２＊ＧＰ２の重み係数    式（１２ｂ）
（第２の階層の重み係数＝１）
ここで、ＧＰ２は第２の階層のインデックスを付された緑色画素の画素値である。例示的な実施形態において、第２の階層のＧＰ２は、Ｇ００、Ｇ０２、Ｇ０４、Ｇ２０、Ｇ２４、Ｇ４２、およびＧ４４を含んでいる。結果として、評価中の緑色画素値ＧＰ２がＰ＿ｍｉｎおよびＰ＿ｍａｘによって定義されている範囲内にある場合に重み係数は１であるため、Ｇ＿ｓｕｍはＧＰ２の画素値分増加される。
【００６８】
他方で、ステップＳ３３２の判定が、緑色画素ＧＰ２の画素値が、Ｐ＿ｍｉｎよりも小さく、および／またはＰ＿ｍａｘよりも大きい、つまり範囲外である場合、ステップＳ３３２にはステップＳ３３６が続き、ここではＧ＿ｓｕｍは、Ｇ２２と記されている中央緑色画素値の画素値分増加される。より具体的には、Ｇ＿ｓｕｍは式（１３ａ）または式（１３）によって増加される：
Ｇ＿ｓｕｍ＋＝Ｇ２２                                  式（１３ａ）、または
Ｇ＿ｓｕｍ＝Ｇ＿ｓｕｍ＋（Ｇ２２＊ＧＰ２の重み係数）    式（１３ｂ）
（第２の階層の重み係数＝１）
ここで、Ｇ２２は、インデックスを付された中央緑色画素Ｇ２２の画素値を示している。同じ演算および重み付けが、第２の階層においてＧ００、Ｇ０２、Ｇ０４、Ｇ２０、Ｇ２４、Ｇ４２、およびＧ４４と記されているＧＰ２に行われる。評価中の緑色画素値ＧＰ２がＰ＿ｍｉｎおよびＰ＿ｍａｘによって定義された範囲の外である場合に、式（１３ａ）または式（１３ｂ）のＧ＿ｓｕｍの式が使用される。従って、第２の階層の範囲外の緑色画素の緑色画素値は、中央緑色画素Ｇ２２の画素値と置換される。
【００６９】
容易に分かるように、式（１２ａ）、（１２ｂ）、（１３ａ）、および／または（１３ｂ）は、第２の階層の重み付け画素値を合計する。
【００７０】
ステップＳ３３４およびＳ３３６にはステップＳ３３８が続き、別のＧＰ２があるかどうかを判定する。ある場合は、ステップＳ３３８はステップＳ３３０に戻り、ここでステップＳ３３２、Ｓ３３４、Ｓ３３６が次のＧＰ２の画素値に基づいて再び評価される。ステップＳ３３０、Ｓ３３２、Ｓ３３４、Ｓ３３６、およびＳ３３８で定義されているループの終了時に、Ｇ＿ｓｕｍは、第２の階層の重み付け緑色画素値を一緒に加算して、第２の階層の合計を形成する。提供されている提案のプログラムコードにおいて、Ｇ＿ｓｕｍは、第２の階層の合計と、第１の階層の合計と、重み付け中央緑色画素値とをさらに一緒に加算して、重み付け緑色画素の総計を形成する。
【００７１】
次に図１４Ｅを参照すると、Ｎ×Ｎ（Ｎ＝５）領域の緑色画素が処理された後、ステップＳ３４０において、Ｇ＿ｓｕｍ（重み付け緑色画素の総計）が正規化される。Ｇ＿ｓｕｍ（重み付け緑色画素の総計）は、Ｇ＿ｓｕｍを５ビット（２５＝２進表現の総計重み付け係数３２）分ダウンシフトすることによって正規化される。重み係数の総計は、第１の重み係数と、第２の重み係数と第１の階層の緑色画素数との積と、第３の重み係数と第２の階層の緑色画素数との積との総計に等しい。例示的な実施形態において、第１の重み係数は８である。第２の重み係数に第１の階層の緑色画素数を乗算すると、１６に等しい。第３の重み係数に第２の階層の緑色画素数を乗算すると、８に等しい。
【００７２】
ステップＳ３４２において、中央緑色画素Ｇ２２の画素値が、ステップＳ３４０で算出された正規化されたＧ＿ｓｕｍと置換される。より具体的には、中央緑色画素（Ｇ２２）の新たな画素値は式（１４）によって定義される：
新たなＧ２２＝Ｇ＿ｓｕｍ＞＞５                                式（１４）
ここで、Ｇ２２は中央緑色画素Ｇ２２の画素値を示しており、符号「＞＞」はダウンシフトを示しており、式（１４）のＧ＿ｓｕｍは重み付け緑色画素の総計である。５ビットのダウンシフトは、２５つまり３２による除算と同じである。
【００７３】
適応緑色チャネル奇偶不整合除去方法３００では、中央緑色画素Ｇ２２に近い緑色画素について、それらは、ローパスフィルタリングを行うために使用される。緑色画素が定義された近さの範囲の外である場合は、それらはスキップされる（中央緑色画素の画素値と置換される）。例示的な実施形態では、定義された近さは、１画素の距離または２画素の距離の画素である。従って、正規化係数は定数である。このため、除算は、単純なダウンシフトに置き換えることができる。
【００７４】
ステップ３４２にはステップＳ３４４が続き、ここでは、領域がそれ以上なくなるまで、方法３００が画像の次の領域に反復される。ステップＳ３４４において、判定が「いいえ」の場合、領域がそれ以上ないため、方法３００は終了する。他方、判定が「はい」の場合、ステップＳ３４４は図１４ＡのステップＳ３０４にループバックし、フレーム画像全体の中の次の領域についてプロセスを反復する。
【００７５】
その代わりに、ステップＳ３４４を正規化ステップＳ３４０の前の位置に移動することができ、これにより全中央画素は同時に正規化されることになる。
【００７６】
Ｐ＿ｍａｘおよびＰ＿ｍｉｎの値は、比およびオフセットパラメータの両方を利用することに注意すべきである。小さな信号の場合、この比は有用な範囲を生成できない。オフセットの助けによって、［Ｐ＿ｍｉｎ，Ｐ＿ｍａｘ］の十分な範囲を提供することが可能である。副次的な利点として、雑音も低減される。大きな信号の場合、この比は、校正プロセス中に鮮明なグレー信号から推定される校正される最悪のＧｒ／Ｇｂの比の不整合を支配し、これに整合する。
【００７７】
適応緑色チャネル奇偶不整合除去方法３００を用いるとき、（センサモジュール２１０のような）センサの最悪の不整合のみを事前情報として知るべきである。ランタイム時に、変更または調整するパラメータはない。最悪の不整合はセンサの校正手順中に分かる。
【００７８】
実験結果
図１５Ａ、１５Ｂ、１６Ａ、１６Ｂ、１７Ａ、１７Ｂ、１８Ａ、１８Ｂ、１９Ａ、１９Ｂ、２０Ａ、および２０Ｂは、デモザイク処理を行い、適応緑色チャネル奇偶不整合除去方法３００を行う場合と行わない場合とによる画像の比較を示している。適応緑色チャネル奇偶不整合除去方法３００（以下、「適応緑色チャネル平衡化方法」と称する）によって、高周波数成分（鮮明な線および曲線）が非常によく認識され、クロスハッチパターンが除去されていることが容易に分かる。適応緑色チャネル平衡化方法によって新たなアーチファクトは画像に取り込まれていない。図１５Ａ、１５Ｂ、１６Ａ、１６Ｂ、１７Ａ、１７Ｂ、１８Ａ、１８Ｂ、１９Ａ、１９Ｂ、２０Ａ、および２０Ｂの画像は、Ｆ＿ｍａｘ＝１．１３、Ｆ＿ｍｉｎ＝０．８７、および５に制限されたオフセットによって処理されている。図１５Ａおよび１５Ｂは、適応緑色チャネル平衡化方法を行った場合と行わない場合のフラットフィールド画像を示しており（３００％に拡大し、デモザイクあり）、図１６Ａおよび１６Ｂは、適応緑色チャネル平衡化方法を行った場合と行わない場合の解像度チャート画像（中心円）を示しており（３００％に拡大し、デモザイク処理あり）、図１７Ａおよび１７Ｂは、適応緑色チャネル平衡化方法を行った場合と行わない場合の解像度チャート画像（垂直線）を示しており（３００％に拡大し、デモザイク処理あり）、図１８Ａおよび１８Ｂは、適応緑色チャネル平衡化方法を行った場合と行わない場合の解像度チャート画像（水平線）を示しており（３００％に拡大し、デモザイク処理あり）、図１９Ａおよび１９Ｂは、適応チャネル平衡化アルゴリズムを行った場合と行わない場合のマクベス（MachBeth）チャート画像を示しており（３００％に拡大し、デモザイク処理あり）、図２０Ａおよび２０Ｂは、適応チャネル平衡化を行った場合と行わない場合のマクベスチャート画像を示している（デモザイク処理あり）。
【００７９】
図１５Ｂ、１６Ｂ、１７Ｂ、１８Ｂ、１９Ｂ、および２０Ｂから容易に分かるように、適応緑色チャネル平衡化方法３００は画像のエッジを非常に良好に保つ一方で、奇偶不整合のアーチファクト（クロスハッチパターン）を除去することができる。適応緑色チャネル平衡化方法３００はランタイムの調整つまり管理をする必要がない。最悪の奇偶不整合のオフライン校正のみが、適応緑色チャネル平衡化方法３００で使用されるパラメータ（Ｆ＿ｍａｘおよびＦ＿ｍｉｎ）を判定するために必要とされる。校正手順は緑色チャネル不整合利得および利得分散を提供する。これに基づいて、パラメータ（Ｆ＿ｍａｘおよびＦ＿ｍｉｎ）を導き出すことができる。
【００８０】
適応緑色チャネル平衡化方法３００は、ハードウェア、ファームウェア、またはソフトウェアでの実施に適している。
【００８１】
本発明の実施形態に関する上記の説明は、図示および説明の目的で提示された。開示された形態と全く同じ形態に本発明を制限することは意図されておらず、修正および変形は、上記教示に照らして可能である、あるいは本発明の実行から取得され得る。本発明の原理およびその実際的な応用を説明し、考えられる具体的な使用に適した種々の実施形態および種々の修正において当業者が本発明を利用できるようにするために、実施形態が選択されて説明された。本発明の範囲は本発明の請求項およびそれと同等のものによって定義されることが意図されている。
【００８２】
付記（Appendix）
領域内の不良ではない緑色画素のＧｒ＿ａｖｇおよびＧｂ＿ａｖｇの値は、以下の手順に従って計算される：
【表１】
2009536470.tif 000003
【００８３】
各（ＧＢ，ＧＲ）対のチャネル利得は擬似コードを使用して導出可能である；
ａｖｇ＝（Ｇｒ＿ａｖｇ＋Ｇｂ＿ａｖｇ）／２；
Ｇｒ＿ｇａｉｎ＝ａｖｇ／ＧＲ＿ａｖｇ；
Ｇｂ＿ｇａｉｎ＝ａｖｇ／ＧＢ＿ａｖｇ
以下のコードは、代わりの適応緑色チャネル奇偶不整合除去方法３００に使用されてもよい。
【表２】
2009536470.tif 000004
【００８４】
以下の例示的なコードは、第１の階層の緑色中央画素から距離１の緑色画素に基づいたパラメータＧ＿ｓｕｍを合計する代わりの適応緑色チャネル奇偶不整合除去方法３００に使用されてもよい。
【表３】
2009536470.tif 000005
【００８５】
同じ演算および重み付けが、Ｇ１３、Ｇ３１およびＧ３３に行われる。
【００８６】
以下の例示的なコードが、第２の階層の緑色中央画素から距離２の緑色画素に基づいたパラメータＧ＿ｓｕｍを合計する代わりの適応緑色チャネル奇偶不整合除去方法３００に使用されてもよい。
【表４】
2009536470.tif 000006
【００８７】
同じ演算および重み付けが、Ｇ０２、Ｇ０４、Ｇ２０、Ｇ２４、Ｇ４０、Ｇ４２、およびＧ４４に行われる。
【図面の簡単な説明】
【００８８】
【図１】デモザイク動作後のフラットフィールド画像（３００％に拡大）を示す図。
【図２Ａ】各ポイントが１つの領域（３２×３２画素）を表している緑色チャネル奇偶不整合分布のＧｂ利得分布のプロット。
【図２Ｂ】各ポイントが１つの領域（３２×３２）画素を表している緑色チャネル奇偶不整合分布のＧｒ利得分布のプロット。
【図３】適度な平滑化によって緑色チャネル奇偶不整合に対処するために適応バイエルフィルタを適用した後の修正フラットフィールド画像を示す図。
【図４】各ポイントが１つの領域（３２×３２画素）を表している室内画像の緑色チャネル不整合のプロット（Ｇｒ／Ｇｂ）を示す図。
【図５】各ポイントが１つの領域（３２×３２画素）を表している屋外画像の緑色チャネル不整合のプロット（Ｇｒ／Ｇｂ）を示す図。
【図６Ａ】緑色チャネル奇偶不整合除去方法の領域ごとの適応緑色チャネル利得自己校正プロセスの流れ図。
【図６Ｂ】緑色チャネル奇偶不整合除去方法の領域ごとの適応緑色チャネル利得自己校正プロセスの流れ図。
【図７】緑色チャネル奇偶不整合除去方法の補正プロセスの流れ図。
【図８】有効画素対の平均ＧＢおよびＧＲ値を算出する流れ図。
【図９】ＧＢ、ＧＲ対ごとの平均利得を算出する流れ図。
【図１０Ａ】４×３個の領域を有し、その１つが斜線領域である、分割された原バイエル画像を示す図。
【図１０Ｂ】８×８画素に分割されている図１０Ａの斜線領域を示す図。
【図１１】緑色チャネル奇偶不整合除去モジュールを内蔵するスナップショット撮像デバイスのブロック図。
【図１２】各領域サイズが３２×３２である、領域ごとの利得補正およびデモザイク後のフラットフィールド画像（３００％に拡大）を示す図。
【図１３Ａ】緑色画素にインデックスを付したバイエルパターンを示す図。
【図１３Ｂ】緑色画素にインデックスを付し、赤色画素にインデックスを付したバイエルパターンを示す図。
【図１４Ａ】適応チャネル平衡化のための別の適応緑色チャネル奇偶不整合除去方法の流れ図。
【図１４Ｂ】適応チャネル平衡化のための別の適応緑色チャネル奇偶不整合除去方法の流れ図。
【図１４Ｃ】適応チャネル平衡化のための別の適応緑色チャネル奇偶不整合除去方法の流れ図。
【図１４Ｄ】適応チャネル平衡化のための別の適応緑色チャネル奇偶不整合除去方法の流れ図。
【図１４Ｅ】適応チャネル平衡化のための代わりの適応緑色チャネル奇偶不整合除去方法の流れ図。
【図１５Ａ】適応チャネル平衡化をしない場合のフラットフィールド画像を示す（３００％に拡大し、デモザイク処理あり）図。
【図１５Ｂ】適応チャネル平衡化をした場合のフラットフィールド画像を示す（３００％に拡大し、デモザイク処理あり）図。
【図１６Ａ】適応チャネル平衡化をしない場合の解像度チャート画像（中心円）を示す（３００％に拡大し、デモザイク処理あり）図。
【図１６Ｂ】適応チャネル平衡化をした場合の解像度チャート画像（中心円）を示す（３００％に拡大し、デモザイク処理あり）図。
【図１７Ａ】適応チャネル平衡化をしない場合の解像度チャート画像（垂直線）を示す（３００％に拡大し、デモザイク処理あり）図。
【図１７Ｂ】適応チャネル平衡化をした場合の解像度チャート画像（垂直線）を示す（３００％に拡大し、デモザイク処理あり）図。
【図１８Ａ】適応チャネル平衡化をしない場合の解像度チャート画像（水平線）を示す（３００％に拡大し、デモザイク処理あり）図。
【図１８Ｂ】適応チャネル平衡化をした場合の解像度チャート画像（水平線）を示す（３００％に拡大し、デモザイク処理あり）図。
【図１９Ａ】適応チャネル平衡化をしない場合のマクベスチャート画像を示す（３００％に拡大し、デモザイク処理あり）図。
【図１９Ｂ】適応チャネル平衡化アルゴリズムがある場合のマクベスチャート画像を示す（３００％に拡大し、デモザイク処理あり）図。
【図２０Ａ】適応チャネル平衡化を行わず、デモザイク処理を行ったマクベスチャート画像を示す図。
【図２０Ｂ】適応チャネル平衡化を行い、デモザイク処理を行ったマクベスチャート画像を示す図。
【図１】
2009536470.tif 000007
【図２Ａ】
2009536470.tif 000008
【図２Ｂ】
2009536470.tif 000009
【図３】
2009536470.tif 000010
【図４】
2009536470.tif 000011
【図５】
2009536470.tif 000012
【図６Ａ】
2009536470.tif 000013
【図６Ｂ】
2009536470.tif 000014
【図７】
2009536470.tif 000015
【図８】
2009536470.tif 000016
【図９】
2009536470.tif 000017
【図１０Ａ】
2009536470.tif 000018
【図１０Ｂ】
2009536470.tif 000019
【図１１】
2009536470.tif 000020
【図１２】
2009536470.tif 000021
【図１３Ａ】
2009536470.tif 000022
【図１４Ａ】
2009536470.tif 000023
【図１４Ｂ】
2009536470.tif 000024
【図１４Ｃ】
2009536470.tif 000025
【図１４Ｅ】
2009536470.tif 000026
【図１５Ａ】
2009536470.tif 000027
【図１５Ｂ】
2009536470.tif 000028
【図１６Ａ】
2009536470.tif 000029
【図１６Ｂ】
2009536470.tif 000030
【図１７Ａ】
2009536470.tif 000031
【図１７Ｂ】
2009536470.tif 000032
【図１８Ａ】
2009536470.tif 000033
【図１８Ｂ】
2009536470.tif 000034
【図１９Ａ】
2009536470.tif 000035
【図１９Ｂ】
2009536470.tif 000036
【図２０Ａ】
2009536470.tif 000037
【図２０Ｂ】
2009536470.tif 000038
【手続補正書】
【提出日】平成20年12月5日(2008.12.5)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図１３Ｂ
【補正方法】追加
【補正の内容】
【図１３Ｂ】
2009536470.tif 000039
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図１４Ｄ
【補正方法】追加
【補正の内容】
【図１４Ｄ】
2009536470.tif 000040
【国際調査報告】
2009536470.tif 000041
2009536470.tif 000042
2009536470.tif 000043
2009536470.tif 000044