(57)【特許請求の範囲】
【請求項１】
デジタル画像におけるハイライト及び飽和領域を回復し、ダイナミックレンジを拡張する方法であって、前記方法は、
前記デジタル画像から、ノイズが低減されたカラー画像を生成するステップと、
不飽和ピクセルの色分布を描画するステップと、
カラーチャネル相関を計算するステップと、
前記デジタル画像から検査されていないピクセルを選択するステップと、
前記選択されたピクセルは、ハイライト値又は飽和している１つの色を包含しているかどうかを判断するステップと、
前記選択されたピクセルが、飽和していないか、ハイライト値ではないか、あるいは複数の色で飽和している場合には、前記デジタル画像から別の検査されていないピクセルを選択し、前記選択されたピクセルが１つの色のみで飽和している場合には、前記計算されたカラーチャネル相関を使用して予測ピクセル値を生成するステップと、
前記予測ピクセル値が不飽和の近傍ピクセルに類似しているかどうかを判断するステップと、
前記予測ピクセル値が不飽和の近傍ピクセルに類似している場合、前記選択されたピクセル内のハイライト値又は飽和値を前記予測ピクセル値で置き換え、前記選択されたピクセルを補正済みとして、前記デジタル画像のダイナミックレンジ拡張マップ内で印付けするステップと、
前記予測ピクセル値が不飽和の近傍ピクセルに類似していない場合、最も近い不飽和ピクセルのカラーチャネル相関を使用して第２の予測ピクセル値を生成し、前記選択されたピクセル内の前記ハイライト値又は飽和値を前記第２の予測ピクセル値で置き換え、前記選択されたピクセルを補正済みとして前記デジタル画像のダイナミックレンジ拡張マップ内で印付けするステップと、
前記デジタル画像内の全てのピクセルが検査された場合、前記方法を終了するステップと、
前記デジタル画像内の全てのピクセルが検査されていない場合、前記デジタル画像から検査されていないピクセルを選択するステップと、を含む方法。
【請求項２】
前記デジタル画像からノイズが低減されたカラー画像を生成するステップは、前記デジタル画像にノイズフィルタを適用するステップを含む、請求項１に記載の方法。
【請求項３】
前記デジタル画像からノイズが低減されたカラー画像を生成するステップは、ダウンサンプリング画像を生成するステップを含む、請求項１に記載の方法。
【請求項４】
１つの色のみで飽和した全てのピクセルが検査された後、前記デジタル画像の前記ダイナミックレンジ拡張マップで印付けされていないピクセルを選択するステップと、
前記選択されたピクセルの２つのカラーチャネルが飽和しているかどうかを判断するステップと、
前記選択されたピクセルの２つカラーチャネル以外が飽和している場合、前記デジタル画像の前記ダイナミックレンジ拡張マップ内で印付けされていない別のピクセルを選択するステップと、
前記選択されたピクセルの２つのカラーチャネルが飽和している場合、前記２つのカラーチャネルの各々について、前記選択されたピクセルの前記２つのカラーチャネルと、前記デジタル画像の前記ダイナミックレンジ拡張マップ内の近傍ピクセルの対応するカラーチャネルとの類似度を個別に計算するステップと、
前記類似度が両方とも、選択された閾値を上回る場合、前記計算されたカラーチャネル相関を使用して予測ピクセルを生成するステップと、
前記デジタル画像の前記ダイナミックレンジ拡張マップ内で印付けされていないピクセルの全てが検査された場合、前記方法を終了するステップと、
前記デジタル画像の前記ダイナミックレンジ拡張マップ内で印付けされていないピクセルの全てが検査されたのではない場合、前記デジタル画像の前記ダイナミックレンジ拡張マップ内で印付けされていない、検査されていないピクセルを選択するステップと、を更に含む、請求項１に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
本発明は、デジタル画像メージの処理に関する。より具体的には、本発明は、デジタルにおけるハイライト及び飽和領域を処理してハイライト復元及びダイナミックレンジ拡張を実施するための方法に関する。
【０００２】
ピクセル内の１つ以上のカラーチャネルが飽和状態に近づくと、赤、緑、及び青の相対値はもはや正確ではなくなる。ハイライト及び飽和領域を補正するために、デジタルメーカーは通常、色の脱飽和又は中性化（ｎｅｕｔｒａｌｉｚａｔｉｏｎ）を適用する。そのような中性化のレベルは通常、飽和レベルからのピクセル値の距離が増えるほど低下して、不飽和ピクセルに対する中性化効果が最小限に抑えられる。そのような補正方法は画像の色情報及びダイナミックレンジの両方に影響を及ぼすので、異なる解決策が必要である。
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明は、デジタルカメラ画像におけるハイライト及び飽和領域を処理するための効率的な方法である。ハイライトとは、飽和レベルに近い１つ以上のチャネルを有するピクセルを指す。言い換えると、ハイライトとは、１つ以上のチャネルにおいて特定のレベルを超える出力を有する不飽和ピクセルとして定義することができる。飽和領域とは、飽和した１つ以上のチャネルを有するピクセルを指す。
【０００４】
この方法は、以下を補正するための方法を提供する。（１）飽和状態に近いハイライトピクセル、（２）１つの飽和したチャネルを有するピクセル、（３）（２）のピクセルに似た、２つの飽和したチャネルを有するピクセル。これには、画像センサが飽和したときに画像センサによって及び／又は画像処理に起因して、クリップされたピクセルが含まれる。ハイライトピクセル及び飽和ピクセルを補正することにより、カラーアーチファクトが回避され、出力画像のダイナミックレンジが拡張される。
【０００５】
垂直に位置合わせされたピクセルカラーチャネルを有するセンサでは、それらのカラーチャネルの出力は緊密に相関している。本発明によれば、デジタル画像に対してハイライト復元を実施するための１つの方法には、ハイライトのホワイトバランス調節を行うステップ、飽和値を中間のゲインを有するカラーチャネルの飽和値に設定するステップ、最も速いゲイン及び最も遅いゲインを有するカラーを、この設定した飽和値に移行させるステップ、及びカラー補正マトリクスを適用し、必要に応じて値を１にクリップするステップ、が含まれる。
【０００６】
本発明によれば、デジタル画像に対してハイライト復元を実施するための別の方法には、カラーチャネル相関に基づいて適切な量を補償することにより、ハイライト及び飽和領域におけるピクセル値を予測するステップが含まれる。したがって、収集した赤、緑、及び青ピクセルの情報を使用して、ある１つの特定のカラーチャネルの値を、他の２つのカラーチャネルの値が既知である場合に、予測することができる。例えば、赤は、緑及び青チャネル出力の組み合わせとして、数学的に表現することができる。この相関式は、線形若しくは非線形、又は任意の他の表現であり得る。その後、元のピクセル値は予測ピクセルで置き換えられる。そのような処理では、ハイライト領域又は飽和ピクセルにおけるアーチファクトが低減される。更に、ダイナミックレンジも拡張されることになる、というのも、復元されたピクセル値は、その色に関連した飽和／クリッピングレベルよりも高くなる可能性があるからである。これらの補正されたピクセルは、ダイナミックレンジ拡張（ＤＲＥ）マップにおいて印付けされる。
【０００７】
２つの飽和したカラーチャネルを有するピクセルは、高飽和ピクセルと呼ばれる。その後、高飽和ピクセルを中心に持つ検索ウィンドウが生成される。このウィンドウの内部で、ＤＲＥマップで印付けされた近傍ピクセル全てを使用して、近傍ピクセルと中心ピクセルとの間の類似度を計算する。例えば、類似度は強度差として計算することができる。また類似度は、ＲＧＢ空間、又はＬＵＶ空間、又は他の色空間での任意の表記、における差を比較することにより計算することもできる。類似度は、高飽和ピクセルがどれ位ＤＲＥピクセルに似ているかを定量的に示す。類似度が閾値に達すると、高飽和ピクセルは、前述のハイライト復元方法を使用して、飽和したカラーチャネルのうちの１つを置き換えることにより、補正される。この補正により、ハイライトが部分的に回復された均一なハイライト及び飽和領域におけるアーチファクトが低減される。
【０００８】
本発明について、実施形態及び図面を参照して以下でより詳細に説明する。
【０００９】
【００１０】
【００１１】
【００１２】
【００１３】
【００１４】
【図面の簡単な説明】
【００１５】
【図１】時間の関数としてのピクセル電荷蓄積のグラフであり、個々の色の飽和を示す。
【図２】個々の色の飽和に対する拡張ダイナミックレンジの効果を示すグラフである。
【図３】本発明の一態様による、個々の色の飽和に対する拡張ダイナミックレンジの効果を示すグラフである。
【図４】カラー補正マトリクスを適用した後の、本発明の一態様による、個々の色の飽和に対する拡張ダイナミックレンジの効果を示すグラフである。
【図５】単一のチャネルがハイライトを有するか又は飽和している場合の、本発明の一態様による方法を描く流れ図である。
【図６】本発明の別の態様による方法を描く流れ図である。
【図７】複数のチャネルがハイライトを有するか又は飽和している場合に垂直カラー撮像素子のダイナミックレンジを拡張するための、本発明の別の態様による方法を描く流れ図である。
【発明を実施するための形態】
【００１６】
当業者であれば、本発明の以下の説明は例示的なものに過ぎず、いかなる態様でも限定するものではないことに気付くであろう。そのような当業者には、本発明の他の実施形態が容易に連想されるであろう。
【００１７】
まず図１を参照すると、商標Ｘ３の下で本発明の譲受人Ｆｏｖｅｏｎ，Ｉｎｃ．によって製造されているような垂直カラーピクセルにおけるピクセルの挙動が示されている。カラーピクセルには、赤、緑、及び青の３つのセンサが含まれる。図１は、赤ピクセル１０、緑ピクセル１２、及び青ピクセル１４の、時間の関数としてのピクセル電荷蓄積を示す。図１のｘ軸は、撮像素子が出力を生成するスケールの一部を示す、任意の単位で表わされた露光時間である。ｙ軸は、「１」という値に正規化された出力レベルである。
【００１８】
図１では、破線１６で示された時間にまず青ピクセル（曲線１４）が飽和し、破線１８で示されたより後の時間に緑ピクセル（曲線１２）が飽和することが分かる。赤ピクセルは、図１のｘ軸に描かれた時間中には飽和しない。
【００１９】
したがって、当業者であれば、破線１６でのｘ軸上の位置付近よりも露光時間が長いと、青ピクセルの飽和のせいでカラーバランス歪みがある画像が生成されることを、理解するであろう。したがって、破線１６付近の時間よりも長い露光時間は、カラー補正無しでは有用な画像を生成せず、破線１６でのｘ軸上の位置付近よりも長い時間については、垂直カラーピクセルのダイナミックレンジの潜在的な部分が無駄になる。
【００２０】
本発明によれば、垂直カラーピクセル内の３つのカラーチャネル全てに対して、クリッピングを起こすまでの余裕を拡張するための方法が提供される。本発明には、前処理中にはクリッピングしないこと、飽和したチャネルからの信号の振幅を予測すること、及びカラーアーチファクトを回避するためにハイライトを中性化すること、が含まれる。
【００２１】
本発明は、Ｆｏｖｅｏｎ  Ｘ３撮像素子などの垂直カラー撮像素子の赤、緑、及び青カラーチャネルは相関が高いという事を利用する。本発明の方法を適用することにより、飽和したカラー信号（この場合には青チャネル）は、残りの他の２つの飽和していないカラー信号の値から計算することができる。本発明の一態様によれば、飽和したチャネルの値は、線形又は非線形のフィッティングにより、２つの飽和していないチャネルの値から推測することができる。例えば、飽和したチャネルにあてはまる二次方程式は、以下のように推定することができる。
ｇ及びｒからｂを推定する：ｇ／ｂ＝ｘ1（ｒ／ｇ）2＋ｙ1（ｒ／ｇ）＋ｚ1
ｂ及びｒからｇを推定する：ｇ／ｂ＝ｘ2（ｒ／ｂ）2＋ｙ2（ｒ／ｂ）＋ｚ2
ｇ及びｂからｒを推定する：ｒ／ｇ＝ｘ3（ｇ／ｂ）2＋ｙ3（ｇ／ｂ）＋ｚ3
【００２２】
定数ｘ、ｙ及びｚは個々のアプリケーションで変化し、例えば、カラーチェッカー又はノイズが低減された他のカラー画像から導き出すことができる。ノイズ低減は、任意のノイズ除去フィルタを使用して行うことができる。したがって、この画像は正確な色分布を提供する。カラーチェッカーから導き出されたカラー相関は、ノイズが低減されたカラー画像が、フィッティング式を推定するのに十分な不飽和ピクセルを持たない場合に備えて、バックアップとして記憶される。本発明の効果は、図２で参照番号２０で示される破線２０によって示される。
【００２３】
ここで、飽和した青ピクセルの値を飽和していない赤及び緑ピクセルの値から推測することにより飽和した青ピクセルを補正した後の、露光時間の関数としての、図１の３色撮像素子のピクセル挙動である、図２を参照する。図２から分かるように、この方法を使用した補正は、緑ピクセルが飽和する露光時間１８までしか可能でなく、露光時間１８の後は、赤ピクセルのみが飽和していない状態のままである。
【００２４】
図２を考察することにより、３色垂直カラーピクセルのダイナミックレンジは、緑色１２が飽和を開始する破線１８で示されるポイントまで拡張できることが分かる。図２の考察から分かるように、赤及び青ピクセル１０及び１４のゲインは、それぞれポイント２２及び２４で開始して正規化され、飽和直前の緑ピクセル１２の値に収束する。これにより、より滑らかなハイライト移行が形成され、カラー補正マトリクス適用後の色反転が回避される。当業者であれば、赤及び青ピクセル１０及び１４のゲイン調節が始まるポイント２２及び２４の時間よりも長い露光時間では、色歪みが生じることがあることを、理解するであろう。
【００２５】
ここで、飽和した青ピクセルの値を飽和していない赤及び緑ピクセルの値から推測することにより飽和した青ピクセルを補正し、、最も速い色（この場合には赤）及び最も遅い色（この場合には青）を緑の飽和値に移行させた後の、露光時間の関数としての、図１の３色撮像素子のピクセル挙動である、図３を参照する。図３に示した例では、赤チャネル移行閾値は水平破線３０によって示されるように６０％の赤信号値に設定され、これは垂直破線３２によって示される露光時間に発生し、その後は、赤チャネルのゲインは、「１」という値に正規化された緑飽和値（破線１８）で緑信号と交差するように減少する。青チャネルのゲイン移行ポイントは、破線３２での赤ゲイン移行ポイントと一致するように選択され、その後は、青チャネルのゲインは、やはり正規化された緑飽和値（破線１８）で緑信号と交差するように、増加する。当業者であれば、この移行閾値は、約１８％から約８０％までの間のどこでも、急激な色変化を回避するために選択されるべき最大になるように選択できることを認識するであろう。これは、撮像素子が異なれば、異なる可能性が高い。
【００２６】
図４は、図３の補正が適用された図１の３色撮像素子のピクセル挙動と、これに続くカラー補正マトリクス（ＣＣＭ）処理を示すグラフである。ＣＣＭ処理は、破線３０で示される移行時間まで緑チャネル信号ゲインの減少をもたらし、その後は、緑チャネル信号ゲインは正規化された飽和点と交差するように増加する。
【００２７】
ここで図５を参照すると、流れ図が、垂直カラーピクセルセンサの単一ハイライト値又は飽和したカラーを補償するように画像を処理するための、本発明の一態様による方法３０を図示する。この方法は、参照番号３２で開始する。
【００２８】
参照番号３４では、垂直カラーピクセルが、検査のために画像から選択される。参照番号３６では、このピクセルが、ハイライト値を有するか又は飽和している、単一の色を包含しているどうかが判断される。任意の所与の３色垂直ピクセルセンサの各色の飽和値は、センサの既知の特性である。この方法によれば、「ハイライト」とは、３つのチャネルのいずれも飽和していないが、少なくとも１つのチャネルが飽和レベルに近い非常に高いデジタル数を生成しているピクセルを指す。３つのチャネルのうちのいずれかが飽和に近い（例えば、クリッピング値の約９０％）場合、その出力は恐らくもはや線形ではなく、出力値は信頼できなくなるので、ハイライトピクセルとして指定される。３つのカラーチャネルのうちの少なくとも１つが、飽和レベル以上の出力値を有し、信号値を信頼できなくしている場合、ピクセルは「飽和している」。
【００２９】
一方、参照番号３８では、ノイズが低減されたカラー画像が生成される。この画像は、例えば、ノイズが低減されたカラーチェッカー画像であり得る。ダウンサンプリング画像も生成されることがある。カラー画像のノイズは、任意のノイズフィルタを使用して除去することができる。参照番号４０では、不飽和の／非ハイライトのピクセルの色分布がプロットされる。参照番号４２では、カラーチャネル間の相関が計算される。
【００３０】
参照番号３６で、選択されたピクセルの色のうちの１つのみの出力がハイライト値でないか又は飽和しているのではないと判断された場合、この方法は参照番号３４に戻り、別のピクセルが選択される。この場合、ピクセルは不飽和若しくは非ハイライトであるか、又はピクセルの複数のチャネルが飽和している。選択されたピクセルの色のうちの１つのみの出力がハイライト値であるか又は飽和している場合、この方法は参照番号４４に進み、ここでは、飽和したピクセル又はハイライトピクセルの予測ピクセル値が、導き出されたカラーチャネル相関を使用して生成される。参照番号４６では、予測ピクセルを検査して、そのカラー相関がその最も近い不飽和の近傍ピクセルと類似しているかどうかを確認する。選択されたピクセルと近傍の不飽和のピクセルとの差を計算することにより、検査が行われる。この差が閾値よりも大きくない場合、参照番号４４で生成された予測ピクセル値が使用され、このプロセスは参照番号４８に進み、ここでは、補正されたピクセルが、ダイナミックレンジ拡張（ＤＲＥ）マップにおいて印付けされる。
【００３１】
参照番号４６で、選択された閾値よりも差が大きいと判断された場合、このプロセスは参照番号５０に進み、ここでは、最も近い不飽和の近傍ピクセルのカラーチャネル相関を使用して、予測ピクセル値が生成される。この態様で予測ピクセル値を生成することの目的は、導き出されたカラー相関が近くの近傍ピクセルとは異なる場合に生じるカラーアーチファクトを回避することである。その後、プロセスは参照番号４８に進み、ここでは、補正されたピクセルはダイナミックレンジ拡張（ＤＲＥ）マップにおいて印付けされる。
【００３２】
参照番号５２では、画像内の全てのピクセルが検査されたかどうかが判断される。そうではない場合、この方法は参照番号３４に戻り、別のピクセルが検査のために選択される。画像内の全てのピクセルが検査された場合、この方法は参照番号５４で終了する。
【００３３】
ここで図６を参照すると、流れ図が、図３及び図４で示したピクセル露光補正を生成するための方法６０を図示する。この方法は、参照番号６２で開始する。
【００３４】
参照番号６４では、ハイライトがホワイトバランス調節される。参照番号６６では、飽和値が、３つのカラーチャネルのうちの中間のゲインを有するカラーチャネルのうちの１つの飽和値に設定される。本発明を開示するために本明細書で使用される非限定的な例では、その色は緑である。参照番号６８では、最も速いゲイン及び最も遅いゲインを有するカラーチャネルが、設定された飽和値に移行される。参照番号７０では、カラー補正マトリクスがピクセル値に適用され、必要があれば値は「１」という値にクリップされる。この方法は、参照番号７２で終了する。
【００３５】
ここで図７を参照すると、流れ図が、垂直カラーピクセルセンサの複数のハイライト値又は飽和した色を補償するように画像を処理するための、本発明の一態様による方法８０を図示する。この方法は、参照番号８２で開始する。
【００３６】
参照番号８４では、図５の参照番号４６で生成されたＤＲＥマップに含まれていないピクセルが選択される。参照番号８６では、選択されたピクセルの２つの色の出力がハイライト値であるか又は飽和しているかどうかが判断される。選択されたピクセルの２つの色の出力がハイライト値であるか又は飽和しているのではないと判断された場合、この方法は参照番号８４に戻り、別のピクセルが選択される。この判断は、ピクセルのどの色もハイライト値ではないか又は飽和していない出力を持たない場合に生じることがあり、この場合には、ピクセルは補正が必要ではなく、或いは、この判断は、ピクセルの３色全てがハイライト値であるか又は飽和している場合に生じることがあり、これは、ピクセルのカラーチャネル出力を補正できない状態である。
【００３７】
選択されたピクセルの２つ色の出力がハイライト値であるか又は飽和している場合、この方法は参照番号８８に進み、ピクセルのカラーチャネルのうちの１つが選択される。参照番号９０では、選択されたピクセルとＤＲＥマップ中の近傍ピクセルとの間の類似度が、選択されたカラーチャネルについて計算される。高飽和ピクセルを中心に持つ検索ウィンドウが生成される。このウィンドウの内部で、ＤＲＥマップで印付けされた近傍ピクセル全てを使用して、近傍ピクセルと中心ピクセルとの間の類似度を計算する。例えば、類似度は強度差として計算することができる。また類似度は、ＲＧＢ空間、又はＬＵＶ空間、又は他の色空間での任意の表記、における差を比較することにより計算することもできる。類似度は、高飽和ピクセルがどれ位ＤＲＥピクセルに似ているかを定量的に示す。類似度が閾値に達すると、高飽和ピクセルは、前述のハイライト復元方法を使用して、飽和したカラーチャネルのうちの１つを置き換えることにより、補正される。その後、この方法は、参照番号９２において、選択されたピクセルの全てのカラーチャネルが処理されたと判断されるまで、参照番号８８及び９０で説明した処理を繰り返す。
【００３８】
参照番号９４では、選択されたピクセルと近傍ピクセルとの間の計算された類似度が閾値を上回るかどうかが判断される。閾値は、色差の割合であり、幾つかの例示的な画像から推定することができる。そうではない場合、この方法は参照番号８４に戻り、図５の参照番号４６で生成されたＤＲＥマップに含まれていない別のピクセルが選択される。そうである場合、この方法は参照番号９４に進み、ここでは、導き出されたカラーチャネル相関を使用して２つの飽和した色又はハイライト色の予測ピクセル値を生成する。
【００３９】
その後、この方法は参照番号９８に進み、ここでは、図５の参照番号４６で生成されたＤＲＥマップに含まれていないピクセルの全てが処理されたかどうかが判断される。そうではない場合、この方法は参照番号８４に戻り、図５の参照番号４６で生成されたＤＲＥマップに含まれていない別のピクセルが選択される。そうである場合、この方法は参照番号１００で終了する。
【００４０】
本発明の実施形態及び用途を示し説明してきたが、本明細書での本発明の概念から逸脱することなく、上記で記されたものよりも多くの修正例が可能であることが、当業者には明らかであろう。したがって、本発明は、添付の請求項の趣旨を除いて、制限されるべきではない。
【図１】
0006833078.tif 000002
【図２】
0006833078.tif 000003
【図３】
0006833078.tif 000004
【図４】
0006833078.tif 000005
【図５】
0006833078.tif 000006
【図６】
0006833078.tif 000007
【図７】
0006833078.tif 000008