(57)【要約】【課題】デジタルカラー画像の色を補正する方法および装置を提供すること。【解決手段】未加工の画像は、カラー画像を提供する複数の色平面における複数の画素からなる。未加工の画像は、少なくとも低周波画像および高周波画像とに分解される。低周波画像は色補正され、色補正された低周波画像が生成される。高周波画像は、色彩のエッジの領域において色補正される。色補正された低周波画像は、高周波画像と合成され、色補正されているものの、未加工の画像と遜色ない解像度を有する最終画像を提供する。【選択図】図１
2004074793.tif 000002
【特許請求の範囲】
【請求項１】
　当初の画像の色を変換する方法であって、前記当初の画像が複数の画像画素と少なくとも２つの色平面とを有し、各画像画素が前記色平面のうちの少なくとも１つに対し輝度値を有し、
　前記当初の画像から低周波画像および高周波画像を生成するステップと、
　前記低周波画像の色を変換するステップと、
　色彩エッジの領域において前記高周波画像を色補正するステップと、
　前記高周波画像と前記低周波画像とを合成するステップであって、色変換画像を形成し、
を含む方法。
【請求項２】
　前記高周波画像において、色彩エッジに対する色補正が視覚的に顕著となる色彩エッジ画素を確定するステップと、該色彩エッジ画素を色補正するステップと、を含む請求項１記載の方法。
【請求項３】
　前記高周波画像において、統計的に有意なエッジにおける顕著なエッジ画素を検出するステップと、該顕著なエッジ画素を色補正するステップと、輝度値における前記色補正された顕著なエッジ画素と未補正の顕著なエッジ画素との差が視覚的に顕著であるか否かを判断するステップと、前記輝度値の差が視覚的に顕著である顕著なエッジ画素に対し、前記色補正された輝度値を使用するステップと、を含む請求項２記載の方法。
【請求項４】
　赤色平面、青色平面、および緑色平面を含む３つの色平面を有する請求項１乃至請求項３のいずれかに記載の方法。
【請求項５】
　色補正後の前記低周波画像は、前記当初の画像のすべての画素位置にわたって延在する請求項１乃至請求項４のいずれかに記載の方法。
【請求項６】
　前記低周波画像を、平滑化された画像画素に空間的に等価な前記画像画素に中心を置く色平面の前記画像画素において、画素のブロックを平均化することによって形成する請求項１乃至請求項５のいずれかに記載の方法。
【請求項７】
　前記画素のブロックは７×７ブロックである請求項６記載の方法。
【請求項８】
　サブサンプリングされた低周波画像に対して色変換を実行する請求項１乃至請求項７のいずれかに記載の方法。
【請求項９】
　画像形成システムを有するカメラであって、
　複数の画像画素と少なくとも２つの色平面とを有し、各画像画素が前記色平面のうちの少なくとも１つに対する輝度値を有する当初の画像を取得するように適合されたセンサと、
　プロセッサであって、前記当初の画像から低周波画像および高周波画像を生成し、前記低周波画像の色を補正し、色彩エッジの領域において前記高周波画像を色補正し、前記高周波画像と前記低周波画像とを合成して色補正画像を形成するようにプログラムされたプロセッサと、
を備えるカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、デジタルカラー画像の色を補正する方法および装置に関する。
【背景技術】
【０００２】
　デジタルカラー画像の色補正は、複数の画像処理コンテキストにおいて必要とされている。
【０００３】
　１つの重要な環境は、消費者向けデジタル画像形成にある。個々のセンサ素子のアレイ上に交互のパターンのカラーフィルタを導入することにより、消費者向けカラーセンサを製造することが一般的である。これは、しばしばカラーモザイクと呼ばれ、一般に使用される変形はＲＧＢベイヤー（Bayer）パターンであり、それは規則正しい格子上に緑／赤および青／緑の画素の交互の行を有する（したがって、緑の画素は赤および青の画素の２倍である）。デモザイク処理として知られるプロセスを実行することにより、かかるセンサで取り込まれた画像から完全なＲＧＢ画像を生成する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
　人間の眼のスペクトル特性と正確に一致する、またはコンピュータで画像を表現・表示するために使用される原色と正確に一致するセンサに使用するカラーフィルタを構成することは非常に困難である。このため、取り込まれた画像を処理することにより、検知された色を所望の表色系になるように補正することが必要である。さらに、あるチャネルにおいて他のチャネルよりノイズのある場合があり、ノイズのあるチャネル（通常青）からのノイズがノイズの少ないチャネル（通常緑）に混入するのを回避することが望ましい。必要な計算量は、特に処理能力が制限された消費者向けシステムにおいて、重要な問題または制約となる可能性がある。
【０００５】
　これらの問題は、各画素位置に複数のカラーレセプタ（垂直に積み重ねられている）を有するセンサ素子、すなわち３つのＣＣＤセンサ（各色平面に対して１つ）を有する画像形成システム、フラットベッドカラースキャナ、または別々の記録されたＲＧＢ画像のセットからカラー画像が形成される他の画像形成システムによって生成される画像に対して等、色補正が必要な他のコンテキストに適用される。これらの問題のいくつかは、色補正が、標準ＲＧＢ色空間からプリンタのＲＧＢ空間にマッピングするため（プリンタの物理ＣＭＹＫ空間への最終変換の前）に使用される印刷等、他のコンテキストにも適用され得る。
【課題を解決するための手段】
【０００６】
　本発明の第一態様によれば、最初の画像の色を変換する方法であって、最初の画像が複数の画像画素と少なくとも２つの色平面とを有し、各画像画素が色平面のうちの少なくとも１つに対し輝度値を有する方法であり、最初の画像から低周波画像と高周波画像とを生成するステップと、低周波画像の色を変換するステップと、色彩エッジの領域において高周波画像を色補正するステップと、高周波画像と低周波画像とを合成するステップであって、色変換画像を形成することを含む方法が提供される。
【０００７】
　本発明の第二態様によれば、画像形成システムを有するカメラであって、複数の画像画素と少なくとも２つの色平面とを有し、各画像画素が色平面のうちの少なくとも１つに対する輝度値を有する最初の画像を取得するように適合されたセンサと、プロセッサであって、最初の画像に対し、最初の画像から低周波画像と高周波画像とを生成し、低周波画像の色を補正し、色彩エッジの領域において高周波画像を色補正し、高周波画像と低周波画像とを合成して色補正画像を形成するようにプログラムされたプロセッサとを備えるカメラが提供される。
【０００８】
　ここで、例として以下の図面を参照して、本発明をより詳細に説明する。
【発明を実施するための最良の形態】
【０００９】
　最初に、本発明の態様によって使用される色補正方法および装置のための手法全体を下に論考し、その後その手法の個々の要素をより詳細に論考する。そして、基本的な手法に対する拡張を論考する。この後、色補正が必要とされる様々なシステムに対する本発明の態様の適用を論考する。
【００１０】
　未加工の画像１０１、２０１は、カラー画像を与える複数の色平面（概して３つ）の複数の画素から構成される。個々の画素位置が、唯一の色平面に対し（すなわち、画素がモザイクを形成する）、色平面のうちの２つ以上に対し、色平面のすべてに対し値を有する場合、および１つの色平面の画素が別の色平面の画素と直接関連せず別個に登録される場合（各色がたとえば別個のＣＣＤセンサによって検出される場合のように）であっても、本方法を有効に適用することができる。
【００１１】
　基本方法の第１のステップは、未加工の画像１０１、２０１を低周波画像１０２、２０２と高周波画像１０３、２０３とに分割することである。このための基本的な手法は、平滑化して画像の高周波成分を取り除くことにより低周波画像１０２、２０２を取得し、その後、未加工の画像１０１、２０１と低周波画像１０２、２０２との間の差を見つけることである。これらの差は高周波情報であり、高周波画像１０３、２０３を形成する。
【００１２】
　基本方法における次のステップは、低周波画像１０２、２０２に対して色補正を実行することにより色補正された低周波画像（低周波色補正画像）１０４、２０４を生成することである。これに伴う基本的な動作は、異なる色平面からの値の組合せを使用することにより、所望の結果をより正確に（人間が、標準閲覧装置または方法を使用して表示される未加工の画像が示すシーンまたは表現を観察することによって知覚する色に、画像の色がより正確に対応するように、ほぼ一定に）表す新たな色値を達成するということである。基本方法では、高周波画像１０３、２０３（モノクロ画像として扱われる）に対して色補正は実行されない。色情報の大部分が低空間周波数において実行され、人間の視覚系は輝度より色差の空間的感度が低いため、これは妥当な手法である。
【００１３】
　次のステップは、色補正された低周波画像１０４、２０４を高周波画像１０３、２０３と合成するということである。この合成により、未加工の画像１０１、２０１に匹敵する解像度であるものの（画像の高周波成分は解像度に非常に敏感であるが、低周波成分はそうでないため）色補正されている最終画像が得られる。
【００１４】
　この手法は複数の利点を有する。変換は、様々な色平面間でノイズを増幅も混入もしない。実質的に計算を低減して非常に有効な色補正を達成することができる。これは主に、必要な個々の計算を大幅に少なくするように、色補正が実行される低周波データをサブサンプリングすることができるためである。高周波データを外すことは、他の利点も有することができる。すなわち、高周波データ自体を操作することにより、最終画像の画質を向上させることができる（たとえば、鮮鋭化を達成するかまたはノイズを除去する）。
【００１５】
　ここで、このプロセスの個々の段階をより詳細に説明する。
【００１６】
低周波画像の生成
　適当な平滑化技法を使用することにより低周波画像１０２、２０２を生成する。平滑化とローパスフィルタリングとは、本質的に同じ動作である。平滑化は既知の動作であり、複数の異なる技法が利用可能である（たとえば、GonzalezおよびWoods著「Digital Image Processing（デジタル画像処理）」、pp.１８９〜２０１、Addison & Wesley、1992において論考されている）。
【００１７】
　低周波画像１０２、２０２を生成するために、各色平面を別々に処理する。すなわち、一般的であるように３つの色平面がある場合、実質的に３つの低周波画像が生成されることになる。各色平面において対象の各画素に対して輝度値がある場合、画像に対して平滑化以外にいかなる処置も必要とならない。しかしながら、これが当てはまらない（そのため、各色平面を完全に埋める低周波画像がない）場合、補間ステップまたは同様のステップが必要となるであろう。これについては、デモザイク処理のコンテキストにおいてさらに論考する。今のところは、各色平面の各画素に対して輝度値があるものとし、そのため、ローパスフィルタリングおよび色補正の結果が、後に高周波画像を追加することができるフル解像度の色補正されたローパス画像を形成するようになる。
【００１８】
　上述したように、有限応答フィルタ、無限応答フィルタおよびフーリエ領域における処理の使用を含むある範囲のフィルタリング技法が利用可能である。しかしながら、特に有利な手法はブロック平均である。これによる平滑化の効果は、他の何らかの手法よりわずかに低い場合があるが、計算を非常に簡略化することができる。特に有効な手法を図３に示す。
【００１９】
　図３は、７×７ブロックの画素に対する平均化を示す。各色平面に対して別々のローパス画像が計算され、そのためここに示す未加工の画像３０１（これらの目的のために、「欠落している」画素のための補間値を有する未加工の画像とすることができる）は、１つの色平面のみに対する画像である。作業中の行３０２と列３０４は、平均化が行われている現セルを画定する。部分和バッファ３０３を使用して、画像の幅を横切る各位置に対する列の部分和を維持する。画像の頂部から底部への順序で画像行を処理する。新たな画像行の各々が処理される際に、１行の各画素に対する部分和を使用して、７×７近傍に入る新たな画像行からの画素値を加算し、出たばかりの画像行からの画素値を減算することによって、次の行の各画素に対し部分和を計算することができる。
【００２０】
　このように、最小限の計算で、新たな行の各々に対し部分画像バッファ３０３の値を更新することができる。行が完全に入力されると、画像行に沿った各画素位置の最終合計を計算することができる。窓３０５は、対象の現画素に対する合計値を得るために合計する必要のある部分和を示す。部分和の行に沿った同様の繰返しの関係（窓を出る部分和を取り除き窓に入る部分和を加算すること）によって、画像行に沿った各位置に対し最終合計が与えられる。値が必要な正確さと利用可能な精度とによって決まる一定の乗算およびシフト演算を使用することにより、ブロック平均を得るための４９による最終除算が達成される。したがって、計算は、他のローパスフィルタリング方法と比較して大幅に低減される。
【００２１】
　たとえば、８ビットデータがここでの画像データを表すと想定すると、演算を３２ビット精度に制限したい場合、最終合計を値３４２３９２（２を２４乗し（１６７７７２１６）４９で除算して最も近い整数に丸める）で乗算し結果を右に２４ビットシフトさせることにより、４９による所望の除算を達成することができる。フル２４ビットより少なくシフトさせることにより、より高い精度を維持することができる。実際の、スケーリングの効果は、４９．００００２での除算である。
【００２２】
　ブロック平均を奇数×奇数のブロック（３×３、５×５、７×７、９×９…）に制限することにより、ブロック平均画像がオリジナルと同じ画素位置に中心を置くことを確実にする。
【００２３】
高周波画像の生成
　これは簡単な手続きである。考慮される色平面の各々に対し、高周波画像は、以下の画素毎の合計によって単純に計算される。
【００２４】
　high_pass＝raw_image−low_pass
明らかに、raw_imageはlow_passとhigh_passとの等値を加算することによって復元することができる。
【００２５】
　高周波情報は、主に無色であり、このためすべての色平面間で密接に結合され、したがって各色平面において実質的に同様になる（その結果、高周波画像の大部分が、エッジに近い部分でさえグレーに見える）。さらに、人間の視覚系は高周波色差変化に対し、輝度変化に対するほど敏感ではない。この事実は、ＴＶ信号の色符号化と、色差より輝度により高い空間解像度を有する最近の圧縮方式とにおいて利用される。したがって、全体として画像に対する有効な色補正を、色補正された低周波画像にhigh_passデータを単に加算することによって達成することができる。
【００２６】
低周波画像の色補正
　通常、オリジナルの平滑化画像画素の３つのセット（３つの色平面を想定）のすべてを処理することにより色補正を行う。
【００２７】
　たとえば、画像のある点の改善された緑信号は、その点における赤（Ｒ）、緑（Ｇ）および青（Ｂ）信号の重み付きの組合せから導出することができる。
【００２８】
　Ｃｇ（［Ｒ，Ｇ，Ｂ］）＝ｄＲ＋ｅＧ＋ｆＢ
ここで、Ｃｇ（ｍ）は、ＲＧＢトリプレットｍから得られる緑画素に対する補正値を与える。
【００２９】
　画像の点における色のすべてを補正するために、以下の３×３行列乗算を使用することができる。
【００３０】
　Ｃ（［Ｒ　Ｇ　Ｂ］）＝［Ｒ　Ｇ　Ｂ］［ａ　ｄ　ｇ］
　　　　　　　　　　　　　　　　　　　［ｂ　ｅ　ｈ］
　　　　　　　　　　　　　　　　　　　［ｃ　ｆ　ｉ］
ここで、Ｃ（ｎ）は、ＲＧＢトリプレットｎに対する補正値を与える。
【００３１】
　３つの色値すべてに対して色補正が必要である可能性があるが、簡単にするために、緑色値に対する１つのみの色補正の詳細を下に説明する。計算要求を低減するために、好ましい実施形態では、平滑化画像画素の完全なセットのサブセットに対してのみ色補正を実行する。
【００３２】
　ここで、Ｇ１〜Ｇ９の値によって示される、以下の未補正の低空間周波数の平滑化された緑画像画素の３×３ブロックを考慮する。
【００３３】
　G1 G2 G3
　G4 G5 G6
　G7 G8 G9
　対応する色補正された低空間周波数の緑値ｇ１〜ｇ９を、以下のように表すことができる。
【００３４】
　g1 g2 g3
　g4 g5 g6
　g7 g8 g9
　コーナ値Ｇ１、Ｇ３、Ｇ７およびＧ９からなる平滑化画像画素Ｇ１〜Ｇ９のサブセットを選択する。以下のように、色補正計算を、これらの４つの画像画素に対してのみ実行し、他の画像画素は次のように補間（内挿）される。
【００３５】
　g1 g2 g3　 Cg(G1)　　　(g1+g3)/2　　　　Cg(G3)
　g4 g5 g6 = (g1+g7)/2　(g1+g3+g7+g9)/4　(g3+g9)/2
　g7 g8 g9　 Cg(G7)　　　(g7+g9)/2　　　　Cg(G9)
　当然ながら、選択してよい他の多くのあり得るサブセットがあり、選択されたサブセットにない補正された画像画素を計算するために他の多くの内挿または外挿法がある。しかしながら、選択された平滑化画像画素が交互の行と交互の列との両方から現れるこの実施例では、必要な計算が大幅に節約された優れた結果が得られる。
【００３６】
　本明細書において説明したもの等の方法で必要な計算は、従来の色補正方法よりはるかに少ない。たとえば、説明した方法では、およそ１／４の計算で、画質にほとんどまたは全く検出可能な損失はない。
【００３７】
　さらに、低空間周波数画素に対し、色チャネルのいずれかのノイズが平滑化される色補正が実行されるため、その色補正によって、色平面間でノイズが混合せず、色補正画像におけるノイズの量も増大しない。
【００３８】
最終画像の形成
　この場合も、このステップは簡単であり、高周波画像１０３、２０３の画素と色補正された低周波画像１０４、２０４の画素との間の各色平面に対する画素毎の加算を含む。解像度は、高周波画像によって有効に提供されるため、色補正された低周波画像を生成するサブサンプリングの使用により、最終画像１０５、２０５の解像度に対して著しい影響はない。
【００３９】
　なお、ほとんどの構成では、揮発性メモリに未加工の画像フレーム全体を格納する必要はないであろう。画像処理をオンザフライで実行することができるため、画像形成パイプラインを実行するために必要であるような程度のメモリのみがあればよい。そのため、画像データの最初の数行がセンサからメモリに読み出された後、画像の開始に対して圧縮画像データを生成しこれらを長期メモリに格納し始めることが可能である。これは、すべてのプロセスが本質的に局所的であり、画像の限定された領域のみに対して作用するという事によってもたらされる。
【００４０】
　言い換えれば、プロセスの各段階で構成される「画像」を、画像全体にわたって延在するデータの完全なセットとすることができるが、実際には、これは、メモリおよびあり得るスループットという点でコストを増加させる。したがって、プロセスの各段階で使用される「画像」は、概して、プロセスが局所的に作用して、断片的に生成される。極端には、すべての計算を、単一画素に対しその近傍の画素から行ってよい。
【００４１】
高周波画像の画質向上
　上述した基本方式は、特定のタイプのアーティファクトを発生させる可能性がある。上に示したように、高周波データは、通常色チャネル間で密に結合されている。しかしながら、これは強い色彩エッジには当てはまらない。すなわち、これらは１つの色平面に現れるエッジであり、他の色平面に存在せず、また非常に異なるかまたは反転したコントラストも有していない。
【００４２】
　概して、オリジナル高周波情報（フルカラー）を色変換後の高周波データとして使用することで十分であるが、この手法は、まれな環境において可視的なアーティファクトをもたらす。すなわち、これらのアーティファクトは、高色彩エッジ（それら自体まれ）に近接して、および色変換が厳密である場合にのみ発生する。かかる厳密な補正は、センサのスペクトル密度関数（スペクトル密度関数は、センサの赤、緑および青素子のスペクトル応答を表現するために使用される）が広く、使用される色変換行列の多くの要素が色補正を実行する結果をもたらす場合に必要である可能性がある。
【００４３】
　これらの色のアーティファクトは、オリジナルの高周波成分がもはや色補正された画像の高周波成分を表現しないという事実からもたらされる。不正確な高周波情報を加算する影響は、エッジに沿って、結合された色情報が真の値を超えるかまたは真の値に届かない領域をもたらす、というものである。
【００４４】
　この色彩エッジアーティファクトが最終画像に現れないようにする一手法は、高周波画像を色補正された低周波画像と再結合する前に、色補正ステップを高周波画像の処理に追加する、というものである。含まれる動作のすべてが線形の性質を有するため、色補正された高周波画像を色補正された低周波画像に加算することにより、真の色補正された画像がもたらされる。当然ながら、かかる画像もまた、高周波において色補正行列によって増幅され混合されたノイズを有することになり、実際には、かかる手法は、最初に、画像を高周波画像と低周波画像とに分割する利益を除去するように見える（単純に画像全体を色補正すればよい、ということになる）。しかしながら、実際には、色補正は色彩エッジに近接した場所でのみ必要であるため、これらの利点は十分に保持される。これについては、図４を参照してより詳細に論考する。
【００４５】
　図４は、合成高周波画像１０７の構築による高周波色補正ステップの追加を示す。この合成高周波画像１０７は、色彩エッジに近接する色補正された高周波画像データ１０６とほかの場所の高周波画像１０３からの未補正データとを含む（図１と図４の両方に現れる参照番号は、すべて各図において同様に使用されている）。そして、この合成高周波画像１０７を、画素毎に色補正された低周波画像１０４に加算することにより、最終画像１０５を生成する。この手法は、ノイズの影響がそれほど可視とならない場合に、エッジに近接する領域に対し色補正（および故にノイズの混合および増幅）を制限するという効果を有する。上述したように、色彩エッジから離れたノイズは増幅されない。
【００４６】
　先に示したように、色彩エッジに近接して色補正された高周波画像１０６を使用することのみが必要である。これらの目的のために、色彩エッジを、特定の可視性しきい値を超過する、色補正された画像と未補正の高周波画像との間の差として定義することができる。
【００４７】
　かかる可視性しきい値を定義し合成高周波画像１０７を生成する一手法を、以下図５を参照して論考する。第１のステップは、高周波画像１０３において顕著なエッジを検出することである。これを行うためにあり得る方法は複数あるが、計算的に単純で有効な手法は、ブロック平均５０１を使用するというものである。ブロック平均を行うために、低周波画像１０２の生成に関して上述したものと全く同じ手法をとることができる（ここでもまた、７×７画素格子の近傍が適当である）。しかしながら、ここでエッジを検出する際、高周波画像１０３の平均化画素値を見ることにより、それらがエッジの局所性を示すか否かを判断する。すなわち、高い値は、エッジの存在を示す可能性が高く、ランダムノイズは概して平滑化される。ノイズは通常分散されると想定することが妥当であるため、ブロック平均された画素値のノイズの予測された標準偏差（未加工の画像の測定されたノイズの１／ｓｑｒｔ（Ｎ）、ここでＮは平均を計算するために使用する画素数である（この場合、Ｎ＝４９であるため、ブロック平均画像におけるノイズの標準偏差は１／７になる））を使用して、ノイズによって高い値がもたらされるか否かの可能性を確定することができ、標準偏差の２倍の差は偶然に時間の５％で発生し、標準偏差の３倍の差は偶然に時間の１％未満で発生する。統計的に有意なエッジが存在することを判断するために、いずれの基準（または比較可能な基準）を使用することも可能である。
【００４８】
　このように、ブロック平均高周波画像５０１を使用することにより、先の段落で示したように確定したしきい値より上にある画素を確定する（ステップ５０２）ことによって、統計的に有意なエッジを特定することができる。そして、統計的に有意なエッジに近接する画像領域を評価することにより、それらがまた色のアーティファクトをもたらす色彩エッジであるか否かを判断することができる。次のステップは、高周波色補正画像１０６を生成するということである。これの計算上の負担は、想像し得るほど大きくはない。それは、この画像を、エッジ確定ステップ５０２において特定された統計的に有意なエッジにおけるかまたはそれに近接する画素に対してのみ生成すればよいためである。
【００４９】
　ここで、各画素に対して色補正された高周波画像１０６（高周波色補正画像）と未補正の高周波画像１０３との可視の差があるか否かを検出することにより、色のアーティファクトを検出することができる。２つの間に視覚的な差がある場合、色補正された高周波画像１０６からの画素値を使用しなければならない。アーティファクトを除去するために必要である場合にのみ色補正された高周波画像１０６を使用する（単にすべての統計的に有意な画像に対して色補正された高周波画像１０６を使用するのではなく）理由は、色補正された高周波画像１０６が、未補正の高周波画像１０３が含まないノイズを含む、ということである。
【００５０】
　可視性しきい値に使用される実際の値は、それ自体、各色平面に対して全体の輝度レベルによって決まり得る。色変換は、通常線形センサデータに適用されるが、表示およびファイル変換の目的のために、データに対し、一般的な画像表示と人間の視覚系との特性により一致する非線形変換が施される。色補正されたローパス画像データを使用して、色補正に後続する処理段階において（そのため本論考外）データに適用し得る後続する非線形変換を考慮するように、各色平面に対し局所的な目に見えて顕著なしきい値を確定することが可能である。
【００５１】
　このように、しきい値処理ステップ５０２から、潜在的な色のアーティファクト位置が取得される。これらの位置の画素は、目に見えて顕著な色彩エッジがあることをチェックすることによって評価されるものであり、かかる色彩エッジがある場合、色補正された画素が使用される（ステップ５０３）。ステップ５０３の後の出力は、行列が目に見えて顕著な色彩エッジの存在を示すか否かによる、未補正の高周波画像１０３と高周波色補正画像１０６との間の画素毎の選択である。
【００５２】
　通常のシーンでは、画像位置の非常にわずかな割合のみが高色彩エッジに対応することになる。すなわち、これらを効率的に特定することができるとすれば、色補正の従来の形態に対して時間および計算コストもまた節約することができる。
【００５３】
　色彩エッジに近接する画素を特定する他の多くの同様の方式が可能である。たとえば、色補正された画像とオリジナルのハイパス画像との差から画像を構成することができ、その画像内に顕著なエッジ領域を見つけることができる。これは、エッジを有効に見つけるが、すべての画素に対して色補正された高周波画像を生成する著しい計算コストがかかる。
【００５４】
　通常、画像位置のわずかな割合のみがハイパス色補正を必要とする。このプロセスがノイズを増幅し混入させるため、ノイズの影響を低減するためにこれらの領域をさらに処理することが有利となる場合がある。ここでは比較的少数の画像位置を扱っているため、方法を画像全体に適用した場合より、ノイズ低減のより計算集約的な方法を使用することが可能であり、それでもなお計算上の予算内に収まることが可能である。かかる手法の１つは、バイラテラル（Bilateral）フィルタを使用するというものであってよい（C. TomasiおよびR. Manduchi著「Bilateral Filtering for Gray and Color Images（グレーおよびカラー画像のためのバイラテラルフィルタリング）」、Proceedings of the 1998 IEEE International Conference on Computer Vision、Bombay、India（インド、ボンベイ、計算機視覚に関する1998年IEEE国際会議内容））。従来の空間フィルタは、名前が示唆する通り、検討中の画素に関する隣接する画素の空間位置の関数として、フィルタに対する寄与（contribution）を重み付けするのみであるが、バイラテラルフィルタはまた、同様に画素の関数によっても寄与を重み付けする。したがって、バイラテラルフィルタを使用することにより、エッジにわたる画素からもたらされる寄与を、エッジの同じ側の画素からのものよりはるかに小さいように選択することができる。このように、エッジの構造および位置を維持しながらノイズを除去することができる。
【００５５】
　顕著なエッジへの近接と目に見えて顕著な色の差の存在とに対しハードなしきい値を有することにより、色補正が行われた領域周辺で可視の輪郭が生成される可能性がある。合成画像におけるハイパスデータの色補正されたバージョンの使用と未補正のバージョンの使用との間の穏やかな遷移を使用することにより、かかる輪郭を防止することができる。これを、エッジデータの重要性と適当なマスクの使用による色の差との両方に依存してあらゆるデータを混合することにより達成することができる。
【００５６】
　色補正に対し低周波画像を生成するためにサブサンプリングを使用する場合、高周波画像に関連して、さらに考慮すべき事項がもたらされる。高周波画像がそれ自体サブサンプリングされたデータに基づく場合、かかるサブサンプリングを実行する時により正確な結果がもたらされる。ステップ全体が以下のように変更される。すなわち、平滑化されサブサンプリングされた画像が取得され、これがアップサンプリングされることにより完全に埋められた平滑化画像が取得され、その後、この完全に埋められた平滑化画像がlow_passとして使用されることによりhigh_passが生成され、その後それが同じ平滑化データの色補正されアップサンプリングされたバージョンに加算されることにより、最終画像が形成される。
【００５７】
複数周波画像
　上述した汎用的な方法は、未加工の画像を高周波画像と低周波画像とに分割することと、２つの画像を別々に色変換または補正することとを教示する。この方法は、各々が異なる周波成分を表す３つ以上の画像の使用に容易に拡張することができる。
【００５８】
　これを行うために１つの効果的な方法は、第１の平滑化ステップ（上記汎用方法においてローパス画像を生成するために使用したものと同等）を使用した後に中間の中間ぼかし（mid-blur）画像を生成し、その後さらなる平滑化ステップを実行してより完全ぼかし（full-blur）画像を生成する。オリジナルの未加工の画像と中間ぼかし画像との差により、高周波画像が得られ、中間ぼかし画像と完全ぼかし画像との差は、中間周波数を与え、完全ぼかし画像自体は低周波数を与える。明らかに、この手続きをさらに拡張することによって、さらに多くの周波数帯域を得ることができる。
【００５９】
　そして、これらの異なる周波数成分の各々に対し、それらの周波数の異なる要求にしたがって、別々の色変換または補正を実行することができる。たとえば、最低周波数の完全な色補正と、中間周波数のより選択的な色補正と、最高周波画像の例外的な色補正（目に見えて顕著な色彩エッジにおいて）とによって、優れた結果に達する場合がある。ノイズ特性もまた異なる周波数において異なり、そのため、ノイズに対してもこれらの異なる周波画像を異なるように補正することが可能である。
【００６０】
　ここで、様々な画像処理環境におけるこの手法全体の使用の実施例を下に論考する。
【実施例１】
【００６１】
実施例１−消費者向けデジタルカメラにおけるデモザイク処理
　図６は、コンシューマ画像形成装置、ここではハンドヘルドデジタルカメラ１の一実施例を示す。かかるカメラは、画像形成素子または画素４の２次元の規則的なアレイを有するカラー画像センサ２を有する。一般的な消費者向けセンサアレイは、２５００画素幅と１６００画素高さとの矩形アレイに配置された、４メガ画素までの解像度を有する場合がある。
【００６２】
　画像形成素子は、広スペクトルの色にわたる光を感知し、そのためセンサアレイ２の上に、モザイク状パターンのカラーフィルタ６が重なる。通常、３つのかかる色、すなわち赤（Ｒ）、緑（Ｇ）および青（Ｂ）のみがあり、（ＲＧＢ）すなわち色は通常、センサアレイ２にわたって繰返しパターンでインタリーブされる。このため、アレイ素子４は、フィルタ６の各色の下、対応するフィルタ６の各々によってわたされる波長の光のみを感知する。
【００６３】
　多くのフィルタパターンが存在するが、最も一般的なのはベイヤー（Bayer）フィルタパターンである。これは、下に示すような矩形格子パターンで配置されたカラーフィルタを有する画素からなる。
【００６４】
　ＧＲＧＲ．．．ＧＲＧＲ
　ＢＧＢＧ．．．ＢＧＢＧ
　ＧＲＧＲ．．．ＧＲＧＲ
　．．．．．．．．．．．
　ＢＧＢＧ．．．ＢＧＢＧ
　ＧＲＧＲ．．．ＧＲＧＲ
　ＢＧＢＧ．．．ＢＧＢＧ
ここで、Ｒ、ＧおよびＢは、それぞれ赤、緑および青色フィルタを表す。ベイヤーパターンの場合、センサアレイにおいて緑画素が優位であり、これらはフルセンサ解像度の半分に寄与し、赤および青画素は各々解像度の１／４に寄与する。
【００６５】
　図７は、デジタルカメラ１によって画像形成される記号「・ＵＰ」からなるオリジナルの白黒テキスト１０の一実施例を示す。テキスト１０は、デスクトップ文書画像形成アプリケーションにおいて画像形成されるより大きい文書（図示せず）の一部である。図８は、テキスト１０が、水平方向に３５画素および垂直方向に２９画素からなるセンサアレイ２のわずかな部分においてＲＧＢモザイク１２としていかに画像形成されるかを示す。
【００６６】
　ベイヤーパターンは、図９において最も明確に見ることができ、図９は、３つの色値、赤１６、緑１７および青１９に対して、緑画素１４が赤画素１３または青画素１５の２倍あることを示している。オリジナルテキスト１０は、異なる輝度レベルの画素１３、１４、１５として目に見える。
【００６７】
　図１０は、色補正されデモザイクされたフルカラー画像２０をもたらすために、画像モザイク１２がいかに処理されるかを概略的に示す。まず、各色値１６、１７、１８に対し、平滑化画像３３、３４、３５が形成される。そして、３つの色値１６、１７、１８の各々に対し、その特定の色値１６、１７、１８に対する各個々の画素１３、１４、１５の輝度レベルと同じ色値の平滑化画像の対応する点との差がとられる２６、２７、２８。この場合、高周波画像は無色であるものとして処理される。この差２６、２７、２８を使用して高周波画像が生成され、これは、他の２つの色値に対する同様の差と結合した場合に、オリジナルＲＧＢ画像モザイク１２においてすべての画素位置にわたって延在する合成高周波画像３０をもたらす。
【００６８】
　したがって、結果としての合成画像３０は、オリジナルＲＧＢ画像１２の単調な高周波バージョンである。最も都合のよいことには、高周波画像３０は、オリジナルＲＧＢモザイク画像１２における画素１３、１４、１５の対応するセットの位置に一致する合成画像３０の位置における高周波画像画素４３、４４、４５の３つのセットからなる。図５において分かるように、これらの画素４３、４４、４５は異なる輝度値を有する。
【００６９】
　平滑化されたモノクロ画像３３、３４、３５の各々は、上述したようなローパスフィルタリングと結合した２次元補間によって形成される。この場合、各色平面において各画素位置に低周波画像を完全に埋めるために、補間ステップまたは同様のステップが必要である。なお、低周波画像に対する処理ステップの所望の最終結果（フル解像度の完全に埋められ色補正されたローパス画像）を達成するために、使用することができる多くの既知の方法があり、補間を、平滑化の前に、平滑化の後に、または有効にたがいに結合した後に行うことができる。本実施例では、平滑化画像３３、３４、３５を、前処理ステップとして双一次補間を使用することにより３つの色値１６、１７、１８の各々に対し個々に形成する。そして、３つの平滑化画像３３、３４、３５はすべて、ＲＧＢモザイクパターン１２のすべての要素と一致する位置にわたって延在する。
【００７０】
　そして、色値１６、１７、１８に対する低空間周波画像画素３３、３４、３５の３つのセットのうちの１つまたは複数を、上述したように３つまでの対応する色補正された低空間周波画像画素５３、５４、５５を生成するために処理する。図５は、オリジナルの平滑化画像画素３３、３４、３５の３つのセットすべてを処理して色補正を行う、一般的な場合を示す。
【００７１】
　色補正後、以下のように画像をデモザイクすることができる。各高周波画素４３、４４，４５に対し、無色の高周波輝度値を、３つの色補正平滑化画像５３、５４、５５の各々の対応する部分に加算し５０、その結果、デモザイクされたフルカラー画像２０がもたらされる。色値１６、１７、１８のうちの１つまたは２つが色補正を必要としない場合、計算におけるその未補正色値に対するこの段階では、画像画素３３、３４、３５のオリジナルの未補正の平滑化されたセットが、対応する高周波画素４３、４４、４５と結合される。
【００７２】
　この方法は、比較的容易に電子ハードウェアにおいて計算することができ、それでもなお色補正画像に対し優れた復元画像品質を与える、という利点を有する。
【００７３】
　平滑化の前にフル解像度に対して個々の色平面を補間し、結果として色補正のために平滑化バージョンをサンプリングするだけであるのではなく、モザイクパターンを空間的にフィルタリングすることにより低空間解像度画像を生成するモザイク画素位置の数を低減することにより、さらにまた必要な計算を低減することが可能である。先に示唆したように、これにより、平滑化画像の空間周波数が他の方法による場合より低くなる（平滑化の程度自体が空間周波数の変化に適応するように低減されない限り）が、上述したように高周波数を加算することにより画像の詳細が再導入されるという理由で、情報の内容にそれほど決定的な損失がない。好ましくは、平滑化画像を、たとえば図９において緑画素１４と赤画素１３とをともに有する列５４（または代替的に行）における緑画素として示す、緑画素１４のサブセットに対してのみ計算する。ベイヤーパターンでは、これは、平滑化に必要な計算が１／４でよく、画像品質はほぼ一定のままである。
【００７４】
　赤および青画素、すなわちそれぞれ１３および１５に対し、これによって、初期補間段階が回避され、生の赤および青画素のみから形成される画像に対する平滑化が行われる。
【００７５】
　したがって、色値１６、１７、１８の各々に対し、その色値に対する画像モザイク画素１６、１７、１８の輝度値とその同じ色値１６、１７、１８に対する平滑化されたモノクロ画像３３、３４、３５の対応する部分との差２６、２７、２８から、高空間周波画像４４、４５、４６の各々が形成される。
【００７６】
　言い換えれば、各モザイク画素の高周波成分が、モザイク値を同じ色値の画像の平滑化バージョンの対応する位置から減算することによって与えられる。
【００７７】
　色補正計算において、低周波画像の交互の画素行および列に対し色補正が計算される場合、速度と品質との優れた妥協が達成され、その結果が他の近くの画素に補間される。
【００７８】
　そして、色値１６、１７、１８の各々に対し、高空間周波画像３０の各々を、その色値の色補正された平滑化モノクロ画像５３、５４、５５の対応する部分と合計することにより、色補正されデモザイクされたフルカラー画像２０が形成される。
【００７９】
　上述したプロセスを、図１１にブロック概略形態で示し図１２のフローチャートに示すハードウェアで、容易に実施することができる。
【００８０】
　シャッタリリース機構８は、ユーザによって起動されると、デジタル信号プロセッサ（ＤＳＰ）を含むマイクロプロセッサユニット７２に信号７１を送信する。そして、マイクロプロセッサは、開始信号７３をタイミング発生器７４に送信し、それによってタイミング発生器は、トリガ信号を電子画像センサユニット７６に送信する。
【００８１】
　センサ７６は、検出素子（通常、フォトゲートかまたは代替的にフォトダイオード構成からなる）のアレイから構成される画像形成領域７７と、増幅器８０を介してアナログ信号７９が生成されるシリアルリードアウトレジスタ７８とから構成される。この信号７９は、センサユニット７６によるトリガ信号７５の受信時に生成される。
【００８２】
　増幅されたアナログ信号７９は、Ａ／Ｄユニット８２によってデジタル信号８１に変換される。結果としての生デジタル画像データは、揮発性メモリ８４に一時的に格納される。
【００８３】
　そして、本発明による画像処理を、マイクロプロセッサユニット７２によって実行することができる。マイクロプロセッサは、特定の機能を実行するハードウェアの専用のブロックの形態での追加のＤＳＰ機能か、または追加のより汎用的なＤＳＰコプロセッサを含むことができる。
【００８４】
　処理自体を、図７のフローチャートで概説したステップにしたがって実行してよい。これらには、センサのＯＥＣＦ（光電変換関数（opto-electronic conversion function））の補正と照度の変動を補償するためのホワイトバランス処理とが含まれる。上述した色補正およびデモザイク処理段階９４に続き、後続する後処理段階９６には、露出補正（前処理段階で達成することも可能である）とｓＲＧＢ（IEC 61966-2-1に述べられているような）等の標準色空間への変換とが含まれてよい。最後に、復元されたＲＧＢ画像データを、ユビキタスＪＰＥＧ方式等の標準画像圧縮方式を使用して、圧縮し（９８）、長期メモリ８８に格納することができる。
【００８５】
　さらに、設計に表示装置９０を組み込んでよい。画像を、ビューファインディング（view-finding）を容易にするためにライブで表示するか、または追加の復元処理段階１００を必要として長期メモリからレビューすることができる。
【００８６】
　本発明の好ましい実施形態を画像画素のベイヤーパターンに関して説明したが、本発明は、すべての行および／または列が少なくとも２つの色の画像画素を含むとは限らない場合に適用可能である。たとえば、モザイクによっては、赤／青の行または列でインタリーブされた純粋な緑の行および列を有する。本発明は、かかる画像モザイクに等しく適用可能である。
【実施例２】
【００８７】
実施例２−ＲＧＢ補正
　また、本発明を、オリジナルカラー画像の各位置が複数の色値のオーバラップしているか、または一致した画素を有している場合にも適用することができる。かかる画像を、３つのＣＣＤセンサを有する画像形成システムにより、フラットベッドカラースキャナにより、もしくはカラー画像が別々の登録されたＲＧＢ画像のセットから形成される他の画像形成システムによって、生成することができる。かかる画像形成システムのＲＧＢ空間は、通常人間が見るために適当なＲＧＢ空間への変更が必要となるため、概して色補正が必要となる。
【００８８】
　このタイプの例示的なデジタルカメラシステムの基本要素（および画像形成に関連する汎用処理ステップ）は、本質的に図１１および図１２に示すようなものであってよい。違いは、センサ７６が、フィルタモザイクで覆われた画像形成領域７７を備えた電荷結合素子ではなく、たとえば米国特許第５９６５８７５号に述べられている、各画素位置に、各チャネルに対する別々のフォトダイオードが設けられているタイプのセンサである（この汎用タイプのＣＭＯＳセンサは、2820 San Tomas Expressway、Santa Clara、CA 95051のFoveon社から入手可能なＦ７である）、ということである。
【００８９】
　実施例１とは対照的に、この構成における処理は、上述した一般的場合に従うことができ、各色平面において各画素位置に未加工の画像が完全に埋められるため、補間ステップ（またはモザイク要求に対処するための他の変更）を扱う必要がない。
【実施例３】
【００９０】
実施例３−色空間変換
　上述したように、本発明の実施形態を、色補正が必要な複数のコンテキストに適用することができる。実施例１および実施例２において上述した場合において、主要な変換ではなく低位の補正（通常、１つのＲＧＢ空間から別のＲＧＢ空間へ）が必要である。実施例１および２におけるかかる色補正メカニズムを使用する目的は、人間の視覚系を満足させるようにあらゆる物理入力装置のＲＧＢ空間と出力装置のＲＧＢ空間との間でマッピングすることである。
【００９１】
　時に、ＲＧＢでない色空間に変換することが都合よいかまたは望ましい。本発明の態様を、ノイズ低減の利益を達成するためにかかる変換に対し使用してよい。これを適用してよい１つの環境は、画像を印刷するために異なる色空間「ＣＭＹＫ」にマッピングすることである。
【００９２】
　ＲＧＢでない色空間への色空間変換は、最も有効には、この発明の方法を使用して装置ＲＧＢ色空間から選択された知覚ＲＧＢ空間（ｓＲＧＢ等）に、および標準３×３マトリクス変換を使用してそこから非ＲＧＢ色空間にマッピングすることにより、２つの段階で達成することができる。
【００９３】
　たとえば、ｓＲＧＢ規格にしたがう線形データのＹＣｒＣｂへの変換は、以下のように与えられる。
【００９４】
　Ｙ　＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
　Ｃｒ＝０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ
　Ｃｂ＝−０．２９９Ｒ−０．５８７Ｇ＋０．８８６
　この変換は、色信号をその輝度（Ｙ）および色差（ＣｒおよびＣｂ）とに分離し、通常、画像圧縮（たとえば、ＪＰＥＧにおいて、ただしその場合、特に一般的な表示装置のガンマを考慮するように非線形マッピングの後に適用される）に使用される。
【００９５】
　生の装置のＲＧＢからｓＲＧＢへの変換を、計算効率のためにＹＣｒＣｂのような色空間への変換と結合することが都合のよい場合がある。たとえば、装置ＲＧＢからｓＲＧＢへの本変換は、以下の形態である。
【００９６】
　Ｒ＝１．９８７Ｒ’−０．８６３Ｇ’−０．１２４Ｂ’
　Ｇ＝−２．６１４Ｒ’＋５．８６２Ｇ’−２．２４８Ｂ’
　Ｂ＝０．９７７Ｒ’−４．５６０Ｇ’＋４．５８３Ｂ’
　これは、装置ＲＧＢからＹＣｒＣｂへの全変換を与える。
【００９７】
　Ｙ　＝−０．８２９Ｒ’＋２．６６３Ｇ’−０．８３４Ｂ’
　Ｃｒ＝２．８１６Ｒ’−３．５２６Ｇ’−０．７１０Ｂ’
　Ｃｂ＝１．８０６Ｒ’−７．２２３Ｇ’−５．４１７Ｂ’
　ＹＣｒＣｂはオリジナルＲＧＢから非常に離れているため、もはや色変換されたローパスバージョンにオリジナルのハイパスデータを加算することは適当ではない。しかしながら、本発明では、ノイズの増幅を上に概説した２段階手法を使用することによって見てきた程度まで低減することができる。これは、ｓＲＧＢ→ＹＣｒＣｂ変換を、完全に変換された（ＲＧＢ→ＹＣｒＣｂ）ローパス画像に加算する前にハイパスデータに適用することによって達成される。
【００９８】
　したがって、本発明は、各色平面において有効なフル解像度を有する、色補正と高品質画像の復元とに対し画像ノイズへの感度が低減した効率的な方法を提供する。
【図面の簡単な説明】
【００９９】
【図１】色補正プロセスの基本ステップを概略的に示す図。
【図２】図１に示す色補正プロセスの基本ステップを表す画像を示す図。
【図３】本発明のあらゆる実施形態において有用な画素データのブロック平均のための手法を示す図。
【図４】図１に示す色補正プロセスの基本ステップに対する変更であって、本発明の一態様による変更形態を概略的に示す図。
【図５】図４の変更形態を実施するための好ましい手法を概略的に示す図。
【図６】赤、緑および青（ＲＧＢ）画像形成素子を有するカラーセンサアレイを含む、従来の電子カメラの内部構成要素のいくつかを概略的に示す図。
【図７】図６におけるもの等のカラーセンサアレイによって画像形成されるオリジナルの白黒テキストの例を示す図。
【図８】ＲＧＢモザイク画像として取り込まれた場合のテキストを示す図。
【図９】図８の画像モザイクにおける赤、緑および青の画素の配置を示す図。
【図１０】各色値に対して１つ、色補正された中間の平滑化された画像をもたらすための方法において、赤、緑および青の画素がいかに処理されるかと、その後これらの補正された画像をいかに使用してデモザイクされ色補正されたフルカラー画像を生成するかとを概略的に示す図。
【図１１】画像モザイクをデモザイクすることによりフルカラー画像を形成する装置であって、プロセッサ、ソフトウェア、およびメモリを備えた装置の回路概略図。
【図１２】画像モザイクをデモザイクすることによりフルカラー画像をもたらす好ましい手法を示すフローチャート。
【図１】
2004074793.tif 000003
【図２】
2004074793.tif 000004
【図３】
2004074793.tif 000005
【図４】
2004074793.tif 000006
【図５】
2004074793.tif 000007
【図６】
2004074793.tif 000008
【図７】
2004074793.tif 000009
【図８】
2004074793.tif 000010
【図９】
2004074793.tif 000011
【図１０】
2004074793.tif 000012
【図１１】
2004074793.tif 000013
【図１２】
2004074793.tif 000014