(57)【要約】【課題】  色誤差が少ない均衡化されたデジタルカラー画像を作り出すための改善された方法の提供。【解決手段】  キャプチャ光源下でキャプチャされた入力色空間における入力デジタルカラー画像（１００）の色均衡を補正する方法を提供する。本方法は、入力デジタルカラー画像を均衡化色空間に変換するステップ（１０５）および均衡化色空間において入力デジタルカラー画像の色均衡を補正し、デジタルカラー画像が参照条件下でキャプチャされる場合に作り出される目標色に関連して最小の色誤差を有する均衡化デジタルカラー画像を作るステップ（１１５）を有する。均衡化色空間は３つの色空間原色に対応する３つのカラーチャンネルを有し、色空間原色はデジタルカラー画像が参照条件下でキャプチャされる場合に作り出される目標色に関連して１または複数のキャプチャ光源のセットに対する色均衡の補正を行う際に最小の色誤差が作られるように選択される。【選択図】図３
2004312748.tif 000002
【特許請求の範囲】
【請求項１】
キャプチャ光源下でキャプチャされた、入力色空間における入力デジタルカラー画像の色均衡を補正して均衡化されたデジタルカラー画像を作成する方法であって、
ａ）前記入力デジタルカラー画像を均衡化色空間に変換するステップであって、ここで、前記均衡化色空間が３つの色空間原色に対応した３つのカラーチャンネルを有し、前記色空間原色が、前記デジタルカラー画像が参照条件下でキャプチャされる場合に作り出されるであろう目標色に関連した、１または複数のキャプチャ光源のセットに対する前記色均衡の補正を行う際に、最小の色誤差が作られるように選択される、ステップ、および、
ｂ）前記均衡化色空間において前記入力デジタルカラー画像の前記色均衡を補正し、前記デジタルカラー画像が参照条件下でキャプチャされる場合に作り出されるであろう目標色に関連して、最小の色誤差を有する均衡化デジタルカラー画像を作るステップ、を有する方法。
【請求項２】
前記キャプチャ光源のセットが、一般的に写真のシーンにおいて遭遇するであろう光源のセットである、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記キャプチャ光源のセットが、１つまたは複数の、様々な色温度の昼光光源を有する、ことを特徴とする請求項１に記載の方法。
【請求項４】
前記キャプチャ光源のセットが、１つまたは複数の、様々な色温度のタングステン光源を有する、ことを特徴とする請求項１に記載の方法。
【請求項５】
前記キャプチャ光源のセットが、１つまたは複数の、様々な色温度の黒体光源を有する、ことを特徴とする請求項１に記載の方法。
【請求項６】
前記キャプチャ光源のセットが、１つまたは複数の、様々な色温度の蛍光光源を有する、ことを特徴とする請求項１に記載の方法。
【請求項７】
前記キャプチャ光源のセットが、１つまたは複数の電子的フラッシュ光源を有する、ことを特徴とする請求項１に記載の方法。
【請求項８】
前記キャプチャ光源が、１つまたは複数の、水中照明に対応した光源を有し、前記光源のスペクトルが水の分光透過率によって修正されている、ことを特徴とする請求項１に記載の方法。
【請求項９】
最小の色誤差を作る前記色空間原色は費用関数を最小化することにより決定される、ことを特徴とする請求項１に記載の方法。
【請求項１０】
前記費用関数が、前記キャプチャ光源のセットによってキャプチャされたテストカラーパッチのセットに対する平均色誤差である、ことを特徴とする請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル画像処理分野に関する。具体的には、本発明は異なるキャプチャ光源の下でキャプチャされたデジタル画像に対する色均衡化（カラーバランス）補正の適用に関連する技術分野に関する。
【背景技術】
【０００２】
デジタル画像化システムは、スチル写真術分野および動的画像化分野の両分野において急速に一般化しつつある。その証拠に、写真フィルムデジタル化サービスのみならず、デジタルカメラおよびビデオレコーダが急増している。
【０００３】
カラーデジタル画像化デバイスは一般に、カラーセンサのアレイを用いて画像情報をキャプチャしている。そのセンサには、一般に、およそ、可視スペクトルの赤、緑、および、青の部分に対応したスペクトル感度が備わっている。代替的に、シアン、マゼンタ、および、黄、または、シアン、マゼンタ、黄、および、緑、といった異なるスペクトル感度を備えたセンサが用いられる。一般に、カラーセンサによってキャプチャされた露光指数は整数化され、量子化色値（コード値）が形成され、そして、後の処理のためにメモリに蓄えられる。一般に後の処理には、シャープニング、および／もしくは、ノイズ除去といった多様な空間的処理のステップ、ならびに、カラー補正、が含まれる。
【０００４】
写真フィルムおよびソリッドステートセンサの両方を含んだ、画像のキャプチャに用いられるセンサは、環境照明に対する適応能力の欠如という点で、人間の視覚系とは根本的に相違する。人間の視覚系は、シーンの照明の輝度および色彩の構成（クロマチックコンテント(chromatic content)）の両方に適応するが、画像キャプチャシステムでは、そのような適応化を模倣するために数多くの補償機構を必要とする。これらの補償機構は、概して２つのクラスに分けられる。―――それらは、露光前機構および露光後機構である。露光前補正機構は、画像センサがキャプチャする光を変化させる、「光の変更」と捉えることが可能であり、その一方で、露光後補正機構は、画像センサがキャプチャした信号を修正するために用いる、「信号の変更」と捉えることができる。平均的照明レベルに対するある程度の露光前の補償は、露光制御―――殆どのカメラで使用できる、絞りとシャッタースピード―――を用いることで実施される。これらの制御によってセンサに与えられる露光の調整の基本レベルが規定される。だが、これらの制御が、どのような瞬間においても完璧にバランスのとれた写真を撮影するのに十分な信頼性を有することは殆ど無い。さらには、カメラの露光制御には、環境照明の色度の変動を補償する機構は無い。光源の色度の補正を試みる露光前機構は、カラー補正フィルタの使用のみである。また、そのような補正は一般的には、おおよそのものでしかない。なぜなら、カラー補正フィルタは特定の離散的な光源のパワースペクトルの分布のために設計されているからである。
【０００５】
従来、露光前補償機構がうまく働くかは、写真家の技能と知識に委ねられていた。しかし、現代の自動露光測定システムは、初心者による操作であってもかなり良好な結果を得ることができる。露光前補償機構は光源の変動性に関する課題に対し、部分的な解決法を与えるに過ぎない。だから、殆どの画像は、キャプチャ後の機構を用いてシーンの光源の変動性に対しさらに補償する必要がある。そのような補償を実施するため、数多くの技術が存在する。これまで、ハロゲン化銀ネガ写真の領域においては、露光後の光源の補償を、引き伸ばし機もしくは焼付け機のランプハウスの濾光の調整、または、焼付け露光の制御で実施してきた。そういった調整の程度は、試行錯誤、または、ネガの透過率に関する統計的測定量に基づくアルゴリズムでの補正、により決定可能である。一部の例では、デジタルカメラのホワイトバランス設定を選択することによりホワイトバランスゲイン補正を特定する例のように、「露光後補正」を露光が行われる前に特定している。だが、このような補正を「露光前補正」と混同すべきではない。なぜなら、これらの補正は画像をキャプチャした後で適用されているからである。
【０００６】
デジタル画像化は、露光後の光源の補償に対する数多くのさらなる可能性を切り開いた。一般にそのような補償は、数学的な変換をデジタル画像データに適用することで実施される。例えば、デジタルカメラにおいてホワイトバランスの調整が可能であり、また、カラーネガからスキャンした濃度はデジタル写真仕上げシステムにおいて調整可能である。これらの変換は一般に、シーンの色の数値的なエンコーディングに適用される。数多くのこのようなエンコーディング―――デバイス依存性およびデバイス非依存性の両方―――は、色を表現する上で有用である。
【０００７】
デジタル画像化アプリケーションにおける均衡化変換の意図は通常、人間の視覚系における適応機構に整合された方法で画像を修正することである。一般に、シンプルな変換は、線形色符号化(linear color encoding)における乗算スケールファクタ（ゲイン調整）、または、対数色符号化(logarithmic color encoding)における付加的シフトを含んでいる。これらは、シーンにおける特定の視覚的に中立的な参照を、色符号化における目標座標の集合にマッピングすることに用いられる。参照中立をマッピングすることに用いられる変換と同じ変換を、画像における他の全ての色にも適用する。
【０００８】
殆どのシーンには均衡化操作に用いることができる参照中立パッチ(reference neutral patch)が含まれていないので、中立参照は通常、シーンの内容を分析して推定する。このようなシーンの分析を実施して必要な補正を推定するアルゴリズムは、時には「シーンバランスアルゴリズム」と呼ばれる。（例えば、非特許文献１「オートマチック・カラー・プリンティング・テクニック」；アグファ−ゲバルト・アーゲー(AGFA-Gevaert A.G.)に譲渡された米国特許第４，１０１，２１７号（特許文献１）；富士写真フィルム株式会社(Fuji Photo Film Co. Ltd.)に譲渡された米国特許第４，７０７，１１９号（特許文献２）および米国特許第４，９８４，０１３号（特許文献３）；イーストマンコダック社(Eastman Kodak Company)に譲渡された米国特許第４，９４５，４０６号（特許文献４）；グレターク・システムズ(Gretag Systems)に譲渡された米国特許第５，０１６，０４３号（特許文献５）。）シーンバランスアルゴリズムはその複雑性において広範に変化することができ、また、その結果の正確性も大きく変化する。アルゴリズムには、画像における全体的な露光レベルおよび相対色信号レベルの分布を分析して適切な露光レベルおよび必要な色均衡の補償の決定が含まれる。しばしば、これらのアルゴリズムは画像の低解像度バージョンを先ず算出し、そしてその画像を分析する。
【０００９】
均衡化変換が参照中立に対して完璧な均衡をもたらす結果を生み出した場合であっても、その他の色に対して得られた結果が人間の視覚系の適応性とは整合されていないかもしれず、故に誤差として知覚されるかもしれない。これらの誤差の程度は、均衡化補正の大きさ（故に、シーンの光源の関数）および均衡化変換が適用される色符号化の関数である。
【００１０】
例えば、１８，０００Ｋ昼光の下でデジタル画像化システムによりキャプチャされた画像の場合を考察する。これは、直射日光ではなく、ブルースカイライトに照らされた暗がりのシーンと対応している。画像化システムが、５０００Ｋ昼光光源による、よく均衡化された画像を作ることに適化されていれば、アンバランスな、著しいブルーキャストを有する画像となる。周知のｓＲＧＢ色空間の原色を有する線形ＲＧＢ色空間に画像を変換することによって色均衡化補正が適用され、結果のＲＧＢ値を、中立シーンオブジェクトが完璧に補正されるように乗算スケールファクタを用いてスケーリングする場合を考える。色均衡化補正の目的が、公称５０００Ｋ昼光光源を用いてキャプチャされたシーンの画像と同質の画像を作り出すことであれば、色の誤差は、目的とする色と均衡化された画像の色との色の差異を計算することで決定可能である。代表的シーン反射スペクトルに対応するおよそ４００のテストパッチのセットに対するＲＭＳΔＥ＊ａｂ色誤差は、１２．０７であることが見出される。図１は、テストパッチそれぞれに対する色誤差を示すＣＩＥＬＡＢａ＊−ｂ＊プロットである。
【００１１】
上記例において、ｓＲＧＢの原色が、ＡＮＳＩ／Ｉ３Ａ  ＩＴ１０．７４６６「エレクトロニックスチルピクチャイメージング−参照入力媒体測定基準ＲＧＢ色符号化（ＲＩＭＭ−ＲＧＢ）」("Electronic-Still Picture Imaging - Reference input medium metric RGB color encoding(RIMM-RGB)")に記載のＲＩＭＭ  ＲＧＢ色空間に関連する原色によって置き換えられるなら、同じテストパッチに対して計算されたＲＭＳΔＥ＊ａｂ色誤差は９．４０である。図２はテストパッチそれぞれに対する色誤差を示すＣＩＥＬＡＢａ＊−ｂ＊プロットである。ｓＲＧＢの原色に関し、ＲＭＳ色誤差における改善が見られるが、完璧には程遠いものである。
【００１２】
スポウルディング(Spaulding)らは、デジタル画像の分析を行うための標準色空間への変換によってデジタル画像化システムにおいてシーンバランス補正を適用する方法を開示している（同一出願人による米国特許第６，２４３，１３３号（特許文献６）参照。）。この方法は、単一のシーンバランスアルゴリズムを多くの異なるデジタル画像化デバイスに対して各デバイス用にアルゴリズムを再調整する必要なしに、使用可能であるという利点を有する。だが、スポウルディングらの方法によれば、実際の補正のステップは入力色空間におけるデジタル画像に対して適用される。それ故、結果生じる色誤差は、入力色空間内にシーンバランス補正アルゴリズムを直接的に適用することで得られる結果と同じ、固有の特性を有することになる。
【特許文献１】米国特許第４，１０１，２１７号明細書
【特許文献２】米国特許第４，７０７，１１９号明細書
【特許文献３】米国特許第４，９８４，０１３号明細書
【特許文献４】米国特許第４，９４５，４０６号明細書
【特許文献５】米国特許第５，０１６，０４３号明細書
【特許文献６】米国特許第６，２４３，１３３号明細書
【非特許文献１】「オートマチック・カラー・プリンティング・テクニック(Automatic Color Printing Technique)」、イメージ・テクノロジ(Image Technology)、４・５月(April/May)１９６９、ｐ．３９−４３
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の目的は、色誤差が少ない、均衡化されたデジタルカラー画像を作り出すための改善された方法を提供することである。
【課題を解決するための手段】
【００１４】
本目的は、
ａ）入力デジタルカラー画像を均衡化色空間に変換するステップであって、ここで均衡化色空間は３つの色空間原色に対応する３つのカラーチャンネルを有し、色空間原色は、デジタルカラー画像が参照条件下でキャプチャされる場合に作り出される目標色に関して１または複数のキャプチャ光源のセットに対する色均衡化補正を行う際に、最小の色誤差が作り出されるように選択される、ステップ、および、
ｂ）均衡化色空間において入力デジタルカラー画像の色均衡を補正し、デジタルカラー画像が参照条件下でキャプチャされる場合に作り出されるであろう目標色に関して最小の色誤差を有する均衡化デジタルカラー画像を作るステップ、を有する、
キャプチャ光源下でキャプチャされた、入力色空間における入力デジタルカラー画像の色均衡を補正して均衡化されたデジタルカラー画像を作成する方法により達成される。
【発明の効果】
【００１５】
本発明は先行技術と比較して、色均衡化補正操作を適用することによって得られる色誤差を、本目的のために最適化された色空間において色均衡化操作を実行することで最小化可能である、という優位性を有する。本手法を用いることにより、さらに感じがよく、また、実際的な画像を、色均衡化アルゴリズムの複雑性を増大させることなく、得ることができる。
【発明を実施するための最良の形態】
【００１６】
本発明は、従来の技術による色均衡の調整法に付随した色誤差を最小にする方法による画像の色均衡化の方法を示している。図３を参照すれば、本発明の好適な実施形態を示す流れ図が示されている。本方法により、入力色空間の入力デジタルカラー画像１００はキャプチャ光源の下でキャプチャされている。均衡化色空間への変換ステップ１０５を用い、入力色空間にある入力デジタルカラー画像１００に色空間変換を適用して対応する均衡化色空間の入力デジタルカラー画像１１０を決定する。ここで、均衡化色空間は３つの色空間原色に対応する３つのカラーチャンネルを有し、色空間原色は、デジタルカラー画像が参照条件下でキャプチャされた場合に作り出される目標色に関して１または複数のキャプチャ光源のセットに対する色均衡の補正を行う際に、最小の色誤差を作り出すことができるように選択される。次に、デジタル画像の色均衡を補正するステップ１１５を用いて均衡化色空間における均衡化デジタルカラー画像１２０を決定する。最後に、随意的な出力色空間への変換のステップ１２５を用い、色空間変換を適用して対応している出力色空間における均衡化デジタルカラー画像１３０を決定する。
【００１７】
これから、本発明の様々な要素について詳細に説明する。入力色空間における入力デジタルカラー画像１００は多種多様な手段によりキャプチャ可能である。本発明のある好適な実施形態においては、入力色空間における入力デジタルカラー画像１００はデジタルカメラのような、デジタル撮像デバイスを用いてキャプチャされている。本発明の別の好適な実施形態においては、入力色空間における入力デジタルカラー画像１００は写真フィルムを用いてキャプチャされ、後にフィルムスキャナを用いてスキャンされている。その他可能な撮像デバイスには、ビデオカメラ、反射プリントのスキャンに用いられる反射型プリントスキャナが含まれる。本方法は、実際のシーンキャプチャのシミュレーションである、コンピュータの生成した画像に対して適用することもできる。
【００１８】
入力色空間における入力デジタルカラー画像１００は、数多くの入力色空間内にあってよい。本発明のある好適な実施形態においては、入力色空間入力色空間は撮像デバイスのキャプチャ色空間でよい。例えば、それはデジタルカメラのための基本的なセンサのＲＧＢ色空間であってよい。ここで、それぞれのカラーチャンネルは個々のセンサのカラーチャンネルのスペクトル感度と関連している。同様に、入力色空間はフィルムスキャナのための基本的なセンサのＲＧＢ色空間に関連したキャプチャ色空間であっても、または、従来型の写真フィルム材料のスペクトル感度に関連したキャプチャ色空間であってもよい。
【００１９】
代替として、入力色空間はキャプチャされた画像が変換された、何らかの中間的色空間であってもよい。例えば、入力色空間は周知であるｓＲＧＢ色空間のような標準デバイス依存色空間であってよく、または、周知であるＣＩＥ  ＸＹＺもしくはＣＩＥＬＡＢ色空間のようなデバイス非依存色空間であってもよい。そのような場合は、一般に色変換を用いてキャプチャされたデジタル画像の中間的色空間への変換を行っている。ある場合では、この変換はよく定義されかつ厳密であり、またある場合では、色変換は近似的なものでしかない場合もある。例えば、デジタルカメラの場合について考察する。デジタルカメラのセンサがＣＩＥカラーマッチング関数の線形結合であるスペクトル感度を有するならば、キャプチャされたセンサのＲＧＢ色値と、対応するシーンに対するＣＩＥ  ＸＹＺ色値との間に、シンプルかつ厳密な関係性が存在する。一方で、デジタルカメラのセンサがＣＩＥカラーマッチング関数の線形結合によって表し得ないスペクトル感度を有するならば、ＣＩＥ  ＸＹＺへのあらゆる変換は、センサのメタメリズム限界のため、実際のシーンの色値に対する近似しか作り得ない。そのような近似的な色変換を決定するための方法は、当業者であれば周知であり、また一般に、最小二乗法のような、ある種の誤差最小化処理を含んでいる。
【００２０】
本議論では、入力デジタルカラー画像は、ＣＩＥカラーマッチング関数の線形結合であるスペクトル感度を有するデジタルカメラによってキャプチャされることを想定し、また、入力デジタルカラー画像は、適切なマトリックス変換を線形的センサのＲＧＢ色値に適用してＣＩＥ  ＸＹＺ色空間に変換されることを想定している。しかし、本方法はこの条件に依存するものではなく、別種の入力色空間および画像キャプチャデバイスでも同じようにうまく適用され得るものである。
【００２１】
入力デジタル画像は、様々なキャプチャ光源下でキャプチャされる。一般に、ほとんどの撮像デバイスは何らかの参照光源に対して最適化されており、故に、実際のシーンをその参照光源下でキャプチャすれば、実際の色でよく均衡化された画像を作り出す。しかしながら、シーンを異なるキャプチャ光源下でキャプチャすれば、入力デジタル画像はしばしば、色均衡化補正を適用しない限り望ましい画像を作らないことがある。例えば、撮像デバイスが、５０００Ｋ色温度（例えば、ＣＩＥ光源Ｄ５０）の昼光下で好ましい画像を作るように最適化されているような場合を考察する。このデバイスをタングステン光源下での撮像に用いるならば、結果生じる画像は一般に、一切の色均衡化補正を適用しない場合非常に「暖かく」見える。それは、タングステン光源がより多くの赤を含み、青は僅かしか含まないからである。同様に、蛍光光源のような別種の光源でも、色均衡化補正を適用しなければ望ましくない結果が生じる。昼光光源下での撮像であっても、異なる色温度（例えば、１日のうちの異なる時間帯、または、異なる天候条件、等）を有する昼光光源下であれば望ましくない画像が作られる。
【００２２】
人間の視覚系は自動的に鑑賞光源の変化に対して適応するが、写真画像化システムでは色均衡化補正のステップを導入して様々に異なるキャプチャ光源下で望ましい画像を提供できるようにする必要がある。従来のフィルムベースの写真システムにおいては一般に、光学的引き伸ばし機を用いて色均衡の誤差を補償するために濾光を調節することで、写真ネガが焼き付けられるときに色均衡の補正のステップが適用される。例えば、タングステン光源下でキャプチャされた画像の色均衡をシフトさせるために濾光を調整し、画像を青の方向にシフトさせることができる。デジタル画像化システムにおいては、色均衡化補正のステップは、センサ回路に対するアナログゲインを調整するか、または、キャプチャ後のデジタル画像処理操作を用いて、実施される。キャプチャ後のデジタル画像処理操作を用いる場合、これには共通して、デジタル画像の各カラーチャンネルに対して乗算カラーバランス・スケールファクタを適用することが含まれる。（または、対数色符号化が用いられれば、各カラーチャンネルに対してカラーバランス・オフセット値が加算される。）
【００２３】
本発明における、デジタル画像の色均衡の補正ステップ１１５の目標は一般的には、色値を調整し、シーン内の中立的グレーのオブジェクトが、そのデジタル画像を参照条件下でキャプチャする場合にマッピングされる色値と同じ色値へマッピングされるようにすることである。例えば、多くのデジタルカメラは、シーンが参照光源下でキャプチャされた場合には中立オブジェクトが等しいＲＧＢ色値を作り出すように設計されている。しかしながら、シーンを異なる光源下でキャプチャすると、ＲＧＢ色値はもはや等しくはない。殆どの色均衡化補正操作は単に、個々のＲＧＢカラーチャンネルに対して乗算カラーバランス・スケールファクタを適用して中立が再び等しいコード値を有するようにしている。（一般に、これらのカラーバランス・スケールファクタは放射分析的に(radiometrically)線形ＲＧＢ値に対して適用されるが、指数関数型の非線形性を用いて符号化しているＲＧＢ値に対しても適用可能である。）
【００２４】
カラーバランス・スケールファクタは一般に、キャプチャされたシーンを分析するための自動色均衡評価アルゴリズムを用いて評価される。例えば、時には、一般的なシーンの平均はグレーである、といった仮定が用いられる。そのような場合、その画像の平均ＲＧＢ値を計算することにより、適切なカラーバランス・スケールファクタを評価することが可能であり、そして、それらを均等化するために必要なゲイン値が決定される。しかしながら、このようなシンプルなアルゴリズムは騙され易い。そのため、さらに巧みな、適当なカラーバランス・スケールファクタを評価するための方法が開発された。これらアルゴリズムの詳細については本議論の範囲外であるが、そのような方法を本発明の方法で用いることが可能である。
【００２５】
ある場合においては、ユーザが所望の色均衡化補正を特定することができるユーザーインターフェースが提供されている場合、手動的シーンバランス操作を用いることができる。例えば、ユーザーインターフェースは、一連のカラーバランス・スライドバーや、ユーザが画像内の中立オブジェクトをクリック可能にする機構を含むことができる。
【００２６】
ある場合においては、シーンの照明に関する情報が利用可能であり、これを適切な色均衡化補正の決定に用いることができる。例えば、デジタルカメラがフラッシュを使用すれば、この情報を用いて適切なカラーバランス・スケールファクタを決定できる。なぜならば、シーンの照明が既知の分光組成を有するからである。代替的に、シーン照明に関する情報をカメラに備えた色温度センサから決定することが可能であり、また、ユーザが、典型的なシーン照明の一覧から選択して適当なシーン照明のタイプを特定することも可能である。
【００２７】
注記しておくが、色均衡化補正操作は、単にキャプチャ光源の変動性を補償する必要を超えて、色均衡の修正に用いてもよい。例えば、画像化システムは、センサ／フィルムの感度の変動性、フィルム処理の変動性、等といった他の変動の原因を有しており、それらが画像の全体の色均衡に影響を与えることがある。色均衡の補正の操作は、ユーザの特定した色均衡化調整を適用し、特定の個体または個体群に関する優先度(preferences)を満足させることに使用することができる。このような優先度はイメージ単位で特定可能であるか、または、全ての画像に対して適用されるべき総体的カラーバランスバイアスとして特定可能である。
【００２８】
本発明の［背景技術］の欄に記したように、中立的なシーンの要素を完璧に補正する色均衡化補正であってもなお、シーン内の別の色に対して望ましくない歪みを作り出すことがある。例えば、青空の色相は紫がかることがあるかもしれないし、また、黄色のオブジェクトは彩度が減じられて緑がかるかもしれない。最も好ましからざる誤差は一般に、様々な記憶の色に対する、色相、および／または、彩度に関する誤差であり、これが画像に不自然な見え方を与えることがある。問題が特に顕著となるのは、色均衡化操作によって色の名前が変更される場合である。本発明の方法は、デジタル画像の色均衡の補正ステップ１１５を色の正確性の保持に最適化されている均衡化色空間において適用し、これら問題を最小限に抑えるように設計されている。特に、均衡化色空間は３つのカラーチャンネルを有しており、これらは３つの色空間原色と対応しており、色空間原色は、１または複数のキャプチャ光源のセットに対して色均衡を補正する際に、色誤差が最小となるように選択されている。
【００２９】
デジタル画像の色均衡を補正するステップ１１５を用いて均衡化色空間における均衡化されたデジタルカラー画像１２０を決定した後、出力色空間への任意的変換のステップ１２５を用い、色空間変換を適用して、対応した出力色空間における均衡化デジタルカラー画像１３０を決定することができる。ある場合では、均衡化されたデジタルカラー画像を入力色空間へ戻す変換が望まれるかもしれない。この場合、出力色空間は入力色空間と等しい。代替的に、均衡化されたデジタルカラー画像を別の出力色空間に変換することが望まれるかもしれない。例えば、ｓＲＧＢビデオディスプレイのような標準出力デバイスに関連した出力色空間への変換が望まれるかもしれない。
【００３０】
次に、図４を参照し、本発明により決定可能な均衡化色空間の最適セットについて、以下に詳細に説明する。本方法においては、テストパッチの反射スペクトル２００のセットによって特徴付けられる入力テストパッチのセットに対して色誤差が最小化される。テストパッチのセットに対する目標色値２１５は、目標色値を計算するステップ２１０を用いて決定される。目標色値２１５は一般に、テストパッチ反射スペクトル２００とともに、画像キャプチャシステムのための設計用光源(design illuminant)に対応した参照光源スペクトル２０５を用いて決定される。本発明のある好適な実施形態においては、目標色値２１５は参照光源下で観察される場合のテストパッチに対するＣＩＥ  ＸＹＺ色空間値によって規定される。ＣＩＥ  ＸＹＺ色空間値は通常の技能を有する当業者であれば慣れ親しんだ簡単な計算によって決定可能である。目標色値２１５はＣＩＥ  ＸＹＺ値によってそのまま表現可能であり、また、代替的に、別の色空間に変換することもできる。例えば、周知のＣＩＥＬＡＢやＣＩＥＬＵＶ色空間によって表現可能であるし、また、通常の技能を有する当業者であれば慣れ親しんでいる、多くの色の見え空間（例えば、ＣＩＥＣＡＭ２０００）のいずれか１つを用いて色の見えの測定基準によって表現することもできる。
【００３１】
代替的に、目標色値２１５は、その他の数多くの方法によって決定可能である。例えば、本発明のある実施形態において、目標色値２１５は、スペクトル感度の特定のセットを有する参照撮像デバイスによってキャプチャされた色値に応じて決定可能である。本発明の別の実施形態においては、キャプチャ照明下でのパッチのＣＩＥ  ＸＹＺ値を決定し、そして色適合変換(chromatic adaptation transform)を用いて参照光源下で同じパッチの色の見えを作るのに必要となる対応したＣＩＥ  ＸＹＺ色値を決定することにより、目標色値２１５を、テストパッチの反射スペクトルおよび特定のキャプチャ照明のスペクトルから決定可能である。通常の技能を有する当業者であれば周知であって、使用可能な色適合変換は多数存在する。
【００３２】
本発明の好適な実施形態においては、テストパッチの反射スペクトル２００のセットは、反射スペクトルの代表的な標本を含んでおり、それは、特定の利用目的に関連して実際のシーンにおいて遭遇するであろうスペクトルである。一般に、テストパッチには、人間の肌色、葉、等といった重要な記憶の色と同様、色空間の至るところに分布する色が含まれることが望ましい。通常は、一連の非選択的中立パッチ(non-selective neutral patches)も含むほうが有益である。（これらは、所与のキャプチャ光源に対する適切な色均衡化補正を決定するために使用可能である。）
【００３３】
次に、不均衡色値を計算するステップ２２５を用いて１または複数のキャプチャ光源スペクトル２２０のセット、および、入力テストパッチ反射スペクトル２００の同じセットから不均衡色値２３０のセットを決定する。本発明の好適な実施形態においては、不均衡色値は各キャプチャ光源スペクトル２２０下で観察した場合のテストパッチに対するＣＩＥ  ＸＹＺ色空間値によって規定される。目標色値２１５の計算を参照しながら議論したとおり、不均衡色値２３０は、特定のスペクトル感度のセットを有する参照撮像デバイスに対するデバイス依存色空間を含む、様々な色空間のいずれか１つで表現可能である。
【００３４】
キャプチャ光源のスペクトル２２０のセットには、特定の利用用途に関係のあるキャプチャ光源の代表的標本を含むべきである。写真のシーンで一般に遭遇する光源の例には、昼光光源、タングステン光源、黒体光源、蛍光光源、および、電子的フラッシュ光源が含まれる。それぞれ異なるタイプであるこれら光源は、１または複数の別々の色温度で表現可能である。ある利用用途においては、ただ１つの光源のみに際立って関心が集まることもある。例えば、よくコントロールされたスタジオ照明を用いた写真用途であれば、キャプチャ光源スペクトル２２０のセットには、特定の光源を含むだけでよい。その他の利用用途においては、光源は広範に変化するものと予想される。それらの場合、キャプチャ光源スペクトル２２０のセットに多様な光源のセットを含んでいることが一般に望まれる。ある利用用途においては、理由を説明できる特別な照明条件が存在する場合もある。例えば、水中写真では通常、照明は様々な深さまで水で濾過された日光である。この場合、実効水中光源は、光源のスペクトルと水のスペクトル（分光）透過率との積により規定される。
【００３５】
次に、均衡化色空間２４０への変換のステップ２４０を用いて不均衡色値２３０を均衡化色空間における対応する不均衡色値２５０へ変換する。均衡化色空間は、３つの均衡化色空間原色２９０に対応した３つのカラーチャンネルを有する付加的なＲＧＢ色空間である。そのような付加的ＲＧＢ色空間はＣＩＥ  ＸＹＺの三刺激値とシンプルな線形マトリックスの関係性を有する。３つの色空間原色は通常、ＣＩＥのｘ−ｙ色度座標によって規定される。不均衡色値２３０がＣＩＥ測色から得た色空間によって表されている場合、不均衡色値２３０と、対応する均衡化色空間における不均衡色値２５０との間には簡単でありかつ厳密な変換が存在する。例えば、不均衡色値２３０がＣＩＥ  ＸＹＺ色値として表現されているなら、対応する均衡化色空間色値を決定するためにシンプルな線形３×３マトリックスによる変換を利用することができる。このマトリックスは、当業者には周知の方法で、均衡化色空間原色２９０の色度座標と均衡化色空間のホワイトポイントに対する色度値から決定可能である。一般に、均衡化色空間のホワイトポイントは参照光源スペクトル２０５と整合して規定されるが、このことは必須ではない。
【００３６】
特定のスペクトル感度のセットを有する参照撮像デバイスに対するデバイス依存色空間により、不均衡色値２３０が表現される場合、一般的には、センサのメタメリズムの問題のため、不均衡色値とＣＩＥ  ＸＹＺ値との間には厳密な関係性は存在しない。そのような場合、ＣＩＥ  ＸＹＺ色値への近似的変換が、最小二乗誤差最小化法(least squares error minimization)といった周知のモデリング技術を用いて決定可能である。結果得られるＣＩＥ  ＸＹＺ値は、上述したシンプルな線形３×３マトリックスの変換を用いて均衡化色空間に変換される。
【００３７】
均衡化色空間原色２９０の色度座標によっては、均衡化色空間に変換した場合に不均衡色値によっては１または複数の色値に対し負のＲＧＢ値が得られるかもしれない。これら計算の目的に鑑み、表現可能な色の色域を限定するような、これら負の値の摘み取りは必要ない。同様、不均衡色値によっては、均衡化色空間へ変換した場合に１または複数の色値に関して１．０よりも大きなＲＧＢ値を有することもある。これらも、いかなる色域の限定を課さないという目的で保存することが可能である。
【００３８】
ある場合では、非線形符号化関数を均衡化色空間の色値に適用することが望ましいかもしれない。整数デジタル表現(integer digital representation)を用いることが望まれるような場合には実際そのとおりである。一般にそのような場合には、「ガンマ関数」または対数型の非線形性を用いている。これらのタイプの関数は、線形符号化関数よりも視覚的にさらに均一にコード値が分布するという利点を有する。（一般に、上記のように拡大された範囲の色値を保存するような非線形符号化関数を利用することが望ましい。）
【００３９】
現時点では、最適な均衡化色空間原色２９０はまだ決定されていない。故に、その色度座標において幾つかの初期的な推量を行う必要がある。最適値を求めるために強力な最適化処理が用いられるのであれば、仮定される特定の初期的な色度座標は特に重要ではない。想定しうる最初の初期値のセットの例は（０．０，０．０）、（０．０，１．０）、および、（１．０，０．０）である。
【００４０】
図４の議論に戻れば、色値に均衡化補正を適用するステップ２５５が次に用いられ、均衡化色空間における均衡化色値２６０が決定される。本発明の好適な実施形態において、このことは、均衡化色空間における不均衡色値２５０の各カラーチャンネルに対して乗算カラーバランス・スケールファクタを適用することで実現されている。所与のキャプチャ光源に適した乗算カラーバランス・スケールファクタは、スペクトル的に非選択的な中立パッチに対する均衡化色空間における不均衡色値２５０と、それと対応した参照光源に対する色値との比を計算することで決定することが、最も容易に決定できる方法である。数式の形式では、均衡化色空間の３つのカラーチャンネルに対する乗算カラーバランス・スケールファクタＦＲ、ＦＧ、および、ＦＢは次式により決定される。
【数１】
2004312748.tif 000003
ここで、（ＲＫ，ｒｅｆ，ＧＫ，ｒｅｆ，ＢＫ，ｒｅｆ）は参照光源に対するスペクトル的に非選択的な中立パッチに対する均衡化色空間における色値２５０であり、また、（ＲＫ，ｃａｐ，ＧＫ，ｃａｐ，ＢＫ，ｃａｐ）はキャプチャ光源に対するスペクトル的に非選択的な中立パッチに対する均衡化色空間における色値２５０である。（もし、均衡化色空間のホワイトポイントが参照光源と対応していれば、ＲＫ，ｒｅｆ、ＧＫ，ｒｅｆ、および、ＢＫ，ｒｅｆは全て等しくなるべきである。）同様に、特に、均衡化色空間に対して非線形符号化が用いられるような場合、他形式の変換で、色値に均衡化補正を適用するステップ２５５において使用することに適したものであってもよい。
【００４１】
色値に均衡化補正を適用するステップ２５５を適用した後、テストパッチのセットにおける全てのスペクトル的に非選択的なパッチは完璧に補正されるべきである。しかしながら、先に議論したように、非中立的な色に対する色値には、著しい歪みが導入されることがある。これらの色誤差の大きさを評価するため、均衡化された色値を計算するステップ２６５を用いて均衡化色空間における均衡化色値２６０を、目標色値２１５を表すために用いられている空間と同一の空間に変換することによって均衡化色値２７０を決定する。この変換は均衡化色空間原色２９０の関数となる。
【００４２】
次に、パッチ色誤差２８０が、パッチ色誤差を計算するステップ２７５を用いて決定される。パッチ色誤差２８０を決定可能な方法は他にも多く存在する。本発明の好適な実施形態においては、パッチ色誤差は、ＣＩＥＬＡＢまたはＣＩＥＬＵＶといったいわゆる均一色空間(uniform color space)において色の差異を計算することにより決定される。このことは、先ず、目標色値２１５および均衡化色値２７０を均一色空間へ変換し、それから各テストパッチおよび各光源に対する色の差異を決定することで実現される。色の差異に関する値はＣＩＥΔＥ＊ａｂといった色の差異に関する測定基準を用いて決定することができる。
【数２】
2004312748.tif 000004
ここで、Ｌ＊ａｉｍ、ａ＊ａｉｍ、および、ｂ＊ａｉｍは目標色値２１５に対するＣＩＥＬＡＢ座標であり、Ｌ＊ｂａｌ、ａ＊ｂａｌ、ｂ＊ｂａｌは均衡化色値２７０である。周知のΔＥ＊９４のような、他の均一な色差異測定基準を用いてもよい。同様に、ＣＩＥＣＡＭ２０００のような色の見えの空間によって表される色値間で色の差異を決定することもできる。
【００４３】
様々なキャプチャ光源およびテストパッチに対する色誤差を組み合わせることで色誤差費用関数を決定することができる。本発明の好適な実施形態において、費用関数は全パッチおよび全キャプチャ光源に渡ってのパッチの色誤差２８０を平均化することによって決定している。
【数３】
2004312748.tif 000005
ここで、ΔＥ＊ｉ，ｊはｉ番目のテストパッチおよびｊ番目の光源に対するパッチの色誤差であり、ＮＰはテストパッチの数であり、また、ＮＩはキャプチャ光源の数である。この基本的な費用関数の変形には、重要な色に対するカラーパッチを他の色に対するカラーパッチよりも重く重み付けすること、および／または、重要なキャプチャ光源に対する色誤差を他のキャプチャ光源に対する色誤差よりも重く重み付けすること、が含まれる。例えば、肌色に対する色誤差に重い重み付けを行うことが望まれるかもしれない。なぜなら、これらの色は人間の観察者にとっても特に重要だからである。同様、最も一般的なキャプチャ光源に対しては、それほど一般的ではないキャプチャ光源よりも重い重み付けをすることが望まれてもよい。当業者にとっては明白なことだが、本発明においては多様な形式の費用関数を用いることができる。例えば、色相の誤差は明度の誤差よりも重く重み付けすること、または、単純な算術平均(arithmetic means)のみならず、その他の方法を用いてパッチの色誤差を組み合わせることが望ましいかもしれない。
【００４４】
最後に、色空間の均衡化原色を調整して色均衡化誤差を最小化するステップ２８５を用いて最適な均衡化色空間原色２９０のセットを決定する。本発明の好適な実施形態において、このことは、色誤差費用関数を最小化する均衡化色空間原色２９０のセットを見つけることでなされている。本明細書にも記載の通り、費用関数を最小化するための周知の非線形の最適化法は数多く存在する。これら技術の多くは逐次的に均衡化色空間原色２９０の色度を調整し、費用関数を評価し、どのような調整によって費用関数値が減少するのかを判断している。反復処理は最小費用関数値が認められるまで繰り返される。そのような非線形最適化技術の一例としては、周知の、リーベンベルク−マルクワルトアルゴリズム(Levenberg-Marquardt algorithm)がある。
【００４５】
非線形最適化処理に数多くの制約を設けることが有用であるかもしれない。例えば、均衡化色空間原色２９０の配置が広く拡がって重要なシーンの色を十分に取り囲み、入力デジタルカラー画像が均衡化色空間に変換されたときに入力デジタルカラー画像に実質的な色域の制限を一切与えないように、均衡化色空間原色２９０の配置を制限することが望ましいかもしれない。また、均衡化色空間原色２９０の配置を制限して色度座標が特定の範囲（例えば、０＜ｘ＜１、および、０＜ｙ＜１）に含まれるようにすることが望ましいかもしれない。
【００４６】
本明細書に記載の費用関数最小化技術は、一般的な写真用途に対する最適な均衡化色空間原色の決定に用いられる。この例では、テストパッチの反射スペクトル２００のために数百の実世界のオブジェクトの反射スペクトルのセットが用いられている。ＣＩＥ光源Ｄ５０が、参照光源スペクトル２０５に用いられる。キャプチャ光源スペクトル２２０の数多くの異なるセットが評価される。それには、昼光光源、黒体光源、および、蛍光光源が含まれる。リーベンベルク−マルクワルト非線形最適化アルゴリズムを用い、ＣＩＥΔＥ＊ａｂにより表されているテストパッチのセットに対する平均色誤差を有する色誤差費用関数を最小化することで、最適な均衡化色空間原色２９０のセットを同定する。
【００４７】
下表に、一般的キャプチャ光源スペクトル２２０の幾つかの相異なるセットに対する最適な均衡化色空間原色２９０に対するＣＩＥｘ−ｙ色度座標の結果を示す。この光源のセットは、従来の写真術において遭遇すると思われる光源の範囲に広がっている。下表に示されている光源セットの全てに対して貯えられた結果による均衡化色空間原色のセットは、殆どの一般的な写真用途に対してよく機能するはずである。表に示された色度座標の範囲は、この例で用いられている種類のキャプチャ光源、および、費用関数が与えられた場合に、均衡化色空間原色２９０の最適なセットに予想される範囲を表している。しかしながら、テストパッチのセットならびに費用関数の厳密な形式および最適化についての制限と同様、セットに含まれる光源の特定のセットによっては、値がこれらの範囲を超えて変化することもある。
【表１】
2004312748.tif 000006
【００４８】
結果として得られる色誤差は、これら貯えられている、最適化均衡化色空間原色２９０に対し、図１および図２を参照して議論された方法と同じ方法およびテストパッチのセットを用いて計算可能である。この場合、ＲＭＳ  ΔＥ＊ａｂ色誤差は５．３７であり、これは従来技術の色空間原色から相対的に顕著に改善されている。図５は、セット内の各テストパッチに対する色誤差を示すＣＩＥＬＡＢａ＊−ｂ＊プロットである。これよりわかることは、色誤差の程度は図１および図２に見られるものよりもはるかに小さいことである。
【００４９】
ある場合においては、特定の利用用途に対して最適化されたキャプチャ光源のセットを用いることが望ましいかもしれない。例えば、下表は、異なる蛍光キャプチャ光源に対する最適化原色を示している。
【表２】
2004312748.tif 000007
【００５０】
本発明の方法は多くの異なる利用用途において利用可能である。例えば、デジタルカメラシステム内に構築可能である。この場合、デバイス依存センサ色空間でキャプチャされた入力デジタルカラー画像を、均衡化色空間に変換可能であり、ここで色均衡化補正が適用される。そして、均衡化デジタルカラー画像は、ｓＲＧＢのような出力色空間に変換される。これらの操作は、デジタルカメラの出力が適切に均衡化された画像となるようにデジタルカメラ内部において適用されてもよく、また、代替的に、均衡化されていない画像をデジタルカメラから受け取るホストコンピュータ内において均衡化操作を適用してもよい。
【００５１】
本発明の方法はまた、デジタル写真仕上げシステムにおける使用にも適している。そのようなシステムにおける画像のソースは従来の写真ネガも可能であり、これらはスキャンされて入力デジタルカラー画像が作成される。代替的に、画像は、写真プリントもしくはスライドからのスキャン、または、デジタルカメラといったソースからシステムに加えられることが可能である。デジタル写真仕上げシステムは一般に、デジタル印刷デバイス上で印刷物を作成するが、また、コンピュータによる読み取りが可能な記憶媒体上に記録することに適したデジタル画像を作成することも可能である。コンピュータによる読み取りが可能な記憶媒体としては、例えば（フロッピィーディスクのような）磁気ディスク、もしくは、磁気テープ、といった磁気記憶媒体；光ディスク、光テープ、もしくは、機械読み取り可能なバーコード、といった光学的記憶媒体；ランダムアクセスメモリ（ＲＡＭ）、もしくは、リードオンリメモリ（ＲＯＭ）、といった半導体電子記憶デバイス；または；デジタル画像の記憶に用いるその他の物理デバイスもしくは媒体、が含まれる。
【００５２】
コンピュータによる読み取りが可能な記憶媒体を有するコンピュータプログラム製品は、本発明の全てのステップを実施するためのコンピュータプログラムを記憶して備えることが可能である。コンピュータによる読み取りが可能な記憶媒体は、上記例を含むコンピュータプログラムを記憶することに用いられるあらゆる物理デバイスまたは媒体を含むことができる。
【図面の簡単な説明】
【００５３】
【図１】色均衡化補正を、先行技術のｓＲＧＢ色空間原色を有する色空間に適用する場合に得られる色誤差を示すＣＩＥＬＡＢａ＊−ｂ＊のプロットである。
【図２】色均衡化補正を、先行技術のＲＩＭＭ  ＲＧＢ色空間原色を有する色空間に適用する場合に得られる色誤差を示すＣＩＥＬＡＢａ＊−ｂ＊のプロットである。
【図３】本発明による色均衡化補正を適用するのに好適な方法を示す流れ図である。
【図４】本発明の方法による均衡化色空間原色を決定するために好適な方法を示す流れ図である。
【図５】色均衡化補正が、本発明による最適化された均衡化色空間原色を有する色空間に適用された場合に得られる色誤差を示すＣＩＥＬＡＢａ＊−ｂ＊のプロットである。
【符号の説明】
【００５４】
１０５  ・・・  均衡化色空間への変換
１１５  ・・・  デジタル画像の色均衡化補正
１２５  ・・・  出力色空間への変換
【図１】
2004312748.tif 000008
【図２】
2004312748.tif 000009
【図３】
2004312748.tif 000010
【図４】
2004312748.tif 000011
【図５】
2004312748.tif 000012