(57)【要約】  パーソナルコンピュータ（ＰＣ）（２）は、推定された反射スペクトルを生成するため、および／または色を新しい色空間に変換するため、デジタルカメラ（３）から受け取った画像の色を調整する。まず、画像の生成に用いるカメラ（３）の異なる波長の光に対する感度と、画像と関係する対象物体に入射する照射スペクトルとを補償するため、例えば画像内のＭａｃｂｅｔｈカラーチャートに基づき、入力補償トランスフォームが生成される。次に、反射スペクトルを推定するため、ＰＣ（２）によって反射スペクトル推定トランスフォームが生成される。画像の色を新しい色空間に変換するため、ＰＣ（２）によって色空間変換トランスフォームが生成される。反射スペクトル推定トランスフォームと色空間変換トランスフォームはいずれも、基準反射スペクトルデータベース（４）に格納された基準反射スペクトルと入力補償トランスフォームとに基づく。
2008532401.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なるスペクトル分布の強度レベルによって定義される、画像の色を調整するためのトランスフォームを生成する方法であって、
画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得するステップ、
取得した入力補償トランスフォームを用いて、基準反射スペクトルのデータベースに格納された１つまたは複数の基準反射スペクトルを最も良く表す複数の異なるスペクトル分布の模擬強度レベルを推定するステップ、および
模擬強度レベルから画像の色を調整するトランスフォームを生成するステップ、
を含む方法。
【請求項２】
画像入力装置から画像を受け取るステップを含む、請求項１に記載の方法。
【請求項３】
画像入力装置を用いて画像を生成するステップを含む、請求項１または請求項２に記載の方法。
【請求項４】
画像入力装置はデジタルカメラである、請求項２または請求項３に記載の方法。
【請求項５】
スペクトル分布は各々、異なる波長の光に対する画像入力装置の感度を表す、先行する請求項のいずれか１項に記載の方法。
【請求項６】
画像の色を定義する強度レベルは各々、スペクトル分布の内１つに対する画像入力装置の反応レベルである、先行する請求項のいずれか１項に記載の方法。
【請求項７】
模擬強度レベルは各々、スペクトル分布の内１つに対する画像入力装置の推定された反応レベルである、先行する請求項のいずれか１項に記載の方法。
【請求項８】
画像の色は、ＲＧＢ信号によって定義される、先行する請求項のいずれか１項に記載の方法。
【請求項９】
取得する入力補償トランスフォームは、入力補償情報に基づく、先行する請求項のいずれか１項に記載の方法。
【請求項１０】
入力補償情報は、画像入力装置によって生成される、入力補償物体についての入力補償画像を含む、請求項９に記載の方法。
【請求項１１】
入力補償物体は、１つまたは複数の反射スペクトルが既知である物体である、請求項１０に記載の方法。
【請求項１２】
入力補償物体は、公知のカラースタンダードである、請求項１０または請求項１１に記載の方法。
【請求項１３】
入力補償物体は、Ｍａｃｂｅｔｈカラーチャートである、請求項１０から１２のいずれか１項に記載の方法。
【請求項１４】
入力補償トランスフォームを取得するステップは、取得される入力補償トランスフォームを用いて入力補償情報から生成されるスペクトルを１つまたは複数の既知の反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めるステップを含む、先行する請求項のいずれか１項に記載の方法。
【請求項１５】
画像の色を定義する強度レベルを補正するための強度補正係数を取得するステップをさらに含む、先行する請求項のいずれか１項に記載の方法。
【請求項１６】
強度補正係数は、入力補償情報に基づく、請求項１５に記載の方法。
【請求項１７】
誤差関数に対する非負最小二乗解を求めるステップは、画像の色を定義する強度レベルを補正するための強度補正係数を取得するために非線形最適化を含む、請求項１４に記載の方法。
【請求項１８】
基準反射スペクトルのデータベースは、このデータベースに格納された基準反射スペクトルと関係する基準物体を定義する基準物体識別情報を格納する、先行する請求項のいずれか１項に記載の方法。
【請求項１９】
識別情報は、データベースに格納された基準反射スペクトルと関係する基準物体のカテゴリ、サブカテゴリ、および／または固有アイデンティティを定義する物体のカテゴリ、サブカテゴリ、および／または固有アイデンティティ情報を含む、請求項１８に記載の方法。
【請求項２０】
方法は、模擬強度レベルの推定に用いる１つまたは複数の基準反射スペクトルを選択するステップを含む、先行する請求項のいずれか１項に記載の方法。
【請求項２１】
選択は、基準反射スペクトルとともにデータベースに格納される基準物体識別情報に基づく、請求項２０に記載の方法。
【請求項２２】
１つまたは複数の（選択される）基準反射スペクトルは、画像の色と関係する対象物体に類似する基準物体に関係する、先行する請求項のいずれか１項に記載の方法。
【請求項２３】
模擬強度レベルの推定は、取得した入力補償トランスフォームを用いて推定される模擬強度レベルから生成されるスペクトルを１つまたは複数の（選択された）基準反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めるステップを含む、先行する請求項のいずれか１項に記載の方法。
【請求項２４】
画像の色を調整するためのトランスフォームは、画像の色を推定された反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームを含む、先行する請求項のいずれか１項に記載の方法。
【請求項２５】
画像の色を推定された反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームを生成する方法であって、
画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得するステップ、および
取得した入力補償トランスフォームと、基準反射スペクトルのデータベースに格納された１つまたは複数の基準反射スペクトルとから、反射スペクトル推定トランスフォームを生成するステップ、
を含む方法。
【請求項２６】
反射スペクトル推定トランスフォームの生成は、１つまたは複数の（選択された）基準反射スペクトルを用いて取得した入力補償トランスフォームを修正するステップを含む、請求項２４または請求項２５に記載の方法。
【請求項２７】
反射スペクトル推定トランスフォームの生成は、生成される反射スペクトル推定トランスフォームを用いて（１つまたは複数の（選択された）基準反射スペクトルを最も良く表す画像の色を定義する異なるスペクトル分布の）模擬強度レベルから生成されるスペクトルを１つまたは複数の（選択された）基準反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めるステップを含む、請求項２４から２６のいずれか１項に記載の方法。
【請求項２８】
反射スペクトルを推定する方法であって、請求項２４から２７のいずれか１項に記載の方法を含み、且つ取得した反射スペクトル推定トランスフォームを用いて画像の色を推定された反射スペクトルにトランスフォームする、方法。
【請求項２９】
反射スペクトル推定の基礎となる画像のピクセルを選択するステップと、選択されたピクセルの色を推定された反射スペクトルにトランスフォームするステップとを含む、請求項２８に記載の方法。
【請求項３０】
生成した反射スペクトル推定トランスフォームと取得した強度レベル補償係数とを用いて画像／ピクセルの色を推定された反射スペクトルにトランスフォームするステップを含む、請求項２８または請求項２９に記載の方法。
【請求項３１】
画像の色を調整するためのトランスフォームは、画像の色を新しい色空間に変換するための色空間変換トランスフォームである、請求項１から２３のいずれか１項に記載の方法。
【請求項３２】
画像の色を新しい色空間に変換するための色空間変換トランスフォームを生成する方法であって、
画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得するステップ、および
取得した入力補償トランスフォームと、基準反射スペクトルのデータベース内の１つまたは複数の基準反射スペクトルとから、色空間変換トランスフォームを生成するステップ、
を含む方法。
【請求項３３】
色空間変換トランスフォームの生成は、（選択された）１つまたは複数の基準反射スペクトルを最も良く表す新しい色空間での色を定義する複数の異なるスペクトル分布の強度レベルを推定するステップを含む、請求項３１または請求項３２に記載の方法。
【請求項３４】
色空間変換トランスフォームの生成は、（１つまたは複数の（選択された）基準反射スペクトルを最も良く表す画像の色を定義する異なるスペクトル分布の）模擬強度レベルと、新しい色空間の複数の異なるスペクトル分布について推定された強度レベルとから、トランスフォームを生成するステップを含む、請求項３３に記載の方法。
【請求項３５】
画像の色を新しい色空間に変換する方法であって、請求項３１から３４のいずれか１項に記載の方法を含み、且つ生成された色空間変換トランスフォームを用いて画像の色を新しい色空間に変換する、方法。
【請求項３６】
複数の異なるスペクトル分布の強度レベルによって定義される、画像の色を調整するためのトランスフォームを生成する装置であって、
画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得し、
取得した入力補償トランスフォームを用いて、基準反射スペクトルのデータベースに格
納された１つまたは複数の基準反射スペクトルを最も良く表す複数の異なるスペクトル分布の模擬強度レベルを推定し、および
模擬強度レベルから画像の色を調整するためのトランスフォームを生成する、
プロセッサを備える装置。
【請求項３７】
画像入力装置から画像を受け取るための通信インターフェイスを備える、請求項３６に記載の装置。
【請求項３８】
画像を生成するための画像入力装置を内蔵する、請求項３６または請求項３７に記載の装置。
【請求項３９】
画像入力装置はデジタルカメラである、請求項３７または請求項３８に記載の装置。
【請求項４０】
スペクトル分布は各々、異なる波長の光に対する画像入力装置の感度を表す、請求項３６から３９のいずれか１項に記載の装置。
【請求項４１】
画像の色を定義する強度レベルは各々、スペクトル分布の内１つに対する画像入力装置の反応レベルである、請求項３６から４０のいずれか１項に記載の装置。
【請求項４２】
模擬強度レベルは各々、スペクトル分布の内１つに対する画像入力装置の推定された反応レベルである、請求項３６から４１のいずれか１項に記載の装置。
【請求項４３】
画像はＲＧＢ信号を含む、請求項３６から４２のいずれか１項に記載の装置。
【請求項４４】
取得する入力補償トランスフォームは入力補償情報に基づく、請求項３６から４３のいずれか１項に記載の装置。
【請求項４５】
入力補償情報は、画像入力装置によって生成される、入力補償物体についての入力補償画像を含む、請求項４４に記載の装置。
【請求項４６】
入力補償物体は、１つまたは複数の反射スペクトルが既知である物体である、請求項４５に記載の装置。
【請求項４７】
入力補償物体は、公知のカラースタンダードである、請求項４５または請求項４６に記載の装置。
【請求項４８】
入力補償物体は、Ｍａｃｂｅｔｈカラーチャートである、請求項４５から４７のいずれか１項に記載の装置。
【請求項４９】
プロセッサは、取得される入力補償トランスフォームを用いて入力補償情報から生成されるスペクトルを１つまたは複数の既知反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めることによって入力補償トランスフォームを取得する、請求項３６から４８のいずれか１項に記載の装置。
【請求項５０】
プロセッサは、画像の色を定義する強度レベルを補正するための強度補正係数を取得する、請求項３６から４９のいずれか１項に記載の装置。
【請求項５１】
強度補正係数は入力補償情報に基づく、請求項５０に記載の装置。
【請求項５２】
プロセッサは、画像の色を定義する強度レベルを補正するための強度補正係数を取得す
るために非線形最適化を用いて誤差関数に対する非負最小二乗解を求める、請求項４９に記載の装置。
【請求項５３】
基準反射スペクトルのデータベースは、このデータベースに格納された基準反射スペクトルと関係する基準物体を定義する基準物体識別情報を格納する、請求項３６から５２のいずれか１項に記載の装置。
【請求項５４】
識別情報は、データベースに格納された基準反射スペクトルと関係する基準物体のカテゴリ、サブカテゴリ、および／または固有アイデンティティを定義する物体のカテゴリ、サブカテゴリ、および／または固有アイデンティティ情報を含む、請求項５３に記載の装置。
【請求項５５】
プロセッサは、強度レベルの推定に用いる１つまたは複数の基準反射スペクトルを基準反射スペクトルのデータベースから選択することを許す、請求項３６から５４のいずれか１項に記載の装置。
【請求項５６】
選択は、基準反射スペクトルとともにデータベースに格納される基準物体識別情報に基づく、請求項５５に記載の装置。
【請求項５７】
（選択される）基準反射スペクトルは、画像と関係する対象物体に類似する基準物体に関係する、請求項３６から５６のいずれか１項に記載の装置。
【請求項５８】
プロセッサは、取得される入力補償トランスフォームを用いて推定される模擬強度レベルから生成されるスペクトルを１つまたは複数の（選択された）基準反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めることによって模擬強度レベルを推定する、請求項３６から５７のいずれか１項に記載の装置。
【請求項５９】
画像の色を調整するトランスフォームは、画像の色を推定された反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームを含む、請求項３６から５８のいずれか１項に記載の装置。
【請求項６０】
画像の色を推定された反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームを生成する装置であって、
画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得し、および
取得した入力補償トランスフォームと、基準反射スペクトルのデータベースに格納された１つまたは複数の基準反射スペクトルとから、反射スペクトル推定トランスフォームを生成する、
プロセッサを備える装置。
【請求項６１】
プロセッサは、１つまたは複数の（選択された）基準反射スペクトルを用いて取得した入力補償トランスフォームを修正することによって反射スペクトル推定トランスフォームを生成する、請求項５９または請求項６０に記載の装置。
【請求項６２】
プロセッサは、生成される反射スペクトル推定トランスフォームを用いて（１つまたは複数の（選択された）基準反射スペクトルを最も良く表す画像の色を定義する複数の異なるスペクトル分布の）模擬強度レベルから生成されるスペクトルを１つまたは複数の（選択された）基準反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めることによって反射スペクトル推定トランスフォームを生成する、請求項５９から６１のいずれか１項に記載の装置。
【請求項６３】
反射スペクトルを推定する装置であって、請求項５９から６２のいずれか１項に記載の装置を備え、ここでプロセッサは、生成された反射スペクトル推定トランスフォームを用いて画像の色を推定された反射スペクトルにトランスフォームする、装置。
【請求項６４】
プロセッサは、反射スペクトル推定の基礎となる画像のピクセルを選択することを許し、且つ選択されたピクセルの色を推定された反射スペクトルにトランスフォームする、請求項６３に記載の装置。
【請求項６５】
プロセッサは、生成した反射スペクトル推定トランスフォームと取得した強度レベル補償係数とを用いて画像の色を推定された反射スペクトルにトランスフォームする、請求項６３または請求項６４に記載の装置。
【請求項６６】
画像の色を調整するためのトランスフォームは、画像の色を新しい色空間に変換するための色空間変換トランスフォームである、請求項３６から５８のいずれか１項に記載の装置。
【請求項６７】
画像の色を新しい色空間に変換するための色空間変換トランスフォームを生成する装置であって、
画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得し、および
取得した入力補償トランスフォームと、基準反射スペクトルのデータベース内の１つまたは複数の基準反射スペクトルとから、色空間変換トランスフォームを生成する、
プロセッサを備える装置。
【請求項６８】
プロセッサは、（選択された）１つまたは複数の基準反射スペクトルを最も良く表す新しい色空間での色を定義する複数の異なるスペクトル分布の強度レベルを推定することによって色空間変換トランスフォームを生成する、請求項６６または請求項６７に記載の装置。
【請求項６９】
プロセッサは、入力補償トランスフォームを用いて推定される（１つまたは複数の（選択された）基準反射スペクトルを最も良く表す画像の色を定義する複数の異なるスペクトル分布の）模擬強度レベルと、新しい色空間の複数の異なるスペクトル分布について推定された強度レベルとから、色空間変換トランスフォームを生成する、請求項６８に記載の装置。
【請求項７０】
画像の色を新しい色空間に変換する装置であって、請求項６６から６９のいずれか１項に記載の装置を備え、ここでプロセッサは、生成された色空間変換トランスフォームを用いて画像の色を新しい色空間に変換する、装置。
【請求項７１】
プロセッサを内蔵するコンピュータを備える、請求項３６から７０のいずれか１項に記載の装置。
【請求項７２】
請求項１から３５のいずれか１項に記載の方法を遂行するコンピュータソフトウェア。
【請求項７３】
実質的に添付の図面を参照して説明したとおりに、画像の色を調整するためのトランスフォームを生成する方法。
【請求項７４】
実質的に添付の図面を参照して説明したとおりに、反射スペクトル推定トランスフォームを生成する方法。
【請求項７５】
実質的に添付の図面を参照して説明したとおりに、反射スペクトルを推定する方法。
【請求項７６】
実質的に添付の図面を参照して説明したとおりに、色空間変換トランスフォームを生成する方法。
【請求項７７】
実質的に添付の図面を参照して説明したとおりに、画像の色を新しい色空間に変換する方法。
【請求項７８】
実質的に添付の図面を参照して説明したとおりに、画像の色を調整するためのトランスフォームを生成する装置。
【請求項７９】
実質的に添付の図面を参照して説明したとおりに、反射スペクトル推定トランスフォームを生成する装置。
【請求項８０】
実質的に添付の図面を参照して説明したとおりに、反射スペクトルを推定する装置。
【請求項８１】
実質的に添付の図面を参照して説明したとおりに、色空間変換トランスフォームを生成する装置。
【請求項８２】
実質的に添付の図面を参照して説明したとおりに、画像の色を新しい色空間に変換する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野
本発明は基準反射スペクトルを用いた反射スペクトル推定と色空間変換とに関する。より具体的に、ただし排他的でなく、本発明は、画像の色を調整するためのトランスフォームを、例えば反射スペクトル推定トランスフォームを、または色空間変換トランスフォームを、生成する方法および装置に、ならびに反射スペクトルを推定し、且つ生成されたトランスフォームを用いて画像の色を新しい色空間に変換する関連方法および装置に関する。
【背景技術】
【０００２】
発明の背景
色は、可視スペクトル（すなわち約４００ｎｍおよび７００ｎｍの間）における異なる波長の光強度の分布によって確定的に定義することができる。しかし、人が色を知覚し、常々これを記録する方法は主観的である。例えば、人の眼および最も伝統的な写真法は、ある特定の波長にて、他の波長にまして、光に対し敏感である。これは光が、ある特定の波長にて、他の波長にまして、色の知覚または記録に大きく影響することを意味する。同様に、物体には、様々な波長の光を、物体の反射スペクトルによって決まる一定の割合で反射する傾向があるが、物体によって反射される光の実際の色は、様々な波長で物体を照らす光の強度にも、例えば照射スペクトルにも依存する。照射スペクトルには、例えば時刻に応じて、または物体の位置に応じて、変化する傾向があるので、物体は、様々な異なる色とともに知覚または撮影されることがある。このため、物体の色が専らその反射スペクトルによって完全に定義できることは広く認められている。これまで反射スペクトルの記録・推定方法を開発するため多大な努力が費やされてきた。これらの記録される、または推定される、反射スペクトルは、様々な科学的・技術的目的にとって有益である。それらは画像処理にも利用される。例えば、所与の色空間で、例えばデジタルカメラのレッド・グリーン・ブルー（ＲＧＢ）信号で記録された物体の像を、物体の推定反射スペクトルを用いて別の色空間へ、例えばプリンタのシアン・マゼンタ・イエロー・ブラック（ＣＭＹＫ）インクドット量へ、変換することが提案されてきた。
【０００３】
例えば反射スペクトルは、分光放射計または分光光度計として知られる装置を用いて測定できる。分光光度計は、物体から反射した光を、例えばプリズムや回折格子を用いて、異なる成分波長に分割し、それぞれの成分波長で光強度を測定する。通常は物体に入射する照射スペクトルも、例えばつや消し白色カード片等、中立的な反射率特性を持つ物体から反射する光を測定することによって、測定される。このとき物体の反射スペクトルを推測することができる。これは一般的に効果的であるが、分光光度計は複雑であり、高価である。分光光度計は画像の生成が不得手でもある。より具体的には、二次元画像を生成するには、画像の各ピクセルにつき別々の測定を実行しなければならない。ほとんどの分光光度計は一度に１回の測定しか行えず、その画像生成は、どんなに良くても、途方もなく遅いプロセスである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
１画像の多数のピクセルのスペクトル特性を一度に測定できる分光光度計が入手可能であり、ハイパースペクトル画像処理システムとして一般的に知られている。ただしこれらは非常に複雑であり、高価である。それらはまた、効果的に運用するにはそれなりの専門的知識を要するので、多くの商業用途に不向きである。
【０００５】
従来の写真機器で撮像された画像から反射スペクトルを推定する方法も模索されてきた。いわゆるマルチスペクトル画像処理システムは、通常多数のフィルタを装備する従来型カメラを備える。各々のフィルタは、限られた波長範囲の光の通過だけを許す。異なるフィルタを通じて物体の像を撮像することにより、物体のスペクトル情報を推測することができる。しかし、マルチスペクトル画像処理システムは概して運用が面倒であり、限られたスペクトル情報しか記録できない。
【０００６】
ＷＯ２００３／０３０５２４は、デジタルカメラのＲＧＢ信号から反射スペクトルを推定する方法を記載している。ＲＧＢ信号は、照射スペクトルと様々な波長の光に対するデジタルカメラの感度の知識を用いてスペクトルに変換される。推定反射スペクトルの生成にあたってスペクトルの平滑さと色彩恒常を改善するため加重が適用される。この方法を効果的なものにするには、照射スペクトルを正確に知らなければならない。したがってカメラは閉ざされた箱の中で物体を撮影し、その箱の中では光源が既知の照射スペクトルを発する。これは明らかに、物体を原位置で撮影することが望ましい場合等、多くの状況で非実用的である。さらに、様々な波長の光に対するデジタルカメラの感度は、大まかにレッド、グリーン、およびブルー光に対応する３通りの感度関数によって定義され、各感度関数につきカメラの反応レベルはＲＧＢ信号のレッド、グリーン、およびブルー成分の各々の値を構成する。したがって、たとえ正確な感度関数の知識をもってしても、ＲＧＢ信号はカメラが受け取る光のスペクトルの完全な再構築を許さない。むしろ、カメラが受け取る光のスペクトルについてある程度の情報は失われる。このため、推定反射スペクトルの平滑さと色彩恒常を改善する加重にかかわらず、この方法は必然的におおよその反射スペクトル推定しかもたらさない。
【０００７】
論文“Ｃｈａｒａｃｔｅｒｉｓａｔｉｏｎ  ｏｆ  ｎａｔｕｒａｌ  ｉｌｌｕｍｉｎａｎｔｓ  ｉｎ  ｆｏｒｅｓｔｓ  ａｎｄ  ｔｈｅ  ｕｓｅ  ｏｆ  ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｄａｔａ  ｔｏ  ｒｅｃｏｎｓｔｒｕｃｔ  ｉｌｌｕｍｉｎａｎｔ  ｓｐｅｃｔｒａ（森林における自然発光体の特性とデジタルビデオデータを使った発光スペクトルの再構築）”、Ｃｈｉａｏ  ｅｔ  ａｌ，  Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ，  Ｖｏｌ．  １７，  Ｎｏ．  １０，  Ｏｃｔｏｂｅｒ  ２０００は、デジタルカメラのＲＧＢ信号を一群の既知発光スペクトルへマッピングできることを示している。デジタルカメラを用いて発光スペクトルを表すＲＧＢ信号が生成され、同時に、分光光度計を用いて発光スペクトルが測定される。そして、最小二乗手順を用いて発光スペクトルを表すＲＧＢ信号と分光光度計によって測定された発光スペクトルとの間で線形トランスフォームが導出される。この方法は良好な結果を得るが、それは密接に関係する発光スペクトル群だけに当てはまる。この方法を異なる発光スペクトルに適用するには、異なる発光スペクトルを表すＲＧＢ信号を、デジタルカメラを用いて生成しなければならず、異なる発光スペクトルを、分光光度計を用いて測定しなければならない。さらに、導出されるトランスフォームは、ＲＧＢ信号の生成に用いる特定のデジタルカメラに固有のものである。別のカメラによって生成された発光スペクトルを表すＲＧＢ信号を使用することが望まれる場合は、新しいトランスフォームを導出しなければならない。新しいトランスフォームを正確なものにするには、発光スペクトルを表すＲＧＢ信号が新しいデジタルカメラを用いて生成されるのと同時に、分光光度計を用いて再び発光スペクトルを測定しなければならない。したがって、この方法は時間がかかり、非実用的である。またこの論文は、物体の反射スペクトルを推定するというより込み入った問題ではなく、発光スペクトルの検討に限定されている。
【０００８】
ＷＯ２００４／０１２４４２は、推定反射スペクトルを用いてＲＧＢ信号からプリンタのＣＭＹＫインクドット量へ画像を変換する方法を記載している。反射スペクトルはマルチスペクトル画像処理装置を用いて測定できる。これとは別にＷＯ２００４／０１２４４２はその第４の実施形態において、データベースに格納された基準反射スペクトルを用い
てＲＧＢ信号から反射スペクトルを推定することを記載している。画像のピクセルを表すＲＧＢ信号は、ユーザによって選択されるモデル光源の知識を用いて、三刺激値Ｌ＊、ａ＊、ｂ＊（これらはＲＧＢ信号と同様に、ただしＣｏｍｍｉｓｓｉｏｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌｅ  ｄ’Ｅｃｌａｉｒａｇｅ（ＣＩＥ）が定める規格を用いて、色を表現する）に変換される。同様に、データベースに格納された基準反射スペクトルについても三刺激値Ｌ＊、ａ＊、ｂ＊を計算する。そして、ピクセルの三刺激値Ｌ＊、ａ＊、ｂ＊に最も近い三刺激値Ｌ＊、ａ＊、ｂ＊を持つ、データベース内の基準反射スペクトルが、ピクセルの推定反射スペクトルとして識別される。第５の実施形態においては、比較の幅を狭めるため、たとえば例えば肉や花等に関する、データベース内の基準反射スペクトルのカテゴリを選択することをユーザに許すことが提案されている。この方法は状況によっては効果的かもしれない。しかし、適切な反射スペクトルを識別するための三刺激値Ｌ＊、ａ＊、ｂ＊の比較は不正確になることがある。特に、ＲＧＢ信号を生成する、異なるカメラの異なるスペクトル感度、および物体を照らす実際の照射スペクトルとユーザによって選択されるモデル光源の照射スペクトルとの違いは、算出される三刺激値Ｌ＊、ａ＊、ｂ＊に多大な不正確さをもたらすことがある。したがって、その比較は正しくない反射スペクトルをしばしば識別するおそれがある。したがって、同様に、画像変換プロセスも不正確である可能性がある。
【０００９】
本発明はこれらの問題の克服に努めるものである。
【課題を解決するための手段】
【００１０】
発明の概要
本発明の第１の態様によると、複数の異なるスペクトル分布の強度レベルによって定義される、画像の色を調整するためのトランスフォームを生成する方法が提供され、同方法は、画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得するステップ、取得した入力補償トランスフォームを用いて、基準反射スペクトルのデータベースに格納された１つ以上の基準反射スペクトルを最も良く表す複数の異なるスペクトル分布の模擬強度レベルを推定するステップと、模擬強度レベルから画像の色を調整するためのトランスフォームを生成するステップとを含む。
【００１１】
本発明の第２の態様によると、複数の異なるスペクトル分布の強度レベルによって定義される、画像の色を調整するためのトランスフォームを生成する装置が提供され、同装置は、画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得し、取得した入力補償トランスフォームを用いて、基準反射スペクトルのデータベースに格納された１つまたは複数の基準反射スペクトルを最も良く表す複数の異なるスペクトル分布の模擬強度レベルを推定し、模擬強度レベルから画像の色を調整するためのトランスフォームを生成するためのプロセッサを備える。
【００１２】
したがって画像の色を調整するためのトランスフォームは、１つまたは複数の基準反射スペクトルを最も良く表す画像の色（または全ての色）を定義するために用いられる複数の異なるスペクトル分布の模擬強度レベルに依拠させることができる。換言すると、１つまたは複数の基準反射スペクトルが画像の色としていかに定義されるかを推定するために、入力補償トランスフォームを使用することができる。そして、その推定は、画像の実際の色を調整するためのトランスフォームを導出するための基礎を形成することができる。
【００１３】
トランスフォームの使用は有利である。入力補償トランスフォームは好ましくは、色を表現するＲＧＢ信号等の画像の色を、画像がいかに入力されるかとは無関係に色を定義する光波長の関数等の入力補償済みスペクトルへ、直接的にマッピングする。同様に、画像の色を調整するためのトランスフォームは好ましくは、色を表現するＲＧＢ信号等の画像の色を、調整済みの色へ直接的にマッピングし、この調整済み色は、推定反射スペクトル
であってよく、例えば基準反射スペクトル、および／または新しい色空間に変換される色の知識を用いて、画像がいかに入力され修正されるかとは無関係に色を定義する光波長の関数である。
【００１４】
方法は典型的には、画像を受け取るステップを含む。同様に、装置は典型的には、画像を受け取るための通信インターフェイスを備える。画像は、当初画像を生成した装置の知識なしで独立した形で受け取ることができる。ただし画像は通常ならば、画像入力装置から受け取る。この画像入力装置は典型的には、画像を生成する。よって方法は、画像入力装置を用いて画像を生成するステップを含んでよい。同様に、装置は、画像を生成するための画像入力装置を内蔵してもよい。画像入力装置は、スキャナやマルチスペクトル画像処理装置を含む、画像を生成するための事実上どんな種類の装置であってもよい。ただし、通常はデジタルカメラである。
【００１５】
画像は通常、画像データを含む。画像または画像データは、Ｃｏｍｍｉｓｓｉｏｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌｅ  ｄ’Ｅｃｌａｉｒａｇｅ（ＣＩＥ）のＸＹＺ色空間等、複数の異なるスペクトル分布を指定する従来の形式または規格であってよい。ただし、スペクトル分布は各々、異なる波長の光に対する画像入力装置の感度を表す可能性が高い。別の表現をすると、スペクトル分布は典型的には、光波長の関数である。
【００１６】
強度レベルは一般的に、各々のスペクトル分布の光の大きさまたは量を指定する。特に、画像の色を定義する強度レベルは各々、スペクトル分布の内１つに対する画像入力装置の反応レベルを表すことができる。同様に、（１つまたは複数の基準反射スペクトルの）模擬強度レベルは各々、スペクトル分布の内１つに対する（画像の生成に用いる）画像入力装置の推定反応レベルであってよい。
【００１７】
強度レベルは、マルチスペクトル画像処理装置の反応レベルを含んでよい。よって、数通りの、例えば６つ以上の、異なるスペクトル分布があってよい。スペクトル分布の数が増えると、画像の色を定義するスペクトル情報量もまた増え、画像の色を調整するトランスフォームは典型的にはより正確になる。ただし上述したとおり、画像入力装置は通常ならばデジタルカメラ等である。よって、画像の色は通常ならば、ほとんどのデジタル画像処理装置によって慣例的に生成されているレッド・グリーン・ブルー（ＲＧＢ）信号によって定義される。より一般的に、画像の色は通常ならば、３通りの異なるスペクトル分布の強度レベルによって定義される。
【００１８】
入力補償トランスフォームは様々な方法で取得できる。例えば、画像入力装置のために入力補償トランスフォームを導出することができる。入力補償トランスフォームを取得するステップは、入力補償トランスフォームのデータベースから入力補償トランスフォームを選択するステップを含んでよい。この選択は例えば、画像を生成したカメラ等の画像入力装置を識別するステップ、そして識別した画像入力装置のための入力補償トランスフォームを、例えば入力補償トランスフォームのデータベースから取り出すステップを含んでよい。
【００１９】
典型的に、入力補償トランスフォームは入力補償情報に基づく。この情報は様々な形をとることができる。上の例で、入力補償情報は、異なる波長の光に対する画像入力装置の感度を含んでよい。ただし、異なる波長の光に対する画像入力装置の感度に関する情報は、常に直接的に入手できるとは限らない。さらに、入力補償情報は好ましくは、画像の生成に用いる画像入力装置よりむしろ、画像そのものに固有のものである。これは、画像と関係する対象物体に入射する照射スペクトルに関係する情報を入力補償情報に含めることを許す。よって入力補償情報は好ましくは、画像入力装置によって生成される入力補償物体の入力補償画像を含む。この入力補償物体は典型的には、１つまたは複数の反射スペク
トルが既知である物体である。これは識別可能な物体であってよい。ただし入力補償物体は好ましくは、Ｍａｃｂｅｔｈカラーチャート等の公知のカラースタンダードである。
【００２０】
入力補償トランスフォームを取得するステップは、入力補償情報から入力補償トランスフォームを導出するステップを含んでよい。特に、入力補償トランスフォームを取得するステップは、取得される入力補償トランスフォームを用いて入力補償情報（例えば入力補償画像）から生成されるスペクトルを（例えば入力補償物体の）１つまたは複数の既知反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めるステップを含んでよい。
【００２１】
これは、画像の色を定義するために用いる複数の異なるスペクトル分布と照射スペクトルとを補償することを入力補償トランスフォームに許す。ただし例えば、デジタルカメラと他のほとんどの画像入力装置とによって生成される、画像の色を定義する異なるスペクトル分布の強度レベルがえてして実際の光強度レベルとともに直線的に変化しないことは知られている。よって、強度レベルの非直線性を補償することもまた有益である。したがって方法は、画像の色を定義する強度レベルを補正するための強度補正係数を取得するステップを含んでよい。同様に、プロセッサは、画像の色を定義する強度レベルを補正するための強度補正係数を取得してよい。強度補正係数は入力補償情報に依拠してよい。より具体的に、誤差関数に対する非負最小二乗解を見つけるステップは、画像の色を定義する強度レベルを補正する強度補正係数を導出するために非線形最適化を含んでよい。
【００２２】
基準反射スペクトルのデータベースは好ましくは、基準反射スペクトルと関係する基準物体を定義する基準物体識別情報を格納する。この基準物体識別情報は、基準反射スペクトルと関係する基準物体のカテゴリ、サブカテゴリ、および／または特定のアイデンティティを定義するカテゴリ、サブカテゴリ、および／またはアイデンティティ情報であってよい。方法は、模擬強度レベルの推定に用いる１つまたは複数の基準反射スペクトルを選択するステップを含んでよい。同様に、プロセッサは、模擬強度レベルの推定に用いる１つまたは複数の基準反射スペクトルの選択を許す。選択されるスペクトルは典型的には、画像によって表現される対象物体に似た基準物体に関係する。よって選択は、基準反射スペクトルとともにデータベースに格納される基準物体識別情報に依拠してよい。一般的に、１つまたは複数の基準反射スペクトルと関係する基準物体が実際に、画像と関係する対象物体に近ければ近いほど、画像の色を調整するために生成されるトランスフォームはより有用である。
【００２３】
１つまたは複数の基準反射スペクトルを最も良く表す模擬強度レベルの推定は、様々な方法で達成できる。ただし、模擬強度レベルの推定は好ましくは、適切な誤差関数に対する非負最小二乗解を見つけるステップを含む。より具体的に、模擬強度レベルの推定は、取得した入力補償トランスフォームを用いて推定される模擬強度レベルから生成されるスペクトルを１つまたは複数の（選択された）基準反射スペクトルと比較する誤差関数に対する非負最小二乗解を求めるステップを含んでよい。
【００２４】
上述したとおり、画像の色を調整するトランスフォームは、画像の色を推定反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームであってよい。実際、入力補償トランスフォームと１つまたは複数の基準反射スペクトルとからかかるトランスフォームを生成することは、それだけで見て新規とみなされる。よって本発明の第３の態様によると、画像の色を推定された反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームを生成する方法が提供され、同方法は、画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得するステップ、および取得した入力補償トランスフォームと、基準反射スペクトルのデータベースに格納された１つまたは複数の基準反射スペクトルとから、反射スペクトル推定
トランスフォームを生成するステップ、を含む。
【００２５】
また、本発明の第４の態様によると、画像の色を推定された反射スペクトルにトランスフォームするための反射スペクトル推定トランスフォームを生成する装置が提供され、同装置は、画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得し、取得した入力補償トランスフォームと、基準反射スペクトルのデータベースに格納された１つまたは複数の基準反射スペクトルとから、反射スペクトル推定トランスフォームを生成するためのプロセッサを備える。
【００２６】
反射スペクトル推定トランスフォームの生成は好ましくは、１つまたは複数の（選択された）基準反射スペクトルを用いて取得した入力補償トランスフォームを修正するステップを含む。より具体的に、反射スペクトル推定トランスフォームの生成は、生成される反射スペクトル推定トランスフォームを用いて（１つまたは複数の（選択された）基準反射スペクトルを最も良く表す画像の色を定義する異なるスペクトル分布の）模擬強度レベルから生成されるスペクトルを１つまたは複数の（選択された）基準反射スペクトルと比較する誤差関数に対する非負最小二乗解を見つけるステップを含んでよい。最小二乗法の使用は、主成分分析等、他のアプローチの近似および仮定を回避しつつ、線形トランスフォームの導出を可能にする。
【００２７】
生成された反射スペクトル推定トランスフォームは、画像と関係する対象物体の反射スペクトルを推定するために使用できる。よって本発明の第５の態様によると、反射スペクトルを推定する方法が提供され、同方法は上述の方法を含み、且つ導出された反射スペクトル推定トランスフォームを用いて画像の色を推定された反射スペクトルにトランスフォームする。同様に、本発明の第６の態様によると、反射スペクトルを推定する装置が提供され、同装置は上述の装置を備え、ここでそのプロセッサは、導出された反射スペクトル推定トランスフォームを用いて画像の色を推定された反射スペクトルにトランスフォームする。
【００２８】
典型的に、方法は、反射スペクトル推定が依拠するところの画像のピクセルを選択するステップと、画像の選択されたピクセルの色を推定された反射スペクトルにトランスフォームするステップとを含む。同様に、プロセッサは、反射スペクトル推定が依拠するところの画像のピクセルの選択を許してよく、画像の選択されたピクセルを推定された反射スペクトルにトランスフォームする。
【００２９】
反射スペクトル推定には、取得された強度レベル補償係数を使用することもできる。よって方法は好ましくは、生成された反射スペクトル推定トランスフォームと取得された強度レベル補償係数とを用いて画像／ピクセルの色を推定された反射スペクトルにトランスフォームするステップを含む。同様に、プロセッサは好ましくは、生成された反射スペクトル推定トランスフォームと取得された強度レベル補償係数とを用いて画像／ピクセルの色を推定された反射スペクトルにトランスフォームする。
【００３０】
上述したとおり、画像の色を調整するためのトランスフォームは代わりに、画像の色を新しい色空間に変換するための色空間変換トランスフォームであってよい。実際、入力補償トランスフォームと１つまたは複数の基準反射スペクトルとからかかるトランスフォームを生成することは、それだけで見て新規とみなされる。
【００３１】
よって本発明の第７の態様によると、画像の色を新しい色空間に変換するための色空間変換トランスフォームを生成する方法が提供され、同方法は、画像の色を入力補償済みスペクトルにトランスフォームするための入力補償トランスフォームを取得するステップ、および取得した入力補償トランスフォームと、基準反射スペクトルのデータベース内の１
つまたは複数の基準反射スペクトルとから、色空間変換トランスフォームを生成するステップ、を含む。
【００３２】
同様に、本発明の第８の態様によると、画像の色を新しい色空間に変換するための色空間変換トランスフォームを生成する装置が提供され、同装置は、画像の色を入力補償済みスペクトルにトランスフォームするため入力補償トランスフォームを取得し、取得した入力補償トランスフォームと、基準反射スペクトルのデータベース内の１つまたは複数の基準反射スペクトルとから、色空間変換トランスフォームを生成する、プロセッサを備える。
【００３３】
色空間は典型的には、複数の異なるスペクトル分布によって定義される。異なるスペクトル分布の各々の強度レベルは色空間において色を定義する。よって画像の色は一般的には、所与の色空間にて、例えばＲＧＢ色空間にて定義され、色空間変換トランスフォームは、画像の色を、例えばＣＩＥ  ＸＹＺ色空間等、別の複数の異なるスペクトル分布によって定義される新しい色空間へマッピングできる。
【００３４】
色空間変換トランスフォームの生成は典型的には、（選択された）１つまたは複数の基準反射スペクトルを最も良く表す新しい色空間での色を定義する複数の異なるスペクトル分布の強度レベルを推定するステップを含む。これは典型的には、新しい色空間の異なるスペクトル分布についての情報を用いて達成される。この情報は、スペクトル感度トランスフォーム、例えばいわゆるカラーマッチング関数等であってよい。そして、（１つまたは複数の（選択された）基準反射スペクトルを最も良く表す画像の色を定義する異なるスペクトル分布の）模擬強度レベルと、新しい色空間の複数の異なるスペクトル分布について推定された強度レベルとから、色空間変換トランスフォームを生成できる。
【００３５】
生成された色空間変換トランスフォームはもちろん、ある１つの色空間から別の色空間へ画像の色を変換するために使用できる。よって本発明の第９の態様によると、画像の色を新しい色空間に変換する方法が提供され、同方法は上述の方法を含み、且つ生成された色空間変換トランスフォームを用いて画像の色を新しい色空間に変換する。同様に、本発明の第１０の態様によると、画像の色を新しい色空間に変換する装置が提供され、同装置は上述の装置を備え、ここでそのプロセッサは、生成された色空間変換トランスフォームを用いて画像の色を新しい色空間に変換する。
【００３６】
本発明は、適切な処理手段上で実行するコンピュータソフトウェアによって専ら実施できる。よって、本発明は特に、上述の方法を遂行するためのコンピュータソフトウェアにまで及ぶ。コンピュータソフトウェアまたはコンピュータプログラムコードは、コンピュータ可読媒体によって遂行できる。この媒体は、読み取り専用メモリ（ＲＯＭ）チップ等の物理的格納媒体であってよい。代わりにこれは、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）やデジタル多用途ディスク読み取り専用メモリ（ＤＶＤ−ＲＯＭ）等のディスク、または他の好適なコンピュータ可読媒体であってよい。これはまた、有線の電子信号、光信号、または衛星等への無線信号等、信号であってもよい。また本発明は、ソフトウェアまたはコードを実行するプロセッサにまで、例えば上述の方法を遂行するべく構成されたコンピュータにまで及ぶ。
【００３７】
同様に、上の用語「通信インターフェイス」および「プロセッサ」の使用は、限定的ではなく一般的であることを意図する。本発明は好ましくは、パーソナルコンピュータを用いて実施される。実際、本発明は特に、上述のプロセッサを内蔵するコンピュータにまで及ぶ。ただし、本発明はこれに限定されない。例えば、本発明は専用ハードウェアにて実施できる。よってプロセッサは、例えばデジタル信号プロセッサ（ＤＳＰ）や中央演算処理装置（ＣＰＵ）であってよいが、これは、回路を含む他のコンポーネントを用いても等
しく実施できる。かかる回路は、何らかの適切な方法で製造できる。これは例えば、特定用途向け集積回路（ＡＳＩＣ）や複合金属酸化膜半導体（ＣＭＯＳ）回路を備えてよい。同様に、通信インターフェイスは、パーソナルコンピュータとカメラ等、異なる装置間のインターフェイスであってよいが、同様に、メモリから画像を取り出すバス等、装置の内部コンポーネントであってもよい。
【発明を実施するための最良の形態】
【００３８】
これより添付の図面を参照しながら本発明の好適な実施形態を例証としてのみ説明する。
【００３９】
好適な実施形態の詳細な説明
図１を参照して、画像の色を調整するための変換（以下、トランスフォーム：ｔｒａｎｓｆｏｒｍ）を生成する装置１は、本発明を実施するソフトウェアを実行するパーソナルコンピュータ（ＰＣ）２を備える。ソフトウェアは、Ｍａｔｌａｂ（登録商標）、Ｊａｖａ（登録商標）、またはＰｙｔｈｏｎ（登録商標）等、様々な異なるコンピュータプログラミング言語で符号化できる。これは、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）やデジタル多用途ディスク（ＤＶＤ）等のディスクでＰＣ２へ提供でき、またはインターネット等を介してダウンロードできる。ＰＣ２はプロセッサ（図示せず）を有し、同プロセッサは、ソフトウェアコードを処理し、これにより本発明を実施するソフトウェアを実行することをＰＣ２に許す。
【００４０】
ＰＣ２はデジタルカメラ３から出力された画像を受け取る。デジタルカメラ３は従来のものであり、したがってここでは詳述しない。これが出力する画像は複数のピクセルからなる。カメラ３は、画像の各ピクセルを捕らえる３種類の検知器（図示せず）、すなわち大まかに赤光のための１つ、緑光のための１つ、青光のための１つ、を有する。各ピクセルは、３種類の異なる検知器の各々の反応レベルによって、すなわちいわゆるレッド・グリーン・ブルー（ＲＧＢ）信号によって、定義される。以下でより詳しく説明するとおり、ＲＧＢ信号は、「色空間」にて画像のピクセルを定義すると言うことができる。この実施形態において画像は、Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＪＰＥＧ）フォーマットや画像交換フォーマット（ＧＩＦ）等、従来の画像ファイル形式を用いて符号化された画像データとして出力される。画像は、ユニバーサルシリアルバス（ＵＳＢ）接続等、従来のインターフェイスを用いてカメラ３からＰＣ２へ出力できる。
【００４１】
基準反射スペクトルデータベース４にはＰＣ２からアクセスできる。基準反射スペクトルデータベース４は基準反射スペクトルを含み、同基準反射スペクトルの各々は所与の基準物体の既知反射スペクトルである。基準反射スペクトルは、それらと関係する基準物体の指示とともにデータベース４に格納される。この実施形態において、基準反射スペクトルデータベース４は階層的に配置される。よって、各々の基準反射スペクトルと関係する基準物体は、カテゴリ、１つまたは複数のサブカテゴリ、および固有のアイデンティティを持つことができる。基準反射スペクトルは、ＰＣ２によって、しかるべき物体のカテゴリ、サブカテゴリ、または固有アイデンティティを選択することにより、データベース４から取り出すことができる。例えば、秋の楢の葉を表す基準反射スペクトルは、カテゴリ「葉」と、サブカテゴリ「秋の葉」および「楢の葉」と、アイデンティティ「秋の楢の葉」とを持つことができるであろう。その基準反射スペクトルは、固有アイデンティティ「秋の楢の葉」を選択することによってデータベース４から取り出すことができる。代わりに、カテゴリ「葉」を、またはサブカテゴリ「秋の葉」または「楢の葉」を、選択すると、秋の楢の葉の基準反射スペクトルが、同じカテゴリまたはサブカテゴリを持つ基準物体の他の基準反射スペクトルと併せて、取り出される。よって、基準物体がいかに正確に識別されるか次第で１つまたは複数の基準反射スペクトルをデータベース４から取り出すこ
とができる。
【００４２】
この実施形態において、基準反射スペクトルデータベース４は集中的に編纂され、保持される。よってデータベース４は、ＰＣ２からインターネットを介してアクセスできるサーバー上で保持される。分光光度計５は、データベース４を運営する組織がサンプル物体の反射スペクトルを測定するために使用する。これらの測定反射スペクトルは基準反射スペクトルとしてデータベース４へ加えられる。ただし別の実施形態においては、データベース４が分散形態で編纂され、保持される。特に、データベース４はＰＣ２によって格納できる。よって、本発明を実施するためのソフトウェアのように、データベース４は、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）やデジタル多用途ディスク（ＤＶＤ）等のディスクでＰＣ２に提供でき、またはインターネット等を介してダウンロードできる。この場合の分光光度計５は個別ユーザのそれであってよく、同ユーザは独自の反射スペクトルを測定し、それらを基準反射スペクトルとしてデータベース４へ加えることができる。同様に、データベース４は、分光光度計５から直接的に入手するではなく、他のデータベースの、例えば国際標準化機構（ＩＳＯ）の色再現評価のための標準物体の色のスペクトルデータベース（ＳＯＣＳ）（ＩＳＯ／ＴＲ  １６０６６：２００３）の中にある反射スペクトル等、別の供給元から入手した基準反射スペクトルを取り入れることができる。
【００４３】
ＰＣ２は、デジタルカメラ３から受け取る画像の色を調整するため、データベース４の中にある基準反射スペクトルを使用する。このプロセスの管理をユーザに許すため、ＰＣ２はグラフィカルユーザインターフェース（ＧＵＩ）６を生成する。ＧＵＩ６はＰＣ２のモニタ上に表示され、ユーザはＰＣ２のコンピュータマウスおよびキーボード（図示せず）を用いてこれとやり取りできる。
【００４４】
図２を参照して、ＧＵＩ６は、カメラ３から受け取った画像を画像表示エリア７に表示する。カメラ較正表示エリア８は、後述する画像入力補償プロセスに関係する情報を表示する。この実施形態において、ＰＣ２によって遂行される調整プロセスは、推定された反射スペクトルの表示および格納と、新しい色空間に変換された画像の色の表示および格納とに帰結する。反射スペクトルを推定するため、ＰＣ１によって反射スペクトル推定トランスフォームが生成される。このトランスフォームは、画像の色を定義するＲＧＢ信号のレッド、グリーン、およびブルー成分の各々につき１つ、計３つの修正済みスペクトル成分関数として、ＧＵＩ６の反射スペクトル推定トランスフォーム表示エリア９に図式的に表示される。ＧＵＩ６のスペクトル予測表示エリア１０には、反射スペクトルを推定すべき画像のピクセルの色に関する情報が表示され、反射スペクトル表示エリア１１には、反射スペクトル推定トランスフォームを用いて推定される反射スペクトルが図式的に、且つ色度図にて示される。画像の色を新しい色空間に変換するため、ＰＣ２によって色空間変換トランスフォームが生成される。新規色空間表示エリア１２には、新しい色空間を定義するスペクトル感度トランスフォームが射影フィルタとして図式的に表示される。新規色空間表示エリア１３には、変換される画像の色のＲＧＢ信号値と新しい色空間における変換済み値とともに、スペクトル感度トランスフォームを用いて生成される色空間変換トランスフォームが行列として表示される。
【００４５】
画像入力補償
反射スペクトルを推定するため、またはある１つの色空間から別の色空間へ画像の色を変換するため、まずは画像入力補償プロセスが遂行される。画像入力補償プロセスは、画像の生成に用いるカメラ３の異なる波長の光に対する感度と、画像と関係する対象物体に入射する照射スペクトルとを補償する。これは、入力補償画像に基づき入力補償トランスフォームを導出することによって達成され、同入力補償画像は、Ｍａｃｂｅｔｈカラーチャート等、公知のカラースタンダードの画像である。この例で、Ｍａｃｂｅｔｈカラーチ
ャートの画像はカメラ３から受け取る画像に含まれ、上述したものである。
【００４６】
入力補償トランスフォームＸＣは、画像の色を定義するＲＧＢ信号のレッド、グリーン、またはブルー成分の各々についてのスペクトル成分関数を含む。各々のスペクトル成分関数は、ＲＧＢ信号のレッド、グリーン、またはブルー成分の内１つによって表される光のスペクトルの推定を定義する。この実施形態において、入力補償トランスフォームＸＣは３ｘＮ行列を含み、ここでＮは光の可視スペクトルにまたがる波長ビンの数であり、３行の各々はＲＧＢ信号のレッド、グリーン、またはブルー成分の内１つ（またはスペクトル成分関数の内１つ）に関係する。異なる光強度に対するカメラ３の非線形反応を補正するために、ガンマ補正関数ｆγｃも使用される。この実施形態で、ガンマ補正関数ｆγｃはべき乗関数であり、画像のＲＧＢ信号のレッド、グリーン、またはブルー成分の各々についてのそれぞれのガンマ係数γＣは、同べき乗関数の指数を定義する。
【００４７】
入力補償トランスフォームＸＣは、これの生成元にあたる画像に、例えばＭａｃｂｅｔｈカラーチャートの画像を含む画像に固有である。ただし、通常ならば同じカメラ３によって撮像される画像ごとに異なるのは照射スペクトルだけであり、カメラ３の感度は一定を保つから、カメラ３によって生成された任意の画像から生成される入力補償トランスフォームＸＣは、同じカメラ３によって生成される他の画像にも、精度は低下するが、使用できる。これは、画像にＭａｃｂｅｔｈカラーチャートを含め、その画像のための新しい入力補償トランスフォームを生成することが不都合な場合に有益であり得る。よって、曖昧さを回避するため、ＧＵＩ６ではカメラ３の較正として画像入力補償プロセスがユーザに向けて提示され、さらにユーザには、ある特定の画像のためのカメラ較正／画像入力補償プロセスを実行するか否かの選択肢が提示される。
【００４８】
図３を参照して、画像入力補償プロセスをより詳しく考察し、ＰＣ２はステップＳ３０１でカメラ３から画像を受け取る。次のステップＳ３０２は、画像の中でＭａｃｂｅｔｈカラーチャートを探し当てる。ＰＣ２はＧＵＩ６を通じて、画像表示エリア７に表示される画像の中でＭａｃｂｅｔｈカラーチャートの画像をＰＣ２のマウスを使って選択することをユーザに促す。次にＰＣ２はステップＳ３０３で、Ｍａｃｂｅｔｈカラーチャート上の色の各々に関係する画像のピクセルのＲＧＢ信号値を抽出する。Ｍａｃｂｅｔｈカラーチャートの各色が画像の多くのピクセルによって表されることが見込まれる。よって、Ｍａｃｂｅｔｈカラーチャートの各色を表すピクセルの平均ＲＧＢ信号が算出される。Ｍａｃｂｅｔｈカラーチャートは２４通りの色を有するから、ＭａｃｂｅｔｈカラーチャートのＲＧＢ信号値は２４ｘ３行列ＲＣによって表すことができる。
【００４９】
ステップＳ３０４では、ガンマ補正係数γＣが１に設定され入力補償トランスフォームＸＣが生成される。ステップＳ３０５では、画像のＲＧＢ信号値ＲＣからＭａｃｂｅｔｈカラーチャートの色の反射スペクトルＳ∧Ｃを推定するために、生成された入力補償トランスフォームＸＣとガンマ補正係数γＣとが使われる。次に、推定した反射スペクトルＳ∧ＣをＭａｃｂｅｔｈカラーチャートの色の既知の反射スペクトルＳＣと比較する。この実施形態で、推定反射スペクトルＳ∧Ｃと既知の反射スペクトルＳＣはいずれも２４ｘＮ行列を含み、ここでＮは光の可視スペクトルにまたがる波長ビンの数であり、２４行の各々はＭａｃｂｅｔｈカラーチャートの色を表す。既知の反射スペクトルＳＣはＰＣ２のメモリ１４から取り出され、この実施形態においてこれはＰＣ２のハードドライブに格納されるデータファイルであるが、代わりに、ＰＣ２からインターネット等を介してアクセスできるデータベースであってもよい。ステップＳ３０６では、推定された反射スペクトルＳ∧Ｃが既知の反射スペクトルＳＣに可能な限り最も近いか否かを判断する。可能な限り最も近くなければ、ステップＳ３０７でガンマ補正係数γＣを調整し、ステップＳ３０４で新しい入力補償トランスフォームＸＣを生成し、ステップＳ３０５で新しい推定された反射スペクトルＳ∧Ｃを計算する。推定された反射スペクトルＳ∧Ｃが既知の反射スペク
トルＳＣに可能な限り最も近ければ、ステップＳ３０８で入力補償トランスフォームＸＣとガンマ補正係数γＣとが入力補償トランスフォームデータベース１５に格納される。この実施形態においても、入力補償トランスフォームデータベース１５はＰＣ２のハードドライブに格納されたデータファイルを含むが、代わりに、ＰＣ２からインターネット等を介してアクセスできるデータベースであってもよい。入力補償トランスフォームＸＣの生成と画像入力補償プロセスはステップＳ３０９で完了する。
【００５０】
この実施形態で、ステップＳ３０４からＳ３０７は、
【００５１】
【数１】
2008532401.tif 000003
【００５２】
の誤差関数を入力補償トランスフォームＸＣに関しては極小化することにより、ガンマ補正係数γＣに関しては非負最小二乗を制約なし線形最適化に組み合わせることにより、実施され、ここで角括弧＜＞はアンサンブル平均を示す。
【００５３】
反射スペクトルの推定
導出された入力補償トランスフォームＸＣは、画像内の対象物体の反射スペクトルを推定するために使用できる。ただし、入力補償トランスフォームＸＣのスペクトル成分関数はＭａｃｂｅｔｈカラーチャートの色のために最適化されている。よって次のステップは、画像と関係する対象物体の反射スペクトルを考慮に入れて反射スペクトル推定トランスフォームＸＳを導出するため、入力補償トランスフォームＸＣのスペクトル成分関数を修正することである。ただし、対象物体の反射スペクトルは直接的にはわからない。よって、反射スペクトル推定トランスフォームＸＳは、基準反射スペクトルデータベース４の中にある基準反射スペクトルを用いて導出する。
【００５４】
図４を参照しながらより詳細に、このプロセスはステップＳ４０１で始まり、ステップＳ４０２ではカメラ３から画像を受け取る。この実施形態において、受け取る画像は、入力補償トランスフォームＸＣの導出のときに用いたものと同じである。換言すると、この画像はＭａｃｂｅｔｈカラーチャートと対象物体の両方の画像を含む。ただし、本発明はこれに限定されず、入力補償トランスフォームＸＣは別の画像から導出でき、あるいは別の方法を用いて取得できる。よってステップＳ４０３では、図３を参照しながら上述した入力補償プロセスを用いて導出される入力補償トランスフォームＸＣを、または別の好適な入力補償トランスフォームＸＣを、入力補償トランスフォームデータベース１５から取り出す。
【００５５】
ＰＣ２はステップＳ４０４で、反射スペクトル推定トランスフォームＸＳの導出に用いる基準反射スペクトルＳＳを基準反射スペクトルデータベース４から選択することを、ＧＵＩ６を通じてユーザに促す。上述したとおり、各々の基準反射スペクトルは、物体のカテゴリ、サブカテゴリ、および／または物体に固有のアイデンティティとともに、例えば葉、秋の葉、楢の葉、および／または秋の楢の葉等とともに、データベース４に格納される。ユーザは、画像の中の対象物体に最も厳密に合致するカテゴリ、サブカテゴリ、および／または固有アイデンティティを、ＧＵＩ６を通じて選択する。
【００５６】
ステップＳ４０５では、選択された基準反射スペクトルＳＳを用いて反射スペクトル推定トランスフォームＸＳが導出される。まず、選択された基準反射スペクトルＳＳを最も良く表すカメラ３の模擬反応レベルＲＳ（ならびに入射照射スペクトル）を、入力補償トランスフォームＸＣを用いて推定する。より具体的には、誤差関数
【００５７】
【数２】
2008532401.tif 000004
【００５８】
は、模擬反応レベルＲＳに関しては非負最小二乗を用いて極小化され、ここで角括弧＜＞はアンサンブル平均を示し、Ｔは行列の転置を表す。次に、模擬反応レベルＲＳを用いて反射スペクトル推定トランスフォームＸＳを導出する。ここでもより具体的には、誤差関数
【００５９】
【数３】
2008532401.tif 000005
【００６０】
は、反射スペクトル推定トランスフォームＸＳに関しては非負最小二乗を再び用いて極小化され、角括弧＜＞はアンサンブル平均を示す。反射スペクトル推定トランスフォームＸＳは、ＲＧＢ信号のレッド、グリーン、およびブルー信号成分の各々につき修正されたスペクトル成分関数を含む。
【００６１】
ユーザはステップＳ４０６で、反射スペクトルの推定が望まれる画像のピクセルを選択できる。そのピクセルのＲＧＢ信号値Ｒｍは画像から取り出され、ステップＳ４０７では、ピクセルのＲＧＢ値Ｒｍと、導出された反射スペクトル推定トランスフォームＸＳと、強度補正関数ｆγｃとから、ピクセルについて推定された反射スペクトルＳｍが生成される。より具体的には、式
【００６２】
【数４】
2008532401.tif 000006
【００６３】
は、推定された反射スペクトルＳｍを求めるために使用する。ステップＳ４０８では、ＧＵＩ６の反射スペクトル表示エリア１１にピクセルについて推定された反射スペクトルＳｍが図式的に、且つ色度図にて、表示される。これはまた、ＰＣ２のメモリに格納される。本プロセスはステップＳ４０９で終了する。
【００６４】
新しい色空間への変換
カメラ３から受け取った画像の色は新しい色空間に変換することもできる。これは、画像の色を新しい色空間に変換する色空間変換トランスフォームＰを生成することによって達成する。この実施形態では、ＲＧＢ色空間からＣｏｍｍｉｓｓｉｏｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌｅ  ｄ’Ｅｃｌａｉｒａｇｅ  ＣＩＥ  ＸＹＺ色空間へ画像の色を変換する。ＲＧＢ色空間は、異なる波長の光に対するカメラ３の感度と、画像と関係する対象物体に入射する照射スペクトルとの組み合わせによって定義される。ＣＩＥ  ＸＹＺ色空間は、ＣＩＥ  ＸＹＺ規格のスペクトル分布によって定義される。
【００６５】
図５を参照しながらより詳細に、色変換プロセスはステップＳ５０１で始まり、ステップＳ５０２ではカメラ３から画像を受け取る。この実施形態において、受け取る画像は、入力補償トランスフォームＸＣの導出のときに用いたものと同じである。換言すると、この画像はＭａｃｂｅｔｈカラーチャートと対象物体の両方の画像を含む。ただし、本プロ
セスはこれに限定されず、入力補償トランスフォームＸＣは別の画像から導出でき、あるいは別の方法を用いて取得できる。よってステップＳ５０３では、図３を参照しながら上述した入力補償プロセスを用いて導出される入力補償トランスフォームＸＣを、または別の好適な入力補償トランスフォームＸＣを、入力補償トランスフォームデータベース１５から取り出す。
【００６６】
ＰＣ２はステップＳ５０４で、色空間変換トランスフォームＰの生成に用いる基準反射スペクトルＳＳを基準反射スペクトルデータベース４から選択することを、ＧＵＩ６を通じてユーザに促す。上述したとおり、各々の基準反射スペクトルは、物体のカテゴリ、サブカテゴリ、および／または物体の識別子とともに、例えば葉、秋の葉、楢の葉、および／または秋の楢の葉等とともに、格納される。ユーザは、画像の中の対象物体に最も厳密に合致するカテゴリ、サブカテゴリ、および／または物体識別子を、ＧＵＩ６を通じて選択する。
【００６７】
ステップＳ５０５では、図４を参照しながら上述した反射スペクトル推定プロセスと同様に、選択された反射スペクトルＳＳを最も良く表すカメラ３の模擬反応レベルＲＳを、入力補償トランスフォームＸＣを用いて推定する。換言すると、模擬反応レベルＲＳに関し、上記誤差関数（２）は非負最小二乗を用いて極小化される。ステップＳ５０６では、ＣＩＥ  ＸＹＺ空間における強度レベルを完全スペクトル情報にトランスフォームするＣＩＥ  ＸＹＺスペクトル感度トランスフォームＸＸＹＺがスペクトル感度データベース１６から取り出される。この実施形態において、スペクトル感度データベース１６はＰＣ２のハードドライブに格納されたデータファイルであるが、代わりに、ＰＣ２からインターネット等を介してアクセスできるデータベースであってもよい。トランスフォームＸＸＹＺはＣＩＥ  ＸＹＺ規格によって定義されており、しばしばカラーマッチング関数と呼ばれる。ここでスペクトル感度トランスフォームＸＸＹＺは、新しい色空間で選択される基準反射スペクトルＳＳを最も良く表す強度レベルＲＸＹＺを導出するために使われる。換言すると、式
【００６８】
【数５】
2008532401.tif 000007
【００６９】
は、新しい色空間で強度レベルＲＸＹＺを導出するために使用する。
かくして、ＲＧＢ色空間とＣＩＥ  ＸＹＺ色空間において選択された反射スペクトルＳＳを最も良く表す強度レベルＲＳ、ＲＸＹＺが推定され、導出された。ここで、強度レベルＲＳ、ＲＸＹＺ間のマッピングを計算することにより、これらの強度レベルＲＳ、ＲＸＹＺから比較的単純に色空間変換トランスフォームＰを生成することができる。より具体的に、式
【００７０】
【数６】
2008532401.tif 000008
【００７１】
を反転によって解くことにより、ＲＧＢ値ＲＳを所望のＣＩＥ  ＸＹＺ空間値ＲＸＹＺへ直に変換する、３ｘ３行列の形をとる、色空間変換トランスフォームＰを求める。
【００７２】
説明した本発明の実施形態は、本発明をいかに実施できるかを伝える例に過ぎない。当業者なら、説明した実施形態への修正、変化、変更を思いつくであろう。これらの修正、
変化、変更は、請求項とこれの均等物において定める本発明の精神と範囲から逸脱することなく施すことができる。
【図面の簡単な説明】
【００７３】
【図１】画像の色を調整するためのトランスフォームを生成する装置の概略図。
【図２】図１の装置のパーソナルコンピュータのグラフィカルユーザインターフェースの図。
【図３】図１の装置のデジタルカメラによって生成される画像のための入力補償トランスフォームを生成する方法を示すフローチャート。
【図４】反射スペクトルを推定する方法を示すフローチャート。
【図５】画像の色を新しい色空間に変換する方法を示すフローチャート。
【図１】
2008532401.tif 000009
【図３】
2008532401.tif 000010
【図４】
2008532401.tif 000011
【図５】
2008532401.tif 000012
【図２】
2008532401.tif 000013
【国際調査報告】
2008532401.tif 000014
2008532401.tif 000015
2008532401.tif 000016
2008532401.tif 000017
2008532401.tif 000018