(57)【要約】【課題】従来のカラー画像処理装置により被写体の分光反射率を推定するためには、カラー画像信号入力装置の分光感度と画像取得時の照明光スペクトルの情報が必要であるが、その分光感度特性を正確に測定することは難しく、個体差や経時変化等により提供されているデータでは十分ではなかった。【解決手段】カメラに撮影された画像データと、同時に撮影された指定チャートに関する情報及び被写体に関する情報がヘッド情報と、がメモリカード内に書き込まれ、画像処理装置ではメモリカードから読み出された指定チャートに関する情報を利用して、画像データが被写体の分光反射率に変換されるカラー画像処理装置である。【選択図】図１
2008206163.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影するデジタルカメラと、
撮影された画像を画像データとして記憶するメモリカードと、
上記メモリカードに記憶された上記画像データを読み出して、カラー画像に変換する色変換部と、で構成されるカラー画像装置において、
上記被写体と同時に撮影された指定チャートの情報に関わる情報と、撮影された上記被写体に関わる情報と、を画像データのヘッダ情報として、上記メモリカードに記憶し、
上記色変換部では、上記メモリカードから読み出された上記ヘッダ情報における上記指定チャートの情報と上記被写体に関わる情報を利用して、上記画像データが上記被写体の分光反射率、又はＸＹＺデータ、又はＲＧＢ画像のいずれかに変換されることを特徴とするカラー画像処理装置。
【請求項２】
上記指定チャートの情報は、該指定チャートの分光反射率の基底関数からなることを特徴とする請求項１に記載のカラー画像処理装置。
【請求項３】
上記指定チャートの情報は、該指定チャートの分光反射率の基底関数と、該指定チャートを構成する各色票の展開係数データとからなることを特徴とする請求項１に記載のカラー画像処理装置。
【請求項４】
上記被写体に関わる関数は、被写体基底関数からなることを特徴とする請求項１、２又は３に記載のカラー画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像信号から被写体の分光反射率を推定するカラー画像処理装置に関する。
【背景技術】
【０００２】
近年のカラー画像機器の普及に伴い、カラースキャナーやデジタルカメラ等のカラー画像信号入力装置により取得されたカラー画像信号から、元の被写体の色を正確にモニタ等の画像表示装置やプリンタ等の印刷装置により再現することが重要視されつつある。
【０００３】
また、これらカラー画像信号の色情報の正確な伝達・再現は、複数の装置間を回線で繋ぐネットワークの普及に伴い今後の発展が期待される遠隔医療による診察・診断や、電子ショッピング等のシステムを構築するうえでも重要な技術的要素である。
【０００４】
正確な色再現が可能なシステムを構築する上では、まずカラー画像信号入力装置により取得されたカラー画像信号から被写体の色情報を正確に推定することが必要となる。色情報を定量的に扱う手法としては、国際照明委員会（ＣＩＥ）が定めた等色関数と称される、人の視覚の分光感度に対応した波長λの関数ｘ（λ）、ｙ（λ）、ｚ（λ）と被写体のスペクトルｗ（λ）を用いて次の式（１）で表わされるＸＹＺ表色系もしくはこのＸＹＺ表色系を基とした均等色空間が広く用いられている。
【数１】
2008206163.tif 000003
【０００５】
ここで、Ｋは定数である。カラー画像信号入力装置により取得されたカラー画像信号から被写体の色情報を正確に求めるためには、取得されたカラー画像信号から取得時の照明光下、若しくはそれと異なる照明光下における被写体のＸＹＺ値を正確に推定することが課題となる。
【０００６】
任意の被写体に対して、カラー画像信号取得時の照明光下における被写体のＸＹＺ値を正確に求めるためには、カラー画像信号入力装置の分光感度が等色関数と線形変換の関係となっていなければならない。
【０００７】
ルータ条件と呼ばれる、この条件が満たされている場合にのみ、任意の被写体に対してカラー画像信号からＸＹＺ値へは線形変換により正確に変換可能であることが知られている。この変換関係は、カラー画像信号入力装置の分光感度と等色関数との関係から求められるが、３種類以上の独立なＸＹＺ値をもつ被写体のカラー画像信号と、ＸＹＺ値との対応から間接的に求めることも可能である。
【０００８】
通常、カラー画像信号入力装置の分光感度特性を正確に測定することは難しいため、後者の方法によりカラー画像信号値からＸＹＺ値への変換関係が求められる。また、カラー画像信号入力装置の分光感度特性が厳密にルータ条件を満たしていない場合には、任意の被写体に対しては、カラー画像信号から正確なＸＹＺ値を求めることはできない。しかし、限定された被写体に対しては、多数の色についてのカラー画像信号とＸＹＺ値との対応関係から最小自乗的に変換関係を求めることができる。
【０００９】
このようなカラー画像信号入力装置により取得されたカラー画像信号から色情報を求めるための被写体として用いられるカラーチャートのフォーマットは、ＩＳＯ  ＩＴ８．７により標準化されており、フィルムメーカー数社から提供されている。
【００１０】
前述した任意の被写体に対してカラー画像信号を取得する際の撮影照明光と異なる観察照明光下における被写体の色情報を求めるためには、カラー画像入力装置の分光感度と撮影照明光スペクトルの積が等色関数と観察照明光スペクトルの積と線形変換の関係を満たさなければならない。
【００１１】
このような条件は、照明光スペクトルに依存するため、一般には現実的ではない。そのため、撮影時と異なる照明光下での被写体の色情報を推定するためには、被写体の分光反射率を求めることが必要となる。
【００１２】
任意の被写体に対して、高精度にその分光反射率を推定するためには、例えば特許文献１に開示されているように、多数の狭帯域の分光感度特性を有するバンド撮影画像からそのスペクトルを推定し、照明光スペクトルで割ることにより被写体の分光反射率を求める方法が考えられる。
【００１３】
また、非特許文献１に開示されているように、被写体が人の肌など特定の対象物 に限定され、且つその分光反射率が少数の基底関数の線形和により表わされる場合、被写体の分光反射率を表わす基底関数の数と同数もしくは、それ以上のバンド数のカラー画像信号からその分光反射率を推定することが可能となる。
【特許文献１】特開平９−１７２６４９号公報
【非特許文献１】Journal of Imaging Science and Technology Vol.40, No.5, Sept/Oct. 1996. p422-p430
【発明の開示】
【発明が解決しようとする課題】
【００１４】
これらの方法においては、いずれもカラー画像信号入力装置の分光感度に加え、カラー画像信号の取得時における照明光スペクトルの情報が必要となる。しかし、カラー画像信号入力装置の分光感度特性を正確に測定することは通常難しく、一般には個体差や経時変化等によりカラー画像信号入力装置のメーカーにより提供されるデータでは十分高精度なデータが得られない。
【００１５】
また、撮影環境の照明光スペクトル情報を取得するためには、撮影時に分光光度計等の装置が必要となり、従来のカラー画像入力装置を用いたシステムにおいては簡便であるとはいえない。  
そこで本発明は、カラー画像信号入力装置の分光感度特性や、その分光感度特性とカラー画像信号入力時の照明光スペクトルとが未知の場合でも、カラー画像信号入力装置により取得された被写体のカラー画像信号から被写体の分光反射率を推定するカラー画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明は上記目的を達成するために、被写体を撮影するデジタルカメラと、撮影された画像を画像データとして記憶するメモリカードと、上記メモリカードに記憶された上記画像データを読み出して、カラー画像に変換する色変換部と、で構成されるカラー画像装置において、上記被写体と同時に撮影された指定チャートの情報に関わる情報と、撮影された上記被写体に関わる情報と、を画像データのヘッダ情報として、上記メモリカードに記憶し、上記色変換部では、上記メモリカードから読み出された上記ヘッダ情報における上記指定チャートの情報と上記被写体に関わる情報を利用して、上記画像データが上記被写体の分光反射率、又はＸＹＺデータ、又はＲＧＢ画像のいずれかに変換するカラー画像処理装置を提供する。
【発明の効果】
【００１７】
本発明によれば、カラー画像信号入力装置の分光感度特性や、その分光感度特性とカラー画像信号入力時の照明光スペクトルとが未知の場合でも、カラー画像信号入力装置により取得された被写体のカラー画像信号から被写体の分光反射率を推定するカラー画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明の実施形態について詳細に説明する。  
まず本発明によるカラー画像処理装置の概要について説明する。  
本発明では、分光反射率が既知の対象物の分光反射率情報及び、カラー画像信号入力装置により取得した分光反射率が既知の対象物のカラー画像信号値と分光反射率が未知の被写体のカラー画像信号値とから被写体の分光反射率を推定する。
【００１９】
カラー画像入力装置としてＬ個の異なる分光感度（バンド）を有するカメラを例として、カラー画像信号値から被写体の分光反射率を推定する方法について説明する。
【００２０】
カメラのｋ番目のバンドの分光感度をｈｋ(λ）（ｋ＝１〜Ｌ）、撮影照明光 のスペクトルをＳ(λ)、被写体の分光反射率をｐ(λ)とし 、このｐ(λ)がＬ個 の基底関数ｅｌ(λ) （ｌ＝１〜Ｌ）により展開可能な統計的性質を有する被写 体であるとする。被写体を撮影照明光下においてｋ番目のカメラ感度により撮影して得られる信号値ｑｋは、カメラ感度が入射光強度に対して線形な応答をすると仮定すると次式により与えられる。
【数２】
2008206163.tif 000004
【００２１】
ここで、被写体の分光反射率ｐ(λ) がＬ個の基底関数ｅｌ(λ) （ｌ＝１〜Ｌ）で展開できることから、ｐ(λ) は展開係数ｃｌ(λ)（ｌ＝１〜Ｌ）を用いて、  
【数３】
2008206163.tif 000005
【００２２】
（３）式として表わされる。これより（２）式は、
【数４】
2008206163.tif 000006
【００２３】
但し、  
【数５】
2008206163.tif 000007
【００２４】
である。Ｌ個のカメラ感度について（４）式の信号値が得られるので、
【数６】
2008206163.tif 000008
【００２５】
と表わされ、この（６）式の各マトリクスをそれぞれＱ，Ａ，Ｃとし、  
【数７】
2008206163.tif 000009
【００２６】
と表わすと、被写体の分光反射率の各基底関数の展開係数ｃｌ（ｌ＝１〜Ｌ)の 推定ベクトルＣは、次式
【数８】
2008206163.tif 000010
【００２７】
により与えられる。（８）式でＱは既知の観測値であるから、Ａが求まればＣが得られる。このＣが求まると、（３）式より被写体の分光反射率ｐ(λ)を求めることが可能となる。
【００２８】
Ａを求めるために、分光反射率が既知のＭ枚の色票を撮影する。ｍ番目の色票の分光反射率をｆｍ(λ) （ｍ＝１〜Ｍ）とする。色票の分光反射率ｆｍ (λ)が Ｍ個の基底関数ｖｎ(λ)（ｎ＝１〜Ｍ）により展開可能であるとするとｆｍ(λ)は展開係数ｂｍｎ（ｎ＝１〜Ｍ）を用いて、  
【数９】
2008206163.tif 000011
【００２９】
と表される。ｋ番目のカメラ感度によるｍ番目の色票の撮影信号値ｇｋｍは、  
【数１０】
2008206163.tif 000012
【００３０】
と表され、（９）式、（１０）式より、
【数１１】
2008206163.tif 000013
【００３１】
但し、  
【数１２】
2008206163.tif 000014
【００３２】
である。Ｌ個のカメラ感度について（１１）式の信号値が得られるので、
【数１３】
2008206163.tif 000015
【００３３】
この（１３）式の各マトリクスをそれぞれＧ、Ｄ、Ｂとすると、  
【数１４】
2008206163.tif 000016
【００３４】
となる。このように表わすと、（１４）式よりＤは、
【数１５】
2008206163.tif 000017
【００３５】
と表される。（１５）式において、Ｇは観測値、Ｂは予め求めた色票の分光反射率の各基底関数に対応する展開係数であるから、Ｄが求められる。  
次に、被写体の分光反射率の基底関数ｅｌ(λ)（ｌ＝１〜Ｌ）を色票の分光反射率の基底関数ｖｎ(λ)（ｎ＝１〜Ｍ）で展開すると、基底関数ｅｌ(λ)は展開係数Ｏｌｎを用いて
【数１６】
2008206163.tif 000018
【００３６】
と表わされる。ただし、δｌ(λ)は展開誤差である。（１６）式を（５）式に代入すると、
【数１７】
2008206163.tif 000019
【００３７】
となる。この（１７）式から  
【数１８】
2008206163.tif 000020
【００３８】
と表わすと、展開誤差δｌ(λ)により生じる項Δが無視できる場合、Ａの推定ベクトルＡ'は、
【数１９】
2008206163.tif 000021
【００３９】
被写体の分光反射率の各基底関数の展開係数ベクトルＣの推定ベクトルＣ'は、  
【数２０】
2008206163.tif 000022
【００４０】
となり、この（２０）式において、Ｑは被写体の撮影信号、Ｏは被写体の基底関数を色票の基底関数で展開した展開係数、Ｂは色票の分光反射率の各基底関数の展開係数、Ｇは色票の撮影信号である。
【００４１】
よって、分光反射率が既知の色票を撮影することにより、Ｇを求め、予め求めた色票の分光反射率の各基底関数の展開係数Ｂ、予め算出した被写体の基底関数の展開係数Ｏと被写体の撮影信号Ｑとから、（２０）式より、被写体の分光反射率の基底関数の展開係数が求められる。被写体の基底関数と展開係数Ｃより、被写体の分光反射率が算出される。
【００４２】
特に被写体の基底関数ｅｌ(λ)と色票の基底関数ｖｎ(λ)が一致する場合、Ｏは単位行列となり、Ｃの推定ベクトルＣ'は、  
【数２１】
2008206163.tif 000023
【００４３】
となる。（２１）式から、色票の分光反射率の基底関数と被写体の分光反射率の基底関数が一致する場合、基底関数の数と同数のバンド数のカメラにより撮影した色票撮影画像信号Ｇを用いて、被写体の撮影信号Ｑからその分光反射率を求めることが可能となる。
【００４４】
そして被写体の分光反射率が色票の基底関数により展開可能であると、（２１）式におけるＣ'を色票の分光反射率の基底関数の展開係数とすることにより、 被写体の分光反射率を色票の分光反射率の基底関数の線形和として求めることができる。
【００４５】
この場合、被写体の分光反射率の基底関数が未知でも色票の分光反射率の基底関数の数以上のバンド数のカメラにより被写体の分光反射率を求めることができる。また、被写体の分光反射率の基底関数が既知であり、かつ色票の分光反射率の基底関数により展開可能であるならば、（２０）式より被写体の基底関数の数と同数のバンド数のカメラにより撮影した色票撮影画像信号Ｇを用いて、被写体の撮影信号Ｑからその分光反射率を求めることが可能となる。
【００４６】
次に、色票撮影時と被写体撮影時において照明光が異なる場合を考える。  
被写体撮影時の照明光スペクトルＳＯ(λ)、とすると（２）式は、  
【数２２】
2008206163.tif 000024
【００４７】
となり、（５）式は、
【数２３】
2008206163.tif 000025
【００４８】
と表わされる。色票撮影時の照明光スペクトルをＳＣ (λ)とすると、（１０）式は、  
【数２４】
2008206163.tif 000026
【００４９】
となり、（１１）式は、
【数２５】
2008206163.tif 000027
【００５０】
と表わされる。  
【数２６】
2008206163.tif 000028
【００５１】
と
【数２７】
2008206163.tif 000029
【００５２】
とおき、ｅｌ'(λ)をｖｎ'(λ)で展開すると、ｅｌ'(λ)は展開係数Ｏ'ｌｎを用いて、  
【数２８】
2008206163.tif 000030
【００５３】
と表される。（２８）式、（２３）式から、
【数２９】
2008206163.tif 000031
【００５４】
となり、この（２９）式を  
【数３０】
2008206163.tif 000032
【００５５】
と表わす。そして展開誤差δ'ｌ(λ)による項Δ'が無視できる場合、Ａの推定ベクトルＡ'は、
【数３１】
2008206163.tif 000033
【００５６】
となる。そして被写体の分光反射率の各基底関数の展開係数ベクトルＣの推定ベクトルＣ'は、  
【数３２】
2008206163.tif 000034
【００５７】
となる。
【００５８】
この（３２）式において、Ｑは被写体の撮影信号、Ｏ'は（２８）式の被写体 の分光反射率の基底関数と被写体撮影光スペクトルの積を色票の分光反射率の基底関数と色票撮影光スペクトルの積で展開した展開係数、Ｂは色票の分光反射率の各基底関数の展開係数、Ｇは色票の撮影信号である。
【００５９】
よって、分光反射率が既知の色票を撮影することにより、Ｇを求め、予め求めた色票の分光反射率の各基底関数の展開係数Ｂ、予め算出したＯ'と被写体の撮 影信号Ｑとから、（３２）式より被写体の分光反射率の基底関数の展開係数が求められる。
【００６０】
被写体の分光反射率の基底関数と展開係数Ｃより、被写体の分光反射率が算出される。
【００６１】
本発明では、カメラの分光感度及び撮影照明光のスペクトルが未知の場合でも、被写体の分光反射率の基底関数を展開可能な分光反射率の基底関数を有する対象物の撮影信号を用いて、被写体の撮影信号から被写体の分光反射率を推定する。
【００６２】
また、色票撮影照明と被写体撮影照明が異なる場合でも、色票撮影照明光スペクトルと被写体撮影照明光スペクトルが既知であれば、被写体の撮影信号から被写体の分光反射率を推定することができる。
【００６３】
前述した分光反射率推定において、正確に分光反射率を推定するためには分光反射率が既知の対象物の分光反射率が満たさなければならない条件が生じる。それぞれの条件を満たす対象物を予め作成することにより既存の対象物を用いる場合よりも正確な分光反射率の推定が可能となる。
【００６４】
上記分光反射率推定方法では、分光反射率が既知の色票の分光反射率の基底関数の数と色票の数が一致しているとして説明したが、異なる場合についても同様な手法により適用可能である。
【００６５】
また、被写体の分光反射率の基底関数の数とカラー画像信号入力装置の有するバンド数は一致していると仮定したが、異なる場合についても拡張可能であり、通常のデジタルカメラのように、３バンドの入力装置にも適用可能である。  
分光反射率が既知の対象物として、色票を例に説明したが、色票と同様の分光反射率をもつ対象物であれば、任意の対象物を本手法に適用することが可能である。
【００６６】
次に図１には、本発明によるカラー画像処理装置の第１の実施形態の構成例を示し説明する。  
本実施形態は、カラー画像を撮影等により入力するカラー画像入力装置１と、同一照明光Ａの下に配置された指定チャート２及び被写体３と、観察照明光スペクトルデータを記憶する観察照明光スペクトルデータ保存部４と、例えば、同一照明光Ａの下に配置された指定チャート２及び被写体３を順次または、同時にカラー画像入力装置１で撮影し、出力されるそれぞれ画像信号Ｇ及びＱと予め画像処理装置内部に保存していた色票基底関数データ、色票展開係数データ、等色関数データとから被写体３の分光反射率、ＸＹＺ値を推定し、ＲＧＢ信号を出力する画像処理装置５と、ＲＧＢ信号から被写体のカラー画像を表示するＣＲＴモニタ６とで構成される。
【００６７】
本実施形態では、画像処理装置により推定した被写体の分光反射率から観察照明光下におけるＸＹＺを求め、更にカラー画像としてＣＲＴモニタに表示すること を例としているが、勿論これに限定されるものではなく、液晶ディスプレイやプラズマディスプレイ等の表示装置やカラープリンタ等の印刷装置に対する表示・印刷にも適用可能である。また、分光反射率、XYZ値のデータとしての保存も可 能である。
【００６８】
このように構成されたカラー画像処理装置において、カラー画像入力装置１で指定チャート２及び被写体３を同時に撮影した場合、指定チャート２の画像信号を画像処理装置５内にて図示しない指定チャート抽出装置により被写体撮影信号から抽出する。
【００６９】
カラー画像入力装置１は、図５（ａ）に示すように、カメラレンズ１０１、フィルタターレット１０２に装着される複数の干渉フィルタ１０３の透過光を半導体撮像素子例えば、ＣＣＤ１０４上に結像する。
【００７０】
これらの干渉フィルタ１０３は、図５（ｂ）に模式的に示すような円形のフィルタターレット１０２に装着されており、モータ１０５によりフィルタターレット１０２が回転され、各干渉フィルタ１０３が順次、カメラレンズ１０１の後面に装填され、対応するバンドの画像がＣＣＤ１０４で撮影される。このＣＣＤ１０４は、例えば、６４０画素×４８０画素の画素数を有している。勿論画素数は限定されるものではない。
【００７１】
ＣＣＤ１０４により撮影された画像の出力信号は、上記画像処理装置５に送出される。
【００７２】
次に図７には前述した指定チャート２の一例を示す。この指定チャート２は、１０枚の色票から構成されており、各色票の分光反射率は、独立な１０個の基底関数により展開可能である。カラー画像入力装置１により取得された画像信号Ｇ及びＱは、１０枚の６４０画素×４８０画素サイズ、各画素１０ビットの画像データとして画像処理装置５に入力される。
【００７３】
そして、画像信号Ｇ及びＱが入力された画像処理装置５は、さらに観察照明光スペクトルデータ保存部４から観察照明光スペクトルデータを入力する。この観察照明光スペクトルデータは、３８０nmから７８０nmまでの波長領域における１nm間隔の観察照明光の強度値からなる。
【００７４】
この画像処理装置５では、これらの入力データおよび予め画像処理装置内部に保存していた色票基底関数データ、色票展開係数データ、等色関数データとから被写体の分光反射率、ＸＹＺ値を推定し、さらにＣＲＴモニタ６の特性データから観察側照明光下における被写体３のＸＹＺ値をＣＲＴモニタ６画面上に表示するためのＲＧＢ信号を出力する。そしてＣＲＴモニタ６は、画像処理装置により出力されたＲＧＢ信号を入力し、被写体のカラー画像を表示する。
【００７５】
次に図２を参照して、本実施形態の画像処理装置５の構成について詳細に説明する。
【００７６】
この画像処理装置５は、大別すると、分光反射率算出部７、三刺激値算出部８、およびＲＧＢ値算出部９から構成されている。
【００７７】
まず、分光反射率算出部７は、複数の色票からなる指定チャートの撮影画像から各色票に対応する撮影信号値の平均値を適当な領域について算出し、色票撮影信号として保存する色票撮影信号保存部１１と、予め求められている指定チャート内の各色票の分光反射率の各基底関数に対応する展開係数を保存する色票展開係数保存部１２と、カラー画像入力装置１から入力された被写体撮影信号Ｑ、色票撮影信号保存部１１から入力された色票撮影信号Ｇ、および色票展開係数保存部１２から入力された展開係数Ｂとから被写体の展開係数Ｃを算出する被写体展開係数算出部１０と、色票基底関数ｖｎ(λ)（ｎ＝１〜１０）を保存する色票基底関数保存部１４と、被写体展開係数算出部１０より算出された展開係数Ｃおよび色票基底関数保存部１４より出力された被写体の基底関数ｖｎ(λ)（ｎ＝１〜１０）とから被写体の分光反射率ｐ(λ)を算出する分光反射率合成部１３とで構成される。
【００７８】
図３には、上記被写体展開係数算出部１０の構成を示し説明する。  
色票展開係数保存部１２から入力された展開係数Ｂから逆行列演算部Ａ１９により算出された展開係数Ｂの逆行列Ｂ−１及び色票撮影信号保存部１１から入力された色票撮影信号Ｇを行列乗算部Ａ２０に入力し、行列ＧＢ−１を算出する。算出されたＧＢ−１を逆行列演算部Ｂ２１に入力し、逆行列（ＧＢ−１）−１とした後に、行列乗算部Ｂ２２に入力する。この行列乗算部Ｂ２２では、更に被写体撮影信号Ｑを入力し、逆行列演算部Ｂ２１により出力された（ＧＢ−１）−１とから展開係数Ｃ＝（ＧＢ−１）−１Ｑを算出する。
【００７９】
次に図４に分光反射率合成部１３の構成を示し説明する。  
この分光反射率合成部１３は、色票基底関数ｖｎ(λ)と対応する被写体展開係数Ｃを乗算する基底係数乗算部２３と、分光反射率を算出する基底関数積算部２４とで構成される。
【００８０】
まず、基底係数乗算部２３では、被写体展開係数算出部１０から入力された被写体展開係数Ｃ及び色票基底関数保存部１４から入力された色票基底関数ｖｎ(λ)から各色票基底関数ｖｎ(λ)と対応する被写体展開係数Ｃ＝Ｃｎ（ｎ＝１〜１０）を乗算し、基底関数積算部２４に出力する。
【００８１】
そして基底関数積算部２４では、基底係数乗算部２３から入力したデータを波長ごとに全ての基底関数ｃｎｖｎ（λ）（ｎ＝１〜１０）について加算し、分光反射率を算出する。
【００８２】
次に図２に示した三刺激値算出部８では、分光反射率算出部７で算出された被写体の分光反射率、観察照明光スペクトルデータ保存部４から入力された観察照明光スペクトルデータ及び、等色関数データ保存部１５に予め保存されている等色関数データとから、三刺激値演算部１６において、被写体の観察照明光下における三刺激値ＸＹＺを算出し、ＲＧＢ値算出部９に出力する。
【００８３】
このＲＧＢ値算出部９は、図６に示すように、表示モニタの特性データを保存するＣＲＴモニタプロファイル保存部１７と、表示モニタの特性データを用いてＸＹＺ値をモニタ入力信号ＲＧＢ値に変換する出力信号算出部１８とで構成される。  
この表示モニタの特性データは、蛍光体三刺激値データ保存部２５に保存されているマトリクスＭ及び、ＲＧＢ階調特性データ保存部２６に保存されているガンマカーブγＲγＧγＢとからなり、マトリクスＭは、３×３の要素からなるマトリクス、ガンマカーブγＲγＧγＢは、ＲＧＢ各入力値に対する出力輝度値である。
【００８４】
ＲＧＢ値算出部９は、三刺激値算出部８において算出されたＸＹＺ値と蛍光体三刺激値データ保存部２５に保存されているマトリクスＭとを行列乗算部２７で乗算し、階調補正部２８でその乗算した結果とＲＧＢ階調特性データ保存部２６に保存されているガンマカーブにより階調の補正を行い、ＲＧＢ信号に変換する。  
この算出されたＲＧＢ信号は、ＣＲＴモニタに入力されＣＲＴモニタ上に被写体のカラー画像が表示される。
【００８５】
次に本発明によるカラー画像処理装置の第２の実施形態について説明する。  
本実施形態は、図８に示すように、カラー画像を撮影等により入力するカラー画像入力装置１と、同一照明光Ａの下に配置された指定チャート２及び被写体３と、後述する観察照明光スペクトルデータを記憶する観察照明光スペクトルデータ保存部４と、後述する被写体基底関数ｅｌ（λ）を保存する被写体基底関数保存部２９と、同一照明光Ａの下に配置された指定チャート２及び被写体３を順次または、同時にカラー画像入力装置１で撮影し、出力されるそれぞれの画像信号Ｇ及びＱと予め画像処理装置内部に保存していた色票基底関数データ、色票展開係数データ、等色関数データとから被写体３の分光反射率、ＸＹＺ値を推定し、ＲＧＢ信号を出力する画像処理装置３０と、ＲＧＢ信号から被写体のカラー（ＲＧＢ）画像を表示するＣＲＴモニタ６とで構成される。
【００８６】
カラー画像入力装置１は、前述した第１の実施形態のカラー画像入力装置と同等であり、図５に示した干渉フィルタを配置されたフィルタターレットを装着している。また、指定チャートにおいても前述した図７の構成と同等であり、ここでの説明は省略する。
【００８７】
この画像処理装置３０は、カラー画像入力装置１により撮影された画像信号Ｇ及びＱを入力し、観察照明光スペクトルデータを観察照明光スペクトルデータ保存部４から入力し、被写体の基底関数データを被写体基底関数保存部２９から入力する。ここで、観察照明光スペクトルデータは、３８０nmから７８０nmまでの波長領域における１nm間隔の観察照明光の強度値とする。
【００８８】
画像処理装置３０では、これらの入力データ及び予め画像処理装置内部に保存していた色票展開係数Ｂ、被写体の基底関数を色票の基底関数により展開したときの展開係数Ｏ、色票基底関数ｖｎ(λ)、等色関数データとから被写体の分光反射率、ＸＹＺ値を推定し、さらにＣＲＴモニタの特性データとから観察側照明光下における被写体のＸＹＺ値をＣＲＴモニタ上に表示するためのＣＲＴモニタへの入力ＲＧＢ信号を出力する。ＣＲＴモニタは画像処理装置により出力されたＲＧＢ信号を入力し、被写体のカラー画像を表示する。
【００８９】
次に画像処理装置の構成についてより詳細に説明する。
【００９０】
この画像処理装置３０は、図９に示すように大別すると、分光反射率算出部３１、三刺激値算出部８、およびＲＧＢ値算出部９から構成されている。ここで、本実施形態の構成部位で図２に示した構成部位と同等の部位には、同じ参照符号を付してその詳細な説明は省略する。
【００９１】
まず、分光反射率算出部３１は、色票撮影信号を保存する色票撮影信号保存部１１と、展開係数Ｂを保存する色票展開係数保存部１２と、色票基底関数ｖｎ(λ)（ｎ＝１〜１０）を保存する色票基底関数保存部１４と、被写体基底関数ｅｌ(λ)を色票基底関数ｖｎ(λ)により展開した時の展開係数Ｏを算出する被写体基底展開係数算出部３２と、被写体撮影信号Ｑ、色票撮影信号Ｇ、展開係数Ｂ及び展開係数Ｏにより展開係数Ｃを算出する被写体展開係数算出部３３と、展開係数Ｃ及び被写体基底関数保存部２９から出力された基底関数ｅｌ(λ)とから被写体の分光反射率ｐ（λ）を算出する分光反射率合成部１３とで構成される。
【００９２】
このように構成された分光反射率算出部３１は、カラー画像入力装置１から出力された被写体撮影信号Ｑ及び指定チャート撮影信号Ｇを、被写体展開係数算出部３３、色票撮影信号保存部１１にそれぞれ入力する。色票撮影信号保存部１１では、複数の色票からなる指定チャート画像から各色票に対応する撮影信号値の平均値を適当な領域において算出し、色票撮影信号として保存する。また、色票展開係数保存部１２では、予め求められている指定色票内の各色票の各基底関数に対応する展開係数を保存している。
【００９３】
そして、被写体基底展開係数算出部３２では、色票基底関数保存部１４から入力した色票基底関数ｖｎ(λ)と、被写体基底関数保存部２９から入力した被写体基底関数ｅｌ(λ)とに基づき、被写体基底関数ｅｌ(λ)を色票基底関数ｖｎ(λ)により展開した時の展開係数Ｏを算出する。
【００９４】
被写体展開係数算出部３３は、カラー画像入力装置１から入力された被写体撮影信号Ｑ、色票撮影信号保存部１１から入力された色票撮影信号Ｇ、及び色票展開係数保存部１２から入力された展開係数Ｂ及び、被写体基底展開係数算出部３２から入力した展開係数Ｏに基づき、被写体を被写体基底関数ｅｌ(λ)により展開したときの展開係数Ｃ（Ｃ＝（ＧＢ−１Ｏ）−１Ｑ）を算出し、分光反射率合成部１３に出力する。
【００９５】
図１０に、被写体展開係数算出部３３の構成を示し、説明する。  
上記色票展開係数保存部１２から入力された展開係数Ｂから逆行列演算部Ａ３４により算出された展開係数Ｂの逆行列Ｂ−１と、色票撮影信号保存部１１から入力された色票撮影信号Ｇと、被写体基底展開係数算出部３２から入力された展開係数Ｏを行列乗算部Ａ３５に入力し、行列ＧＢ−１Ｏを算出する。この行列ＧＢ−１Ｏを逆行列演算部Ｂ３６に入力し、逆行列（ＧＢ−１Ｏ）−１とした後、行列乗算部Ｂ３７に入力する。
【００９６】
この行列乗算部Ｂ３７では、更に被写体撮影信号Ｑを入力し、逆行列演算部Ｂ３６から出力された逆行列（ＧＢ−１Ｏ）−１とから  被写体の展開係数Ｃ＝（ＧＢ−１Ｏ）−１Ｑを算出し、分光反射率合成部１３に出力する。
【００９７】
そして、図９に示したように、分光反射率合成部１３では、被写体展開係数算出部３３から算出された展開係数Ｃ及び、被写体基底関数保存部２９から出力された被写体の基底関数ｅｌ(λ)に基づき、被写体の分光反射率ｐ(λ)を算出する。
【００９８】
図１１には、分光反射率合成部１３の構成を示し、説明する。  
この分光反射率合成部１３は、被写体基底関数ｅｌ(λ)と対応する被写体展開係数Ｃを乗算する基底係数乗算部３８と、分光反射率を算出する基底関数積算部２４とで構成される。
【００９９】
この基底係数乗算部３８は、被写体展開係数算出部３３から入力された被写体展開係数Ｃと、被写体基底関数保存部２９から入力された被写体基底関数ｅｌ(λ)から各被写体基底関数ｅｌ(λ)と対応する被写体展開係数Ｃ＝ｃｌ（ｌ＝１〜１０）とを乗算し、基底関数積算部２４に出力する。そして基底関数積算部２４では、基底係数乗算部３８から入力したデータを波長ごとに全ての基底関数ｃｌｅｌ(λ)（ｌ＝１〜１０）について加算し、三刺激値算出部８に出力する。
【０１００】
図９に示す上記三刺激値算出部８では、分光反射率合成部１３において算出された被写体の分光反射率と、観察照明光スペクトルデータ保存部４から入力された観察照明光スペクトルデータと、等色関数データ保存部１５に予め保存されている等色関数データとに基づき、三刺激値演算部１６で被写体の観察照明光下における三刺激値ＸＹＺを算出し出力信号算出部１８に出力する。
【０１０１】
図６に示すように、出力信号算出部１８では、三刺激値算出部８において算出されたＸＹＺ値をＣＲＴモニタプロファイル保存部１７に予め保存されている表示モニタの特性データを用いて、モニタ入力用のＲＧＢ信号に変換する。この表示モニタの特性データは、図６に示す蛍光体三刺激値データ保存部２５に保存されているマトリクスＭ及びＲＧＢ階調特性データ保存部２６に保存されているガンマカーブγＲγＧγＢとからなり、マトリクスＭは、３×３の要素からなるマトリクス、ガンマカーブγＲγＧγＢはＲＧＢ各入力値に対する出力輝度値である。ＲＧＢ値算出部９から出力されたＲＧＢ信号はＣＲＴモニタ６に入力され、ＣＲＴモニタ６上に被写体のカラー画像を表示する。
【０１０２】
次に図１２には、本発明によるカラー画像処理装置の第３の実施形態の構成例を示し、説明する。ここで、本実施形態の構成部位で図８に示した構成部位と同等の部位には、同じ参照符号を付して、その詳細な説明を省略する。
【０１０３】
本実施形態は、カラー画像を撮影等により入力するカラー画像入力装置１と、照明光Ａの下に配置された指定チャート２ａ及び照明光Ａとは異なる照明光Ｂの下に配置された被写体３ａと、観察照明光スペクトルデータを記憶する観察照明光スペクトルデータ保存部４と、被写体基底関数ｅｌ(λ）を保存する被写体基 底関数保存部２９と、後述する被写体撮影照明光スペクトルデータを保存する被写体撮影照明光スペクトルデータ保存部３９と、指定チャート撮影照明光スペクトルデータを保存する指定チャート撮影照明光スペクトルデータ保存部４０と、撮影された指定チャート２ａ及び被写体３ａの画像信号Ｇ及びＱと、予め画像処理装置内部に保存していた色票基底関数データ、色票展開係数データ、等色関数データとから被写体３ａの分光反射率、ＸＹＺ値を推定し、ＲＧＢ信号を出力する画像処理装置４１と、ＲＧＢ信号から観察側照明光下における被写体のＸＹＺ値を表示するＣＲＴモニタ６とで構成される。
【０１０４】
上記カラー画像入力装置１は、前述した第１の実施形態のカラー画像入力装置と同等であり、図５に示した干渉フィルタを配置されたフィルタターレットを装着している。また、指定チャートにおいても前述した図７の構成と同等であり、ここでの説明は省略する。また各照明光スペクトルデータは、３８０nmから７８０nmまでの波長領域における１nm間隔の照明光の強度値からなる。また、被写体の基底関数データを被写体基底関数保存部２９から入力する。
【０１０５】
この画像処理装置４１は、これらの入力データ及び予め画像処理装置内部に保存していた色票展開係数Ｂ、被写体の基底関数と被写体撮影照明光との積を色票の基底関数と指定チャート撮影照明光との積により展開した展開係数Ｏ'、被写 体の基底関数ｅｌ(λ)、等色関数データとから被写体の分光反射率、ＸＹＺ値を推定し、さらにＣＲＴモニタ６の特性データとから観察側照明光下における被写体のＸＹＺ値をＲＧＢ信号として、ＣＲＴモニタ６に出力する。そしてＣＲＴモニタ６では、そのＲＧＢ信号に基づき、被写体のカラー画像を表示する。
【０１０６】
次に図１３には、画像処理装置４１の構成例を示し説明する。  
この画像処理装置４１は、大別すると、分光反射率算出部４２、三刺激値算出部８、およびＲＧＢ値算出部９から構成されている。ここで、本実施形態の構成部位で図９に示した構成部位と同等の部位には、同じ参照符号を付してその詳細な説明は省略する。
【０１０７】
この分光反射率算出部４２は、色票撮影信号を保存する色票撮影信号保存部１１と、展開係数Ｂを保存する色票展開係数保存部１２と、色票基底関数ｖｎ(λ)（ｎ＝１〜１０）を保存する色票基底関数保存部１４と、色票基底関数ｖｎ(λ)、被写体基底関数ｅｌ(λ)、指定チャート撮影照明光スペクトルデータＳＣ(λ)及び被写体撮影照明光スペクトルデータＳＯ(λ)に基づき、展開係数Ｏ'を算出 する被写体基底展開係数算出部４３と、被写体撮影信号Ｑ、色票撮影信号Ｇ、展開係数Ｂ及び展開係数Ｏ'により展開係数Ｃ'（Ｃ'＝(ＧＢ−１Ｏ')−１Ｑ）を算出する被写体展開係数算出部４４と、展開係数Ｃ'及び被写体基底関数保存部２９か ら出力された基底関数ｅｌ(λ)とから被写体の分光反射率ｐ（λ）を算出する分光反射率合成部１３とで構成される。
【０１０８】
上記被写体基底展開係数算出部４３は、色票基底関数保存部１４から入力した色票基底関数ｖｎ(λ)、被写体基底関数保存部２９から入力した被写体基底関数ｅｌ(λ)、指定チャート撮影照明光スペクトルデータ保存部４０から入力した指定チャート撮影照明光スペクトルデータＳＣ(λ)及び、被写体撮影照明光スペクトルデータ保存部３９から入力した被写体撮影照明光スペクトルデータＳＯ(λ)に基づき、被写体基底関数ｅｌ(λ)と被写体撮影照明光スペクトルとの積ｅｌ(λ)ＳＯ(λ)を色票基底関数ｖｎ(λ)と指定チャート撮影照明光スペクトルとの積ｖｎ(λ)ＳＣ(λ)により展開した時の展開係数Ｏ'を算出する。
【０１０９】
図１４には、被写体展開係数算出部４４の構成例を示し説明する。  
ここで、本構成例の構成部位で図１０に示した構成部位と同等の部位には、同
じ参照符号を付してその詳細な説明は省略する。  
上記色票展開係数保存部１２から入力された展開係数Ｂから逆行列演算部Ａ３４により算出された展開係数Ｂの逆行列Ｂ−１と、色票撮影信号保存部１１から入力された色票撮影信号Ｇと、被写体基底展開係数算出部４３から入力された展開係数Ｏ'を行列乗算部Ａ４５に入力し、行列ＧＢ−１Ｏ'を算出する。この行列ＧＢ−１Ｏ'を逆行列演算部Ｂ３６に入力し、逆行列（ＧＢ−１Ｏ'）−１とした後、行列乗算部Ｂ３７に入力する。
【０１１０】
この行列乗算部Ｂ３７では、更に被写体撮影信号Ｑを入力し、逆行列演算部Ｂ３６から出力された逆行列（ＧＢ−１Ｏ'）−１とから展開係数Ｃ'を算出し、分光反射率合成部１３に出力する。
【０１１１】
そして、図１３に示すように、分光反射率合成部１３では、被写体展開係数算出部４４から算出された展開係数Ｃ'及び、被写体基底関数保存部２９から出力された被写体の基底関数ｅｌ(λ)に基づき、被写体の分光反射率ｐ(λ)を算出し、三刺激値算出部８に出力する。なお、分光反射率合成部１３は、図１１において説明した構成と同等であり、ここでの説明は省略する。
【０１１２】
そして、三刺激値算出部８は、分光反射率算出部４２において算出された被写体の分光反射率と、観察照明光スペクトルデータ保存部４から入力された観察照明光スペクトルデータと、等色関数保存部１５に予め保存されている等色関数データとに基づき、被写体３ａの観察照明光下における三刺激値ＸＹＺを算出し、出力信号算出部１８に出力する。
【０１１３】
そして出力信号算出部１８では、三刺激値算出部８から算出されたＸＹＺ値をＣＲＴモニタプロファイル保存部１７に予め保存されているＣＲＴモニタ６の特性データを用いて、ＲＧＢ信号に変換し、ＣＲＴモニタ６上にカラー画像が表示される。
【０１１４】
次に本発明によるカラー画像処理装置の第４の実施形態について説明する。  
図１５に示すように、このカラー画像処理装置は、人肌の分光反射率の基底関数を記憶する基底関数記憶部４６と、基底関数に対応する展開係数を設定する展開係数設定部４７と、分光反射率を算出する分光反射率算出部４８と、算出された分光反射率が評価条件を満たすか否かを判定する分光反射率評価部４９と、評価条件を満たした分光反射率を保存する分光反射率保存部５０とにより構成される。
【０１１５】
上記基底関数記憶部４６は３８０nmから７８０nmの波長範囲において１nm間隔で値をもつ人肌の分光反射率の基底関数が記憶されている。基底関数記憶部４６に記憶される基底関数の数は、予め測定器により測定された多数の人肌の分光反射率を主成分分析することにより得られた基底関数の寄与率により決定される。寄与率が９９．９９９９％以上となるために必要となるＭ本の基底関数を保存する。上 記展開係数設定部４７は、Ｍ本の基底関数に対応する展開係数Ｃｍ（ｍ＝１〜Ｍ）を設定する。
【０１１６】
また、分光反射率算出部４８は、基底関数記憶部４６に記憶されているＭ個の基底関数と展開係数設定部４７で設定されたＭ個の展開係数とを入力し、これらのデータから分光反射率を算出する。
【０１１７】
そして分光反射率評価部４９は、分光反射率算出部４８で算出された分光反射率を入力し、分光反射率が分光反射率評価部４９内に予め設定された評価条件を満たすか否かを判定し、条件を満足する場合には、分光反射率保存部５０に出力し、条件を満足しない場合には、展開係数設定部４７において展開係数を再度設定する。このような処理をＭ個の分光反射率が出力されるまで行う。
【０１１８】
次に図１６を参照して、分光反射率評価部４９について詳細に説明する。  
この分光反射率評価部４９は、非負条件評価部５２と作成条件評価部５３とで構成される。  この構成において、分光反射率算出部４８により算出された分光反射率を入力し、非負条件評価部５２で、その分光反射率が負の値を有するか否かを調べる。  
ここで、３８０nmから７８０nmの波長範囲で負の値を持たないならば、分光反射率データを作成条件評価部５３に送出し、負の値を持っていた場合には、展開係数設定部４７に負値波長データを出力する。
【０１１９】
作成条件評価部５３では、非負条件評価部５２から送られた分光反射率データが、色材データ保存部５１にデータベース化されている使用可能な色材により許容誤差範囲内の精度で設計可能であるか否かを評価する。色材データ保存部５１には、使用可能の色材の拡散係数と吸収係数がデータベース化されている。
【０１２０】
この色材データ保存部から作成条件評価部に色材の拡散係数と吸収係数が入力され、これらのデータにより設計可能な設計分光反射率に最も近い分光反射率を算出する。  
そして、非負条件評価部５２から送られた設計分光反射率が色材で設計可能な分光反射率データの許容誤差範囲内の精度となっている場合は、設計分光反射率データを分光反射率保存部５０に保存する。
【０１２１】
設計不可能である場合は、展開係数設定部４７に設計誤差データとして出力する。  
この展開係数設定部４７では、非負条件評価部５２、作成条件評価部５３より送られてきた情報に基づき、展開係数Ｃｍ（ｍ＝１〜Ｍ）を再設定する。
【０１２２】
次に本発明によるカラー画像処理装置の第５の実施形態について説明する。  図１７には、本実施形態の概略的な構成を示す。  この構成において、撮影照明光下において、デジタルカメラ５４により撮影された被写体（人物像）と人肌用に開発された指定チャート５５の画像が１枚の画像として撮影される。
【０１２３】
そして撮影画像データは、デジタルカメラ５４内部に装填されたメモリカード５６内に書き込まれる。このメモリカード５６には、指定チャート５５に付属するチャートデータ記録メモリカードより予めデジタルカメラ５４に読み込まれた指定チャート５５の色票の分光反射率の基底関数、各色票の各基底に対する展開係数及び人肌の分光反射率の基底関数が撮影画像データのヘッダ情報として書き込まれる。そしてパーソナルコンピュータ５７に装填されたメモリカード５６から画像データや種々のデータが読み込まれて前述した様な処理を行い、ＲＧＢ画像データに変換され、モニタ５８に表示される。
【０１２４】
図１８には、メモリカード５６に記憶された撮影画像データのフォーマットの概念図を示す。  
１枚の画像データのヘッダ情報として色票展開係数データ、チャート分光反射率基底関数データ、被写体基底関数データが順に記録されている。ヘッダ情報の後に画像データが、画素ごとにＲＧＢ画像データとして記録されている。ＲＧＢ各チャンネルは、それぞれ１バイトのデータからなる。
【０１２５】
図１９には、色変換処理を説明するための概念図を示す。  
上記メモリカード５６からパーソナルコンピュータ５７に読み込まれた画像データ（ＲＧＢ信号）は、画像ヘッダ情報として記録された色票展開係数データ、チャート分光反射率基底関数データ、被写体基底関数データ、チャート撮影データから被写体の分光反射率に変換される。
【０１２６】
分光反射率は、コンピュータ内部に記憶されている観察照明光データ、等色関数データを用いてＸＹＺ値に変換され、更にモニタ特性データを用いてモニタ入力のＲＧＢ画像データに変換され、ＣＲＴモニタにカラー画像として表示される。
【０１２７】
以上の実施形態について説明したが、本明細書には以下のような発明が含まれている。
【０１２８】
（１）  被写体の色情報を再現するように、入力される被写体の画像信号に対して所定の画像処理を施す画像処理手段を備えたカラー画像処理装置において、  
上記画像処理手段は、分光反射率が既知の対象物のカラー画像信号と、上記対象物のカラー画像信号の取得時と同一照明条件により取得された被写体のカラー画像信号と、上記対象物の分光反射率情報とを用いて、上記被写体の分光反射率を推定することにより、上記被写体の色情報の再現処理を行うものであることを特徴とするカラー画像処理装置。  
（対応する発明の実施の形態）  
第１の実施形態と図１〜図７が対応する。
【０１２９】
（作用効果）  
この（１）項記載の発明によれば、カラー画像入力装置により同一照明光条件により撮影した被写体撮影信号Ｑと指定チャート撮影信号Ｇ及び、予め保存しておいた指定チャートの全色票の分光反射率（対象物の分光反射率情報）を展開可能な色票基底関数ｖｎ(λ)と各色票の展開係数Ｂとから、被写体の分光反射率を推定する。この時、被写体の分光反射率が誤差なく推定されるための条件は、被写体の分光反射率が指定チャートの色票基底関数ｖｎ(λ)により展開可能であり、また、カラー画像入力装置が色票基底関数以上のバンド数を有することである。この場合、カラー画像入力装置の分光感度、撮影時の照明光スペクトルが未知の場合でも被写体の分光反射率を推定することが可能となる。
【０１３０】
（２）  被写体の色情報を再現するように、入力される被写体の画像信号に対して所定の画像処理を施す画像処理手段を備えたカラー画像処理装置において、  
上記画像処理手段は、分光反射率が既知の対象物のカラー画像信号と、上記被写体のカラー画像信号と、上記対象物のカラー画像信号の取得時の照明光スペクトル情報と、上記被写体のカラー画像信号の取得時の照明光スペクトル情報と、上記対象物体の分光反射率情報とから、上記被写体の分光反射率を推定することにより、上記被写体の色情報の再現処理を行うことを特徴とするカラー画像処理装置。
【０１３１】
（対応する発明の実施の形態）  
この項は、第３の実施形態と図１２〜図１４及び図５〜図７が対応する。  
（作用効果）  
この（２）項記載の発明によれば、カラー画像入力装置により異なる照明光下において撮影した被写体撮影信号Ｑと指定チャート撮影信号Ｇ及び、予め保存しておいた指定チャートの全色票の分光反射率を展開可能な色票基底関数ｖｎ(λ)と各色票の展開係数Ｂと被写体の分光反射率の基底関数と指定チャート撮影照明光スペクトルデータと被写体撮影照明光データとから、被写体の分光反射率を推定する。
【０１３２】
この時、被写体の分光反射率が誤差なく推定されるための条件は、被写体の分光反射率の基底関数と被写体撮影照明光スペクトルの積が指定チャートの色票基底関数ｖｎ(λ)と指定チャート撮影照明光スペクトルの積により展開可能であること、またカラー画像入力装置のバンド数が被写体の分光反射率の基底数以上有することである。
【０１３３】
この場合、カラー画像入力装置の分光感度が未知の場合でも被写体の分光反射率を推定することが可能となる。ここで、第２の実施形態と大きく異なる点は、指定チャート撮影照明光と被写体撮影照明光が異なる場合でもそれらのスペクトルが既知であり、上記の条件を満たす場合には被写体の分光反射率を正確に推定できることである。
【０１３４】
本実施形態により、色票画像を予め既知の光源下にて撮影して保存しておくことにより被写体撮影時には色票撮影と同一のカラー画像入力装置を用いて色票の撮影を行わずに正確な被写体の分光反射率の推定が可能となる。
【０１３５】
（３）  上記カラー画像処理装置は、被写体をカラー画像信号として取得するカラー画像入力手段と、このカラー画像入力手段により入力されたカラー画像信号、上記画像処理手段により画像処理を施されたカラー画像信号のうち、少なくとも一方のカラー画像信号を出力する画像出力手段とを有し、  
上記画像処理手段は、上記被写体の分光反射率の基底関数を用いて上記被写体の分光反射率を推定することを特徴とする上記（１）項又は（２）項に記載のカラー画像処理装置。
【０１３６】
（対応する発明の実施の形態）  
この項は、第２の実施形態と図８〜図１１、図５〜図７、及び第５の実施形態と図１７〜図１９が対応する。
【０１３７】
（作用効果）  
この（３）項記載の発明によれば、カラー画像入力装置により撮影した被写体撮影信号Ｑと指定チャート撮影信号Ｇ及び、予め保存しておいた指定チャートの全色票の分光反射率を展開可能な色票基底関数ｖｎ(λ)と各色票の展開係数Ｂと被写体の分光反射率の基底関数ｅｌ(λ)とから、被写体の分光反射率を推定する。
【０１３８】
（１）項記載の発明に対応すると、被写体の分光反射率が誤差なく推定された条件は、被写体の分光反射率の基底関数ｅｌ(λ)が指定チャートの色票基底関数ｖｎ(λ)により展開可能であること、またカラー画像入力装置が被写体の分光反射率の基底数以上のバンド数を有することである。
【０１３９】
この場合、カラー画像入力装置の分光感度、撮影時の照明光スペクトルが未知の場合でも、被写体の分光反射率を推定することが可能となる。  
ここで、上記（１）項と大きく異なる点は、被写体の分光反射率を正確に推定するためにカラー画像入力装置の必要とするバンド数は、色票基底関数ではなく被写体の基底関数の数となることである。
【０１４０】
一般に被写体の分光反射率の基底関数の数は被写体の分光反射率の基底関数を展開可能な色票の分光反射率の基底関数の数よりも少ないため、第１の実施形態と比べてより少ないバンド数のカメラにより被写体の分光反射率を推定することが可能となる。また、被写体の撮影におけるカメラのバンド数は被写体の分光反射率の基底関数の個数としたまま、被写体の分光反射率を高精度に展開するために多数の色票を用いることが可能となる。本手法を用いることにより、第５の実施形態に示すように通常の３バンドのデジタルカメラの場合においても人肌等のように分光反射率が３個の基底関数により高精度に再現可能な被写体に対しては正確な分光反射率の推定が可能である。
【０１４１】
（４）上記カラー画像処理装置において、上記分光反射率が既知の対象物のカラー画像信号における分光反射率は、分光反射率の複数の基底関数を記憶する基底関数記憶手段と、展開係数の値を設定する展開係数調整手段と、上記基底関数と上記展開係数とから分光反射率を算出する分光反射率算出手段と、上記分光反射率を評価する分光反射率評価手段とからなる分光反射率設計手段により設計されたものであることを特徴とする上記（１）項から（３）項に記載のカラー画像処理装置。
【０１４２】
（対応する発明の実施の形態）  
この項は、第４の実施形態と図１５、図１６が対応する。
【０１４３】
（作用効果）  
この（４）項記載の発明によれば、Ｍ個の基底関数の線形和により表わされる分光反射率を設計する。基底関数記憶部に記憶されている既知のＭ個の分光反射率の基底関数と展開係数設定部により設定された各基底関数の展開係数とから分光反射率算出部において分光反射率を算出する。算出された分光反射率は、分光反射率評価部において設計可能な分光反射率となっているか否かを判定する。分光反射率評価部は非負条件評価部及び、作成条件評価部から構成される。
【０１４４】
非負条件評価部では、設計した分光反射率が全ての波長領域において、負値を持つか否かを評価する。作成条件評価部では、設計した分光反射率が実際の色材により作成可能であるか否かを評価する。上記評価により設計可能な分光反射率データは分光反射率保存部に記録され、設計不可能な分光反射率データが算出された場合には再度展開係数設定部により展開係数の設定を行う。以上の処理をＭ個の分光反射率が算出されるまで反復する。
【０１４５】
ここで、作成した分光反射率を有する色票を上記（１）項〜（３）項における分光反射率が既知の対象物として用いることにより正確に被写体の分光反射率を推定することが可能となる。
【０１４６】
（５）  上記カラー画像処理装置において、上記対象物の分光反射率情報は、分光反射率の基底関数と展開係数Ｂであることを特徴とする上記（１）項から（４）項に記載のカラー画像処理装置。
【０１４７】
（対応する発明の実施の形態）  
この（５）項記載の発明は第１〜第５の実施形態が対応する。対象物の分光反射率の基底関数は実施形態の色票基底関数ｖｎ(λ)、展開係数は実施形態の展開係数Ｂがそれぞれ対応する。尚、実施形態では、この（５）項記載のように、分光反射率情報を分光反射率の基底関数と展開係数としているが、上記分光反射率情報には、当然のことながら、対象物の分光反射率のデータ自体も含まれるものである。
【０１４８】
（作用効果）  
対象物の分光反射率情報は、被写体の分光反射率を推定するための情報として用いられるが、被写体の分光反射率の基底関数を対象物の分光反射率を用いて表わす場合に対象物の分光反射率そのものを用いるよりも直行関数である基底関数を用いることにより展開係数０の計算が簡潔となり、従って被写体の分光反射率の算出がたやすくなる。
【０１４９】
（６）  上記カラー画像処理装置において、上記被写体の分光反射率の基底関数は、上記対象物の分光反射率の基底関数の線形和により表わされることを特徴とする（１）から（５）記載のカラー画像処理装置。
【０１５０】
（対応する発明の実施の形態）  
この（６）項記載の発明は実施形態１〜５が対応する。被写体の分光反射率の基底関数を対象物の分光反射率の基底関数の線形和として表わす式は、（１６）式が対応する。
【０１５１】
（作用効果）  
被写体の分光反射率を対象物のカラー画像信号から推定する際に、誤差なく被写体の分光反射率を推定するために対象物の分光反射率が満たすべき条件は、対象物の分光反射率の基底関数が（１６）式を満たすことである。（１６）式を満たす対象物を用いることにより、対象物の分光反射率が被写体の分光反射率と異なる場合でも、被写体の分光反射率を誤差なく推定することが可能であり、またそのような条件を満たす対象物を作成する自由度を最大とすることができる。
【０１５２】
（７）  上記カラー画像処理装置において、上記被写体の分光反射率の基底関数と被写体のカラー画像信号の取得時の照明光スペクトルの積は、上記対象物の分光反射率の基底関数と対象物のカラー画像信号の取得時の照明光スペクトルの積の線形和により表されることを特徴とする上記（１）項〜（５）項記載のカラー画像処理装置。
【０１５３】
（対応する発明の形態）  
この発明は、第３の実施形態が対応する。被写体の分光反射率の基底関数と被写体のカラー画像信号の取得時の照明光スペクトルの積の線形和により表す式は、（２８）式が対応する。
【０１５４】
（作用効果）  
被写体の分光反射率を対象物のカラー画像信号から推定する際に、誤差なく被写体の分光反射率を推定するために対象物の分光反射率が満たすべき条件は、対象物の分光反射率の基底関数が（２８）式を満たすことである。（２８）式を満たす対象物を用いることにより、カラー画像信号の取得時の照明光スペクトルと対象物のカラー画像信号の取得時の照明スペクトルが異なる場合や、対象物の分光反射率が被写体の分光反射率と異なる場合でも、被写体の分光反射率を誤差なく推定することが可能であり、またそのような条件を満たす対象物を作成する自由度を最大とすることができる。
【０１５５】
（８）  上記カラー画像処理装置において、上記被写体の分光反射率は、その基底関数と展開係数とから算出されることを特徴とする上記（１）項から（７）項記載のカラー画像処理装置。  
（対応する発明の実施の形態）  
この（８）項記載の発明は実施形態の実施例全てが対応する。被写体の分光反射率をその基底関数と展開係数により算出するためには（３）式を用いる。
【０１５６】
（作用効果）  
このように被写体の分光反射率を基底関数を用いて表わすことにより多数の被写体の分光反射率を少数の基底関数により表わすことが可能となり、少数のカメラバンド数により被写体の分光反射率を誤差なく推定することが可能となる。
【０１５７】
（９）  上記カラー画像処理装置において、上記画像処理手段は、上記被写体の色情報を再現する観察環境の照明光スペクトル情報を更に用いて被写体の表色値を算出することにより上記被写体の色情報の再現処理を行うことを特徴とする上記（１）項から（８）項記載のカラー画像処理装置。  
（対応する発明の実施の形態）  
この（９）項記載の発明は実施形態の実施例全てが対応する。観察環境の照明光スペクトル情報は実施形態の観察照明光スペクトルデータ、表色値は実施形態のＸＹＺがそれぞれ対応する。
【０１５８】
（作用効果）  
カラー画像処理装置により推定した被写体の分光反射率に観察照明光スペクトルと等色関数を掛け合わせて波長積分することにより、撮影環境における照明光もしくはそれと異なる観察照明光下における被写体のＸＹＺを求めることが可能と  なる。さらに、出力装置の特性データを用いてＸＹＺ値からＣＲＴモニタやプリンタ等の出力装置の信号に変換することにより、観察環境下における被写体の色を正確に再現することが可能となる。
【０１５９】
（１０）  上記カラー画像処理装置において、上記カラー画像信号入力手段は、４つ以上の異なる分光感度特性を有することを特徴とする（１）から（９）記載のカラー画像処理装置。
【０１６０】
（対応する発明の実施の形態）  
この（１０）項記載の発明は実施形態の実施例１〜４が対応する。４つ以上の異なる分光感度特性は実施例のカラー画像信号入力装置の１０枚の干渉フィルタとレンズ、ＣＣＤにより構成される分光感度特性が対応する。
【０１６１】
（作用効果）  
従来のカラーカメラは通常３つのバンドを有するが、被写体の分光反射率が３つの基底関数の線形和により精度よく表わすことができない場合、被写体の分光反射率を誤差なく推定するためには４バンド以上の分光感度特性を有するカラー画像入力装置が必要となる。本発明はこのような特性を有する被写体に対しても高精度にその分光反射率を推定することができるものである。
【図面の簡単な説明】
【０１６２】
【図１】本発明によるカラー画像処理装置の第１の実施形態の構成例を示す図である。
【図２】第１の実施形態のカラー画像処理装置における画像処理装置５の詳細な構成例を示す図である。
【図３】図２に示した被写体展開係数算出部の構成例を示す図である。
【図４】図２に示した分光反射率合成部の構成例を示す図である。
【図５】図５（ａ）は、図１に示したカラー画像入力装置の構成例を示し、図５（ｂ）は、カラー画像入力装置に搭載される干渉フィルタが装着されたフィルタターレットの構成例を示す図である。
【図６】図２に示したＲＧＢ値算出部の構成例を示す図である。
【図７】本発明に用いられる指定チャートの一例を示す図である。
【図８】本発明によるカラー画像処理装置の第２の実施形態の構成例を示す図である。
【図９】第２の実施形態のカラー画像処理装置の詳細な構成例を示す図である。
【図１０】図９に示した被写体展開係数算出部の構成例を示す図である。
【図１１】図９に示した分光反射率合成部の構成例を示す図である。
【図１２】本発明によるカラー画像処理装置の第３の実施形態の構成例を示す図である。
【図１３】第３の実施形態のカラー画像処理装置の詳細な構成例を示す図である。
【図１４】図１３に示した被写体展開係数算出部の構成例を示す図である。
【図１５】本発明によるカラー画像処理装置の第４の実施形態の構成例を示す図である。
【図１６】図１５に示した分光反射率評価部の構成例を示す図である。
【図１７】本発明によるカラー画像処理装置の第５の実施形態の構成例を示す図である。
【図１８】メモリカードに記憶された撮影画像データのフォーマットの概念を示す図である。
【図１９】第５の実施形態における色変換処理を説明するための図である。
【符号の説明】
【０１６３】
１…カラー画像入力装置、２…指定チャート、３…被写体、４…観察照明光スペクトルデータ保存部、５…画像処理装置、６…ＣＲＴモニタ、７…分光反射率算出部、８…三刺激値算出部、９…ＲＧＢ値算出部。
【図１】
2008206163.tif 000035
【図２】
2008206163.tif 000036
【図３】
2008206163.tif 000037
【図４】
2008206163.tif 000038
【図５】
2008206163.tif 000039
【図６】
2008206163.tif 000040
【図７】
2008206163.tif 000041
【図８】
2008206163.tif 000042
【図９】
2008206163.tif 000043
【図１０】
2008206163.tif 000044
【図１１】
2008206163.tif 000045
【図１２】
2008206163.tif 000046
【図１３】
2008206163.tif 000047
【図１４】
2008206163.tif 000048
【図１５】
2008206163.tif 000049
【図１６】
2008206163.tif 000050
【図１７】
2008206163.tif 000051
【図１８】
2008206163.tif 000052
【図１９】
2008206163.tif 000053