(57)【要約】【課題】予め被写体を照射する光の分光分布が分からなくても、複数の対象物に係る物体色成分データを迅速かつ容易に得ることができる技術を提供する。【解決手段】例えば、フラッシュを用いて被写体に対して所定の照明光を照射する条件等といった所定の条件下において、第１の被写体を撮影して第１のカラー画像データを取得する。そして、取得した第１のカラー画像データに基づいて第１の被写体に係る第１の物体色成分データを推定する。次に、未知照明環境で第１の被写体を撮影して第２のカラー画像データを取得する。そして、第１の物体色成分データと第２のカラー画像データとを用いて未知照明の分光分布を推定する。引き続いて、推定した未知照明の分光分布に基づいて、未知照明環境で得られる被写体に係るカラー画像データを物体色成分データに変換する変換マトリックスを算出する。【選択図】図４
2005311581.tif 000002
【特許請求の範囲】
【請求項１】
画像入力システムであって、
被写体に係るカラー画像データを取得する取得手段と、
所定条件下で前記取得手段によって取得された第１の被写体に係る第１のカラー画像データを用いて、前記第１の被写体に係る第１の物体色成分データを推定する物体色推定手段と、
定常光下で前記取得手段によって取得された前記第１の被写体に係る第２のカラー画像データと、前記第１の物体色成分データとに基づいて、前記定常光の分光分布を推定する照明光推定手段と、
前記定常光下で取得される第２の被写体に係る第３のカラー画像データを当該第２の被写体に係る第２の物体色成分データに変換する変換マトリックスを、前記分光分布を用いて算出する算出手段と、
を備えることを特徴とする画像入力システム。
【請求項２】
請求項１に記載の画像入力システムであって、
被写体へ向けて光を発する発光手段、
を備え、
前記取得手段が、
前記発光手段によって光が照射された前記第１の被写体に係る前記第１のカラー画像データを取得し、
前記物体色推定手段が、
前記第１のカラー画像データのうち、所定の輝度条件を満足する画素データを検出する検出手段と、
前記検出手段によって検出された画素データに基づいて、前記第１の物体色成分データを推定する手段と、
を有することを特徴とする画像入力システム。
【請求項３】
請求項１又は請求項２に記載の画像入力システムであって、
前記定常光下で取得された第２の被写体に係る第３のカラー画像データを、前記変換マトリックスによって、前記第２の被写体に係る物体色成分データに変換する手段、
をさらに備えることを特徴とする画像入力システム。
【請求項４】
請求項２又は請求項３に記載の画像入力システムであって、
前記取得手段が、
前記定常光下で前記第２の被写体に係る前記第３のカラー画像データを取得することを備えることを特徴とする画像入力システム。
【請求項５】
画像入力システムに含まれるコンピュータによって実行されることにより、前記画像入力システムを、請求項１から請求項４のいずれかに記載の画像入力システムとして機能させるプログラム。
【請求項６】
変換マトリックス算出方法であって、
(a)所定条件下で第１の被写体に係る第１のカラー画像データを取得するステップと、
(b)前記第１のカラー画像データを用いて、前記第１の被写体に係る第１の物体色成分データを推定するステップと、
(c)前記定常光下で前記第１の被写体に係る第２のカラー画像データを取得するステップと、
(d)前記第２のカラー画像データと、前記第１の物体色成分データとに基づいて、前記定常光の分光分布を推定するステップと、
(e)前記定常光下で取得される第２の被写体に係る第３のカラー画像データを前記第２の被写体に係る物体色成分データに変換する変換マトリックスを、前記分光分布を用いて算出するステップと、
を備えることを特徴とする変換マトリックス算出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体に係る画像データを取得する技術、及び画像データを変換する技術に関する。
【背景技術】
【０００２】
人間の色覚には、物体を照明する光源の色が時間的に変化しても同じ物体ならほぼ同じ色として知覚できる色恒常性と呼ばれる性質が備わっている。計算論的観点からは、色恒常性は、物体から反射した光から物体に固有の物理量である物体の分光反射率を推定することによって実現されると考えられている。
【０００３】
このため従来より、デジタルカメラ等で取得される画像データ（以下適宜、単に「画像」とも称する。）から、物体の分光反射率（より一般的に表現するならば、照明環境の影響が取り除かれた画像データに相当するデータ：以下、「物体色成分データ」という。）を推定する技術が提案されている（例えば、特許文献１、２参照）。
【０００４】
具体的には、特許文献１に開示されている技術では、フラッシュ発光時に撮影して得られる画像データとフラッシュ非発光時に撮影して得られる画像データとの差分画像データ、及びフラッシュ光の分光分布を用いて、物体色成分データを求めることができる。また、所定のフィルターを介した被写体からの光に係る画像データ、所定のフィルターを介さない被写体からの光に係る画像データ、及びフィルタの分光透過率から物体色成分データを求めることができる。
【０００５】
また、特許文献２に開示されている技術では、絞り値を最大、シャッター速度を最速に設定して、フラッシュ撮影を行い、フラッシュ光を浴びた被写体に係る画像データをフラッシュ光のみを照明光とする画像データとみなし、この一枚の画像データとフラッシュ光の分光分布とから物体色成分データを求めることができる。
【０００６】
このような技術に関する先行技術文献としては、以下のようなものがある。
【０００７】
【特許文献１】特開２００１−７８２０２号公報
【特許文献２】特開２００３−１６９３３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述したフラッシュ光を用いて物体色成分データを得る方法では、フラッシュ光が十分届く距離に被写体が位置していなければ、被写体に係る物体色成分データを得ることができない。すなわち、予め被写体を照射する光の分光分布が分かっていなければ、被写体に係る物体色成分データを得ることができない。また、被写体が変更される度に、フラッシュを発光させる必要があり、多大なエネルギーを必要とする。
【０００９】
一方、上述したフィルターを用いて物体色成分データを得る方法では、被写体を照射する光の分光分布が分からなくても、被写体に係る物体色成分データを得ることが可能であり、エネルギー消費量を低減することもできる。
【００１０】
しかしながら、上述したフィルターを用いて物体色成分データを求める方法では、被写体を変更する度に、所定のフィルターを介した撮影と所定のフィルターを介さない撮影とを含む２回の撮影を行わなければならない。したがって、(i)物体色成分データを取得するための撮影時間が長くなる、(ii)フィルターを駆動させる機構等が別途必要となり、構成の複雑化を招く、等といった問題点を生じる。
【００１１】
本発明は前記問題点に鑑み、被写体を照射する光の分光分布が予め分からなくても、複数の対象物に係る物体色成分データを迅速かつ容易に得ることができる技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、請求項１の発明は、画像入力システムであって、被写体に係るカラー画像データを取得する取得手段と、所定条件下で前記取得手段によって取得された第１の被写体に係る第１のカラー画像データを用いて、前記第１の被写体に係る第１の物体色成分データを推定する物体色推定手段と、定常光下で前記取得手段によって取得された前記第１の被写体に係る第２のカラー画像データと、前記第１の物体色成分データとに基づいて、前記定常光の分光分布を推定する照明光推定手段と、前記定常光下で取得される第２の被写体に係る第３のカラー画像データを当該第２の被写体に係る第２の物体色成分データに変換する変換マトリックスを、前記分光分布を用いて算出する算出手段とを備えることを特徴とする。
【００１３】
また、請求項２の発明は、請求項１に記載の画像入力システムであって、被写体へ向けて光を発する発光手段を備え、前記取得手段が、前記発光手段によって光が照射された前記第１の被写体に係る前記第１のカラー画像データを取得し、前記物体色推定手段が、前記第１のカラー画像データのうち、所定の輝度条件を満足する画素データを検出する検出手段と、前記検出手段によって検出された画素データに基づいて、前記第１の物体色成分データを推定する手段とを有することを特徴とする。
【００１４】
また、請求項３の発明は、請求項１又は請求項２に記載の画像入力システムであって、前記定常光下で取得された第２の被写体に係る第３のカラー画像データを、前記変換マトリックスによって、前記第２の被写体に係る物体色成分データに変換する手段をさらに備えることを特徴とする。
【００１５】
また、請求項４の発明は、請求項２又は請求項３に記載の画像入力システムであって、前記取得手段が、前記定常光下で前記第２の被写体に係る前記第３のカラー画像データを取得することを備えることを特徴とする。
【００１６】
また、請求項５の発明は、画像入力システムに含まれるコンピュータによって実行されることにより、前記画像入力システムを、請求項１から請求項４のいずれかに記載の画像入力システムとして機能させるプログラムである。
【００１７】
また、請求項６の発明は、変換マトリックス算出方法であって、(a)所定条件下で第１の被写体に係る第１のカラー画像データを取得するステップと、(b)前記第１のカラー画像データを用いて、前記第１の被写体に係る第１の物体色成分データを推定するステップと、(c)前記定常光下で前記第１の被写体に係る第２のカラー画像データを取得するステップと、(d)前記第２のカラー画像データと、前記第１の物体色成分データとに基づいて、前記定常光の分光分布を推定するステップと、(e)前記定常光下で取得される第２の被写体に係る第３のカラー画像データを前記第２の被写体に係る物体色成分データに変換する変換マトリックスを、前記分光分布を用いて算出するステップとを備えることを特徴とする。
【発明の効果】
【００１８】
請求項１から請求項６のいずれかに記載の発明によれば、推定された第１の被写体に係る第１の物体色成分データと、定常光下で取得された第１の被写体に係る第２のカラー画像データとに基づいて、定常光の分光分布を推定し、定常光下で取得される第２の被写体に係るカラー画像データを物体色成分データに変換するマトリックスを、推定された定常光の分光分布を用いて算出することにより、その後、被写体を変更しても、単に被写体に係るカラー画像データを取得して、変換マトリックスによって変換するだけで、容易に被写体に係る物体色成分データを得ることができる。したがって、被写体を照射する光の分光分布が予め分からなくても、複数の対象物に係る物体色成分データを迅速かつ容易に得ることができる。
【００１９】
また、請求項２に記載の発明によれば、発光手段による発光条件下で取得された第１の被写体に係るカラー画像データのうち、所定の輝度条件を満たす画素データに基づいて、第１の被写体に係る第１の物体色成分データを推定し、さらに、その第１の物体色成分データを用いて定常光の分光分布を推定するため、被写体の一部に対してのみフラッシュ光が届くような場合でも、定常光の分光分布を推定することが可能であり、変換マトリックスを算出することもできる。
【００２０】
また、請求項４に記載の発明によれば、第１及び第２のカラー画像データを１つの取得手段によって取得することで、画像入力システムの構成が簡単となる。
【００２１】
また、請求項５に記載の発明によれば、請求項１から請求項４のいずれかに記載の発明と同様な効果を得ることができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照しつつ本発明の実施形態について説明する。なお、以下の説明においては、デジタルカメラが取得するカラー画像データに対して照明環境が及ぼす影響について、
（１）フラッシュ光を「除く」照明環境による影響を「定常照明環境の影響」と呼び、
（２）フラッシュ光「のみの」照明環境による影響を「発光照明環境の影響」と呼び、
（３）フラッシュ光を「含む」全般的な照明環境による影響を「全体照明環境の影響」と呼ぶ。
【００２３】
＜１．画像入力システムの構成＞
図１は本発明の実施形態に係る画像入力システムの一例であるデジタルカメラ１の全体を示す斜視図である。デジタルカメラ１は、撮影を行うレンズユニット１１、及びレンズユニット１１にてデジタルデータとして取得されたカラー画像データを処理する本体部１２とを有する撮像装置である。
【００２４】
レンズユニット１１は、複数のレンズを有するレンズ系１１１、及びレンズ系１１１を介して撮影対象である被写体の像を取得するＣＣＤ(Charge-Coupled Devices)１１２を有する。そして、ＣＣＤ１１２から出力される画像信号は本体部１２へと送られる。また、レンズユニット１１には、操作者が被写体を捉えるためのファインダ１１３、調光センサ１２７等も配置される。
【００２５】
本体部１２には、内蔵フラッシュ１２１、及びシャッターボタン１２２が設けられ、操作者がファインダ１１３を介して被写体を捉え、シャッターボタン１２２を操作することにより、ＣＣＤ１１２にて電気的に画像が取得される。このとき、必要に応じて内蔵フラッシュ１２１が被写体に向けてフラッシュ光を発する。なお、ＣＣＤ１１２は各画素の値としてＲ，Ｇ，Ｂの各色に関する値を取得する３バンドの撮像手段となっており、被写体に係るカラーの画像信号（カラー画像データ）を取得する。
【００２６】
ＣＣＤ１１２からの画像信号は本体部１２内部にて後述する処理が行われ、必要に応じて本体部１２に装着されている外部メモリ１２３（例えば、メモリカード）に記憶される。外部メモリ１２３は本体部１２下面の蓋を開けて取出ボタン１２４を操作することにより本体部１２から取り出される。記憶媒体である外部メモリ１２３に記憶されたデータは別途設けられたコンピュータ等を用いて他の装置に渡すことができる。逆に、他の装置にて外部メモリ１２３に記憶されたデータをデジタルカメラ１が読み出すことも可能である。
【００２７】
図２はデジタルカメラ１を背後から見たときの様子を示す図である。本体部１２の背面の中央には撮影された画像を表示したり、操作者へのメニューを表示する液晶のディスプレイ１２５が設けられる。そして、ディスプレイ１２５の側方にはディスプレイ１２５に表示されるメニューに従って入力操作を行うための操作ボタン１２６が配置される。これにより、デジタルカメラ１の操作、外部メモリ１２３の保守、画像の再生、撮影モードの設定等ができるようにされている。
【００２８】
デジタルカメラ１は、通常の撮影を行う通常撮影モードとともに、全体照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得するためのモード（以下、「物体色取得モード」ともいう。）を、その撮影モードとして備えている。そして、ユーザーはいずれかの撮影モードを操作ボタン１２６により選択することができる。
【００２９】
図３はデジタルカメラ１の構成のうち、主として本発明に係る処理を実行するための構成を模式的に示すブロック図である。
【００３０】
図３に示す構成のうち、レンズ系１１１、ＣＣＤ１１２、Ａ／Ｄ変換部１１５、シャッターボタン１２２、ＣＰＵ２１、ＲＯＭ２２、及びＲＡＭ２３は画像を取得する機能を実現する。すなわち、レンズ系１１１により被写体に係る光像がＣＣＤ１１２上に結像され、シャッターボタン１２２が押されると、ＣＣＤ１１２からの画像信号がＡ／Ｄ変換部１１５によりデジタル変換される。Ａ／Ｄ変換部１１５にて変換されたデジタル画像信号は本体部１２のＲＡＭ２３に画像データとして記憶される。なお、これらの処理の制御はＣＰＵ２１がＲＯＭ２２内に記憶されているプログラム２２１に従って動作することにより行われる。
【００３１】
外部メモリ１２３はＲＡＭ２３と接続され、操作ボタン１２６からの入力操作に基づいて各種データの受け渡しが行われる。また、ディスプレイ１２５がＣＰＵ２１からの信号に基づいて画像の表示や操作者への情報の表示を切り替えながら行う。
【００３２】
内蔵フラッシュ１２１はフラッシュ制御回路１２１ａを介してＣＰＵ２１に接続されており、フラッシュ制御回路１２１ａによってその発光開始及び停止が制御される。また、調光センサ１２７は、フラッシュ光の被写体からの反射光を受光するものであり、調光センサ１２７における受光量は調光回路１２７ａにより演算される。
【００３３】
また、本体部１２に設けられるＣＰＵ２１、ＲＯＭ２２、及びＲＡＭ２３が画像を処理する機能を実現する。具体的には、ＲＯＭ２２に記憶されているプログラム２２１に従って、ＲＡＭ２３を作業領域として利用しながらＣＰＵ２１が取得された画像に画像処理を施す。
【００３４】
デジタルカメラ１における露出制御は、シャッタースピード（ＣＣＤ１１２の積分時間）と、絞り値（レンズ系１１１に含まれる絞りの開口径）とを調節して行なわれる。図３における露出制御部２１９は、ＣＰＵ２１、ＲＯＭ２２、及びＲＡＭ２３等によって実現される機能であり、このようなシャッタースピード及び絞り値（すなわち、露出に関する条件）の設定及び制御を行う。
【００３５】
＜２．物体色取得モードの概要＞
図４は分光分布が予め分かっていない定常光（以下、「未知照明」とも称する）の下で複数の被写体に係る物体色成分データを時間順次に推定する際におけるデジタルカメラ１の主な動作フローを示す図である。なお、図４に示す動作は、デジタルカメラ１が物体色取得モードに設定されている場合に実施される。また、図４に示す動作では、未知照明環境において複数の被写体を時間順次に入れ替えつつ撮影を行うことで、各被写体に係る物体色成分データを推定することができる。
【００３６】
図４に示すように、物体色取得モードでは、未知照明環境で得られるカラー画像データを物体色成分データに変換するためのマトリックス（以下、「変換マトリックス」とも称する）を算出する（ステップＳ１〜Ｓ５）。そして、その後は、未知照明環境において各被写体に係るカラー画像データを取得して、変換マトリックスを用いて各カラー画像データを物体色成分データに変換することができる（ステップＳ６〜Ｓ９）。
【００３７】
具体的には、まず、基準となるサンプルを被写体（以下、「第１の被写体」とも称する）として、フラッシュ撮影を行って第１の被写体に係るカラー画像データ（以下、「第１のカラー画像データ」とも称する）を取得する（ステップＳ１）。なお、このフラッシュ撮影の際には、絞り値が最大とされ、シャッター速度が最速となるように露出条件が設定される。そして、後述する分光反射率を求める原理１に従って、第１のカラー画像データ等を用いて第１の被写体に係る物体色成分データ（以下、「第１の物体色成分データ」とも称する）を推定する（ステップＳ２）。
【００３８】
次に、未知照明環境で第１の被写体を撮影してカラー画像データ（以下、「第２のカラー画像データ」とも称する）を取得する（ステップＳ３）。そして、後述する未知照明の分光分布推定原理に従って、第１の物体色成分データと第２のカラー画像データとを用いて未知照明の分光分布を推定する（ステップＳ４）。
【００３９】
さらに、ステップＳ４で推定した未知照明の分光分布に基づいて、変換マトリックスを算出する（ステップＳ５）。
【００４０】
その後、被写体を順次入れ替えつつ、未知照明環境で第ｎ番目（ｎ＝２，３，４，・・・）の被写体（以下、「第ｎの被写体」とも称する）を撮影して、第ｎの被写体に係るカラー画像データを取得し（ステップＳ６）、後述する分光反射率を求める原理２に従って、変換マトリックスを用いて、第ｎの被写体に係る各物体色成分データを推定する（ステップＳ７）。この物体色成分データは、被写体の分光反射率に実質的に相当するデータである。
【００４１】
また、ステップＳ８では、ステップＳ７で推定した物体色成分データを利用して、ユーザーが所望する再現用のカラー画像データ（以下、「カラー再現画像データ」とも称する）を作成する。
【００４２】
なお、図示を省略するが、デジタルカメラ１の電源がＯＦＦされるか、又は、物体色取得モードが解除されることで、図４に示す動作フローから強制的に抜ける。
【００４３】
以下、被写体の分光反射率を求める原理１、変換マトリックスの算出方法、未知照明の分光分布推定原理、被写体の分光反射率を求める原理２、及びカラー再現画像データの作成について順次説明する。
【００４４】
＜２−１．分光反射率を求める原理１＞
ここでは、フラッシュ撮影によって得られるＲＧＢの３つの波長域毎のデータからなるカラー画像データ（すなわち、ＲＧＢの３つの波長域のそれぞれにおける分光成分に応じた画像データ）（以下、単に「カラー画像データ」と称する）に基づいて、分光反射率を算出する。ここで、分光反射率の算出方法の一例について説明する。
【００４５】
上述したように、デジタルカメラ１では、３つの異なる波長域に対応する３つの画像データを得ることができる。つまり、デジタルカメラ１では、第１〜第３番目の異なる波長域に対応する撮影画像を得ることができる。なお、以下では、より一般化した形で、ｍ個の異なる波長域に対応するｍ個の画像データを取得する場合について説明する。
【００４６】
ＣＣＤ１１２の各セルでは、第１〜第ｍ番目（ここでは、ｍ＝３）の波長域に対応する受光強度（センサ応答）ｖi（ｉ＝１，...，ｍ）が測定される。なお、以下では、各セルを１つの画素として考え、１つの画素について受光強度ｖi（ｉ＝１，...，ｍ）が測定されるものとして説明する。
【００４７】
受光強度ｖiは、各画像内の各画素位置（ｘ，ｙ）における画素値として取得されるため、各座標値ｘ，ｙの関数となる。
【００４８】
第ｉ番目の波長域（ｉ＝１，...，ｍ）に対応する撮影画像内の位置（ｘ，ｙ）における画素値ｖi（ｘ，ｙ）は、次の数１で表される。
【００４９】
【数１】
2005311581.tif 000003
【００５０】
ここで、ｒ（ｘ，ｙ，λ）は撮影対象物（被写体）の画像位置（ｘ，ｙ）における波長λ毎の反射率（すなわち分光反射率）を表し、Ｓ（λ）は撮像系の総合分光感度（以下、「撮像系総合分光感度」とも称する）を表す。撮像系総合分光感度は、ＣＣＤ１１２のＲＧＢフィルタを除く分光感度だけでなく、レンズ系の分光感度をも考慮した、総合的な分光感度である。言い換えれば、撮像系総合分光感度は、ＲＧＢフィルタを除くＣＣＤ１１２及びレンズ系を含む撮像系に関する分光感度である。また、Ｅ（λ）は照明の分光分布を表し、ｔi（λ）は、第１〜第ｍ番目の波長域に対応する分光透過率を示す。なお、λ１，λ２は、それぞれ、積分範囲の下限の波長及び上限の波長である。
【００５１】
次に数学的な取り扱いを簡略化するため、分光分布を離散化し、数１で表現されるｍ個の関係をベクトル及び行列を用いてまとめると、数２のように表現できる。但し、数２及びそれ以降の数式においては、位置（ｘ，ｙ）に関する表記は適宜省略するものとする。
【００５２】
【数２】
2005311581.tif 000004
【００５３】
ここで、列（縦）ベクトルｖは、その要素として、複数（ｍ個）のフィルタを透過した透過光の強度を表す上記のセンサ応答ｖi（ｉ＝１，...，ｍ）を縦に並べたｍ次元のベクトルである。このベクトルｖは「センサ応答ベクトル」とも称することができる。例えば、３種類（ＲＧＢ）のフィルタを透過する画像（フィルタ透過画像）を得る場合には、このセンサ応答ベクトルｖは、各フィルタに対応する３種類のセンサ応答（画素値）で構成される３次元の列ベクトル（ｍ＝３）となる。
【００５４】
また、列ベクトルｒは、物体色の分光反射率（分光分布）を表すｈ次元のベクトルである。ベクトルｒは、物体色を表すベクトルであり、「分光反射率ベクトル」とも称することができる。例えば、可視光線の４００ｎｍ〜７００ｎｍの波長領域における１０ｎｍ刻みの３１の代表値で離散化を図る場合には、この分光反射率ベクトルｒは、各代表値に対応する３１の感度で構成される３１次元の列ベクトル（ｈ＝３１）となる。
【００５５】
さらに、行列Ｅは、照明（ここでは、フラッシュ光）の分光分布を表すｈ×ｈの対角行列であり、照明輝度行列とも称することができる。行列Ｓは、撮像系の総合分光感度を表すｈ×ｈの対角行列であり、撮像系感度行列とも称することができる。
【００５６】
また、行列Ｔは、数３に示すように、ｍ個の列ベクトルｔi（ｈ×１）の転置ベクトル（すなわち行ベクトルｔit）を縦方向に配列した行列であり、ｍ行ｈ列（ｍ×ｈとも表記する）のサイズを有している。ｍ個の列ベクトルｔi（ｈ×１）のそれぞれは、各フィルタ（ＣＣＤ１１２のＲＧＢの各フィルタ）の分光特性を示すベクトルである。そのため、この行列Ｔは、フィルタ分光特性行列とも称することができる。なお、この明細書において、記号（＊）tは、転置ベクトル或いは転置行列を意味するものとする。
【００５７】
【数３】
2005311581.tif 000005
【００５８】
上記の行列Ｔ，Ｅ，Ｓを数４に示すように行列Ｆとしてまとめて表記すると、数２に示す分光反射率ベクトルｒとセンサ応答ベクトルｖとの関係は、数５のように表すことができる。なお、行列Ｆは、ｍ×ｈのサイズを有している（（ｍ，ｈ）型の行列であるとも表現できる）。
【００５９】
【数４】
2005311581.tif 000006
【００６０】
【数５】
2005311581.tif 000007
【００６１】
このデジタルカメラ１においては、各画素に関して、センサ応答ベクトルｖに基づいて分光反射率ベクトルｒを求めることにより、物体色成分データを求めることができる。すなわち、この数５を、分光反射率ベクトルｒについて解くことで、物体色成分データを求めることができる。
【００６２】
しかしながら、このデジタルカメラ１において、分光反射率ベクトルｒの次元数ｈはセンサ応答ベクトルｖの次元数ｍよりも大きい（ｈ＞ｍ）ため、ｍ×ｈ型の行列Ｆは正方行列ではなく正則でない。したがって、逆行列が存在しないため、数５を分光反射率ベクトルｒについて解くことができない。
【００６３】
そこで、分光反射率ベクトルｒは、各種の推定手法に基づく推定により近似的に求められる。
【００６４】
分光反射率に関する近似手法としては、例えば、次の２つの手法が挙げられる。
【００６５】
１つは、１）比較的少数の基底関数を主成分分析法により求め、分光分布をそれらの基底関数の線形結合として近似する手法（以下、「低次元線形近似法」とも略称する）である。また、もう１つは、２）重回帰分析を用いる手法（以下、「重回帰分析法」とも略称する）である。
【００６６】
これらの近似手法によれば、比較的少数のフィルタ透過光強度に基づいて分光分布を近似的に求めること（言い換えれば、推定すること）ができる。以下、低次元線形近似法、及び重回帰分析法によって分光反射率を近似的に算出する方法について、順次説明する。
【００６７】
＜２−１−１．低次元線形近似法＞
低次元線形近似法においては、後述する数１１に基づいて、センサ応答ベクトルｖから、分光反射率ベクトルｒの推定値ｒeを求める。以下では、その概要を説明する。
【００６８】
一般に、分光反射率ベクトルｒ（ｈ次元ベクトル）は、主成分ベクトルｂj（ｈ次元ベクトル）と各主成分ベクトルｂjに対する係数ｗj（スカラー）とを用いた線形結合として、数６のように表現できる。
【００６９】
【数６】
2005311581.tif 000008
【００７０】
このように、分光反射率ベクトルｒは、基底関数に相当する主成分ベクトルｂj（ｊ＝１，...，Ｋ）を用いて表現される。
【００７１】
なお、主成分ベクトルｂjは、統計的手法（主成分分析法）により求められる。具体的には、主成分ベクトルｂjは、複数（Ｋ個）のサンプルの分光反射率ベクトルに関する共分散行列の固有分解を用いて求められる。また、求められた複数の固有ベクトルのうち、固有値の大きいものから順に第１主成分ベクトル，第２主成分ベクトル，...，第ｊ主成分ベクトル，...の名称が付される。
【００７２】
ここでは、数６における全ての主成分ベクトルｂj（基底関数）を用いるのではなく、第１主成分ベクトルから第ｋ主成分ベクトルまでのｋ個（但し、ｋ＜Ｋ）の主成分ベクトルｂj（ｊ＝１，...，ｋ）を用いることによって、分光反射率ベクトルｒを近似的に表現する。すなわち、数７のように、分光反射率ベクトルｒを近似分光反射率ベクトル（言い換えれば推定分光反射率ベクトル）ｒeで近似するものとする。
【００７３】
【数７】
2005311581.tif 000009
【００７４】
また、この近似分光反射率ベクトルｒeは、数８で表現される。
【００７５】
【数８】
2005311581.tif 000010
【００７６】
なお、行列Ｂは、ｋ個の主成分ベクトル（縦ベクトル）ｂjを横方向に並べた行列であり、ｈ×ｋのサイズを有している。また、係数ベクトルｗは、その要素としてｋ個の係数ｗj（ｊ＝１，...，ｋ）を縦に並べたｋ次元のベクトルである。但し、次元数ｋは、後述の計算の便宜上、センサ応答ベクトルｖの次元数ｍと同一（ｋ＝ｍ）とする。すなわち、主成分ベクトルの数ｋを、フィルタ数（波長域数とも称する）ｍと等しくなるように設定する。
【００７７】
このとき、数５、数７及び数８を用いて数９の関係が導かれる。
【００７８】
【数９】
2005311581.tif 000011
ここで、（ｍ×ｋ）の行列（ＦＢ）は、ｋ＝ｍであるので（ｍ×ｍ）の正方行列である。そして、行列（ＦＢ）が正則であるとすれば、行列（ＦＢ）は逆行列を有する。このとき、係数ベクトルｗは、行列（ＦＢ）の逆行列（ＦＢ）-1を用いて、数１０で表現される。
【００７９】
【数１０】
2005311581.tif 000012
【００８０】
したがって、近似分光反射率ベクトルｒeは、数１１のように表現される。なお、数１１は、数１０を数８に代入すること等によって得られる。
【００８１】
【数１１】
2005311581.tif 000013
【００８２】
行列Ｆ（＝ＴＥＳ）及び行列Ｂの各要素は既知（初期設定によって決定される）であるので、数１１を用いれば、分光反射率ベクトルｒの推定値である近似分光反射率ベクトルｒeを、センサ応答ベクトルｖに基づいて求めることができる。
【００８３】
以下では、近似分光反射率ベクトルｒeを、被写体（撮影対象物）の分光反射率ｒとして、説明を行う。
【００８４】
なお、分光反射率の推定（近似）精度を高める上では、この主成分ベクトルｂj（ｊ＝１，...，ｋ）は、被写体の種類（例えば、ペンキで塗られた物体、水彩画等）にそれぞれ合わせたものを使用することが好ましい。そこで、以下、デジタルカメラ１では、被写体の種類に合わせた主成分ベクトルｂjのデータ（以下、「主成分ベクトルデータ」とも称する）を予めＲＯＭ２２等に格納しておき、ユーザーによるモード設定に応じて、主成分ベクトルｂjを選択するものとして説明する。
【００８５】
＜２−１−２．重回帰分析法＞
重回帰分析法においては、後述する数１５に基づいて、センサ応答ベクトルｖから分光反射率ベクトルｒの推定値ｒeを求める。以下では、その概要を説明する。
【００８６】
ここでは、分光反射率の推定問題に重回帰分析法を適用する。重回帰分析法として、特異値分解法を用いる。これによれば、ベクトル・行列演算により簡単に求解することが可能である。
【００８７】
まず、測色値を示すｎ個の分光反射率ベクトル（縦ベクトル）ｒ1，...，ｒnを横方向に並べてまとめた数１２のような（ｈ×ｎ）のサイズの行列Ｒを求める。なお、各ベクトルｒ1，...，ｒnは、ｎ個のサンプルのそれぞれについての測色値を示すｈ次元のベクトルである。
【００８８】
【数１２】
2005311581.tif 000014
【００８９】
また、ｎ個のセンサ応答ベクトル（縦ベクトル）ｖ1，...，ｖnを横方向に並べてまとめた数１３のような（ｍ×ｎ）のサイズの行列Ｖを求める。なお、ベクトルｖ1，...，ｖnは、それぞれｍ次元のベクトルであり、それぞれ分光反射率ベクトル（縦ベクトル）ｒ1，...，ｒnに対応している。
【００９０】
【数１３】
2005311581.tif 000015
【００９１】
このとき、Ｖを説明変数，Ｒを目的変数としたＶからＲへの回帰式の回帰係数行列Ｇは，数１４のように表される。この回帰理論は、最小二乗法の多変数の場合への拡張である。なお、行列Ｇのサイズは（ｈ×ｍ）である。
【００９２】
【数１４】
2005311581.tif 000016
【００９３】
したがって、数１５に示すように、この回帰係数行列Ｇを推定行列として用いることによって、分光反射率ベクトルｒの推定値、すなわち近似分光反射率ベクトルｒeをセンサ応答ベクトルｖから求めることができる。
【００９４】
【数１５】
2005311581.tif 000017
【００９５】
なお、ｎ個のサンプルのそれぞれについてのセンサ応答ベクトルｖ1，...，ｖnは、実際にｎ個のサンプルを切り替えて求めることもできるが、上記数２を用いて、シミュレーションによって求めることができ、省力化を図る上で有効である。具体的には、数２のうち、行列Ｓは装置に固有の行列であり、行列Ｔ，ＥはＲＧＢのフィルタ特性及びフラッシュ光の特性に基づいて決定される。また、分光反射率ベクトルｒ1，...，ｒnは、事前にｎ個のサンプルについて実測された分光反射率を用いれば、数２においてセンサ応答ベクトルｖ以外の値は全て既知となる。よって、数２を用いて、ｎ個のセンサ応答ベクトルｖ1，...，ｖnをシミュレーションによって算出することができる。そこで、デジタルカメラ１では、シミュレーション用の分光反射率ベクトルｒ1，...，ｒnのデータ（以下、「分光反射率サンプルデータ」とも称する）を予めＲＯＭ２２等に格納しておき、ｎ個のセンサ応答ベクトルｖ1，...，ｖnをシミュレーションによって算出するものとして以下説明する。
【００９６】
ところで、上記の重回帰分析法においては、説明変数と目的変数の間に線形関係がある場合を想定している。しかしながら、説明変数と目的変数の間に非線形な関係がある場合も想定される。そのような場合には、説明変数の高次の項、具体的には、センサー応答の高次の項を導入し、分光反射率を推定するようにしてもよい。これによれば、数１５における推定精度を向上させることが可能である。
【００９７】
例えば、数１３に含まれる各センサ応答ベクトルｖu（ｕ＝１，...，ｎ）として、数１６に示すような高次の項をも含めた拡張ベクトルｖuを想定する。この拡張ベクトルの次数は、元のベクトルの次数ｍよりも大きい。なお、値ｖiuは、数１３の元のベクトルｖuの第ｉ成分（ｉ＝１，...，ｍ）を示すスカラー量である。
【００９８】
【数１６】
2005311581.tif 000018
【００９９】
そして、この高次の項を含む拡張センサ応答ベクトルｖuをセンサ応答ベクトルｖの代わりに用い、上記の場合（高次の項を用いない場合）と同様にして、近似分光反射率ベクトルｒeを求める。具体的には、数１３に基づいて拡張ベクトルｖuに対する拡張行列Ｖを算出した後、数１４に基づいて拡張行列Ｇを求め、数１５に基づいて拡張ベクトルｖについての近似分光反射率ベクトルｒeを求める。このとき、拡張ベクトルｖu及び拡張行列Ｖのサイズが元のベクトルｖ及び行列Ｖと異なる点で上記の場合と相違する。また、数１６では２次の項までしか含めていないが、さらに高次（３次以上）の項を含めるようにしてもよい。
【０１００】
＜２−２．未知照明の分光分布推定原理＞
次に、第１の物体色成分データと第２のカラー画像データとを用いて未知照明の分光分布を推定する原理について説明する。
【０１０１】
ここでは、数２において、未知であるのは未知照明の分光分布だけである。つまり、Ｔ及びＳの各要素は既知（各部の初期設定によって決定される）であり、ｒは上述した分光反射率を求める原理１によって求まっており、ｖは第２のカラー画像データより求まる。
【０１０２】
そして、数２の行列Ｔ，ｒ，Ｓを数１７に示すように行列Ｍとしてまとめて表記すると、数２に示す照明の分光分布Ｅとセンサ応答ベクトルｖとの関係は、数１８のように表すことができる。なお、行列Ｍは、ｍ×ｈのサイズを有している。
【０１０３】
【数１７】
2005311581.tif 000019
【０１０４】
【数１８】
2005311581.tif 000020
【０１０５】
なお、数１７及び数１８では、Ｅは照明の分光分布を表すｈ次元の列ベクトル（分光分布ベクトル）であり、ｒは分光反射率（分光分布）を表すｈ×ｈの対角行列である。そして、上述したものと同様に、ｖは、ｍ次元の列（縦）ベクトルであり、行列Ｔは、数３に示すようにｍ行ｈ列のサイズを有する行列であり、行列Ｓは、撮像系の総合分光感度を表すｈ×ｈの対角行列である。
【０１０６】
ここで、数１８を、分光分布ベクトルＥについて解くことで、未知照明の分光分布を求めることができる。なお、数１８を分光分布ベクトルＥについて解く方法は、数５を分光反射率ベクトルｒについて解く方法と同様の方法を用いることができる。つまり、上述した低次元線形近似法、及び重回帰分析法によって未知照明の分光分布を近似的に算出することができる。但し、未知照明が蛍光灯等であって分光分布に輝線を持つものである場合、３つの主成分ベクトルしか用いない低次元線形近似法では輝線等を含めた未知照明の分光分布を精度良く推定することができない。そこで、この未知照明の分光分布については重回帰分析法によって求める方が精度良く推定することができる。
【０１０７】
なお、未知照明の分光分布を推定するための重回帰分析法においても、上述した重回帰分析法と同様にシミュレーションを用いることで、省力化を図ることができる。具体的には、行列Ｔ，ｒ，Ｓすなわち行列Ｍは既知であり、また、ｎ個の照明の分光分布については、事前にｎ個のサンプル照明について実測された分光分布を用いれば、数１８においてセンサ応答ベクトルｖ以外は全て既知となるため、ｎ個のセンサ応答ベクトルｖ1，...，ｖnをシミュレーションによって算出することができる。そこで、デジタルカメラ１では、シミュレーション用のｎ個の分光分布ベクトルＥ1，...，Ｅnのデータ（以下、「分光分布サンプルデータ」とも称する）を予めＲＯＭ２２等に格納しておき、ｎ個のセンサ応答ベクトルｖ1，...，ｖnをシミュレーションによって算出するものとして以下説明する。
【０１０８】
＜２−３．変換マトリックスの算出方法＞
変換マトリックスは、センサ応答ベクトルｖから、分光反射率ベクトルｒの推定値ｒeを求めるためのマトリックスであり、低次元線形近似法に係る数１１のＤ、重回帰分析法に係る数１５のＧがこれに該当する。つまり、ここでは、マトリックスＤ、又はマトリックスＧを変換マトリックスとして算出する。
【０１０９】
例えば、マトリックスＤについては、上述のごとく求めた未知照明の分光分布Ｅを用いることで、行列Ｆ（＝ＴＥＳ）及び行列Ｂの各要素は既知となるため、マトリックスＤを算出することができる。
【０１１０】
一方、マトリックスＧについては、上述したように、ｎ個の分光反射率が既知であるサンプルのそれぞれについてのセンサ応答ベクトルｖ1，...，ｖnを用いて、数１４を解くことで算出することができる。具体的には、上記数２において、行列Ｓは装置に固有の行列であり、行列ＴはＲＧＢのフィルタ特性によって決定され、行列Ｅは上述のごとく求めた未知照明の分光分布を用いる。さらに、分光反射率ベクトルｒ1，...，ｒnは、事前にｎ個のサンプルについて実測された分光反射率を用いれば、数２においてセンサ応答ベクトルｖ以外は全て既知となる。よって、ｎ個のセンサ応答ベクトルｖ1，...，ｖnをシミュレーションによって算出することができる。そして、これらのｎ個の分光反射率ベクトルｒ1，...，ｒn、及びｎ個のセンサ応答ベクトルｖ1，...，ｖnを用いることで、数１４を解いて、マトリックスＧを算出することができる。
【０１１１】
＜２−４．被写体に係る分光反射率を求める原理２＞
上述した変換マトリックスの算出方法によって、数１１におけるマトリックスＤ又は数１５におけるマトリックスＧが既知となる。よって、被写体を入れ替え、未知照明環境における撮影によって第ｎの被写体に係る第ｎのカラー画像データを得て、その第ｎのカラー画像データに基づくｍ次元のセンサ応答ベクトルｖを、単に数１１又は数１５に代入するだけで、第ｎの被写体に係る分光反射率の推定値を算出することができる。すなわち、第ｎの被写体に係る物体色成分データを推定することができる。
【０１１２】
＜２−５．カラー再現画像の作成＞
上述した被写体に係る分光反射率を求める原理２に従って得られる物体色成分データは、各画素における物体色の分光分布に関する情報であり、照明光源の分光分布に依存しない。したがって、各画素における物体色の分光分布と、任意の照明光源の分光分布（既知）とに基づいて、（その照明光源下での撮影の有無にかかわらず）その照明光源下でのカラー画像データを容易に作成することが可能である。
【０１１３】
具体的には、例えば、上述した数５で、被写体に係る分光反射率ベクトルｒが既知であり、照明光源の分光分布を任意に決めることで、数５の右辺の値は全て既知となり、センサ応答ベクトルｖを算出することができる。この原理を利用して、デジタルカメラ１では、ＲＯＭ２２等に、任意の照明光源の分光分布に係るデータを複数格納しておき、ユーザーの選択に応じて任意の照明光源下でのカラー画像データを作成する。
【０１１４】
また、一般的にカラー画像データを表示装置において可視的に出力する場合には、例えば８ビットのＲＧＢ等といった表示装置等に対応したデータ形式とする必要性がある。そこで、デジタルカメラ１では、ユーザーの選択等に応じた任意のデータ形式にカラー画像データを変換して、カラー再現画像データを作成する。なお、このデータ形式の変換には、画像データのファイル形式（例えば、ＪＰＥＧ形式、ＢＭＰ形式、ＴＩＦＦ形式等）の変換等も含まれる。
【０１１５】
＜３．デジタルカメラ１の物体色取得モードにおける動作＞
次に、図５から図１０に示すフローチャートを参照しながら、物体色取得モードにおける撮影動作について詳細に説明する。まず、物体色取得モードに設定されると、物体色取得モードにおける撮影動作が開始され、図５のステップＳ１１に進む。
【０１１６】
物体色取得モードでは、画素毎に分光反射率が求められ、各画素に対応させて未知照明の分光分布を推定させることができる。そのため、第１の被写体について、フラッシュ撮影と内蔵フラッシュ１２１を発光させない撮影（以下、「通常撮影」とも称する）とを同じ構図で行わなければ、正確に照明の分光分布を求めることができない。そこで、例えば、図１１から図１３に示すように、デジタルカメラ１を三脚８０等の固定部材で固定して、第１の被写体ＳＳの位置も変えずにフラッシュ撮影と通常撮影とを行って構図を保持する必要がある。
【０１１７】
また、第１の被写体に照射される定常光が空間的に均一でなく、第１の被写体上で空間的に徐々に変化するような場合には、画素毎に変換マトリックスが算出される（後述）。そのような場合には、被写体を順次変更して撮影する際にもデジタルカメラ１と定常光との位置関係が変化しないようにしなければ、各被写体に係る物体色成分データを精度良く推定することができない。つまり、被写体を順次変更して撮影を行い第ｎの被写体に係る第ｎのカラー画像データを得る際にも、デジタルカメラ１を三脚８０等で固定しておくべきである。そこで、以下の物体色取得モードにおける撮影動作の説明においては、デジタルカメラ１が三脚８０等で固定されているものとして説明を行う。なお、図１１から図１３における破線はデジタルカメラ１による撮影が可能な範囲（以下、「撮影範囲」とも称する）を示している。
【０１１８】
ステップＳ１１では、シャッターボタン１２２が押下されたか否かを判定する。このステップでは、シャッターボタン１２２が押下されれば、ステップＳ１２に進み、シャッターボタン１２２が押下されなければ、ステップＳ１１の判定を繰り返す。ステップＳ１１で判定の対象となるシャッターボタン１２２の押下は、第１の被写体をフラッシュ撮影するためのユーザーからの指示である。よって、ユーザーは、図１１に示すように、予め分光分布が分かっていない定常光ＵＬが被写体に照射される環境（未知照明環境）において、デジタルカメラ１の撮影範囲内に基準となる第１の被写体を設置して、シャッターボタン１２２を押下する。なお、第１の被写体は、未知照明の分光分布を正しく推定するために、透明な物体や表面に金属光沢を持つ物体でないことが必要である。また、第１の被写体は、未知照明が適正に照射されないような形状とならないように、例えば、デジタルカメラ１に対して平面を向けて設置することができる平板状の物体であることが好ましい。
【０１１９】
ステップＳ１２では、第１の被写体の物体色成分データを推定する動作（以下、「物体色の推定１」とも称する）を行い、ステップＳ１３に進む。
【０１２０】
ここで、物体色の推定１の動作について説明する。
【０１２１】
図１４は、主として物体色の推定１においてＣＰＵ２１、ＲＯＭ２２及びＲＡＭ２３により実現される機能の構成を他の構成とともに示すブロック図であり、図６は物体色の推定１の動作フローを示すフローチャートである。図１４に示す構成のうち、画素データ抽出部２０２、輝度判定部２０３、物体色成分データ生成部２０４、画素数判定部２０５が、ＲＯＭ２２内に格納されるプログラム２２１等がＣＰＵ２１に読み込まれることでＣＰＵ２１及びＲＡＭ２３等により実現される機能である。以下、これらの図を参照しながら物体色の推定１の動作について説明する。
【０１２２】
図５のステップＳ１２に進むと、図６のステップＳ１２１に進む。
【０１２３】
ステップＳ１２１では、フラッシュ光の影響が極大となるような撮影条件でフラッシュ撮影を行い、ステップＳ１２２に進む。つまり、図１１に示すように、未知照明環境において、デジタルカメラ１の撮影範囲内に基準となる第１の被写体を設置して、図１２に示すように、フラッシュ光（図中一点鎖線で挟まれる範囲に相当）ＦＬを第１の被写体に照射して撮影を行う。
【０１２４】
このステップＳ１２１では、フラッシュ光の影響が極大となるように、被写体の明るさとは無関係に、絞り値が最大（絞りの開口径は最小）、かつシャッタースピードが最速となる露出条件が設定される。そして、設定された露出条件（絞り値：最大、シャッタースピード：最速）で、フラッシュ光が照射された第１の被写体に係る画像データ（第１のカラー画像データ）を得る。すなわち、内蔵フラッシュ１２１を発光させるとともにＣＣＤ１１２にて画像信号を取得し、得られた画像信号がＡ／Ｄ変換部１１５からＲＡＭ２３へと送られ、第１のカラー画像データ２３１として記憶される。このようにしてフラッシュ光の影響が極大となるような露出条件により、フラッシュ光が十分照射される被写体に係る画像データについては、フラッシュ光のみを照明光とする（発光照明環境の影響のみを受ける）画像データとみなすことができる。
【０１２５】
ステップＳ１２２では、第１のカラー画像データ２３１のうち一の画素データを抽出し、ステップＳ１２３に進む。このステップでは、後述するステップＳ１２６から戻ってくる度に、画素データ抽出部２０２により第１のカラー画像データ２３１のうち未だ抽出されていない一の画素データを抽出する。
【０１２６】
ステップＳ１２３では、ステップＳ１２２において抽出された画素データ（画素値）が所定の輝度条件を満足するか否か判定する。このステップでは、画素データが所定の輝度条件を満足する場合にはステップＳ１２４に進み、満足しない場合にはステップＳ１２６に進む。この判定は、画素毎に、フラッシュ光が被写体に対して十分照射されているか否かを判定するものである。例えば、８ビットで画素値を表す場合には、輝度判定部２０３によって、所定値（例えば、８０）以上の画素値を有する画素については、画素データが所定の輝度条件を満たしているものとして判定する。このようにして、第１のカラー画像データにおける画素データのうち、所定の輝度条件を満足する画素データが検出される。
【０１２７】
ステップＳ１２４では、ステップＳ１２２で抽出された画素データとフラッシュ光の分光分布とに基づいて、分光反射率を算出し、ステップＳ１２５に進む。ステップＳ１２３で所定の輝度条件を満足していると判定された画素データは、フラッシュ光のみを照明光とする画素データであるとみなすことができる。そのため、ステップＳ１２４では、物体色成分データ生成部２０４により、上述した「分光反射率を求める原理１」に従って、フラッシュの分光分布（以下、「フラッシュ分光データ」とも称する）２３４と画素データとに基づいて、分光反射率を算出する。なお、フラッシュ分光データは、予め測定によって得ることができ、ＲＯＭ２２等に予め格納しておき、演算に使用する際に、フラッシュ分光データ２３４としてＲＡＭ２３に記憶する。また、分光反射率を求める原理１において、予め必要とされる各種データ（撮像系総合分光感度Ｓ（λ）、分光透過率ｔi（λ）等に係るデータ）はＲＯＭ２２等に予め格納されており、必要に応じて、ＣＰＵ２１やＲＡＭ２３等に読み出されるものとする。
【０１２８】
また、フラッシュ分光データは、フラッシュの発光条件によって微妙に変化するが、デジタルカメラ１の内部で発光条件を決定している。そのため、発光条件によって、フラッシュ分光データに対して補正をかけたり、テーブル等から最適なフラッシュ分光データを引き出すこともできる。例えば、詳細な発光条件におけるフラッシュ光の分光分布をデータベースとしてＲＯＭ２２内に格納しておき、内蔵フラッシュ１２１の発光状態からフラッシュ光の分光分布を決定することができる。具体的には、表１に示すようなデータベース（以下、「フラッシュＤＢ」とも称する）をＲＯＭ２２に格納しておき、フラッシュ制御回路１２１ａから得られる内蔵フラッシュ１２１の発光状態に基づいて、フラッシュＤＢから最も適切なフラッシュ光の分光分布を決定することができる。
【０１２９】
【表１】
2005311581.tif 000021
【０１３０】
例えば、充電電圧が３２５Ｖであり、発光時間が１／５であった場合には、最も近い発光条件である充電電圧３３０Ｖ、発光時間１／４におけるフラッシュ光の分光分布を実際の分光分布として決定する。
【０１３１】
ステップＳ１２５では、ステップＳ１２２で抽出の対象とされた画素の位置（一般的には、画素を特定する情報）とステップＳ１２４で算出された分光反射率とを関連付けて記憶し、ステップＳ１２６に進む。このステップでは、例えば、物体色成分データ生成部２０４が、画素データ抽出部２０２から抽出対象とされた画素の位置の情報を得ることで、画素の位置と分光反射率とを関連付けてＲＡＭ２３に記憶する。そして、画素データ抽出部２０２によって全画素が抽出されて、全画素を対象としてステップＳ１２３〜Ｓ１２５の処理が行われると、各画素の位置と各分光反射率とが関連づけられた第１の被写体に係る物体色成分データ（第１の物体色成分データ）２３５がＲＡＭ２３に生成される。
【０１３２】
ステップＳ１２６では、ステップＳ１２２において全ての画素データを抽出したか否か判定する。このステップでは、画素データ抽出部２０２によって画素データの抽出の有無を管理し、第１のカラー画像データ２３１のうち全ての画素データの抽出が完了していればステップＳ１２７に進み、完了していなければステップＳ１２２に戻る。
【０１３３】
ステップＳ１２７では、ステップＳ１２３において所定の輝度条件を満たすと判定された画素が全画素のうちの所定割合（例えば、１／１０）以上を占めるか否か判定する。このステップでは、ある程度の割合の画素について分光反射率を推定することができないと、後に推定する照明の分光分布の推定精度が低下するため、照明の分光分布を推定するために使用可能な物体色成分データが得られているか否かを判定する。このステップの判定は、例えば、画素数判定部２０５が、第１の物体色成分データの画素数をカウントして、もとの全画素数（ＣＣＤ１１２によって予め決定される画素数）と比較することで実現することができる。そして、所定の輝度条件を満たすと判定された画素が全画素のうちの所定割合以上を占めると判定された場合には、第１の物体色成分データ２３５を第１の被写体に係る物体色成分データとして採用して、物体色の推定１の動作を終了する。一方、所定割合以上を占めないと判定された場合には、第１の物体色成分データ２３５を削除して、物体色取得モードの撮影動作の最初、すなわち図５のステップＳ１１に戻る。
【０１３４】
このようにして、デジタルカメラ１では、物体色の推定１の動作により、第１の被写体に係る第１のカラー画像データを用いて、第１の被写体に係る第１の物体色成分データを推定することができる。そして、物体色の推定１の動作が終了すると、図５のステップＳ１３に進む。
【０１３５】
ステップＳ１３では、未知照明の分光分布を推定する動作（以下、「照明の分光分布の推定」とも称する）を行い、ステップＳ１４に進む。
【０１３６】
ここで、照明の分光分布の推定の動作について説明する。
【０１３７】
図１５は、主として照明の分光分布の推定においてＣＰＵ２１、ＲＯＭ２２及びＲＡＭ２３により実現される機能の構成を他の構成とともに示すブロック図であり、図７は照明の分光分布の推定動作フローを示すフローチャートである。図１５に示す構成のうち、画素指定部２０６、指定画素判定部２０７、第１照明分光データ生成部２０８、ばらつき判定部２０９、及び第２照明分光データ生成部２１０が、ＲＯＭ２２内に格納されるプログラム２２１等がＣＰＵ２１に読み込まれることでＣＰＵ２１及びＲＡＭ２３等により実現される機能である。以下、これらの図を参照しながら照明の分光分布の推定動作について説明する。
【０１３８】
図５のステップＳ１３に進むと、図７のステップＳ１３１に進む。
【０１３９】
ステップＳ１３１では、未知照明環境において第１のカラー画像データを取得した際と同様な構図で通常撮影を行い、ステップＳ１３２に進む。つまり、このステップでは、図１１に示すように、物体色の推定１でフラッシュ撮影を行った際のデジタルカメラ１と第１の被写体の設置場所を維持することで構図を保持したまま、内蔵フラッシュ１２１を発光させずに撮影を行う。そして、定常光を浴びた第１の被写体に係る画像データ（第２のカラー画像データ）を得る。よって、ＣＣＤ１１２にて画像信号を取得し、得られた画像信号がＡ／Ｄ変換部１１５からＲＡＭ２３へと送られ、定常照明環境の影響のみを受ける第２のカラー画像データ２３２として記憶される。
【０１４０】
ステップＳ１３２では、画素データ指定部２０６により第２のカラー画像データ２３２に係る全画素のうちの一の画素を指定し、ステップＳ１３３に進む。また、このステップでは、後述するステップＳ１３６から戻ってくる度に、画素データ指定部２０６により第２のカラー画像データ２３２に係る画素のうち未だ指定されていない一の画素を指定する。
【０１４１】
ステップＳ１３３では、ステップＳ１３２において指定された画素（以下、「指定画素」とも称する）が、ステップＳ１２における物体色の推定１において分光反射率が算出された画素に対応するか否かを判定する。このステップでは、ステップＳ１２で指定画素について分光反射率が算出された画素に対応すると判定された場合にはステップＳ１３４に進み、分光反射率が算出された画素に対応しないと判定された場合にはステップＳ１３６に進む。なお、この判定は、指定画素判定部２０７が、ＲＡＭ２３に記憶される第１の物体色成分データ２３５を参照することで実現することができる。
【０１４２】
ステップＳ１３４では、指定画素について照明の分光分布を推定し、ステップＳ１３５に進む。このステップでは、第１照明光データ生成部２０８により上述した「未知照明の分光分布推定原理」に従い、第２のカラー画像データのうちの指定画素に係る画素データと、第１の物体色成分データのうちの指定画素に対応する分光反射率とを用いて、未知照明の分光分布を算出する。なお、未知照明の分光分布推定原理において、予め必要とされる各種データ（撮像系総合分光感度Ｓ（λ）、分光透過率ｔi（λ）等に係るデータ）はＲＯＭ２２等に予め格納されており、必要に応じて、ＣＰＵ２１やＲＡＭ２３等に読み出されるものとする。
【０１４３】
ステップＳ１３５では、ステップＳ１３２で指定された指定画素と、ステップＳ１３４で算出された未知照明の分光分布とを関連付けて記憶し、ステップＳ１３６に進む。このステップでは、例えば、第１照明分光データ生成部２０８が、画素指定部２０６から指定された画素の位置の情報を得ることで、指定画素の位置と未知照明の分光分布とを関連付けてＲＡＭ２３に記憶する。そして、画素指定部２０６によって全画素が指定されて、全画素を対象としてステップＳ１３３〜Ｓ１３５の処理が行われると、各画素と各未知照明の分光分布とが関連づけられた画素毎の未知照明の分光分布に係るデータ（以下、「照明分光データ」）２３６がＲＡＭ２３に生成される。
【０１４４】
ステップＳ１３６では、ステップＳ１３２において全ての画素を指定したか否かを判定する。このステップでは、画素指定部２０６によって画素の指定を管理し、全ての画素データの指定が完了していればステップＳ１３７に進み、完了していなければステップＳ１３２に戻る。
【０１４５】
ステップＳ１３７では、ＣＣＤ１１２の全画素に対応する画素配列Ｇを複数の領域（例えば、縦３個×横４個＝計１２個の格子状の領域）に分割し、各領域の代表点（例えば、中心点）を対象にして、未知照明の分光分布のばらつきを評価し、ステップＳ１３８に進む。このステップでは、例えば、図１６に示すように画素配列Ｇを、縦方向に３個、横方向に４個の同等な面積を有する１２個の領域（以下、「分割領域」とも称する）Ａ１〜Ａ１２に分割する。そして、ステップＳ１３４，Ｓ１３５で生成された画素毎の照明分光データのうち各分割領域Ａ１〜Ａ１２の中心に位置する画素（以下、「領域中心画素」とも称する）に対応する分光分布のデータに基づいて、未知照明の分光分布のばらつきを評価する。具体的には、ばらつき判定部２０９が、画素毎の照明分光データ２３６から各領域中心画素に対応する分光分布のデータを抽出して未知照明の分光分布のばらつきを評価する。
【０１４６】
なお、上述したように、未知照明の分光分布は全画素に対して算出されている訳ではないため、ステップＳ１３７では、例えば、１２個の領域中心画素に対応する未知照明の分光分布が全て求められている場合にのみ、ばらつき評価を行う。
【０１４７】
ばらつき判定部２０９は、例えば、各領域中心画素に対応する未知照明の分光分布の間における平均２乗誤差の積分値が所定値以上である場合に、分光分布のばらつきが大きいものと判断し、その判定結果データ２３８をＲＡＭ２３に記憶する。但し、周辺の画素になれば暗いものと感知される傾向（いわゆるシェーディング）を考慮して、ばらつき判定部２０９では、例えば、各領域中心画素に対応する分光分布について、波長が５００ｎｍ付近のグリーンの光の値が同様となるようにＫ倍する補正をした後に、平均２乗誤差の積分値を算出する。そして、もしも、各代表点に係る分光分布が大きく異なる場合、つまり場所によって照射される光の分光分布が大きく異なる場合には、上記平均２乗誤差の積分値が所定値以上となる。
【０１４８】
ステップＳ１３８では、全代表点を対象として、分光分布のばらつきが大きいか否かを判定する。このステップでは、ばらつき判定部２０９により、ステップＳ１３７で、全代表点に対応する分光分布が求められており、かつ、分光分布のばらつきが大きいものと判断されている場合には、ステップＳ１３９に進む。一方、ステップＳ１３７で、一部の代表点に対応する分光分布が求められていないか、又は分光分布のばらつきが大きいものと判断されていない場合には、ステップＳ１４０に進む。
【０１４９】
ステップＳ１３９では、画素毎の照明分光データ２３６のうち全ての代表点に係る未知照明の分光分布に基づいて、各画素間で徐々に変化する未知照明の分光分布（以下、「照明分光データ」とも称する）２３７を算出し、ＲＡＭ２３内に記憶して、照明の分光分布の推定動作を終了する。このステップでは、第２照明分光データ生成部２１０が、判定結果データ２３８に基づいて、未知照明が第１の被写体に対して空間的に均一に照射されるものではなく、場所によって異なる分光分布を有する照明が照射されているものと判断する。そして、第２照明分光データ生成部２１０が、各画素間で徐々に未知照明の分光分布が変化する照明分光データ２３７を生成する動作を行う。つまり、第２照明分光データ生成部２１０が、画素毎の照明分光データ２３６に基づいて照明分光データ２３７を生成する。具体的には、各代表点に対応する未知照明の分光分布に基づいて、各代表点の間においてほぼ直線的に分光分布が変化するように、全画素について未知照明の分光分布を算出する。なお、画素配列Ｇの外縁部分は、各代表点の間には位置しないため、各代表点間における未知照明の分光分布の変化（傾き）に基づいて外挿演算によって求めることができる。
【０１５０】
なお、ここでは、代表点に係る未知照明の分光分布に基づいて、各画素間で徐々に変化する未知照明の分光分布を算出したが、これに限られるものではない。例えば、画素毎の照明分光データ２３６が、画素配列Ｇの全画素について求まっている場合には、第２照明分光データ生成部２１０が、画素毎の照明分光データ２３６をそのまま照明分光データ２３７として採用しても良い。場合によっては、このような構成とする方が、上述した構成よりも、計算量を低減することができるとともに、照明分光データ２３７の推定精度が高くなるため、より好ましいと言える。
【０１５１】
このようにして、未知照明が被写体を空間的に均一に照射するものでない場合に対応して、各画素間において照明の分光分布が徐々に変化する照明分光データ２３７を推定することができる。
【０１５２】
ステップＳ１４０では、ステップＳ１３４，Ｓ１３５で推定された画素毎の照明分光データ２３６の平均値を算出して、照明光の分光分布の推定動作を終了する。ステップＳ１３７で分光分布のばらつきが大きくないものと判断されている場合には、空間的にほぼ均一な定常光が第１の被写体の全体に対して照射されているものと判断することができる。また、ステップＳ１３７で一部の代表点に対応する分光分布が求められていないと判断されている場合には、ステップＳ１３９のように、各画素間において照明の分光分布が徐々に変化する未知照明の分光分布を求めたのでは、照明分光データ２３７の推定精度が低下する。そのため、本実施形態では、ステップＳ１３７で一部の代表点に対応する未知照明の分光分布が求められていないと判断されている場合には、便宜的に空間的に均一な定常光が第１の被写体の全体に対して照射されているものと仮定して処理を行う。したがって、ステップＳ１４０では、後の計算を簡略化する目的も兼ねて、第２照明分光データ生成部２１０により、画素毎の照明分光データ２３６（具体的には、画素毎の未知照明の分光分布）の平均値を算出し、これを画素配列Ｇの全画素に対応する照明分光データ２３７としてＲＡＭ２３７に記憶する。このような処理により、ステップＳ１２においては、第１の被写体のうちフラッシュ光が十分照射された部分に係る分光反射率しか求まっていない場合でも、画素配列Ｇの全画素に対応する照明分光データ２３７を推定することができる。
【０１５３】
このようにして、デジタルカメラ１では、未知照明環境で取得された第１の被写体に係る第２のカラー画像データと、第１の物体色成分データとに基づいて、未知照明の分光分布を推定することができる。そして、照明光の分光分布の推定動作が終了すると、図５のステップＳ１４に進む。
【０１５４】
ステップＳ１４では、未知照明環境で得られるカラー画像データを物体色成分データに変換するための変換マトリックスを算出する動作（以下、「変換マトリックスの算出」とも称する）を行い、ステップＳ１５に進む。
【０１５５】
ここで、変換マトリックスの算出動作について説明する。
【０１５６】
図１７は、主として変換マトリックスの算出においてＣＰＵ２１、ＲＯＭ２２及びＲＡＭ２３により実現される機能の構成を他の構成とともに示すブロック図であり、図８は変換マトリックスの算出動作フローを示すフローチャートである。図１７に示す構成のうち、変換マトリックス算出部２１１が、ＲＯＭ２２内に格納されるプログラム２２１等がＣＰＵ２１に読み込まれることでＣＰＵ２１及びＲＡＭ２３等により実現される機能である。以下、これらの図を参照しながら変換マトリックスの算出動作について説明する。
【０１５７】
図５のステップＳ１４に進むと、図８のステップＳ１４１に進む。
【０１５８】
ステップＳ１４１では、照明の分光分布の推定動作において画素毎の分光分布の平均値を算出したか否かを判定する。具体的には、例えば、変換マトリックス算出部２１１が、ステップＳ１３７の判定による判定結果データ２３８を参照することで判定することができる。そして、このステップで、分光分布の平均値を算出したと判定された場合には、ステップＳ１４２に進み、分光分布の平均値を算出していないと判定された場合には、ステップＳ１４３に進む。
【０１５９】
ステップＳ１４２では、照明の分光分布の推定動作において推定された照明の分光分布に基づいて、全画素用の変換マトリックスを算出して記憶し、変換マトリックスの算出動作を終了する。照明の分光分布の推定動作において、画素毎の分光分布の平均値を算出した場合には、画素配列Ｇの全画素に対して１つの照明の分光分布が推定されている。そのため、このステップでは、変換マトリックス算出部２１１が、上述した変換マトリックスの算出方法に従って、全画素に対する１つの照明の分光分布（照明分光データ２３７）に基づいて変換マトリックスを算出し、変換データ２３９としてＲＡＭ２３に記憶する。
【０１６０】
ステップＳ１４３では、照明の分光分布の推定動作において推定された未知照明の分光分布に基づいて、画素毎に変換マトリックスを算出して記憶し、変換マトリックスの算出動作を終了する。照明の分光分布の推定動作において、画素毎の分光分布の平均値を算出していない場合には、画素配列Ｇの全画素に対してそれぞれ１つずつの未知照明の分光分布が推定されている。このため、このステップでは、変換マトリックス算出部２１１が、上述した変換マトリックスの算出方法に従って、画素毎の未知照明の分光分布（照明分光データ２３７）に基づいて変換マトリックスを算出し、変換データ２３９としてＲＡＭ２３に記憶する。なお、未知照明の分光分布推定原理において、予め必要とされる各種データ（分光反射率ベクトルｒ1，...，ｒn等）はＲＯＭ２２等に予め格納されており、必要に応じて、ＣＰＵ２１やＲＡＭ２３等に読み出されるものとする。
【０１６１】
このようにして、変換マトリックスの算出動作が終了すると、図５のステップＳ１５に進む。
【０１６２】
ステップＳ１５では、ステップＳ１１と同様に、シャッターボタン１２２が押下されたか否かを判定する。このステップでは、シャッターボタン１２２が押下されれば、ステップＳ１６に進み、シャッターボタン１２２が押下されなければ、ステップＳ１１の判定を繰り返す。ステップＳ１５で判定の対象となるシャッターボタン１２２の押下は、第１の被写体から別の被写体に入れ替えて定常光下で撮影するためのユーザーからの指示である。よって、ユーザーは、図１３に示すように、定常光ＵＬが被写体に照射される環境において、デジタルカメラ１の撮影範囲内に新たな撮影対象である第ｎの被写体（例えば、図１３(a),(b)の被写体ＯＢ１，ＯＢ２）を設置して、シャッターボタン１２２を押下する。
【０１６３】
ステップＳ１６では、第ｎの被写体の物体色成分データを推定する動作（以下、「物体色の推定２」とも称する）を行い、ステップＳ１７に進む。
【０１６４】
ここで、物体色の推定２の動作について説明する。
【０１６５】
図１８は、主として物体色の推定２においてＣＰＵ２１、ＲＯＭ２２及びＲＡＭ２３により実現される機能の構成を他の構成とともに示すブロック図であり、図９は物体色の推定２の動作フローを示すフローチャートである。図１８に示す構成のうち、物体色成分データ生成部２１２が、ＲＯＭ２２内に格納されるプログラム２２１等がＣＰＵ２１に読み込まれることでＣＰＵ２１及びＲＡＭ２３等により実現される機能である。以下、これらの図を参照しながら物体色の推定２の動作について説明する。
【０１６６】
図５のステップＳ１６に進むと、図９のステップＳ１６１に進む。
【０１６７】
ステップＳ１６１では、未知照明環境で被写体の撮影を行い、ステップＳ１６２に進む。具体的には、未知照明環境において第ｎの被写体の撮影を行い、第ｎの被写体に係る画像データ（第ｎのカラー画像データ）を得る。すなわち、内蔵フラッシュ１２１を発光させずにＣＣＤ１１２にて画像信号を取得し、得られた画像信号がＡ／Ｄ変換部１１５からＲＡＭ２３へと送られ、第ｎのカラー画像データ２４０として記憶される。このようにして、第ｎの被写体について、定常照明環境の影響のみを受ける第ｎのカラー画像データを得ることができる。
【０１６８】
ステップＳ１６２では、第ｎのカラー画像データ２４０と変換マトリックス（変換データ２３９）とに基づいて画素毎に分光反射率を算出する。具体的には、物体色成分データ生成部２１２が、上述した被写体に係る分光反射率を求める原理２に従って、ＲＡＭ２３に記憶された第ｎのカラー画像データ２４０の各画素データについて、変換データ２３９による画素データの変換を行う。そして、物体色成分データ生成部２１２が、第ｎの被写体について、画素毎に分光反射率を算出して、各画素を特定する情報と関連づけてＲＡＭ２３に記憶させることで、ＲＡＭ２３内に第ｎの物体色成分データ２４１を生成する。このようにして、画素毎に分光反射率を算出すると、物体色の推定２の動作を終了し、図５のステップＳ１７に進む。
【０１６９】
ステップＳ１７では、ステップＳ１６で得られた物体色成分データ２４１に基づいて、ユーザーが望む再現用の条件に合わせた態様の画像データ（以下、「カラー再現画像データ」とも称する）を作成し、ステップＳ１８に進む。
【０１７０】
ここで、カラー再現画像データの作成について説明する。
【０１７１】
図１０はカラー再現画像データの作成動作フローを示すフローチャートである。なお、この動作フローは、ＣＰＵ２１、ＲＯＭ２２及びＲＡＭ２３等により実現される。以下、図１０を参照しながらカラー再現画像データの作成動作について説明する。
【０１７２】
図５のステップＳ１７に進むと、図１０のステップＳ１７１に進む。
【０１７３】
ステップＳ１７１では、ユーザーによる操作ボタン１２６の操作に応答して、ユーザーが望む再現用の条件（以下、「再現条件」とも称する）を選択し、ステップＳ１７２に進む。この再現条件には、第ｎの被写体を画像として再現（出力）したい照明環境を擬似的に設定するための照明光源の分光分布や、出力装置等に対応したデータ形式、及びファイルの保存形式等の情報が含まれる。
【０１７４】
ステップＳ１７２では、ステップＳ１７１で選択された再現条件に基づいて、上記物体色の推定２で作成された第ｎの物体色成分データに係る全画素の分光反射率からカラー再現画像データをＲＡＭ２３内に作成し、カラー再現画像データの作成動作フローを終了する。そして、図５のステップＳ１８に進む。
【０１７５】
ステップＳ１８では、ステップＳ１６で推定された第ｎの物体色成分データ、及びステップＳ１７で作成されたカラー再現画像データを外部メモリ１２３に記憶し、ステップＳ１９に進む。
【０１７６】
ステップＳ１９では、電源がＯＦＦに設定されたか、又はモードが切り替えられたか否かを判定する。そして、電源がＯＦＦに設定されたか、又はモードが切り替えられたものと判定すると、物体色取得モードにおける撮影動作を終了する。一方、電源がＯＦＦに設定されたか、又はモードが切り替えられたものと判定されない場合には、ステップＳ１５に戻り、次の被写体に入れ替えて、次の被写体に係る物体色成分データ及びカラー再現画像データを取得することができる。
【０１７７】
以上のように、本発明の実施形態に係るデジタルカメラ１では、まず、基準となるサンプルを第１の被写体として、フラッシュ光の影響が極大となるような条件でフラッシュ撮影を行って第１のカラー画像データを取得する。そして、第１のカラー画像データに基づいて第１の被写体に係る第１の物体色成分データを推定する。次に、未知照明環境で第１の被写体を撮影して第２のカラー画像データを取得する。そして、第１の物体色成分データと第２のカラー画像データとを用いて未知照明の分光分布を推定する。引き続いて、推定した未知照明の分光分布に基づいて、未知照明環境で得られる被写体に係るカラー画像データを物体色成分データに変換する変換マトリックスを算出する。その結果、同じ未知照明環境において被写体を順次変更しても、単に各被写体に係るカラー画像データを取得して、変換マトリックスによって変換するだけで、容易に各被写体に係る物体色成分データを得ることができる。したがって、被写体が変更される度にフラッシュを発光させる必要がなく、エネルギー消費量を低減することができる。また、フィルターを用いることもないため、デジタルカメラ１の構成の複雑化も招くこともない。すなわち、予め被写体を照射する光の分光分布が分からなくても、一旦変換マトリックスを算出してしまえば、複数の対象物に係る物体色成分データを迅速かつ容易に得ることができる。
【０１７８】
また、第１のカラー画像データのうちの所定の輝度条件を満たす画素データに基づいて、第１の被写体のうちの当該画素データに対応する部分、すなわち、第１の被写体のうちフラッシュ光が十分届く一部の領域について、物体色成分データが推定される。そして、その推定された第１の物体色成分データを用いて定常光の分光分布を推定する。そのため、第１の被写体の一部に対してのみフラッシュ光が届くような場合でも、定常光の分光分布を推定することが可能であり、変換マトリックスを算出することもできる。
【０１７９】
また、上記デジタルカメラ１のような構成を採用することで、未知照明の光源が複数あって、複数の照明光源による混合光が被写体に照射されるような場合であっても、混合光の分光分布を推定して、適切な変換マトリックスを算出することができる。
【０１８０】
また、プロのカメラマン等は、通常のカラー画像データを原画像としたフォトレタッチを多用する。しかし、通常のカラー画像データを原画像として、フォトレタッチにより照明光源等を擬似的に変更してカラー画像データを得ようとすると、かなりのノウハウが必要であり、素人にとっては、このようなフォトレタッチを自由自在に行うことは困難であった。
【０１８１】
ところが、上述のようにして取得される被写体に係る物体色成分データは、フォトレタッチの原画像として利用することができる。そして、デジタルカメラ１では、ユーザーによる操作ボタン１２６の操作に応答して照明環境等を含む再現条件を選択するだけで、各画素における物体色の分光分布と、任意の照明光源の分光分布（既知）とに基づいて、（その照明光源下での撮影の有無にかかわらず）その照明光源下でのカラー画像データを容易に作成することが可能である。また、デジタルカメラ１で得られた物体色成分データをコンピュータに持ち込むことで、種々のフィルタ処理をかけて色味等を変化させることで、撮影レンズの前に種々のフィルタを付けて撮影した時と同じ効果を、実際にはフィルタを付け替えることなく、簡単に実現することが可能である。
【０１８２】
そして、デジタルカメラ１では、フォトレタッチ等の後の処理を施し易い物体色成分データを、複数の被写体を対象として迅速かつ簡単に得ることができる。
【０１８３】
また、デジタルカメラ１のように容易に複数の被写体について物体色成分データを得るシステムは、医療の現場等で多く使われる可能性がある。例えば、医者が患者を診察する場合に、体の種々の部位（以下、「診察対象部位」とも称する）の色に基づいて診察を行う場合がある。そして、遠隔地の患者を医者が診断する場合に、診察対象部位をデジタルカメラで撮影して、その画像に基づいて診察を行うことが考えられる。しかし、一般的なデジタルカメラで単に撮影したのでは、デジタルカメラにおいて公知のホワイトバランス処理がなされてしまい、診察対象部位の色が撮影環境によって種々変化してしまうため、正確な診断の妨げとなる。
【０１８４】
これに対して、本発明のデジタルカメラ１を用いれば、診察対象部位に係る物体色成分データを容易に取得することができ、さらに、診察に適した再現用の照明光源を選択することで、医者は、常に一定の照明光源下で診察対象部位を擬似的に診察することができる。
【０１８５】
＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１８６】
◎例えば、上述した実施形態では、物体色の推定１、照明の分光分布の推定、変換マトリックスの算出、及び物体色の推定２等の動作を一台のデジタルカメラ１で行ったが、これに限られず、例えば、デジタルカメラとパソコンとから構成されるシステムによって行うようにしても良い。つまり、例えば、カメラとパソコン等といった複数装置の組合せによって本発明に係る画像入力システムを構成しても良い。
【０１８７】
但し、物体色成分データを取得するために、被写体に係る全てのカラー画像データを１つのＣＣＤによって取得する方が、画像入力システムの構成が簡単となり有利である。また、照明の分光分布が被写体上で空間的に徐々に変化するために、各画素毎間で徐々に変化する照明の分光分布が得られる場合が有り得る。このような場合には、同じＣＣＤを用いて全く同じ位置から複数の被写体に係るカラー画像データを取得する方が、物体色成分データの推定がより正確となる。したがって、このような観点からも、被写体に係る全てのカラー画像データを１つのＣＣＤによって取得することが好ましい。
【０１８８】
◎また、上述した実施形態では、１回のフラッシュ撮影によって得られる第１のカラー画像データに基づいて、第１の物体色成分データの推定を行ったが、これに限られるものではなく、例えば、特許文献１（特開２００１−７８２０２号公報）で開示されているように、所定のフィルターを介した被写体からの光に係る画像データ、所定のフィルターを介さない被写体からの光に係る画像データ、及びフィルタの分光透過率を用いて、第１の物体色成分データを推定するようにすることもできる。このような構成とすると、フラッシュを一回も発光させることなく、複数の被写体に係る物体色成分データを推定することができる。その結果、エネルギー消費量を低減することができる。そして、予め被写体を照射する光の分光分布が分からなくても、一旦変換マトリックスを算出してしまえば、その後は、複数の対象物に係る物体色成分データを迅速かつ容易に得ることができる。
【０１８９】
したがって、第１の物体色成分データの推定方法としては、所定の撮影条件の下で第１の被写体に係るカラー画像データを取得し、そのカラー画像データを用いて第１の物体色成分データの推定を行う方法であれば、種々の方法を採用することができる。この所定の撮影条件とは、例えば、フラッシュやフィルタ等を用いて定常光以外の照明の影響を直接的又は擬似的に第１の被写体に対して与えて撮影するための条件である。言い換えれば、この所定の撮影条件は、撮影に際して、例えば、フラッシュ等によって被写体に対して所定の照明光を照射する照明条件と、フィルタを介した光に基づいて画像を取得することにより被写体に対して所定の照明光を照射したのと同じ状況を擬似的につくり出すフィルタの設定条件とを含む照明に関する条件（「所定の照明条件」とも称する）である。なお、物体色成分データを推定する際には、定常光以外の照明の影響、すなわちフラッシュ光等の分光分布や、フィルタ等の光の透過特性等が予め既知であることが必要である。
【０１９０】
なお、所定のフィルターを使用して第１の物体色成分データを推定する方法では、フラッシュ光が届かない程度に第１の被写体がデジタルカメラから離れていても第１の物体色成分データを推定することができる。但し、所定のフィルターやそのフィルタを駆動させるための機構が必要となるため、デジタルカメラ等の画像入力システムの構成が複雑化する等のデメリットがある。そのため、画像入力システムの構成の複雑化を回避するといった観点からは、上記実施形態のように、フラッシュ撮影を行う方法で、第１の物体色成分データを推定することが好ましい。
【０１９１】
また、上述の実施形態のように、１回のフラッシュ撮影で得られる第１のカラー画像データに基づいて第１の物体色成分データを推定する方法では、短時間で第１の物体色成分データを推定することができる。そのため、複数の被写体に係る物体色成分データを迅速に求めるといった観点から言えば、上述の実施形態のように、１回のフラッシュ撮影で得られる第１のカラー画像データに基づいて第１の物体色成分データを推定する方法を採用することがより実用的であり、好ましいとも言える。
【０１９２】
◎また、上述した実施形態では、分光反射率ｒを、可視光線の４００ｎｍ〜７００ｎｍの波長領域における１０ｎｍ刻みの３１の代表値で離散化を図ったが、これに限られるものではなく、例えば、可視光線の４００ｎｍ〜７００ｎｍの波長領域における５ｎｍや１ｎｍ刻み等その他の刻みの代表値で離散化を図るようにしても良い。また、同様に、照明の分光分布ベクトルＥを、可視光線の４００ｎｍ〜７００ｎｍの波長領域における１０ｎｍ刻みの３１の代表値で離散化せず、例えば、可視光線の４００ｎｍ〜７００ｎｍの波長領域における５ｎｍや１ｎｍ刻み等その他の刻みの代表値で離散化を図るようにしても良い。なお、照明の分光分布ベクトルＥについては、例えば、分光反射率ｒを５ｎｍや１ｎｍ刻み等の比較的細かい刻みの代表値で離散化することにより、蛍光灯の輝線等に起因して、照明の分光分布において非常に狭い波長領域に著しいピークを生じるような場合にも、照明の分光分布の推定精度を向上させることができる。
【０１９３】
◎さらに、上述した実施形態では、可視光線の波長領域を４００ｎｍ〜７００ｎｍとしたが、これに限られるものではなく、可視光線の波長領域を、例えば、３８０ｎｍ〜７８０ｎｍなどその他の範囲としても良い。
【図面の簡単な説明】
【０１９４】
【図１】本発明の実施形態に係る画像入力システムの外観を示す斜視図である。
【図２】画像入力システムの外観を示す背面図である。
【図３】画像入力システムの構成を模式的に示すブロック図である。
【図４】未知照明環境における物体色成分データの推定動作フローを示す図である。
【図５】物体色取得モードにおける撮影動作フローを示すフローチャートである。
【図６】物体色取得モードにおける撮影動作フローを示すフローチャートである。
【図７】物体色取得モードにおける撮影動作フローを示すフローチャートである。
【図８】物体色取得モードにおける撮影動作フローを示すフローチャートである。
【図９】物体色取得モードにおける撮影動作フローを示すフローチャートである。
【図１０】物体色取得モードにおける撮影動作フローを示すフローチャートである。
【図１１】第１の被写体をフラッシュ撮影する様子を示す模式図である。
【図１２】第１の被写体を通常撮影する様子を示す模式図である。
【図１３】第ｎの被写体を通常撮影する様子を示す模式図である。
【図１４】物体色の推定１の動作に係る機能を示すブロック図である。
【図１５】照明の分光分布の推定の動作に係る機能を示すブロック図である。
【図１６】画素配列の領域分割について例示する図である。
【図１７】変換マトリックスの算出動作に係る機能を示すブロック図である。
【図１８】物体色の推定２の動作に係る機能を示すブロック図である。
【符号の説明】
【０１９５】
１  デジタルカメラ
２１  ＣＰＵ
２２  ＲＯＭ
２３  ＲＡＭ
８０  三脚
１１２  ＣＣＤ
１２１  内蔵フラッシュ
２０２  画素データ抽出部
２０３  輝度判定部
２０４，２１２  物体色成分データ生成部
２０５  画素数判定部
２０６  画素指定部
２０７  指定画素判定部
２０８  第１照明分光データ生成部
２０９  ばらつき判定部
２１０  第２照明分光データ生成部
２１１  変換マトリックス算出部
ＦＬ  フラッシュ光
ＯＢ１，ＯＢ２  第ｎの被写体
ＳＳ  第１の被写体
ＵＬ  定常光
【図１】
2005311581.tif 000022
【図２】
2005311581.tif 000023
【図３】
2005311581.tif 000024
【図４】
2005311581.tif 000025
【図５】
2005311581.tif 000026
【図６】
2005311581.tif 000027
【図７】
2005311581.tif 000028
【図８】
2005311581.tif 000029
【図９】
2005311581.tif 000030
【図１０】
2005311581.tif 000031
【図１１】
2005311581.tif 000032
【図１２】
2005311581.tif 000033
【図１３】
2005311581.tif 000034
【図１４】
2005311581.tif 000035
【図１５】
2005311581.tif 000036
【図１６】
2005311581.tif 000037
【図１７】
2005311581.tif 000038
【図１８】
2005311581.tif 000039