(57)【特許請求の範囲】
【請求項１】
画像に関するデータを管理する画像管理装置であって、
照明環境の影響が取り除かれた画像データに相当する物体色成分データおよび照明環境が画像に与える影響を示す照明成分データから前記物体色成分データが示す被写体を再現したサムネイル画像のデータを生成する手段と、
前記サムネイル画像のデータを前記物体色成分データに関連付けて保存する手段と、
を備えることを特徴とする画像管理装置。
【請求項２】
請求項１に記載の画像管理装置であって、
照明成分データの複数の候補から前記サムネイル画像のデータの生成に用いられる照明成分データの選択を受け付ける手段、
をさらに備えることを特徴とする画像管理装置。
【請求項３】
請求項１または２に記載の画像管理装置であって、
前記保存する手段が、前記物体色成分データを格納するファイルのヘッダに前記サムネイル画像のデータを格納することを特徴とする画像管理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像管理装置であって、
前記サムネイル画像のデータを生成する手段が、サムネイル画像のサイズに合わせて前記物体色成分データを縮小して縮小データを生成する手段と、
前記縮小データに前記照明成分データを合成する手段と、
を有することを特徴とする画像管理装置。
【請求項５】
請求項１ないし４のいずれかに記載の画像管理装置であって、
前記保存する手段が、複数のサムネイル画像のデータと前記物体色成分データとを関連付けて保存することを特徴とする画像管理装置。
【請求項６】
請求項５に記載の画像管理装置であって、
前記複数のサムネイル画像を表示する手段と、
前記複数のサムネイル画像から一のサムネイル画像の選択を受け付ける手段と、
前記一のサムネイル画像のデータを生成する際に用いられた照明成分データと物体色成分データとを合成して画像データを生成する手段と、
をさらに備えることを特徴とする画像管理装置。
【請求項７】
デジタル撮像装置であって、
被写体の画像データを取得する手段と、
照明環境の影響が取り除かれた画像データに相当する物体色成分データを前記画像データから生成する手段と、
前記物体色成分データおよび照明環境が画像に与える影響を示す照明成分データから前記物体色成分データが示す被写体を再現したサムネイル画像のデータを生成する手段と、
前記サムネイル画像のデータを前記物体色成分データに関連付けて保存する手段と、
を備えることを特徴とするデジタル撮像装置。
【請求項８】
サムネイル画像のデータを生成する画像生成装置であって、
照明環境の影響が取り除かれた画像データに相当する物体色成分データをサムネイル画像のサイズに合わせて縮小して縮小データを生成する手段と、
照明環境が画像に与える影響を示す照明成分データと前記縮小データとを合成してサムネイル画像のデータを生成する手段と、
を備えることを特徴とする画像生成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体の画像に関するデータをサムネイル画像を用いて管理する技術に関する。
【０００２】
【従来の技術】
従来より、デジタルカメラ等の画像入力装置によりデジタルデータとして取得される画像に対し、画像の色合いや雰囲気を修正する画像処理が行われている。このような処理の代表的なものとして、ホワイトバランスに基づく色の修正がある。ホワイトバランスに基づく修正では、画像の全体的な色のバランスに基づいて白い物体が白く見えるように画像を修正し、これにより、被写体への照明光の色の影響が画像からある程度取り除かれ、人間の視覚に合った画像へと修正される。
【０００３】
一方で、被写体を様々な光源にて照明した際の画像を演算処理にて取得する技術も提案されている。この技術では、被写体の分光反射率におよそ相当するデータ（以下、「物体色成分データ」という。）を求めておき、このデータに照明光のデータを合成することにより様々な照明環境下における被写体の画像が再生される。
【０００４】
【発明が解決しようとする課題】
ところが、物体色成分データは通常の画像データと異なり、画像として表示することができないデータであり、照明光のデータと合成されて初めて被写体を認識することができる画像データとなる。したがって、物体色成分データを利用する際には、ファイル名からどのような画像であったのかを推測するか、時間を費やして実際に画像を再生する必要がある。
【０００５】
本発明は、上記課題に鑑みなされたものであり、物体色成分データの取り扱いを容易とすることを目的としている。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、画像に関するデータを管理する画像管理装置であって、照明環境の影響が取り除かれた画像データに相当する物体色成分データおよび照明環境が画像に与える影響を示す照明成分データから前記物体色成分データが示す被写体を再現したサムネイル画像のデータを生成する手段と、前記サムネイル画像のデータを前記物体色成分データに関連付けて保存する手段とを備える。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像管理装置であって、照明成分データの複数の候補から前記サムネイル画像のデータの生成に用いられる照明成分データの選択を受け付ける手段をさらに備える。
【０００８】
請求項３に記載の発明は、請求項１または２に記載の画像管理装置であって、前記保存する手段が、前記物体色成分データを格納するファイルのヘッダに前記サムネイル画像のデータを格納する。
【０００９】
請求項４に記載の発明は、請求項１ないし３のいずれかに記載の画像管理装置であって、前記サムネイル画像のデータを生成する手段が、サムネイル画像のサイズに合わせて前記物体色成分データを縮小して縮小データを生成する手段と、前記縮小データに前記照明成分データを合成する手段とを有する。
【００１０】
請求項５に記載の発明は、請求項１ないし４のいずれかに記載の画像管理装置であって、前記保存する手段が、複数のサムネイル画像のデータと前記物体色成分データとを関連付けて保存する。
【００１１】
請求項６に記載の発明は、請求項５に記載の画像管理装置であって、前記複数のサムネイル画像を表示する手段と、前記複数のサムネイル画像から一のサムネイル画像の選択を受け付ける手段と、前記一のサムネイル画像のデータを生成する際に用いられた照明成分データと物体色成分データとを合成して画像データを生成する手段とをさらに備える。
【００１２】
請求項７に記載の発明は、デジタル撮像装置であって、被写体の画像データを取得する手段と、照明環境の影響が取り除かれた画像データに相当する物体色成分データを前記画像データから生成する手段と、前記物体色成分データおよび照明環境が画像に与える影響を示す照明成分データから前記物体色成分データが示す被写体を再現したサムネイル画像のデータを生成する手段と、前記サムネイル画像のデータを前記物体色成分データに関連付けて保存する手段とを備える。
【００１５】
請求項８に記載の発明は、サムネイル画像のデータを生成する画像生成装置であって、照明環境の影響が取り除かれた画像データに相当する物体色成分データをサムネイル画像のサイズに合わせて縮小して縮小データを生成する手段と、照明環境が画像に与える影響を示す照明成分データと前記縮小データとを合成してサムネイル画像のデータを生成する手段とを備える。
【００１７】
【発明の実施の形態】
＜１．  第１の実施の形態＞
図１は本発明の第１の実施の形態に係るデジタル撮像装置であるデジタルカメラ１の全体を示す斜視図である。デジタルカメラ１は、画像の取得を行うとともに、サムネイル画像の生成や画像の再生等の画像に関するデータの管理を行う。
【００１８】
デジタルカメラ１は、撮影を行うレンズユニット１１、および、レンズユニット１１にてデジタルデータとして取得された画像を処理する本体部１２とを有する。
【００１９】
レンズユニット１１は、複数のレンズを有するレンズ系１１１、および、レンズ系１１１を介して被写体の像を取得するＣＣＤ１１２を有する。ＣＣＤ１１２から出力される画像信号は本体部１２へと送られる。また、レンズユニット１１には、使用者が被写体を捉えるためのファインダ１１３、測距センサ１１４等も配置される。
【００２０】
本体部１２には、フラッシュ１２１およびシャッタボタン１２２が設けられ、使用者がファインダ１１３を介して被写体を捉え、シャッタボタン１２２を操作することにより、ＣＣＤ１１２にて電気的に画像が取得される。このとき、必要に応じてフラッシュ１２１が発光する。なお、ＣＣＤ１１２は各画素の値としてＲ，Ｇ，Ｂの各色に関する値を取得する３バンドの撮像センサとなっている。
【００２１】
ＣＣＤ１１２からの画像信号は本体部１２内部にて後述する処理が行われ、必要に応じて本体部１２に装着されている外部メモリ１２３（いわゆる、メモリカード）に記憶される。外部メモリ１２３は本体部１２下面の蓋を開けて取出ボタン１２４を操作することにより本体部１２から取り出される。記録媒体である外部メモリ１２３に記憶されたデータは別途設けられたコンピュータ等の他の装置に渡すことができる。逆に、他の装置にて外部メモリ１２３に記憶されたデータをデジタルカメラ１が読み出すことも可能である。
【００２２】
図２はデジタルカメラ１を背後から見たときの様子を示す図である。本体部１２の背面の中央には撮影された画像を表示したり、使用者へのメニューを表示する液晶のディスプレイ１２５が設けられ、ディスプレイ１２５の側方にはディスプレイ１２５に表示されるメニューに従って入力操作を行うための操作ボタン１２６が配置される。これにより、デジタルカメラ１の操作、撮影条件の設定、外部メモリ１２３の保守、後述する画像の再生等ができるようにされている。操作ボタン１２６は上下左右の４つのボタンと中央のボタンとを有する。
【００２３】
図３は、デジタルカメラ１の構成のうち、主として本発明に係る処理を実行するための構成を示すブロック図である。
【００２４】
図３に示す構成のうち、レンズ系１１１、ＣＣＤ１１２、Ａ／Ｄ変換部１１５、シャッタボタン１２２、ＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３により画像の取得が行われる。すなわち、レンズ系１１１により被写体の像がＣＣＤ１１２上に結像され、シャッタボタン１２２が押されると、ＣＣＤ１１２からの画像信号がＡ／Ｄ変換部１１５によりデジタル画像信号へと変換される。Ａ／Ｄ変換部１１５にて変換されたデジタル画像信号は本体部１２のＲＡＭ２３に画像データとして記憶される。なお、これらの処理の制御はＣＰＵ２１がＲＯＭ２２内に記憶されているプログラム２２１に従って動作することにより行われる。
【００２５】
また、本体部１２のＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３により画像処理も行われる。具体的には、ＲＯＭ２２に記憶されているプログラム２２１に従って、ＲＡＭ２３を作業領域として利用しながらＣＰＵ２１が取得された画像データに処理を施す。
【００２６】
外部メモリ１２３はＲＡＭ２３と接続され、操作ボタン１２６からの入力操作に基づいて各種データの受け渡しが行われる。ディスプレイ１２５はＣＰＵ２１からの信号に基づいて画像の表示や使用者への情報の表示を行う。
【００２７】
フラッシュ１２１は発光制御回路１２１ａを介してＣＰＵ２１に接続されており、ＣＰＵ２１からフラッシュ１２１を点灯する旨の指示を受けた場合には、発光制御回路１２１ａがフラッシュ１２１の発光特性が撮影ごとにばらつかないように発光制御を行う。これにより、フラッシュ１２１からの光の分光分布（分光強度）が一定に保たれる。
【００２８】
図４は、主としてＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３により実現される機能の構成を他の構成とともに示すブロック図であり、図５および図６は撮影および画像処理の流れを示す図である。図４に示す構成のうち、差分画像生成部２０１、物体色成分データ生成部２０２、サムネイルデータ生成部２０３、ファイル作成部２０４および照明成分データ生成部２０５が、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３等により実現される機能である。以下、これらの図を参照しながらデジタルカメラ１の動作について説明する。
【００２９】
まず、フラッシュがＯＮの状態にて撮影を行い、フラッシュ光を浴びた被写体の画像（以下、「第１画像」という。）を得る。すなわち、フラッシュ１２１を点灯するとともにＣＣＤ１１２にて画像を取得し、得られた画像（正確には、画像信号）がＡ／Ｄ変換部１１５からＲＡＭ２３へと送られ、第１画像データ２３１として記憶される（ステップＳＴ１０１）。
【００３０】
次に、フラッシュがＯＦＦの状態にて撮影を行い、フラッシュ光を有しない照明環境下での被写体の画像（以下、「第２画像」という。）を得る。すなわち、フラッシュを点灯することなくＣＣＤ１１２にて画像を取得し、得られた画像がＡ／Ｄ変換部１１５からＲＡＭ２３へと送られ、第２画像データ２３２として記憶される（ステップＳＴ１０２）。
【００３１】
これらの２回の撮影は、連写のように迅速に行われる。したがって、第１画像と第２画像との撮影範囲は同一となる。また、２回の撮影はシャッタ速度（ＣＣＤ１１２の積分時間）および絞り値が同一の条件にて行われる。
【００３２】
ここで、フラッシュ１２１の発光は、フラッシュ光の分光分布が一定となるように発光制御回路１２１ａにより制御される。図７は発光制御回路１２１ａの動作の流れを示す図である。
【００３３】
フラッシュＯＮでの撮影の際に、あるいは、撮影に先立って、まず、発光制御回路１２１ａがフラッシュ１２１のフラッシュ電源への充電電圧（すなわち、フラッシュ１２１に与えられる電圧）のモニタを開始する（ステップＳＴ２１）。充電電圧が所定の電圧（例えば、３３０Ｖ）に達したことが確認されると（ステップＳＴ２２）、フラッシュ電源からフラッシュ１２１へと電力を供給して発光を開始する（ステップＳＴ２３）。
【００３４】
発光の開始と同時に発光制御回路１２１ａは発光時間のモニタを開始する（ステップＳＴ２４）。その後、発光開始から所定の時間が経過したことが確認されると（ステップＳＴ２５）、発光が停止される（ステップＳＴ２６）。
【００３５】
このように、フラッシュ１２１の発光は一定の電圧および発光時間となるように制御され、フラッシュ１２１の発光特性が撮影ごとにばらつくことはない。すなわち、フラッシュ１２１の分光分布が上記発光制御により一定に保たれる。フラッシュ１２１の分光分布は予め計測されてＲＡＭ２３（ＲＯＭ２２等の他のメモリでもよい。）にフラッシュ分光データ２３４として記憶されている。なお、正確にはフラッシュ光の相対的な分光分布（最大の分光強度を１として正規化された分光分布をいい、以下「相対分光分布」という。）がフラッシュ分光データ２３４として用いられる。
【００３６】
２回の撮影により、ＲＡＭ２３に第１画像データ２３１および第２画像データ２３２が保存されると、差分画像生成部２０１が第１画像データ２３１から第２画像データ２３２を減算して差分画像データ２３３を求める。これにより、第１画像の各画素のＲ，Ｇ，Ｂの値から第２画像の対応する画素のＲ，Ｇ，Ｂの値がそれぞれ減算され、第１画像と第２画像との差分画像が得られる（図５：ステップＳＴ１０３）。
【００３７】
次に、物体色成分データ生成部２０２により差分画像データ２３３およびフラッシュ分光データ２３４を用いて画像から照明環境の影響を取り除いた成分が物体色成分データ２３５として求められ、ＲＡＭ２３に保存される（ステップＳＴ１０４）。物体色成分データ２３５は、被写体の分光反射率に実質的に相当するデータである。以下、被写体の分光反射率を求める原理について説明する。
【００３８】
まず、被写体を照明する照明光（光源からの直接的な光および間接的な光を含む照明環境における照明光いう。）の分光分布をＥ(λ)とし、この分光分布Ｅ(λ)を３つの基底関数Ｅ1(λ)，Ｅ2(λ)，Ｅ3(λ)および加重係数ε1，ε2，ε3を用いて、
【００３９】
【数１】
0004427891.tif 000002
【００４０】
と表し、同様に、ある画素（以下、「対象画素」という。）に対応する被写体上の位置の分光反射率をＳ(λ)を３つの基底関数Ｓ1(λ)，Ｓ2(λ)，Ｓ3(λ)および加重係数σ1，σ2，σ3を用いて、
【００４１】
【数２】
0004427891.tif 000003
【００４２】
と表すと、ＣＣＤ１１２上の対象画素に入射する光Ｉ(λ)（レンズユニット１１内のフィルタ等を無視した場合の入射光）は、
【００４３】
【数３】
0004427891.tif 000004
【００４４】
と表現される。また、対象画素のＲ，Ｇ，Ｂのいずれかの色（以下、「対象色」という。）に関する値がρcであり、ＣＣＤ１１２の対象色の分光感度をＲc(λ)とすると、値ρcは、
【００４５】
【数４】
0004427891.tif 000005
【００４６】
により導かれる。
【００４７】
ここで、フラッシュＯＮの第１画像の対象画素の対象色の値がρc1であり、フラッシュＯＦＦの第２画像の対応する値がρc2である場合、差分画像の対応する値ρsは、
【００４８】
【数５】
0004427891.tif 000006
【００４９】
となる。Ｉ1(λ)はフラッシュＯＮの際に対象画素に入射する光であり、ε11，ε12，ε13はフラッシュ光を含む照明光に関する基底関数の加重係数である。同様に、Ｉ2(λ)はフラッシュＯＦＦの際に対象画素に入射する光であり、ε21，ε22，ε23はフラッシュ光を含まない照明光に関する基底関数の加重係数である。さらに、εsi（ｉ＝１，２，３）は（ε1i−ε2i）である。
【００５０】
数５において、基底関数Ｅi(λ)，Ｓj(λ)は予め定められた関数であり、分光感度Ｒc(λ)は予め計測により求めることができる関数である。これらの情報は予めＲＯＭ２２やＲＡＭ２３に記憶される。一方、２回の撮影においてシャッタ速度（あるいは、ＣＣＤ１１２の積分時間）および絞り値が同一に制御され、第１画像から第２画像を減算した差分画像は、照明環境の変更のみの影響を受けた画像、すなわち、フラッシュ光のみを照明光源とする画像に相当することから、加重係数εsiは後述する手法によりフラッシュ光の相対分光分布より導くことができる。
【００５１】
したがって、数５に示す方程式において未知数は３つの加重係数σ1，σ2，σ3のみである。また、数５に示す方程式は対象画素におけるＲ，Ｇ，Ｂの３つの色のそれぞれに関して求めることができ、これら３つの方程式を解くことにより３つの加重係数σ1，σ2，σ3を求めることができる。すなわち、対象画素に対応する被写体上の位置の分光反射率が得られる。
【００５２】
次に、加重係数εsiを求める手法について説明する。既述のように差分画像はフラッシュ光のみを照明光とする画像に相当し、差分画像における照明光の相対分光分布は既知である。一方で、フラッシュから遠い被写体上の領域はフラッシュ１２１に近い領域よりもフラッシュ光を受ける度合いが小さい。したがって、差分画像では通常、フラッシュ１２１から遠い位置ほど暗く現れる。
【００５３】
そこで、３つの加重係数εs1，εs2，εs3の値の相対関係を一定に保ったまま差分画像中の対象画素（あるいは、対象画素を中心とする領域）の輝度に比例してこれらの加重係数の値を増減する。すなわち、差分画像中の対象画素の輝度が小さい場合には加重係数εs1，εs2，εs3の値は小さな値として決定され、輝度が大きい場合には加重係数εs1，εs2，εs3の値は大きな値として決定される。３つの加重係数εs1，εs2，εs3の相対関係は３つの基底関数Ｅ1(λ)，Ｅ2(λ)，Ｅ3(λ)の加重和がフラッシュ光の分光分布と比例するように予め求められており、輝度と加重係数εsiとの比例関係は予め測定により求められる。
【００５４】
なお、加重係数εsiは対象画素に対応する被写体上の位置に照射されるフラッシュ光の分光分布を示す値であり、第１画像および第２画像間におけるフラッシュ１２１による照明光の変更量の分光分布を示す値である。したがって、フラッシュ分光データ２３４より加重係数εsiを求める処理は、フラッシュ光の相対分光分布からフラッシュ１２１による照明環境（照明光）の分光変更量を求める処理に相当する。
【００５５】
以上の原理に基づき、デジタルカメラ１の物体色成分データ生成部２０２は差分画像データ２３３の画素値およびフラッシュ分光データ２３４を参照しながら、各画素に対応する被写体上の位置の分光反射率（加重係数σ1，σ2，σ3）を求める。被写体の分光反射率は、照明環境の影響が取り除かれた画像データに相当し、物体色成分データ２３５としてＲＡＭ２３に記憶される（ステップＳＴ１０４）。
【００５６】
物体色成分データ２３５が求められると、サムネイルデータ生成部２０３の縮小データ生成部２０３１が、後述するサムネイル画像のサイズ（例えば、１５０×１００画素の一定の小サイズ）に合わせて物体色成分データ２３５を縮小し、縮小データを生成する（ステップＳＴ１０５）。物体色成分データ２３５は各画素に対する加重係数の集合であり、所定の割合で画素を間引くことにより、サムネイル画像用の加重係数の集合が縮小データとして生成される。
【００５７】
縮小データが生成されると、後述するサムネイル画像を生成するために用いられる照明（すなわち、照明成分データ２３６）の一覧がディスプレイ１２５に表示される（ステップＳＴ１０６）。図８ないし図１１は照明を選択する際のディスプレイ１２５の画面を示す図である。図８は照明選択のメニュー画面である。操作ボタン１２６の左右のボタンの操作により、「選択番号」「ＯＫ」「Cancel」の項目が仮選択され、「選択番号」の項目では上下のボタンにより番号が選択される。他の項目では中央のボタンにより選択が確定される。
【００５８】
図８において「標準照明」が選択されると（ステップＳＴ１１１）、図９に示す画面が表示される（ステップＳＴ１１４）。図９では、予めデジタルカメラ１に標準で記憶されている「Ｄ６５光源」（一般的な標準光源）、「Ｄ５０光源」（印刷関連の標準光源）等が選択可能とされている。「登録済照明」が選択された場合には（ステップＳＴ１１１）、図１０に示す画面が表示される（ステップＳＴ１１４）。図１０では、使用者により登録された照明の一覧が示される。照明の登録方法については後述する。図８において「色温度」が選択された場合には（ステップＳＴ１１２）、図１１に示す画面が表示される（ステップＳＴ１１５）。図１１では、２０００Ｋ〜１００００Ｋの間で１０００Ｋ間隔にて色温度が選択可能とされている。図８に示す画面にて、「撮影時の照明」が選択された場合には（ステップＳＴ１１３）、撮影時の照明下でのサムネイル画像の生成が行われる。
【００５９】
図９ないし図１１に示す画面にて照明の番号が選択され（ステップＳＴ１１１，ＳＴ１１２）、さらに「ＯＫ」が選択された場合（ステップＳＴ１１６）、選択番号の照明に相当する照明成分データ２３６がＲＡＭ２３からサムネイルデータ生成部２０３へと読み込まされる。照明成分データ２３６は、サムネイル画像に特定の照明の影響を与えるために用いられるデータであり、被写体に照射される照明光の分光分布のデータとなっている。
【００６０】
サムネイルデータ生成部２０３の合成部２０３２は、縮小データと選択された照明成分データ２３６とを合成し、サムネイル画像のデータ（以下、「サムネイルデータ」という。）を生成する（ステップＳＴ１１９）。照明成分データ２３６は、数１に示すように、照明光の分光分布を基底関数の加重和として表現した際の加重係数ε1，ε2，ε3となっている。そして、縮小データ内の各画素の加重係数σ1，σ2，σ3と加重係数ε1，ε2，ε3とを用いて数３にて示す演算を行い入射光Ｉ(λ)を求める。Ｉ(λ)は、選択された照明下で被写体を撮影したと仮定した場合にデジタルカメラ１の画素（演算対象となっている画素）に入射する光の分光分布に相当する。
【００６１】
Ｉ(λ)に対して数４にて示す演算を行うことにより、Ｒ，Ｇ，Ｂの各色の値がサムネイル画像における画素値として求められる。この処理により、Ｒ，Ｇ，Ｂの値を用いてディスプレイ１２５に表示することができるサムネイル画像のサムネイルデータ２３７が生成され、ＲＡＭ２３に記憶される。
【００６２】
一方、図８において「撮影時の照明」が選択された場合（ステップＳＴ１１３）、照明成分データ生成部２０５において数３および数４より第２画像の各画素のＲ，Ｇ，Ｂの値に基づいて加重係数ε21，ε22，ε23に関する３つの方程式が求められる。照明成分データ生成部２０５は、これらの方程式を解くことにより第２画像における各画素に関する加重係数ε2iを求める。求められた各画素の加重係数ε2iは第２画像におけるフラッシュ光を含まない照明環境の影響を示す成分となる。
【００６３】
ここで、各画素の加重係数ε2iはそのまま照明成分データとされてもよいが、およそ均一な照明光による照明環境の場合には画素ごとの加重係数ε2iのばらつきは少ない。そこで、加重係数ε21，ε22，ε23のそれぞれについて全画素の平均値を求め、求められた３つの加重係数が照明成分データとされる（基底関数Ｅiとして様々なものが用いられる場合には基底関数Ｅiが照明成分データに含められてもよい。）（ステップＳＴ１１７）。これにより、照明成分データは画素の位置に依存しない値となり、後述するように物体色成分データ２３５と合成することで撮影時の照明環境による雰囲気を他の被写体の画像に取り込むことも可能となる。生成された照明成分データは、外部メモリ１２３に保存される（ステップＳＴ１１８）。
【００６４】
新たに生成された照明成分データは外部メモリ１２３に記憶される際に、操作ボタン１２６を介する使用者の入力に基づいて適宜名称が付与される。名称は任意に決定されてよいが、照明環境により観察者が受ける感覚（感性）を示す名称を用いることにより、照明成分データの選択が一層容易となる。
【００６５】
具体的には、「春らしい」「真夏の」等の季節感を示す言葉、「夕焼けの」「早朝の」「昼下がりの」等の時刻から受ける感覚を示す言葉、「寒々とした」「カーっと暑い」等の温度感覚を示す言葉、「霞がかかった」「曇りの」等の天候から受ける感覚を示す言葉等の名称が利用されてもよい。追加された照明成分データ２３６の名称は、次の撮影の際には図１０に示す画面の項目に追加される。
【００６６】
なお、図４では、フラッシュ分光データ２３４や予め準備されている照明成分データ２３６はＲＡＭ２３に記憶されているが、これらのデータはＲＯＭ２２に記憶されてもよく、外部メモリ１２３に記憶されていてもよい。
【００６７】
撮影時の照明に関する照明成分データが生成されると縮小データに照明成分データが合成され、撮影時の照明環境下におけるサムネイル画像のデータが生成され、サムネイルデータ２３７としてＲＡＭ２３に保存される（ステップＳＴ１１９）。撮影時の照明環境下におけるサムネイル画像を生成することにより、どのような照明下で取得された物体色成分データかを把握することが可能となる。
【００６８】
１つのサムネイル画像のデータが生成されると、ディスプレイ１２５の表示は図８に示したメニュー画面へと戻る（ステップＳＴ１０６）。そして、さらに照明の選択が行われた場合（ステップＳＴ１１１〜ＳＴ１１３）、別のサムネイル画像のデータが生成される。必要な数のサムネイル画像のデータが生成されると、図８ないし図１１に示す画面にて「Cancel」が選択され、サムネイルデータ２３７の生成手続が終了する。なお、図９ないし図１１に示す画面において「戻る」が選択された場合、図８に示す画面へと戻る。
【００６９】
サムネイルデータ２３７が生成されると、物体色成分データ２３５およびサムネイルデータ２３７がファイル作成部２０４へと転送され、ファイル作成部２０４は、サムネイルデータ２３７、および、サムネイルデータ２３７を生成した際に用いられた照明成分データ２３６を特定する情報（以下、「照明情報」という。）をヘッダに格納し、物体色成分データ２３５を実体部分に格納するファイルを生成する。生成されたファイル（以下、「被写体ファイル」という。）は外部メモリ１２３に保存される（ステップＳＴ１２０）。
【００７０】
図１２は、被写体ファイル３０の構造を例示する図である。被写体ファイル３０のヘッダ３１には、基本項目として、被写体ファイルであることを示す識別子、ヘッダサイズ、および、データサイズ（物体色成分データのサイズ）が格納される。また、サムネイルデータに関する項目として、サムネイル画像の個数、サムネイル画像のサイズ、並びに、少なくとも１つのサムネイル画像に対応するサムネイルデータおよび照明情報がヘッダ３１に格納される。さらに、画像を再生する際に利用される項目として、演算処理の際の波長範囲、および、分光反射率の基底関数Ｓi(λ)が格納される。その他、サムネイルデータの生成の際に用いられた照明成分データ（加重係数や基底関数）、撮影時のカメラの設定（シャッタスピードや露出値等）等がヘッダ３１に含まれてもよい。
【００７１】
ヘッダ３１に続く実体部分３２には、物体色成分データ２３５として基底関数の加重係数群が格納される。
【００７２】
次に、以上のようにして外部メモリ１２３に保存された被写体ファイル３０および予め準備されている照明成分データ２３６（外部メモリ内の照明成分データを含む。）を用いて画像を再生する際のデジタルカメラ１の動作について説明する。図１３および図１４は再生モードにおけるデジタルカメラ１の動作の流れを示す図である。画像の再生は、図４に示す画像再生部２０６により実行される。
【００７３】
まず、使用者が操作ボタン１２６を操作してデジタルカメラ１を再生モードへと移行させると、外部メモリ１２３内の複数の被写体ファイル３０のヘッダ３１に含まれるサムネイルデータに基づいてサムネイル画像の一覧がディスプレイ１２５に表示される（ステップＳＴ３０１）。
【００７４】
図１５はサムネイル画像の一覧が表示された画面を例示する図である。図１５において、サムネイル画像４１１〜４１３は同一の被写体を示しており、１つの被写体ファイル３０に含まれる。サムネイル画像４１１〜４１３は異なる種類の照明成分データ２３６を用いて生成された画像であり、例えば、図９に示す画面にてＤ６５光源、蛍光灯１、太陽光を選択することにより生成された画像である。サムネイル画像４２１，４３１は、それぞれ異なる被写体ファイル３０に含まれる。サムネイル画像４４１〜４４４は同一の被写体を示しており、１つの被写体ファイル３０に含まれる。サムネイル画像４４１〜４４４は、例えば、図１１において異なる４つの色温度に基づいて生成された画像である。
【００７５】
サムネイル画像の一覧を参照して、使用者は操作ボタン１２６を用いて再生すべき画像を選択する。すなわち、上下左右のボタンを用いて１つのサムネイル画像を仮選択し、中央のボタンを用いて選択を確定させる。
【００７６】
中央のボタンを用いた選択として、シングルクリックによる選択とダブルクリック（ボタンを連続して２回押す操作）による選択とがある。シングルクリックによる選択の場合（ステップＳＴ３０２）、図１６に示すように物体色成分データ２３５に合成すべき照明成分データ２３６を選択するための画面がディスプレイ１２５に表示される。図１６の画面において項目を選択することにより、図９ないし図１１に例示した照明の選択画面へと移行する（ステップＳＴ３０４）。なお、図１０に示す画面には、撮影の際に登録した照明成分データの項目が追加される。
【００７７】
照明の選択（すなわち、照明成分データ２３６の選択）をデジタルカメラ１が受け付けることにより（ステップＳＴ３０５）、合成する照明成分データ２３６が特定される（または外部メモリ１２３からＲＡＭ２３へと読み出される）（ステップＳＴ３０６）。一方、ステップＳＴ３０２にて選択されたサムネイル画像に対応する物体色成分データ２３５が外部メモリ１２３から読み出され（ステップＳＴ３０９）、物体色成分データ２３５と照明成分データとが合成されて画像データが生成される（ステップＳＴ３１１）。
【００７８】
合成処理は画像のサイズが異なる点を除いて、サムネイルデータ２３７の生成と同様であり、数３および数４にて示す演算が行われ、各画素のＲＧＢ値が求められる。ディスプレイ１２５には画像データに従って画像が表示され（ステップＳＴ３１２）、選択されたサムネイル画像と同一の被写体が、選択された照明下の画像として再生される。
【００７９】
ダブルクリックにてサムネイル画像の選択が行われた場合（ステップＳＴ３０３）、選択されたサムネイル画像に対応する照明情報が読み出される（ステップＳＴ３０７）。そして、照明情報に対応する照明成分データ２３６（すなわち、選択されたサムネイル画像のデータを生成する際に用いられた照明成分データ）が特定される（ステップＳＴ３０８）。その後、選択されたサムネイル画像に対応する物体色成分データ２３５が外部メモリ１２３から読み出され（ステップＳＴ３０９）、特定された照明成分データと合成されることによりディスプレイ１２５に画像が表示される（ステップＳＴ３１１，ＳＴ３１２）。これにより、サムネイル画像と同様の照明環境下の画像が再生される。
【００８０】
なお、再生された画像は、必要に応じて通常の画像フォーマット（圧縮されてもよい）にて外部メモリ１２３に保存される。
【００８１】
以上のように、デジタルカメラ１では、フラッシュＯＮの状態にて撮影された第１画像、フラッシュＯＦＦの状態にて撮影された第２画像、および、フラッシュ光の相対分光分布とから照明環境の影響が取り除かれた画像データに相当する物体色成分データ２３５が求められる。そして、物体色成分データ２３５が示す被写体を再現した画像データとしてサムネイルデータ２３７が生成され、物体色成分データ２３５はサムネイルデータ２３７とともに外部メモリ１２３に保存される。
【００８２】
これにより、画像を再生する際にはサムネイル画像を参照することが可能となる。その結果、物体色成分データ２３５から時間をかけて画像を再生したり、物体色成分データのファイルの名称から被写体を類推したりすることなく、物体色成分データ２３５がどのような被写体を示すデータであるのかを容易かつ迅速に認識することができる。すなわち、物体色成分データの取り扱いが容易となり、画像を再生する際の操作性が向上される。
【００８３】
画像の再生の際には、物体色成分データ２３５に照明成分データ２３６の複数の候補から選択されたものを任意に合成することが可能であり、所望の照明環境下の所望の被写体の画像を再生することができる。デジタルカメラ１では物体色成分データ２３５および第２画像データから照明成分データを求めらることが可能であるため、撮影時の照明環境下の画像も容易に再生することができる。
【００８４】
また、照明成分データ２３６として図９に例示するように標準光（Ｄ６５、Ｄ５０等）を設けておくことで、任意の照明環境にて得られた画像から被写体の正確な色再現も可能であり、印刷用の画像やインターネットショッピング等に用いられる画像として適切な画像を生成することができる。
【００８５】
また、サムネイルデータ２３７は被写体ファイル３０のヘッダ３１に格納されるため、サムネイルデータ２３７と物体色成分データ２３５とは一体的に取り扱われる。したがって、物体色成分データ２３５を他の記録媒体に複写したり、削除する際には、同時に、サムネイルデータ２３７の複写や削除が行われ、物体色成分データ２３５の取り扱いが容易となる。
【００８６】
サムネイルデータ２３７の生成においても複数の照明を選択することが可能とされており、所望のサムネイル画像のデータを生成することができる。
【００８７】
さらに、複数のサムネイル画像のデータをヘッダ３１に格納することにより、照明環境を変更した複数のサムネイル画像を参照することができる。この場合、サムネイル画像の選択に際してボタンをダブルクリックすることにより、サムネイルデータ２３７を生成した際の照明成分データ２３６が自動的に物体色成分データ２３５に合成されることから、照明成分データ２３６の選択手続を省略することも可能となる。
【００８８】
なお、サムネイルデータ２３７を生成する際に、物体色成分データ２３５を縮小してから照明成分データを合成するため、物体色成分データ２３５に照明成分データを合成してから縮小してサムネイルデータ２３７を生成するよりも演算量の削減が図られている。これにより、サムネイルデータ２３７の生成が迅速に行われる。
【００８９】
一方、デジタルカメラ１としては特殊な機構を有さず、汎用のオンチップフィルタが設けられたＣＣＤを有するデジタルカメラの簡単な仕様変更により物体色成分データ２３５およびサムネイルデータ２３７を求めることができる。これにより、物体色成分データ２３５およびサムネイルデータ２３７を求める動作を汎用のデジタルカメラ１の特殊モードとして実現することができ、新たな生産コストが生じることはない。
【００９０】
＜２．  第２の実施の形態＞
第１の実施の形態では、デジタルカメラ内部において画像データの処理を行うが、画像データの処理をコンピュータにて行うことももちろん可能である。図１７はコンピュータを用いて画像の保存および管理を行う場合のデジタルカメラ１ａとコンピュータ５との関係を示す図である。デジタルカメラ１ａは、ＣＣＤにて取得された画像データをそのまま外部メモリに保存し、コンピュータ５は外部メモリから画像データを読み出して物体色成分データ、サムネイルデータ、照明成分データ等を求める。
【００９１】
デジタルカメラ１ａは、図３と同様の構成を有し、フラッシュＯＮにて撮影して得られる第１画像データとフラッシュＯＦＦにて撮影して得られる第２画像データとフラッシュ光に関するフラッシュ分光データとを外部メモリ１２３に保存する。そして、外部メモリ１２３を介してこれらのデータがコンピュータ５に転送される。すなわち、デジタルカメラ１は画像を取得する機能のみを有し、物体色成分データ、サムネイルデータ、照明成分データを求めたり、被写体ファイルを作成する機能を有しない。なお、フラッシュ分光データはコンピュータ５に予め準備されてもよい。
【００９２】
コンピュータ５は、図１８に示すように、各種演算処理を行うＣＰＵ５０１、基本プログラムを記憶するＲＯＭ５０２および各種情報を記憶するＲＡＭ５０３をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク５０４、各種情報の表示を行うディスプレイ５０５、使用者からの入力を受け付けるキーボード５０６ａおよびマウス５０６ｂ、光ディスク、磁気ディスク、光磁気ディスク等の記録媒体９１から情報の読み取りを行う読取装置５０７、並びに、外部メモリ１２３から画像データを読み出すカードスロット５０８が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。
【００９３】
コンピュータ５には、事前に読取装置５０７を介して記録媒体９１からプログラムが読み出され、固定ディスク５０４に記憶される。そして、プログラムがＲＡＭ５０３にコピーされるとともにＣＰＵ５０１がＲＡＭ５０３内のプログラムに従って演算処理を実行することによりコンピュータ５が画像管理装置としての動作を行う。
【００９４】
コンピュータ５内部のＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３等は図４に示す差分画像生成部２０１、物体色成分データ生成部２０２、サムネイルデータ生成部２０３、ファイル作成部２０４、照明成分データ生成部２０５および画像再生部２０６として機能し、第１画像データ、第２画像データおよびフラッシュ分光データから照明環境の影響を取り除いた画像データに相当する物体色成分データ、および、照明環境の成分に相当する照明成分データ、並びに、サムネイルデータ２３７および被写体ファイル３０を生成したり、画像の再生を行う。
【００９５】
すなわち、コンピュータ５にてステップＳＴ１０３〜ＳＴ１０６，ＳＴ１１１〜ＳＴ１２０，Ｓ３０１〜ＳＴ３０９，ＳＴ３１１，ＳＴ３１２の動作が行われる。
【００９６】
なお、第１の実施の形態と対比した場合、ＲＡＭ５０３がデジタルカメラ１のＲＡＭ２３に相当し、キーボード５０６ａおよびマウス５０６ｂが操作ボタン１２６に相当し、ディスプレイ５０５がデジタルカメラ１のディスプレイ１２５に相当する。
【００９７】
以上のように、第１の実施の形態に係るデジタルカメラ１を、デジタルカメラ１ａとコンピュータ５とを用いて実現することも可能であり、ディスプレイ５０５に表示されるサムネイル画像を参照することにより、物体色成分データの取り扱いが容易となり、画像を再生する際の操作性が向上される。
【００９８】
＜３．  変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【００９９】
第１の実施の形態では、フラッシュ１２１の電源電圧および発光時間を一定に保つことにより、フラッシュ光の分光分布を一定に保つようにしているが、他の方法によりフラッシュ１２１の発光特性が一定に保たれてもよい。例えば、フラッシュ１２１をパルス状に発光することにより、フラッシュの発光特性が一定に保たれてもよい。
【０１００】
一方、電源電圧および発光時間を計測することによりフラッシュ光の分光分布が求められてもよい。例えば、代表的な電源電圧および発光時間に対応したフラッシュ光の分光分布を幾つか記憶しておき、これらの分光分布を補間することによりフラッシュ光の実際の分光分布が求められてもよい。代表的な電源電圧および発光時間に対応したフラッシュ光の分光分布をルックアップテーブルとして記憶しておき、ルックアップテーブルの参照のみによりフラッシュ光のおよその分光分布が特定されてもよい。
【０１０１】
また、上記実施の形態では、フラッシュのＯＮ／ＯＦＦを切り替えつつ２つの画像を取得して物体色成分データ２３５を求めるようにしているが、物体色成分データ２３５の取得方法としてはどのような手法が採用されてもよい。
【０１０２】
例えば、デジタルカメラ１にマルチバンドセンサを設け、照明光のおよその分光分布、すなわち、照明成分データを取得し、画像データと照明成分データから物体色成分データ２３５が求められてもよい。小型で高分解能のマルチバンドセンサとしては、川越宣和、他２名による「分光測色計ＣＭ−１００」、Minolta Techno Report No.5 1988（９７〜１０５頁）に記載されているように、ＣＣＤ上に階段状に厚みが異なる金属膜干渉フィルタを設けたものも知られている。このマルチバンドセンサでは、ＣＣＤのエリアごとに金属膜干渉フィルタの厚みが変えられており、ＣＣＤのエリアごとに所定の波長帯の光の強度を得ることが実現されている。
【０１０３】
また、モノクロＣＣＤの前に複数のカラーフィルタを順次位置させて複数の画像を取得し、これらの画像から物体色成分データ２３５が求められてもよい。例えば、富永昌治、「色恒常性を実現するカメラ系とアルゴリズム」、信学技報 PRU95-11(1995-05)（７７〜８４頁）に記載された手法が採用可能である。
【０１０４】
上記手法の変形として、カラーＣＣＤの前において、少なくとも１つのフィルタの有無を切り替えることにより複数の画像を取得し、物体色成分データ２３５が求められてもよい。
【０１０５】
照明成分データは照明環境が画像に与えている影響を示すデータであればどのようなものであってもよく、照明環境の影響をある程度示すものであれば足りる。物体色成分データも画像から照明環境の影響を取り除いた成分を示すデータであればどのようなものであってもよく、照明環境が与える影響を厳密に取り除いた成分を示すデータである必要はない。
【０１０６】
また、上記実施の形態では、物体色成分データや照明成分データが複数の加重係数（および基底関数）として保存されると説明したが、これらのデータの保存形式は他の形式であってもよい。例えば、物体色成分データが分光反射率の特性曲線として保存されてもよく、照明成分データが分光分布の特性曲線として保存されてもよい。
【０１０７】
上記実施の形態では、サムネイルデータ２３７が被写体ファイル３０のヘッダ３１に格納されるが、サムネイルデータ２３７は物体色成分データ２３５と関連付けられて保存されるのであるならば、どのような手法が用いられてもよい。例えば、物体色成分データ２３５とサムネイルデータ２３７とが個別のファイルとして保存され、これらのファイルに互いにリンク情報が付加されてもよい。すなわち、少なくともサムネイルデータ２３７から対応する物体色成分データ２３５に自動的にアクセス可能であるならば、サムネイル画像の一覧表示から１つのサムネイル画像を選択することにより物体色成分データ２３５に基づく画像の再生が実現され、操作性の向上が図られる。
【０１０８】
なお、物体色成分データや照明成分データは加重係数と基底関数とが個別に（独立したファイルとして）保存されてもよい。被写体ファイルのフォーマットも任意に決定されてよい。
【０１０９】
上記実施の形態では複数の色温度に対応した照明成分データを使用者が選択するが、図８において「色温度」が選択された際に複数の色温度に対応した複数のサムネイル画像が自動的に生成されてもよい。
【０１１０】
上記実施の形態では、撮影時の照明環境を示す照明成分データが画像データから生成されるが、撮影時の照明環境を示す照明成分データは予め準備されているもの（例えば、室内の照明環境や太陽光等）から選択されてもよい。
【０１１１】
また、上記実施の形態では、デジタルカメラ１内のＣＰＵ等やコンピュータ５内のＣＰＵ等が図４に示す主要な機能構成をソフトウェア的に実現すると説明したが、これらの機能構成の全てまたは一部は専用の電気的回路により実現されてもよい。
【０１１２】
画像の保存および管理に必要な処理も、デジタルカメラ１またはコンピュータ５により全て行われる必要はなく、処理の分担は任意に決められてもよい。例えば、物体色成分データ２３５の生成までをデジタルカメラにて行い、サムネイルデータ２３７および被写体ファイル３０の生成、並びに、画像の再生がコンピュータにより行われてもよい。
【０１１３】
【発明の効果】
請求項１ないし７の発明では、サムネイル画像のデータが物体色成分データに関連づけられて保存されることから、物体色成分データがどのような被写体を示すデータであるかをサムネイル画像に基づいて容易に認識することができる。これにより、物体色成分データの取り扱いが容易となる。
【０１１４】
また、請求項２の発明で、所望の照明環境を反映したサムネイル画像のデータを生成することができる。
【０１１５】
また、請求項３の発明では、サムネイル画像のデータと物体色成分データとを一体的に取り扱うことができ、物体色成分データの取り扱いが容易となる。
【０１１６】
また、請求項４の発明では、サムネイル画像のデータの生成を迅速に行うことができる。
【０１１７】
また、請求項５の発明では、照明環境を変更した複数のサムネイル画像を参照することができる。
【０１１８】
また、請求項６の発明では、照明成分データの選択手続を省略することができる。
【０１１９】
請求項８の発明では、サムネイル画像のデータの生成を迅速に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るデジタルカメラの全体を示す斜視図である。
【図２】図１に示すデジタルカメラの背面図である。
【図３】図１に示すデジタルカメラにおいて本発明に係る処理を実行するための構成を示すブロック図である。
【図４】図３に示す構成により実現される機能構成を示すブロック図である。
【図５】図１に示すデジタルカメラにおいて画像に関するデータを取得する際の動作の流れを示す図である。
【図６】図１に示すデジタルカメラにおいて画像に関するデータを取得する際の動作の流れを示す図である。
【図７】発光制御回路の動作の流れを示す図である。
【図８】サムネイル画像に対する照明の選択を行う際の画面の一例を示す図である。
【図９】サムネイル画像に対する照明の選択を行う際の画面の他の例を示す図である。
【図１０】サムネイル画像に対する照明の選択を行う際の画面のさらに他の例を示す図である。
【図１１】サムネイル画像に対する照明の選択を行う際の画面のさらに他の例を示す図である。
【図１２】被写体ファイル内のデータ構造を示す図である。
【図１３】画像を再生する際のデジタルカメラの動作の流れを示す図である。
【図１４】画像を再生する際のデジタルカメラの動作の流れを示す図である。
【図１５】サムネイル画像の一覧が表示された様子を示す図である。
【図１６】再生される画像に対する照明の選択を行う際の画面の一例を示す図である。
【図１７】本発明の第２の実施の形態に係るデジタルカメラおよびコンピュータを示す図である。
【図１８】コンピュータの内部構成を示すブロック図である。
【符号の説明】
１  デジタルカメラ
５  コンピュータ
２１，５０１  ＣＰＵ
２２，５０２  ＲＯＭ
２３，５０３  ＲＡＭ
３０  被写体ファイル
３１  ヘッダ
９１  記録媒体
１１２  ＣＣＤ
１２５，５０５  ディスプレイ
１２６  操作ボタン
２０２  物体色成分データ生成部
２０３  サムネイルデータ生成部
２０４  ファイル作成部
２０６  画像再生部
２３５  物体色成分データ
２３６  照明成分データ
２３７  サムネイルデータ
５０６ａ  キーボード
５０６ｂ  マウス
５４１  プログラム
２０３１  縮小データ生成部
２０３２  合成部
ＳＴ１１９，ＳＴ１２０，ＳＴ３０２，ＳＴ３０３，ＳＴ３０６，ＳＴ３０８，ＳＴ３１１  ステップ
【図１】
0004427891.tif 000007
【図２】
0004427891.tif 000008
【図３】
0004427891.tif 000009
【図４】
0004427891.tif 000010
【図５】
0004427891.tif 000011
【図６】
0004427891.tif 000012
【図７】
0004427891.tif 000013
【図８】
0004427891.tif 000014
【図９】
0004427891.tif 000015
【図１０】
0004427891.tif 000016
【図１１】
0004427891.tif 000017
【図１２】
0004427891.tif 000018
【図１３】
0004427891.tif 000019
【図１４】
0004427891.tif 000020
【図１５】
0004427891.tif 000021
【図１６】
0004427891.tif 000022
【図１７】
0004427891.tif 000023
【図１８】
0004427891.tif 000024