(57)【特許請求の範囲】
【請求項１】
デジタル撮影装置であって、
被写体への照明環境を変更する照明変更手段と、
前記被写体のカラー画像データを取得する画像データ取得手段と、
前記照明変更手段による照明環境の変更前および変更後のそれぞれにおいて前記画像データ取得手段により取得される第１画像データおよび第２画像データの差分データを、照明環境の変更のみの影響を受けた画像データとして求める手段と、
前記差分データおよび照明環境の分光変更量に基づいて、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する手段と、
を備えることを特徴とするデジタル撮影装置。
【請求項２】
請求項１に記載のデジタル撮影装置であって、
前記照明変更手段が、前記被写体へ向けて光を発する発光手段であり、
前記分光変更量が、前記発光手段からの光の相対分光分布より導かれることを特徴とするデジタル撮影装置。
【請求項３】
請求項２に記載のデジタル撮影装置であって、
前記発光手段からの光の分光分布が一定となるように前記発光手段の発光を制御する手段、
をさらに備えることを特徴とするデジタル撮影装置。
【請求項４】
請求項２に記載のデジタル撮影装置であって、
前記発光手段の発光条件と相対分光分布との関係を示す発光条件データに基づいて前記発光手段からの光の相対分光分布を求める手段、
をさらに備えることを特徴とするデジタル撮影装置。
【請求項５】
請求項４に記載のデジタル撮影装置であって、
前記発光条件データが、代表的な複数の発光条件と相対分光分布との関係を示すデータであり、前記相対分光分布を求める手段が、実際の発光条件に基づいて前記発光条件データに含まれる相対分光分布を補間して実際の相対分光分布を求めることを特徴とするデジタル撮影装置。
【請求項６】
請求項４または５に記載のデジタル撮影装置であって、
前記発光条件データが、前記発光手段に与えられる電圧および前記発光手段の発光時間の少なくとも１つを含むことを特徴とするデジタル撮影装置。
【請求項７】
請求項１ないし６のいずれかに記載のデジタル撮影装置であって、
前記被写体の画像データおよび前記物体色成分データから前記画像データが示す画像において照明環境が与える影響を示す照明成分データを求める手段、
をさらに備えることを特徴とするデジタル撮影装置。
【請求項８】
デジタル撮影装置であって、
被写体のカラー画像データを取得する画像データ取得手段と、
前記画像データ取得手段の撮影光路上に配置することができる少なくとも１つのフィルタと、
前記撮影光路に対する前記少なくとも１つのフィルタの配置状態を切り替えつつ前記画像データ取得手段により取得される複数の予備画像データ、および、前記少なくとも１つのフィルタの分光透過率に基づいて、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する手段と、
を備えることを特徴とするデジタル撮影装置。
【請求項９】
請求項１ないし８のいずれかに記載のデジタル撮影装置であって、
互いに異なる複数の照明環境が画像に与える影響を示す複数の照明成分データを記憶する手段と、
前記複数の照明成分データのいずれかの選択を受け付ける選択手段と、
前記選択手段により選択された照明成分データと前記物体色成分データとに基づいて前記被写体の画像を再生する手段と、
をさらに備えることを特徴とするデジタル撮影装置。
【請求項１０】
請求項９に記載のデジタル撮影装置であって、前記複数の照明成分データのそれぞれに、対応する照明環境の影響により画像が観察者に与える感覚を示す感性情報が付与されており、
前記選択手段が、前記複数の照明成分データに付与された複数の感性情報を表示する手段をさらに有することを特徴とするデジタル撮影装置。
【請求項１１】
デジタル撮影装置であって、
被写体のカラー画像データを取得する画像データ取得手段と、
第１の撮影モードと第２の撮影モードとを選択する選択手段と、
前記第１の撮影モードにおいて、前記被写体への照明環境を変更する照明変更手段と、
前記第１の撮影モードにおいて、前記照明変更手段による照明環境の変更前および変更後のそれぞれにおいて前記画像データ取得手段により取得される第１画像データおよび第２画像データの差分データを、照明環境の変更のみの影響を受けた画像データとして求める手段と、
前記第１の撮影モードにおいて、前記差分データおよび照明環境の分光変更量に基づいて、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する手段と、
前記第２の撮影モードにおいて、前記画像データ取得手段の撮影光路上に配置することができる少なくとも１つのフィルタと、
前記第２の撮影モードにおいて、前記撮影光路上での前記少なくとも１つのフィルタの配置状態を切り替えつつ前記画像データ取得手段により取得される複数の予備画像データ、および、前記少なくとも１つのフィルタの分光透過率に基づいて、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する手段と、
を備えることを特徴とするデジタル撮影装置。
【請求項１２】
画像データ処理装置であって、
被写体への照明環境の変更前および変更後のカラー画像のそれぞれに対応する第１画像データおよび第２画像データの差分データを、照明環境の変更のみの影響を受けた画像データとして求める手段と、
前記差分データおよび照明環境の分光変更量に基づいて照明環境の影響が取り除かれた画像データに相当する物体色成分データを求める手段と、
を備えることを特徴とする画像データ処理装置。
【請求項１３】
デジタル撮影方法であって、
（ａ）  カラー画像データを取得する画像データ取得手段を用いて被写体を撮影することにより第１画像データを取得する工程と、
（ｂ）  前記被写体への照明環境を前記工程（ａ）から変更して前記画像データ取得手段を用いて前記被写体を撮影することにより第２画像データを取得する工程と、
（ｃ）照明環境の変更のみの影響を受けた画像データとして、前記第１画像データおよび前記第２画像データの差分データを求める工程と、
（ｄ）前記差分データおよび照明環境の分光変更量に基づいて、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する工程と、
を有することを特徴とするデジタル撮影方法。
【請求項１４】
請求項１３に記載のデジタル撮影方法であって、
前記工程（ａ）において前記被写体に発光手段からの光を照射した状態で前記第１画像データが取得され、
前記工程（ｂ）において前記被写体に前記発光手段からの光を照射しない状態で前記第２画像データが取得され、
前記分光変更量が前記発光手段からの光の相対分光分布より導かれることを特徴とするデジタル撮影方法。
【請求項１５】
請求項１４に記載のデジタル撮影方法であって、
前記工程（ｄ）が、前記発光手段の発光条件と相対分光分布との関係を示す発光条件データに基づいて前記発光手段からの光の相対分光分布を求める工程、
を有することを特徴とするデジタル撮影方法。
【請求項１６】
請求項１３ないし１５のいずれかに記載のデジタル撮影方法であって、
（ｅ）  前記被写体の画像データおよび前記物体色成分データから前記画像データが示す画像において照明環境が与える影響を示す照明成分データを求める工程、をさらに有することを特徴とするデジタル撮影方法。
【請求項１７】
デジタル撮影方法であって、
（ａ）  撮影光路に対する少なくとも１つのフィルタの配置状態を切り替えつつ被写体の撮影を行うことにより、複数のカラー画像を示す複数の予備画像データを取得する工程と、
（ｂ）  前記複数の予備画像データおよび前記少なくとも１つのフィルタの分光透過率に基づいて照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する工程と、
を有することを特徴とするデジタル撮影方法。
【請求項１８】
デジタル撮影方法であって、
（ａ）  第１の撮影モードと第２の撮影モードとを選択する工程と、
（ｂ）  前記工程（ａ）により選択された撮影モードにより撮影を行う工程と、
を有し、
前記第１の撮影モードが選択された場合に実行される工程として、前記工程（ｂ）が、
（ｃ１）  カラー画像データを取得する画像データ取得手段を用いて被写体を撮影することにより第１画像データを取得する工程と、
（ｃ２）  前記被写体への照明環境を前記工程（ｃ１）から変更して前記画像データ取得手段を用いて前記被写体を撮影することにより第２画像データを取得する工程と、
（ｃ３）照明環境の変更のみの影響を受けた画像データとして、前記第１画像データおよび前記第２画像データの差分データを求める工程と、
（ｃ４）前記差分データおよび照明環境の分光変更量に基づいて、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する工程と、
を有し、
前記第２の撮影モードが選択された場合に実行される工程として、前記工程（ｂ）が、
（ｄ１）  前記画像データ取得手段を用いて、少なくとも１つのフィルタの撮影光路に対する配置状態を切り替えつつ被写体を撮影することにより、複数の予備画像データを取得する工程と、
（ｄ２）  前記複数の予備画像データおよび前記少なくとも１つの分光透過率に基づいて照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する工程と、
を有することを特徴とするデジタル撮影方法。
【請求項１９】
コンピュータに画像データの処理を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記プログラムはコンピュータに、
被写体への照明環境の変更前および変更後のそれぞれに対応するカラーの第１画像データおよび第２画像データの差分データを、照明環境の変更のみの影響を受けた画像データとして求める工程と、
前記差分データおよび照明環境の分光変更量に基づいて照明環境の影響が取り除かれた画像データに相当する物体色成分データを求める工程と、
を実行させることを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、被写体の画像データを取得する技術に関するものであり、例えば、デジタルカメラにより画像データを取得する技術に関する。
【０００２】
【従来の技術】
従来より、デジタルカメラ等の画像入力装置によりデジタルデータとして取得される画像に対し、画像の色合いや雰囲気を修正する画像処理が行われている。このような処理の代表的なものとして、ホワイトバランスに基づく色の修正がある。ホワイトバランスに基づく修正では、画像の全体的な色のバランスに基づいて白い物体が白く見えるように画像を修正し、これにより、被写体への照明光の色の影響が画像からある程度取り除かれ、人間の視覚に合った画像へと修正される。
【０００３】
【発明が解決しようとする課題】
従来よりなされてきた画像の色合いの修正は、画像全体に対して一律に行われてきた。したがって、元の画像のデータと色合いの修正に関するデータとが分離して取り扱われることはない。例えば、修正された画像はＲＧＢの輝度情報として一体的に保存される。
【０００４】
その一方で、ある画像が観察者に与える感覚を他の画像に含めるために画像の色合いを修正することが望まれる場合がある。すなわち、ある画像が撮影された際の照明環境により演出される雰囲気を他の照明環境にて撮影された画像に取り込みたい場合がある。なお、照明環境とは、光源の特性みならず撮影対象の周囲の条件を考慮した照明に係る環境をいうものとする。
【０００５】
ところが、従来より画像のデータは一体的なデータとして扱われることから、ある画像において照明環境が演出する雰囲気を他の画像に取り込むことは不可能であった。また、画像の色合いの修正により特定の照明環境が演出する雰囲気を導き出そうとしても、画像全体に対して一律に色合いを変更するのみでは不自然な画像となってしまう。
【０００６】
そこで、この発明は上記課題に鑑みなされたものであり、画像から照明環境の影響を取り除いたデータを取得することを目的としている。また、このデータを用いて被写体への照明環境を変更した画像を適切に得ることも目的としている。
【０００７】
【課題を解決するための手段】
請求項１の発明は、デジタル撮影装置であって、被写体への照明環境を変更する照明変更手段と、前記被写体のカラー画像データを取得する画像データ取得手段と、前記照明変更手段による照明環境の変更前および変更後のそれぞれにおいて前記画像データ取得手段により取得される第１画像データおよび第２画像データの差分データを、照明環境の変更のみの影響を受けた画像データとして求める手段と、前記差分データおよび照明環境の分光変更量に基づいて、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する手段とを備える。
【０００８】
請求項２の発明は、請求項１に記載のデジタル撮影装置であって、前記照明変更手段が、前記被写体へ向けて光を発する発光手段であり、前記分光変更量が、前記発光手段からの光の相対分光分布より導かれる。
【０００９】
請求項３の発明は、請求項２に記載のデジタル撮影装置であって、前記発光手段からの光の分光分布が一定となるように前記発光手段の発光を制御する手段をさらに備える。
【００１０】
請求項４の発明は、請求項２に記載のデジタル撮影装置であって、前記発光手段の発光条件と相対分光分布との関係を示す発光条件データに基づいて前記発光手段からの光の相対分光分布を求める手段をさらに備える。
【００１１】
請求項５の発明は、請求項４に記載のデジタル撮影装置であって、前記発光条件データが、代表的な複数の発光条件と相対分光分布との関係を示すデータであり、前記相対分光分布を求める手段が、実際の発光条件に基づいて前記発光条件データに含まれる相対分光分布を補間して実際の相対分光分布を求める。
【００１２】
請求項６の発明は、請求項４または５に記載のデジタル撮影装置であって、前記発光条件データが、前記発光手段に与えられる電圧および前記発光手段の発光時間の少なくとも１つを含む。
【００１４】
請求項７の発明は、請求項１ないし６のいずれかに記載のデジタル撮影装置であって、前記被写体の画像データおよび前記物体色成分データから前記画像データが示す画像において照明環境が与える影響を示す照明成分データを求める手段をさらに備える。
【００１５】
請求項８の発明は、デジタル撮影装置であって、被写体のカラー画像データを取得する画像データ取得手段と、前記画像データ取得手段の撮影光路上に配置することができる少なくとも１つのフィルタと、前記撮影光路に対する前記少なくとも１つのフィルタの配置状態を切り替えつつ前記画像データ取得手段により取得される複数の予備画像データ、および、前記少なくとも１つのフィルタの分光透過率に基づいて、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する手段とを備える。
【００１６】
請求項９の発明は、請求項１ないし８のいずれかに記載のデジタル撮影装置であって、互いに異なる複数の照明環境が画像に与える影響を示す複数の照明成分データを記憶する手段と、前記複数の照明成分データのいずれかの選択を受け付ける選択手段と、前記選択手段により選択された照明成分データと前記物体色成分データとに基づいて前記被写体の画像を再生する手段とをさらに備える。
【００１７】
請求項１０の発明は、請求項９に記載のデジタル撮影装置であって、前記複数の照明成分データのそれぞれに、対応する照明環境の影響により画像が観察者に与える感覚を示す感性情報が付与されており、前記選択手段が、前記複数の照明成分データに付与された複数の感性情報を表示する手段をさらに有する。
【００１８】
請求項１１の発明は、デジタル撮影装置であって、被写体のカラー画像データを取得する画像データ取得手段と、第１の撮影モードと第２の撮影モードとを選択する選択手段と、前記第１の撮影モードにおいて、前記被写体への照明環境を変更する照明変更手段と、前記第１の撮影モードにおいて、前記照明変更手段による照明環境の変更前および変更後のそれぞれにおいて前記画像データ取得手段により取得される第１画像データおよび第２画像データの差分データを、照明環境の変更のみの影響を受けた画像データとして求める手段と、前記第１の撮影モードにおいて、前記差分データおよび照明環境の分光変更量に基づいて、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する手段と、前記第２の撮影モードにおいて、前記画像データ取得手段の撮影光路上に配置することができる少なくとも１つのフィルタと、前記第２の撮影モードにおいて、前記撮影光路上での前記少なくとも１つのフィルタの配置状態を切り替えつつ前記画像データ取得手段により取得される複数の予備画像データ、および、前記少なくとも１つのフィルタの分光透過率に基づいて、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する手段とを備える。
【００１９】
請求項１２の発明は、画像データ処理装置であって、被写体への照明環境の変更前および変更後のカラー画像のそれぞれに対応する第１画像データおよび第２画像データの差分データを、照明環境の変更のみの影響を受けた画像データとして求める手段と、前記差分データおよび照明環境の分光変更量に基づいて照明環境の影響が取り除かれた画像データに相当する物体色成分データを求める手段とを備える。
【００２０】
請求項１３の発明は、デジタル撮影方法であって、（ａ）カラー画像データを取得する画像データ取得手段を用いて被写体を撮影することにより第１画像データを取得する工程と、（ｂ）前記被写体への照明環境を前記工程（ａ）から変更して前記画像データ取得手段を用いて前記被写体を撮影することにより第２画像データを取得する工程と、（ｃ）照明環境の変更のみの影響を受けた画像データとして、前記第１画像データおよび前記第２画像データの差分データを求める工程と、（ｄ）前記差分データおよび照明環境の分光変更量に基づいて、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する工程とを有する。
【００２１】
請求項１４の発明は、請求項１３に記載のデジタル撮影方法であって、前記工程（ａ）において前記被写体に発光手段からの光を照射した状態で前記第１画像データが取得され、前記工程（ｂ）において前記被写体に前記発光手段からの光を照射しない状態で前記第２画像データが取得され、前記分光変更量が前記発光手段からの光の相対分光分布より導かれる。
【００２２】
請求項１５の発明は、請求項１４に記載のデジタル撮影方法であって、前記工程（ｄ）が、前記発光手段の発光条件と相対分光分布との関係を示す発光条件データに基づいて前記発光手段からの光の相対分光分布を求める工程を有する。
【００２４】
請求項１６の発明は、請求項１３ないし１５のいずれかに記載のデジタル撮影方法であって、（ｅ）前記被写体の画像データおよび前記物体色成分データから前記画像データが示す画像において照明環境が与える影響を示す照明成分データを求める工程をさらに有する。
【００２５】
請求項１７の発明は、デジタル撮影方法であって、（ａ）撮影光路に対する少なくとも１つのフィルタの配置状態を切り替えつつ被写体の撮影を行うことにより、複数のカラー画像を示す複数の予備画像データを取得する工程と、（ｂ）前記複数の予備画像データおよび前記少なくとも１つのフィルタの分光透過率に基づいて照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する工程とを有する。
【００２６】
請求項１８の発明は、デジタル撮影方法であって、（ａ）第１の撮影モードと第２の撮影モードとを選択する工程と、（ｂ）前記工程（ａ）により選択された撮影モードにより撮影を行う工程とを有し、前記第１の撮影モードが選択された場合に実行される工程として、前記工程（ｂ）が、（ｃ１）カラー画像データを取得する画像データ取得手段を用いて被写体を撮影することにより第１画像データを取得する工程と、（ｃ２）前記被写体への照明環境を前記工程（ｃ１）から変更して前記画像データ取得手段を用いて前記被写体を撮影することにより第２画像データを取得する工程と、（ｃ３）照明環境の変更のみの影響を受けた画像データとして、前記第１画像データおよび前記第２画像データの差分データを求める工程と、（ｃ４）前記差分データおよび照明環境の分光変更量に基づいて、照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する工程とを有し、前記第２の撮影モードが選択された場合に実行される工程として、前記工程（ｂ）が、（ｄ１）前記画像データ取得手段を用いて、少なくとも１つのフィルタの撮影光路に対する配置状態を切り替えつつ被写体を撮影することにより、複数の予備画像データを取得する工程と、（ｄ２）前記複数の予備画像データおよび前記少なくとも１つの分光透過率に基づいて照明環境の影響が取り除かれた画像データに相当する物体色成分データを取得する工程とを有する。
【００２７】
請求項１９の発明は、コンピュータに画像データの処理を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムはコンピュータに、被写体への照明環境の変更前および変更後のそれぞれに対応するカラーの第１画像データおよび第２画像データの差分データを、照明環境の変更のみの影響を受けた画像データとして求める工程と、前記差分データおよび照明環境の分光変更量に基づいて照明環境の影響が取り除かれた画像データに相当する物体色成分データを求める工程とを実行させる。
【００２８】
【発明の実施の形態】
＜１．  第１の実施の形態＞
図１はこの発明の第１の実施の形態に係るデジタル撮影装置であるデジタルカメラ１の全体を示す斜視図である。デジタルカメラ１は、撮影を行うレンズユニット１１、および、レンズユニット１１にてデジタルデータとして取得された画像を処理する本体部１２とを有する。
【００２９】
レンズユニット１１は、複数のレンズを有するレンズ系１１１、および、レンズ系１１１を介して被写体の像を取得するＣＣＤ１１２を有する。そして、ＣＣＤ１１２から出力される画像信号は本体部１２へと送られる。また、レンズユニット１１には、操作者が被写体を捉えるためのファインダ１１３、測距センサ１１４等も配置される。
【００３０】
本体部１２には、フラッシュ１２１およびシャッタボタン１２２が設けられ、操作者がファインダ１１３を介して被写体を捉え、シャッタボタン１２２を操作することにより、ＣＣＤ１１２にて電気的に画像が取得される。このとき、必要に応じてフラッシュ１２１が発光する。なお、ＣＣＤ１１２は各画素の値としてＲ，Ｇ，Ｂの各色に関する値を取得する３バンドの撮像手段となっている。
【００３１】
ＣＣＤ１１２からの画像信号は本体部１２内部にて後述する処理が行われ、必要に応じて本体部１２に装着されている外部メモリ１２３（いわゆる、メモリカード）に記憶される。外部メモリ１２３は本体部１２下面の蓋を開けて取出ボタン１２４を操作することにより本体部１２から取り出される。記録媒体である外部メモリ１２３に記憶されたデータは別途設けられたコンピュータ等を用いて他の装置に渡すことができる。逆に、他の装置にて外部メモリ１２３に記憶されたデータをデジタルカメラ１が読み出すことも可能である。
【００３２】
図２はデジタルカメラ１を背後から見たときの様子を示す図である。本体部１２の背面の中央には撮影された画像を表示したり、操作者へのメニューを表示する液晶のディスプレイ１２５が設けられ、ディスプレイ１２５の側方にはディスプレイ１２５に表示されるメニューに従って入力操作を行うための操作ボタン１２６が配置される。これにより、デジタルカメラ１の操作、撮影条件の設定、外部メモリ１２３の保守、後述する画像の再生等ができるようにされている。
【００３３】
図３は、デジタルカメラ１の構成のうち、主としてこの発明に係る処理を実行するための構成を模式的に示すブロック図である。
【００３４】
図３に示す構成のうち、レンズ系１１１、ＣＣＤ１１２、Ａ／Ｄ変換部１１５、シャッタボタン１２２、ＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３は画像を取得する機能を実現する。すなわち、レンズ系１１１により被写体の像がＣＣＤ１１２上に結像され、シャッタボタン１２２が押されると、ＣＣＤ１１２からの画像信号がＡ／Ｄ変換部１１５によりデジタル変換される。Ａ／Ｄ変換部１１５にて変換されたデジタル画像信号は本体部１２のＲＡＭ２３に画像データとして記憶される。なお、これらの処理の制御はＣＰＵ２１がＲＯＭ２２内に記憶されているプログラム２２１に従って動作することにより行われる。
【００３５】
また、本体部１２に設けられるＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３が画像を処理する機能を実現する。具体的には、ＲＯＭ２２に記憶されているプログラム２２１に従って、ＲＡＭ２３を作業領域として利用しながらＣＰＵ２１が取得された画像に画像処理を施す。
【００３６】
外部メモリ１２３はＲＡＭ２３と接続され、操作ボタン１２６からの入力操作に基づいて各種データの受け渡しが行われる。また、ディスプレイ１２５もＣＰＵ２１からの信号に基づいて画像の表示や操作者への情報の表示を切り替えながら行う。
【００３７】
フラッシュ１２１は発光制御回路１２１ａを介してＣＰＵ２１に接続されており、ＣＰＵ２１からフラッシュ１２１を点灯する旨の指示を受けた場合には、発光制御回路１２１ａがフラッシュ１２１の発光特性が撮影ごとにばらつかないように制御を行う。これにより、フラッシュ１２１からの光の分光分布（分光強度）が一定となるように制御される。
【００３８】
図４は、主としてＣＰＵ２１、ＲＯＭ２２およびＲＡＭ２３により実現される機能の構成を他の構成とともに示すブロック図であり、図５は撮影および画像処理の流れを示す流れ図である。図４に示す構成のうち、差分画像生成部２０１、物体色成分データ生成部２０２、照明成分データ生成部２０３および画像再生部２０４が、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３等により実現される機能である。以下、これらの図を参照しながらデジタルカメラ１の動作について説明する。
【００３９】
まず、フラッシュがＯＮの状態にて撮影を行い、フラッシュ光を浴びた被写体の画像（以下、「第１画像」という。）を得る。すなわち、フラッシュ１２１を点灯するとともにＣＣＤ１１２にて画像を取得し、得られた画像（正確には、画像信号）がＡ／Ｄ変換部１１５からＲＡＭ２３へと送られ、第１画像データ２３１として記憶される（ステップＳＴ１１）。
【００４０】
次に、フラッシュがＯＦＦの状態にて撮影を行い、フラッシュ光を有しない照明環境下での被写体の画像（以下、「第２画像」という。）を得る。すなわち、フラッシュを用いることなくＣＣＤ１１２にて画像を取得し、得られた画像がＡ／Ｄ変換部１１５からＲＡＭ２３へと送られ、第２画像データ２３２として記憶される（ステップＳＴ１２）。
【００４１】
これらの２回の撮影は、連写のように迅速に行われる。したがって、第１画像と第２画像との撮影範囲は同一となる。また、２回の撮影はシャッター速度（ＣＣＤ１１２の積分時間）および絞りが同一の条件にて行われる。
【００４２】
ここで、フラッシュ１２１の発光は、フラッシュ光の分光分布が一定となるように発光制御回路１２１ａにより制御される。図６は発光制御回路１２１ａの動作の流れを示す流れ図である。
【００４３】
フラッシュＯＮでの撮影の際に、あるいは、撮影に先立って、まず、発光制御回路１２１ａがフラッシュ１２１のフラッシュ電源への充電電圧（すなわち、フラッシュ１２１に与えられる電圧）のモニタを開始する（ステップＳＴ２１）。そして、充電電圧が所定の電圧（例えば、３３０Ｖ）に達したと確認されると（ステップＳＴ２２）、フラッシュ電源からフラッシュ１２１へと電力を供給して発光を開始する（ステップＳＴ２３）。
【００４４】
発光の開始と同時に発光制御回路１２１ａは発光時間のモニタを開始する（ステップＳＴ２４）。その後、発光開始から所定の時間が経過したことが確認されると（ステップＳＴ２５）、発光が停止される（ステップＳＴ２６）。
【００４５】
このように、フラッシュ１２１の発光は一定の電圧および発光時間となるように制御され、フラッシュ１２１の発光特性が撮影ごとにばらつくことはない。なお、フラッシュ１２１の分光分布も上記発光制御により一定に保たれ、この分光分布は予め計測されてＲＡＭ２３にフラッシュ分光データ２３４として記憶されている。なお、正確にはフラッシュ光の相対的な分光分布（最大の分光強度を１として正規化された分光分布をいい、以下「相対分光分布」という。）がフラッシュ分光データ２３４として用いられる。
【００４６】
２回の撮影により、ＲＡＭ２３に第１画像データ２３１および第２画像データ２３２が保存されると、差分画像生成部２０１が第１画像データ２３１から第２画像データ２３２を減算して差分画像データ２３３を求める。これにより、第１画像の各画素のＲ，Ｇ，Ｂの各値から第２画像の対応する画素のＲ，Ｇ，Ｂの各値がそれぞれ減算され、第１画像と第２画像との差分画像が得られる（ステップＳ１３）。
【００４７】
次に、物体色成分データ生成部２０２により差分画像データ２３３およびフラッシュ分光データ２３４を用いて第２画像から照明環境の影響を取り除いた成分が物体色成分データ２３５として求められ、ＲＡＭ２３に保存される（ステップＳＴ１４）。物体色成分データ２３５は、被写体の分光反射率に実質的に相当するデータである。以下、被写体の分光反射率を求める原理について説明する。
【００４８】
まず、被写体を照明する照明光（光源からの直接的な光および間接的な光を含む照明環境における照明光いう。）の分光分布をＥ（λ）とし、この分光分布Ｅ（λ）を３つの基底関数Ｅ１（λ），Ｅ２（λ），Ｅ３（λ）および加重係数ε１，ε２，ε３を用いて、
【００４９】
【数１】
0003551854.tif 000002
【００５０】
と表し、同様に、ある画素（以下、「対象画素」という。）に対応する被写体上の位置の分光反射率をＳ（λ）を３つの基底関数Ｓ１（λ），Ｓ２（λ），Ｓ３（λ）および加重係数σ１，σ２，σ３を用いて、
【００５１】
【数２】
0003551854.tif 000003
【００５２】
と表すと、ＣＣＤ１１２上の対象画素に入射する光Ｉ（λ）（レンズユニット１１内のフィルタ等を無視した場合の入射光）は、
【００５３】
【数３】
0003551854.tif 000004
【００５４】
と表現される。また、対象画素のＲ，Ｇ，Ｂのいずれかの色（以下、「対象色」という。）に関する値がρｃであり、ＣＣＤ１１２の対象色の分光感度をＲｃ（λ）とすると、値ρｃは、
【００５５】
【数４】
0003551854.tif 000005
【００５６】
により導かれる。
【００５７】
ここで、フラッシュＯＮの第１画像の対象画素の対象色の値がρｃ１であり、フラッシュＯＦＦの第２画像の対応する値がρｃ２である場合、差分画像の対応する値ρｓは、
【００５８】
【数５】
0003551854.tif 000006
【００５９】
となる。ここで、Ｉ１（λ）はフラッシュＯＮの際の対象画素に入射する光であり、ε１１，ε１２，ε１３はフラッシュ光を含む照明光に関する基底関数の加重係数である。同様に、Ｉ２（λ）はフラッシュＯＦＦの際の対象画素に入射する光であり、ε２１，ε２２，ε２３はフラッシュ光を含まない照明光に関する基底関数の加重係数である。さらに、εｓｉ（ｉ＝１，２，３）は（ε１ｉ−ε２ｉ）である。
【００６０】
数５において、基底関数Ｅｉ（λ），Ｓｊ（λ）は予め定められた関数であり、分光感度Ｒｃ（λ）は予め計測により求めることができる関数である。これらの情報は予めＲＯＭ２２やＲＡＭ２３に記憶される。一方、２回の撮影においてシャッター速度（あるいは、ＣＣＤ１１２の積分時間）および絞りが同一に制御され、第１画像から第２画像を減算した差分画像は、照明環境の変更のみの影響を受けた画像、すなわち、フラッシュ光のみを照明光源とする画像に相当することから、加重係数εｓｉは後述する手法によりフラッシュ光の相対分光分布より導くことができる。
【００６１】
したがって、数５に示す方程式において未知数は３つの加重係数σ１，σ２，σ３のみである。また、数５に示す方程式は対象画素におけるＲ，Ｇ，Ｂの３つの色のそれぞれに関して求めることができ、これら３つの方程式を解くことにより３つの加重係数σ１，σ２，σ３を求めることができる。すなわち、対象画素に対応する被写体上の位置の分光反射率が得られる。
【００６２】
次に、加重係数εｓｉを求める手法について説明する。既述のように差分画像はフラッシュ光のみを照明光とする画像に相当し、差分画像における照明光の相対分光分布は既知である。一方で、フラッシュから遠い被写体上の領域はフラッシュ１２１に近い領域よりもフラッシュ光を受ける度合いが小さい。したがって、差分画像ではおおよそフラッシュ１２１から遠い位置ほど暗く現れる。
【００６３】
そこで、３つの加重係数εｓ１，εｓ２，εｓ３の値の相対関係を一定に保ったまま差分画像中の対象画素の輝度に比例してこれらの加重係数の値を増減する。すなわち、差分画像中の対象画素の輝度が小さい場合には加重係数εｓ１，εｓ２，εｓ３の値は小さな値として決定され、輝度が大きい場合には加重係数εｓ１，εｓ２，εｓ３の値は大きな値として決定される。なお、３つの加重係数εｓ１，εｓ２，εｓ３の相対関係は３つの基底関数Ｅ１（λ），Ｅ２（λ），Ｅ３（λ）の加重和がフラッシュ光の分光分布と比例するように予め求められており、輝度と加重係数εｓｉとの比例関係は予め測定により求められる。
【００６４】
なお、加重係数εｓｉは対象画素に対応する被写体上の位置に照射されるフラッシュ光の分光分布を示す値であり、第１画像および第２画像間におけるフラッシュ１２１による照明光の変更量の分光分布を示す値である。したがって、フラッシュ分光データ２３４より加重係数εｓｉを求める処理は、フラッシュ光の相対分光分布からフラッシュ１２１による照明環境（照明光）の分光変更量を求める処理に相当する。
【００６５】
以上の原理に基づき、デジタルカメラ１の物体色成分データ生成部２０２は差分画像データ２３３の画素値およびフラッシュ分光データ２３４を参照しながら、各画素に対応する被写体上の位置の分光反射率を求める。被写体の分光反射率は、照明環境の影響が取り除かれた画像データに相当し、物体色成分データ２３５としてＲＡＭ２３に記憶される（ステップＳＴ１４）。
【００６６】
物体色成分データ２３５が求められると、数３および数４より第２画像の各画素のＲ，Ｇ，Ｂの値に基づいて加重係数ε２１，ε２２，ε２３に関する３つの方程式を求めることができる。照明成分データ生成部２０３では、これらの方程式を解くことにより第２画像における各画素に関する加重係数ε２ｉが求められる。求められた各画素の加重係数ε２ｉは第２画像におけるフラッシュ光を含まない照明環境の影響を示す成分となる。
【００６７】
ここで、各画素の加重係数ε２ｉはそのまま照明成分データ２３６とされてもよいが、およそ均一な照明光の照明環境である場合には画素ごとの加重係数ε２ｉのばらつきは少ない。そこで、加重係数ε２１，ε２２，ε２３のそれぞれについて全画素の平均値を求め、求められた３つの加重係数が照明成分データ２３６とされる（ステップＳＴ１５）。これにより、照明成分データ２３６は画素の位置に依存しない値となり、後述するように他の物体色成分データ２３５と合成することでこの照明環境による雰囲気を他の被写体の画像に取り込むことが可能となる。
【００６８】
また、照明成分データ２３６が記憶される前に、操作ボタン１２６を介する操作者の入力に基づいて照明成分データ２３６には感覚を示す情報（以下、「感性情報」という。）が付与される（ステップＳＴ１６）。すなわち、図７に示すように感性情報２３６ａが照明成分データ２３６に付加され、あるいは、図８に示すように関連づけられる。既述のように照明成分データ２３６は画像中の照明環境が与えている影響を示すデータであり、この照明成分データ２３６を用いて後述する動作により再生される画像は観察者にある種の刺激を与える。そこで、デジタルカメラ１では、観察者が受ける感覚（感性）を示す情報を用いて照明成分データ２３６を識別可能な状態で保存するようになっている。
【００６９】
具体的には、「春らしい」「真夏の」等の季節感を示す言葉、「夕焼けの」「早朝の」「昼下がりの」等の時刻から受ける感覚を示す言葉、「寒々とした」「カーっと暑い」等の温度感覚を示す言葉、「霞がかかった」「曇りの」等の天候から受ける感覚を示す言葉等の情報が照明成分データ２３６に付与されて保存が行われる。
【００７０】
物体色成分データ２３５および照明成分データ２３６が求められると、これらのデータはデジタルカメラ１の本体に対して着脱自在な外部メモリ１２３へと転送されて保存される（ステップＳＴ１７）。外部メモリ１２３には物体色成分データ２３５と照明成分データ２３６のいずれか一方のみが保存されてもよいし双方が保存されてもよく、互いに独立して取り出し可能な状態で外部メモリ１２３に保存される。
【００７１】
次に、以上のようにして外部メモリ１２３に保存された物体色成分データ２３５および照明成分データ２３６を用いて画像が再生される際のデジタルカメラ１の動作について図９を参照しながら説明する。なお、外部メモリ１２３には、複数の物体色成分データ２３５および複数の照明成分データ２３６が予め保存されているものとする。外部メモリ１２３内の複数の物体色成分データ２３５および複数の照明成分データ２３６は、外部のコンピュータから読み出されたものであってもよい。
【００７２】
まず、操作者がディスプレイ１２５の表示を見ながら操作ボタン１２６を介して指示を行うことにより、所望の物体色成分データ２３５がＲＡＭ２３に読み込まれる（ステップＳＴ３１）。これにより、再生する画像の対象（すなわち、撮影時の被写体）が決定される。
【００７３】
次に、画像再生部２０４により、外部メモリ１２３に保存されている各照明成分データ２３６に付与された感性情報２３６ａが読み出され、これらの一覧がディスプレイ１２５に表示される（ステップＳＴ３２）。これにより、外部メモリ１２３中の選択候補となる照明成分データ２３６が感性情報２３６ａに基づいて選択可能な状態となる。図１０および図１１はそれぞれ光源を示す場合と光源を示さない場合のディスプレイ１２５の感性情報の表示画面の例を示す図である。
【００７４】
図１２ないし図１４は、照明成分データ２３６の３つの加重係数および予め定められた３つの基底関数により表現される各画素共通の照明光の分光分布の例を相対分光強度にて示す図である。感性情報としては、例えば、図１２に「夕焼けの」、図１３に「寒々とした」、図１４に「昼下がりの」といった語句が与えられる。もちろん、全ての照明成分データ２３６に感覚を示す情報を付与する必要はなく、「蛍光灯」等の語句が付与されてもよい。なお、感性情報としては、言葉に限定されるものではなく、色、音等であってもよい。
【００７５】
操作者は感性情報２３６ａの一覧を見ながら、いずれかを操作ボタン１２６を介して指定する。画像再生部２０４は操作者からの指定を受け付けると、指定された感性情報２３６ａが付与されている照明成分データ２３６を再生に利用すべき照明成分データとして決定し（ステップＳＴ３３）、この照明成分データ２３６を外部メモリ１２３からＲＡＭ２３へと読み出す（ステップＳＴ３４）。
【００７６】
これにより、既に読み込まれている物体色成分データ２３５の基礎となった画像を再生したい場合には、物体色成分データ２３５が求められた時に求められた照明成分データ２３６がＲＡＭ２３に読み込まれ、他の画像が撮影された際の照明環境下での画像として再生したい場合には、他の画像が撮影された際に得られた照明成分データ２３６がＲＡＭ２３に読み込まれる。
【００７７】
その後、物体色成分データ２３５および照明成分データ２３６が数３および数４に示した演算を行うことにより画像再生部２０４により合成されて各画素のＲ，Ｇ，Ｂの値ρｒ，ρｇ，ρｂが求められ、目的とする画像データが生成される（ステップＳＴ３５）。そして、求められた画像データがデジタルカメラ１の背面に設けられたディスプレイ１２５に表示される（ステップＳＴ３６）。
【００７８】
再生された画像は、必要に応じて通常の画像フォーマット（圧縮されてもよい）にて外部メモリ１２３に保存される。
【００７９】
以上のように、デジタルカメラ１では、フラッシュＯＮの状態にて撮影された第１画像、フラッシュＯＦＦの状態にて撮影された第２画像、および、フラッシュ光の相対分光分布とから照明環境の影響が取り除かれた画像データに相当する物体色成分データ２３５を求めることができる。すなわち、被写体の分光反射率を示す物体色成分データ２３５を照明環境が変更された２枚の画像から簡単に求めることができる。また、照明環境の変更はフラッシュ１２１を用いて容易に行われる。
【００８０】
また、デジタルカメラ１としては特殊な機構を有さず、汎用のオンチップフィルタが設けられたＣＣＤを有するデジタルカメラの簡単な仕様変更により物体色成分データ２３５を求めることができるデジタルカメラ１を実現することができる。これにより、物体色成分データ２３５を求める動作を汎用のデジタルカメラ１の特殊モードとして実現することができ、新たな生産コストが生じることはない。
【００８１】
また、デジタルカメラ１では求められた物体色成分データ２３５および第２画像データから照明成分データ２３６が求められる。したがって、デジタルカメラ１では、物体色成分データ２３５に複数の照明成分データ２３６から選択されたものを適宜合成することにより、所望の照明環境下の所望の撮影対象の画像を再生することができる。すなわち、撮影時の雰囲気にて画像を再生したい場合には、互いに対となって生成された物体色成分データ２３５および照明成分データ２３６を合成すればよく、他の画像の照明環境の影響を取り込んで再生したい場合には、物体色成分データ２３５に他の照明環境で得られた照明成分データ２３６を合成することで照明環境を変更した画像が再生される。
【００８２】
なお、照明成分データ２３６を求める基礎となる画像データは第２画像データに限定されるものではなく、第１画像データであってもよい。さらには、別途同一被写体を撮影した画像データであってもよい。
【００８３】
また、照明成分データ２３６として図１０に例示するように標準光（Ｄ６５等）を設けておくことで、任意の照明環境にて得られた画像から被写体の正確な色再現も可能であり、印刷用の画像やインターネットショッピング等に用いられる画像として適切な画像を生成することができる。
【００８４】
さらに、このデジタルカメラ１では、照明成分データ２３６に感性情報２３６ａを付与し、照明成分データ２３６を選択する際に操作者が感性情報２３６ａに基づいて選択を行うことができるようにされており、感性に基づいた画像再生を楽しむことができる。
【００８５】
なお、以上の説明では物体色成分データ２３５として各画素に対応する加重係数σ１，σ２，σ３が保存され、照明成分データ２３６として各画素に共通の（汎用性を求めない場合には各画素に固有の）加重係数ε１，ε２，ε３が保存されると説明したが、被写体の分光反射率の基底関数Ｓ１（λ），Ｓ２（λ），Ｓ３（λ）や照明光の分光分布の基底関数Ｅ１（λ），Ｅ２（λ），Ｅ３（λ）とともに保存されてもよい。
【００８６】
＜２．  第２の実施の形態＞
図１５はこの発明の第２の実施の形態に係るデジタルカメラ１ａの構成を示す図である。図１５に示すように、デジタルカメラ１ａは第１の実施の形態におけるデジタルカメラ１のＣＣＤ１１２の前方にフィルタ１１６を有し、フィルタ１１６がモータ１１７の動作により移動可能に配置される。他の構成は第１の実施の形態と同様であり、図１と同様の構成については同符号を付している。
【００８７】
デジタルカメラ１ａでは、モータ１１７の回転軸を中心にフィルタ１１６が回動することにより、フィルタ１１６がレンズ系１１１の光軸上（すなわち、撮影の際の撮影光路上）の位置と、撮影光路から外れた位置との間で移動を行う。第２の実施の形態では、フィルタ１１６が撮影光路上に位置する場合の画像と撮影光路上に位置しない場合の画像とを用いて照明の影響が取り除かれた画像データに相当する物体色成分データ、および、照明環境の影響を示す照明成分データを得るようになっている。
【００８８】
なお、ＣＣＤ１１２は第１の実施の形態と同様にＲ，Ｇ，Ｂの各値を取得する３バンド入力の撮像手段となっている。また、このデジタルカメラ１ａでは通常の撮影モードと特殊撮影モードとを有し、通常の撮影モードではＲ，Ｇ，Ｂの値により構成される画像データが取得され（すなわち、市販されているデジタルカメラと同様の動作を行う）、特殊撮影モードでは物体色成分データおよび照明成分データの取得が行われるものとする。
【００８９】
図１６は、デジタルカメラ１ａの構成のうち、主としてこの発明に係る処理を実行するための構成を模式的に示すブロック図である。図１６に示すようにフィルタ１１６およびモータ１１７を有するという点を除いてはデジタルカメラ１ａの内部構成は第１の実施の形態と同様である。なお、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３等が行う処理は第１の実施の形態と異なっており、詳細については後述する。また、フラッシュ１２１は通常撮影を行う場合に用いられるものであり、物体色成分データ等を求める撮影を行う際には用いられず、発光制御回路１２１ａは第１の実施の形態のように発光特性を一定にすることを目的とする発光制御は行わない。
【００９０】
図１７は、特殊撮影モード時にデジタルカメラ１ａにおいて物体色成分データおよび照明成分データを求める成分データ生成部２０５を周辺の構成とともに表すブロック図である。成分データ生成部２０５はＣＰＵ２１，ＲＯＭ２２，ＲＡＭ２３等により実現される。すなわち、成分データ生成部２０５は、ＣＰＵ２１がＲＯＭ２２内のプログラム２２１に従ってＲＡＭ２３を作業領域として利用しながら動作することにより実現される機能である。図１８は特殊撮影モードにおけるデジタルカメラ１ａの動作の流れを示す流れ図である。
【００９１】
特殊撮影モードでは、まず、フィルタ１１６を撮影光路上から外れた位置に位置させて撮影を行う。これにより、Ａ／Ｄ変換部１１５を介してカラー画像である第１予備画像が第１画像データ２３１としてＲＡＭ２３に記憶される（ステップＳＴ４１）。
【００９２】
次に、モータ１１７の作用によりフィルタ１１６が撮影光路上へと移動し、フィルタ１１６を介して撮影が行われる。これにより、カラー画像である第２予備画像（ただし、フィルタ１１６を用いているため、被写体の実際の色を示さないカラー画像となっている。）が第２画像データ２３２としてＲＡＭ２３に記憶される（ステップＳＴ４２）。なお、ステップＳＴ４１とステップＳＴ４２とは連写のように迅速に行われ、同一の被写体の撮影が行われる。
【００９３】
第１画像データ２３１および第２画像データ２３２が得られると、成分データ生成部２０５により照明環境の影響が取り除かれた画像データに相当する物体色成分データ２３５および照明環境の影響を示す照明成分データ２３６が求められ、これらのデータがＲＡＭ２３に記憶される（ステップＳＴ４３）。成分データ生成部２０５の処理内容の詳細については後述する。
【００９４】
その後、第１の実施の形態と同様に、照明成分データ２３６に感性情報が付与され（ステップＳＴ４４）、物体色成分データ２３５および照明成分データ２３６が外部メモリ１２３に保存される（ステップＳＴ４５）。
【００９５】
次に、ステップＳＴ４３における成分データ生成部２０５の動作の原理について説明する。
【００９６】
既述のように、照明光の分光分布Ｅ（λ）およびある画素（対象画素）に対応する被写体上の位置の分光反射率Ｓ（λ）を数１および数２に示すように３つの基底関数および加重係数を用いて表現する場合、対象画素に対応する被写体上の位置からデジタルカメラ１ａに入射する光Ｉ（λ）は数３にて示される。また、対象画素のＲ，Ｇ，Ｂの値ρｒ，ρｇ，ρｂは、ＣＣＤ１１２上のＲ，Ｇ，Ｂの各色に対応する分光感度をＲｒ（λ），Ｒｇ（λ），Ｒｂ（λ）とすると、数４と同様に、
【００９７】
【数６】
0003551854.tif 000007
【００９８】
として求められる。ここで、ベクトルεｖ，σｖを、
【００９９】
【数７】
0003551854.tif 000008
【０１００】
と定義し、行列Ｓｒ，Ｓｇ，Ｓｂのそれぞれをｉ，ｊ成分が
【０１０１】
【数８】
0003551854.tif 000009
【０１０２】
である行列として定義すると、値ρｒ，ρｇ，ρｂは、
【０１０３】
【数９】
0003551854.tif 000010
【０１０４】
となる。ここで、ベクトルＣを、
【０１０５】
【数１０】
0003551854.tif 000011
【０１０６】
とし、数９の３つの方程式を関数Ｆを用いて、
【０１０７】
【数１１】
0003551854.tif 000012
【０１０８】
と簡略化して表現すると、対象画素についての第１予備画像および第２予備画像の画素値から、
【０１０９】
【数１２】
0003551854.tif 000013
【０１１０】
にて表現される６つの非線形方程式が導かれる。
【０１１１】
数１２において、ベクトルＣ１は第１予備画像における対象画素のＲ，Ｇ，Ｂの値ρｒ１，ρｇ１，ρｂ１を要素とするベクトルであり、ベクトルＣ２は第２予備画像における対象画素のＲ，Ｇ，Ｂの値ρｒ２，ρｇ２，ρｂ２を要素とするベクトルである。ベクトルεｖ１は、被写体への照明光を基底関数を用いて表現する際の加重係数ε１１，ε１２，ε１３を要素とするベクトルである。ベクトルεｖ２は、フィルタ１１６を介して撮影された第２予備画像をフィルタ１１６を介して照明光を照射した被写体を撮影した際に得られる画像であるとみなし、このときの照明光に関する加重係数ε２１，ε２２，ε２３を要素とするベクトルである。すなわち、数１２では、フィルタ１１６を介して得られた画像を異なる照明光を照射した被写体から得られる画像とみなしている。
【０１１２】
ここで、第２予備画像における仮想の照明光の分光分布は、実際の照明光の分光分布にフィルタ１１６の分光透過率を乗じて得られることから、ベクトルεｖ２はベクトルεｖ１を用いて表現可能である。したがって、数１２における６つの方程式では、ベクトルεｖ１およびベクトルσｖの６つの要素のみが未知数となる。
【０１１３】
数１１の方程式はεｐｉσｊ（ｐ＝１，２）の項で構成されていることから、ε１１を所定の値に固定するとともに最小２乗法により残りの５つの未知数を求める。すなわち、
【０１１４】
【数１３】
0003551854.tif 000014
【０１１５】
の値が最小となるベクトルεｖ１，σｖを求める。
【０１１６】
以上に説明した手法により、成分データ生成部２０５ではフィルタ１１６の分光透過率を参照しつつ第１画像データ２３１および第２画像データ２３２から各画素におけるベクトルεｖ１，σｖを求める。フィルタ１１６の分光透過率のデータはＲＡＭ２３に記憶されていてもよく、成分データ生成部２０５内のＲＯＭに記憶されていてもよい。
【０１１７】
そして、各画素のベクトルσｖは物体色成分データ２３５としてＲＡＭ２３に記憶され、ベクトルεｖ１の各要素は全画素について平均値が求められた上で照明成分データ２３６として感性情報とともにＲＡＭ２３に記憶される。なお、照明成分データ２３６に汎用性を求めない場合には各画素のベクトルεｖ１がそのまま記憶されてもよい。
【０１１８】
以上に説明した手法では、例えば、フィルタ１１６が可視光の波長帯域で一定の分光透過率を有するＮＤフィルタの場合には、数１２を解くことができない。したがって、フィルタ１１６の分光透過率は数１２と解くことができる特性を有するものとする必要があり、少なくとも分光透過率がＲ，Ｇ，Ｂの各色の波長帯域にて一定でないものとする必要がある。
【０１１９】
図１９はこのような条件を満たすフィルタ１１６の分光透過率の例を示す図である。図１９中の符号Ｔ１１，Ｔ１２，Ｔ１３のそれぞれはＣＣＤ１１２の受光素子上に形成されているＲ，Ｇ，Ｂ各色のオンチップフィルタの分光透過率のグラフを示し、符号Ｔ２は可動式のフィルタ１１６の分光透過率のグラフを示す。
【０１２０】
フィルタ１１６としては、ガラス基板上に薄膜を積層したものが用いられ、ＣＣＤ１１２のオンチップフィルタの各色の波長帯域の中心から若干ずれた波長帯域の光を透過するように設計される。これにより、フィルタ１１６を撮影光路上に配置するとフィルタ１１６およびオンチップフィルタによる分光透過率のピーク位置がオンチップフィルタの分光透過率のピーク位置からずれる。
【０１２１】
図２０は図１９に示すＲ，Ｇ，Ｂ各色のオンチップフィルタの分光透過率に可動式のフィルタ１１６の分光透過率を乗じて得られる分光透過率を示すグラフである。図２０中、符号Ｔ３１，Ｔ３２，Ｔ３３はそれぞれフィルタ１１６とＲ，Ｇ，Ｂの各オンチップフィルタの双方を透過する際の分光透過率を示すグラフである。図２０に示すようにフィルタ１１６透過後のＲ，Ｇ，Ｂに関する分光透過率（分光感度）のピーク位置はＲ，Ｇ，Ｂのオンチップフィルタの分光透過率のピーク位置からずれた位置となる。これにより、フィルタ１１６なしの第１予備画像とフィルタ１１６ありの第２予備画像とから成分データ生成部２０５により物体色成分データ２３５および照明成分データ２３６が算出可能とされる。
【０１２２】
以上、この発明の第２の実施の形態に係るデジタルカメラ１ａの構成および動作について説明してきたが、デジタルカメラ１ａでは１枚の可動式のフィルタ１１６を設けることによりフィルタ１１６なしの第１予備画像とフィルタ１１６ありの第２予備画像とを取得し、これらの画像から照明環境の影響を除いた被写体の画像データに相当する物体色成分データ２３５と照明環境の影響を示す照明成分データ２３６とを求めて保存する。したがって、第１の実施の形態と同様の再生動作（図９参照）を行うことにより、所望の照明環境下の所望の撮影対象の画像を再生することができる。
【０１２３】
また、第１の実施の形態と同様に、照明成分データ２３６として標準光（Ｄ６５等）を設けておくことで、任意の照明環境にて得られた画像から撮影対象の正確な色再現も可能となる。さらに、照明成分データ２３６に感性情報２３６ａを付与することで、感性に基づいた画像再生を楽しむことができる。
【０１２４】
なお、物体色成分データ２３５として各画素に対応する加重係数σ１，σ２，σ３が保存され、照明成分データ２３６として各画素に共通の（汎用性を求めない場合には各画素固有の）加重係数ε１，ε２，ε３が保存されると説明したが、これらのデータに被写体の分光反射率の基底関数や照明光の分光分布の基底関数が含まれてもよい。
【０１２５】
＜３．  第３の実施の形態＞
図２１は、この発明の第３の実施の形態に係るデジタルカメラ１ｂの構成を示す図である。第２の実施の形態に係るデジタルカメラ１ａでは１枚のフィルタ１１６を撮影光路上に配置することができるようにされているが、第３の実施の形態に係るデジタルカメラ１ｂでは第１および第２フィルタ１１６ａ，１１６ｂがモータ１１７の動作により撮影光路上に配置することができるという点で相違している。また、内部構成は第１フィルタ１１６ａおよび第２フィルタ１１６ｂが撮影光路上に配置することができるという点を除いて図１６と同様である。フィルタ以外の構成について図１６を参照するものとする。
【０１２６】
図２２はデジタルカメラ１ｂにおいて物体色成分データおよび照明成分データを求める特殊撮影モード時のＣＰＵ２１，ＲＯＭ２２，ＲＡＭ２３等により実現される成分データ生成部２０５を周辺の構成とともに表すブロック図である。図２２に示すようにデジタルカメラ１ｂで３つの画像データ２３１，２３２ａ，２３２ｂがＲＡＭ２３に記憶されるという点で第２の実施の形態と相違している。図２３は特殊撮影モードにおけるデジタルカメラ１ｂの動作の流れを示す流れ図である。
【０１２７】
デジタルカメラ１ｂの動作では、最初にフィルタなしにて撮影を行い、カラー画像である第１予備画像を第１画像データ２３１としてＲＡＭ２３に記憶する（ステップＳＴ５１）。次に、第１フィルタ１１６ａを撮影光路上に移動し、第１フィルタ１１６ａありの状態で撮影を行い、第２予備画像を第２画像データ２３２ａとしてＲＡＭ２３に記憶する（ステップＳＴ５２）。さらに、第２フィルタ１１６ｂを撮影光路上に移動し、第２フィルタ１１６ｂありの状態で撮影を行い、第３予備画像を第３画像データ２３２ｂとしてＲＡＭ２３に記憶する（ステップＳＴ５３）。以上の動作により第１ないし第３画像データ２３１，２３２ａ，２３２ｂがＲＡＭ２３に記憶される。これら３回の撮影は連写として行われ、各画像の被写体は同一とされる。
【０１２８】
その後、成分データ生成部２０５により３つの画像データから物体色成分データ２３５および照明成分データ２３６が求められ（ステップＳＴ５４）、第１の実施の形態と同様に、照明成分データ２３６に感性情報が付与された後（ステップＳＴ５５）、物体色成分データ２３５および照明成分データ２３６が外部メモリ１２３に保存される（ステップＳＴ５６）。
【０１２９】
次に、デジタルカメラ１ｂにおける成分データ生成部２０５が物体色成分データ２３５および照明成分データ２３６を求める原理について説明する。
【０１３０】
数１２と同様の表現を用いて、第１ないし第３予備画像において対象画素における画素値（Ｒ，Ｇ，Ｂに関する値）のベクトルＣ１，Ｃ２，Ｃ３は、
【０１３１】
【数１４】
0003551854.tif 000015
【０１３２】
と表される。ここで、ベクトルεｖ１はフィルタなしの際の照明光の基底関数の加重係数ベクトルであり、ベクトルεｖ２，εｖ３はそれぞれ第１フィルタあり、第２フィルタあり、における仮想照明光の基底関数の加重係数ベクトルである。すなわち、第２予備画像を第１フィルタ１１６ａを介して照明光が照射された被写体の画像とみなし、第３予備画像を第２フィルタ１１６ｂを介して照明光が照射された被写体の画像と見なしている。σｖは対象画素に対応する被写体上の位置の分光反射率の基底関数の加重係数ベクトルである。
【０１３３】
ベクトルεｖ２，εｖ３は、第１フィルタ１１６ａおよび第２フィルタ１１６ｂの分光透過率に基づいてベクトルεｖ１から求められることから、数１４に示す９個の方程式ではベクトルεｖ１，σｖの６個の要素が未知数となる。そこで、最小２乗法を用いて、すなわち、
【０１３４】
【数１５】
0003551854.tif 000016
【０１３５】
が最小となるようにベクトルεｖ１，σｖを求める。なお、未知数が６個しか存在しないことを考慮し、ベクトルεｖ１，σｖを所定の探索範囲内で求める。
【０１３６】
次に、第１フィルタ１１６ａおよび第２フィルタ１１６ｂの分光透過率の具体例について説明する。第２の実施の形態と同様に、第１フィルタ１１６ａや第２フィルタ１１６ｂにはＮＤフィルタのように一定の分光透過率を有するフィルタを利用することはできない。すなわち、少なくともＲ，Ｇ，Ｂ各色の波長帯域にて一定でない分光透過率を有するフィルタを利用する必要がある。
【０１３７】
そこで、第３の実施の形態では図１９中に符号Ｔ２にて示した分光透過率を有するフィルタを第１フィルタ１１６ａに用い、第１フィルタ１１６の分光透過率をおよそ５０ｎｍだけシフト（短波長側、長波長側のいずれにシフトしてもよい。）した分光透過率を有するフィルタを第２フィルタ１１６ｂとして利用する。このようなフィルタを用いることにより、半値幅が狭く互いにオーバーラップの少ないより独立性の高い情報を多く取得することができ、物体色成分データ２３５および照明成分データ２３６の精度を向上することができる。
【０１３８】
なお、上記説明では３つの予備画像を用いて物体色成分データ２３５および照明成分データ２３６を求めるようにしているが、第２および第３予備画像のみを用いて第２の実施の形態と同様の演算を行うようにしてもよい。
【０１３９】
＜４．  第４の実施の形態＞
第４の実施の形態に係るデジタルカメラでは、第１の実施の形態に係るデジタルカメラ１の構成と第２の実施の形態に係るデジタルカメラ１ａの構成とを有しており、これらの実施の形態における動作を切り替えて行う。
【０１４０】
なお、デジタルカメラの構成としては図１５および図１６に示した構成と同様であるため、これらの図を参照しながら説明する。また、図１６に示す発光制御回路１２１ａは第１の実施の形態における発光制御回路と同様であり、フラッシュ１２１の発光特性を一定に保つ役割を果たす。
【０１４１】
図２４は、第４の実施の形態に係るデジタルカメラの動作の流れを示す流れ図である。撮影に際して、まず、撮影モードの決定が行われる（ステップＳＴ６１）。撮影モードには、通常のデジタルカメラとしての撮影を行う通常撮影モード、第１の実施の形態と同様にフラッシュ１２１のＯＮ／ＯＦＦを利用して物体色成分データおよび照明成分データを求める第１撮影モード、および、第２の実施の形態と同様にフィルタ１１６を撮影光路上に配置するか否かにより物体色成分データおよび照明成分データを求める第２撮影モードがある。これらの撮影モードの決定は手動で行われてもよく、後述するように自動で行われてもよい。
【０１４２】
第１または第２撮影モードの決定が手動にて行われる場合には、例えば、被写体までの距離が遠い（すなわち、フラッシュ光が届かない）と判断した場合には撮影者が第２撮影モードを選択し、被写体の明るさが足りないと判断した場合には第１撮影モードを選択する。これらの判断は明確に区別されるものではなく、撮影者が撮影環境を考慮して適宜決定する。
【０１４３】
撮影モードが決定されると、デジタルカメラでは撮影モードに応じた撮影を行う。すなわち、通常撮影モードの場合には通常の撮影を行いＲ，Ｇ，Ｂの値により画素値が構成される画像データを外部メモリ１２３に保存し（ステップＳＴ６２，ＳＴ６３）、第１撮影モードの場合には図５に示した動作を行って物体色成分データおよび照明成分データを外部メモリ１２３に保存する（ステップＳＴ６４，ＳＴ６５）。第２撮影モードの場合には図１８に示した動作を行って物体色成分データおよび照明成分データを外部メモリ１２３に保存する（ステップＳＴ６４，ＳＴ６６）。
【０１４４】
以上のように第４の実施の形態に係るデジタルカメラでは、物体色成分データおよび照明成分データを取得するに際して撮影環境に応じて撮影モードを選択することができるようになっている。その結果、物体色成分データおよび照明成分データを適切に取得することができる。
【０１４５】
次に、第１撮影モードと第２撮影モードとの間で撮影モードを自動的に決定する方法について説明する。なお、通常撮影モードとするか否かは手動により決定されるものとする。
【０１４６】
図２５は第１撮影モードと第２撮影モードとを自動決定する構成を示すブロック図である。撮影モードの決定はモード決定部２０６により行われ、モード決定部２０６には測距センサ１１４から被写体までの距離が入力され、測光センサ１１８から被写体の明るさが入力される。測距センサ１１４は図１５に示すようにレンズユニット１１の前方上部に配置され、測光センサ１１８も測距センサ１１４が配置される窓内に配置される。なお、測光センサ１１８としての機能はＣＣＤ１１２が受け持ってもよい。
【０１４７】
図２５に示すモード決定部２０６はＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３等が実現する機能の一部であり、モード決定部２０６の動作は、測距センサ１１４および測光センサ１１８からの信号がＣＰＵ２１に入力され、ＣＰＵ２１がＲＯＭ２２内のプログラム２２１に従って演算処理を行うことにより実現される。
【０１４８】
モード決定部２０６では、被写体までの距離が所定の距離以下の場合には第１撮影モードを選択し、被写体までの距離が所定の距離を超える場合には第２撮影モードを選択する。また、被写体までの距離が所定の距離を超え、かつ、被写体の明るさが所定の明るさ以下の場合には、撮影者に適切な撮影ができない旨をディスプレイ１２５を介して通知する。この場合には、撮影者が強制的に撮影モードを決定する。
【０１４９】
以上のようにしてモード決定部２０６が第１撮影モードと第２撮影モードとの選択を自動で行うことにより、撮影環境に応じて適切に物体色成分データおよび照明成分データを取得することが可能となる。
【０１５０】
＜５．  第５の実施の形態＞
第１の実施の形態に係るデジタルカメラ１では、発光制御回路１２１ａによりフラッシュ１２１の発光特性を一定に保ち、フラッシュ光の分光分布を一定としている。これにより、物体色成分データを安定して求められる。第５の実施の形態では第１の実施の形態の変形例として、フラッシュ光の発光状態をモニタすることによりフラッシュ光の相対分光分布を求め、求められたデータに基づいて物体色成分データおよび照明成分データを求める手法について説明する。なお、デジタルカメラの主な構成は図１および図２と同様であり、これらの図を参照する。
【０１５１】
図２６は第５の実施の形態に係るデジタルカメラにおいて、フラッシュ光の相対分光分布（すなわち、図４におけるフラッシュ分光データ２３４）を求める構成を示す図であり、図４に示した構成との相違箇所を中心に図示している。図２６に示すＲＡＭ２３内のフラッシュ分光データ群２３４ａは、複数の代表的な発光条件でのフラッシュ光の相対分光分布を示すデータ群である。代表的な発光条件としては、例えば、充電電圧が３３０Ｖまたは２５０Ｖであって発光時間が１または１／３２（ただし、最長の発光時間を１とする。）の合計４種類の発光条件が利用される。図２７はフラッシュ分光データ群２３４ａの例の一部を示す図であり、黒い菱形にて示す実線のグラフは充電電圧３３０Ｖ、発光時間１のときのフラッシュ光の相対分光分布を示し、白い三角形にて示す実線のグラフは充電電圧３３０Ｖ、発光時間１／３２のときのフラッシュ光の相対分光分布を示す。
【０１５２】
第５の実施の形態に係るデジタルカメラでは、発光制御回路１２１ａは、第１の実施の形態のようにフラッシュ１２１の発光特性を一定に保つ機能は有せず、測距センサ１１４や測光センサからの情報に基づいて適切な発光量となるようにフラッシュ１２１の発光を制御する。このとき、フラッシュ１２１の発光状態のモニタが行われる。
【０１５３】
補間部２０７は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３等により実現される機能であり、発光制御回路１２１ａにてモニタされた発光状態に基づいてフラッシュ分光データ群２３４ａ内のデータを補間してフラッシュ分光データ２３４を生成する。
【０１５４】
図２８は撮影時のデジタルカメラの動作の流れを示す流れ図であり、ステップＳＴ７３の後は図５に示すステップＳＴ１３以降と同様である。
【０１５５】
撮影では、まず、フラッシュ１２１を点灯するともに撮影が行われ、第１画像が第１画像データ２３１としてＲＡＭ２３に記憶される（ステップＳＴ７１）。このとき、発光制御回路１２１ａがフラッシュ１２１の発光状態をモニタしており、発光時のフラッシュ１２１の電源に与えられる充電電圧およびフラッシュ１２１の発光時間が補間部２０７へと送られる。続いて、フラッシュ１２１を点灯することなく撮影が行われ、第２画像が第２画像データ２３２としてＲＡＭ２３に記憶される（ステップＳＴ７２）。
【０１５６】
２つの画像データが取得されると、補間部２０７によりフラッシュ分光データ群２３４ａ内のデータがフラッシュ１２１の発光状態に基づいて補間され、フラッシュ光の相対分光分布がフラッシュ分光データ２３４として求められてＲＡＭ２３に記憶される（ステップＳＴ７３）。
【０１５７】
例えば、フラッシュ１２１の発光時の充電電圧が３３０Ｖであり、発光時間が１／２である場合には、図２７に示す充電電圧３３０Ｖ、発光時間１のグラフと充電電圧３３０Ｖ、発光時間１／３２のグラフとが発光時間を基準に補間され、白い四角形にて示す波線のグラフが、充電電圧３３０Ｖ、発光時間１／２におけるフラッシュ光の相対分光分布として求められる。補間には線形補間、重み付けを行った上での線形補間、その他、非線形補間が利用される。
【０１５８】
なお、フラッシュ分光データ２３４の算出は、ステップＳＴ７１とステップＳＴ１４（図５）との間のいずれの段階において行われてもよい。
【０１５９】
以後、第１の実施の形態と同様に、物体色成分データ２３５および照明成分データ２３６が求められて外部メモリ１２３に保存される（ステップＳＴ１３〜ＳＴ１７）。
【０１６０】
以上、この発明の第５の実施の形態に係るデジタルカメラについて説明してきたが、このデジタルカメラではフラッシュ１２１の発光状態をモニタし、発光状態（すなわち、実際の発光条件）に合わせてフラッシュ分光データ群２３４ａを補間してフラッシュ分光データ２３４を求めるので、撮影環境に応じてフラッシュ１２１の発光を適切に行いつつ物体色成分データ２３５および照明成分データ２３６を適切に取得することができる。
【０１６１】
また、フラッシュ分光データ２３４を求めるに際してフラッシュ分光データ群２３４ａ内のデータを補間するので、準備しておくフラッシュ分光データ群２３４ａの量を少なくすることができる。
【０１６２】
＜６．  第６の実施の形態＞
第５の実施の形態では、代表的な発光条件におけるフラッシュ光の相対分光分布を補間することにより実際のフラッシュ光の相対分光分布を求めるようにしているが、次に、第６の実施の形態として、より詳細な発光条件におけるフラッシュ光の相対分光分布をデータベースとして持っておき、フラッシュ１２１の発光状態からフラッシュ光の相対分光分布を決定する形態について説明する。
【０１６３】
図２９はフラッシュ光の相対分光分布を決定する構成を示す図であり、第５の実施の形態における図２６に対応する図である。なお、他の構成は第５の実施の形態と同様であり、適宜、図１ないし図４に示した符号を参照する。
【０１６４】
図２９中のフラッシュ分光データベース２３４ｂは様々な発光条件におけるフラッシュ光の相対分光分布を示すデータベースである。表１はフラッシュ分光データベース２３４ｂの一例を示す表である。
【０１６５】
【表１】
0003551854.tif 000017
【０１６６】
表１では、フラッシュ１２１の電源への充電電圧と発光時間との様々な組合せごとのフラッシュ光の相対分光分布がフラッシュ分光データベース２３４ｂに含まれる様子を示している。
【０１６７】
分光分布決定部２０８はＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３等により実現される機能であり、発光制御回路１２１ａから得られるフラッシュ１２１の発光状態に基づいてフラッシュ分光データベース２３４ｂから最も適切なフラッシュ光の相対分光分布を決定する。
【０１６８】
例えば、充電電圧が３２５Ｖであり、発光時間が１／５であった場合には、最も近い発光条件である充電電圧３３０Ｖ、発光時間１／４におけるフラッシュ光の相対分光分布を実際の相対分光分布として決定する。
【０１６９】
第６の実施の形態におけるデジタルカメラの動作は第５の実施の形態におけるデジタルカメラの動作とほぼ同様であるが、図２８に示すステップＳＴ７３が図３０に示すステップＳＴ７４に置き換えられたものとなる。すなわち、まず、フラッシュ１２１の発光状態をモニタしながらフラッシュ１２１を用いて第１画像データ２３１が取得され（ステップＳＴ７１）、次に、フラッシュ１２１を点灯することなく第２画像データ２３２が取得される（ステップＳＴ７２）。
【０１７０】
２枚の画像が取得されると、分光分布決定部２０８が発光制御回路１２１ａによりモニタされた発光状態に基づいて最適なフラッシュ光の相対分光分布をフラッシュ分光データベース２３４ｂから抽出する（ステップＳＴ７４）。これにより、第１の実施の形態におけるフラッシュ分光データ２３４に相当するデータが物体色成分データ生成部２０２へと与えられる。
【０１７１】
ステップＳＴ７４の後は、第１の実施の形態におけるステップＳＴ１３以降と同様の動作が行われ、物体色成分データ２３５および照明成分データ２３６が求められて、外部メモリ１２３に保存される（ステップＳＴ１３〜ＳＴ１７）。
【０１７２】
以上、第６の実施の形態に係るデジタルカメラについて説明したが、このデジタルカメラではフラッシュ分光データベース２３４ｂを参照して演算に用いるフラッシュ光の相対分光分布を決定するので、フラッシュ１２１の動作を一定に制御しない場合であってもフラッシュ光の相対分光分布を迅速に決定することができる。
【０１７３】
＜７．  第７の実施の形態＞
以上の実施の形態では、デジタルカメラ内部において画像データの処理を行うようになっているが、画像データの処理をコンピュータにて行うことももちろん可能である。図３１はこのような場合の画像データ取得システム３の構成を示す図である。
【０１７４】
画像データ取得システム３は、ＣＣＤにて取得された画像データをそのまま外部メモリに保存するデジタルカメラ３１と外部メモリに保存された画像データを処理して物体色成分データや照明成分データを求めるコンピュータ３２とから構成される。このような構成は第１ないし第６の実施の形態のいずれの動作にも利用可能である。
【０１７５】
例えば、図３１に示す画像データ取得システム３を第１の実施の形態の処理に利用する場合、デジタルカメラ３１として図３に示す構成を有するものを用い、フラッシュＯＮにて撮影して得られる第１画像データとフラッシュＯＦＦにて撮影して得られる第２画像データとフラッシュ光に関するフラッシュ分光データとを外部メモリ１２３に保存し、外部メモリ１２３を介してこれらのデータをコンピュータ３２に転送する。
【０１７６】
コンピュータ３２内部のＣＰＵ、ＲＯＭ、ＲＡＭ等は図４に示す差分画像生成部２０１、物体色成分データ生成部２０２および照明成分データ生成部２０３として機能し、第１画像データ、第２画像データおよびフラッシュ分光データから照明環境の影響を取り除いた画像データに相当する物体色成分データ、および、照明環境の成分に相当する照明成分データを算出する。
【０１７７】
この場合、デジタルカメラ３１では物体色成分データや照明成分データを求める機能は不要となる。
【０１７８】
画像データ取得システム３を第２の実施の形態の処理に利用する場合には、デジタルカメラ３１として図１６に示す構成を有するものを用い、フィルタなしにて撮影して得られる第１画像データとフィルタありにて撮影して得られる第２画像データとフィルタ１１６の分光透過率のデータとを外部メモリ１２３に保存し、これらのデータをコンピュータ３２に転送する。
【０１７９】
コンピュータ３２内部のＣＰＵ、ＲＯＭ、ＲＡＭ等は図１７に示す成分データ生成部２０５として機能し、第１画像データ、第２画像データおよびフィルタ１１６の分光透過率のデータから物体色成分データおよび照明成分データを算出する。なお、フィルタ１１６の分光透過率を予めコンピュータ３２に保存しておくことにより、デジタルカメラ３１から転送すべきデータを第１画像データおよび第２画像データのみとすることもできる。
【０１８０】
この場合もデジタルカメラ３１では物体色成分データや照明成分データを求める機能は不要となる。
【０１８１】
コンピュータ３２を図４に示す差分画像生成部２０１，物体色成分データ生成部２０２、照明成分データ生成部２０３として、あるいは、図１７に示す成分データ生成部２０５として機能させるために、予め磁気ディスク、光ディスク、光磁気ディスク等の記録媒体９を介してプログラムがコンピュータ３２内にインストールされる。これにより、汎用のコンピュータ３２が本発明に係る画像処理を行うコンピュータとして利用することが可能となる。
【０１８２】
また、図９に示した画像の再生に関する動作についても再生動作のプログラムをコンピュータ３２にインストールすることにより、コンピュータ３２において実現することができる。
【０１８３】
以上のように、第１ないし第６の実施の形態に係るデジタルカメラを、デジタルカメラ３１とコンピュータ３２とからなる画像データ取得システム３として構築することも可能であり、この場合、デジタルカメラ３１が行うべき処理量の低減を図ることができる。
【０１８４】
＜８．  変形例＞
以上、この発明に係る実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
【０１８５】
例えば、上記実施の形態における照明成分データは照明環境が画像に与えている影響を示すデータであればどのようなものであってもよく、照明環境の影響をある程度示すのであるならば厳密に求められる必要はない。また、物体色成分データも画像から照明環境の影響を取り除いた成分を示すデータであればどのようなものであってもよく、照明環境が与える影響を厳密に取り除いた成分を示すデータである必要はない。
【０１８６】
また、上記実施の形態では、物体色成分データや照明成分データが複数の加重係数として保存されると説明したが、これらのデータの保存形式は他の形式であってもよい。例えば、物体色成分データが分光反射率の特性曲線として保存されてもよく、照明成分データが分光分布の特性曲線として保存されてもよい。
【０１８７】
また、照明成分データは、デジタルカメラ１や画像データ取得システム３を用いて必ずしも求められる必要はなく、例えば、仮想的な照明を意図した照明成分データが別途生成されてもよい。さらに、画像が再生される際に利用される照明成分データは、複数の照明成分データを合成することにより生成されてもよい。
【０１８８】
また、上記第２ないし第４の実施の形態では、デジタルカメラ内部に可動式のフィルタを設けるものとして説明したが、フィルタの撮影光路上への配置は撮影者により行われてもよい。例えば、図３２に示すようにレンズ系１１１の前部に着脱自在であってフィルタ１１６と同様の分光透過率を有するフィルタ１１９を準備しておき、撮影者がフィルタ１１９を着脱することにより複数の予備画像が取得されてもよい。この場合には、複数の予備画像における被写体を同一とするためにデジタルカメラを固定する。なお、第４の実施の形態においてフィルタの着脱が手動で行われる場合には、デジタルカメラが第２撮影モードを選択するとディスプレイ１２５やアラームを用いてフィルタ１１６の着脱が必要である旨を撮影者に通知するとともに、フィルタが装着されないとシャッタが降りないように制御される。
【０１８９】
また、上記第２の実施の形態では１つのフィルタ１１６が用いられ、第３の実施の形態では２つのフィルタ１１６ａ，１１６ｂを用いるようにしているが、３以上のフィルタが用いられてもよい。すなわち、少なくとも１つのフィルタを撮影光路上に配置することができれば、撮影光路に対するフィルタの配置状態を変更しつつ複数の画像データを取得することにより、物体色成分データおよび照明成分データを求めることができる。
【０１９０】
また、上記第２ないし第４の実施の形態における物体色成分データおよび照明成分データを求める手法も上記実施の形態に限定されるものではなく、他の方法が採用されてもよい。
【０１９１】
また、上記第１の実施の形態では、充電電圧および発光時間をモニタすることにより、フラッシュ１２１の発光特性を一定に保つようにしているが、他の方法によりフラッシュ１２１の発光特性が一定に保たれてもよい。例えば、フラッシュ１２１をパルス状に発光することにより、フラッシュの発光特性が一定に保たれてもよい。
【０１９２】
また、上記第１、第４および第６の実施の形態では、発光制御回路１２１ａが充電電圧および発光時間をモニタするようにしているが、フラッシュ１２１の分光特性を一定に保つ、あるいは、分光特性を決定することができるのであるならば他の発光状態（発光条件）がモニタされてもよい。
【０１９３】
また、上記第１、第４ないし第６の実施の形態では、フラッシュ１２１が被写体への照明環境を変更する手段として機能しているが、照明環境を変更する方法はフラッシュ１２１を用いる手法に限定されるものではない。
【０１９４】
また、上記実施の形態では、ＣＣＤ１１２はＲ，Ｇ，Ｂの３バンド入力であるものとして説明したが、入力バンド数が４以上であってもよい。すなわち、ＣＣＤ１１２（いわゆる、３ＣＣＤであってもよい）により得られる画像が実質的にカラー画像に相当するのであれば上記説明の手法により物体色成分データおよび照明成分データを求めることができる。
【０１９５】
【発明の効果】
請求項１ないし７、請求項１２ないし１６、並びに、請求項１９に記載の発明では、照明環境を変更した第１画像データおよび第２画像データから照明環境の影響が取り除かれた画像データに相当する物体色成分データを得ることができる。物体色成分データは照明環境が画像に与える影響を示す照明成分データと合成することにより、所望の照明環境下での画像を再生することができるデータとなる。
【０１９６】
また、請求項２および１４に記載の発明では、発光手段を用いて容易に照明環境を変更することができる。
【０１９７】
また、請求項３に記載の発明では、発光手段からの光の分光分布を一定に保つことにより、物体色成分データを安定して求めることができる。
【０１９８】
また、請求項４および１５に記載の発明では、発光条件データに基づいて発光手段からの光の相対分光分布を求めることができ、請求項５に記載の発明では発光条件データの量の低減を図ることができる。
【０１９９】
また、請求項７および１６に記載の発明では、照明環境が与える影響を示す照明成分データを求めることができる。
【０２００】
請求項８および１７に記載の発明では、少なくとも１つのフィルタの配置状態を変更することにより得られる複数の予備画像データを用いて照明環境の影響が取り除かれた画像データに相当する物体色成分データを得ることができる。
【０２０１】
また、請求項９に記載の発明では、所望の照明環境下での画像を再生することができる。
【０２０２】
また、請求項１０に記載の発明では、感性情報に基づいて照明成分データの選択を行うことができる。
【０２０３】
請求項１１および１８に記載の発明では、様々な撮影環境に対応して物体色成分データを取得することができる。
【図面の簡単な説明】
【図１】この発明の第１の実施の形態に係るデジタルカメラの全体を示す斜視図である。
【図２】図１に示すデジタルカメラの背面図である。
【図３】図１に示すデジタルカメラにおいてこの発明に係る処理を実行するための構成を示すブロック図である。
【図４】図３に示す構成を機能に分けて示すブロック図である。
【図５】図１に示すデジタルカメラにおける画像データを取得する際の動作の流れを示す流れ図である。
【図６】発光制御回路の動作の流れを示す流れ図である。
【図７】照明成分データと感性情報との関係を示す模式図である。
【図８】照明成分データと感性情報との関係を示す模式図である。
【図９】図１に示すデジタルカメラにおける画像を再生する際の動作の流れを示す流れ図である。
【図１０】感性情報の一覧が表示された画面の例を示す図である。
【図１１】感性情報の一覧が表示された画面の例を示す図である。
【図１２】照明成分データにより表現される照明光の分光分布の例を示す図である。
【図１３】照明成分データにより表現される照明光の分光分布の例を示す図である。
【図１４】照明成分データにより表現される照明光の分光分布の例を示す図である。
【図１５】この発明の第２の実施の形態に係るデジタルカメラの全体を示す斜視図である。
【図１６】図１５に示すデジタルカメラにおいてこの発明に係る処理を実行するための構成を示すブロック図である。
【図１７】図１６に示す構成を機能に分けて示すブロック図である。
【図１８】図１５に示すデジタルカメラにおける画像データを取得する際の動作の流れを示す流れ図である。
【図１９】ＣＣＤ上のオンチップフィルタの分光透過率と可動式のフィルタの分光透過率とを示す図である。
【図２０】ＣＣＤ上のオンチップフィルタと可動式のフィルタとの双方を透過する際の分光透過率を示す図である。
【図２１】この発明の第３の実施の形態に係るデジタルカメラの全体を示す斜視図である。
【図２２】図２１に示すデジタルカメラの機能構成を示すブロック図である。
【図２３】図２１に示すデジタルカメラにおける画像データを取得する際の動作の流れを示す流れ図である。
【図２４】この発明の第４の実施の形態に係るデジタルカメラの全体動作の流れを示す流れ図である。
【図２５】撮影モードを自動的に切り替える際の構成を示すブロック図である。
【図２６】フラッシュ分光データ群を補間することによりフラッシュ光の相対分光分布を求める構成を示すブロック図である。
【図２７】補間によりフラッシュ光の相対分光分布を求める例を示す図である。
【図２８】この発明の第５の実施の形態における画像データを取得する際の動作の流れを示す流れ図である。
【図２９】データベースを参照することによりフラッシュ光の相対分光分布を決定する構成を示すブロック図である。
【図３０】この発明の第６の実施の形態における画像データを取得する際の動作の流れを示す流れ図である。
【図３１】この発明の第７の実施の形態における画像データ取得システムの構成を示す図である。
【図３２】図１５に示すデジタルカメラの変形例を示す図である。
【符号の説明】
１，１ａ，１ｂ  デジタルカメラ、９  記録媒体、２１  ＣＰＵ、２２  ＲＯＭ、２３  ＲＡＭ、３２  コンピュータ、１１１  レンズ系、１１２  ＣＣＤ、１１５  Ａ／Ｄ変換部、１１６，１１６ａ，１１６ｂ，１１９  フィルタ、１２１  フラッシュ、１２１ａ  発光制御回路、１２３  外部メモリ、１２５  ディスプレイ、１２６  操作ボタン、２０１  差分画像生成部、２０２  物体色成分データ生成部、２０３  照明成分データ生成部、２０４  画像再生部、２０５  成分データ生成部、２０６  モード決定部、２０７  補間部、２０８  分光分布決定部、２２１  プログラム、２３１  第１画像データ、２３２，２３２ａ  第２画像データ、２３２ｂ  第３画像データ、２３３  差分画像データ、２３４  フラッシュ分光データ、２３４ａ  フラッシュ分光データ群、２３４ｂ  フラッシュ分光データベース、２３５  物体色成分データ、２３６  照明成分データ、２３６ａ  感性情報、ＳＴ１１〜ＳＴ１５，ＳＴ４１〜ＳＴ４３，ＳＴ５１〜ＳＴ５４，ＳＴ６１〜ＳＴ６６，ＳＴ７１〜ＳＴ７４  ステップ
【図１】
0003551854.tif 000018
【図２】
0003551854.tif 000019
【図３】
0003551854.tif 000020
【図４】
0003551854.tif 000021
【図５】
0003551854.tif 000022
【図６】
0003551854.tif 000023
【図７】
0003551854.tif 000024
【図８】
0003551854.tif 000025
【図９】
0003551854.tif 000026
【図１０】
0003551854.tif 000027
【図１１】
0003551854.tif 000028
【図１２】
0003551854.tif 000029
【図１３】
0003551854.tif 000030
【図１４】
0003551854.tif 000031
【図１５】
0003551854.tif 000032
【図１６】
0003551854.tif 000033
【図１７】
0003551854.tif 000034
【図１８】
0003551854.tif 000035
【図１９】
0003551854.tif 000036
【図２０】
0003551854.tif 000037
【図２１】
0003551854.tif 000038
【図２２】
0003551854.tif 000039
【図２３】
0003551854.tif 000040
【図２４】
0003551854.tif 000041
【図２５】
0003551854.tif 000042
【図２６】
0003551854.tif 000043
【図２７】
0003551854.tif 000044
【図２８】
0003551854.tif 000045
【図２９】
0003551854.tif 000046
【図３０】
0003551854.tif 000047
【図３１】
0003551854.tif 000048
【図３２】
0003551854.tif 000049