(57)【要約】【課題】撮像画像情報の情報損失を伴うことなく、汎用的な方法で記録し、かつ撮影者の嗜好を反映したホワイトバランス調整を撮像装置自体の処理負荷を増大せずに実現することのできる撮像装置及びその撮像装置により記録されたデジタル画像データを用いた高画質画像の処理環境を提供する。【解決手段】本発明に係る撮像装置２２によれば、撮影時におけるアナログ処理部４における信号増幅やノイズの低減処理や画像処理部７における処理を省略したシーン参照生データとともに撮像装置特性補正データ及びホワイトバランス調整の適用率データをヘッダ情報として記録メディアに記録する。画像処理装置、画像記録装置においては、シーン参照生データに対して撮像装置特性補正データに基づいて撮像装置特性補正処理を施し、更に適用率データに基づいてホワイトバランス調整を始めとする最適化処理を施して鑑賞画像参照データを生成する。【選択図】  図１
2004173010.tif 000002
【特許請求の範囲】
【請求項１】
撮像により撮像装置の撮像装置特性に依存したシーン参照生データを生成するシーン参照生データ生成手段と、
前記シーン参照生データ生成手段により生成されたシーン参照生データに対して、標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データを生成する再現補助データ生成手段と、
ホワイトバランス調整の程度を指定する指定手段と、
前記シーン参照生データ生成手段により生成されたシーン参照生データに、前記再現補助データ生成手段により生成された再現補助データ及び前記指定手段により指定されたホワイトバランス調整の程度を示すデータを添付し、さらにメディアに記録する記録制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
撮像装置の撮像装置特性に依存したシーン参照生データと、該シーン参照生データに対して標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データと、ホワイトバランス調整の程度を示すデータとを入力する入力手段と、
前記入力手段により入力されたシーン参照生データに対して、前記入力手段により入力された撮像装置特性補正処理を施す際の再現補助データに基づいて撮像装置特性補正処理を施し、前記標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記生成されたシーン参照画像データに前記ホワイトバランス調整の程度を示すデータを添付して出力データを生成する出力データ生成手段と、
を備えたことを特徴とする画像処理装置。
【請求項３】
撮像により撮像装置の撮像装置特性に依存したシーン参照生データを生成するシーン参照生データ生成手段と、
前記シーン参照生データ生成手段により生成されたシーン参照生データに対して、標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データを生成する再現補助データ生成手段と、
撮影時の撮影条件設定である撮影情報データを生成する撮影情報データ生成手段と、
ホワイトバランス調整の程度を指定する指定手段と、
前記シーン参照生データ生成手段により生成されたシーン参照生データに前記再現補助データ生成手段により生成された再現補助データ、前記撮影情報データ生成手段により生成された撮影情報データ及び前記指定手段により指定されたホワイトバランス調整の程度を示すデータを添付し、さらにメディアに記録する記録制御手段と、
を備えたことを特徴とする撮像装置。
【請求項４】
撮像装置の撮像装置特性に依存したシーン参照生データ、該シーン参照生データに対して標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データ、撮影時の撮影条件設定である撮影情報データ及びホワイトバランス調整の程度を示すデータとを入力する入力手段と、
前記入力手段により入力されたシーン参照生データに対して、前記入力手段により入力された撮像装置特性補正処理を施す際の再現補助データに基づいて撮像装置特性補正処理を施し、前記標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記生成されたシーン参照画像データに前記撮影情報データ及び前記ホワイトバランス調整の程度を示すデータを添付して出力データを生成する出力データ生成手段と、
を備えたことを特徴とする画像処理装置。
【請求項５】
前記標準化されたシーン参照画像データに対して、前記ホワイトバランス調整の程度を示すデータに基づいて内容が決定された、出力媒体上に形成される鑑賞画像の画質を最適なものとするための画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段を備えたことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記標準化されたシーン参照画像データに対して、前記撮影情報データ及び前記ホワイトバランス調整の程度を示すデータに基づいて内容が決定された、出力媒体上に形成される鑑賞画像の画質を最適なものとするための画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段を備えたことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
撮像装置の撮像装置特性に依存したシーン参照生データ、該シーン参照生データに対して標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データ及びホワイトバランス調整の程度を示すデータとを入力する入力手段と、
前記入力手段により入力されたシーン参照生データに対して、前記入力手段により入力された撮像装置特性補正処理を施す際の再現補助データに基づいて撮像装置特性補正処理を施し、前記標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記シーン参照画像データ生成手段により生成された標準化されたシーン参照画像データに対して、前記ホワイトバランス調整の程度を示すデータに基づいて内容が決定された、出力媒体上に形成される鑑賞画像の画質を最適なものとするための画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記鑑賞画像参照データ生成手段により生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する画像形成手段と、
を備えたことを特徴とする画像記録装置。
【請求項８】
撮像装置の撮像装置特性に依存したシーン参照生データ、該シーン参照生データに対して標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データ、ホワイトバランス調整の程度を示すデータ及び撮影時の撮影条件設定である撮影情報データを入力する入力手段と、
前記入力手段により入力されたシーン参照生データに対して、前記入力手段により入力された撮像装置特性補正処理を施す際の再現補助データに基づいて撮像装置特性補正処理を施し、前記標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記シーン参照画像データ生成手段により生成された前記標準化されたシーン参照画像データに対して、前記ホワイトバランス調整の程度を示すデータ及び前記撮影情報データに基づいて内容が決定された、出力媒体上に形成される鑑賞画像の画質を最適なものとするための画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記鑑賞画像参照データ生成手段により生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する画像形成手段と、
を備えたことを特徴とする画像記録装置。
【請求項９】
前記記録制御手段は、撮影時の撮影ＥＶ値を前記シーン参照生データに添付し、メディアに記録することを特徴とする請求項１又は３に記載の撮像装置。
【請求項１０】
前記入力手段は、撮影時の撮影ＥＶ値を入力することを特徴とする請求項２、４、５又は６に記載の画像処理装置。
【請求項１１】
前記ホワイトバランス調整の程度を示すデータに基づいて、前記シーン参照画像データに対するホワイトバランス調整の適用量を決定する適用量決定手段を備え、
前記鑑賞画像参照データ生成手段は、前記シーン参照画像データに対して前記決定された適用量のホワイトバランス調整を施すホワイトバランス調整手段を有することを特徴とする請求項５、６又は１０に記載の画像処理装置。
【請求項１２】
前記ホワイトバランス調整手段は、前記シーン参照画像データの画像領域を小画面エリアに分割する画面分割手段を備えたことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記ホワイトバランス調整手段は、前記分割された小画面エリア毎にＲ信号の積算値とＧ信号の積算値との比Ｒ／Ｇと、Ｂ信号の積算値とＧ信号の積算値との比Ｂ／Ｇと、を求めるＲ／Ｇ、Ｂ／Ｇ算出手段を備えたことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記ホワイトバランス調整手段は、各撮影光源種に対応する前記Ｒ／Ｇと前記Ｂ／Ｇの組み合わせの範囲を示す光源種枠が予め設定された光源推定マップ上へ前記算出された各小画面エリアのＲ／Ｇ、Ｂ／Ｇをプロットすることにより前記各小画面エリアの撮影光源の種類を推定する第１光源判定手段を備えたことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記ホワイトバランス調整手段は、前記各光源種枠内にプロットされた小画面エリアの個数、或いは撮影ＥＶ値を変数とするメンバシップ関数を用いて前記シーン参照画像データの撮影光源の種類を判定する第２光源判定手段を備えたことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記ホワイトバランス調整手段は、前記分割された各小画面毎に最小二乗法を用いて撮影光源色温度を推定する色温度推定手段を備えたことを特徴とする請求項１２に記載の画像処理装置。
【請求項１７】
前記ホワイトバランス調整手段は、前記各小画面エリアの撮影光源色温度の出現頻度によりヒストグラムを作成するヒストグラム作成手段を備えたことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記ホワイトバランス調整手段は、前記作成されたヒストグラムに基づいて前記シーン参照画像データの画像領域を少なくとも２以上のグループに分割し、グループ毎に異なるホワイトバランス調整を施すグループ別ホワイトバランス調整手段を備えたことを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記適用量決定手段は、前記ホワイトバランスを調整する程度を示すデータと実際のホワイトバランス調整の適用量の関係を任意に設定可能であることを特徴とする請求項１１〜１８の何れか一項に記載の画像処理装置。
【請求項２０】
前記入力手段は、撮影時の撮影ＥＶ値を入力することを特徴とする請求項７又は８に記載の画像記録装置。
【請求項２１】
前記ホワイトバランス調整の程度を示すデータに基づいて、前記シーン参照画像データに対するホワイトバランス調整の適用量を決定する適用量決定手段を備え、
前記鑑賞画像参照データ生成手段は、前記シーン参照画像データに対して前記決定された適用量のホワイトバランス調整を施すホワイトバランス調整手段を有することを特徴とする請求項７、８又は２０に記載の画像記録装置。
【請求項２２】
前記ホワイトバランス調整手段は、前記シーン参照画像データの画像領域を小画面エリアに分割する画面分割手段を備えたことを特徴とする請求項２１に記載の画像記録装置。
【請求項２３】
前記ホワイトバランス調整手段は、前記分割された小画面エリア毎にＲ信号の積算値とＧ信号の積算値との比Ｒ／Ｇと、Ｂ信号の積算値とＧ信号の積算値との比Ｂ／Ｇと、を求めるＲ／Ｇ、Ｂ／Ｇ算出手段を備えたことを特徴とする請求項２２に記載の画像記録装置。
【請求項２４】
前記ホワイトバランス調整手段は、各撮影光源種に対応する前記Ｒ／Ｇと前記Ｂ／Ｇの組み合わせの範囲を示す光源種枠が予め設定された光源推定マップ上へ前記算出された各小画面エリアのＲ／Ｇ、Ｂ／Ｇをプロットすることにより前記各小画面エリアの撮影光源の種類を推定する第１光源判定手段を備えたことを特徴とする請求項２３に記載の画像記録装置。
【請求項２５】
前記ホワイトバランス調整手段は、前記各光源種枠内にプロットされた小画面エリアの個数、或いは撮影ＥＶ値を変数とするメンバシップ関数を用いて前記シーン参照画像データの撮影光源の種類を判定する第２光源判定手段を備えたことを特徴とする請求項２４に記載の画像記録装置。
【請求項２６】
前記ホワイトバランス調整手段は、前記分割された各小画面毎に最小二乗法を用いて撮影光源色温度を推定する色温度推定手段を備えたことを特徴とする請求項２２に記載の画像記録装置。
【請求項２７】
前記ホワイトバランス調整手段は、前記各小画面エリアの撮影光源色温度の出現頻度によりヒストグラムを作成するヒストグラム作成手段を備えたことを特徴とする請求項２６に記載の画像記録装置。
【請求項２８】
前記ホワイトバランス調整手段は、前記作成されたヒストグラムに基づいて前記シーン参照画像データの画像領域を少なくとも２以上のグループに分割し、グループ毎に異なるホワイトバランス調整を施すグループ別ホワイトバランス調整手段を備えたことを特徴とする請求項２７に記載の画像記録装置。
【請求項２９】
前記適用量決定手段は、前記ホワイトバランスを調整する程度を示すデータと実際のホワイトバランス調整の適用量の関係を任意に設定可能であることを特徴とする請求項２１〜２８の何れか一項に記載の画像記録装置。
【請求項３０】
撮像装置特性に依存したシーン参照生データに対し、撮像装置特性補正処理を施すための再現補助データに基づいて撮像装置特性補正処理を施して標準化されたシーン参照画像データを生成するシーン参照画像データ生成工程と、
該シーン参照画像データに、ホワイトバランス調整の程度を示すデータに基づいて内容が決定された、出力媒体上に形成される鑑賞画像の画質を最適なものとするための画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成工程と、
を含むことを特徴とする画像処理方法。
【請求項３１】
撮像装置特性に依存したシーン参照生データに対し、撮像装置特性補正処理を施すための再現補助データに基づいて撮像装置特性補正処理を施して標準化されたシーン参照画像データを生成するシーン参照画像データ生成工程と、
該シーン参照画像データに、撮影情報データとホワイトバランス調整の程度を示すデータに基づいて内容が決定された、出力媒体上に形成される鑑賞画像の画質を最適なものとするための画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成工程と、
を含むことを特徴とする画像処理方法。
【請求項３２】
前記鑑賞画像参照データ生成工程は、前記ホワイトバランス調整の程度を示すデータに基づき、ホワイトバランス調整の適用量を決定する適用量決定工程と、
前記シーン参照画像データに対して、前記決定された適用量のホワイトバランス調整を施すホワイトバランス調整工程と、
を含むことを特徴とする請求項３０又は３１に記載の画像処理方法。
【請求項３３】
前記ホワイトバランス調整工程は、前記シーン参照画像データを小画面エリアに分割する小画面分割工程を含むことを特徴とする請求項３２に記載の画像処理方法。
【請求項３４】
前記ホワイトバランス調整工程は、前記分割された小画面エリア毎にＲ信号の積算値とＧ信号の積算値との比Ｒ／Ｇと、Ｂ信号の積算値とＧ信号の積算値との比Ｂ／Ｇと、を求めるＲ／Ｇ，Ｂ／Ｇ算出工程を含むことを特徴とする請求項３３に記載の画像処理方法。
【請求項３５】
前記ホワイトバランス調整工程は、各撮影光源種に対応する前記Ｒ／Ｇと前記Ｂ／Ｇの組み合わせの範囲を示す光源種枠が予め設定された光源推定マップ上へ前記算出された各小画面エリアのＲ／Ｇ、Ｂ／Ｇをプロットすることにより前記各小画面エリアの撮影光源の種類を推定する第１光源判定工程を含むことを特徴とする請求項３４に記載の画像処理方法。
【請求項３６】
前記ホワイトバランス調整工程は、前記各光源種枠内にプロットされた小画面エリアの個数、或いは撮影ＥＶ値を変数とするメンバシップ関数を用いて前記シーン参照画像データの撮影光源の種類を判定する第２光源判定工程を含むことを特徴とする請求項３５に記載の画像処理方法。
【請求項３７】
前記ホワイトバランス調整工程は、前記分割された各小画面毎に最小二乗法を用いて撮影光源色温度を推定する色温度推定工程を含むことを特徴とする請求項３３に記載の画像処理方法。
【請求項３８】
前記ホワイトバランス調整工程は、前記各小画面エリアの撮影光源色温度の出現頻度によりヒストグラムを作成するヒストグラム作成工程を含むことを特徴とする請求項３７に記載の画像処理方法。
【請求項３９】
前記ホワイトバランス調整工程は、前記作成されたヒストグラムに基づいて前記シーン参照画像データの画像領域を少なくとも２以上のグループに分割し、グループ毎に異なるホワイトバランス調整を施すホワイトバランス調整工程を含むことを特徴とする請求項３８に記載の画像処理方法。
【請求項４０】
前記適用量決定工程は、前記ホワイトバランスを調整する程度を示すデータと実際のホワイトバランス調整の適用量の関係を任意に設定可能であることを特徴とする請求項３２〜３９の何れか一項に記載の画像処理方法。
【請求項４１】
撮影ＥＶ値を入力する工程を含むことを特徴とする請求項３０〜４０の何れか一項に記載の画像処理方法。
【請求項４２】
コンピュータに請求項３０〜４１の何れか一項に記載の画像処理方法を実現させるためのプログラム。
【請求項４３】
請求項４２に記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の撮像装置、斯かる撮像装置により得られたデジタル画像データに対し、出力媒体上に形成される鑑賞画像の画質を最適なものとするための最適化処理を施す画像処理方法、この画像処理方法を用いた画像処理装置、この画像処理方法を用いて出力媒体上に鑑賞画像を形成する画像記録装置、この画像処理方法をコンピュータに実行させるためのプログラム及びこのプログラムが記録されたコンピュータで読取可能な記録媒体に関する。
【０００２】
【従来の技術】
今日、撮像装置で撮影されたデジタル画像データは、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅｃｏｒｄａｂｌｅ）、フロッピー（登録商標）ディスク、メモリーカードなどの記憶デバイスやインターネット経由で配信され、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、液晶、プラズマ等のディスプレイモニタや携帯電話の小型液晶モニタの表示デバイスに表示されたり、デジタルプリンタ、インクジェットプリンタ、サーマルプリンタ等の出力デバイスを用いてハードコピー画像としてプリントされるなど、その表示・プリント方法は多種多様化してきている。
【０００３】
また、デジタル画像データを鑑賞用途で表示・出力する際には、鑑賞に使用するディスプレイモニタ上、或いはハードコピー上において所望の画質が得られるように階調調整、輝度調整、カラーバランス調整、鮮鋭性強調に代表される種々の画像処理を施す事が一般に行われている。
【０００４】
こうした多様な表示・プリント方法に対応して、撮像装置で撮影されたデジタル画像データの汎用性を高める努力がなされてきた。その一環として、デジタルＲＧＢ（Ｒｅｄ，  Ｇｒｅｅｎ，  Ｂｌｕｅ）信号が表現する色空間を撮像装置特性に依存しない色空間に標準化する試みがあり、現在では多くのデジタル画像データが標準化された色空間として「ｓＲＧＢ」を採用している（「Ｍｕｌｔｉｍｅｄｉａ  Ｓｙｓｔｅｍｓ  ａｎｄ  Ｅｑｕｉｐｍｅｎｔ−Ｃｏｌｏｕｒ  Ｍｅａｓｕｒｅｍｅｎｔ  ａｎｄ  Ｍａｎａｇｅｍｅｎｔ−Ｐａｒｔ２−１：Ｃｏｌｏｕｒ  Ｍａｎａｇｅｍｅｎｔ−Ｄｅｆａｕｌｔ  ＲＧＢ  Ｃｏｌｏｕｒ  Ｓｐａｃｅ−ｓＲＧＢ」ＩＥＣ”６１９６６−２−１を参照）。このｓＲＧＢの色空間は、標準的なＣＲＴディスプレイモニタの色再現領域に対応して設定されている。
【０００５】
一般的に、デジタルカメラは、ＣＣＤ（電荷結合素子（ｃｈａｒｇｅ  ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ））と、電荷転送機構と、市松模様のカラーフィルタとを組み合わせて感色性を付与した、光電変換機能を有する撮像素子（ＣＣＤ型撮像素子、以下単にＣＣＤと称する）を備えている。デジタルカメラにより出力されるデジタル画像データは、このＣＣＤを介して変換された電気的な元信号に、撮像素子の光電変換機能の補正が施され、画像編集ソフトでの読み取り・表示が可能なように規格化された所定形式のデータフォーマットへのファイル変換・圧縮処理等を経たものである。
【０００６】
撮像素子の光電変換機能の補正としては、例えば、階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等がある。また、規格化された所定形式のデータフォーマットとしては、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）ファイルの非圧縮ファイルとして採用されている「Ｂａｓｅｌｉｎｅ  Ｔｉｆｆ  Ｒｅｖ．６．０ＲＧＢ  Ｆｕｌｌ  Ｃｏｌｏｒ  Ｉｍａｇｅ」、ＪＰＥＧフォーマットに準拠した圧縮データファイル形式が知られている。
【０００７】
Ｅｘｉｆファイルは、ｓＲＧＢに準拠したものであり、撮像素子の光電変換機能の補正は、ｓＲＧＢに準拠するディスプレイモニタ上で最も好適な画質となるよう設定されている。
【０００８】
例えば、どのようなデジタルカメラであっても、Ｅｘｉｆ形式のように、ｓＲＧＢ信号に準拠したディスプレイモニタの標準色空間（以下、「モニタプロファイル」と称す）で表示する事を示すタグ情報や、画素数、画素配列、及び１画素当たりのビット数などの機種依存情報を示す付加情報をデジタル画像データのファイルヘッダにメタデータとして書き込む機能及びそのようなデータフォーマット形式を採用してさえいれば、デジタル画像データをディスプレイモニタに表示する画像編集ソフト（例えば、Ａｄｏｂｅ社製Ｐｈｏｔｏｓｈｏｐ）によりタグ情報を解析して、モニタプロファイルのｓＲＧＢへの変更を促したり、自動的に変更処理を施したりすることが出来る。そのため、異なるディスプレイ間の装置特性の差異を低減したり、デジタルカメラで撮影されたデジタル画像データをディスプレイモニタ上で好適な状態で鑑賞することが可能になっている。
【０００９】
また、デジタル画像データのファイルヘッダに書き込まれる付加情報としては、上述した機種依存情報以外にも、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度などの撮影条件設定や、被写体の種類に関する情報などを示すタグ（コード）が用いられている。画像編集ソフトや出力デバイスは、これらの付加情報を読み取り、ハードコピー画像の画質をより好適なものとする機能を備えている。
【００１０】
ところで、ＣＲＴディスプレイモニター等の表示デバイスで表示される画像や、各種プリントデバイスによりプリントされたハードコピー画像は、用いられている蛍光体又は色材の構成によって色再現域が異なる。例えば、ｓＲＧＢ標準色空間に対応するＣＲＴディスプレイモニターの色再現領域は明るい緑や青の領域が広く銀塩写真プリント・インクジェットプリンタ・印刷等のハードコピーでは再現できない領域があり、逆に印刷・インクジェットのシアン領域や銀塩写真の黄色領域にはｓＲＧＢ標準色空間に対応するＣＲＴディスプレイモニターでは再現できない領域が存在する（例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４４頁参照）。一方、撮影対象となる被写体シーンの中には、これらのいずれの色再現領域でも再現できない領域色を呈しているものが存在する可能性がある。
【００１１】
このように、特定デバイスによる表示・プリントを前提として最適化された色空間（ｓＲＧＢを含む）には記録可能な色域に制限があるため、撮像装置が取得した情報を記録する際には、記録可能な色域に圧縮してマッピングする調整が必要になる。マッピングの方法としては、記録可能な色域の外にある色度点を最寄の色域境界上へマッピングしてしまうクリッピングが最も簡単であるが、これでは色域外のグラデーションが潰れてしまい、鑑賞時に違和感を覚える画像になってしまう。このため現在では、適当な閾値以上にクロマが高い領域の色度点をクロマの大きさに従って滑らかに圧縮する非線形圧縮が一般に採用されている。この結果、記録可能な色域内部の色度点においてもクロマが圧縮されて記録される事になる。（色域のマッピング方法についての詳細は、例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４７頁に記載されている。）
【００１２】
また、ＣＲＴディスプレイモニター等の表示デバイスで表示される画像や、各種プリントデバイスによりプリントされたハードコピー画像、またこれらのデバイスによる表示・プリントを前提として最適化された色空間（ｓＲＧＢを含む）は、記録・再現可能な輝度域が約１００：１オーダーに限定されている。これに対して撮影対象となる被写体シーンは輝度域が広く、屋外では数千：１のオーダーに至ることもしばしば発生する（例えば東京大学出版会「新編色彩科学ハンドブック第２版」日本色彩学会編９２６頁参照）。従って、撮像装置が取得した情報を記録する際には輝度についても同様に圧縮が必要になる。この圧縮処理は撮影シーンのダイナミックレンジや、撮影シーン内における主要被写体の輝度レンジに応じて、１画像毎に適切な条件を設定する必要がある。
【００１３】
ところが、上記のような色域・輝度域の圧縮操作をおこなった場合、離散的数値で記録されるデジタル画像の原理に起因して、圧縮前のグラデーション情報やクリッピング前の情報はその時点で失われてしまい、再び元の状態に戻すことができない。この事が高画質デジタル画像データの汎用性において大きな制約になる。
【００１４】
例えば、ｓＲＧＢの標準色空間において記録された画像をプリントデバイスによりプリントする場合は、ｓＲＧＢの標準色空間とプリントデバイスの色再現域の相違に基づいて再度マッピングが必要になる。しかし、ｓＲＧＢの標準色空間において記録された画像は、記録時に一旦圧縮された領域のグラデーション情報が失われているので、撮像装置が取得した情報を直接プリントデバイスの色再現域にマッピングする場合に比べてグラデーションの滑らかさが悪化する。また記録時の階調圧縮条件が不適切で、絵が白っぽい・顔が暗い・シャドーの潰れやハイライト領域の白飛びが目立つという問題があった場合、階調設定を変更して画像を改善しようとしても、圧縮前のグラデーション情報や潰れ・白飛び部分の情報は既に失われているために、撮像デバイスが取得した情報から新たに画像を作り直す場合と比べて、著しく不十分な改善しか行うことができない。
【００１５】
このような問題を解決するものとして、画像編集の過程をバックアップとして保存し、必要に応じて編集前の状態に戻す技術は古くから知られている。例えば、特許文献１には、デジタル画像データに対し、画像処理により局所的な変更を施した場合、画像処理前後のデジタル画像データとの差分画像データをバックアップデータとして保存するバックアップ装置が記載されている。特許文献２には、画像処理前後のデジタル画像データの差分画像データを取り保存しておくことにより、編集前のデジタル画像データを復元可能にする方法が記載されている。しかしながら、特許文献１、特許文献２の技術は、情報損失防止の観点では有効であるが、メディアに記録すべきデータ量の増大を伴い、その結果撮像装置の撮影可能枚数が減少する。
【００１６】
上記ｓＲＧＢ標準色空間での画像記録の他、記録時の被写体情報の圧縮を伴う処理として、オートホワイトバランス調整がある。従来のデジタルカメラでは、オートホワイトバランス調整を施すには１コマずつの煩雑なマニュアル補正機能による調整操作を行う必要があり、撮影時に撮影者の嗜好を的確に反映することが出来なかった。
【００１７】
そこで、特許文献３には、人間の目の順応を考慮して見た目通りの色調で出力する色調変換手段と、昼光光源下での色調で出力する色調変換手段を選択出来るデジタルカメラが提案されている。また、特許文献４には、ホワイトバランスの調整の度合いを撮影者が選択出来るようにすることで、煩雑な調整操作を省いたデジタルカメラが提案されている。しかしながら、夕焼けや、タングステン光、ろうそくの光などでは、見た目通りの色調仕上げと、昼光光源下での色調仕上げの好みが、撮影後の撮影者を始め、プリントを作成する人や、鑑賞する人で夫々異なる場合も少なくない。また、撮影時の光源は１種類とは限らず、２種類以上のミックス光源である場合も多々存在し、正確なホワイトバランス調整がいつも施されるとは限らない。
【００１８】
一方、特許文献５には、撮影画像を小画面に分割し、小画面毎の推定色温度のヒストグラムを作成することにより、同一色温度、すなわち同一撮影光源毎に小画面をグループ分けし、各グループ毎にホワイトバランスを調整する方法が提案されている。しかしながら、既に撮影時にホワイトバランス調整の施された情報は、Ｂ又はＲの何れかが著しい圧縮操作を受けており、一度ホワイトバランス調整が施されたデジタル画像データを再度調整しようとしても不十分な改善しか行うことが出来ない。
【００１９】
以上に述べてきた問題は、撮像装置が取得した広い色域・輝度域の情報を、鑑賞画像を想定して最適化した状態の鑑賞画像参照データに圧縮して記録する事に起因する。これに対して、撮像装置が取得した広い色域・輝度域の情報を圧縮しないシーン参照画像データとして記録すれば不用意な情報の損失を防止する事ができる。このようなシーン参照画像データを記録するのに適した標準色空間としては例えば「ＲＩＭＭ  ＲＧＢ」（Ｒｅｆｅｒｅｎｃｅ  Ｉｎｐｕｔ  Ｍｅｄｉｕｍ  Ｍｅｔｒｉｃ  ＲＧＢ）や「ＥＲＩＭＭ  ＲＧＢ」（Ｅｘｔｅｎｄｅｄ  Ｒｅｆｅｒｅｎｃｅ  Ｉｎｐｕｔ  Ｍｅｄｉｕｍ  Ｍｅｔｒｉｃ  ＲＧＢ）が提案されている（Ｊｏｕｒｎａｌｏｆ  Ｉｍａｇｉｎｇ  Ｓｃｉｅｎｃｅ  ａｎｄ  Ｔｅｃｈｎｏｌｏｇｙ  ４５巻  ４１８〜４２６頁（２００１年）参照）。
【００２０】
しかし、このような標準色空間で表現されたデータは、直接ディスプレイモニタで表示して鑑賞するには適さない。一般的に、デジタルカメラにはユーザーが撮影前に画角を確認したり撮影後に撮影内容を確認したりするために、ディスプレイモニタが組み込まれているか接続されている。撮影されたデジタル画像データがｓＲＧＢのような鑑賞画像参照データとして記録されている場合は、そのデータを変換せずに直接ディスプレイモニタに表示できる利点があったが、撮影されたデジタル画像データがシーン参照画像データとして記録されている場合には、そのデータを表示する為に鑑賞画像参照データとして再変換する処理が必須になる。このようなカメラ内における二重の変換処理は、処理負荷や消費電力を増大させ、連写性の低下や、バッテリー撮影時の撮影枚数制限を招く。
【００２１】
上述した問題を解決するものとして、特許文献６には、表示手段に表示した画像信号形態で記録するモードと、撮像した画像信号形態で記録するモードを有する事を特徴とする画像処理装置が開示されている。後者の画像信号形態は一般にＲＡＷデータと呼ばれ、このようなデジタル画像データは、専用のアプリケーションソフト（「現像ソフト」と称される）を用いて、前記Ｅｘｉｆファイルなどの表示・印刷用の鑑賞画像参照データに変換する（「電子現像」、又は単に「現像」と称される）ことができる。
【００２２】
【特許文献１】
特開平７−５７０７４号公報
【特許文献２】
特開平２００１−９４７７８号公報
【特許文献３】
特開平１０−４４５８号公報
【特許文献４】
特開２００２−２１８４９５号公報
【特許文献５】
特開２００２−２７１６３８号公報
【特許文献６】
特開平１１−２６１９３３号公報
【００２３】
【発明が解決しようとする課題】
ＲＡＷデータは撮影時の全情報を保存している為、鑑賞画像参照データの作り直しが可能であり、ＣＭＹＫ等の他の表色系ファイルを直接作れば、ディスプレイモニタ（ｓＲＧＢ）との色域の相違に起因して不用意に色が変更される事もない。しかしながらＲＡＷデータは撮影機種固有の分光感度特性に基づいた色空間と、撮影機種固有のファイルフォーマットに基づいて記録されているため、撮影機種固有の専用現像ソフトを用いなければ表示・印刷に適した画像を得ることができない。また、ＲＡＷデータはそのままでは撮影者の嗜好を反映したホワイトバランス調整を行うことはできない。
【００２４】
本発明の課題は、撮像画像情報の情報損失を伴うことなく、汎用的な方法で記録し、かつ撮影者の嗜好を反映したホワイトバランス調整を撮像装置自体の処理負荷を増大せずに実現することのできる撮像装置及びその撮像装置により記録されたデジタル画像データを用いて新規な高画質画像の処理環境を提供することである。
【００２５】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明の撮像装置は、
撮像により撮像装置の撮像装置特性に依存したシーン参照生データを生成するシーン参照生データ生成手段と、
前記シーン参照生データ生成手段により生成されたシーン参照生データに対して、標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データを生成する再現補助データ生成手段と、
ホワイトバランス調整の程度を指定する指定手段と、
前記シーン参照生データ生成手段により生成されたシーン参照生データに、前記再現補助データ生成手段により生成された再現補助データ及び前記指定手段により指定されたホワイトバランス調整の程度を示すデータを添付し、さらにメディアに記録する記録制御手段と、
を備えたことを特徴としている。
【００２６】
本願明細書の記載において「生成」とは、本発明に係る撮像装置、画像処理装置及び画像記録装置内において作用するプログラム、処理回路が、画像信号やデータを新たに作り出すことである。「作成」を同義語として用いることもある。
【００２７】
また、「撮像装置」とは、光電変換機能を有する撮像素子（イメージセンサ）を備えた装置であって、所謂デジタルカメラやスキャナがこれに含まれる。前記撮像素子の一例としては、ＣＣＤ（電荷結合素子（ｃｈａｒｇｅ  ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ））と、電荷転送機構と、市松模様のカラーフィルタとを組み合わせ感色性を付与したＣＣＤ型撮像素子や、ＣＭＯＳ型撮像素子が挙げられる。これらの撮像素子の出力電流はＡ／Ｄ変換器によりデジタル化される。この段階での各色チャンネルの内容は、撮像素子固有の分光感度に基づいた信号強度となっている。
【００２８】
また、「撮像装置特性に依存したシーン参照生データ」とは、被写体に忠実な情報を記録した撮像装置直接の生出力信号であり、前記Ａ／Ｄ変換器によりデジタル化されたデータそのものや、該データに固定パターンノイズ・暗電流ノイズ等のノイズ補正を行ったデータを意味し、前述したＲＡＷデータが含まれる。このシーン参照生データは、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為にデータ内容を改変する画像処理や、撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のＲＩＭＭ  ＲＧＢやｓＲＧＢ等の標準化された色空間にマッピングする処理を省略したことを特徴とする。シーン参照生データの情報量（例えば階調数）は前記Ａ／Ｄ変換器の性能に準じ、鑑賞画像参照データで必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば鑑賞画像参照データの階調数が１チャンネルあたり８ｂｉｔである場合、シーン参照生データの階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００２９】
また、「標準化されたシーン参照画像データ」とは、少なくとも撮像素子自体の分光感度に基づく各色チャンネルの信号強度を前述のＲＩＭＭ  ＲＧＢやＥＲＩＭＭ  ＲＧＢなどの標準色空間にマッピング済みであり、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為にデータ内容を改変する画像処理が省略された状態の画像データを意味する。またシーン参照画像データは、撮像装置の光電変換特性（ＩＳＯ１４５２が定義するｏｐｔｏ−ｅｌｅｃｔｒｏｎｉｃ  ｃｏｎｖｅｒｓｉｏｎ  ｆｕｎｃｔｉｏｎ，  例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４９頁参照）の補正を行ったものである事が好ましい。標準化されたシーン参照画像データの情報量（例えば階調数）は前記Ａ／Ｄ変換器の性能に準じ、鑑賞画像参照データで必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば鑑賞画像参照データの階調数が１チャンネルあたり８ｂｉｔである場合、シーン参照画像データの階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００３０】
また、  「標準化されたシーン参照画像データを生成する撮像装置特性補正処理」とは、前記の「撮像装置特性に依存したシーン参照生データ」を「標準化されたシーン参照画像データ」に変換する処理を意味する。この処理の内容は「撮像装置特性に依存したシーン参照生データ」の状態に依存するが、少なくとも撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のＲＩＭＭ  ＲＧＢやＥＲＩＭＭ  ＲＧＢなどの標準色空間にマッピングする処理が含まれる。たとえば「撮像装置特性に依存したシーン参照生データ」が、カラーフィルター配列に基づく補間処理を行っていない場合には、該処理の実施が加えて必要になる。（カラーフィルター配列に基づく補間処理の詳細は、例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編５１頁に記載されている。）この結果、「シーン参照生データ」とほぼ同一の情報量を有しつつも、異なる「撮像装置」間での信号値の差異が補正された「標準化されたシーン参照画像データ」が得られる。
【００３１】
また、「撮像装置特性補正処理を施す際の再現補助データ」とは、データ内に記載された情報のみを活用して、前項で定義した撮像装置特性補正処理が実施可能であるデータを意味する。少なくとも、撮像素子自体の分光感度に基づく各色チャンネルの信号強度を前述のＲＩＭＭ  ＲＧＢやＥＲＩＭＭ  ＲＧＢなどの標準色空間にマッピングする事が可能になる情報、すなわち撮像素子固有の分光感度特性かＲＩＭＭ  ＲＧＢのような特定の標準色空間に変換する時に使用すべきマトリックス係数が記載されている必要がある。例えば、撮像装置の機種名だけが記載されている場合は、本処理を実施する画像処理装置や画像記録装置が機種名と前記マトリックス係数の対応表を保有していない可能性があるので十分なデータとは言えない。また例えば、本処理を実施する際に十分な情報が直接記載されていなくても、該情報のインターネット上での所在個所を示すＵＲＬが記載されている場合は、本処理を行うのに十分なデータとみなすことができる。これらの「撮像装置特性補正処理を施す際の再現補助データ」は、画像ファイル内のヘッダ部に書き込まれるタグ情報として記録されるのが好ましい。
【００３２】
また、前記「撮像装置特性補正処理を施す際の再現補助データ」が、「シーン参照生データ」とは独立してメディアに保存する態様である場合には、「撮像装置特性補正処理を施す際の再現補助データ」、「シーン参照生データ」の何れか、又は両方に対し、両者を関連付ける為の情報の付与、又は別途関連情報の記載されたステータス情報ファイルを添付する必要がある。
【００３３】
「ホワイトバランス調整の程度を指定する指定手段」とは、撮像装置に備えられた操作スイッチや、タッチパネル方式の液晶画面から、撮影者の嗜好に応じて、撮像により得られたデジタル画像データに対するホワイトバランス調整の程度を段階的に又は連続的に入力する機構である。「ホワイトバランス調整の程度を指定する指定手段」は、撮像装置と一体であっても、コードを介して有線状態で接続された入力ユニット、通信やインターネットを介して無線状態で接続された独立、或いは遠隔地に設置された入力ユニットなどの何れの態様であっても良い。
【００３４】
「ホワイトバランス調整の程度」とは、撮像素子を介して取得される画像信号のホワイトバランスの調整を行わず、撮影光源の色をそのまま出力する「無補正」から、最大限にホワイトバランス補正を行う「最大補正」までの間の少なくとも１つの選択候補を意味する。撮影者が、撮影光源の雰囲気を残したいときは「無補正」を指定し、逆に完全に補正したいという場合には、「最大補正」を指定する。
【００３５】
また、「指定された」とは、上記の如く撮像装置に備えられた操作スイッチや、タッチパネル方式の液晶画面から、撮影者により手動で設定されたことを意味する。
【００３６】
「ホワイトバランス調整の程度を示すデータ」は「シーン参照生データ」とは独立してメディアに保存する態様をとっても良いが、ヘッダ部に書き込まれるタグ情報のような形で画像ファイル内に記録される事が特に好ましい。
【００３７】
前記「ホワイトバランス調整の程度を示すデータ」が、「シーン参照生データ」とは独立してメディアに保存する態様である場合には、「ホワイトバランス調整の程度を示すデータ」、「シーン参照生データ」の何れか一方、又は両方に対し、両者を関連付ける為の情報を付与するか、又は別途関連情報の記載されたステータス情報ファイルを添付する必要がある。
【００３８】
「メディア」とは、コンパクトフラッシュ（登録商標）、メモリースティック、スマートメディア、マルチメディアカード、ハードディスク、フロッピー（登録商標）ディスク、磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど何れであっても良い。また、記憶媒体に書き込むユニットは、撮影装置と一体であっても、コードを介して有線状態で接続された書き込みユニット、通信やインターネットを介して無線状態で接続された独立、或いは遠隔地に設置されたユニットなどの何れの態様であっても良い。さらに、撮像装置と記憶媒体への書き込みユニットが接続状態にあるとき、画像処理装置や画像記録装置が撮像装置から直接「撮像装置特性補正処理を施す際の再現補助データ」及び「必要なデータ」を読み出すことの出来る機能を併せ持つ態様であっても良い。「メデイアに記録する」時のファイル形式は、撮像装置固有の形式ではなく、ＴＩＦＦ、ＪＰＥＧ、Ｅｘｉｆなどの規格化された汎用のファイル形式で記録されるのが好ましい。
【００３９】
請求項２に記載の発明の画像処理装置は、
撮像装置の撮像装置特性に依存したシーン参照生データと、該シーン参照生データに対して標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データと、ホワイトバランス調整の程度を示すデータとを入力する入力手段と、
前記入力手段により入力されたシーン参照生データに対して、前記入力手段により入力された撮像装置特性補正処理を施す際の再現補助データに基づいて撮像装置特性補正処理を施し、前記標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記生成されたシーン参照画像データに前記ホワイトバランス調整の程度を示すデータを添付して出力データを生成する出力データ生成手段と、
を備えたことを特徴としている。
【００４０】
ここで、入力手段の「入力」とは、撮像装置の出力する「シーン参照生データ」、「撮像装置特性補正処理を施す際の再現補助データ」及び「ホワイトバランス調整の程度を示すデータ」を、撮像装置から本発明の画像処理装置に伝達することを意味する。
【００４１】
例えば、撮像装置と上述した記憶媒体への書き込みユニットが接続状態にあるとき、画像処理装置が、撮像装置から直接「シーン参照生データ」、「撮像装置特性補正処理を施す際の再現補助データ」及び「ホワイトバランス調整の程度を示すデータ」を読み出せる機能を併せ持つ態様であるとき、本発明の画像処理装置は撮像装置との接続手段を有し、この接続手段が、本発明の入力手段に相当する。また、コンパクトフラッシュ（登録商標）、メモリースティック、スマートメディア、マルチメディアカード、フロッピー（登録商標）ディスク、光磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど、可搬式の「メディア」を用いる場合には、本発明の画像処理装置は対応する読み取り手段を有し、この読み取り手段が、本発明の入力手段に相当する。さらに、書き込みユニットが通信やインターネットを介して無線状態で接続された独立、或いは遠隔地に設置された態様であるとき、本発明の画像処理装置は、通信やインターネットに接続する通信手段を有し、この通信手段が本発明の入力手段に相当する。
【００４２】
また本発明では、撮影装置から撮影者により指定され、メディアを介して入力された「ホワイトバランス調整の程度を示すデータ」を使用せず、画像処理装置のオペレータ（撮影者と異なる場合もある）により画像処理装置のソフトウェア画面から直接入力された「ホワイトバランス調整の程度を示すデータ」を用いても良い。この場合、画像処理装置からオペレータにより入力された「ホワイトバランス調整の程度を示すデータ」のみを「シーン参照画像データ」に添付する態様であっても良いし、撮影装置から撮影者により指定された「ホワイトバランス調整の程度を示すデータ」の両方を、「シーン参照画像データ」に添付する態様としても良い。
【００４３】
請求項３に記載の発明の撮像装置は、
撮像により撮像装置の撮像装置特性に依存したシーン参照生データを生成するシーン参照生データ生成手段と、
前記シーン参照生データ生成手段により生成されたシーン参照生データに対して、標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データを生成する再現補助データ生成手段と、
撮影時の撮影条件設定である撮影情報データを生成する撮影情報データ生成手段と、
ホワイトバランス調整の程度を指定する指定手段と、
前記シーン参照生データ生成手段により生成されたシーン参照生データに前記再現補助データ生成手段により生成された再現補助データ、前記撮影情報データ生成手段により生成された撮影情報データ及び前記指定手段により指定されたホワイトバランス調整の程度を示すデータを添付し、さらにメディアに記録する記録制御手段と、
を備えたことを特徴としている。
【００４４】
「鑑賞画像参照データ」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスに用いたり、出力デバイスが、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上のハードコピー画像生成に用いるデジタル画像データを意味する。鑑賞画像参照データは、ＣＲＴ、液晶、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像が得られるよう「最適化処理」が施されている。
【００４５】
「撮影情報データ」とは、撮影時の撮影条件設定の記録であり、Ｅｘｉｆファイルのヘッダ部に書き込まれるタグ情報と同じものを含んでも良い。具体的には露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度、被写体の種類に関する情報などを示すタグ（コード）などである。
【００４６】
前記「撮影情報データ」は、撮像装置の露出設定や焦点機能の自動化の為に、カメラに備えられたセンサーの撮影時に得た値、前記センサーの値から加工されたデータ、或いは前記センサーの値に基づいて設定されたカメラの撮影条件に分類されるが、これ以外にも撮像装置に備えられた、撮影モードダイヤル（例えばポートレート、スポーツ、マクロ撮影モード等）や、ストロボ強制発光の設定スイッチ等を撮影者がマニュアルで設定した情報も含まれる。
【００４７】
なお、「撮影情報データ」は「シーン参照生データ」とは独立してメディアに保存する態様をとっても良いが、ヘッダ部に書き込まれるタグ情報のような形で画像ファイル内に記録される事が特に好ましい。
【００４８】
「撮影情報データ」が、「シーン参照生データ」とは独立してメディアに保存する態様である場合には、「撮影情報データ」、「シーン参照生データ」の何れか一方、又は両方に対し、両者を関連付ける為の情報を付与するか、又は別途関連情報の記載されたステータス情報ファイルを添付する必要がある。
【００４９】
請求項４に記載の発明の画像処理装置は、
撮像装置の撮像装置特性に依存したシーン参照生データ、該シーン参照生データに対して標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データ、撮影時の撮影条件設定である撮影情報データ及びホワイトバランス調整の程度を示すデータとを入力する入力手段と、
前記入力手段により入力されたシーン参照生データに対して、前記入力手段により入力された撮像装置特性補正処理を施す際の再現補助データに基づいて撮像装置特性補正処理を施し、前記標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記生成されたシーン参照画像データに前記撮影情報データ及び前記ホワイトバランス調整の程度を示すデータを添付して出力データを生成する出力データ生成手段と、
を備えたことを特徴としている。
【００５０】
請求項５に記載の発明は、請求項２に記載の発明において、
前記標準化されたシーン参照画像データに対して、前記ホワイトバランス調整の程度を示すデータに基づいて内容が決定された、出力媒体上に形成される鑑賞画像の画質を最適なものとするための画像処理を施して鑑賞画像参照データを生成する鑑賞画像参照データ生成手段を備えたことを特徴としている。
【００５１】
「出力媒体」とは、例えば、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスや、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙である。
【００５２】
また、「出力媒体上に形成される鑑賞画像の画質を最適なものとするための画像処理」とは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像を得る為の処理であり、例えばｓＲＧＢ規格に準拠したＣＲＴディスプレイモニタに表示することを前提とした場合、ｓＲＧＢ規格の色域内で最適な色再現が得られるように処理される。銀塩印画紙への出力を前提とした場合、銀塩印画紙の色域内で最適な色再現が得られるように処理される。また前記色域の圧縮の以外にも、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、及び出力デバイスの出力特性（ＬＵＴ）への対応処理等も含まれる。さらにホワイトバランス調整、ノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、或いは覆い焼き処理等の画像処理が含まれる。
【００５３】
また、本発明の画像処理装置では、撮像装置から撮影者により指定され、メディアを介して入力された「ホワイトバランス調整の程度を示すデータ」を使用せず、本発明の画像処理装置からオペレータにより入力された「ホワイトバランス調整の程度を示すデータ」を使用する態様であっても良い。また、本発明の画像処理装置により生成された「鑑賞画像参照データ」には、「ホワイトバランス調整の程度を示すデータ」を添付することが望ましい。
【００５４】
「ホワイトバランス調整の程度を示すデータ」は「シーン参照生データ」、「シーン参照画像データ」、「鑑賞画像参照データ」とは独立してメディアに保存する態様をとっても良いが、ヘッダ部に書き込まれるタグ情報のような形で画像ファイル内に記録される事が特に好ましい。
【００５５】
「ホワイトバランス調整の程度を示すデータ」が、「シーン参照生データ」、「シーン参照画像データ」、「鑑賞画像参照データ」とは独立してメディアに保存する態様である場合には、「ホワイトバランス調整の程度を示すデータ」と、これを添付する「シーン参照生データ」、「シーン参照画像データ」、「鑑賞画像参照データ」の何れか一方、又は両方に対し、両者を関連付ける為の情報を付与するか、又は別途関連情報の記載されたステータス情報ファイルを添付する必要がある。
【００５６】
本発明の画像処理装置からオペレータにより入力された「ホワイトバランス調整の程度を示すデータ」のみを「シーン参照生データ」、「シーン参照画像データ」、「鑑賞画像参照データ」に添付する態様であっても良いし、撮像装置から撮影者により指定された「ホワイトバランス調整の程度を示すデータ」、画像処理装置からオペレータにより直接入力された「ホワイトバランス調整の程度を示すデータ」の何れか一方、又はその両方を、「シーン参照生データ」、「シーン参照画像データ」、「鑑賞画像参照データ」に添付する態様であっても良い。
【００５７】
請求項６に記載の発明は、請求項４に記載の発明において、
前記標準化されたシーン参照画像データに対して、前記撮影情報データ及び前記ホワイトバランス調整の程度を示すデータに基づいて内容が決定された、出力媒体上に形成される鑑賞画像の画質を最適なものとするための画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段を備えたことを特徴としている。
【００５８】
「撮影情報データ」を用いたシーン参照画像データの最適化の例を下記に示す。
「被写体構成」情報により、例えば部分的に彩度強調処理を施したり、ダイナミックレンジの広いシーンでは、覆い焼き処理を施すことが可能となる。
「撮影シーンタイプ」情報により、例えば夜景撮影では、ホワイトバランス調整の度合いを緩め、カラーバランスを特別に調整することが可能となる。
「ストロボ光源の反射光の量」情報によって、撮影者と被写体との距離が推定され、例えば肌の白飛びを抑制する画像処理の条件設定に反映させることが出来る。
「被写体の種類」情報により、例えば人物撮影では、シャープネスの度合いを緩め、平滑化処理を強めることにより、肌のしわを目立たないようにすることが出来る。
【００５９】
また、「撮影情報データ」、「被写体構成」、「撮影シーンタイプ」、「ストロボ光源の反射光の量」、「被写体の種類」情報を補う目的で、「露出時間」、「シャッタースピード」、「絞り値（Ｆナンバー）」、「ＩＳＯ感度」、「輝度値」、「被写体距離範囲」、「光源」、「ストロボ発光の有無」、「被写体領域」、「ホワイトバランス」、「ズーム倍率」等の情報を、補助的に用いることが出来る。さらに、「ＩＳＯ感度」情報からノイズ抑制処理の適用量を調整したり、「光源」情報をホワイトバランスの調整に用いたりすることが出来る。
【００６０】
請求項７に記載の発明の画像記録装置は、
撮像装置の撮像装置特性に依存したシーン参照生データ、該シーン参照生データに対して標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データ及びホワイトバランス調整の程度を示すデータとを入力する入力手段と、
前記入力手段により入力されたシーン参照生データに対して、前記入力手段により入力された撮像装置特性補正処理を施す際の再現補助データに基づいて撮像装置特性補正処理を施し、前記標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記シーン参照画像データ生成手段により生成された標準化されたシーン参照画像データに対して、前記ホワイトバランス調整の程度を示すデータに基づいて内容が決定された、出力媒体上に形成される鑑賞画像の画質を最適なものとするための画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記鑑賞画像参照データ生成手段により生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する画像形成手段と、
を備えたことを特徴としている。
【００６１】
請求項８に記載の発明の画像記録装置は、
撮像装置の撮像装置特性に依存したシーン参照生データ、該シーン参照生データに対して標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データ、ホワイトバランス調整の程度を示すデータ及び撮影時の撮影条件設定である撮影情報データを入力する入力手段と、
前記入力手段により入力されたシーン参照生データに対して、前記入力手段により入力された撮像装置特性補正処理を施す際の再現補助データに基づいて撮像装置特性補正処理を施し、前記標準化されたシーン参照画像データを生成するシーン参照画像データ生成手段と、
前記シーン参照画像データ生成手段により生成された前記標準化されたシーン参照画像データに対して、前記ホワイトバランス調整の程度を示すデータ及び前記撮影情報データに基づいて内容が決定された、出力媒体上に形成される鑑賞画像の画質を最適なものとするための画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成手段と、
前記鑑賞画像参照データ生成手段により生成された鑑賞画像参照データを用いて出力媒体上に鑑賞画像を形成する画像形成手段と、
を備えたことを特徴としている。
【００６２】
ここで、本発明に係る画像記録装置は、本発明に係る撮像装置により取得されるデジタル画像データに対し、本発明に係る画像処理を施す機構以外にも、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等、アナログカメラにより記録された写真感光材料の駒画像情報を入力するフィルムスキャナ、銀塩印画紙であるカラーペーパー上に再現された画像情報を入力するフラットベッドスキャナを備えていても良い。また本発明の撮像装置以外のデジタルカメラにより取得され、コンパクトフラッシュ（登録商標）、メモリースティック、スマートメディア、マルチメディアカード、フロッピー（登録商標）ディスク、光磁気記憶媒体（ＭＯ）、或いはＣＤ−Ｒなど、公知のあらゆる可搬式の「メディア」に保存されたデジタル画像データを読み取る手段、或いはネットワークなどの通信手段を介してデジタル画像データを遠隔地より取得し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙など、公知のあらゆる「記憶媒体」に鑑賞画像を形成する処理手段とを備えていても良い。
【００６３】
請求項９に記載の発明は、請求項１又は３に記載の発明において、
前記記録制御手段は、撮影時の撮影ＥＶ値を前記シーン参照生データに添付し、メディアに記録することを特徴としている。
【００６４】
本発明では、請求項９に記載のように、撮像装置自体が、撮像装置のシャッターボタンの半押し時に「撮影ＥＶ値」を算出し、「ホワイトバランス調整の程度を示すデータ」と共に記録することが望ましい。
【００６５】
「撮影ＥＶ（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ）値（露出値）」の記録方法は、「ホワイトバランス調整の程度を示すデータ」、「撮影情報データ」と同様、「シーン参照生データ」とは独立してメディアに保存する態様をとっても良いが、「シーン参照生データ」のヘッダ部に書き込まれるタグ情報のような形で画像ファイル内に記録される事が特に好ましい。
【００６６】
前記「撮影ＥＶ値」が、「シーン参照生データ」とは独立してメディアに保存する態様である場合には、「撮影ＥＶ値」と「シーン参照生データ」の何れか一方、又は両方に対し、両者を関連付ける為の情報を付与するか、又は別途関連情報の記載されたステータス情報ファイルを添付する必要がある。
【００６７】
請求項１０に記載の発明は、請求項２、４、５又は６に記載の発明において、
前記入力手段は、撮影時の撮影ＥＶ値を入力することを特徴としている。
【００６８】
本発明の画像処理装置では、撮像装置からメディアを介して「撮影ＥＶ値」を入力して使用する態様であってもよいし、画像処理装置からオペレータにより入力された「撮影ＥＶ値」を入力する態様であっても良い。また、本発明の画像処理装置により生成された「シーン参照画像データ」や「鑑賞画像参照データ」には、「撮影ＥＶ値」を添付することが望ましい。また、「撮影ＥＶ値」を「シーン参照生データ」に添付してもよい。このとき、「撮影ＥＶ値」は「シーン参照生データ」、「シーン参照画像データ」、「鑑賞画像参照データ」のそれぞれのヘッダ部に書き込まれるタグ情報のような形で画像ファイル内に記録される事が特に好ましい。
【００６９】
前記「撮影ＥＶ値」が、「シーン参照生データ」、「シーン参照画像データ」、「鑑賞画像参照データ」とは独立してメディアに保存する態様である場合には、「撮影ＥＶ値」と、これを添付する「シーン参照生データ」、「シーン参照画像データ」、「鑑賞画像参照データ」の何れか一方、又は両方に対し、両者を関連付ける為の情報を付与するか、又は別途関連情報の記載されたステータス情報ファイルを添付する必要がある。
【００７０】
請求項１１に記載の発明は、請求項５、６又は１０に記載の発明において、
前記ホワイトバランス調整の程度を示すデータに基づいて、前記シーン参照画像データに対するホワイトバランス調整の適用量を決定する適用量決定手段を備え、
前記鑑賞画像参照データ生成手段は、前記シーン参照画像データに対して前記決定された適用量のホワイトバランス調整を施すホワイトバランス調整手段を有することを特徴としている。
【００７１】
請求項１２に記載の発明は、請求項１１に記載の発明において、
前記ホワイトバランス調整手段は、前記シーン参照画像データの画像領域を小画面エリアに分割する画面分割手段を備えたことを特徴としている。
【００７２】
請求項１３に記載の発明は、請求項１２に記載の発明において、
前記ホワイトバランス調整手段は、前記分割された小画面エリア毎にＲ信号の積算値とＧ信号の積算値との比Ｒ／Ｇと、Ｂ信号の積算値とＧ信号の積算値との比Ｂ／Ｇと、を求めるＲ／Ｇ、Ｂ／Ｇ算出手段を備えたことを特徴としている。
【００７３】
請求項１４に記載の発明は、請求項１３に記載の発明において、
前記ホワイトバランス調整手段は、各撮影光源種に対応する前記Ｒ／Ｇと前記Ｂ／Ｇの組み合わせの範囲を示す光源種枠が予め設定された光源推定マップ上へ前記算出された各小画面エリアのＲ／Ｇ、Ｂ／Ｇをプロットすることにより前記各小画面エリアの撮影光源の種類を推定する第１光源判定手段を備えたことを特徴としている。
【００７４】
請求項１５に記載の発明は、請求項１４に記載の発明において、
前記ホワイトバランス調整手段は、前記各光源種枠内にプロットされた小画面エリアの個数、或いは撮影ＥＶ値を変数とするメンバシップ関数を用いて前記シーン参照画像データの撮影光源の種類を判定する第２光源判定手段を備えたことを特徴としている。
【００７５】
請求項１６に記載の発明は請求項１２に記載の発明において、
前記ホワイトバランス調整手段は、前記分割された各小画面毎に最小二乗法を用いて撮影光源色温度を推定する色温度推定手段を備えたことを特徴としている。
【００７６】
請求項１７に記載の発明は、請求項１６に記載の発明において、
前記ホワイトバランス調整手段は、前記各小画面エリアの撮影光源色温度の出現頻度によりヒストグラムを作成するヒストグラム作成手段を備えたことを特徴としている。
【００７７】
請求項１８に記載の発明は、請求項１７に記載の発明において、
前記ホワイトバランス調整手段は、前記作成されたヒストグラムに基づいて前記シーン参照画像データの画像領域を少なくとも２以上のグループに分割し、グループ毎に異なるホワイトバランス調整を施すグループ別ホワイトバランス調整手段を備えたことを特徴としている。
【００７８】
請求項１９に記載の発明は、請求項１１〜１８の何れか一項に記載の発明において、
前記適用量決定手段は、前記ホワイトバランスを調整する程度を示すデータと実際のホワイトバランス調整の適用量の関係を任意に設定可能であることを特徴としている。
【００７９】
請求項２０に記載の発明は、請求項７又は８に記載の発明において、
前記入力手段は、撮影時の撮影ＥＶ値を入力することを特徴としている。
【００８０】
本発明の画像記録装置では、撮像装置や画像処理装置からメディアを介して「撮影ＥＶ値」を入力して使用する態様であってもよいし、画像記録装置からオペレータにより入力された「撮影ＥＶ値」を入力する態様であっても良い。
【００８１】
請求項２１に記載の発明は、請求項７、８又は２０に記載の発明において、
前記ホワイトバランス調整の程度を示すデータに基づいて、前記シーン参照画像データに対するホワイトバランス調整の適用量を決定する適用量決定手段を備え、
前記鑑賞画像参照データ生成手段は、前記シーン参照画像データに対して前記決定された適用量のホワイトバランス調整を施すホワイトバランス調整手段を有することを特徴としている。
【００８２】
請求項２２に記載の発明は、請求項２１に記載の発明において、
前記ホワイトバランス調整手段は、前記シーン参照画像データの画像領域を小画面エリアに分割する画面分割手段を備えたことを特徴としている。
【００８３】
請求項２３に記載の発明は、請求項２２に記載の発明において、
前記ホワイトバランス調整手段は、前記分割された小画面エリア毎にＲ信号の積算値とＧ信号の積算値との比Ｒ／Ｇと、Ｂ信号の積算値とＧ信号の積算値との比Ｂ／Ｇと、を求めるＲ／Ｇ、Ｂ／Ｇ算出手段を備えたことを特徴としている。
【００８４】
請求項２４に記載の発明は、請求項２３に記載の発明において、
前記ホワイトバランス調整手段は、各撮影光源種に対応する前記Ｒ／Ｇと前記Ｂ／Ｇの組み合わせの範囲を示す光源種枠が予め設定された光源推定マップ上へ前記算出された各小画面エリアのＲ／Ｇ、Ｂ／Ｇをプロットすることにより前記各小画面エリアの撮影光源の種類を推定する第１光源判定手段を備えたことを特徴としている。
【００８５】
請求項２５に記載の発明は、請求項２４に記載の発明において、
前記ホワイトバランス調整手段は、前記各光源種枠内にプロットされた小画面エリアの個数、或いは撮影ＥＶ値を変数とするメンバシップ関数を用いて前記シーン参照画像データの撮影光源の種類を判定する第２光源判定手段を備えたことを特徴としている。
【００８６】
請求項２６に記載の発明は、請求項２２に記載の発明において、
前記ホワイトバランス調整手段は、前記分割された各小画面毎に最小二乗法を用いて撮影光源色温度を推定する色温度推定手段を備えたことを特徴としている。
【００８７】
請求項２７に記載の発明は、請求項２６に記載の発明において、
前記ホワイトバランス調整手段は、前記各小画面エリアの撮影光源色温度の出現頻度によりヒストグラムを作成するヒストグラム作成手段を備えたことを特徴としている。
【００８８】
請求項２８に記載の発明は、請求項２７に記載の発明において、
前記ホワイトバランス調整手段は、前記作成されたヒストグラムに基づいて前記シーン参照画像データの画像領域を少なくとも２以上のグループに分割し、グループ毎に異なるホワイトバランス調整を施すグループ別ホワイトバランス調整手段を備えたことを特徴としている。
【００８９】
請求項２９に記載の発明は、請求項２１〜２８に記載の発明において、
前記適用量決定手段は、前記ホワイトバランスを調整する程度を示すデータと実際のホワイトバランス調整の適用量の関係を任意に設定可能であることを特徴としている。
【００９０】
請求項３０に記載の発明の画像処理方法は、
撮像装置特性に依存したシーン参照生データに対し、撮像装置特性補正処理を施すための再現補助データに基づいて撮像装置特性補正処理を施して標準化されたシーン参照画像データを生成するシーン参照画像データ生成工程と、
該シーン参照画像データに、ホワイトバランス調整の程度を示すデータに基づいて内容が決定された、出力媒体上に形成される鑑賞画像の画質を最適なものとするための画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成工程と、
を含むことを特徴としている。
【００９１】
請求項３１に記載の発明の画像処理方法は、
撮像装置特性に依存したシーン参照生データに対し、撮像装置特性補正処理を施すための再現補助データに基づいて撮像装置特性補正処理を施して標準化されたシーン参照画像データを生成するシーン参照画像データ生成工程と、
該シーン参照画像データに、撮影情報データとホワイトバランス調整の程度を示すデータに基づいて内容が決定された、出力媒体上に形成される鑑賞画像の画質を最適なものとするための画像処理を施して、鑑賞画像参照データを生成する鑑賞画像参照データ生成工程と、
を含むことを特徴としている。
【００９２】
請求項３２に記載の発明は、請求項３０又は３１に記載の発明において、
前記鑑賞画像参照データ生成工程は、前記ホワイトバランス調整の程度を示すデータに基づき、ホワイトバランス調整の適用量を決定する適用量決定工程と、
前記シーン参照画像データに対して、前記決定された適用量のホワイトバランス調整を施すホワイトバランス調整工程と、
を含むことを特徴としている。
【００９３】
請求項３３に記載の発明は、請求項３２に記載の発明において、
前記ホワイトバランス調整工程は、前記シーン参照画像データを小画面エリアに分割する小画面分割工程を含むことを特徴としている。
【００９４】
請求項３４に記載の発明は、請求項３３に記載の発明において、
前記ホワイトバランス調整工程は、前記分割された小画面エリア毎にＲ信号の積算値とＧ信号の積算値との比Ｒ／Ｇと、Ｂ信号の積算値とＧ信号の積算値との比Ｂ／Ｇと、を求めるＲ／Ｇ，Ｂ／Ｇ算出工程を含むことを特徴としている。
【００９５】
請求項３５に記載の発明は、請求項３４に記載の発明において、
前記ホワイトバランス調整工程は、各撮影光源種に対応する前記Ｒ／Ｇと前記Ｂ／Ｇの組み合わせの範囲を示す光源種枠が予め設定された光源推定マップ上へ前記算出された各小画面エリアのＲ／Ｇ、Ｂ／Ｇをプロットすることにより前記各小画面エリアの撮影光源の種類を推定する第１光源判定工程を含むことを特徴としている。
【００９６】
請求項３６に記載の発明は、請求項３５に記載の発明において、
前記ホワイトバランス調整工程は、前記各光源種枠内にプロットされた小画面エリアの個数、或いは撮影ＥＶ値を変数とするメンバシップ関数を用いて前記シーン参照画像データの撮影光源の種類を判定する第２光源判定工程を含むことを特徴としている。
【００９７】
請求項３７に記載の発明は、請求項３３に記載の発明において、
前記ホワイトバランス調整工程は、前記分割された各小画面毎に最小二乗法を用いて撮影光源色温度を推定する色温度推定工程を含むことを特徴としている。
【００９８】
請求項３８に記載の発明は、請求項３７に記載の発明において、
前記ホワイトバランス調整工程は、前記各小画面エリアの撮影光源色温度の出現頻度によりヒストグラムを作成するヒストグラム作成工程を含むことを特徴としている。
【００９９】
請求項３９に記載の発明は、請求項３８に記載の発明において、
前記ホワイトバランス調整工程は、前記作成されたヒストグラムに基づいて前記シーン参照画像データの画像領域を少なくとも２以上のグループに分割し、グループ毎に異なるホワイトバランス調整を施すグループ別ホワイトバランス調整工程を含むことを特徴としている。
【０１００】
請求項４０に記載の発明は、請求項３２〜３９の何れか一項に記載の発明において、
前記適用量決定工程は、前記ホワイトバランスを調整する程度を示すデータと実際のホワイトバランス調整の適用量の関係を任意に設定可能であることを特徴としている。
【０１０１】
請求項４１に記載の発明は、請求項３０〜４０の何れか一項に記載の発明において、
撮影ＥＶ値を入力する工程を含むことを特徴としている。
【０１０２】
請求項４２に記載の発明は、
コンピュータに請求項３０〜４１の何れか一項に記載の画像処理方法を実現させるためのプログラムであることを特徴としている。
【０１０３】
請求項４３に記載の発明は、
請求項４２に記載のプログラムを記録した記録媒体であることを特徴としている。
【０１０４】
上記説明した本発明の撮像装置によれば、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為に意図的にデータ内容を改変する画像処理や、撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のＲＩＭＭ  ＲＧＢやｓＲＧＢ等の標準化された色空間にマッピングする処理の省略された、被写体に忠実な情報を記録した撮像装置直接の生出力信号であるシーン参照生データと、撮像素子固有の分光感度特性かＲＩＭＭ  ＲＧＢのような特定の標準色空間に変換する時に使用すべきマトリックス係数が記載された撮像装置特性補正処理を施す際に十分なデータと、撮影者により指定されたホワイトバランス調整の程度を示すデータとを出力するようにし、シーン参照画像データへの撮像装置内による変換処理を省くことにより、撮像装置の処理負荷や消費電力を低減させ、処理（撮影）能力の向上や、バッテリー駆動時の処理（撮影）枚数の増加を可能にする。また、撮影者により指定されたホワイトバランス調整の程度を示すデータを出力することにより、画像処理装置や画像記録装置において、撮影者の嗜好を反映したホワイトバランス調整が可能となる。
【０１０５】
また、本発明の画像処理装置によれば、撮像装置から出力されるシーン参照生データを、家庭や職場環境でのプリント出力用途に利用することが可能となる。更に、撮像装置から出力されるシーン参照生データから、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等、公知のあらゆる「記憶媒体」への出力用に、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データを作成することが出来る。
【０１０６】
また、本発明の画像記録装置によれば、前記撮像装置の出力するシーン参照生データから、シーン参照画像データを生成し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスや、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等の出力媒体上に、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データを形成することができる。
【０１０７】
また、本発明の撮像装置、画像処理装置、画像記録装置及び画像処理方法によって、夕焼けや、タングステン光、ろうそくの光などを撮影光源とするシーンにおいて、撮影時の撮影者だけでなく、撮影後の撮影者を始め、プリントを作成する人や、鑑賞する人の好みに応じて、見た目通りの色調仕上げにしたり、昼光光源下での色調仕上げにするなどの選択を、画像圧縮に起因する画質劣化を伴わずに可能とする。
【０１０８】
さらに、本発明の画像処理方法を実行する為のプログラムと、これを記憶した記憶媒体によって、本発明の技術を他のハードウエア上、例えば従来の画像処理装置、及び画像記録装置上で実行することが可能となる。
【０１０９】
【発明の実施の形態】
以下、本発明に係る撮像装置の好ましい実施形態ついて、図面に基づいて説明する。なお、本実施の形態において、「ホワイトバランス調整の程度を示すデータ」を「適用率データ」と称す。
【０１１０】
＜撮像装置２２の構成＞
まず、構成を説明する。
図１に、本発明に係る撮像装置２２の構成例を示す。図１に示すように、撮像装置２２は、レンズ１、絞り２、ＣＣＤ３、アナログ処理回路４、Ａ／Ｄ変換器５、一時記憶メモリ６、画像処理部７、ヘッダ情報処理部８、記憶デバイス９、ＣＣＤ駆動回路１０、制御部１１、装置特性補正情報処理部１３、操作部１４、表示部１５、ストロボ駆動回路１６、ストロボ１７、焦点距離調整回路１８、自動焦点駆動回路１９、モータ２０、適用率データ処理部２１等を備えて構成されている。
【０１１１】
撮像装置２２の光学系は、レンズ１、絞り２、ＣＣＤ（固体撮像素子）３を備えて構成されている。
レンズ１は、フォーカスの調節を行い、被写体の光画像を結像する。絞り２は、レンズ１を透過した光束の光量を調節する。ＣＣＤ３は、レンズ１により受光面上に結像された被写体光を、ＣＣＤ３内の各センサ毎に光の入射量に応じた量の電気的な信号（撮像信号）へ光電変換する。そして、ＣＣＤ３は、ＣＣＤ駆動回路１０から出力されるタイミングパルスに制御されることにより、この撮像信号をアナログ処理回路４へ順次出力する。
【０１１２】
アナログ処理回路４は、ＣＣＤ３から入力された撮像信号に対して、Ｒ、Ｇ、Ｂ信号の増幅やノイズの低減処理等を行う。このアナログ処理回路４における処理は、操作部１４からの操作信号に応じてＯＮ／ＯＦＦが切り替えられるようになっている。
【０１１３】
Ａ／Ｄ変換器５は、アナログ処理回路４から入力された撮像信号をデジタル画像データに変換して出力する。
一時記憶メモリ６は、バッファメモリ等であり、Ａ／Ｄ変換器５から出力されたデジタル画像データを一時格納する。
【０１１４】
画像処理部７は、表示部１５での表示に用いるデジタル画像データの階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等の画質向上処理の他、画像サイズの変更、トリミング、アスペクト変換等の処理を行う。この画像処理部７における処理は、操作部１４からの操作信号に応じてＯＮ／ＯＦＦが切り替えられるようになっている。
【０１１５】
ヘッダ情報処理部８は、一時記憶メモリ６に格納されたデジタル画像データに対して、装置特性補正情報処理部１３により生成された撮像装置特性補正データｄ２をヘッダ情報として書き込み処理する。
【０１１６】
記憶デバイス９は、不揮発性の半導体メモリ等により構成されており、撮影されたデジタル画像データを記録するメモリカード等の記録メディアと、撮像装置２２の制御プログラム、各種処理プログラム、プログラムに必要なデータ、ホワイトバランス調整の適用率データや撮影により取得したデジタル画像データの記録形態を始めとする各種設定データ等が記憶された読み出し可能なメモリとにより構成されている。
【０１１７】
ＣＣＤ駆動回路１０は、制御部１１から出力される制御信号をもとにタイミングパルスを出力し、ＣＣＤ３の駆動制御を行う。
【０１１８】
制御部１１は、「シーン参照生データ生成手段」及び「記録制御手段」としての機能を含み、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等により構成され、記憶デバイス９に記憶されている撮像装置２２の制御プログラムや各種処理プログラムを読み出して、読み出したプログラムに従って撮像装置２２全体の制御、各種処理を行う。具体的には、制御部１１は、シーン参照生データの記録が設定されている場合、操作部１４からのレリーズスイッチの操作に応じて後述するシーン参照生データ保存処理Ａを実行する。シーン参照生データ保存処理Ａにおいて制御部１１は、操作部１４からの第一段レリーズスイッチの操作（レリーズスイッチの半押し操作）に応じて各部を制御し、測光及び測距を行ってＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）評価値及び撮影ＥＶ値を算出し、算出された撮影ＥＶ値を一時的にＲＡＭに格納する。次いで第二段レリーズスイッチの操作（レリーズスイッチの全押し操作）に応じて撮影を行い、撮影により取得された撮像信号に対してアナログ処理部４における信号増幅やノイズの低減処理や画像処理部７における画像処理を省略してシーン参照生データｄ１を生成し、生成したシーン参照生データｄ１に撮像装置特性補正データｄ２及び適用率データｄ３をヘッダ情報として添付して記憶デバイス９の記録メディアに記録させる。
【０１１９】
装置特性補正情報処理部１３は、「再現補助データ生成手段」としての機能を有し、撮影により取得されたデジタル画像データをシーン参照生データｄ１として記憶デバイス９の記録メディアに記録する場合に、このシーン参照生データｄ１をＲＩＭＭ  ＲＯＭ、ＥＲＩＭＭ  ＲＯＭＭ等の標準化された色空間のシーン参照画像データｄ５に変換するために必要な情報として撮像装置特性補正データｄ２を生成し、ヘッダ情報処理部８に出力する。この撮像装置特性補正データｄ２は、「標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データ」に相当する。
【０１２０】
操作部１４は、「指定手段」としての機能を有し、表示部１５の表示画面を覆う透明なシートパネルに指等で触れることにより入力される位置情報を入力信号として制御部１１に出力するタッチパネルを備え、例えばホワイトバランス適用率入力画面１５１、１５２（図２（ａ）（ｂ）参照）からの押下信号を制御部１１に出力する。また、操作部１４は、図示しないレリーズスイッチ、電源のＯＮ／ＯＦＦボタン、ズームボタン等の各種機能ボタン、カーソルキー、矢印ボタン等が設けられ、各ボタンやキーに対応する操作信号を入力信号として制御部１１に出力する。更に、操作部１４は、撮影により取得されたデジタル画像データのシーン参照生データｄ１による記録を設定するための機能ボタンを備えており、この機能ボタンのＯＮ／ＯＦＦ操作によりアナログ処理回路４及び画像処理部７のＯＮ／ＯＦＦが切り替えられるようになっている。
【０１２１】
表示部１５は、制御部１１からの制御信号により、撮影により取得されたデジタル画像データを表示するとともに、撮像装置２２の操作者が撮影に関する設定を入力するための入力画面や、撮影に関する設定や条件を確認するための情報を表示する。
【０１２２】
図２（ａ）は、ユーザが嗜好に応じてホワイトバランスを調整する程度を入力するためのホワイトバランス適用率入力画面１５１の一例を示す図である。図２（ａ）に示すように、ホワイトバランス適用率入力画面１５１には右矢印ボタン１５１ａと左矢印ボタン１５１ｂが表示され、これらの矢印ボタンの押下により、ＣＣＤ３を介して取得される画像信号のホワイトバランス調整を行わず撮影光源の色をそのまま保持する「無補正（０％）」から、最大限にホワイトバランス調整を行う「最大補正（１００％）」までを７段階で入力することができる。右矢印ボタン１５１ａが１回押下されると、レベルインジケータ１５１ｃの点灯数が一つ増加し、これに応じた適用率（％）が増加する。左矢印ボタン１５１ｂが１回押下されると、レベルインジケータ１５１ｃの点灯数が一つ減少し、これに応じた適用率（％）が減少する。
【０１２３】
また、別の態様として、図２（ｂ）に示すホワイトバランス適用率入力画面１５２のように、白熱電球、蛍光灯、タングステン灯（ろうそく）、昼光等の光源を示すアイコンを表示し、何れか１つが選択されると、その光源に適したホワイトバランス調整の適用率を撮像装置側で自動的に設定するようにしてもよい。
【０１２４】
上述したホワイトバランス適用率入力画面１５１、１５２により入力されたホワイトバランス調整の適用率データは記憶デバイス９に記憶される。
【０１２５】
ストロボ駆動回路１６は、制御部１１からの制御信号により、被写体輝度が低い時にストロボ１７を駆動制御して発光させる。
ストロボ１７は、電池電圧を所定の高電圧に昇圧させ、電荷としてコンデンサに蓄える。そして、ストロボ駆動回路１６により駆動されることにより、コンデンサに蓄えられた電荷によりＸ管を発光して、被写体に対して補助光を照射する。
【０１２６】
焦点距離調整回路１８は、制御部１１からの制御信号により、レンズ１を移動させて焦点距離を調整するためのモータ２０の制御を行う。
自動焦点駆動回路１９は、制御部１１からの制御信号により、レンズ１を移動させてフォーカス（ピント）を調整するためのモータ２０の制御を行う。
【０１２７】
適用率データ処理部２１は、記憶デバイス９に記憶されている適用率データ及び制御部１１内のＲＡＭに格納されている撮影ＥＶ値を読み出してヘッダ情報処理部８へ出力する。
【０１２８】
＜撮像装置２２の動作＞
次に、動作について説明する。
図３に、操作部１４により、撮影されたデジタル画像データのシーン参照生データｄ１による記録が設定され、レリーズスイッチが押下された際に、制御部１１の制御により実行されるシーン参照生データ保存処理Ａを示す。以下、図３を参照してシーン参照生データ保存処理Ａについて説明する。
【０１２９】
制御部１１は、操作部１４のレリーズボタンが押下されると各部を制御して撮影を行う（ステップＳ１）。ＣＣＤ３から得られた撮像信号はＡ／Ｄ変換器５によりデジタル画像データに変換され、シーン参照生データｄ１が生成される（ステップＳ２）。また、装置特性補正情報処理部１３により、生成されたシーン参照生データｄ１に撮像装置特性補正処理を施す際に必要なデータ、即ち、撮像装置特性補正データｄ２が生成され（ステップＳ３）、適用率データ処理部２１により記憶デバイス９からホワイトバランス調整の適用率データが読み出され、ＲＡＭに格納されている撮影ＥＶ値とともに適用率データｄ３が生成される（ステップＳ４）。
【０１３０】
撮像装置特性補正データｄ２及び適用率データｄ３は、制御部１１の制御により、ヘッダ情報処理部８に出力され、ヘッダ情報処理部８によりシーン参照生データｄ１のファイルヘッダに撮像装置特性補正データｄ２及び適用率データｄ３がタグ情報として記録、添付され（ステップＳ５）、添付済みのデータファイルが作成される（ステップＳ６）。この添付済みのデータファイルは、撮影装置２１に着脱可能に構成された記憶デバイス９の記録メディアに記録、保存される（ステップＳ７）。
【０１３１】
図４は、ステップＳ７で記憶デバイス９の記録メディアに記録されるデジタル画像データのデータ構造を示す図である。図４に示すように、撮影されたデジタル画像データは、シーン参照生データｄ１として記録され、そのヘッダ領域に、撮像装置特性補正データｄ２及び適用率データｄ３が記録されている。この記録メディアを撮像装置２２から取り出して、画像処理装置や画像記録装置等の外部装置に装着することにより、シーン参照生データｄ１、撮像装置特性補正データｄ２及び適用率データｄ３をこれらの外部装置に出力することができる。
【０１３２】
以上説明したように、図１に示した撮像装置２２によれば、ホワイトバランス調整、階調変換、鮮鋭性強調、彩度強調のような画像鑑賞時の効果を向上する為に意図的にデータ内容を改変する画像処理や、撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のＲＩＭＭ  ＲＧＢやｓＲＧＢ等の標準化された色空間にマッピングする処理の省略された、被写体に忠実な情報を記録した撮像装置の生出力信号であるシーン参照生データｄ１と、撮像素子固有の分光感度特性かＲＩＭＭ  ＲＧＢのような特定の標準色空間に変換する時に使用すべきマトリックス係数が記載された撮像装置特性補正データｄ２と撮影者の嗜好に基づくホワイトバランス調整の程度を示す適用率データｄ３とを出力するようにし、シーン参照画像データへの撮像装置内による変換処理を省くことにより、撮像装置の処理負荷や消費電力を低減させ、処理（撮影）能力の向上や、バッテリー駆動時の処理（撮影）枚数の増加を可能にする。
【０１３３】
＜撮像装置２３の構成＞
次に、デジタル画像データの出力先においてより一層好ましい画像を得るために、撮像装置２２の構成に撮影情報データ処理部１２を追加して構成される撮像装置２３について説明する。図５に、撮像装置２３の構成例を示す。
【０１３４】
撮影情報データ処理部１２は、「撮影情報データ生成手段」としての機能を有し、例えばカメラ名称やコード番号など、カメラ種別（機種）に直接関係する情報、或いは露出時間、シャッタースピード、絞り値（Ｆナンバー）、ＩＳＯ感度、輝度値、被写体距離範囲、光源、ストロボ発光の有無、被写体領域、ホワイトバランス、ズーム倍率、被写体構成、撮影シーンタイプ、ストロボ光源の反射光の量、撮影彩度などの撮影条件設定や、被写体の種類に関する情報等を示す撮影情報データｄ４を生成する。なお、撮影情報データ処理部１２以外の構成は撮像装置２２と同様であるので、説明を省略する。
【０１３５】
＜撮像装置２３の動作＞
図６に、操作部１４により、撮影されたデジタル画像データのシーン参照生データｄ１による記録が設定され、レリーズスイッチが押下された際に、制御部１１の制御により実行されるシーン参照生データ保存処理Ｂの例を示す。以下、図６を参照してシーン参照データ保存処理Ｂについて説明する。
【０１３６】
制御部１１は、操作部１４のレリーズボタンが押下されると、各部を制御して撮影を行う（ステップＳ１１）。ＣＣＤ３から得られた撮像信号は、Ａ／Ｄ変換器５によりデジタル画像データに変換され、シーン参照生データｄ１が生成される（ステップＳ１２）。また、装置特性補正情報処理部１３により撮像装置特性補正データｄ２が生成され（ステップＳ１３）、撮影情報データ処理部１２により撮影情報データｄ４が生成され（ステップＳ１４）、適用率データ処理部２１により記憶デバイス９から適用率データが読み出され、ＲＡＭに格納されている撮影ＥＶ値とともに適用率データｄ３が生成される（ステップＳ１５）。
【０１３７】
撮像装置特性補正データｄ２、適用率データｄ３及び撮影情報データｄ４はヘッダ情報処理部８に出力され、ヘッダ情報処理部８によりシーン参照生データｄ１のファイルヘッダに撮像装置特性補正データｄ２、適用率データｄ３及び撮影情報データｄ４がタグ情報として記録、添付され（ステップＳ１６）、添付済みのデータファイルが作成され（ステップＳ１７）、この添付済みのデータファイルが撮影装置２３に着脱可能に構成された記憶デバイス９の記録メディアに記録、保存される（ステップＳ１８）。
【０１３８】
図７に、ステップＳ１８で記憶デバイス９の記録メディアに記録されるデジタル画像データのデータ構造を示す図である。図７に示すように、撮影されたデジタル画像データはシーン参照生データｄ１として記録され、そのヘッダ領域に、撮像装置特性補正データｄ２、適用率データｄ３及び撮影情報データｄ４が記録されている。この記録メディアを撮像装置２３から取り出して、画像処理装置や画像記録装置等の外部装置に装着することにより、シーン参照生データｄ１、撮像装置特性補正データｄ２、適用率データｄ３及び撮影情報データｄ４をこれらの外部装置に出力することができる。
【０１３９】
以上説明したように、撮像装置２３によれば、撮像装置２２の効果に加え、更に、外部の出力装置において、撮影状況に応じた鑑賞画像参照データの生成が可能なデータを出力することができる。
【０１４０】
＜画像処理装置１１５の構成＞
次に、本発明の画像処理装置の実施形態について説明する。
まず、構成を説明する。
図８に本発明に係る画像処理装置１１５の構成例を示す。図８に示すように、画像処理装置１１５は、入力部１０１、ヘッダ情報解析部１０２、撮像装置特性補正データｄ２に基づいてシーン参照生データｄ１に撮像装置特性補正処理を施してシーン参照画像データｄ５を生成する撮像装置特性補正処理部１１３、撮像装置特性補正処理部１１３により生成されたシーン参照画像データｄ５に最適化処理を施して鑑賞画像参照データｄ６を生成する最適化処理部１１４により構成されている。撮像装置特性補正処理部１１３と、最適化処理部１１４にはヘッダ情報解析部１０２が夫々接続されており、さらに最適化処理部１１４には、記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２が夫々接続可能な状態となっている。以上の各構成要素はＣＰＵ及び制御プログラム、画像データ生成処理を始めとする各種処理プログラムを格納したＲＯＭ等により構成される制御部１００の統括的な制御下において動作する。
【０１４１】
入力部１０１は、「入力手段」としての機能を有し、記録メディア装着部（図示せず）を備え、この装着部に上述した撮像装置２２、２３により撮影されたデータのファイル（図４、図７参照）が記録された記録メディアが装着されると、記録されたデータファイルを読み出して、ヘッダ情報解析部１０２へ出力する。なお、本実施の形態においては、入力部１０１は、装着された記録メディアからデータを読み出すこととして説明するが、撮像装置２２、２３とデータ通信ケーブルを介して接続し、或いは無線又は有線の通信手段を介して接続し、データを入力するようにしてもよい。
【０１４２】
ヘッダ情報解析部１０２は、入力部１０１から入力されたデータを解析し、シーン参照生データｄ１と、シーン参照生データｄ１に添付された撮像装置特性補正データｄ２と、適用率データｄ３、撮影情報データｄ４とに分け、シーン参照生データｄ１をシーン参照画像データ生成部１０４へ、撮像装置特性補正データｄ２を装置特性補正処理部１０３ａへ、適用率データｄ３を適用率データ処理部１０６ｂへ、撮影情報データｄ４を撮影情報データ処理部１０６ａへ出力する。
【０１４３】
撮像装置特性補正処理部１１３は、「シーン参照画像データ生成手段」としての機能を有し、図８に示すように、装置特性補正処理部１０３ａ、処理条件テーブル１０３ｂ、シーン参照画像データ生成部１０４及び一時記憶メモリ１０５を有して構成されている。
【０１４４】
装置特性補正処理部１０３ａは、ヘッダ情報解析部１０２から撮像装置特性補正データｄ２入力されると、処理条件テーブル１０３ｂの参照により、シーン参照画像データｄ５の生成条件を決定する。処理条件テーブル１０３ｂは、撮像装置の特性毎に、シーン参照画像データｄ５を生成するための処理条件を対応付けて記憶するテーブルである。
【０１４５】
シーン参照画像データ生成部１０４は、ヘッダ情報解析部１０２から入力されたシーン参照生データｄ１に対して、装置特性補正処理部１０３ａにより決定された生成条件により撮像装置特性補正処理を施して撮像装置特性に依存しない標準化されたシーン参照画像データｄ５を生成し、一時記憶メモリ１０５に出力する。具体的には、撮像装置特性補正処理には、少なくともシーン参照生データｄ１を生成した撮像装置の撮像素子固有の分光感度に基づく各色チャンネルの信号強度を、例えば前述のＲＩＭＭ  ＲＧＢやＥＲＩＭＭ  ＲＧＢなどの標準色空間にマッピングする処理が含まれる。一時記憶メモリ１０５は、シーン参照画像データ生成部１０４により生成されたシーン参照画像データｄ５を一時的に記憶する。
【０１４６】
最適化処理部１１４は、「鑑賞画像参照データ生成手段」としての機能を有し、図８に示すように、撮影情報データ処理部１０６ａ、適用率データ処理部１０６ｂ、鑑賞画像参照データ生成部１０７、一時記憶メモリ１０８及び設定入力部１０９を有して構成されている。
【０１４７】
撮影情報データ処理部１０６ａは、ヘッダ情報処理部１０２から入力された撮影情報データｄ４に基づいて、撮影条件に応じた鑑賞画像参照データｄ６を生成するための画像処理条件を決定する。
【０１４８】
適用率データ処理部１０６ｂは、「適用量決定手段」としての機能を有し、ヘッダ情報解析部１０２から入力された適用率データｄ３に基づいて、ホワイトバランス調整条件を決定する。
【０１４９】
設定入力部１０９は、例えばキーボード、マウス等により構成されており、画像処理装置１１５で生成したデジタル画像データを出力する記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２の種類に関する操作情報が入力されると、この操作情報を鑑賞画像参照データ生成部１０７に出力する。また、設定入力部１０９は、表示デバイス１１２の表示画面を覆う透明なシートパネルに指又はスタイラスペンで触れることにより入力される位置情報を入力信号として出力するタッチパネルにより構成するようにしてもよい。
【０１５０】
鑑賞画像参照データ生成部１０７は、図９に示すように、画面分割手段１０７ａ、Ｒ／Ｇ，Ｂ／Ｇ算出手段１０７ｂ、第１光源判定手段１０７ｃ、第２光源判定手段１０７ｄ、精度判別手段１０７ｅ、ホワイトバランス調整手段１０７ｆ、最適化処理手段１０７ｇにより構成され、撮影情報データ処理部１０６ａで作成された画像処理条件、適用率データ処理部１０６ｂで作成されたホワイトバランス調整処理条件及び設定入力部１０９から入力された出力先の種類に基づいてシーン参照画像データｄ５に画像処理を施し、鑑賞画像参照データｄ６を生成する。なお、画面分割手段１０７ａ〜ホワイトバランス調整手段１０７ｆは、合わせてシーン参照画像データｄ５に対してホワイトバランス調整を施すものであり、本発明の請求項に記載の「ホワイトバランス調整手段」としての機能を有する。
【０１５１】
一時記憶メモリ１０８は、制御部１００からの制御により鑑賞画像参照データ生成部１０７から入力された鑑賞画像参照データｄ６を一時的に記憶する。鑑賞画像参照データｄ６は、設定入力部１０９からの操作情報に従い、記憶デバイス１１０、出力デバイス１１１、表示デバイス１１２の何れかに出力される。
【０１５２】
＜画像処理装置１１５の動作＞
図１０に、画像処理装置１１５の制御部１００の制御下において各部が連携することにより実行される画像データ生成処理の例を示す。以下、図を参照して画像処理装置１１５の動作について説明する。
【０１５３】
図４又は図７に示したデータ構造のファイルが記録された記録メディアが装着されると、入力部１０１により、記録メディアに記録されたデジタル画像データファイルが入力される（ステップ２１）。入力されたデジタル画像データは、ヘッダ情報解析部１０２によりその内容が解析され（ステップＳ２２）、シーン参照生データｄ１（ステップＳ２３）、撮像装置特性補正データｄ２（ステップＳ２４）、適用率データｄ３（ステップＳ２５）、撮影情報データｄ４（ステップＳ２６）に分けられ、シーン参照生データｄ１及び撮像装置特性補正データｄ２は撮像装置特性補正処理部１１３へ、適用率データｄ３及び撮像情報データｄ４は最適化処理部１１４へ出力される。
【０１５４】
撮像装置特性補正データｄ２が撮像装置特性補正処理部１１３へ入力されると、装置特性補正処理部１０３ａにより処理条件テーブル１０３ｂが参照され、シーン参照画像データｄ５を生成するための処理条件が決定される。シーン参照生データｄ１は、シーン参照画像データ生成部１０４により、この処理条件に基づいて撮像装置特性補正処理が施され（ステップＳ２７）、シーン参照画像データｄ５が生成されて最適化処理部１１４に出力される（ステップＳ２８）。
【０１５５】
撮影情報データｄ４が最適化処理部１１４へ入力されると、撮影情報データ処理部１０６ａにより撮影情報データｄ４に基づいて撮影条件に応じた鑑賞画像参照データｄ６を生成するための処理条件が決定される。また、適用率データｄ３が最適化処理部１１４へ入力されると、適用率データ処理部１０６ｂによりホワイトバランス調整条件が決定される。撮像装置特性補正処理部１１３から入力されたシーン参照画像データｄ５は、鑑賞画像参照データ生成部１０７により撮影情報データ処理部１０６ａで決定された処理条件、適用率データ処理部１０６ｂで決定されたホワイトバランス調整条件及び設定入力部１０９から入力された操作情報に基づいて出力先に応じた最適化処理が施され（ステップＳ２９）、鑑賞画像参照データｄ６が生成されて、設定入力部１０９により設定されたデバイスに出力される（ステップＳ３０）。
【０１５６】
図１１に、ステップＳ２９において鑑賞画像参照データ生成部１０７により実行される最適化処理Ａの一例を示す。ここでは、メンバシップ関数を用いるホワイトバランス調整方法を採用する。以下、図１１及び図９の鑑賞画像参照データ生成部１０７のブロック図を参照して最適化処理Ａについて説明する。
【０１５７】
鑑賞画像参照データ生成部１０７にシーン参照画像データｄ５が入力されると、画面分割手段１０７ａは、シーン参照画像データｄ５の１画面を複数の小画面エリアに分割する（ステップＳ１０１）。分割方法は、縦ｍ個、横ｎ個の、合計ｍ×ｎ＝ｋ個の小矩形領域（小画面）に分割する方法が望ましい。分割数は４以上３６以下が望ましい。
【０１５８】
次に、Ｒ／Ｇ，Ｂ／Ｇ算出手段１０７ｂは、上記小画面エリア各々について、色別の平均積算値を算出し、Ｒ信号と、Ｇ信号の積算値との比Ｒ／Ｇ、及びＢ信号と、Ｇ信号の積算値との比Ｂ／Ｇを算出する（ステップＳ１０２）。
【０１５９】
続いて第１光源判定手段１０７ｃは、各小画面エリア毎に算出されたＲ／Ｇ、Ｂ／Ｇの、予め光源種枠の設定された光源推定マップ（図１２参照）上へのプロットにより、各小画面エリアの撮影光源種の第１判定処理を行う（ステップＳ１０３）。具体的には、各小画面エリア毎に算出されたＲ／Ｇ、Ｂ／Ｇが光源推定マップ上の各光源種枠のうちの何れの光源種枠内に入るかを判別することにより、各小画面エリアの撮影光源種の第１判定を行う。
【０１６０】
上記、第１判定処理後、第２光源判定手段１０７ｄは下記の第２判定処理を行う。第２判定処理は、適用率データ処理部１０６ｂから撮影ＥＶ値を読み出し、或いは算出し（ステップＳ１０４）、この撮影ＥＶ値を変数として傾向値Ｖを規定したメンバシップ関数、或いは第１判定処理により得られた光源種毎の各小画面エリアの個数を変数として傾向値Ｖを規定したメンバシップ関数を用いて、判定値Ｆを算出する（ステップ１０５）。撮影ＥＶ値を変数として傾向値Ｖを規定したメンバシップ関数の一例として、傾向値Ｖ（屋外傾向値）を規定したメンバシップ関数を図１３に示す。また、第１判定処理により得られた光源種毎の各小画面エリアの個数を変数として傾向値Ｖを規定したメンバシップ関数の一例として、傾向値Ｖ（日陰、曇り傾向値）を規定したメンパシップ関数を図１４に示す。メンバシップ関数は、判定値Ｆを算出するための傾向値Ｖ（例えば、屋外傾向値、日陰−曇り傾向値、青空傾向値、屋内昼光色傾向値、蛍光灯傾向値、屋内電球傾向値、電球傾向値等）毎に規定されている。
【０１６１】
各メンバシップ関数から得られた傾向値Ｖを用いて、判定値Ｆを求める算出式の例を以下に示す。
【数１】
日陰／曇り判定値Ｆ＝Ｖ（屋外傾向値）×Ｖ（日陰−曇り傾向値）×Ｖ（青空傾向値）
【数２】
昼光色判定値Ｆ＝Ｖ（屋内昼光色傾向値）×Ｖ（蛍光灯傾向値）
【数３】
タンク゛ステン判定値Ｆ＝Ｖ（屋内電球傾向値）×Ｖ（蛍光灯傾向値）×Ｖ（電球傾向値）
なお、判定値Ｆを求める算出式は、図１２に示す光源推定マップ上に光源種枠が設定されている各光源種に対して設定されていることが望ましく、本実施の形態においても、光源推定マップ上の各光源種に対して算出式が設定されている。
【０１６２】
続いて精度判別手段１０７ｅは、上記算出式の判定値Ｆの最大値が所定値以上か否かを判別し（ステップＳ１０６）、所定値以上の場合は、その最大の判定値Ｆの光源を光源種と判定してステップＳ１０７に移行する。全ての算出式が所定値以下である場合には、デーライト（晴れ）と判定し（ステップＳ１０９）、シーン参照画像データｄ５に対するホワイトバランス調整を行わずに処理はステップＳ１１０へ移行する。
【０１６３】
ステップＳ１０７において、ホワイトバランス調整手段１０７ｆは適用率データｄ３を読み込んで（ステップＳ１０７）、シーン参照画像データｄ５に、前記判定された光源種に応じて適用率データｄ３に基づく適用量のホワイトバランス調整を施す（ステップＳ１０８）。
【０１６４】
光源推定マップ上で推定された光源の位置、及び適用率データに基づくホワイトバランス調整の軌跡を図１５に示す。軌跡Ａは電球色光源、軌跡Ｂはタングステン光源の場合の、適用率データｄ３に基づくホワイトバランス調整の軌跡を夫々示している。
【０１６５】
図１５の軌跡Ａ，Ｂ上の数値は、本発明に係る撮像装置２２、２３が、適用率データを段階的に５段階で入力する態様である場合の、各入力点におけるホワイトバランス補正の収束点を示している。プロット点１は適用率０％、プロット点２は適用率２５％、プロット点３は適用率５０％、プロット点４は適用率７５％、及びプロット点５は適用率１００％時の収束点に相当する。図１５において、「適用率データ」が最大値である時、（Ｒ／Ｇ，Ｂ／Ｇ）＝（１，１）＝プロット点５となり、「適用率データ」が最小値である時、（Ｒ／Ｇ，Ｂ／Ｇ）の座標は推定光源位置（プロット点１）から変わらない。
【０１６６】
光源推定マップ上で推定された光源の位置から、ホワイトバランスを最大に調整したプロット点５である（Ｒ／Ｇ，Ｂ／Ｇ）＝（１，１）への変換は、予め定義した関数ｆを用いて行う。ホワイトバランス調整は、関数ｆにより算出されたホワイトバランス補正量（ｎ１，ｎ２，ｎ３）を用いた下記式により行う。
【数４】
Ｒ’＝ｎ１×Ｒ  ，  Ｇ’＝ｎ２×Ｇ  ，  Ｂ’＝ｎ３×Ｂ
ここで、Ｒ，Ｇ，Ｂは元の画像信号であり、Ｒ’，Ｇ’，Ｂ’はホワイトバランス補正後の画像信号である。
【０１６７】
従って、適用率データの値ｍとホワイトバランス補正量の関係は、下記式で表される。
【数５】
Ｒ’＝ｍ×ｎ１×Ｒ  ，  Ｇ’＝ｍ×ｎ２×Ｇ  ，  Ｂ’＝ｍ×ｎ３×Ｂ
【０１６８】
なお、適用率データの値ｍとホワイトバランス調整の補正量（適用量）の関係は適用率データ処理部１０６ｂにより決定されるが、上述した様に、シーン参照画像データｄ５に対して完全にホワイトバランス調整を施す場合を適用率データ１００％として、適用率データｄ３の値に比例した適用量を施す他、適用率データｄ３が大きくなる程実際のホワイトバランス調整の適用の割合を増大させる、或いは減少させる等、適用率データｄ３と実際のホワイトバランス調整の適用量の関係を任意に設定することができる。
【０１６９】
図１５の軌跡Ｃは、蛍光灯光源の、適用率データｄ３に基づくホワイトバランス調整の軌跡を示している。図１５の軌跡Ｄは、電球色光源の、適用率データｄ３に基づく「肌色」重視型のホワイトバランス補正パターンを示している。軌跡Ｄの適用率データｄ３が最大値である時の収束点（プロット点５）は、（Ｒ／Ｇ，Ｂ／Ｇ）＝（１，１）となっていない。このように必ずしも軌跡が直線でなかったり、収束点（プロット点５）が（Ｒ／Ｇ，Ｂ／Ｇ）＝（１，１）でなくとも良い。
【０１７０】
ホワイトバランス調整が施された後、最適化処理手段１０７ｇは、シーン参照画像データｄ５に対して、撮影情報データ処理部１０６ａで決定された画像処理条件及び設定入力部１０９から入力された操作情報に基づいて出力先に応じた最適化処理を施す（ステップＳ１１０）。最適化処理には、例えば、出力先の色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、出力デバイスや表示デバイスの出力特性（ＬＵＴ）への対応処理等が含まれる。更に、ノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、覆い焼き処理等の画像処理が含まれる。
【０１７１】
以上説明した処理により、シーン参照画像データｄ５から鑑賞画像参照データｄ６が生成される。なお、ホワイトバランス調整の方法としては、上述したメンバシップ関数を用いた方法に限定されない。図１６に、ホワイトバランス調整方法として、小画面エリア毎の色温度を推定してホワイトバランスを調整する方法を採用した場合の鑑賞画像参照データ生成部１０７の内部構成を示す。なお、画面分割手段１０７ｈ〜グループ別ホワイトバランス調整手段１０７ｍは、合わせてシーン参照画像データｄ５に対してホワイトバランス調整を施すものであり、本発明の請求項に記載の「ホワイトバランス調整手段」としての機能を有する。また、図１７に、そのホワイトバランス調整を含む最適化処理Ｂの例を示す。以下、図１６及び図１７を参照して最適化処理Ｂについて説明する。
【０１７２】
鑑賞画像参照データ生成部１０７にシーン参照画像データｄ５が入力されると、画面分割手段１０７ｈは、シーン参照画像データｄ５の１画面を複数の小画面エリアに分割する（ステップＳ２０１）。分割方法は、縦ｍ個、横ｎ個の、合計ｍ×ｎ＝ｋ個に小矩形領域（小画面）に分割する方法が望ましい。分割数は４以上３６以下が望ましい。
【０１７３】
続いて色温度推定手段１０７ｉは、小画面エリア各々について、小画面エリア毎に色温度Ｔを推定する第１判定処理を行う（ステップＳ２０２）。以下、色温度の推定方法について述べる。
【０１７４】
まず、デジタルカメラで、例えば３５００Ｋの色温度光源でグレーを撮影した画像信号（Ｒ，Ｇ，Ｂ）を以下の式［数６］により、色度座標（ｒ，ｂ）に変換し、図１８に示す色度図にプロットする。
【数６】
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ），ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ）
【０１７５】
図１８の軌跡Ｅは、グレーの黒体放射軌跡であり、撮像装置から入力されたデジタル画像データが、例えばシーン参照生データｄ１である場合のように撮像装置側でオートホワイトバランスが施されていない場合、或いは撮像装置のオートホワイトバランスが正常に作動した場合、上記色度座標（ｒ，ｂ）は、図１８に示す３５００Ｋ付近にプロットされるはずである。しかしながら、例えば図１８のａの領域内にプロットされた場合のように、３５００Ｋからはずれた位置にプロットされた場合には、オートホワイトバランスが正常に作動しなかった可能性があることを示す。
【０１７６】
下記数式［数７］により画像信号Ｒ，Ｇに対して１次変換を施した信号Ｒ’，Ｇ’をグレーの黒体軌跡と比較して、黒体軌跡の近傍（例えば色度座標（ｒ，ｂ）上で所定範囲内）として検出される画素をグレー候補画素とする。グレー候補画素の個数をカウントし、個数が最大となるよう係数ｒ１，ｒ２の値を最適化する。
【数７】
Ｒ’＝ｒ１×Ｒ  ，  Ｇ’＝ｒ２×Ｇ
最適化したｒ１、ｒ２を用いて画像信号を変換し、グレーの黒体軌跡上のグレー候補画素群の平均色温度を算出することにより色温度Ｔを推定する。
【０１７７】
最適化の方法としては、例えば、最小二乗法が挙げられる。最小二乗法には線形と非線形とがあり、後者としては準ニュートン法、ガウス−ニュートン法や、マルカート法などが知られている。非線形最小二乗法の場合、線形とは異なり有限回の手段で解が求まらないので、最小点探索のための最適化を行う。この最適化法の例としては、シンプレックス法（Ｓｉｍｐｌｅｘ法）や、ダビドン−フレッチャー−ポーウェル法（ＤＦＰ法）が知られているが、本発明では前者のシンプレックス法を用いることが好ましい。
【０１７８】
次に、ヒストグラム作成手段は、推定された小画面エリア毎の色温度Ｔの出現頻度ヒストグラムを作成する（ステップＳ２０３）。
【０１７９】
次に、グループ分け手段は、上記ヒストグラムのピークの高い順に２つを選択し、この２つのピークの中間色温度Ｔｍを算出し、各小画面エリアの色温度Ｔが中間色温度Ｔｍより大きいか小さいかにより各小画面エリアを２つのグループに分ける（ステップＳ２０４）。なおここでは２つのグループ分けを例に説明したが、選択されるピーク数、並びにグループ分けの数はこれに限定されない。
【０１８０】
次にグループ別色温度推定手段は、上記中間色温度Ｔｍを指標に２つのグループに分割された小画面エリアの集合毎に色温度Ｔｓ１、Ｔｓ２を推定する第２判定処理を行う（ステップＳ２０５）。
【０１８１】
そして、グループ別ホワイトバランス調整手段は、適用率データｄ３を読み込み（ステップＳ２０６）、各グループの推定された色温度Ｔｓ１、Ｔｓ２に基づいてグループ毎にホワイトバランス補正量を算出し、算出された補正量と適用率データｄ３とに基づいて、グループ毎に全ての小画面に対してホワイトバランス調整を施す（ステップＳ２０７）。このようにして、ミックス光源により撮影されたシーンにおいて、各光源の照射された撮影領域毎に、適用率データｄ３に応じてホワイトバランス調整を施すことができる。
【０１８２】
軌跡Ｅ上のプロット点（１〜５）は、本発明に係る撮像装置２２、２３が、適用率データを段階的に５段階で入力する態様である場合の、各入力点におけるホワイトバランス補正の収束点を示している。プロット点１は適用率０％、プロット点２は適用率２５％、プロット点３は適用率５０％、プロット点４は適用率７５％、及びプロット点５は適用率１００％時の収束点に相当する。「適用率データ」が最大値である時、収束点はプロット点５となり、「適用率データ」が最小値である時、推定色温度（プロット点１）の位置から変わらない。プロット点５は、標準的な色温度５０００Ｋである。
【０１８３】
推定された色温度Ｔｓ１、Ｔｓ２から５５００Ｋへの変換は、予め定義した色温度の関数ｆを用いて行う。ホワイトバランス調整は、関数ｆにより算出されたホワイトバランス補正量（ｔ１，ｔ２，ｔ３）を用いた下記式により行う。
【数８】
Ｒ”＝ｔ１×Ｒ  ，  Ｇ”＝ｔ２×Ｇ  ，  Ｂ”＝ｔ３×Ｂ
ここで、Ｒ，Ｇ，Ｂは元の画像信号であり、Ｒ”，Ｇ”，Ｂ”はホワイトバランス補正後の画像信号である。
【０１８４】
従って、適用率データの値ｓとホワイトバランス補正量の関係は、下記式で表される。
【数９】
Ｒ”＝ｓ×ｔ１×Ｒ  ，  Ｇ”＝ｓ×ｔ２×Ｇ  ，  Ｂ”＝ｓ×ｔ３×Ｂ
【０１８５】
なお、適用率データの値ｓとホワイトバランス調整の補正量（適用量）の関係は適用率データ処理部１０６ｂにより決定されるが、上述した様に、シーン参照画像データｄ５に対して完全にホワイトバランス調整を施す場合を適用率データの値が１００％である時とし、適用率データｄ３の値に比例した適用量を施す他、適用率データｄ３が大きくなる程実際のホワイトバランス調整の適用の割合を増大させる、或いは減少させる等、適用率データｄ３と実際のホワイトバランス調整の適用量の関係を任意に設定することができる。
【０１８６】
ホワイトバランス調整が施された後、最適化処理手段１０７ｇは、シーン参照画像データｄ５に対して、撮影情報データ処理部１０６ａで決定された画像処理条件及び設定入力部１０９から入力された操作情報に基づいて出力先に応じた最適化処理を施す（ステップＳ２０８）。最適化処理には、例えば、出力先の色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、出力デバイスや表示デバイスの出力特性（ＬＵＴ）への対応処理等が含まれる。更に、ノイズ抑制、鮮鋭化、カラーバランス調整、彩度調整、覆い焼き処理等の画像処理が含まれる。
【０１８７】
なお、本発明の実施に際して、ホワイトバランスの調整方法、並びにこの方法を実施するための鑑賞画像参照データ生成部１０７の構成は、上述した方法、構成に限定されない。また、画像処理装置１１５は、ホワイトバランスの調整方法を切り替えて用いることのできる仕様であっても良い。また、図１９に示すように、制御部１００の制御により表示デバイス１１２にホワイトバランス適用率入力画面１１２１を表示させ、この画面からの適用率の入力に基づいてホワイトバランス調整を施すようにしてもよい。これにより、画像処理を施す人の好みに応じたホワイトバランス調整を施すことができる。さらに図１９に示すように、光源推定結果や、適用率データに基づくホワイトバランス調整の結果を、表示デバイス１１２に表示する仕様であっても良い。
【０１８８】
また、設定入力部１０９は、シーン参照画像データｄ５の出力を指定する機能を備えており、画像処理装置１１５はシーン参照画像データｄ５を外部に出力することが可能である。設定入力部１０９によりシーン参照画像データｄ５の出力が指定されると、制御部１００の制御により、上述した図１０に示す画像データ生成処理において、ステップＳ２９、３０における最適化処理及び鑑賞画像参照データの生成が省略され、撮像装置特性補正処理部１１３により生成されたシーン参照画像データｄ５のヘッダ領域に撮像装置特性補正データｄ２、適用率データｄ３及び撮影情報データｄ４を添付して出力データファイルを生成するステップ（「出力データ生成手段」としての機能）、及びその出力データファイルを記憶デバイス１１０、出力デバイス１１１又は表示デバイス１１２に出力するステップが実行される。このとき、上述したホワイトバランス適用率入力画面１１２１から適用率データｄ３が入力された場合には、入力された適用率データｄ３のみをシーン参照画像データｄ５に添付するようにしてもよいし、入力された適用率データｄ３と撮像装置から撮影者により指定された適用率データｄ３の両方をシーン参照画像データｄ５に添付する態様としてもよい。
【０１８９】
図２０は、図４で示したデータ構造のファイルが入力部１０１から入力された場合に、シーン参照画像データｄ５を生成して記憶デバイス１１０に出力する際のデータ構造の例を示す図である。また、図２１は、図７で示したデータ構造のファイルが入力部１０１から入力された場合に、シーン参照画像データｄ５を生成して記憶デバイス１１０に出力する際のデータ構造の例を示す図である。これらの記憶デバイス１１０を画像記録装置等の外部装置に装着することにより、シーン参照画像データｄ５、撮像装置特性補正データｄ２、適用率データｄ３（及び撮影情報データｄ４）を外部装置に出力することができ、外部装置にて、自己の装置に応じた最適化処理を行うことができる。
【０１９０】
更に、入力部１０１にはシーン参照画像データｄ５に適用率データｄ３及び撮影情報データｄ４が添付されたファイルを入力することが可能であり、この場合、撮像装置特性補正処理部１１３における処理が省略され、最適化処理部１１４における処理のみが行われる。
【０１９１】
以上説明した様に、本発明に係る画像処理装置１１５によって、前記撮像装置２２、２３の出力するシーン参照生データｄ１から、シーン参照画像データｄ５を生成し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等、公知のあらゆる「記憶媒体」への出力用に、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データｄ６を作成することが出来る。このとき、シーン参照画像データｄ５に対して適用率データｄ３に基づいて、即ち撮影時の撮影者の好みに応じた、あるいは画像処理装置１１５の操作者の好みに応じた適用量のホワイトバランス調整を施すことができる。シーン参照画像データｄ５を撮像装置特性補正データｄ２、適用率データｄ３、撮影情報データｄ４と共に出力することもできるので、撮像装置２２、２３から出力されたデジタル画像データを撮像画像情報の情報損失を伴うことなく家庭や職場環境でのプリント出力用途に利用することが可能となる。
【０１９２】
＜画像記録装置２０１の構成＞
次に、本発明に係る画像記録装置２０１について説明する。
図２２は本発明に係る画像記録装置２０１の外観構成を示す斜視図である。本実施の形態における画像記録装置２０１は、表示デバイスであるＣＲＴディスプレイモニタと、銀塩印画紙を出力メディアとして用いる出力デバイスとを備えた例である。
【０１９３】
画像記録装置２０１において、本体２０２の左側面にマガジン装填部２０３が設けられ、本体２０２内には出力メディアである銀塩印画紙に露光する露光処理部２０４と、露光された銀塩印画紙を現像処理して乾燥し、プリントを作成するプリント作成部２０５が備えられている。作成されたプリントは本体２０２の右側面に設けられたトレー２０６に排出される。さらに、本体２０２の内部には、露光処理部２０４の上方位置に制御部２０７が備えられている。
【０１９４】
また、本体２０２の上部には、ＣＲＴ２０８が配置されている。このＣＲＴ２０８は、プリントを作成しようとする画像情報の画像を画面に表示する表示手段としての機能を有している。ＣＲＴ２０８の左側に透過原稿読み込み装置であるところのフィルムスキャナ部２０９が配置され、右側に反射原稿入力装置２１０が配置されている。
【０１９５】
フィルムスキャナ部２０９や反射原稿入力装置２１０から読み込まれる原稿として写真感光材料がある。この写真感光材料としては、カラーネガフィルム、カラーリバーサルフィルム、白黒ネガフィルム、白黒リバーサルフィルム等が挙げられ、アナログカメラにより撮像した駒画像情報が記録される。フィルムスキャナ部２０９のフィルムスキャナは、この記録された駒画像情報をデジタル画像データに変換し、駒画像データとすることができる。又、写真感光材料が銀塩印画紙であるカラーペーパーの場合、反射原稿入力装置２１０のフラットベッドスキャナで駒画像データに変換することができる。
【０１９６】
本体２０２の制御部２０７の配置位置には、画像読込部２１４が設けられている。画像読込部２１４はＰＣカード用アダプタ２１４ａ、ＦＤ（フロッピー（登録商標）ディスク）用アダプタ２１４ｂを備え、ＰＣカード２１３ａやＦＤ（フロッピー（登録商標）ディスク）２１３ｂが差し込み可能になっている。ＰＣカード２１３ａは、デジタルカメラで撮像して複数の駒画像データが記憶されたメモリーを有する。ＦＤ２１３ｂは、例えばデジタルカメラで撮像された複数の駒画像データが記憶されている。
【０１９７】
ＣＲＴ２０８の前方には、操作部２１１が配置され、この操作部２１１は情報入力手段２１２を備える。情報入力手段２１２は、例えばタッチパネル等で構成される。
【０１９８】
前記以外のこの発明に係る駒画像データを有する記録媒体としては、マルチメディアカード、メモリーステック、ＭＤデータ、ＣＤ−ＲＯＭ等が挙げられる。なお、操作部２１１、ＣＲＴ２０８、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像読込部２１４は、本体２０２に一体的に設けられて装置の構造となっているが、いずれか１つ以上を別体として設けてもよい。
【０１９９】
更に、本体２０２の制御部２０７の配置位置には、画像書込部２１５が設けられている。画像書込部２１５にはＦＤ用アダプタ２１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃが備えられ、ＦＤ２１６ａ、ＭＯ２１６ｂ、光ディスク２１６ｃが差し込み可能になっており、画像情報を画像記録メディアに書き込むことができるようになっている。
【０２００】
更に、制御部２０７は図示しない通信手段を備え、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント命令を受信し、所謂ネットワーク画像出力装置として機能することが可能になっている。
【０２０１】
＜画像記録装置２０１の内部構成＞
次に、画像記録装置２０１の内部構成について説明する。
図２３は画像記録装置２０１の内部構成を示すブロック図である。
【０２０２】
画像記録装置２０１の制御部２０７は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、記憶部等により構成される。ＣＰＵは、記憶部に記憶されている各種制御プログラムを読み出し、該制御プログラムに従って、画像記録装置２０１を構成する各部の動作を集中制御する。
【０２０３】
また、制御部２０７は、画像処理部２７０を有し、操作部２１１の情報入力手段１２からの入力信号に基づいて、フィルムスキャナ部２０９や反射原稿入力装置２１０により原稿画像の読み込みを行わせて取得した画像データ、画像読込部２１４から読み込まれた画像データ、及び通信手段（入力）２４０（図２４に図示）を介して外部機器より入力された画像データに画像処理を施す。また、画像処理部２７０において、画像処理された画像データに対して出力形態に応じた変換処理を施して、「画像形成手段」としてのプリント生成部２０５、ＣＲＴ２０８、或いは画像書込部２１５、通信手段（出力）２４１等により出力する。
【０２０４】
操作部２１１には、情報入力手段２１２が設けられている。情報入力手段２１２は、例えばＣＲＴ２０８の表示画面上に重畳されたタッチパネル等により構成されており、情報入力手段２１２の押下信号を入力信号として制御部２０７に出力する。また、操作部２１１は、キーボードやマウスを備えて構成するようにしてもよい。
【０２０５】
フィルムスキャナ部２０９は、アナログカメラにより撮像されたネガフィルムを現像して得られる現像済のネガフィルムＮからの駒画像データを読み込み、反射原稿入力装置２１０からは駒画像を銀塩印画紙であるカラーペーパーに焼き付けて現像処理したプリントＰからの駒画像データを読み込む。
【０２０６】
画像読込部２１４は、デジタルカメラにより撮像して記憶されたＰＣカード２１３ａやＦＤ２１３ｂの駒画像データを読み出して転送する機能を有する。即ち、画像読込部２１４は、画像転送手段２３０としてＰＣカード用アダプタ、ＦＤ用アダプタ等を備え、ＰＣカード用アダプタ２１４ａに装着されたＰＣカード２１３ａや、ＦＤ用アダプタ２１４ｂに装着されたＦＤ２１３ｂに記録された駒画像データを読み取り、制御部２０７へ転送する。ＰＣカード用アダプタ２１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【０２０７】
データ蓄積手段２７１は、画像情報とそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し順次蓄積する。
【０２０８】
テンプレート記憶手段２７２は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３に対応してサンプル画像データ（背景画像やイラスト画像等を示すデータ）を記憶すると共に、該サンプル画像データとの合成領域を設定するテンプレートのデータを少なくとも１つ記憶する。ここで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりテンプレート記憶手段２７２に予め記憶された複数のテンプレートから所定のテンプレートが選択されると、制御部２０７は、駒画像情報と当該選択されたテンプレートとを合成し、次いで、オペレータの操作（このオペレータの操作は、クライアントの指示に基づく）によりサンプル識別情報Ｄ１、Ｄ２、Ｄ３が指定されると、当該指定されたサンプル識別情報Ｄ１、Ｄ２、Ｄ３に基づいてサンプル画像データを選択し、当該選択してサンプル画像データと、クライアントにより注文された画像データ及び／又は文字データとを合成して、結果としてクライアントが所望するサンプル画像データに基づくプリントを作成する。このテンプレートによる合成は、周知のクロマキー法によって行なわれる。
【０２０９】
なお、サンプル識別情報は、サンプル識別情報Ｄ１、Ｄ２、Ｄ３の３種類に限らず、３種類より多くても、また、少なくてもよい。
また、プリントのサンプルを指定するサンプル識別情報Ｄ１、Ｄ２、Ｄ３は、操作部２１１から入力される様に構成されているが、サンプル識別情報Ｄ１、Ｄ２、Ｄ３が、プリントのサンプル、又は注文シートに記録されているから、ＯＣＲ等の読み取り手段により読み取ることができる。あるいはオペレータがキーボードから入力することもできる。
【０２１０】
このようにプリントのサンプルを指定するサンプル識別情報Ｄ１に対応してサンプル画像データを記録しておき、プリントのサンプルを指定するサンプル識別情報Ｄ１を入力し、この入力されるサンプル識別情報Ｄ１に基づきサンプル画像データを選択し、この選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、種々の実物大のサンプルをユーザが実際に手にしてプリントの注文ができ、幅広いユーザの多様な要求に応じることができる。
【０２１１】
また、第１のサンプルを指定する第１のサンプル識別情報Ｄ２と第１のサンプルの画像データを記憶し、又第２のサンプルを指定する第２のサンプル識別情報Ｄ３と第２のサンプルの画像データを記憶し、指定される第１及び第２のサンプル識別情報Ｄ２、Ｄ３とに基づいて選択されたサンプル画像データと、注文に基づく画像データ及び／又は文字データとを合成し、指定によるサンプルに基づくプリントを作成するため、さらに多種多様の画像を合成することができ、より一層幅広いユーザの多様な要求に応じたプリントを作成することができる。
【０２１２】
露光処理部２０４は、画像処理部２７０で画像データを画像処理して生成された出力用画像データに応じて感光材料に画像の露光を行い、この感光材料をプリント作成部２０５に送る。プリント作成部２０５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１はサービスサイズ、ハイビジョンサイズ、パノラマサイズ等であり、プリントＰ２はＡ４サイズ、プリントＰ３は名刺サイズのプリントである。
なお、プリントサイズは、プリントＰ１、Ｐ２、Ｐ３に限らず、他のサイズのプリントであってもよい。
【０２１３】
ＣＲＴ２０８は、制御部２０７から入力される画像情報を表示する。
【０２１４】
画像書込部２１５は、画像搬送部２３１としてＦＤ用アダプタ２１５ａ、ＭＯ用アダプタ２１５ｂ、光ディスク用アダプタ２１５ｃが備えられ、ＦＤ２１６ａ、ＭＯ２１６ｂ、光ディスク２１６ｃが差し込み可能になっており、画像データを画像記録メディアに書き込むことができるようになっている。
【０２１５】
更に、画像処理部２７０は、通信手段（入力）２４０（図２４に図示）を用いて、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから直接、撮像画像を表す画像データとプリント等の作業命令を受信し、遠隔操作で画像処理を実施したりプリントを作成することも可能になっている。
【０２１６】
また、画像処理部２７０は、通信手段２４１（出力）（図２４に図示）を用いて、本発明の画像処理を施した後の撮影画像を表す画像データと付帯するオーダー情報を、施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して送付することも可能になっている。
【０２１７】
このように画像記録装置２０１は、各種デジタルメディアの画像、及び画像原稿を分割測光して得られた画像情報を取り込む入力手段と、この入力手段から取り入れた入力画像の画像情報に対して出力メディア上で画像を観察する際に好ましい印象を与える画像となるように処理を行なう画像処理手段と、処理済の画像を表示、又はプリント出力、あるいは画像記録メディアに書き込む画像出力手段、及び通信回線を介して施設内の別のコンピュータやインターネット等を介した遠方のコンピュータに対して画像データと付帯するオーダー情報を送信する通信手段（出力）とを有する。
【０２１８】
＜画像処理部２７０の構成＞
図２４は、本発明に係る画像処理部２７０の機能的構成を示すブロック図である。フィルムスキャナ部２０９から入力された画像データは、フィルムスキャンデータ処理部７０２において、フィルムスキャナ部固有の校正操作・ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に送られる。又、フィルムサイズ、ネガポジ種別、フィルムに光学的或いは磁気的に記録された主要被写体に関わる情報、撮影条件に関する情報（例えばＡＰＳの記載情報内容）などが、併せて画像調整処理部７０１に出力される。
【０２１９】
反射原稿入力装置２１０から入力された画像データは、反射原稿スキャンデータ処理部７０３において、反射原稿入力装置固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調などが施され、画像調整処理部７０１に出力される。
【０２２０】
画像転送手段２３０及び通信手段（入力）２４０は、「入力手段」としての機能を有し、画像転送手段２３０及び通信手段（入力）２４０から入力された画像データは、画像データ書式解読処理部７０４において、そのデータ書式に従い必要に応じて圧縮符号の復元・色データの表現方法の変換等を行ない、画像処理部２７０内の演算に適したデータ形式に変換されて画像調整処理部７０１に出力される。また、画像データ書式解読処理部７０４は、本発明に係る撮像装置２２、２３による形式の画像データが画像転送手段２３０及び通信手段（入力）２４０から入力されたか否かを判別し、入力された画像データをヘッダ情報解析部１０２に出力する。ヘッダ情報解析部１０２においては、入力された画像データから撮像装置特性補正データｄ２、適用率データｄ３及び撮影情報データｄ４が解析される。
【０２２１】
出力画像の大きさについての指定は操作部２１１から入力されるが、この他に通信手段（入力）２４０に送信された出力画像の大きさについての指定や、画像転送手段２３０により取得された画像データのヘッダ情報・タグ情報に埋め込まれた出力画像の大きさについての指定があった場合には、画像データ書式解読処理部７０４が該情報を検出し、画像調整処理部７０１へ転送する。
【０２２２】
ヘッダ情報解析部１０２により解析された撮像装置特性補正データｄ２は、装置特性補正処理部１０３ａに出力され、処理条件テーブル１０３ｂに基づき、画像処理条件が決定される。決定された画像処理条件は、「シーン参照画像データ生成手段」としての機能を有するシーン参照画像データ生成部１０４において、画像データに対し適用され、シーン参照画像データｄ５が生成される。
【０２２３】
ヘッダ情報解析部１０２により解析された撮影情報データｄ４は、撮影情報データ処理部１０６ａに出力され、鑑賞画像参照データｄ６の生成に関わる画像処理条件が決定される。
【０２２４】
ヘッダ情報解析部１０２により解析された適用率データｄ３は、適用率データ処理部１０６ｂに出力され、ホワイトバランス調整条件が決定される。
【０２２５】
操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１は、出力先のデバイス及び出力メディアに適合された鑑賞画像参照データｄ６を作成するための画像処理条件を、鑑賞画像参照データ生成部１０７へと転送する。
【０２２６】
鑑賞画像参照データ生成部１０７は、「鑑賞画像参照データ生成手段」としての機能を有し、撮影情報データ処理部１０６ａで決定された画像処理条件、適用率データ処理部１０６ｂで決定されたホワイトバランス調整条件及び画像調整処理部７０１から送信された画像処理条件に基づき、シーン参照画像データｄ５から鑑賞画像参照データｄ６を生成する。鑑賞画像参照データ生成部１０７の詳細構成は、図９に示す構成であり、図１１に示す手順によりシーン参照画像データｄ５から鑑賞画像参照データｄ６を生成する。なお、図９、図１１についての説明は、画像処理装置１１５で説明したのと同様であるので説明を省略する。若しくは鑑賞画像参照データ生成部１０７の詳細構成は、図１６に示す構成であり、図１７に示す手順によりシーン参照画像データｄ５から鑑賞画像参照データｄ６を生成する。なお、図１６、図１７についての説明は、画像処理装置１１５のところで説明したのと同様であるので説明を省略する。
【０２２７】
画像調整処理部７０１では、テンプレート処理が必要な場合にはテンプレート記憶手段２７２から所定の画像データ（テンプレート）を呼び出す。テンプレート処理部７０５に画像データを転送し、テンプレートと合成しテンプレート処理後の画像データを再び受け取る。又、画像調整処理部７０１では、操作部２１１又は制御部２０７の指令に基づき、フィルムスキャナ部２０９、反射原稿入力装置２１０、画像転送手段２３０、通信手段（入力）２４０、テンプレート処理部７０５から受け取った画像データに対して、出力メディア上で画像を観察する際に好ましい印象を与える画像となるように画像処理を行ない出力用のデジタル画像データを生成するよう画像処理部２７０各部の調整を行い、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、画像データ書式作成処理部７０９、データ蓄積手段２７１へ送出する。
【０２２８】
ＣＲＴ固有処理部７０６では、画像調整処理部７０１から受け取った画像データに対して、必要に応じて画素数変更やカラーマッチング等の処理を行ない、制御情報等表示が必要な情報と合成した表示用の画像データをＣＲＴ２０８に送出する。プリンタ固有処理部（１）７０７では、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行ない、露光処理部に画像データを送出する。本発明の画像記録装置２０１に、さらに大判インクジェットプリンタなど、外部プリンタ装置２５１を接続する場合には、接続するプリンタ装置ごとにプリンタ固有処理部（２）７０８を設け、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行なうようにする。
【０２２９】
画像データ書式作成処理部７０９においては、画像調整処理部７０１から受け取った画像データに対して、必要に応じてＪＰＥＧ、ＴＩＦＦ、Ｅｘｉｆ等に代表される各種の汎用画像フォーマットへの変換を行ない、画像搬送部２３１や通信手段（出力）２４１へ画像データを転送する。
【０２３０】
なお、鑑賞画像参照データ生成部１０７において作成される画像データは、上記ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９における処理を前提としたものであり、画像データ書式作成処理部７０９においては、鑑賞画像参照データｄ６の書式に基づき、ＣＲＴ用、露光出力部用、外部プリンタ用、通信手段（出力）用等、最適化した画像データであることを示すステータスファイルを添付した上で、個々に画像搬送部に送信され、保存することが可能である。
【０２３１】
以上の、フィルムスキャンデータ処理部７０２、反射原稿スキャンデータ処理部７０３、画像データ書式解読処理部７０４、画像調整処理７０１、ＣＲＴ固有処理部７０６、プリンタ固有処理部（１）７０７、プリンタ固有処理部（２）７０８、画像データ書式作成処理部７０９、という区分は、画像処理部２７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０２３２】
また、画像処理部２７０内の区分、例えばヘッダ情報解析部１０２、装置特性補正処理部１０３ａ、撮影情報データ処理部１０６ａ、適用率データ処理部１０６ｂ、シーン参照画像データ生成部１０４、鑑賞画像参照データ生成部１０７、という区分は、画像処理部２７０における本発明の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、たとえば単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。
【０２３３】
＜画像処理部２７０の動作＞
図２５は、画像処理部２７０の各部が連携することにより実行される画像データ形成処理を示すフロー図である。以下、図を参照して画像処理部２７０各部の動作について説明する。
【０２３４】
画像転送手段２３０又は通信手段（入力）２４０から画像処理部２７０にデータが入力され（ステップＳ４１）、画像データ書式解読処理部７０４により当該入力データが上述した撮像装置２２又は２３によるデジタル画像データファイルであると判別されると（ステップＳ４２）、入力されたデジタル画像データファイルはヘッダ情報解析部１０２によりその内容が解析され（ステップＳ４３）、シーン参照生データｄ１（ステップＳ４４）、撮像装置特性補正データｄ２（ステップＳ４５）、適用率データｄ３（ステップＳ４６）、撮影情報データｄ４（ステップＳ４７）に分けられる。
【０２３５】
撮像装置特性補正データｄ２は、装置特性補正処理部１０３ａに出力され、装置特性補正処理部１０３ａによる処理条件テーブル１０３ｂの参照によりシーン参照画像データｄ５を生成するための処理条件が決定される。シーン参照生データｄ１は、シーン参照画像データ生成部１０４に出力され、装置特性補正処理部１０３ａで決定された処理条件に基づいて撮像装置特性補正処理が施され（ステップＳ４８）、シーン参照画像データｄ５が生成されて鑑賞画像データ生成部１０７に出力される（ステップＳ４９）。
【０２３６】
撮影情報データｄ４は、撮影情報データ処理部１０６ａに出力され、撮影情報データ処理部１０６ａにより撮影情報データｄ４に基づいて撮影条件に応じた鑑賞画像参照データｄ６を生成するための処理条件が決定される。適用率データｄ３は、適用率データ処理部１０６ｂに出力され、この適用率データｄ３に基づいてホワイトバランス調整条件が決定される。また、操作部２１１及び制御部２０７からの指令に基づき、画像調整処理部７０１において、出力デバイス及び出力メディアに適合された鑑賞画像参照データｄ６を作成するための画像処理条件が決定される。シーン参照画像データ生成部１０４から入力されたシーン参照画像データｄ５は、鑑賞画像参照データ生成部１０７により、撮影情報データ処理部１０６ａにより決定された処理条件、適用率データ処理部１０６ｂにより決定されたホワイトバランス調整条件及び画像調整処理部７０１により決定された画像処理条件に基づいて最適化処理が施され（ステップＳ５０）、鑑賞画像参照データｄ６が生成されて出力先に応じてＣＲＴ固有処理部７０６、プリンタ固有処理部７０７、プリンタ固有処理部７０８、画像データ書式作成処理部７０９の何れかの処理部に出力される（ステップＳ５１）。鑑賞画像参照データｄ６は、出力された処理部において、出力先に応じた固有の処理が施され（ステップＳ５２）、操作部２１１により指定された出力先から出力される（ステップＳ５３）。
【０２３７】
以上説明した様に、本発明の画像記録装置２０１によれば、撮像装置２２、２３が出力したシーン参照生データｄ１から、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データｄ６を生成し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等の出力媒体上に、迅速に鑑賞画像を形成することができる。
【０２３８】
なお、画像転送手段２１４にはシーン参照画像データｄ５に適用率データｄ３及び撮影情報データｄ４が添付されたファイルを入力することが可能であり、この場合、装置特性補正処理部１０３ａ及びシーン参照画像データ生成部１０４における処理が省略され、シーン参照画像データｄ５に対してホワイトバランス調整を含む最適化処理のみが施される。
【０２３９】
また、本発明の実施に際して、ホワイトバランスの調整方法、並びにこの方法を実施するための鑑賞画像参照データ生成部１０７の構成は、上述した方法、構成に限定されない。また、画像記録装置２０１は、ホワイトバランスの調整方法を切り替えて用いることのできる仕様であっても良い。また、図１９に示すように、制御部２０７の制御によりＣＲＴ２０８にホワイトバランス適用率入力画面２０８１を表示させ、この画面からの適用率の入力に基づいてホワイトバランス調整を施すようにしてもよい。これにより、画像出力を行う人の好みに応じたホワイトバランス調整を施すことができる。さらに図１９に示すように、光源推定結果や、適用率データに基づくホワイトバランス調整の結果をＣＲＴ２０８に表示する仕様であっても良い。
【０２４０】
更に、本発明に係る画像処理装置１１５、画像記録装置２０１における画像処理方法の手順をプログラム化することで、あるいは当該プログラムを記録媒体に読み込むことによって、本発明の技術を他のハードウエア上、例えば従来の画像処理装置、及び画像記録装置上で実行することが可能となる。
【０２４１】
【本発明の効果】
以上述べたように、本発明に係る撮像装置によれば、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上する為に意図的にデータ内容を改変する画像処理や、撮像素子固有の分光感度に基づく各色チャンネルの信号強度を前述のＲＩＭＭ  ＲＧＢやｓＲＧＢ等の標準化された色空間にマッピングする処理の省略された、被写体に忠実な情報を記録した撮像装置直接の生出力信号であるシーン参照生データと、撮像素子固有の分光感度特性かＲＩＭＭ  ＲＧＢのような特定の標準色空間に変換する時に使用すべきマトリックス係数が記載された撮像装置特性補正処理を施す際に十分なデータとを出力するようにし、シーン参照画像データへの撮像装置内による変換処理を省くことにより、撮像装置の処理負荷や消費電力を低減させ、処理（撮影）能力の向上や、バッテリー駆動時の処理（撮影）枚数の増加を可能にする。
【０２４２】
また、本発明に係る画像処理装置によれば、前記撮像装置の出力するシーン参照生データから、シーン参照画像データを生成し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等、公知のあらゆる「記憶媒体」への出力用に、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データを作成することが出来る。
【０２４３】
本発明に係る画像記録装置によれば、前記撮像装置の出力するシーン参照生データから、シーン参照画像データを生成し、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスや、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等のハードコピー画像生成用の用紙等の出力媒体上に、撮像画像情報の情報損失を伴うことなく最適化された鑑賞画像参照データを保持したまま、迅速に鑑賞画像を形成することが達成される。
【０２４４】
また、本発明に係る撮像装置、画像処理装置、画像記録装置及びこれらの画像処理装置、画像記録装置における画像処理方法によって、夕焼けや、タングステン光、ろうそくの光などを撮影光源とするシーンにおいて、撮影時の撮影者だけでなく、撮影後の撮影者を始め、プリントを作成する人や、鑑賞する人の好みに応じて、見た目通りの色調仕上げにしたり、昼光光源下での色調仕上げにするなどの選択を、画像圧縮に起因する画質劣化を伴わずに可能とする。
【０２４５】
さらに、本発明の画像処理方法を実行する為のプログラムと、これを記憶した記憶媒体によって、本発明の技術を他のハードウエア上、例えば従来の画像処理装置、及び画像記録装置上で実行することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置２２の機能的構成を示すブロック図である。
【図２】図１の表示部１５に表示されるホワイトバランス適用率入力画面１５１、１５２の例を示す図である。
【図３】図１の制御部１１の制御により実行されるシーン参照生データ保存処理Ａを示すフローチャートである。
【図４】図３のステップＳ７で記憶デバイス９の記録メディアに保存されるデジタル画像データのデータ構造を示す図である。
【図５】本発明に係る撮像装置２３の機能的構成を示すブロック図である。
【図６】図５の制御部１１の制御により実行されるシーン参照生データ保存処理Ｂを示すフローチャートである。
【図７】図６のステップＳ１８で記憶デバイス９の記録メディアに記録されるデジタル画像データのデータ構造を示す図である。
【図８】本発明に係る画像処理装置１１５の機能的構成を示すブロック図である。
【図９】図８の鑑賞画像参照データ生成部１０７の内部構成を示すブロック図である。
【図１０】図８の画像処理装置１１５の各部が連携することにより実行される画像データ生成処理を示すフロー図である。
【図１１】図９の鑑賞画像参照データ生成部１０７により実行される最適化処理Ａを示すフローチャートである。
【図１２】光源種毎の色分布の範囲を示す光源種枠の設定された光源推定マップである。
【図１３】撮影ＥＶ値を変数として傾向値Ｖ（屋外傾向値）を規定したメンバシップ関数を示すグラフである。
【図１４】図１２の光源推定マップ上の光源種毎の各小画面エリアの個数を変数として傾向値Ｖを規定したメンバシップ関数を示すグラフである。
【図１５】図１２の光源推定マップ上で推定された光源の位置、及び適用率データに基づくホワイトバランス調整の軌跡を示す図である。
【図１６】小画面エリア毎の色温度を推定してホワイトバランスを調整する方法を採用した場合の鑑賞画像参照データ生成部１０７の内部構成を示すブロック図である。
【図１７】図１６の鑑賞画像参照データ生成部１０７により実行される最適化処理Ｂを示すフローチャートである。
【図１８】色温度推定方法の原理を示す色度図である。
【図１９】図８の表示デバイス１１２に表示されるホワイトバランス適用率入力画面１１２１及び図２３のＣＲＴ２０８に表示されるホワイトバランス適用率入力画面２０８１を示す図である。
【図２０】図４で示したデータ構造のファイルが入力部１０１から入力された場合に、記憶デバイス１１０に出力されるデータの構造を示す図である。
【図２１】図７で示したデータ構造のファイルが入力部１０１から入力された場合に、記憶デバイス１１０に出力されるデータの構造を示す図である。
【図２２】本発明に係る画像記録装置２０１の外観斜視図である。
【図２３】図２２の画像記録装置２０１の内部構成を示す図である。
【図２４】図２２の画像処理部２７０の機能的構成を示すブロック図である。
【図２５】図２４の画像処理部２７０の各部が連携することにより実行される画像データ形成処理を示すフロー図である。
【符号の説明】
１    レンズ
２    絞り
３    ＣＣＤ
４    アナログ処理回路
５    Ａ／Ｄ変換器
６    一時記憶メモリ
７    画像処理部
８    ヘッダ情報処理部
９    記憶デバイス
１０    ＣＣＤ駆動回路
１１    制御部
１２    撮影情報データ処理部
１３    装置特性補正情報処理部
１４    操作部
１５    表示部
１６    ストロボ駆動回路
１７    ストロボ
１８    焦点距離調整回路
１９    自動焦点駆動回路
２０    モータ
２１    適用率データ処理部
２２    撮像装置
２３    撮像装置
１００    制御部
１０１    入力部
１０２    ヘッダ情報解析部
１０３ａ    装置特性補正処理部
１０３ｂ    処理条件テーブル
１０４    シーン参照画像データ生成部
１０５    一時記憶メモリ
１０６ａ    撮影情報データ処理部
１０６ｂ    適用率データ処理部
１０７    鑑賞画像参照データ生成部
１０８    一時記憶メモリ
１０９    設定入力部
１１０    記憶デバイス
１１１    出力デバイス
１１２    表示デバイス
１１３    撮像装置特性補正処理部
１１４    最適化処理部
１１５    画像処理装置
２０１    画像記録装置
２０２    本体
２０３    マガジン装填部
２０４    露光処理部
２０５    プリント作成部
２０６    トレー
２０７    制御部
２０８    ＣＲＴ
２０９    フィルムスキャナ部
２１０    反射原稿入力装置
２１１    操作部
２１２    情報入力手段
２１３ａ    ＰＣカード
２１３ｂ    ＦＤ
２１４    画像読込部
２１４ａ    ＰＣカード用アダプタ
２１４ｂ    ＦＤ用アダプタ
２１５    画像書込部
２１５ａ    ＦＤ用アダプタ
２１５ｂ    ＭＯ用アダプタ
２１５ｃ    光ディスク用アダプタ
２１６ａ    ＦＤ
２１６ｂ    ＭＯ
２１６ｃ    光ディスク
２３０    画像転送手段
２３１    画像搬送部
２４０    通信手段（入力）
２４１    通信手段（出力）
２５１    外部プリンタ
２７０    画像処理部
７０１    画像調整処理部
７０２    フィルムスキャンデータ処理部
７０３    反射原稿スキャンデータ処理部
７０４    画像データ書式解読処理部
７０５    テンプレート処理部
７０６    ＣＲＴ固有処理部
７０７    プリンタ固有処理部１
７０８    プリンタ固有処理部２
７０９    画像データ書式作成処理部
２７１    データ蓄積手段
２７２    テンプレート記憶手段
ｄ１    シーン参照生データ
ｄ２    撮像装置特性補正データ
ｄ３    適用率データ
ｄ４    撮影情報データ
ｄ５    シーン参照画像データ
ｄ６    鑑賞画像参照データ
【図１】
2004173010.tif 000003
【図２】
2004173010.tif 000004
【図３】
2004173010.tif 000005
【図４】
2004173010.tif 000006
【図５】
2004173010.tif 000007
【図６】
2004173010.tif 000008
【図７】
2004173010.tif 000009
【図８】
2004173010.tif 000010
【図９】
2004173010.tif 000011
【図１０】
2004173010.tif 000012
【図１１】
2004173010.tif 000013
【図１２】
2004173010.tif 000014
【図１３】
2004173010.tif 000015
【図１４】
2004173010.tif 000016
【図１５】
2004173010.tif 000017
【図１６】
2004173010.tif 000018
【図１７】
2004173010.tif 000019
【図１８】
2004173010.tif 000020
【図１９】
2004173010.tif 000021
【図２０】
2004173010.tif 000022
【図２１】
2004173010.tif 000023
【図２２】
2004173010.tif 000024
【図２３】
2004173010.tif 000025
【図２４】
2004173010.tif 000026
【図２５】
2004173010.tif 000027