(57)【特許請求の範囲】
【請求項１】
ＲＡＷデータ取得手段が、ＲＡＷデータを取得し、
中間画像生成手段が、前記ＲＡＷデータにデモザイク処理を行い、中間画像を生成して保存し、
設定手段が、操作者の設定操作に応じてレタッチ操作値を設定し、
プレビュー画像表示手段が、前記デモザイク処理された中間画像を前記レタッチ操作値に基づいて補正して表示画面に表示し、
最終画像生成手段が、前記ＲＡＷデータを前記レタッチ操作値に基づいて補正し、前記補正されたＲＡＷデータにデモザイク処理を行って最終画像を生成する、
ことを含む画像レタッチ方法。
【請求項２】
前記レタッチ操作値がカラーバランス操作値および／または輝度操作値であることを特徴とする、請求項１に記載の画像レタッチ方法。
【請求項３】
ＲＡＷデータを取得するＲＡＷデータ取得手段と、
前記ＲＡＷデータにデモザイク処理を行い、中間画像を生成して保存する中間画像生成手段と、
操作者による設定操作に応じてレタッチ操作値を設定する設定手段と、
前記デモザイク処理された中間画像を前記レタッチ操作値に基づいて補正し、表示画面に表示するプレビュー画像表示手段と、
前記ＲＡＷデータを前記レタッチ操作値に基づいて補正し、前記補正されたＲＡＷデータにデモザイク処理を行って最終画像を生成する最終画像生成手段と、
を備える画像レタッチ装置。
【請求項４】
ＲＡＷデータを取得するＲＡＷデータ取得手段と、
前記ＲＡＷデータにデモザイク処理を行い、中間画像を生成して保存する中間画像生成手段と、
操作者による設定操作に応じてレタッチ操作値を設定する設定手段と、
前記デモザイク処理された中間画像を前記レタッチ操作値に基づいて補正し、表示画面に表示するプレビュー画像表示手段と、
前記ＲＡＷデータを前記レタッチ操作値に基づいて補正し、前記補正されたＲＡＷデータにデモザイク処理を行って最終画像を生成する最終画像生成手段と、
としてコンピュータを機能させる画像レタッチプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像レタッチ方法、画像レタッチ装置及び画像レタッチプログラムに関し、特にＲＡＷデータ処理に関する。
【背景技術】
【０００２】
従来、ディジタルカメラなどの画像入力装置のデータ記録フォーマットとしてＲＡＷデータフォーマットが知られている。一画素毎に１つの色成分のみを持つＲＡＷデータは対象物を表す画像としては不完全な情報である。したがって、少なくとも各画素の不足している色成分を近傍画素の色成分で補間するデモザイク処理（カラーフィルタ配列補間処理ともいう。）をＲＡＷデータに施すまでは、対象物を表す画像を表示したり印刷することができない。ＲＡＷデータフォーマットがＪＰＥＧ、ＴＩＦＦといった画像データフォーマットに比べて有利な点は、連続撮影間隔、ハードウェアリソースなどの制約を受けること無しに、対象物を表す好ましい画像を対象物の記録後に生成できる点である。対象物の記録後にＲＡＷデータから対象物を表す画像を生成するためのシステムでは、カラーバランス補正、輝度補正、鮮鋭度補正等のレタッチ処理機能を一般に備えている。このようなシステムでは、ユーザによってレタッチ操作値が入力されるたびに、入力されたレタッチ操作値に応じたレタッチ処理の結果を表すプレビュー画像を表示する。レタッチ操作値の入力に対するプレビュー表示の応答時間を短縮するためには、レタッチ操作値の入力前にデモザイク処理を実行しておくことが好ましい。
【０００３】
ところで、ホワイトバランス補正処理では、ディジタルカメラ等に備わるイメージセンサの各カラーフィルタを透過した光の光量をそのまま表しているＲＡＷデータを有彩色成分毎に定数倍することによって、最も正確な補正結果を得ることができる。また、露出の過不足をリカバーするための輝度補正処理でも、イメージセンサの各カラーフィルタを透過した光の光量をそのまま表しているＲＡＷデータの値を定数倍することによって、最も正確な補正結果を得ることができる。
【０００４】
しかし、デモザイク処理では、各画素で不足している色成分が近傍画素の色成分で補間されるため、イメージセンサの各カラーフィルタを透過した光の光量を表していない、いわば偽の情報が追加される。したがって、デモザイク処理後にホワイトバランス補正処理や輝度補正処理を施す場合、正確な補正結果を得ることができなかったり、正確な補正結果を得るために非常に複雑な演算処理が必要になるという問題がある。
【０００５】
【特許文献１】特開２００５−３３４６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上述の問題を解決するために創作されたものであって、レタッチ操作値の入力に対するプレビュー表示の応答時間が短く、単純な処理で正確なレタッチが可能な画像レタッチ方法、画像レタッチ装置及び画像レタッチプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）上記目的を達成するための画像レタッチ方法は、記憶媒体に格納されているＲＡＷデータを取得し、デモザイク処理を用いて前記ＲＡＷデータから中間画像を生成し、前記中間画像の生成後の設定操作に応じてレタッチ操作値を設定し、前記レタッチ操作値であるカラーバランス操作値が設定されると、前記カラーバランス操作値に応じたカラーバランスの後方補正処理を用いて前記中間画像から表示のためのプレビュー画像を生成し、前記設定操作後に実行要求が発生すると、前記カラーバランス操作値に応じたカラーバランスの前方補正処理と前記カラーバランスの前方補正処理後のデモザイク処理とを用いて、前記ＲＡＷデータから最終画像を生成する、ことを含む。
設定操作前にデモザイク処理を用いてＲＡＷデータから中間画像を生成しておくことにより、カラーバランス操作値の設定後の短時間のうちにカラーバランスが補正されたプレビュー画像を中間画像から生成することができる。実行要求が発生した場合には、デモザイク処理前にカラーバランスを補正し、カラーバランス補正後にデモザイク処理を実行することにより、正確にカラーバランスを補正することができる。また、デモザイク処理前にカラーバランスを補正する場合は、デモザイク処理後にカラーバランスを補正する場合に比べて単純な処理で正確にカラーバランスを補正することができる。また、デモザイク処理前にカラーバランスを補正する場合は、処理対象データがデモザイク処理後に比べて１／３であるため、高速な処理が可能である。すなわち、プレビュー画像生成時と最終画像生成時とにおいて、デモザイク処理とカラーバランス補正処理との実行順序を入れ替えることにより、レタッチ操作値の入力に対するプレビュー表示の応答時間を短くし、単純な処理で正確にレタッチされた最終画像を高速に生成することが可能になる。
【０００８】
（２）前記画像レタッチ方法は、前記レタッチ操作値である輝度操作値が設定されると、前記輝度操作値に応じた明度の後方補正処理を用いて、前記中間画像から前記プレビュー画像を生成し、前記設定操作後に実行要求が発生すると、前記輝度操作値に応じた輝度の前方補正処理を前記デモザイク処理前に用いて、前記ＲＡＷデータから前記最終画像を生成する、ことを含んでもよい。
設定操作前にデモザイク処理を用いてＲＡＷデータから中間画像を生成しておくことにより、輝度操作値の設定後の短時間のうちに明度が補正されたプレビュー画像を生成することができる。実行要求が発生した場合には、デモザイク処理前に明度を補正し、輝度補正後にデモザイク処理を実行することにより、正確に輝度を補正することができる。また、デモザイク処理前に輝度を補正する場合は、デモザイク処理後に輝度を補正する場合に比べて単純な処理で正確に輝度を補正することができる。また、デモザイク処理前に輝度を補正する場合は、処理対象データがデモザイク処理後に比べて１／３であるため、高速な処理が可能である。すなわち、プレビュー画像生成時と最終画像生成時とにおいて、デモザイク処理と輝度補正処理との実行順序を入れ替えることにより、レタッチ操作値の入力に対するプレビュー表示の応答時間を短くし、単純な処理で正確にレタッチされた最終画像を高速に生成することが可能になる。
【０００９】
（３）上記目的を達成するための画像レタッチ装置は、記憶媒体に格納されているＲＡＷデータを取得するＲＡＷデータ取得手段と、デモザイク処理を用いて前記ＲＡＷデータから中間画像を生成する中間画像生成手段と、前記中間画像の生成後の設定操作に応じてレタッチ操作値を設定する設定手段と、前記レタッチ操作値であるカラーバランス操作値が設定されると、前記カラーバランス操作値に応じたカラーバランスの後方補正処理を用いて、前記中間画像から表示のためのプレビュー画像を生成するプレビュー画像生成手段と、前記設定操作後に実行要求が発生すると、前記カラーバランス操作値に応じたカラーバランスの前方補正処理と前記カラーバランスの前方補正処理後のデモザイク処理とを用いて、前記ＲＡＷデータから最終画像を生成する最終画像生成手段と、を備える。
【００１０】
（４）上記目的を達成するための画像レタッチプログラムは、記憶媒体に格納されているＲＡＷデータを取得するＲＡＷデータ取得手段と、デモザイク処理を用いて前記ＲＡＷデータから中間画像を生成する中間画像生成手段と、前記中間画像の生成後の設定操作に応じてレタッチ操作値を設定する設定手段と、前記レタッチ操作値であるカラーバランス操作値が設定されると、前記カラーバランス操作値に応じたカラーバランスの後方補正処理を用いて、前記中間画像から表示のためのプレビュー画像を生成するプレビュー画像生成手段と、前記設定操作後に実行要求が発生すると、前記カラーバランス操作値に応じたカラーバランスの前方補正処理と前記カラーバランスの前方補正処理後のデモザイク処理とを用いて、前記ＲＡＷデータから最終画像を生成する最終画像生成手段と、してコンピュータを機能させる。
【００１１】
尚、請求項に記載された方法の各動作の順序は、技術上の阻害要因がない限り、記載順に限定されるものではなく、各動作はどのような順番で実行されてもよく、また同時に実行されてもよい。また、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。また、本発明は画像レタッチプログラムを記録した記録媒体の発明としても特定することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明をパーソナルコンピュータ（ＰＣ）に適用した実施の形態を次の順に説明する。
１．画像レタッチ装置の構成
２．画像レタッチ装置の作動
２−１．対象ファイル選択がトリガとなるプレビュー画像生成処理
２−２．レタッチ操作値の設定
・ホワイトバランス操作値の設定
・輝度操作値の設定
２−３．レタッチ操作値の設定がトリガとなるプレビュー画像生成処理
２−４．最終画像生成処理
３．他の実施形態
【００１３】
１．画像レタッチ装置の構成
図２は、画像レタッチ装置を構成するＰＣ１とその周辺装置の概略構成を示すブロック図である。ＰＣ１は、ディジタルカメラ６、イメージスキャナ５等の画像入力装置から通信線やリムーバブルメモリを介してＲＡＷデータを取得し、取得したＲＡＷデータから好ましい画像を生成するために用いられる。
【００１４】
インタフェース部１６は、ディジタルカメラ６、イメージスキャナ５、プリンタ４等の外部デバイスと通信するためのＵＳＢコントローラ、ＵＳＢコネクタ等を備える。ディジタルカメラ６、イメージスキャナ５等の画像入力装置によって生成されたＲＡＷデータは、一旦画像入力装置のメモリに格納された後にインタフェース部１６を用いた通信により直接ＰＣ１に入力され得る。すなわち、インタフェース部１６はＲＡＷデータ取得手段として機能しうる。尚、インタフェース部１６には、ＩＥＥＥ１３９４、ＩｒＤＡ（Infrared Data Association）、Ｂｌｕｅｔｏｏｔｈなどのあらゆる通信規格に対応する構成を採用しうる。また、ＰＣ１には、外部システムの記録媒体に格納されているＲＡＷデータファイルをリムーバブルメモリやインターネットを介して入力してもよい。
【００１５】
ハードディスク装置（ＨＤＤ）１８には、ＰＣ１を画像レタッチ装置として機能させるための画像レタッチプログラム及びＯＳが格納されている。ＨＤＤ１８には、レタッチ対象となるＲＡＷデータファイルが格納され得る。画像レタッチプログラムは、リムーバブルメモリ等のコンピュータ読み取り可能な記録媒体からＨＤＤ１８に転送してもよいし、遠隔地のサーバコンピュータから通信ネットワークを経由してＨＤＤ１８に転送してもよい。
【００１６】
ＣＰＵ１４は、ＲＯＭ２０及びＨＤＤ１８に格納されているプログラムを実行してＰＣ１及び周辺装置の各部を制御する。ＣＰＵ１４は、画像レタッチプログラムを実行するとき、中間画像生成手段、設定手段、プレビュー画像生成手段及び最終画像生成手段として機能する。ＣＰＵ１４は、マウス３及びキーボード２によって入力されるコマンドに応じて作動する。マウス３及びキーボード２は、例えばレタッチ操作値の設定要求やレタッチや印刷の実行要求を入力するための設定操作のために用いられる。
【００１７】
ＲＡＭ１２は、プログラムやその処理対象データが一時的に格納される揮発性メモリである。ＨＤＤ１８やリムーバブルメモリや外部システムの記録媒体から取得されたＲＡＷデータはＲＡＭ１２に格納される。
表示制御部１０は、グラフィックコントローラ、フレームメモリ等を備え、フレームメモリに格納されたプレビュー画像等の表示対象画像をディスプレイ７に表示させる。
【００１８】
２．画像レタッチ装置の作動
図１は、画像レタッチプログラムの実行中のＰＣ１による画像レタッチ処理の流れを示すフローチャートである。
図３は、画像レタッチプログラムの実行中にディスプレイ７に表示される画面の構成を示す図である。この画面を介して、レタッチ対象ファイルの選択操作、レタッチ対象ファイルの選択操作に応じて生成されるプレビュー画像の表示、レタッチ操作値の設定操作、レタッチ操作値に応じて生成されるプレビュー画像の表示、レタッチ実行要求の入力操作などが行われる。
【００１９】
２−１．対象ファイル選択がトリガとなるプレビュー画像生成処理
フォルダ選択ボタン３０がクリックされると、図示しないフォルダの参照画面が表示される。ユーザがフォルダの参照画面で指定したフォルダ内の各ＲＡＷデータファイルに格納されているサムネイル画像５０、５２が選択エリア５４に表示される。サムネイル画像はディジタルカメラ等の画像入力装置によって生成され、ＲＡＷデータによって記録されている対象物の低解像度の画像である。
【００２０】
ＣＰＵ１４は、ファイル選択が発生すると、初期設定値に応じて生成されるプレビュー画像の表示処理を起動する（ステップＳ１００）。具体的には例えば、選択エリア５４内のサムネイル画像５０、５２のいずれかがクリックされると、ＣＰＵ１４はホワイトバランスの操作値を「撮影時設定」に設定し、輝度補正の操作値を「０ＥＶ」と設定して以下のプレビュー画像の表示処理を開始する。尚、ＲＡＷデータからプレビュー画像及び最終画像を生成する処理を何ビットの演算で処理するかについては説明を省略するが、例えば、オーバーフローによる情報欠損を避けるためにビット数を増加させる処理や、出力フォーマットに応じてビット数を減少させる処理は必要に応じて適宜追加することができる。
【００２１】
ステップＳ１０２では、ＣＰＵ１４は対象ファイルを解析し、プレビュー画像及び最終画像の生成に必要な情報を取得する。具体的には例えば、ディジタルカメラの機種、エリアイメージセンサの配列、解像度、一画素当たりのビット数、プレゲイン情報、オプティカルブラック情報、ガンマ補正情報、ホワイトバランスの撮影時設定などがファイルヘッダの解析により特定され、特定されたこれらの属性情報がＲＡＭ１２に格納される。これらの属性情報は、一般に製造メーカ毎に固有のフォーマットで記録されるが、ＤＮＧフォーマットが汎用規格として提唱されている。いずれにしても、どのような製造メーカの画像入力装置によって生成されたＲＡＷデータファイルであっても、これらの属性情報はファイルの解析により特定可能である。
【００２２】
ステップＳ１０４では、ＣＰＵ１４はプレゲイン処理を実行する。プレゲイン処理では、ファイルヘッダから取得されたプレゲイン情報に基づいてＲＡＷデータの全画素値が線形に増幅される。
ステップＳ１０６では、ＣＰＵ１４はオプティカルブラック情報に基づいてオプティカルブラック補償処理を実行する。オプティカルブラック情報は、画像入力装置のイメージセンサに設けられた光が入射しない受光素子に蓄積された電荷量を表している。オプティカルブラック補償処理では、ファイルヘッダから取得されたオプティカルブラック情報が示す値を黒（例えばＲ＝０／２５５、Ｇ＝０／２５５、Ｂ＝０／２５５）とみなしてＲＡＷデータの全画素値からオプティカルブラック情報が示す値が引き算される。
【００２３】
ステップＳ１０８では、ＣＰＵ１４はエリアイメージセンサのカラーフィルタの配列に応じたデモザイク処理を実行する。デモザイク処理は、基本的には１画素当たり１つの有彩色成分（例えばＲ、Ｇ、Ｂのいずれか）しか持たない近傍画素同士で欠乏している有彩色成分を補い合う処理である。ただし、デモザイク処理でモアレパターン、ジャギー、疑色、ハレーション等を抑制するためには、複雑な行列演算が必要になる。また、デモザイク処理は、画像入力装置のイメージセンサに現実に入射した光を表していない値を追加する処理であり、一般には不可逆変換である。したがって、画像入力装置のイメージセンサに入射した光の量が好ましくなかった場合にそれをリカバーするための補正は、デモザイク処理前に実行した方が、デモザイク処理後に実行するよりも単純な処理で狙い通りの結果を得ることができる。しかし、本実施形態では、対象ファイル選択がトリガとなるプレビュー画像生成処理と、レタッチ操作値の設定がトリガとなるプレビュー画像生成処理とにおける各補正処理の実行順序を統一するために、ホワイトバランス補正処理及び輝度補正処理をあえてデモザイク処理後に実行している。
【００２４】
ステップＳ１１０では、ＣＰＵ１４は疑色抑制処理を実行する。ベイヤ配列のカラーフィルタを備えたエリアイメージセンサでは、Ｇの受光素子数は、Ｒ及びＢの受光素子数の２倍であるため、エイリアシングがＲ及びＢの成分に表れやすい。このために発生する疑色はメディアンフィルタなどを用いた平坦化処理によって抑制される。
ステップＳ１１２では、ＣＰＵ１４はカラーマッチング処理を実行する。ＲＡＷデータの各色成分の値は画像入力装置のイメージセンサの分光感度特性に依存しているため、ｓＲＧＢ等の汎用規格で規定されている三刺激値と対応していない。カラーマッチング処理は、入力値であるＲＡＷデータで表されている色光をｓＲＧＢ等の汎用規格で規定されている刺激値で表すための処理である。具体的には、３×３の行列演算や、３次元ＬＵＴ（Look Up Table）を用いて画素値が変換される。この変換に用いる行列や３次元ＬＵＴは、ファイルヘッダから取得したり、機種に応じてあらかじめ定義したものをファイルヘッダから取得した機種情報に応じて適用することができる。
【００２５】
ステップＳ１１４では、ＣＰＵ１４はファイルヘッダから取得されたホワイトバランス情報に基づいてホワイトバランス補正を実行する。ある物体の分光放射エネルギー分布は、照明環境が異なれば当然異なるにも関わらず、人間は照明環境が異なっても同じ物体の色は同じ色として知覚する。この傾向は色の恒常性（color constancy）といわれている。これに対し、イメージセンサは物体の分光放射エネルギー分布に応じたバランスで各有彩色成分（本実施形態ではＲＧＢとして説明する。）に対応する電荷を蓄積する。このため、例えば晴天の屋外で昼間に白と知覚される物体が白の画素で表現されるように、ＲＧＢ各成分のカラーバランスを補正するカラーバランス補正が必要になる。このカラーバランス補正がホワイトバランス補正である。カラーバランス補正では、ＲＧＢの各成分毎に異なる定数を用いて各ＲＧＢ成分を基本的には定数倍する演算が行われる。ただし、飽和による階調損失を抑制するために、部分的に非線形な演算を行うこともできる。具体的には例えば、ファイルヘッダに「蛍光灯：白」というホワイトバランス情報が格納されていた場合、対象物が白色蛍光灯で照明されているはずであるため、画像全体がやや青みがかっている色のバランスを補正する定数が設定される。
【００２６】
ステップＳ１１６では、ＣＰＵ１４は輝度補正を実行し、その結果生成される中間画像のコピーをレタッチ操作値の設定がトリガとなるプレビュー画像生成処理で用いるためにＲＡＭ１２の別領域に保存する。この輝度補正は、例えばディジタルカメラの物理的な露出が不適切であった場合に、それをリカバーするためにディジタルカメラで撮影後の露出補正操作が実行されており、その露出補正操作に応じた露出補正情報がファイルヘッダに格納されているような場合にのみ行われる。尚、輝度成分に対して定数を掛け合わせて輝度を補正してもよいが、有彩色成分のそれぞれに定数を掛け合わせて輝度を補正してもよい。尚、レタッチ操作値の設定がトリガとなるプレビュー画像生成処理で用いるための中間画像のコピーを、より早い段階（例えばステップＳ１１２の疑色抑制処理直後）でＲＡＭ１２の別領域に保存してもよい。
【００２７】
ステップＳ１１８では、ＣＰＵ１４はガンマ補正を実行する。このガンマ補正は、イメージセンサに入射する光の量である輝度に対してイメージセンサの出力信号が線形に対応していない場合に、輝度と出力信号とを線形に対応させるための非線形な演算である。
ステップＳ１２０では、ＣＰＵ１２は階調再現処理を実行する。人間が知覚する明るさはイメージセンサの測光量である輝度に対応していない。一般には、感覚量は刺激量の対数に比例するというウェーバ・フェヒナーの仮説に基づいて、輝度を非線形に変換する。尚、階調再現処理でも飽和による階調損失を避けるために、ハイライト領域で階調がゆるやかに抑圧される変換を行うこともできる。
尚、ステップＳ１１４〜Ｓ１２０の処理は、順次それぞれ実行してもよいが、各処理の変換式を合成した変換式あるいは変換のためのＬＵＴを設定し、これらを用いて一度に実行することもできる。以上の処理の結果、ＲＡＷファイルヘッダから取得された初期設定値である属性情報に応じてプレビュー画像が生成される。
【００２８】
ステップＳ１２２では、ＰＣ１はプレビュー画像をディスプレイ７に表示する。具体的には例えば、フレームメモリに格納されたプレビュー画像がディスプレイドライバによって図３に示すプレビュー領域３４に表示される。ところで、プレビュー領域３４の画素数とＲＡＷデータの画素数とは一般に異なっている。プレビュー画像の画素数はプレビュー領域３４の画素数と一致する。したがって、ＲＡＷデータからプレビュー画像を生成する過程では、解像度を変換する処理が必要になる。この解像度変換処理は表示直前のこの段階で実行してもよいし、より早い段階で実行することにより、その後の処理対象画素数を減らし、高速化を図ってもよい。また、解像度変換が実行されず、プレビュー画像の一部がプレビュー領域３４に表示されてもよい。
以上の処理が全て終了すると、レタッチ対象ファイルを選択する操作の応答としてプレビュー画像がディスプレイ７に表示される。
【００２９】
２−２．レタッチ操作値の設定
ＰＣ１は、レタッチ操作値の設定操作を例えば次のようにして受け付ける。
・ホワイトバランス操作値の設定
図３に示すホワイトバランス補正エリア５６には、ドロップダウンメニュー４８、色温度スライダ７６、色調スライダ７０、色温度上下ボタン７２、色調上下ボタン６６及びスポイト起動チェックボックス４６が配置されている。ドロップダウンメニュー４８には、撮影時の照明光源等が選択項目として表示される。初期値は「撮影時設定」である。「撮影時設定」は、レタッチ操作値としてファイルヘッダから取得される属性情報を適用する項目である。したがって、「撮影時設定」が選択された場合、各有彩色成分を定数倍するための定数は、ファイルヘッダから取得される属性情報に応じて決まる。「晴天」、「曇天」、「蛍光灯：白」、「白熱灯」、「フラッシュ」等は、各項目に対応する光源の分光放射エネルギー分布に応じて各有彩色成分（例えばＲ、Ｇ、Ｂ）を定数倍するための定数が設定される項目である。「オート」は、各有彩色成分を定数倍するための最適な定数を画像解析により求めることを指定する項目である。
【００３０】
「カスタム」が選択されると、色温度スライダ７６、色調スライダ７０、色温度上下ボタン７２、色調上下ボタン６６及びスポイト起動チェックボックス４６が有効になり、これらを用いた操作値の設定が可能なモードに遷移する。色温度スライダ７６及び色温度上下ボタン７２は、撮影時の光源の色温度を操作値として設定するためのものである。光源の色温度が操作値として設定されると、色温度に応じて予め決められた定数が各有彩色成分毎に設定される。設定される色温度はテキストボックス７４に表示される。色調スライダ７０及び色調上下ボタン６６は、Ｂ成分に掛け合わせる定数とＧ成分に掛け合わせる定数との比を操作値として設定するためのものである。その比は、テキストボックス６８に段階的に（例えば±１０段階で）表示される。スポイト起動チェックボックス４６がオンになるとポインタがスポイト形状になり、クリックされた画素の彩度が０になる定数が各有彩色成分毎に設定される。この場合のホワイトバランス操作値は、クリックされた画素のプレビュー画像内での位置である。
【００３１】
・輝度操作値の設定
図３に示す露出補正エリア５８には、ＥＶスライダ６２及びＥＶ上下ボタン６４が配置されている。ＥＶスライダ６２及びＥＶ上下ボタン６４は、ＥＶ（Exposure Value）を輝度操作値として設定するためのものである。輝度操作値はテキストボックス６０に表示される。ＥＶが１増加する毎に輝度換算で明るさが２倍になる定数が設定され、ＥＶが１減少する毎に輝度換算で明るさが１／２倍になる定数が設定される。ＥＶは露出時間単体で考えれば実測値と基準値との比を２を底とした対数で表したものであるから、画像入力装置のイメージセンサに実際に入射した光の量を補正する概念で用いられるパラメータである。またディジタルカメラのＦ値及びシャッター速度はＥＶが整数で変化するように段階的に設定できるようになっている。従って、露出の過不足をリカバーするための輝度補正の操作値としてＥＶを採用することで、どの程度輝度が補正されるのかがユーザにとってわかりやすくなる。そして、ＥＶを輝度操作値として設定させる場合には、輝度換算で明るさを１／４倍、１／２倍、２倍、４倍と変化させることがユーザの意図である。しかし、線形でない階調再現処理やガンマ補正処理を実行した後にこのように輝度を正確に変化させることは、これらの逆変換処理の実行が必要となるため、少なくともレスポンス時間を相当犠牲にしない限り不可能である。
【００３２】
２−３．レタッチ操作値の設定がトリガとなるプレビュー画像生成処理
レタッチ対象ファイルが選択された後に設定操作が発生するとＰＣ１は以下のようにしてプレビュー画像から新たなプレビュー画像を生成する（ステップＳ１３０）。
尚、本実施の形態では、短縮するために、ガンマ補正処理及び階調再現処理が施されていない中間画像から新たなプレビュー画像が生成されるが、レタッチ対象ファイルが選択された後に初めて生成された完全なプレビュー画像に対してホワイトバランス補正処理及び輝度補正処理を施してもよい。いずれにしても、処理量が相当多いデモザイク処理が施されている画像に対してホワイトバランス補正処理又は輝度補正処理を実行することにより、ＲＡＷデータからプレビュー画像を生成する場合に比べて、短時間のうちにプレビュー画像を更新することができる。
【００３３】
ステップＳ１３２では、ＣＰＵ１４はステップＳ１１０で保存された中間画像のコピーに対してホワイトバランス補正処理を実行する。本実施形態では、既にホワイトバランスが補正された中間画像のホワイトバランスを補正するため、ＲＧＢに掛け合わされる定数は、中間画像に対して施されたホワイトバランス補正で用いられた定数の影響を受ける。具体的には例えば「晴天」という操作値に応じてＲ成分に対して用いられる、操作値によって一義的に決まる定数がｋ1であり、「白熱灯」という操作値に応じてＲ成分に対して用いられる、操作値によって一義的に決まる定数がｋ2であるとする。中間画像には「晴天」に応じた定数ｋ1が適用済であって、最新のレタッチ操作値が「白熱灯」である場合、プレビュー画像のＲ成分に適用される最新の定数は、ｋ2／ｋ1となる。尚、対象ファイル選択がトリガとなって起動されたプレビュー画像生成処理でのホワイトバランス補正処理（ステップＳ１１４）が施されていない中間画像に対して、「白熱灯」というレタッチ操作値の設定がトリガとなっているホワイトバランス補正処理を実行する場合には、その中間画像のＲ成分に適用される定数はｋ2でよい。
【００３４】
ステップＳ１３４では、ＣＰＵ１４は輝度補正処理を実行する。本実施形態では既に輝度が補正された中間画像の輝度を補正し、またＥＶはＲＡＷデータを基準に認識される操作値であるため、輝度補正で用いられる定数は中間画像の輝度補正で掛け合わされている定数の影響を受ける。具体的には中間画像に対して掛け合わされている定数の逆数と、最新の輝度補正の操作値によって決まる定数とを掛け合わせた定数が中間画像の輝度成分に対して掛け合わされる。尚、輝度成分に対して定数を掛け合わせてもよいが、有彩色成分のそれぞれに定数を掛け合わせてもよい。もちろん、対象ファイル選択がトリガとなって起動されたプレビュー画像生成処理で輝度補正処理（ステップＳ１１６）が施されていない中間画像に対して輝度補正処理を実行する場合には、最新の輝度補正の操作値で一義的に決まる定数を用いて輝度を補正すればよい。また、輝度操作値を、現在表示されているプレビュー画像の輝度を基準にした操作値であるとユーザに認識させるのであれば、直前まで設定されていた輝度操作値に応じて生成された中間画像の輝度成分に、新たに輝度補正の操作値で一義的に決まる定数を単独で掛け合わせればよい。
【００３５】
ステップＳ１３６では、ステップＳ１１６と同様にガンマ補正処理が実行される。
ステップＳ１３８では、ステップＳ１１８と同様に階調再現処理が実行される。
以上の処理の結果、レタッチ操作値の設定に応じてプレビュー画像が生成（更新）される。尚、ステップＳ１３２、Ｓ１３４、Ｓ１３６、Ｓ１３８の処理は、順次それぞれ実行してもよいが、各処理の変換式を合成した変換式あるいは変換のためのＬＵＴを設定し、これらを用いて一度に実行することもできる。
【００３６】
ステップＳ１４０では、ＰＣ１は更新されたプレビュー画像をディスプレイ７に表示する。具体的には例えば、フレームメモリに格納されたプレビュー画像がディスプレイドライバによって図３に示すプレビュー領域３４に表示される。レタッチ操作値の設定操作が行われてからプレビュー画像の表示が更新されるまでの応答時間は、プレゲイン処理（ステップＳ１０４）、オプティカルブラック補償処理（ステップＳ１０６）、カラーマッチング処理（ステップＳ１０８）、デモザイク処理（ステップＳ１１０）、疑色抑制処理（ステップＳ１１２）が既に施されている中間画像に対して実行されるため、設定されたレタッチ操作値に応じたプレビュー画像をＲＡＷデータから生成する場合に比べて短い。
【００３７】
２−４．最終画像生成処理
現像開始要求は例えば以下のようにして発生する。図３に示す決定ボタン３６がクリックされると、プレビュー領域３４に表示されているプレビュー画像に対して適用されたレタッチ操作値がＲＡＭ１２の別領域に保存されるとともに、レタッチ処理の結果を表す縮小プレビュー画像３８が候補エリア４０に表示される。現像開始ボタン４２がクリックされると、出力フォーマットを設定するための図示しないダイアログウィンドウが表示される。このダイアログウィンドウでは、最終画像のサイズ、カラースペース、ファイルフォーマット（ＪＰＥＧ、ＴＩＦＦ等）、圧縮率（高品質、中品質、低品質など）、最終画像を保存するフォルダ等が設定される。このダイアログウィンドウで「ＯＫ」ボタンがクリックされると、実行要求である現像開始要求が発生し、候補エリア４０に表示されている縮小プレビュー画像３８に対応するＲＡＷデータに対する以下の処理が起動される（ステップＳ１５０）。
【００３８】
ステップＳ１５２、Ｓ１５４では、ＣＰＵ１４はステップＳ１０４、Ｓ１０６と同様のプレゲイン処理及びオプティカルブラック補償処理を実行する。
ステップＳ１５６では、レタッチ操作値によってＲ、Ｇ、Ｂ毎に一義的に決まる定数を用いて、ステップＳ１１４と同様にＲ、Ｇ、Ｂの各成分が定数倍されるホワイトバランス補正処理が実行される。ただし、この処理はデモザイク処理前に実行されるため、一画素についてＲ、Ｇ、Ｂいずれかの１成分だけが存在している中間データに対して定数倍演算が実行される。従って、各画素に適用される定数は色成分毎にある３つの定数のうちの１つのみである。また、デモザイク処理後に比べて処理対象データ量が１／３であるため処理時間は短くなる。そして、この処理は、イメージセンサの各カラーフィルタを透過した光の光量を表していない、いわば偽の情報が混入していない中間データに対して施されるため、単純にＲ、Ｇ、Ｂの各成分を定数倍するだけでホワイトバランスが狙い通りに正確に補正される。
【００３９】
ステップＳ１５８では、レタッチ操作値によって一義的に決まる定数を用いてステップＳ１１６と同様の輝度補正処理が実行される。この輝度補正処理もデモザイク処理前に実行されるため、一画素についてＲ、Ｇ、Ｂいずれかの１成分だけが存在している中間データに対して定数倍演算が実行される。また、デモザイク処理後に比べて処理対象データ量が１／３であるため処理時間は短くなる。そして、この処理は、イメージセンサの各カラーフィルタを透過した光の光量を表していない、いわば偽の情報が混入していない中間データに対して施されるため、単純にＲ、Ｇ、Ｂの各成分を定数倍するだけで輝度が狙い通りに正確に補正される。
【００４０】
ステップＳ１６０、Ｓ１６２、Ｓ１６４、Ｓ１６６、Ｓ１６８では、ステップＳ１０８、Ｓ１１０、Ｓ１１２、Ｓ１１８、Ｓ１２０と同様のデモザイク処理、疑色抑制処理、カラーマッチング処理、ガンマ補正処理及び階調再現処理が実行される。但し、カラーマッチング処理では、最終画像に設定されているカラースペースへの色空間変換が実行される。
ステップＳ１７０では、最終画像に設定されているサイズ、ファイルフォーマット及び圧縮率に従って解像度変換及びエンコードが実行されることにより最終画像が生成され、設定されているフォルダに最終画像が格納される。
【００４１】
３．他の実施形態
以上、本発明をＰＣ１に適用した例を説明したが、本発明はＲＡＷデータの印刷機能を有するＭＦＰ（Multi Function Printer）及びスタンドアロン型プリンタに適用することもできるし、ＲＡＷデータの撮影処理後の現像機能を有するディジタルカメラに適用することもできる。また、レタッチ操作値の設定毎にプレビュー画像が画面表示される例を説明したが、レタッチ操作値の設定毎にプレビュー画像が印刷されてもよい。また、ホワイトバランス補正処理及び輝度補正処理以外の実行順序がプレビュー画像生成時と最終画像生成時とで一致する例を説明したが、ホワイトバランス補正処理及び輝度補正処理以外の処理の実行順序をプレビュー画像生成時と最終画像生成時とで入れ替えてもよい。また、プレビュー画像生成時におけるホワイトバランス補正処理と輝度補正処理の実行順序を入れ替えてもよいし、最終画像生成時におけるホワイトバランス補正処理と輝度補正処理の実行順序を入れ替えてもよい。また、それら以外の処理の実行順序についても、プレビュー画像生成時と最終画像生成時のそれぞれで上記実施形態と異なる順序に入れ替えてもよい。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施形態に係るフローチャート。
【図２】本発明の一実施形態に係るブロック図。
【図３】本発明の一実施形態に係る画面の構成を示す図。
【符号の説明】
【００４３】
１：ＰＣ（画像レタッチ装置）、１４：ＣＰＵ（中間画像生成手段、設定手段、プレビュー画像生成手段及び最終画像生成手段）、１６：インタフェース部（ＲＡＷデータ取得手段）、
【図１】
0004752421.tif 000002
【図２】
0004752421.tif 000003
【図３】
0004752421.tif 000004