(57)【要約】【課題】撮像装置で撮影したスペキュラ成分を含む被写体画像を出力装置で再現する際に、光沢領域の色や階調までも忠実に再現することは困難であった。【解決手段】まずＳ３０１〜Ｓ３０３で、基準光源下における、色票の撮影画像に基づくＲＧＢ平均値および該色票の測色値に基づくターゲットデータを取得する。Ｓ３０４〜Ｓ３０７では、複数の高照度光源下における、色票の撮影画像に基づくＲＧＢ平均値および該色票の測色値に基づくターゲットデータを取得する。Ｓ３０８では、最高照度の高照度光源下における基準白色データを取得する。なお高照度光源は、その拡散反射物体における輝度レンジが、基準光源下におけるスペキュラ物体の輝度レンジを包含するような照度値である。そしてＳ３０９で、上記全ての色データおよびターゲットデータ、および基準白色データに基づき、撮像装置で撮影された被写体画像に対する色変換の際に用いられる色変換パラメータを算出する。【選択図】  図３
2011004091.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮影した被写体画像を出力装置で再現するための色変換パラメータを作成する画像処理装置であって、
基準光源下において前記撮像装置で第１の色票を撮影した撮影画像に基づく第１の色データを取得する第１の色データ取得手段と、
前記基準光源下における前記第１の色票の測色値に基づく第１のターゲットデータを取得する第１のターゲットデータ取得手段と、
前記基準光源よりも明るい高照度光源下で第２の色票を撮影した撮影画像に基づく第２の色データを取得する第２の色データ取得手段と、
前記高照度光源下における前記第２の色票の測色値に基づく第２のターゲットデータを取得する第２のターゲットデータ取得手段と、
前記第１および第２の色データと、前記第１および第２のターゲットデータに基づいて、前記被写体画像に対する前記色変換の際に用いられる色変換パラメータを算出する色変換パラメータ生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
さらに、前記高照度光源下における基準白色データを取得する基準白色取得手段を有し、
前記色変換パラメータ生成手段は、前記第１および第２の色データと、前記第１および第２のターゲットデータ、および前記基準白色データに基づいて、前記色変換パラメータを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
さらに、前記出力装置における色特性データを取得する出力特性取得手段を有し、
前記色変換パラメータ生成手段は、前記第１および第２の色データと、前記第１および第２のターゲットデータ、および前記色特性データに基づき、前記色変換パラメータを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記色特性データに基づく前記出力装置の白色輝度値は、前記基準光源下におけるスペキュラ物体の輝度値よりも高いことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１および第２の色データ取得手段は、前記撮像装置において同一の露出設定で前記第１の色票を撮影した撮影画像に基づき、前記第１および第２の色データを取得することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記撮像装置の露出設定は、前記基準光源下における前記第１の色票の撮影時にアンダー露出となる設定であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記高照度光源は、該高照度光源下における拡散反射物体の輝度レンジが、前記基準光源下においてスペキュラ物体を測色した輝度レンジを包含するような照度値を提供することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
さらに、前記高照度光源に応じた照度値を、前記基準光源の照度値、前記基準光源下における拡散反射物体の輝度値、及び前記基準光源下におけるスペキュラ物体の輝度値に基づいて算出する照度値算出手段と、
前記照度値算出手段で算出された照度値を提示する提示手段と、
を有することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
撮像装置で撮影した被写体画像を出力装置で再現するための色変換パラメータを作成する画像処理方法であって、
基準光源下において前記撮像装置で第１の色票を撮影した撮影画像に基づく第１の色データを取得する第１の色データ取得ステップと、
前記基準光源下における前記第１の色票の測色値に基づく第１のターゲットデータを取得する第１のターゲットデータ取得ステップと、
前記基準光源よりも明るい高照度光源下で第２の色票を撮影した撮影画像に基づく第２の色データを取得する第２の色データ取得ステップと、
前記高照度光源下における前記第２の色票の測色値に基づく第２のターゲットデータを取得する第２のターゲットデータ取得ステップと、
前記第１および第２の色データと、前記第１および第２のターゲットデータに基づいて、前記被写体画像に対する前記色変換の際に用いられる色変換パラメータを算出する色変換パラメータ生成ステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
コンピュータを請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光沢等のスペキュラ成分を含む被写体の画像を忠実に再現する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、ディスプレイやプロジェクタ等の画像表示デバイスの高輝度化が進んでおり、従来では再現が困難であった、金属光沢等のスペキュラ成分を含む物体の質感を忠実に再現することが期待されている。光沢を忠実に再現するためには、デジタルカメラやデジタルビデオカメラなどの撮像デバイスで撮影した画像に対し、光沢領域まで含めた適切な色再現特性を持たせる必要がある。
【０００３】
一般にデジタルカメラ等の撮像デバイスにおいては、被写体からの光をＣＣＤやＣＭＯＳ等のセンサを用いてデジタル信号に変換する。そして該デジタル信号に対して、内部に備えたマトリクスやＬＵＴ（ルックアップテーブル）等の色変換パラメータを用いて色変換を行うことにより、撮影画像を生成している。この色変換パラメータは、ある特定の露出条件のもとで色票を撮影した画像データを、所定のターゲット（ターゲットデータともいう）、例えば当該色票の測色値に合わせるように最適化することによって、設計されている。このように最適化された色変換パラメータを用いることにより、同一の露出条件で撮影した画像に対して所望の色再現特性を持たせることができる。
【０００４】
一方、物体における光沢領域は極端に強い正反射特性を持つため、拡散反射する物体では表現できない程の高い反射輝度を有する。そのため、上記拡散反射する色票を用いて色変換パラメータを作成する方法では、光沢領域に対応した色変換はできなかった。すなわち、色票が包含する輝度の範囲内の色再現性は良好となるものの、色票のレンジを大きく超えるような光沢の輝度レンジに関しては、ターゲットとなるデータが存在しないため、色再現精度が低下してしまうという問題がある。
【０００５】
このような問題に対し、色票に含まれるグレイスケールパッチのデータを用いて、色票に含まれる白色よりも明るい色のデータを推定する技術が提案されている（例えば、特許文献１参照）。この技術によれば、推定された白色よりも明るい色のデータを、上述のようなカメラの色変換パラメータを作成する際のデータに追加することで、色票の輝度レンジよりも明るい色に対する精度の向上が図れる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−３５５５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載された方法では、追加されるデータはグレイスケールのデータに基づいて推定された色に過ぎないため、グレイ以外の色に対しては精度向上が期待できないという問題がある。また、光沢のようなスペキュラ成分を含んだ、広いダイナミックレンジを有する画像に対しては、色票が包含する輝度の範囲に比べて、それ以上の高輝度域の方が格段に広くなるため、推定精度としては不十分になってしまう。
【０００８】
本発明は上述した問題を解決するためになされたものであり、撮像装置で撮影した被写体画像を、その光沢領域を含めて実物に忠実に再現する画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、撮像装置で撮影した被写体画像を出力装置で再現するための色変換パラメータを作成する画像処理装置であって、基準光源下において前記撮像装置で第１の色票を撮影した撮影画像に基づく第１の色データを取得する第１の色データ取得手段と、前記基準光源下における前記第１の色票の測色値に基づく第１のターゲットデータを取得する第１のターゲットデータ取得手段と、前記基準光源よりも明るい高照度光源下で第２の色票を撮影した撮影画像に基づく第２の色データを取得する第２の色データ取得手段と、前記高照度光源下における前記第２の色票の測色値に基づく第２のターゲットデータを取得する第２のターゲットデータ取得手段と、前記第１および第２の色データと、前記第１および第２のターゲットデータに基づいて、前記被写体画像に対する前記色変換の際に用いられる色変換パラメータを算出する色変換パラメータ生成手段と、を有することを特徴とする。
【発明の効果】
【００１０】
上記構成からなる本発明によれば、撮像装置で撮影した被写体画像を、その光沢領域を含めて実物に忠実に再現する画像処理装置および画像処理方法を提供することを目的とする。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態に係る画像処理装置の構成例を示すブロック図、
【図２】第１実施形態で使用される色票の例を示す図、
【図３】第１実施形態における色変換パラメータ作成処理を示すフローチャート、
【図４】第１実施形態における色変換パラメータ生成部の詳細構成を示すブロック図、
【図５】第２実施形態における高照度光源用の照度値算出処理を示すフローチャート、
【図６】第２実施形態における高照度光源用の照度値算出処理を行うためのユーザインタフェース例を示す図、
【図７】第３実施形態における色変換パラメータの作成処理を示すフローチャート、
【図８】第３実施形態における色変換パラメータ生成部の詳細構成を示すブロック図、
【図９】第２実施形態における高照度光源用の照度値算出処理（詳細）を示すフローチャート、である。
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１３】
＜第１実施形態＞
●装置構成
図１は、本実施形態における画像処理装置の構成例を示すブロック図である。同図に示す画像処理装置１は、不図示の撮像装置で撮影した被写体画像を、不図示の出力装置で忠実に再現するための色変換パラメータを作成するために、以下のような構成を持つ。データ入力部１０１は、デジタルカメラやデジタルビデオカメラ等の撮像装置によって撮像された画像データや、色票のターゲットデータ等のデータを外部から取り込むためのインタフェースである。色変換パラメータ生成部１０２は、撮像装置によって撮像された画像に対して色変換を行うための色変換パラメータを生成する。平均値算出部１０３は、入力された色票の画像データが表す各パッチのＲＧＢ平均値を算出する。表示部１０４は、後述する高照度光源として必要な光源の照度を算出する処理を行うためのユーザインタフェース等を表示する。データ出力部１０５は、生成した色変換パラメータ等のデータを外部に出力するためのインタフェースである。データ保持部１０６は、画像データやターゲットデータ、色変換用パラメータなどの各種データを保持する。照度算出部１０７は、高照度光源による最適な照度値を算出する。照度算出パラメータ取得部１０８は、高照度光源による照度を算出するために必要なパラメータを取得する。基準白色取得部１０９は、ＸＹＺ値とＬａｂ値の色空間変換を行う際の基準白色データを取得する。
【００１４】
図２は、本実施形態における色票の例を示す図である。同図に示す色票２は、４行６列の色票であり、行方向に対して色相が、列方向に対して彩度が変化するパッチ群で構成されている。また、色票２の最下行には、白から黒のグレイ階調を示すパッチ群が設けられている。このように、色票２は全ての色相、彩度を満遍なく網羅するとともに、グレイの階調も有することが好ましい。但し、この色票の色数や配置、色の種類等は一例に過ぎず、色変換パラメータの生成に使用可能であれば、どのような色票であっても良い。
【００１５】
なお、色票の数は一つである必要はなく、複数の色票を用いても良い。また、色票の種類も必ずしも同一のものを用いる必要はなく、異なる種類の色票を用いても良い。
【００１６】
●色変換パラメータ作成処理
以下、本実施形態の画像処理装置１における色変換パラメータ作成処理について説明する。本実施形態における色変換パラメータは、撮像装置で取得した、該デバイス依存の色空間上の色データを、データ交換用の共通色空間の色データに変換するためのパラメータである。以下では一例として、撮像装置をデジタルカメラとし、データ交換用の色空間をＩＥＣ61966-2-1で規定されるｓＲＧＢ空間、という組合せで説明を行う。すなわち、デジタルカメラで撮影されたＲＧＢデータをｓＲＧＢデータに変換するように、色変換パラメータを作成する。
【００１７】
図３は、本実施形態における色変換パラメータの作成処理を示すフローチャートである。
【００１８】
まず、Ｓ３０１〜Ｓ３０３において、光沢などのスペキュラを含む被写体を実際に撮影する光源（以下、基準光源とする）下における、カメラの色データとターゲットデータの組を準備する。
【００１９】
すなわちまずＳ３０１で、データ入力部１０１より、基準光源下で撮影した色票の画像データを入力する。ここでは、図２に示した色票２を一つ用いるとする。画像データの入力は、ケーブル等を介して不図示のデジタルカメラ等から直接入力しても良いし、メモリカード等の記憶媒体を介して入力しても良い。入力された色票の画像データは、データ保持部１０６に格納される。なお、ここで入力される色票の画像データは、色変換パラメータの作成対象となるデジタルカメラによって撮影されたものである。また、スペキュラを持つ被写体のスペキュラ部分の階調をできるだけ保存するような設定で、色票が撮影されることが望ましい。例えば、多段露出の画像を合成したＨＤＲ画像であっても良いし、アンダー露出で撮影することで高輝度部の階調を残したワンショット撮影画像でも良い。
【００２０】
次にＳ３０２で第１の色データ取得処理を行う。すなわち、平均値算出部１０３が、Ｓ３０１で入力した色票の画像データが表す各パッチのＲＧＢ値の平均を算出する。本実施形態では、色票２に含まれる２４個の各パッチに対応するＲＧＢ平均値が算出される。算出されたＲＧＢ平均値は、第１の色データとしてデータ保持部１０６に格納される。
【００２１】
次にＳ３０３で第１のターゲットデータ取得処理を行う。すなわち、データ入力部１０１より、基準光源下における色票のターゲットデータを入力する。ここで言う色票とは、Ｓ３０１で入力した画像の撮影時に用いられたものと同じ色票（この例では色票２）である。また、ターゲットデータは、色票２の各パッチを、基準光源下において輝度計等の測色器を用いて測定した際の測色値に基づくものであり、ここでは、色票２の各パッチを測色して得られる三刺激値（ＸＹＺ値）とする。入力したターゲットデータは、第１のターゲットデータとしてデータ保持部１０６に格納される。
【００２２】
次のＳ３０４〜Ｓ３０７では、基準光源よりも高い照度を提供する高照度光源下における、カメラの色データとターゲットデータの組を準備する。
【００２３】
すなわちＳ３０４で、データ入力部１０１より、基準光源よりも高い照度を提供する高照度光源下で撮影した色票の画像データを入力する。ここでは、基準光源下で使用したのと同一の色票である色票２を用いるものとするが、異なる種類の色票を用いても良い。すなわち、基準光源下において用いられる第１の色票と、高照度光源下で用いられる第２の色票は、互いに同じであっても、異なっていても良い。なお、この色票を撮影した画像データは、ステップＳ３０１と同様に、ケーブルなどを介して不図示のデジタルカメラ等から直接入力しても良いし、メモリカード等の記憶媒体を介して入力しても良い。入力された色票の画像データは、データ保持部１０６に格納される。
【００２４】
なお、ここで入力する色票の画像データは、色変換パラメータを作成する対象となるデジタルカメラによって撮影され、その撮影時の露出設定は、基準光源下で色票２を撮影した時と同じであるとする。したがってこの場合の撮影画像は、高照度光源下では、基準光源下での撮影時の露出と比べると、オーバー方向にシフトした画像となる。
【００２５】
次にＳ３０５で第２の色データ取得処理を行う。すなわち、平均値算出部１０３はステップＳ３０４で入力した色票の画像データが表す各パッチのＲＧＢ値の平均値を算出する。本実施形態では、色票２に含まれる２４個の各パッチに対応するＲＧＢ平均値が算出される。算出されたＲＧＢ値は第２の色データとしてデータ保持部１０６に格納される。
【００２６】
次にＳ３０６で第２のターゲットデータ取得処理を行う。すなわち、データ入力部１０１より、高照度光源下における色票のターゲットデータを入力する。ここで言う色票とは、Ｓ３０４で入力した画像の撮影時に用いられたものと同じ色票（この例では色票２）である。また、ターゲットデータは、色票２の各パッチを、高照度光源下において輝度計等の測色器を用いて測定した際の測色値に基づくものであり、ここでは、色票２の各パッチを測色して得られる三刺激値（ＸＹＺ値）とする。入力したターゲットデータは、第２のターゲットデータとしてデータ保持部１０６に格納される。
【００２７】
次にＳ３０７において、全ての高照度光源に対する色票の色データ（第２の色データ）およびターゲットデータ（第２のターゲットデータ）を入力したか否かを判定する。全ての入力が終了した場合はＳ３０８に進むが、未入力のデータが残っている場合はＳ３０４に戻り、未入力の高照度光源におけるデータについての処理を行う。
【００２８】
次にＳ３０８はにおいて、基準白色取得部１０９は、Ｓ３０４〜Ｓ３０７で処理されたデータに対応した光源である高照度光源のうち、最も高照度を提供する光源下における基準白色データのＸＹＺ値（ＸhW、ＹhW、ＺhW）を取得する。基準白色は、硫酸バリウム等を用いた完全拡散白色板を、上記光源下で輝度計を用いて測色した際のＸＹＺ値（絶対値）として得ることができる。この基準白色データは、データ入力部１０１から入力することも可能であり、取得後にデータ保持部１０６に格納される。なお本実施形態における基準白色データは上記に限らず、最も高照度を提供する光源下におけるターゲットデータの中の、最大輝度を持つデータのＸＹＺ値とすることも可能である。
【００２９】
次にＳ３０９において、色変換パラメータ生成部１０２は、デジタルカメラのＲＧＢ値をデータ交換用の色空間であるｓＲＧＢのＲＧＢ値に変換するための色変換パラメータを生成する。この色変換パラメータ生成処理の詳細については後述する。
【００３０】
そして最後にＳ３１０において、Ｓ３０９で生成された色変換パラメータをデータ出力部１０５に出力して、処理を終了する。
【００３１】
●色変換パラメータ生成処理の詳細
以下、上記Ｓ３０９における色変換パラメータの生成処理について、図４を用いて詳細に説明する。
【００３２】
図４は、色変換パラメータ生成部１０２の詳細構成を示すブロック図であり、Ｓ３０９における色変換パラメータの作成処理として、デジタルカメラのＲＧＢ値をｓＲＧＢ値に変換するマトリクスの最適化処理を行う。
【００３３】
図４に示すターゲットデータ４０１は、Ｓ３０３やＳ３０６で入力されてデータ保持部１０６に格納された、基準光源下または高照度光源下における色票のＸＹＺ値（Ｘti，Ｙti，Ｚti）である。ここで添え字ｉは、データ保持部１０６に格納されているターゲットデータのパッチ数に基づくインデックス値である。本実施形態におけるパッチデータは、基準光源下の色票２のパッチ数（２４色）と、高照度光源下における色票２のパッチ数（２４色）を合わせた４８色から構成されるため、０≦ｉ≦４７となる。
【００３４】
このターゲットデータ４０１が、ＸＹＺ→Ｌａｂ変換部４０２に入力され、ＣＩＥで規定される変換式によってＬａｂ値に変換される。この変換に用いる基準白色４０３としては、Ｓ３０８でデータ保持部１０６に格納された基準白色である（ＸhW，ＹhW，ＺhW）を、ｓＲＧＢの白色であるＤ６５（ＸD65，ＹD65，ＺD65）の色度に変更した値を用いる。すなわち、基準白色４０３として（Ｘ，Ｙ，Ｚ）＝（ＸhW×ＸD65，ＹhW，ＺhW×ＺD65）を用いる。ここでの変換により得られたＬａｂ値（Ｌti，ａti，ｂti）は、ターゲットＬａｂ値として色差評価部４１１に入力される。
【００３５】
色データ４０４は、Ｓ３０２やＳ３０５で算出されてデータ保持部１０６に格納された、基準光源下または高照度光源下における色票のＲＧＢ平均値（Ｒci，Ｇci，Ｂci）である。この色データ４０４が、マトリクス変換部４０５に入力され、カメラのＲＧＢ値をｓＲＧＢ値に変換するためのマトリクス４０６に基づいて、マトリクス変換される。ここで、マトリクス４０６が例えば３行３列のマトリクスＭ1であるとした場合、マトリクス変換部４０５では以下の式(1)に基づく変換が行われ、ｓＲＧＢ値（Ｒsi，Ｇsi，Ｂsi）が得られる。
【００３６】
【数１】
2011004091.tif 000003
【００３７】
なお、後述するようにマトリクスＭ1は、マトリクス更新部４１２により順次最適化処理が施されて、最終的な色変換パラメータとなるが、その初期値としては例えば、デジタルカメラで使用されている既存のマトリクス等を使用すれば良い。
【００３８】
次に、変換されたｓＲＧＢ値（Ｒsi，Ｇsi，Ｂsi）が、ｓＲＧＢ→ＸＹＺ変換部４０７に入力され、ＩＥＣ61966-2-1で規定されるｓＲＧＢの変換式およびマトリクス４０８に基づいてＸＹＺ値（Ｘsi，Ｙsi，Ｚsi）に変換される。
【００３９】
次に、変換されたＸＹＺ値（Ｘsi，Ｙsi，Ｚsi）が、ＸＹＺ→Ｌａｂ変換部４０９に入力され、ＣＩＥで規定される変換式によりＬａｂ値に変換される。この変換に用いる基準白色４１０としては、ｓＲＧＢの白色であるＤ６５（ＸD65，ＹD65，ＺD65）を用いる。この変換により得られたＬａｂ値（Ｌsi，ａsi，ｂsi）は、評価用Ｌａｂ値として色差評価部４１１に入力される。なお、ＸＹＺ→Ｌａｂ変換部４０９は、ＸＹＺ→Ｌａｂ変換部４０２と共通の構成としても良いが、参照する基準白色点は異なる。
【００４０】
色差評価部４１１では、ＸＹＺ→Ｌａｂ変換部４０２から出力されたターゲットＬａｂ値（Ｌti，ａti，ｂti）と、ＸＹＺ→Ｌａｂ変換部４０９から出力された評価用Ｌａｂ値（Ｌsi，ａsi，ｂsi）から、評価値を算出する。例えば、各パッチの評価関数をＥiとすると、全体の評価値Ｅは以下の式(2)のように求められる。
【００４１】
Ｅ＝ΣＥi＝Σ√{(Ｌti-Ｌsi)2+(ａti-ａsi)2+(ｂti-ｂsi)2}      ・・・(2)
また、各パッチに個別の重みを設定しても良い。その際の評価値Ｅは、各パッチの重みをｗiとすると以下の式(3)のようになる。
【００４２】
Ｅ＝ΣｗiＥi＝Σｗi√{(Ｌti-Ｌsi)2+(ａti-ａsi)2+(ｂti-ｂsi)2}      ・・・(3)
以上の式(2)または式(3)で算出された評価値Ｅが、所定のしきい値を超える場合には、マトリクス更新部４１２において、評価値Ｅを最小化するようにマトリクス４０６の値を更新する。ここでの更新の方法としては、例えばＤＬＳ法（減衰最小二乗法）や、最急降下法、ニュートン法等の周知の最適化アルゴリズムを適用すれば良い。
【００４３】
一方、評価値Ｅがしきい値以下となる場合や、マトリクス更新処理の繰り返しが所定の繰り返し回数を超えた場合には、その時点におけるマトリクス４０６を、色変換パラメータ４１３として出力する。すなわち色差評価部４１１において、評価値Ｅが最小となるマトリクス４０６を保存しておき、評価値Ｅの最小値が更新される度に、これを更新して保存しておく。これにより、マトリクス更新処理が所定の繰り返し回数を超えた場合に、保存されているマトリクス４０６を出力することができる。また、初期マトリクスを複数用意しておき、それぞれの初期マトリクスを最適化した際に最も評価値Ｅが小さくなるマトリクスを、色変換パラメータ４１３として出力することもできる。
【００４４】
なお、色差評価部４１１で最適化されたマトリクスから３Ｄ−ＬＵＴを生成し、これを色変換パラメータ４１３として出力することも可能である。その場合、生成したデジタルカメラのＲＧＢ値をスライスデータとして入力し、上記作成したマトリクスを用いてｓＲＧＢ値に変換することによって、入力と出力のＲＧＢ値を対応付ければ良い。
【００４５】
以上説明したように本実施形態によれば、基準光源下の色票からは得ることのできない高輝度な色情報を、より明るい高照度光源下における色票から得る。これにより、基準光源下における光沢等のスペキュラ領域の再現精度を向上するような色変換パラメータを生成することができる。
【００４６】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。第２実施形態においては、上述した第１実施形態と異なる部分についてのみ説明し、重複する部分については説明を省略する。
【００４７】
上述した第１実施形態では、色変換パラメータを作成する際に、基準光源よりも高い照度を提供する高照度光源下での色情報を追加することによって、拡散反射物体である色票よりも輝度の高い領域（光沢領域）の再現精度を高める例を示した。その際に、どの程度高い照度での色情報を追加すれば、最も精度が良くなるのかが事前に分かれば、より高精度な色変換パラメータを容易に作成することができる。そこで第２実施形態では、基準光源下において得られるデータを基に、スペキュラ領域の再現精度を高めるのに最適な照度を算出し、ユーザに提示する。すなわち第２実施形態では、提示された最適な照度を実現するような高照度光源を用いて、上述した第１実施形態と同様の色変換パラメータの作成方法を実行する。これにより、図３に示すＳ３０４〜Ｓ３０６で入力される高照度光源下のデータを、色変換パラメータの精度を高めるのに最適なデータとすることができる。
【００４８】
なお、第２実施形態における画像処理装置の構成は上述した第１実施形態と同様であるため、同一構成については同一符号を参照するとする。
【００４９】
●高照度光源に応じた照度値の算出処理
以下、第２実施形態における高照度光源に応じた照度値算出処理について、図５のフローチャートを用いて説明する。
【００５０】
まずＳ５０１において、照度算出パラメータ取得部１０８が、基準光源に応じた照度値Ｉbを取得する。この照度値Ｉbとしては、基準光源下で照度計を用いて測定した照度値を、データ入力部１０１を経由して入力したものであっても良いし、後述するユーザインタフェースを用いてユーザが直接を入力した値であっても良い。
【００５１】
次にＳ５０２において、基準光源下における拡散反射物体の基準白色の輝度値ＹbdWを、基準白色データとして取得する。これは、硫酸バリウム等を用いた完全拡散白色板を、上記光源下で輝度計を用いて測色した際のＸＹＺ値（絶対値）のＹ値として得ることができる。この基準白色データＹbdWは、データ入力部１０１経由か、または後述するユーザインタフェースを用いてユーザが直接値を入力することで取得する。なお、基準白色データＹbdWとしては、データ入力部１０１に入力した基準光源下のターゲットデータのうち、輝度値が最大となるパッチの輝度値（Ｙ値）を基準白色とすることも可能である。その場合、Ｓ３０８で取得する基準白色として、最も高照度を提供する光源下でのターゲットデータから、最大輝度となるパッチのＸＹＺ値を選定することが好ましい。
【００５２】
次にＳ５０３において、基準光源下における拡散反射物体の基準黒色の輝度値ＹbdKを、基準黒色データとして取得する。この基準黒色データＹbdKとしては、データ入力部１０１に入力した基準光源下のターゲットデータのうち、輝度値が最小となるパッチの輝度値（Ｙ値）を取得すれば良い。
【００５３】
次にＳ５０４において、基準光源下におけるスペキュラの輝度値ＹbsWを取得する。このスペキュラ輝度データＹbsWは、基準光源下に置いた鏡やスペキュラを持つ被写体等を用いて、スペキュラの輝度値を輝度計で測定したデータを、データ入力部１０１や、後述するユーザインタフェースからの直接入力等によって取得する。
【００５４】
次にＳ５０５において、高照度光源に応じた照度値Ｉhiを算出する。ここで、添え字ｉはインデックスであり、ｉ≧１である。すなわち、ｉが１より大きい場合は、複数の高照度光源が必要なことを示している。なお、この照度値Ｉhiの算出処理の詳細については後述する。
【００５５】
そして最後にＳ５０６において、Ｓ５０５で算出した照度値Ｉhiを、表示部１０４に表示することによってユーザに提示して、処理を終了する。
【００５６】
以下、上記Ｓ５０５における高照度光源に応じた照度値Ｉhiを算出する処理について、図９のフローチャートを用いて詳細に説明する。なお、以下に示す照度値算出処理において、ＹhKiは、高照度光源ｉにおける基準黒色の輝度値を示し、ＹhK0＝ＹbsWとする。
【００５７】
まずＳ９０１において、追加データを作成するための高照度光源ｉに応じた照度値Ｉhiを、以下の式(4)に基づいて算出する。
【００５８】
Ｉhi＝(ＹhK(i-1)／ＹbdW)×Ｉb      ・・・(4)
次にＳ９０２において、Ｓ９０１で算出した高照度光源ｉ下における基準黒色の輝度値ＹhKiを、以下の式(5)により推定する。
【００５９】
ＹhKi＝(ＹbdK／ＹbdW)×ＹhK(i-1)      ・・・(5)
次にＳ９０３において、スペキュラ成分の輝度レンジを包含できたか否かの判定処理を行う。すなわち、Ｓ９０１で算出した照度値を提供するｉ個目までの全ての高照度光源下における拡散反射物体の輝度レンジの和集合により、基準光源下の基準白色の輝度より明るい輝度レンジを包含できたか否かを、以下のように判定する。ｓ００９０３ではすなわち、基準光源下での基準白色の輝度値ＹbdWが、Ｓ９０２で算出した高照度光源ｉ下における基準黒色の輝度値ＹhKiよりも小さい（ＹbdW＜ＹhKi）か否かを判定する。ＹbdW＜ＹhKiであれば、輝度レンジをまだ完全に包含できていないと判断し、Ｓ９０４でｉをインクリメントしてＳ９０１に戻り、次の高照度光源に応じた照度値Ｉhiを算出する。一方、ＹbdW≧ＹhKiならば、ｉ番目までに算出された高照度光源下における拡散反射物体の輝度レンジによって、スペキュラ成分の輝度レンジを包含したと判断し、Ｓ９０５でｉ番目までの照度値Ｉhiを算出結果として出力し、処理を終了する。
【００６０】
●ユーザインタフェース
図６は、高照度光源に応じた照度値Ｉhiを算出し、該算出結果を表示してユーザに提示するためのユーザインタフェースの一例を示す図である。
【００６１】
同図に示す高照度光源照度値算出画面６は、以下のような構成からなる。まず、光源照度値入力／表示エリア６０１は、取得した、または、ユーザが入力した基準光源に応じた照度値を表示する。拡散反射輝度値（白色）入力／表示エリア６０２は、取得した、または、ユーザが入力した基準光源下の基準白色の拡散反射輝度値を表示する。ターゲットデータ利用チェックボックス６０３は、基準白色として、基準光源下のターゲットデータにおいて輝度が最大となるパッチの輝度値を用いるか否かを選択する。図６の例ではこのチェックボックスがＯＮ状態になっているため、基準白色として基準光源下におけるターゲットデータの最大輝度の値を利用する。その際、後述するターゲットデータ読み込みエリア６０６において、ターゲットデータが指定され、読み込まれている必要がある。拡散反射輝度値（黒色）入力／表示エリア６０４は、取得した、または、ユーザが入力した基準光源下のターゲットデータのうち、輝度が最小となるパッチの輝度値を表示する。スペキュラ輝度入力／表示エリアは、取得した、またはユーザが入力した、基準光源下におけるスペキュラが持つ輝度値を表示する。ターゲットデータ読み込みエリア６０６は、参照ボタン６０７の押下によりターゲットデータが記載されたファイルが選択されてデータが読み込まれた後に、該読み込んだファイルのファイル名が表示される。
【００６２】
以上のデータが設定された後、計算ボタン６０８を押下することにより、ステップＳ５０５における高照度光源に応じた照度値の算出処理が実行される。そして、閉じるボタン６０９の押下により処理が終了し、高照度光源照度値算出画面６のウィンドウが閉じられる。
【００６３】
計算ボタン６０８を押下することにより算出された照度値は、高照度光源の照度値算出結果エリア６１０に、輝度レンジを表すグラフとともに表示される。このグラフは縦軸が輝度値を表しており、図６の例では、高照度光源に応じた２つの照度値が算出され、以下に示す４種類の輝度レンジを示している。４種類の輝度レンジは左から、まず、基準光源下のスペキュラ成分の輝度値および拡散反射輝度値（黒色）に基づく、シーンの輝度レンジを示す。そして、基準光源下における拡散反射輝度値（白色）および拡散反射輝度値（黒色）に基づく、拡散反射物体の輝度レンジを示す。そして、算出された２つの照度値の一方に対応する高照度光源１下における拡散反射物体の輝度レンジと、さらに、他方に対応する高照度光源２下における拡散反射物体の輝度レンジを示している。なお、高照度光源１および２に対しては、ステップＳ５０５で算出したそれぞれの照度値Ｉhiが下方に表示されている。
【００６４】
この輝度レンジグラフによれば、高照度光源１だけではスペキュラ成分を含むシーン輝度レンジを包含できていないが、高照度光源２まで考慮することによってシーン輝度レンジを包含できるようになることを、ユーザが視覚的に把握することができる。これによりユーザは、高精度な色変換パラメータを作成するためには、高照度光源として、グラフ上に示される高照度光源１および２に対応する光源を用いるべきであることを、容易に知ることができる。
【００６５】
以上説明したように第２実施形態によれば、基準光源下の色票からは得ることのできない色情報を得るのに最適な照明情報がユーザに提示される。したがって、該提示された条件の色情報を追加することで、基準光源下におけるスペキュラ成分の再現精度を向上させることが容易に可能となる。
【００６６】
＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。第３実施形態においては、上述した第１および第２実施形態と異なる部分についてのみ説明し、重複する部分については説明を省略する。
【００６７】
上述した第１および第２実施形態では、色変換パラメータを、カメラ等の撮像装置に依存する色データからデータ交換用のｓＲＧＢデータへ変換するためのパラメータとして作成する例を示した。第３実施形態では、画像を表示する出力装置の色特性データを考慮することによって、色変換パラメータを、撮像装置で撮像して得られる画像の色データを出力装置の色データに変換するためのパラメータとして作成する。
【００６８】
●装置構成
第３実施形態における画像処理装置は、上述した第１実施形態で図１に示した画像処理装置１と同様の構成であるが、データ入力部１０１からは、画像を表示する出力装置の色特性データも入力される。また、色変換パラメータ生成部１０２では、撮像装置によって撮像された画像の色データを出力装置の色データに変換するための色変換パラメータを生成する。またデータ保持部１０６では、出力装置の色特性データも保持する。
【００６９】
●色変換パラメータ作成処理
以下、第３実施形態における色変換パラメータ作成処理について説明する。第３実施形態における色変換パラメータは、撮像装置で取得した色データを、出力装置の色データに変換するためのパラメータである。以下では一例として、撮像装置がデジタルカメラであり、出力装置がディスプレイである、という組合せで説明を行う。すなわち、デジタルカメラで撮影されたＲＧＢデータをディスプレイのＲＧＢデータに変換するように、色変換パラメータを作成する。なお、ここでのディスプレイとしては、被写体が持つスペキュラ領域まで忠実に再現するために、被写体のスペキュラ成分の輝度レンジを包含するような高輝度特性を持つことが望ましい。
【００７０】
図７は、第３実施形態における色変換パラメータの作成処理を示すフローチャートである。同図において、Ｓ７０１〜Ｓ７０７については、上述した第１実施形態の図３に示すＳ３０１〜Ｓ３０７と同様の処理であるため、説明を省略する。
【００７１】
Ｓ７０８では、出力装置の色特性データを取得する、出力特性取得処理を行う。すなわち、データ入力部１０１より、第３実施形態で作成した色変換パラメータを適用した画像の出力先となる、ディスプレイの色特性データを入力する。ここで色特性データとは、ＲＧＢの信号値をＲ，Ｇ，Ｂの各軸で等間隔にスライスした際の組合せと、その信号値をディスプレイに入力して表示した色を輝度計等の測色器で測色して得られるＸＹＺ値（絶対値）と、が対応付けられたものである。例えば、スライス数が９の場合、色特性データは、９×９×９＝７２９通りのＲＧＢ値と、それに対応するＸＹＺ値との組み合わせからなる。なお、測色器として非接触型の測色器を用いる事により、ディスプレイを観察する環境の光源の影響を考慮した機器特性を得ることができる。なお、色特性データの入力は、ケーブルなどを介して測色器から直接入力しても良いし、メモリカードなどの記憶媒体やネットワークなどを介して入力しても良い。入力されたディスプレイの色特性データは、データ保持部１０６に格納される。
【００７２】
次にＳ７０９において、基準白色取得部１０９は、Ｓ７０８でデータ保持部１０６に保持されたディスプレイの色特性データから、ディスプレイの白色輝度であるＸＹＺ値を取得する。例えば、ＲＧＢ信号が８ビットのデータであれば、（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）に対応するＸＹＺ値（ＸdW，ＹdW，ＺdW）を基準白色として取得し、データ保持部１０６に格納する。なお、ここで取得されるディスプレイの白色輝度値は、基準光源下においてスペキュラ物体を測色した際の輝度値よりも高い必要がある。
【００７３】
次にＳ７１０において、色変換パラメータ生成部１０２は、デジタルカメラのＲＧＢ値をディスプレイのＲＧＢ値に変換するための色変換パラメータを生成する。この色変換パラメータ生成処理の詳細については後述する。
【００７４】
そして最後にＳ７１１において、Ｓ７１０で生成された色変換パラメータをデータ出力部１０５に出力して、処理を終了する。
【００７５】
●色変換パラメータ生成処理の詳細
以下、上記Ｓ７１０における色変換パラメータの生成処理について、図８を用いて詳細に説明する。
【００７６】
図８は、第３実施形態における色変換パラメータ生成部１０２の詳細構成を示すブロック図であり、Ｓ７１０における色変換パラメータの作成処理として、デジタルカメラのＲＧＢ値をディスプレイのＲＧＢ値に変換するマトリクスの最適化処理を行う。第３実施形態における色変換パラメータ生成部１０２の構成は、上述した第１実施形態で図４に示した構成とほぼ同様であるが、最適化対象となるマトリクスがカメラ−ディスプレイ間における変換マトリクスである点が異なる。さらに、ＸＹＺ→Ｌab変換において参照される白色点の値として、高照度光源の基準白色に代えてディスプレイの基準白色を用いる。以下、図８に示す構成によるマトリクスの最適化処理について、詳細に説明する。
【００７７】
図８に示すターゲットデータ８０１は、Ｓ７０３やＳ７０６で入力されてデータ保持部１０６に格納された、基準光源下または高照度光源下における色票のＸＹＺ値（Ｘti，Ｙti，Ｚti）である。ここで添え字ｉは、データ保持部１０６に格納されているターゲットデータのパッチ数に基づくインデックス値であり、第１実施形態と同様に０≦ｉ≦４７となる。
【００７８】
このターゲットデータ８０１が、ＸＹＺ→Ｌａｂ変換部８０２に入力され、ＣＩＥで規定される変換式によってＬａｂ値に変換される。この変換に用いる基準白色８０３として、Ｓ７０９でデータ保持部１０６に格納されたディスプレイの基準白色（ＸdW，ＹdW，ＺdW）を用いる。ここでの変換により得られたＬａｂ値（Ｌti，ａti，ｂti）は、ターゲットＬａｂ値として色差評価部８１１に入力される。
【００７９】
色データ８０４は、Ｓ７０２やＳ７０５で算出されてデータ保持部１０６に格納された、基準光源下または高照度光源下における色票のＲＧＢ平均値（Ｒci，Ｇci，Ｂci）である。この色データ８０４が、マトリクス変換部８０５に入力され、カメラのＲＧＢ値をディスプレイのＲＧＢ値に変換するためのマトリクス８０６に基づいて、マトリクス変換される。ここで、マトリクス８０６が例えば３行３列のマトリクスＭ2であるとした場合、マトリクス変換部８０５では以下の式(6)に基づく変換が行われ、ディスプレイのＲＧＢ値（Ｒdi，Ｇdi，Ｂdi）が得られる。
【００８０】
【数２】
2011004091.tif 000004
【００８１】
なお、後述するようにマトリクスＭ2は、マトリクス更新部８１２により順次最適化処理が施されて、最終的な色変換パラメータとなるが、その初期値としては例えば、デジタルカメラで使用されている既存のマトリクス等を使用すれば良い。
【００８２】
次に、変換されたディスプレイのＲＧＢ値（Ｒdi，Ｇdi，Ｂdi）が、ＲＧＢ→ＸＹＺ変換部８０７に入力され、ディスプレイ特性８０８に基づいてＸＹＺ値（Ｘdi，Ｙdi，Ｚdi）に変換される。ここでディスプレイ特性８０８は、Ｓ７０８でデータ保持部１０６に格納されたＲＧＢ各９スライス（７２９色）のＲＧＢ値とＸＹＺ値を対応付けた３Ｄ−ＬＵＴである。ＲＧＢ→ＸＹＺ変換部８０７では、この３Ｄ−ＬＵＴを用いた補間演算を行うことにより、任意の入力ＲＧＢ値に対するＸＹＺ値を算出することができる。
【００８３】
次に、変換されたＸＹＺ値（Ｘdi，Ｙdi，Ｚdi）が、ＸＹＺ→Ｌａｂ変換部８０９に入力され、ＣＩＥで規定される変換式によりＬａｂ値に変換される。この変換の際には、ＸＹＺ→Ｌａｂ変換部８０２と同様に、ディスプレイの基準白色（ＸdW，ＹdW，ＺdW）が用いられる。この変換により得られたＬａｂ値（Ｌdi，ａdi，ｂdi）は、評価用Ｌａｂ値として色差評価部８１１に入力される。なお、ＸＹＺ→Ｌａｂ変換部８０９は、ＸＹＺ→Ｌａｂ変換部８０２と共通の構成としても良い。
【００８４】
色差評価部８１１では、ＸＹＺ→Ｌａｂ変換部８０２から出力されたターゲットＬａｂ値（Ｌti，ａti，ｂti）と、ＸＹＺ→Ｌａｂ変換部８０９から出力された評価用Ｌａｂ値（Ｌdi，ａdi，ｂdi）から、評価値を算出する。例えば、各パッチの評価関数をＥiとすると、全体の評価値Ｅは、上述した第１実施形態の式(2)または(3)と同様に、以下の式(7)または(8)のように求められる。
【００８５】
Ｅ＝ΣＥi＝Σ√{(Ｌti-Ｌdi)2+(ａti-ａdi)2+(ｂti-ｂdi)2}      ・・・(7)
Ｅ＝ΣｗiＥi＝Σｗi√{(Ｌti-Ｌdi)2+(ａti-ａdi)2+(ｂti-ｂdi)2}      ・・・(8)
以上の式(7)または式(8)で算出された評価値Ｅが、所定のしきい値を超える場合には、マトリクス更新部８１２において、評価値Ｅを最小化するようにマトリクス８０６の値を、第１実施形態のマトリクス更新部４１２と同様に更新する。
【００８６】
一方、評価値Ｅがしきい値以下となる場合や、マトリクス更新処理の繰り返しが所定の繰り返し回数を超えた場合には、その時点におけるマトリクス８０６を、色変換パラメータ８１３として出力する。すなわち色差評価部８１１において、評価値Ｅが最小となるマトリクス８０６を保存しておき、評価値Ｅの最小値が更新される度に、これを更新して保存しておく。これにより、マトリクス更新処理が所定の繰り返し回数を超えた場合に、保存されているマトリクス８０６を出力することができる。また、初期マトリクスを複数用意しておき、それぞれの初期マトリクスを最適化した際に最も評価値Ｅが小さくなるマトリクスを、色変換パラメータ８１３として出力することもできる。
【００８７】
なお、色差評価部８１１で最適化されたマトリクスから３Ｄ−ＬＵＴを生成し、これを色変換パラメータ８１３として出力することも可能である。その場合、生成したデジタルカメラのＲＧＢ値をスライスデータとして入力し、上記作成したマトリクスを用いてディスプレイＲＧＢ値に変換することによって、入力と出力のＲＧＢ値を対応付ければ良い。
【００８８】
以上説明したように第３実施形態によれば、撮像装置のデバイス値から出力装置のデバイス値へダイレクトに変換する色変換パラメータを作成する際に、輝度の高い出力装置の白色を基準として、被写体の色の絶対値情報を保持した色変換を行う。これにより、異なるデバイスへの色変換を行う際にも、スペキュラ成分まで含めて実物に忠実な再現が可能となる。
【００８９】
＜変形例＞
上述した第１実施形態において、データ交換用の色空間としてｓＲＧＢ空間を用いる例を示したが、本発明はこの例に限定されず、AdobeＲＧＢやWide Gamut ＲＧＢ等、他の色空間を用いても構わない。また、第１および第３実施形態において、色変換パラメータの最適化処理を行う色空間としてＬａｂ空間を用いる例を示したが、ＬｕｖやＪＣｈ等、他の知覚空間を用いても良い。また、基準白色が異なる空間へ変換する際に、BradfordモデルやVon Kriesモデル等を用いた色順応変換を行うことも可能である。
【００９０】
また、第１〜第３実施形態において、撮像装置としてデジタルカメラを用いる例を示したが、デジタルビデオカメラを用いても良い。その場合、動画像データに対しても、本発明における色変換パラメータを適用することが可能となる。
【００９１】
さらに、本発明に必要な高照度光源環境は、可変照度の照明を用いて照度値を上げたり、より高照度を提供する別の光源を利用する等、様々な方法で実現可能である。また、照明と被写体との距離を近づけることによって、擬似的に高照度光源環境を再現する方法を用いることも可能である。
【００９２】
また、上述した第２実施形態においては、第１実施形態で適用すべき高照度光源に応じた照度を算出して提示する例を示したが、これを第３実施形態に適用することも可能である。すなわち第２実施形態では、高照度光源に応じた最適な照度値を、基準光源の照度値と基準光源下における拡散反射物体の輝度値、及び基準光源下におけるスペキュラ物体の輝度値に基づいて算出することで、第１実施形態に最適な高照度光源を提示した。この方法を第３実施形態に適用する場合、基準光源の照度値と基準光源下における拡散反射物体の輝度値、及び出力装置（ディスプレイ）の色特性データに基づいて、高照度光源に応じた最適な照度値を算出することができる。
【００９３】
＜その他の実施形態＞
本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション、プリンタ等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００９４】
また、本発明は上記第１乃至第３実施形態と同等の処理を、コンピュータプログラムでも実現できる。この場合、図１をはじめとする構成要素の各々は関数、もしくはＣＰＵが実行するサブルーチンで機能させれば良い。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読み取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。
【図１】
2011004091.tif 000005
【図２】
2011004091.tif 000006
【図３】
2011004091.tif 000007
【図４】
2011004091.tif 000008
【図５】
2011004091.tif 000009
【図６】
2011004091.tif 000010
【図７】
2011004091.tif 000011
【図８】
2011004091.tif 000012
【図９】
2011004091.tif 000013