(57)【要約】【課題】  デジタルカメラで撮影された画像データが、銀塩写真や、他のデジタルカメラと同様の色再現性を有するものとなるように、デジタルカメラにおける色処理パラメータを最適化する画像処理システムを提供する。【解決手段】  デジタルカメラと他の撮影装置により同じ光源の下でカラーチャートを撮影する第１のステップと、前記デジタルカメラと前記撮影装置により取得した画像データの露出を合わせる第２のステップと、前記デジタルカメラにより取得した画像データを前記撮影装置により取得した画像データに一致させる画像変換パラメータを作成する第３のステップとを含むことを特徴とする。【選択図】  図１
2005117524.tif 000002
【特許請求の範囲】
【請求項１】
デジタルカメラと他の撮影装置により同じ光源の下でカラーチャートを撮影する第１のステップと、前記デジタルカメラと前記撮影装置により取得した画像データの露出を合わせる第２のステップと、前記デジタルカメラにより取得した画像データを前記撮影装置により取得した画像データに一致させる画像変換パラメータを作成する第３のステップとを含む画像処理システム。
【請求項２】
前記撮影装置は、銀塩カメラとフィルムスキャナによる構成であることを特徴とする請求項１記載の画像処理システム。
【請求項３】
前記撮影装置は、デジタルカメラであることを特徴とする請求項１記載の画像処理システム。
【請求項４】
前記処理パラメータは、色変換マトリクスであることを特徴とする請求項１記載の画像処理システム。
【請求項５】
前記処理パラメータは、明度変換テーブルであることを特徴とする請求項１記載の画像処理システム。
【請求項６】
前記処理パラメータは、色変換マトリクスおよび明度変換テーブルであることを特徴とする請求項１記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラの色処理パラメータをカスタマイズできる画像処理システムに関する。
【背景技術】
【０００２】
従来のデジタルカメラにおいては、デジタルカメラ本体にあらかじめ複数モードを保持し、それぞれのモードに応じた色処理パラメータを使用して、撮影した画像データの色処理を行っている。しかしながら、従来のデジタルカメラにおいては、あらかじめ用意されているモードのみしか設定できず、ユーザの好みの色再現を実現することが出来ないという問題がある。また、デジタルカメラにおいて撮影した画像を、例えば銀塩写真で撮影したものと同様の色再現性を有する画像に変換する技術が従来から知られている。従来においては、同一のカラーチャートを銀塩カメラとデジタルカメラで撮影し、撮影された画像データの対応をとることにより、色変換テーブルを作成している。このとき、銀塩写真、およびデジタルカメラが対象とする被写体はカラーチャートよりも遥かに広い範囲の色を含んでいるため、カラーチャートを撮影する際に、複数の露出で撮影し、色変換テーブルの精度を向上させている。
【特許文献１】特開平０９−２３８２６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来は、カラーチャートを複数の露出で撮影を行わなければならず、撮影にかかる負荷が大きいという問題がある。また、異なるカメラで撮影を行うため露出を正確にあわせることが難しい、色変換テーブルは使用するメモリが大きいため、デジタルカメラの撮影モードとして組み込むことが困難であるという問題がある。
【０００４】
本発明は、上記問題を鑑みなされたものであり、デジタルカメラで撮影された画像データが、例えば銀塩写真や、他のデジタルカメラと同様の色再現性を有するものとなるように、デジタルカメラにおける色処理パラメータを最適化する画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、デジタルカメラと他の撮影装置により同じ光源の下でカラーチャートを撮影する第１のステップと、前記デジタルカメラと前記撮影装置により取得した画像データの露出を合わせる第２のステップと、前記デジタルカメラにより取得した画像データを前記撮影装置により取得した画像データに一致させる画像変換パラメータを作成する第３のステップとを含むことを特徴とした。
【発明の効果】
【０００６】
本発明によれば、画像データの露出を正確に合わせた上で色補正マトリクスを求めるようにしたため、複数の露出で撮影を行うことなく、銀塩カメラや他のデジタルカメラで撮影したときと同様の色再現性を有するデジタルカメラの色処理パラメータを容易に取得することができる。また、色処理パラメータをγテーブル、および色補正マトリクスにわけて最適化を行うため、ユーザがγテーブル、色補正マトリクスを独立にカスタマイズすることができる。
【発明を実施するための最良の形態】
【０００７】
（第１の実施形態）
本発明の第１の実施形態である画像処理システムの構成を図１に示す。本実施の形態における画像処理システムは、デジタルカメラAを用いて撮影し、画像データを取得する際に、銀塩カメラBで撮影し、取得した画像データと同様の色再現性をもつ画像データが取得できるように、前記デジタルカメラAの色処理パラメータを作成するシステムである。以下、詳細に説明する。
【０００８】
図１において、1はデジタルカメラA、2は色処理パラメータ作成装置、3は色票、４は銀塩カメラB、５は４で撮影されたフィルムのデータをデジタル化するスキャナである。
【０００９】
また、101は撮影レンズとCCD等の画像センサよりなる撮像手段、102は画像データおよび色処理パラメータの外部とのインターフェイスであるデータ入出力手段、103は撮像手段101で取得した被写体像から、色処理パラメータ保持手段104に格納された色処理パラメータを用いて処理を行い、画像データを形成する画像処理手段、104は色処理パラメータを保持する色処理パラメータ保持手段、105は撮影中の画像を表示する液晶ディスプレイ等の表示手段、201は画像データおよび色処理パラメータの外部とのインターフェイスであるデータ入出力手段、202はデータ入出力手段201から入力した画像データの各パッチのRGB平均値を算出する平均値算出手段、203はデジタルカメラAおよびスキャナからデータ入力手段２０１より入力された画像データの露出を合わせるため係数を算出する露出補正係数算出手段、204はデジタルカメラAで撮影された画像データが、スキャナ５から入力された画像データとなるように、デジタルカメラAにおけるγテーブルを作成するγテーブル作成手段、205はデジタルカメラAで撮影された画像データが、スキャナから入力された画像データとなるように、デジタルカメラAの色補正マトリクスを例えばDLS法などを用いて作成する色補正マトリクス作成手段、206はγテーブルおよび色補正マトリクスなどの色処理パラメータを保持する色処理パラメータ保持手段、207は色処理パラメータを作成するために使用する画像データを保持するための入力データ保持手段。
【００１０】
＜デジタルカメラ1での処理＞
まず撮影においては、ユーザは不図示の電源スイッチをONにした後、撮像手段101を通して取得した画像データから色処理パラメータ保持手段104に格納されたパラメータを使用して、画像処理手段103で表示用画像を生成し、表示手段105に表示する。ユーザは表示手段105に表示された画像を見て、カメラの構図を決め、不図示のシャッターボタンを押し、撮影を行う。シャッターボタンが押されると、撮像手段101で取得した画像データから色処理パラメータ保持手段104に格納されたパラメータを使用して、後で詳細に説明する画像処理手段103により色、明るさの処理等が行われ、さらにデータ入出力手段102を通して出力される。このとき、ケーブルを介して色処理パラメータ作成装置に直接データを出力しても良いし、コンパクトフラッシュ（登録商標）などの記録媒体に出力しても良い。
【００１１】
このとき、色処理パラメータ保持手段104に、撮像手段101から取得した画像データをそのままデータ入出力手段102に出力するようなパラメータを設定すれば、撮像手段101を通して取得した画像データそのものを取得することが出来る。本実施の形態における画像処理システムでは、撮像手段101を通して取得した画像データ、すなわち、画像処理手段103にて処理を受ける前の画像データを使用し、かかる色処理パラメータを決定するものとする。
【００１２】
＜画像処理手段103の詳細＞
図２に画像処理手段103における処理のブロック図を示す。
【００１３】
まず、γ変換処理部601において、撮像手段101にて撮影することにより取得した各RGB色信号からなる撮影画像データの明るさが補正される。γ処理手段601における明るさの補正は、色処理パラメータ保存手段104に保存されているγ変換ルックアップテーブル（以降、γテーブル）を参照し、かかる撮影画像データの各RGB色信号値を変換することでなされる。なお、本実施の形態では、各R、G、Bの色信号を同一のγテーブルを用いて変換するものとする。
【００１４】
次に、色補正マトリクス変換処理部において、γ変換後の各RGB色信号からなる画像データの色を補正する。この補正は例えば式１に示すマトリクス演算によってなされる。
【００１５】
【数１】
2005117524.tif 000003
【００１６】
ここで、Rout、Gout、Boutは色補正マトリクス処理部から出力される信号、Rin、Gin、Binは色補正マトリクス処理部に入力される信号をそれぞれ示している。ここでマトリクスAは３×３のサイズからなる色補正マトリクスであり、色処理パラメータ保持手段104に保存されている。なお、式１では、マトリクスAを３×３のサイズとしたが、これに限るものではなく、例えば３×９や、あるいは３×２０などのサイズに拡張して使用することも可能である。
【００１７】
本実施の形態は、リファレンスである銀塩写真をスキャナで読み取った画像データと同様の画像データを取得できるように、画像処理手段103で使用するγテーブルと色補正マトリクスを作成するものである。
【００１８】
＜色票3＞
図３に色票3の例を示す。色票は、たとえばグレタグマクベス社のColorCheckerなど、全ての色相をまんべんなく網羅し、グレーの階調を３階調以上も持っているものを使用する。
【００１９】
以下、図４に示す流れ図を使用し、本発明における処理の流れを説明する。
【００２０】
まず、ステップS401、S403において、図３に示した色票３をデジタルカメラA１、および銀塩カメラB４を用いて撮影する。このとき、デジタルカメラA1と銀塩写真B4は同一光源のもとで撮影することが望ましい。また、デジタルカメラA1は、画像処理手段103を介さず、撮像手段101を通して取得した画像データそのものを色処理パラメータ作成装置２に入力するものとする。
【００２１】
次に、銀塩カメラB４で撮影した銀塩写真フィルムを現像し、ステップS404にて前記銀塩フィルムをスキャナ５で読み取る。スキャナ５で読み取られた画像データは、図１色処理パラメータ作成装置２にデータ入出力手段201を通じて入力される。そして、画像処理パラメータ作成装置２では、前記画像データから、平均値算出手段202において各パッチのRGB平均値を算出し、入力データ保持手段207に保存する(ステップS405)。この各パッチのRGB平均値を以降、画像データBと称す。
【００２２】
同様に、ステップS402において、デジタルカメラA1で撮影した画像データの各パッチのRGB平均値をもとめ、入力データ保持手段207に保存する。この各パッチのRGB平均値を以降、画像データAと称す。
【００２３】
デジタルカメラA１、および銀塩カメラB4はAE処理などの違いから露出条件が異なる場合が多い。デジタルカメラA1を用いて銀塩カメラによって撮影された画像データの色再現を実現するためには、これらのカメラの露出が一致している必要がある。そこで、ステップS406において、画像データA、画像データBの露出を揃えるための露出補正係数を算出する。以下露出補正係数の算出方法について図５を用いて説明する。
【００２４】
図５はデジタルカメラAが規定値としてもつγテーブルを示したものである。ここで、YAG4、YBG4は、図３に示した色票３におけるパッチG4を露出補正係数を算出するための基準パッチと定め、この基準パッチにおける画像データAおよび画像データBの各RGBの平均値から、それぞれ対応する輝度値YAG4、YBG4を求めたものである。また、Y'BG4は、YBG4を出力するときにデジタルカメラAに入力すべき値である。このとき、露出補正係数αは式１で与えられる。以降、画像データAの各RGB値は全てα倍される。
【００２５】
【数２】
2005117524.tif 000004
【００２６】
なお、RGB値からY値の算出は例えば式１で与えられるが、これに限るものではない。
【００２７】
【数３】
2005117524.tif 000005
【００２８】
また、ここでは色票３におけるパッチG4を露出補正係数を算出するための基準パッチとしたが、特にパッチの位置等を限定するものではない。なお、露出補正係数を定めるための基準パッチとしては反射率が約１８％の無彩色パッチが望ましい。
【００２９】
再び図４に戻り、ステップS407において、γ変換処理部601にて使用されるγテーブルを作成する。まず、図６に示すように、各無彩色パッチにおける画像データAの輝度を露出補正係数α倍したものと、画像データBにおける対応するパッチの輝度との対応点をとる。図６は、図３に示した色票を撮影した場合におけるγテーブル作成例であり、点（αYAG1,YBG1）〜点（αYAG6,YBG6）の計６点の対応点をとることができる。つぎに、これらの点にγテーブルにおける最小値の対応点(0,0)、最大値の対応点(1023,255)（ただし、この値はデジタルカメラA1のγテーブルにおいて、入力が１０ビット、出力が８ビットと規定されている場合である）を加え、スプライン曲線などを用い、補間した後、図６（a）に示すルックアップテーブルとして色処理パラメータ保持手段206に保存する。
【００３０】
ステップS408では、色補正マトリクス手段602において使用される色補正マトリクスAを作成する。色補正マトリクスAを作成する際には、DLS(Dumped Least Square)法などを用いて、デジタルカメラA１において撮影された画像データAのγ変換後の画像データ（以降、マトリクス入力データと称す）が、対応する銀塩カメラBで撮影された画像データB（以降、ターゲットデータと称す）になるべく近くなるように色補正マトリクスAを最適化する。
【００３１】
まず、画像データAのCIELABにおいては、各入力データを(Li、ai、bi)、対応する各ターゲットデータを(LTi、aTi、bTi)としたとき、各色票の評価関数をEi、全体の評価関数をEとし、
【００３２】
【数４】
2005117524.tif 000006
【００３３】
を最小とするようなパラメータを算出するようにすると良い。また、各色票に重みを個別に設定しても良い。そのときの評価関数は重み値をwiとすると、
【００３４】
【数５】
2005117524.tif 000007
【００３５】
のように算出される。
【００３６】
このように作成された色補正マトリクスは、例えば図６(b)に示す形式で図１色処理パラメータ保持手段206において記憶する。
【００３７】
以上に述べた第１の実施形態によれば、画像データの露出を正確に合わせた上で色補正マトリクスを求めるようにしたため、複数の露出で撮影を行うことなく、銀塩カメラで撮影したときと同様の色再現性を有するデジタルカメラの色処理パラメータを容易に取得することができる。
【００３８】
（第２の実施形態）
本発明の第２の実施形態である画像処理システムの構成を図８に示す。本実施の形態における画像処理システムは、デジタルカメラAを用いて撮影し、画像データを取得する際に、デジタルカメラCで撮影し、取得した画像データと同様の色再現性をもつ画像データが取得できるように、前記デジタルカメラAの色処理パラメータを作成するシステムである。また、本実施形態における画像処理システムは色処理パラメータを補正する手段を有しており、ユーザは好みに応じて色処理パラメータを調整できる。以下、詳細に説明する。
【００３９】
図８において、1はデジタルカメラA、2は色処理パラメータ作成装置、3は色票、６はデジタルカメラCである。
【００４０】
また、101は撮影レンズとCCD等の画像センサよりなる撮像手段、102は画像データおよび色処理パラメータの外部とのインターフェイスであるデータ入出力手段、103は撮像手段101で取得した被写体像から、色処理パラメータ保持手段104に格納された色処理パラメータを用いて処理を行い、画像データを形成する画像処理手段、104は色処理パラメータを保持する色処理パラメータ保持手段、105は撮影中の画像を表示する液晶ディスプレイ等の表示手段、201は画像データおよび色処理パラメータの外部とのインターフェイスであるデータ入出力手段、202はデータ入出力手段201から入力した画像データの各パッチのRGB平均値を算出する平均値算出手段、203はデジタルカメラAおよびスキャナからデータ入力手段２０１より入力された画像データの露出を合わせるため係数を算出する露出補正係数算出手段、204はデジタルカメラAで撮影された画像データが、スキャナ５から入力された画像データとなるように、デジタルカメラAにおけるγテーブルを作成するγテーブル作成手段、205はデジタルカメラAで撮影された画像データが、スキャナから入力された画像データとなるように、デジタルカメラAの色補正マトリクスを例えばDLS法などを用いて作成する色補正マトリクス作成手段、206はγテーブルおよび色補正マトリクスなどの色処理パラメータを保持する色処理パラメータ保持手段、207は色処理パラメータを作成するために使用する画像データを保持するための入力データ保持手段、208は撮像手段で取得した被写体像から、色処理パラメータ保持手段206に格納された色処理パラメータを用いて処理を行い、画像データを形成する画像処理手段、209は色処理パラメータを補正するためのUIや、データ入出力手段から読み込んだ画像データを、画像処理手段を通して処理した後の画像を表示する表示手段、210はUI上で色処理パラメータを補正することができる変更手段である。
【００４１】
以下、図９に示す流れ図を使用し、本発明における処理の流れを説明する。
【００４２】
まず、第１の実施形態と同様に、ステップS901、S903において、図３に示した色票３をデジタルカメラA１、およびデジタルカメラC６を用いて撮影する。撮影された画像データは、図１色処理パラメータ作成装置２にデータ入出力手段201を通じて入力される。そして、画像処理パラメータ作成装置２では、前記チャート画像データから、平均値算出手段202において各パッチのRGB平均値を算出し、入力データ保持手段207に保存する(ステップS902、およびステップS904)。以降、デジタルカメラA１で撮影された画像データに対する各パッチのRGB平均値を、画像データA、デジタルカメラC６で撮影された画像データに対する各パッチのRGB平均値を、画像データCと称す。
【００４３】
次に、第１の実施形態と同様に、ステップS905において、画像データA、画像データCの露出を揃えるための露出補正係数を算出し、ステップS906、ステップS907において、γテーブル、色補正マトリクスを作成する。
【００４４】
ステップS908において、上記ステップで作成されたγテーブル、色補正マトリクスをユーザがUI上で補正する。このUIを図１０に示す。
【００４５】
図１０において、1001は画像データAに色処理パラメータ保持手段206に保持されているパラメータを用いて画像処理を施した後の画像データ（以降、最適化後入力データと称す）と、画像データC（以降、ターゲットデータと称す）とをCIELABで既定される色空間のab平面上にプロットしたデータを表示するab平面表示部、1002は色処理パラメータ保持手段206に保持されているγテーブルを、図６に示す形式で表示するγテーブル表示部、1003は各パッチにおける最適化後入力データ、ターゲットデータ、評価関数Ei、重み値wiなどのデータを図１１に示す形式で表示する最適化データ表示部、1004はγ変換テーブル作成手段204、および色補正マトリクス作成手段205にて、UI上で変更された各パラメータを使用してγテーブルおよび色補正マトリクスを再計算するための「再計算」ボタン、1005は処理を終了させるための「終了」ボタン、1006はターゲットデータのab平面表示部におけるプロット、1007は最適化後入力データのab平面表示部におけるプロット、1008はγテーブル表示部1002において表示されるγテーブルを、ユーザが調整するための調整ポイントである。
【００４６】
ユーザは、最適化データ表示部に表示された最適化結果をみて、色処理パラメータを再計算するか否かを決定する。再計算をする場合には、ユーザはターゲットデータのプロット1006、およびγテーブルの調整ポイント1008を任意に不図示のマウスなどの入力装置を使用して動かし、目標値を調整する。そして、「再計算」ボタン1004を選択し、色処理パラメータ（γテーブル、および色補正マトリクス）を再計算する。再計算された色処理パラメータは色処理パラメータ保持部に保持され、1001〜1003に表示されているデータが更新される。再計算を行わない場合には、ユーザは「終了」ボタン1005を選択し、処理を終了させる。
【００４７】
以上に述べた第２の実施形態によれば、UI上で色処理パラメータを変更できるようにしたため、デジタルカメラで撮影された画像データが、他のデジタルカメラと同様の色再現性を有するようにする色処理パラメータを取得すると同時に、色処理パラメータをユーザ自身がカスタマイズすることが可能となる。
【００４８】
（その他の実施形態）
第１の実施形態、および第２の実施形態においては、デジタルカメラ、色処理パラメータカスタマイズ装置で構成され、デジタルカメラと色処理パラメータカスタマイズ装置を直接接続することでデータのやり取りを行っていたが、コンパクトフラッシュ（登録商標）などの記録媒体を用いてデータのやり取りを行っても良いことは言うまでもない。また、第２の実施形態においては、デジタルカメラAを用いて被写体を撮影した画像データを、データ入出力手段を通じて入力し、画像処理手段にて処理した後の画像をUI上に表示することで、ユーザが実際の画像をみながら色処理パラメータをカスタマイズできるようにしてもよい。
【図面の簡単な説明】
【００４９】
【図１】画像処理システムの構成を示すブロック図
【図２】画像処理手段の構成を示すブロック図
【図３】色票を示す図
【図４】画像処理システムの処理の流れを示す図
【図５】γテーブルを説明する図
【図６】γテーブルを説明する図
【図７】γテーブルおよび色補正マトリクスを示す図
【図８】画像処理システムの構成を示すブロック図
【図９】画像処理システムの処理の流れを示す図
【図１０】UIを示す図
【図１１】最適化データ表示部を説明する図
【符号の説明】
【００５０】
1  デジタルカメラA
2  色処理パラメータ作成装置
3  色票
4  銀塩カメラB
5  スキャナ
6  デジタルカメラC
101  撮像手段
102  データ入出力手段
103  画像処理手段
104  色処理パラメータ保持手段
105  表示手段
201  データ入出力手段
202  平均値算出手段
203  露出補正係数算出手段
204  γテーブル作成手段
205  色補正マトリクス作成手段
206  色処理パラメータ保持手段
207  入力データ保持手段
208  画像処理手段
209  表示手段
210  変更手段
1001  ab平面表示部
1002  γテーブル表示部
1003  最適化データ表示部
1004  「再計算」ボタン
1005  「終了」ボタン
1006  ターゲットデータのab平面表示部におけるプロット
1007  最適化後入力データのab平面表示部におけるプロット
1008  γテーブル調整ポイント
【図１】
2005117524.tif 000008
【図２】
2005117524.tif 000009
【図３】
2005117524.tif 000010
【図４】
2005117524.tif 000011
【図５】
2005117524.tif 000012
【図６】
2005117524.tif 000013
【図７】
2005117524.tif 000014
【図８】
2005117524.tif 000015
【図９】
2005117524.tif 000016
【図１０】
2005117524.tif 000017
【図１１】
2005117524.tif 000018