(57)【要約】【課題】  光源変換を行なうための画像に適した色補正条件を高精度に作成する。【解決手段】  第１光源下で撮影された第１画像データを用いて抽出対象の画素の位置を決定する抽出位置決定手段と、前記第１画像データにおける、前記決定された位置の画素の色値および該決定された位置の周辺の位置の画素の色値から、該決定された位置に対応する抽出範囲を決定する抽出範囲決定手段と、前記抽出対象の画素の位置および前記抽出範囲に基づき、前記第１画像データから第１代表色値を算出し、第２光源下で撮影された第２画像データから第２代表色値を算出する算出手段と、前記第１代表色値と前記第２代表色値とから、前記第１光源依存の色値を前記第２光源依存の色値に変換するための色補正条件を作成する作成手段と、前記色補正条件を用いて、前記第１画像データに対して色変換を行う色変換手段とを有する。【選択図】  図２
2010268430.tif 000002
【特許請求の範囲】
【請求項１】
第１光源下で撮影された第１撮影画像の第１画像データと第２光源下で撮影された第２撮影画像の第２画像データとを取得する取得手段と、
前記第１画像データを用いて抽出対象の画素の位置を決定する抽出位置決定手段と、
前記第１画像データにおける、前記決定された位置の画素の色値および該決定された位置の周辺の位置の画素の色値から、該決定された位置に対応する抽出範囲を決定する抽出範囲決定手段と、
前記抽出対象の画素の位置および前記抽出範囲に基づき、前記第１画像データから第１代表色値を算出し、前記第２画像データから第２代表色値を算出する算出手段と、
前記第１代表色値と前記第２代表色値とから、前記第１光源依存の色値を前記第２光源依存の色値に変換するための色補正条件を作成する作成手段と、
前記色補正条件を用いて、前記第１画像データに対して色変換を行う色変換手段とを有することを特徴とする画像処理装置。
【請求項２】
前記抽出位置決定手段は、
前記第１画像データから光沢領域を除去する除去手段と、
前記光沢領域外の第１画像データから複数の抽出対象の画素の位置を決定する決定手段とを有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記抽出範囲決定手段は、前記決定された位置の画素の色値および該決定された位置の周辺の位置の画素の色値の統計量に基づき該決定された位置に対応する抽出範囲を決定することを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
請求項１乃至３のいずれかに記載の画像処理装置をコンピュータを用いて実現するためのコンピュータが読み取り可能に記録媒体に記録されたプログラム。
【請求項５】
第１光源下で撮影された第１撮影画像の第１画像データと第２光源下で撮影された第２撮影画像の第２画像データとを取得する取得工程と、
前記第１画像データを用いて抽出対象の画素の位置を決定する抽出位置決定工程と、
前記第１画像データにおける、前記決定された位置の画素の色値および該決定された位置の周辺の位置の画素の色値から、該決定された位置に対応する抽出範囲を決定する抽出範囲決定工程と、
前記抽出対象の画素の位置および前記抽出範囲に基づき、前記第１画像データから第１代表色値を算出し、前記第２画像データから第２代表色値を算出する算出工程と、
前記第１代表色値と前記第２代表色値とから、前記第１光源依存の色値を前記第２光源依存の色値に変換するための色補正条件を作成する作成工程と、
前記色補正条件を用いて、前記第１画像データに対して色変換を行う色変換工程とを有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮影画像に応じた色補正条件を算出するものに関する。
【背景技術】
【０００２】
観察光源と異なる光源下で撮影された画像の色みを観察光源下で撮影された画像の色みと同じになるように変換するためには、撮影光源下の色データを観察光源下の色データに変換する色補正処理が必要である。
【０００３】
光源の違いを補正するものではないが、色空間変換を行うための色補正条件を算出する方法が特許文献１に記載されている。特許文献１は、カラーチャートを撮影することにより得られたＲＧＢ信号値と、カラーチャートの測色値から求められた目標色ＲＧＢ信号値とを一致させるための色変換マトリクスを最小二乗法により求める。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−７９８３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
金属光沢を含む被写体に応じた色補正条件の算出においては以下のような課題を有している。金属光沢の部分は、撮影条件に依存して色の変化が大きい。したがって、金属光沢の部分の撮影データを用いて、光源変換を行うための色補正条件を算出した場合、色補正の精度が悪くなってしまうという課題があった。
【０００６】
このように、画像には色補正条件を作成するために必要な代表色としては不適切な画像データが含まれる。さらには、画像内にはノイズやテクスチャなど考慮しなければならいものがある。
【０００７】
本発明は、上記の点に鑑みてなされたものであり、画像に適した光源変換を行なうための色補正条件を高精度に作成することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の画像処理装置は、第１光源下で撮影された第１撮影画像の第１画像データと第２光源下で撮影された第２撮影画像の第２画像データとを取得する取得手段と、前記第１画像データを用いて抽出対象の画素の位置を決定する抽出位置決定手段と、前記第１画像データにおける、前記決定された位置の画素の色値および該決定された位置の周辺の位置の画素の色値から、該決定された位置に対応する抽出範囲を決定する抽出範囲決定手段と、前記抽出対象の画素の位置および前記抽出範囲に基づき、前記第１画像データから第１代表色値を算出し、前記第２画像データから第２代表色値を算出する算出手段と、前記第１代表色値と前記第２代表色値とから、前記第１光源依存の色値を前記第２光源依存の色値に変換するための色補正条件を作成する作成手段と、前記色補正条件を用いて、前記第１画像データに対して色変換を行う色変換手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像から抽出された代表色値を用いて、光源変換を行なうための色補正条件を作成するので、画像に適した色補正条件を作成することができる。さらに、画像に応じて抽出対象の画素の位置および抽出範囲を決定するので高精度な色補正条件を作成することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１に係る画像処理装置の構成を示すブロック図である。
【図２】画像処理装置１０１における処理のフローチャートである。
【図３】ＵＩ部１１０が表示するユーザインタフェースを示す図である。
【図４】抽出判定部１０４における処理を示すフローチャートである。
【図５】抽出位置決定部１０５における処理を示すフローチャートである。
【図６】抽出位置決定処理における色抽出ファイルの更新を説明する図である。
【図７】抽出範囲決定部１０６における処理を示すフローチャートである。
【図８】色抽出ファイルを説明する図である。
【図９】抽出部１０７における処理を示すフローチャートである。
【図１０】色補正部１０８における処理を示すフローチャートである。
【図１１】実施例２における抽出判定部２０４における処理を示すフローチャートである。
【図１２】実施例３での抽出判定部３０４における処理のフローチャートである。
【図１３】除去色ファイルの作成処理を示すフローチャートである。
【図１４】実施例３においてＵＩ部１０９が表示するユーザインタフェースを示す図である。
【図１５】画像処理の全体を説明する図である。
【図１６】撮影光源画像の撮影方法を示す図である。
【図１７】観察光源画像の撮影方法を示す図である。
【発明を実施するための形態】
【００１１】
（実施例１）
まず原作を複製する例を説明する。図１５に示すように、画像処理装置は、原作をストロボで撮影した撮影光源画像１１０１を光源変換処理によって変換し、実際に複製品を観察する観察光源用の画像１１０３に変換する。画像１１０３は、プリント色変換処理によって観察光源に応じたプリントデータである出力データ１１０４に変換される。そして、プリンタが出力データ１１０４に基づき複製品１１０５を生成する。
【００１２】
撮影光源画像１１０１は、図１６に示すように、原作の周囲に配置された複数のストロボによる十分な光量の下でデジタルカメラにより原作を撮影することにより得られた高精細な画像である。
【００１３】
観察光源画像１１０２は、図１７に示すように、原作とデジタルカメラの位置関係を撮影光源画像の撮影時の位置関係と同一にした上で、原作を観察する光源下でデジタルカメラにより原作を撮影することにより得られた画像である。
【００１４】
複製品には、ノイズのない高精細な画像、かつ、原作が置かれている観察光源下で原作と同じ色を再現することが要求されるため、上述した光源変換処理が必要になる。本実施例では、該光源変換処理を高精度に行うために、以下のように色補正条件を作成する。
【００１５】
まず、撮影光源画像１１０１と観察光源画像１１０２を取得する。そして、該取得した画像から、後述する抽出判定部、抽出位置決定部、抽出範囲決定部の各処理によって代表的な色を抽出し、抽出した色の対応をもとに光源変換処理で用いる色変換係数を算出する。以下、実施例について詳細に説明する。図１は実施例１に係るシステムの構成を示すブロック図である。図１において、１０１は画像処理装置である。１０２は、撮影画像の画像データを保持する画像データ保持部である。１０３は、画像データ保持部１０２から撮影画像の画像データを取得する撮影画像取得部である。１０４は、撮影画像から色データを抽出するか否かを判定する抽出判定部である。１０５は、色データを抽出する撮影画像における画像位置を決定する抽出位置決定部である。１０６は、撮影画像から色データを抽出する際の抽出範囲を決定する抽出範囲決定部である。１０７は、撮影画像の画像データから色データを抽出する抽出部である。
【００１６】
１０８は、画像データに色補正を施す色補正部である。１０９は、ユーザにインタフェースを表示するＵＩ部である。１１０は、画像データおよび演算処理において演算結果を一時的に保存するバッファメモリである。
【００１７】
＜画像処理装置１０１における動作＞
図２は画像処理装置１０１にて実行される処理のフローチャートである。
【００１８】
ステップＳ１において、ＵＩ部１０９は、画像処理に必要な情報をユーザに入力してもらうためのユーザインタフェースを表示する。図３にユーザインタフェースの例を示す。１００１は撮影光源で撮影された撮影光源画像を指示するための指示入力部である。１００２は観察光源で撮影された観察光源画像を取得するための指示入力部である。１００３は画像変換後の画像を保存する際のファイル名を指示するための指示入力部である。
【００１９】
１００４は、撮影画像から色を抽出する処理を指示する抽出ボタンである。１００５は抽出した色データを用いて色補正パラメータの作成を指示する色補正パラメータ作成ボタンである。１００６は、色補正パラメータを用いて撮影画像に対して色補正を行うことを指示するための画像変換ボタン１００６である。
【００２０】
ステップＳ２において、撮影画像取得部１０３は、指示部１００１および指示部１００２により指示された画像ファイル名に基づき、画像データ保持部１０２から、撮影光源下で撮影された撮影光源画像と観察光源下で撮影された観察光源画像とを取得する。撮影光源画像と観察光源画像はバッファ１１０に保存される。尚、撮影光源画像と観察光源画像は、被写体とカメラの位置関係が同一の下で光源を変えて撮影された画像である。
【００２１】
ステップＳ３において、バッファ１１０に保存された撮影光源画像から１画素分のＲＧＢ値と位置座標（ｘ，ｙ）とを取得する。ステップＳ４において、抽出判定部１０４は、ステップＳ３で取得した画素が色データを抽出すべき画素であるかを判定する。そして、抽出対象画素である場合はステップＳ５へ、抽出対象画素でない場合はステップＳ６へと移動する。ステップＳ５において、抽出位置決定部１０５は、抽出対象画素の色データを解析し、抽出位置を決定する。ステップＳ６において、撮影画像取得部１０３は、撮影光源画像のすべての画素においてステップＳ４とステップ５の処理が実施されたか否かを判定し、すべての画素に対して実施されていればステップＳ７へ、実施されていなければステップＳ３へと移動する。
【００２２】
ステップＳ７において、抽出範囲決定部１０６は、抽出位置決定部１０５で決定された位置の周囲の色データに基づいて、抽出範囲を決定する。ステップＳ８において、抽出部１０７は、ステップ５で決定した抽出位置とステップＳ７で決定した抽出範囲とに基づいて、撮影光源画像と観察光源画像のそれぞれから色データを抽出する。
【００２３】
ステップＳ９において、色補正部１０８は、ステップＳ８で撮影光源画像と観察光源画像のそれぞれから取得した色データから撮影光源に依存した色を観察光源に依存した色に変換する色補正パラメータ（色補正条件）を作成する。そして、この作成したパラメータを用いて撮影光源画像に対して色補正を行う。
【００２４】
＜抽出判定部１０４（ステップＳ４）の動作＞
ステップＳ４で行われる抽出判定部１０４が実行する処理のフローチャートを図４に示す。
【００２５】
ステップＳ４１において、ステップＳ３において取得した画素のＲＧＢ値と位置座標（ｘ，ｙ）とを取得する。ステップＳ４２において、予めバッファ１１０に保持されている光沢マスク画像を取得する。光沢マスク画像は、以下のように作成される。まず、金属光沢を持つ被写体に対して正面方向からのストロボ照射による撮影と４５度方向からのストロボ照射による撮影を別々に行う。次に、各撮影により得られた２つの撮影画像における対応画素の輝度差が大きい箇所を抽出し、光沢マスク画像を作成する。
【００２６】
ステップＳ４３において、光沢マスク画像を参照して、取得した画素の位置座標（ｘ，ｙ）が光沢箇所であるか否かを判定する。取得した画素が光沢箇所である場合はステップＳ６へ移動し、光沢箇所でない場合はステップＳ５へ移動する。
【００２７】
＜抽出位置決定部１０５（ステップＳ５）の動作＞
ステップＳ５で行われる抽出位置決定部１０５が実行する処理のフローチャートを図５に示す。
【００２８】
ステップＳ５１において、ステップＳ４にて光沢箇所でないと判定された画素（抽出判定対象画素）のＲＧＢ値と位置座標（ｘ，ｙ）とを取得する。ステップＳ５２において、バッファ１１０から色抽出ファイルを取得する。色抽出ファイルは、抽出数、抽出画素のＲＧＢ値、位置座標（ｘ，ｙ）および度数（後述の色差計算で同じ領域の色と判定された色の累積数）が記述されたが保存されるファイルである。色抽出ファイルは画素を取得するごとに更新される。
【００２９】
ステップＳ５３において、色抽出ファイルから１つの抽出色のＲＧＢ値を取得する。尚、色抽出ファイルに画素データが何も記述されていない場合は最初に取得した画素データが色抽出ファイルに書き込まれる。
【００３０】
ステップＳ５４において、ステップＳ５１で取得した抽出判定対象画素のＲＧＢ値とステップＳ５３で色抽出ファイルから取得した抽出色のＲＧＢ値とを所定の変換式を用いてＬａｂ値に変換し、以下の式を用いてこれら２つのＲＧＢ値の色差（ΔＥ）を算出する。ここで、所定の変換式とは、例えばＡｄｏｂｅＲＧＢをＸＹＺに変換するための変換式とＣＩＥ−Ｌａｂ変換式との組み合わせである。もちろんｓＲＧＢ変換式など他の変換式を使用しても構わない。
【００３１】
【数１】
2010268430.tif 000003
【００３２】
ステップＳ５５において、色抽出ファイルに格納されている全ての抽出色について色差を算出したかを判定し、算出していればステップＳ５６へ移動し、算出していなければステップＳ５３へ移動する。
【００３３】
ステップＳ５６において、抽出位置決定部１０５は、ステップＳ５４で算出した複数の色差の中で最小値を検出し、あらかじめ設定された所定の閾値と比較する。
最小値が閾値未満である場合はステップＳ５７へ移動し、閾値以上である場合はステップＳ５８へ移動する。尚、本実施例では色差判定の閾値として「５」を用いるが他の値を用いてもよい。
【００３４】
ステップＳ５７において、色抽出ファイルにおける、ステップＳ５６で色差が最小と判定された抽出色に対応する度数に１を加算し、画素値、位置座標の更新を行う。
【００３５】
画素値と位置座標の更新は以下のように行う。本実施例では、以下の式により所定の抽出範囲内の標準偏差を算出し、標準偏差が最小となる画素値を度数内の代表値とする。尚、本願では所定の抽出範囲として５ｐｉｘｅｌの抽出サイズを用いるが他の数値を用いてもよい。また、ステップＳ５７における色抽出ファイルの更新のイメージ図を図６の（ａ）に示す。
【００３６】
【数２】
2010268430.tif 000004
【００３７】
ステップＳ５８において、ステップＳ５６で色差が閾値以上となったデータを色抽出ファイルに追加する。ステップＳ５８における色抽出ファイルの更新のイメージ図を図６の（ｂ）に示す。
【００３８】
ステップＳ５９において、ステップＳ５７で更新した度数が所定の閾値よりも大きいかを判定し、閾値よりも大きい場合はステップＳ６０へ移動し、閾値以下の場合は処理を終了する。尚、本願では度数の閾値として撮影光源画像の総画素数の１％値を用いるが他の数値を用いてもよい。
【００３９】
ステップＳ６０において、ステップＳ５９で度数が閾値以上であると判定された画素データを色抽出ファイルに追加する。ステップＳ６０における色抽出ファイルの更新のイメージ図を図６の（ｃ）に示す。
【００４０】
＜抽出範囲決定部１０６（ステップＳ７）の動作＞
ステップＳ７で行われる抽出範囲決定部１０６が実行する処理のフローチャートを図７に示す。
【００４１】
ステップＳ７１において、撮影光源画像をバッファ１１０から取得する。ステップＳ７２において、バッファ１１０からステップＳ５において作成された色抽出ファイルを取得する。
【００４２】
ステップＳ７３において、色抽出ファイルから１つの抽出色に対応する位置座標（ｘ，ｙ）を取得する。ステップＳ７４において、撮影光源画像から画素値を抽出する際に用いる抽出範囲の初期値を取得する。本実施例では抽出範囲の初期値として縦幅１０ｐｉｘｅｌ、横幅１０ｐｉｘｅｌの正方形の範囲が予め設定されている。
【００４３】
ステップＳ７５において、撮影光源画像から、ステップＳ７３で取得した位置座標を中心としたステップＳ７４で設定された抽出範囲内の画素値を取得し、抽出範囲内の画素値の標準偏差を算出する。尚、本実施例では抽出範囲内の色のばらつきについて標準偏差を用いているが、分散などの他の統計量を用いてもよい。ステップＳ７６において、標準偏差が所定の閾値よりも大きいかを判定し、大きい場合はステップＳ７７へ移動し、閾値以下の場合はステップＳ７８へ移動する。
【００４４】
ステップＳ７８において、閾値を満たした際の抽出範囲を色抽出ファイルに保存する。ステップＳ７８で保存される色抽出ファイルのイメージ図を図８に示す。図８のように色抽出ファイルには、抽出した色のサンプル数、各ＲＧＢ値、位置座標（ｘ，ｙ）、抽出範囲（ｐｉｘｅｌ）が記述される。
【００４５】
ステップＳ７７において、抽出範囲を１ｐｉｘｅｌ減算し、ステップＳ７５へ移動し、所定の閾値を満たすまで処理を続ける。ステップＳ７８において、標準偏差が所定値を満たした抽出範囲を、ステップＳ７３で取得した位置座標の抽出色に対応させて色抽出ファイルに保存する。ステップＳ７９において、色抽出ファイル内のすべての抽出色について抽出範囲を決定したかを判定し、決定していれば処理を終了し、決定していなければステップＳ７３へ移動し、他の抽出色に対して上記処理を行う。
【００４６】
＜抽出部１０７（ステップＳ８）の動作＞
ステップＳ８で行われる抽出部１０７が実行する処理のフローチャートを図９に示す。
【００４７】
ステップＳ８１において、撮影光源画像および観察光源画像をバッファ１１０から取得する。ステップＳ８２において、色抽出ファイルをバッファ１１０から取得する。ステップＳ８３において、色抽出ファイルから１つの抽出色に対応するＲＧＢ値、位置座標（ｘ，ｙ）および抽出範囲を取得する。ステップＳ８４において、取得した位置座標（ｘ，ｙ）および抽出範囲に基づき、撮影光源画像と観察光源画像のそれぞれの画像データから取得した抽出範囲内のＲＧＢ値を抽出する。
【００４８】
ステップＳ８５において、撮影光源画像から抽出されたＲＧＢ値の平均値および観察光源画像から抽出されたＲＧＢ値の代表色を以下の式を用いて算出し、バッファ１１０に保存する。尚、本実施例では抽出する際にＲＧＢ値の平均値を用いているが、中心値などの他の統計量を用いてもよい。
【００４９】
【数３】
2010268430.tif 000005
【００５０】
ステップＳ８６において、色抽出ファイルに格納されているすべての抽出色について抽出処理を実施したかを判定し、すべての抽出色について実施していれば処理を終了し、実施してなければステップＳ８３へ移動し次の抽出色について上記処理を行う。
【００５１】
＜色補正部１０８（ステップＳ９）の動作＞
ステップＳ９で行われる色補正部１０８が実行する処理のフローチャートを図１０に示す。
【００５２】
ステップＳ９１において、色抽出ファイルに格納されているすべての抽出色のそれぞれに対する、撮影光源画像から抽出されたＲＧＢ値の代表色と観察光源画像から抽出されたＲＧＢ値の代表色とをバッファ１１０から取得する。
【００５３】
ステップＳ９２において、撮影光源画像から抽出されたＲＧＢ値の代表色と観察光源画像から抽出されたＲＧＢ値の代表色とから、撮影光源依存のＲＧＢ値を観察光源依存のＲＧＢ値に変換するための色変換係数を算出する。色変換係数は、最小二乗法などにより以下のマトリクス係数を算出することができる。尚、本実施例でははマトリクス係数として３×４のマトリクスを用いているが、異なるマトリクスの次数を用いてもよい。
【００５４】
【数４】
2010268430.tif 000006
【００５５】
ステップＳ９３において、撮影光源画像を取得する。ステップＳ９４において、色補正部１０８は、撮影光源画像に対してステップＳ９２で作成した色補正係数を用いた色補正を行い、観察光源に依存した撮影画像を算出する。ステップＳ９５において、ステップＳ９４で変換された画像（観察光源に依存した撮影画像）をバッファ１１０に保存する。
【００５６】
以上説明したように、本実施例によれば、撮影画像から複数の代表色を抽出し、撮影光源依存の撮影画像データを観察光源依存の撮影画像データに変換するための色補正パラメータを算出することができる。つまり、撮影画像に適した色補正パラメータを作成することができる。
【００５７】
さらに、ステップＳ４における抽出判定処理において金属光沢箇所（光沢領域）を代表色から除去することにより、色補正パラメータの精度が低下することを防ぐことができる。被写体の金属光沢箇所は、撮影条件に依存して色の変化が大きい。したがって、色補正係数を算出する際に使用するデータとしては不適切である。本実施例によれば光沢マスク画像を用いて金属光沢箇所を抽出対象から除去するので、高精度な色補正係数を作成することができる。
【００５８】
さらに、ステップＳ５における抽出位置決定処理において、色差が所定値以上の色を抽出画素として追加するようにしているので、撮影画像が有する色分布全体にわたって代表色を設定することができる。これにより、撮影画像に適した色補正係数を算出することがきる。
【００５９】
さらに、ステップＳ７における抽出範囲決定処理において、撮影画像に含まれるノイズの問題と撮影画像におけるテクスチャに基づく問題とを解消するために、抽出画素ごとに、抽出する位置および周辺の画素データの統計量におうじて抽出範囲を調整する。これにより、テクスチャ度合いが大きい場合は抽出範囲を小さくすることにより、複数の色が混在してしまい抽出すべき色が不適切になることを防ぐことができる。また、テクスチャ度合いが小さい場合は抽出範囲をある程度大きくすることにより、ノイズの影響により抽出すべき色が不適切になることを防ぐことができる。
【００６０】
このように、本実施例によれば、撮影画像に適した代表色を高精度に抽出することができ、撮影画像に適した色補正係数を高精度に算出することができる。
【００６１】
（実施例２）
実施例１では、被写体に光沢箇所が含まれる場合に撮影画像から光沢箇所を除去して被写体の代表色を抽出して色補正パラメータを作成する方法について説明した。本実施例においては、撮影画像にノイズが含まれる場合に高精度な色補正パラメータを作成する方法について説明する。
【００６２】
尚、実施例１からの差分である抽出判定部１０４の動作について抽出判定部２０４として新たに説明し、実施例１と同一である他の動作については説明を省略する。
【００６３】
＜抽出判定部２０４（ステップＳ４）の動作＞
図２のステップＳ４において抽出判定部１０４が実行する処理のフローチャートを図１１に示す。
【００６４】
ステップＳ４０１において、撮影光源画像をバッファ１１０から取得する。ステップＳ４０２において、ステップＳ３において取得した画素のＲＧＢ値と位置座標（ｘ，ｙ）を取得する。ステップＳ４０３において、撮影光源画像及びステップＳ４０２で取得した位置座標を参照して、取得画素の隣接画素値を取得する。尚、本実施例では隣接画素値として取得画素自身を除いた縦５ｐｉｘｅｌ、横５ｐｉｘｅｌの正方形の範囲内の画素を隣接画素値として取得するが、他のｐｉｘｅｌ範囲で隣接画素値を定義してもよい。
【００６５】
ステップＳ４０４において、ステップＳ４０２で取得した画素値のＲＧＢ値とステップＳ４０３で取得した隣接画素値それぞれのＲＧＢ値との差を算出する。ステップＳ４０５において、ステップＳ４０４で算出した差の最小値があらかじめ設定した閾値値よりも大きい場合ステップＳ６へ移動し、閾値以下の場合はステップＳ５へ移動する。尚、本実施例ではステップＳ４０５における閾値としてＲ、Ｇ、Ｂの各値について３０の値（入力画像として０〜２５５の８ｂｉｔデータを想定）を用いるが他の値を用いてもよい。
【００６６】
以上説明した処理を行うことで、撮影画像にノイズが含まれる場合において撮影画像からあらかじめノイズを除去して被写体の代表色を抽出し、色補正パラメータを作成することで、異なる光源下で撮影された画像間の色みを高精度に合わせることが可能となる。
【００６７】
（実施例３）
実施例１では、代表色の抽出において、撮影画像から光沢箇所を除去する方法として光沢マスク画像を用いた方法について説明した。本実施例においては、撮影画像から光沢箇所を除去する方法として、ユーザーが撮影画像から光沢領域をＵＩ上で指定し、該指定された領域の色に基づいて光沢箇所を判定する方法について説明する。
【００６８】
尚、実施例１からの差分として、抽出判定部１０４の動作について抽出判定部３０４として、また、ＵＩ部１０９で表示するインタフェースについて図１４として新たに説明し、実施例１と同一である他の動作については説明を省略する。
【００６９】
＜抽出判定部３０４（ステップＳ４）の動作＞
図２のステップＳ４において抽出判定部３０４が実行する処理のフローチャートを図１２に示す。
ステップＳ４１１において、ステップＳ３において取得した撮影光源画像の１画素分のＲＧＢ値を取得する。
ステップＳ４１２において、バッファ１１０から除去色ファイルを取得する。除去色ファイルは光沢箇所の色データが記述されたファイルであり、ステップＳ５の抽出位置決定処理で使用した図６に示す色抽出ファイルと同じ形式のファイルである。除去色ファイルの作成方法については後述する。
ステップＳ４１３において、除去色ファイルから除去色のＲＧＢ値を取得する。
ステップＳ４１４において、ステップＳ４１１において取得した画素のＲＧＢ値と、ステップＳ４１３において取得した画素のＲＧＢ値とを、それぞれＬａｂ値に変換し、色差ΔＥを算出する。
ステップＳ４１５において、Ｓ４１１において取得した画素のＲＧＢ値に対して、除去色ファイルに記述されている全ての除去色との色差を算出したかを判定する。すべての除去色との色差を算出した場合はステップＳ４１６へ移動し、算出していない場合はステップＳ４１３へ移動する。
ステップＳ４１６において、算出された複数の色差から最小値を決定する。
ステップＳ４１７において、色差の最小値とあらかじめ設定された所定の閾値とを比較する。尚、本実施例では色差判定の閾値として５の数値を用いるが他の数値を用いてもよい。色差の最小値が閾値よりも大きい場合はステップＳ５へ移動し、閾値以下の場合はステップＳ６へ移動する。
【００７０】
＜除去色ファイルの作成方法＞
図１３は抽出判定部３０４において使用される除去色ファイルの作成方法に関するフローチャートである。
【００７１】
ステップＳ４２１において、ＵＩ部１０９は、図１４に示すユーザインタフェースを表示する。２００１は撮影光源で撮影された画像を指示するための指示入力部である。２００２は２００１で指示された画像をウィンドウに表示する画像表示部である。２００３は観察光源で撮影された画像を指示するための指示入力部である。２００４は２００３で指示された画像をウィンドウに表示する画像表示部である。２００５は撮影画像から除去色を指定するための指定ポインタである。２００６は撮影画像から除去色を抽出する処理を指示する除去色抽出ボタンである。２００７は、撮影画像から色を抽出する処理を指示する抽出ボタンである。２００８は抽出した色データを用いて色補正パラメータの作成を指示する色補正パラメータ作成ボタンである。２００９は、色補正パラメータを用いて撮影画像に対して色補正を行うことを指示するための画像変換ボタンである。２０１０は画像変換後の画像を保存する際のファイル名を指示するための指示入力部である。尚、図１４に例示するユーザインタフェースは、ユーザーが撮影光源画像から光沢領域などの除去したい領域を指定するために、実施例１で説明した図３のユーザインタフェースに２００２、２００４、２００５、２００６の機能を追加したものである。他のユーザインタフェースの機能は実施例１で説明した機能と同一である。
【００７２】
ステップＳ４２２において、撮影画像取得部１０３は、指示部２００１および指示部２００３により指示された画像ファイル名に基づき、画像データ保持部１０２から、撮影光源で撮影された撮影光源画像と観察光源で撮影された観察光源画像とを取得する。
【００７３】
ステップＳ４２３において、ＵＩ部１０９は、ステップＳ４２２で取得した画像をそれぞれ２００２、及び２００４のウィンドウに表示する。
【００７４】
ステップＳ４２４において、２００２のウィンドウに表示された撮影光源画像から２００５の指定ポインタを用いてユーザーによって指定された除去したい箇所が含まれる領域情報を取得する。本実施例では、指定ポインタにより左上を始点、右下を終点とするドラッグ操作により矩形領域が指定される。尚、除去したい領域を効率的に指定できれば他の指定方法を用いても構わない。
【００７５】
ステップＳ４２５において、ユーザーによる２００６の除去色抽色ボタンの押下に応じて、ステップＳ４２４で指定された領域内の各画素データについて、図５を用いて説明した代表色の抽出位置の決定処理と同様の決定処理を行い、ユーザーが指定した領域の代表色を決定する。そして、決定された代表色を除去色ファイルに保存する。図５では、決定された代表色を抽出すべき色として色抽出ファイルに保存したが、ステップＳ４２５では、決定された代表色を除去すべき色として除去色ファイルに保存する。
【００７６】
ステップＳ４２６において、ユーザーによる除去色の指定が終了したかを判定し、終了した場合は除去色ファイルをバッファ１１０に保存して除去色ファイルの作成処理を終了する。終了していない場合は、ステップＳ４２４、及びステップＳ４２５の処理を繰り返して除去する領域の指定、及び指定領域における代表色の除去色ファイルへの保存を行う。
【００７７】
以上説明したように、本実施例によれば、ステップＳ４における抽出判定処理において、あらかじめ作成した除去色ファイルを参照して除去色に近い色は代表色の抽出対象から除去することで、色補正パラメータを高精度に作成することができる。除去色ファイルの作成方法として、ユーザーが撮影光源画像から例えば光沢領域などをＵＩ上で指定し、該領域の色データを除去色ファイルとして保存することにより、ユーザーが除去したい色を適切に処理することができる。
【００７８】
（他の実施例）
＜抽出判定部１０４の動作＞
実施例１では、カメラと被写体を固定しフラッシュ照射の方向の違いにより光沢箇所を抽出する方法を用いたが、ユーザーが撮影画像から光沢色を指定し、指定色との色差から光沢マスク画像を作成してもよい。また、レタッチソフトを用いて撮影画像から光沢マスク画像を作成してもよいし、光沢箇所を適切に除去できればその方法は問わない。
【００７９】
＜抽出判定部２０４の動作＞
実施例２における抽出判定部２０４の動作において、ノイズの判定方法として取得画素値と所定範囲における隣接画素値との差のいずれかが閾値を満たすかどうかで判定しているが、差の最小値や、平均値、中央値、最頻値などの他の統計値を用いて判定してもよい。また、抽出判定処理前、または抽出判定処理の代わりに、撮影画像に対して移動平均フィルタやメディアンフィルタなどのノイズ除去フィルタを適用して事前にノイズ除去を実施してもよい。ノイズ箇所を適切に除去できればその方法は問わない。
【００８０】
＜抽出範囲決定部１０６の動作＞
実施例における抽出判定決定部１０６の動作において、画像のテクスチャを周波数解析することで抽出範囲を決定してもよい。例えば、画像に所定のローパスフィルタの処理を施し、抽出位置の周辺画素値についてそれぞれ帯域通過した画素値であるかを判定して抽出範囲を決定してもよい。
【００８１】
尚、本発明は、前述した実施例の機能を実現するソフトウェアのプログラム（図２、図４、図５、図７、図９〜１３に示すフローチャートを実行するためのプログラム）を、システムあるいは装置に供給するものを含む。そして、そのシステムあるいは装置のコンピュータがコンピュータが読み取り可能に記録媒体に記録記録されたプログラムのコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【図１】
2010268430.tif 000007
【図２】
2010268430.tif 000008
【図３】
2010268430.tif 000009
【図４】
2010268430.tif 000010
【図５】
2010268430.tif 000011
【図６】
2010268430.tif 000012
【図７】
2010268430.tif 000013
【図８】
2010268430.tif 000014
【図９】
2010268430.tif 000015
【図１０】
2010268430.tif 000016
【図１１】
2010268430.tif 000017
【図１２】
2010268430.tif 000018
【図１３】
2010268430.tif 000019
【図１４】
2010268430.tif 000020
【図１５】
2010268430.tif 000021
【図１６】
2010268430.tif 000022
【図１７】
2010268430.tif 000023