(57)【要約】【課題】  生画像データに対する色相変動を修正する補正処理を行う画像処理方法において、情報記録媒体に記憶するファイル容量を過度に増大させることなく、適正な色相回り補正がなされた鑑賞画像参照データを生成することが可能な画像処理方法を提供する。【解決手段】  被写体を撮像することにより生成された生画像データを変換した輝度データＹ及び色差データＣｒ並びに色差データＣｂに基づいて、色相補正情報を生成し、該色相補正情報及び生画像データを情報記録媒体に記録する。【選択図】        図１
2006202091.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像することにより生成された生画像データを入力する生画像データ入力工程と、
前記生画像データをＹ−Ｃｒ−Ｃｂ空間上の輝度データＹ及び色差データＣｒ並びに色差データＣｂに変換する色空間データ変換工程と、
前記輝度データＹ及び色差データＣｒ並びに色差データＣｂに基づいて、色相補正情報を生成する補正情報生成工程と、
前記色相補正情報及び前記生画像データに基づいて補正画像データを生成する色相補正工程と、
前記色相補正情報及び前記生画像データを情報記録媒体に記録する情報記録工程とを含むことを特徴とする画像処理方法。
【請求項２】
前記情報記録工程は、前記補正画像データを情報記録媒体に記録することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記色相補正工程は、下記式（１）乃至式（４）の何れか１組の式を用いてマトリクス演算を行うことで色差データＣｒ及び色差データＣｂをそれぞれ色差データＣｒ’及び色差データＣｂ’に補正するものであり、
前記色相補正情報は、下記式（１）乃至式（４）の何れか１組の式に用いられる補正係数Ｋを含むことを特徴とする請求項１又は２に記載の画像処理方法。
（１）  Ｃｒ’＝Ｃｒ×Ａ／Ｋ＋Ｃｂ×Ｂ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ
（２）  Ｃｒ’＝（Ｃｒ×Ａ＋Ｃｂ×Ｂ）／Ｋ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ
（３）  Ｃｒ’＝Ｃｒ×Ａ＋Ｃｂ×Ｂ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ×Ｋ
（４）  Ｃｒ’＝Ｃｒ×Ａ＋Ｃｂ×Ｂ、
Ｃｂ’＝（Ｃｒ×Ｃ＋Ｃｂ×Ｄ）×Ｋ
但し、Ａ、Ｂ、Ｃ及びＤはマトリクス係数であり、Ｋは前記輝度データＹの関数であり、かつＣｒ’／Ｃｂ’で表される色差比が前記輝度データＹの値によらず一定になるように決められる、０よりも大きい補正係数である。
【請求項４】
前記補正係数Ｋは、下記式（５）によって算出されることを特徴とする請求項３に記載の画像処理方法。
（５）  Ｋ＝（Ｃｒ／Ｃｂ）／（Ｃｒ／Ｃｂ）Y=Y0
但し、（Ｃｒ／Ｃｂ）Y=Y0は、肌色の被写体に対する露光量を変えることで得られる適正露光時の色差比である。
【請求項５】
前記情報記録工程は、前記色相補正情報と前記生画像データとを関連付けて情報記録媒体に記録することを特徴とする請求項１乃至４の何れか１項に記載の画像処理方法。
【請求項６】
一画像における補正領域を特定する補正領域特定工程と、
前記補正領域の位置を表す位置情報を生成する位置情報生成工程とを含み、
前記色空間データ変換工程、前記補正情報生成工程及び前記色相補正工程は、前記補正領域の生画像データを対象として実行するものであり、
前記情報記録工程は、前記色相補正情報と前記位置情報とを関連付けて情報記録媒体に記録することを特徴とする請求項１乃至５の何れか１項に記載の画像処理方法。
【請求項７】
被写体を撮像することにより生成された生画像データを入力する生画像データ入力手段と、
前記生画像データをＹ−Ｃｒ−Ｃｂ空間上の輝度データＹ及び色差データＣｒ並びに色差データＣｂに変換する色空間データ変換手段と、
前記輝度データＹ及び色差データＣｒ並びに色差データＣｂに基づいて、色相補正情報を生成する補正情報生成手段と、
前記色相補正情報及び前記生画像データに基づいて補正画像データを生成する色相補正手段と、
前記色相補正情報及び前記生画像データを情報記録媒体に記録する情報記録手段とを有することを特徴とする画像処理装置。
【請求項８】
前記情報記録手段は、前記補正画像データを情報記録媒体に記録することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記色相補正手段は、下記式（１）乃至式（４）の何れか１組の式を用いてマトリクス演算を行うことで前記色差データＣｒ及び色差データＣｂをそれぞれ色差データＣｒ’及び色差データＣｂ’に補正するものであり、
前記色相補正情報は、下記式（１）乃至式（４）の何れか１組の式に用いられる補正係数Ｋを含むことを特徴とする請求項７又は８に記載の画像処理装置。
（１）  Ｃｒ’＝Ｃｒ×Ａ／Ｋ＋Ｃｂ×Ｂ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ
（２）  Ｃｒ’＝（Ｃｒ×Ａ＋Ｃｂ×Ｂ）／Ｋ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ
（３）  Ｃｒ’＝Ｃｒ×Ａ＋Ｃｂ×Ｂ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ×Ｋ
（４）  Ｃｒ’＝Ｃｒ×Ａ＋Ｃｂ×Ｂ、
Ｃｂ’＝（Ｃｒ×Ｃ＋Ｃｂ×Ｄ）×Ｋ
但し、Ａ、Ｂ、Ｃ及びＤはマトリクス係数であり、Ｋは前記輝度データＹの関数であり、かつＣｒ’／Ｃｂ’で表される色差比が前記輝度データＹの値によらず一定になるように決められる、０よりも大きい補正係数である。
【請求項１０】
前記補正係数Ｋは、下記式（５）によって算出されることを特徴とする請求項９に記載の画像処理装置。
（５）  Ｋ＝（Ｃｒ／Ｃｂ）／（Ｃｒ／Ｃｂ）Y=Y0
但し、（Ｃｒ／Ｃｂ）Y=Y0は、肌色の被写体に対する露光量を変えることで得られる適正露光時の色差比である。
【請求項１１】
前記情報記録手段は、前記色相補正情報と前記生画像データとを関連付けて情報記録媒体に記録することを特徴とする請求項７乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
一画像における補正領域を特定する補正領域特定手段と、
前記補正領域の位置を表す位置情報を生成する位置情報生成手段とを有し、
前記色空間データ変換手段及び前記補正情報生成手段は、前記補正領域の生画像データを対象として処理を実行するものであり、
前記情報記録手段は、前記色相補正情報と前記位置情報とを関連付けて情報記録媒体に記録することを特徴とする請求項７乃至１１の何れか１項に記載の画像処理装置。
【請求項１３】
請求項１乃至６の何れか１項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１４】
請求項７乃至１２の何れか１項に記載の各手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
【請求項１５】
請求項７乃至１２の何れか１項に記載の画像処理装置を備えたことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置、画像処理プログラム及び撮像装置に関する。
【背景技術】
【０００２】
撮像装置で撮影されたデジタル画像データ（以下、画像データという）は、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅｃｏｒｄａｂｌｅ）、フロッピー（登録商標）ディスク、メモリカードなどの情報記録媒体やインターネット経由で配信され、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、液晶、プラズマ等のディスプレイモニタや携帯電話の小型液晶モニタの表示デバイスに表示されたり、デジタルプリンタ、インクジェットプリンタ、サーマルプリンタ等の出力デバイスを用いてハードコピー画像としてプリントされるなど、その表示・プリント方法は多種多様化してきている。
【０００３】
また、画像データを鑑賞用途で表示・出力する際には、鑑賞に使用するディスプレイモニタ上、或いはハードコピー上において所望の画質が得られるように階調調整、輝度調整、カラーバランス調整、鮮鋭性強調に代表される種々の画像処理を施し、鑑賞画像参照データを生成することが一般に行われている。
【０００４】
画像データに対して行われる画像処理方法の一例として、画像データをＹ−Ｃｒ−Ｃｂ空間上の輝度データ及び色差データに変換した後、色差マトリクス演算を行う際に色差比が輝度によらず一定となるように輝度に依存した係数を決定することにより、肌色のオーバー露光時又はアンダー露光時に発生した色相変動を補正することが提案されている（例えば、特許文献１参照）。これにより、ＣＲＴなどのディスプレイモニタに表示する画像については、色相変動の発生を一時的に抑制する効果が期待できる。
【０００５】
一方、操作部によりシーン参照生データの出力が指定されると、撮像により撮像装置の撮像装置特性に依存したシーン参照生データを生成し、該シーン参照生データに対して、標準化されたシーン参照画像データを生成する撮像装置特性補正処理を施す際の再現補助データを生成して、該シーン参照生データに添付し、さらにメディアに記録することが提案されている（例えば、特許文献２参照）。これにより、情報損失を伴うことなく撮像画像をメディアに記録し、外部の装置に提供することが可能となる。
【特許文献１】特開２００３−６１１０９号公報
【特許文献２】特開２００４−９６５００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の処理が行われた画像データに対してさらに画像処理を行う場合、色相変動を修正する補正方法はデジタルカメラ毎に大きく異なり、独自の絵作りを所望するユーザにとっては、デジタルカメラ毎に補正値を変更せねばならず、負荷が大きかった。特に、多様なデジタルカメラからのデータが持ち込まれる業務用途においては、全てのデジタルカメラの補正値を予め保持することは、非常に負荷が大きく、デジタルカメラ共通の事象である色相変動（色相回りともいう）を効率的かつ適切に抑制することができないでいた。
【０００７】
さらに、デジタルカメラ内で鑑賞画像参照データ等の補正画像データの生成も併せて行う場合、当該補正画像データをシーン参照生データ等の生画像データから再現することができず、生画像データ及び補正画像データの両方を記録する場合、情報記録媒体保存時のデータの対応付けやディレクトリ階層管理が非常に煩雑なものとなっていた。
【０００８】
一方、特許文献２に記載の撮像装置において、全ての再現補助データを付加して情報記録媒体に記録するとなると、膨大な容量となり、シーン参照生データの容量をさらに大きなものとし、情報記録媒体の空き容量を逼迫し、また通信時の転送時間増加に繋がる。さらに、デジタルカメラ側処理の負荷が増大し、記録速度の低下、バッテリ寿命の低下にも繋がる。
【０００９】
そこで本発明は、上記の課題に鑑みて、生画像データに対して色相変動を修正する補正処理（以下、色相回り補正ともいう）を行う画像処理方法において、情報記録媒体に記憶するファイル容量を過度に増大させることなく、撮像したデジタルカメラに依存することなく、適正な色相回り補正がなされた鑑賞画像参照データを生成することが可能であり、また撮像したデジタルカメラで行われた色相回り補正を再現した鑑賞画像参照データを生成できる画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的は、下記構成により達成することができる。
【００１１】
請求項１に係る発明は、被写体を撮像することにより生成された生画像データを入力する生画像データ入力工程と、
前記生画像データをＹ−Ｃｒ−Ｃｂ空間上の輝度データＹ及び色差データＣｒ並びに色差データＣｂに変換する色空間データ変換工程と、
前記輝度データＹ及び色差データＣｒ並びに色差データＣｂに基づいて、色相補正情報を生成する補正情報生成工程と、
前記色相補正情報及び前記生画像データに基づいて補正画像データを生成する色相補正工程と、
前記色相補正情報及び前記生画像データを情報記録媒体に記録する情報記録工程とを含むことを特徴とする画像処理方法である。
【００１２】
請求項２に係る発明は、前記情報記録工程は、前記補正画像データを情報記録媒体に記録することを特徴とする請求項１に記載の画像処理方法である。
【００１３】
請求項３に係る発明は、前記色相補正工程は、下記式（１）乃至式（４）の何れか１組の式を用いてマトリクス演算を行うことで色差データＣｒ及び色差データＣｂをそれぞれ色差データＣｒ’及び色差データＣｂ’に補正するものであり、
前記色相補正情報は、下記式（１）乃至式（４）の何れか１組の式に用いられる補正係数Ｋを含むことを特徴とする請求項１又は２に記載の画像処理方法である。
（１）  Ｃｒ’＝Ｃｒ×Ａ／Ｋ＋Ｃｂ×Ｂ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ
（２）  Ｃｒ’＝（Ｃｒ×Ａ＋Ｃｂ×Ｂ）／Ｋ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ
（３）  Ｃｒ’＝Ｃｒ×Ａ＋Ｃｂ×Ｂ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ×Ｋ
（４）  Ｃｒ’＝Ｃｒ×Ａ＋Ｃｂ×Ｂ、
Ｃｂ’＝（Ｃｒ×Ｃ＋Ｃｂ×Ｄ）×Ｋ
但し、Ａ、Ｂ、Ｃ及びＤはマトリクス係数であり、Ｋは前記輝度データＹの関数であり、かつＣｒ’／Ｃｂ’で表される色差比が前記輝度データＹの値によらず一定になるように決められる、０よりも大きい補正係数である。
【００１４】
請求項４に係る発明は、前記補正係数Ｋは、下記式（５）によって算出されることを特徴とする請求項３に記載の画像処理方法である。
（５）  Ｋ＝（Ｃｒ／Ｃｂ）／（Ｃｒ／Ｃｂ）Y=Y0
但し、（Ｃｒ／Ｃｂ）Y=Y0は、肌色の被写体に対する露光量を変えることで得られる適正露光時の色差比である。
【００１５】
請求項５に係る発明は、前記情報記録工程は、前記色相補正情報と前記生画像データとを関連付けて情報記録媒体に記録することを特徴とする請求項１乃至４の何れか１項に記載の画像処理方法である。
【００１６】
請求項６に係る発明は、一画像における補正領域を特定する補正領域特定工程と、
前記補正領域の位置を表す位置情報を生成する位置情報生成工程とを含み、
前記色空間データ変換工程、前記補正情報生成工程及び前記色相補正工程は、前記補正領域の生画像データを対象として実行するものであり、
前記情報記録工程は、前記色相補正情報と前記位置情報とを関連付けて情報記録媒体に記録することを特徴とする請求項１乃至５の何れか１項に記載の画像処理方法である。
【００１７】
請求項７に係る発明は、被写体を撮像することにより生成された生画像データを入力する生画像データ入力手段と、
前記生画像データをＹ−Ｃｒ−Ｃｂ空間上の輝度データＹ及び色差データＣｒ並びに色差データＣｂに変換する色空間データ変換手段と、
前記輝度データＹ及び色差データＣｒ並びに色差データＣｂに基づいて、色相補正情報を生成する補正情報生成手段と、
前記色相補正情報及び前記生画像データに基づいて補正画像データを生成する色相補正手段と、
前記色相補正情報及び前記生画像データを情報記録媒体に記録する情報記録手段とを有することを特徴とする画像処理装置である。
【００１８】
請求項８に係る発明は、前記情報記録手段は、前記補正画像データを情報記録媒体に記録することを特徴とする請求項７に記載の画像処理装置である。
【００１９】
請求項９に係る発明は、前記色相補正手段は、下記式（１）乃至式（４）の何れか１組の式を用いてマトリクス演算を行うことで前記色差データＣｒ及び色差データＣｂをそれぞれ色差データＣｒ’及び色差データＣｂ’に補正するものであり、
前記色相補正情報は、下記式（１）乃至式（４）の何れか１組の式に用いられる補正係数Ｋを含むことを特徴とする請求項７又は８に記載の画像処理装置である。
（１）  Ｃｒ’＝Ｃｒ×Ａ／Ｋ＋Ｃｂ×Ｂ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ
（２）  Ｃｒ’＝（Ｃｒ×Ａ＋Ｃｂ×Ｂ）／Ｋ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ
（３）  Ｃｒ’＝Ｃｒ×Ａ＋Ｃｂ×Ｂ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ×Ｋ
（４）  Ｃｒ’＝Ｃｒ×Ａ＋Ｃｂ×Ｂ、
Ｃｂ’＝（Ｃｒ×Ｃ＋Ｃｂ×Ｄ）×Ｋ
但し、Ａ、Ｂ、Ｃ及びＤはマトリクス係数であり、Ｋは前記輝度データＹの関数であり、かつＣｒ’／Ｃｂ’で表される色差比が前記輝度データＹの値によらず一定になるように決められる、０よりも大きい補正係数である。
【００２０】
請求項１０に係る発明は、前記補正係数Ｋは、下記式（５）によって算出されることを特徴とする請求項９に記載の画像処理装置である。
（５）  Ｋ＝（Ｃｒ／Ｃｂ）／（Ｃｒ／Ｃｂ）Y=Y0
但し、（Ｃｒ／Ｃｂ）Y=Y0は、肌色の被写体に対する露光量を変えることで得られる適正露光時の色差比である。
【００２１】
請求項１１に係る発明は、前記情報記録手段は、前記色相補正情報と前記生画像データとを関連付けて情報記録媒体に記録することを特徴とする請求項７乃至１０の何れか１項に記載の画像処理装置である。
【００２２】
請求項１２に係る発明は、一画像における補正領域を特定する補正領域特定手段と、
前記補正領域の位置を表す位置情報を生成する位置情報生成手段とを有し、
前記色空間データ変換手段及び前記補正情報生成手段は、前記補正領域の生画像データを対象として処理を実行するものであり、
前記情報記録手段は、前記色相補正情報と前記位置情報とを関連付けて情報記録媒体に記録することを特徴とする請求項７乃至１１の何れか１項に記載の画像処理装置である。
【００２３】
請求項１３に係る発明は、請求項１乃至６の何れか１項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラムである。
【００２４】
請求項１４に係る発明は、請求項７乃至１２の何れか１項に記載の各手段としてコンピュータを機能させることを特徴とする画像処理プログラムである。
【００２５】
請求項１５に係る発明は、請求項７乃至１２の何れか１項に記載の画像処理装置を備えたことを特徴とする撮像装置である。
【発明の効果】
【００２６】
請求項１又は７に記載の発明によれば、再現補助データの中でも色相変動を修正する効果の高い色相補正情報と生画像データとを情報記録媒体に記録するので、情報記録媒体に記憶するファイル容量を過度に増大させることなく、また撮像したデジタルカメラに依存することなく、色相回り補正がなされた鑑賞画像参照データを生成することが可能であり、また撮像したデジタルカメラで行われた色相回り補正を再現した鑑賞画像参照データを容易に生成することが可能となる。
【００２７】
請求項２又は８に記載の発明によれば、色相補正情報及び生画像データに基づいて生成された補正画像データを情報記録媒体に記録するので、表示デバイスや出力媒体上において、色相回り補正がなされた良好な画像を容易に鑑賞することが可能となる。
【００２８】
請求項３、４、９又は１０に記載の発明によれば、色相補正情報には、色相回り補正を行うデジタルカメラや画像処理装置で大きく異なる補正係数Ｋを含んでいるので、情報記録媒体に記録するファイル容量を過度に増大させることなく、また撮像したデジタルカメラに依存することなく、色相回り補正がなされた鑑賞画像参照データを容易に生成することが可能となる。
【００２９】
請求項５又は１１に記載の発明によれば、色相補正情報と生画像データとを関連付けて情報記録媒体に記録するので、色相回り補正を再現した鑑賞画像参照データを容易に生成することが可能となる。
【００３０】
請求項６又は１２に記載の発明によれば、一画像において特定された補正領域の生画像データを対象として色相回り補正を実行し、該補正領域の位置を表す位置情報と色相補正情報とを関連付けて情報記録媒体に記録するので、情報記録媒体に記憶するファイル容量を過度に増大させることなく、色相回り補正を再現した鑑賞画像参照データを容易に生成することが可能となる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明に係る各種データ及び色空間の詳細について、順次説明する。
【００３２】
［生画像データ］
生画像データとは、該生画像データの輝度データ及び色差データに基づく色相補正を行う前の状態の画像データのことをいい、例えば、撮像装置特性に依存したシーン参照生データがこれに相当する。
【００３３】
［シーン参照生データ］
「撮像装置特性に依存したシーン参照生データ」とは、被写体に忠実な情報を記録した撮像装置直接の生出力信号であり、例えばデジタルカメラの具備するＡ／Ｄ変換器によりデジタル化されたデータそのものや、該データに固定パターンノイズ・暗電流ノイズ等のノイズ補正を行ったデータを意味し、一般的にＲＡＷデータと呼ばれるものやアドビシステム社が提唱している「Ｄｉｇｉｔａｌ  Ｎｅｇａｔｉｖｅ（ＤＮＧ）」準拠の画像フォーマットを有する画像データが代表的である。
【００３４】
ＲＡＷデータは、例えば、特開平１１−２６１９３３号公報に記載された、撮像した画像信号形態に相当するものであり、このような画像データは、専用のアプリケーションソフト（「現像ソフト」と称される）を用いて、表示・印刷用の鑑賞画像参照データに変換する（「電子現像」、又は単に「現像」と称される）ことができる。ＲＡＷデータは撮影時の全情報を保存しているため、補正画像データの作り直しが可能であり、ＣＭＹＫ等の他の表色系ファイルを直接作れば、ディスプレイモニタ（ｓＲＧＢ）との色域の相違に起因して不用意に色が変更されることもない。
【００３５】
シーン参照生データの情報量（例えば階調数）は前記Ａ／Ｄ変換器の性能に準じ、鑑賞画像参照データで必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば鑑賞画像参照データの階調数が１チャンネルあたり８ｂｉｔである場合、シーン参照生データの階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００３６】
［補正画像データ］
補正画像データは、生画像データの輝度データ及び色差データに基づく色相補正が行われた画像データのことをいい、例えば標準化されたシーン参照画像データや鑑賞画像参照データがこれに相当する。
【００３７】
［シーン参照画像データ］
「標準化されたシーン参照画像データ」とは、少なくとも撮像素子自体の分光感度に基づく各色チャンネルの信号強度を標準色空間にマッピング済みの画像データである。またシーン参照画像データでは、階調変換・鮮鋭性強調・彩度強調のような画像鑑賞時の効果を向上するためにデータ内容を改変する画像処理が省略されている。標準化されたシーン参照画像データの代表例としては、「ＲＩＭＭ  ＲＧＢ」（Ｒｅｆｅｒｅｎｃｅ  Ｉｎｐｕｔ  Ｍｅｄｉｕｍ  Ｍｅｔｒｉｃ  ＲＧＢ）や「ＥＲＩＭＭ  ＲＧＢ」（Ｅｘｔｅｎｄｅｄ  Ｒｅｆｅｒｅｎｃｅ  Ｉｎｐｕｔ  Ｍｅｄｉｕｍ  Ｍｅｔｒｉｃ  ＲＧＢ）の標準色空間にマッピングされた画像データがある。なお、ＲＩＭＭ  ＲＧＢやＥＲＩＭＭ  ＲＧＢの詳細についてはＪｏｕｒｎａｌｏｆ  Ｉｍａｇｉｎｇ  Ｓｃｉｅｎｃｅ  ａｎｄ  Ｔｅｃｈｎｏｌｏｇｙ  ４５巻  ４１８〜４２６頁（２００１年）に記載されている。
【００３８】
また、シーン参照画像データは、撮像装置の光電変換特性（ＩＳＯ１４５２が定義するｏｐｔｏ−ｅｌｅｃｔｒｏｎｉｃ  ｃｏｎｖｅｒｓｉｏｎ  ｆｕｎｃｔｉｏｎ，  例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４９頁参照）の補正を行ったものであることが好ましい。標準化されたシーン参照画像データの情報量（例えば階調数）は前記Ａ／Ｄ変換器の性能に準じ、鑑賞画像参照データで必要とされる情報量（例えば階調数）と同等以上であることが好ましい。例えば鑑賞画像参照データの階調数が１チャンネルあたり８ｂｉｔである場合、シーン参照画像データの階調数は１２ｂｉｔ以上が好ましく、１４ｂｉｔ以上がより好ましく、また１６ｂｉｔ以上がさらに好ましい。
【００３９】
［鑑賞画像参照データ］
鑑賞画像参照データとは、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスに用いたり、出力デバイスが、銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上のハードコピー画像生成に用いる画像データを意味する。鑑賞画像参照データは、ＣＲＴ、液晶、プラズマディスプレイ等の表示デバイス、及び銀塩印画紙、インクジェットペーパー、サーマルプリンタ用紙等の出力媒体上において、最適な画像が得られるよう、生画像データの輝度データ及び色差データに基づく色相補正を含む最適化処理が施された画像データである。
【００４０】
［Ｙ−Ｃｒ−Ｃｂ空間］
「Ｙ−Ｃｒ−Ｃｂ空間」とは、ＩＴＵ−Ｒ（国際電気通信連合無線通信部門）勧告ＢＴ．６０１で規定されている、輝度情報Ｙ、青色（Ｂｌｕｅ）成分の色差Ｃｂ及び赤色（Ｒｅｄ）成分の色差Ｃｒで表される標準化された色空間のことである。
【００４１】
［色相補正情報］
「色相補正情報」とは、生画像データの輝度データ及び色差データに基づいて作成される情報であって、被写体のオーバー露光時又はアンダー露光時の色相変動を修正する補正、すなわち色相回り補正を行うための情報である。したがって、色相補正情報のみを活用して、生画像データに対する色相回り補正処理が実施可能である。
【００４２】
色相補正情報は例えば、生画像データの色差データＣｒ及び色差データＣｂをそれぞれ色差データＣｒ’及び色差データＣｂ’に変換するのに必要な情報、すなわち本発明の画像処理装置で固有に行われる色差データの変換処理で使用される演算式のマトリクス係数が記述される。
【００４３】
例えば、画像処理装置が適用された撮像装置の機種名だけが記述されている場合は、本発明に係る色相回り補正を再現する画像処理装置や画像記録装置が、撮像装置の機種名と前記マトリクス係数の対応表を保有していない可能性があるので、色相補正情報とは言えない。また例えば、本発明に係る色相回り補正を実施するのに十分な情報が直接記述されていなくても、該情報のインターネット上での所在個所を示すＵＲＬが記述されている場合は、本発明に係る色相回り補正を行うのに十分なデータとみなすことができる。これらの色相補正情報は、画像ファイル内のヘッダ部に書き込まれるタグ情報や、該タグ情報で関連付けがされたメタファイルとして情報記録媒体に記録されるのが好ましい。
【００４４】
以下、図面に基づき本発明の実施の形態を説明する。
【００４５】
本発明に係る画像処理装置が適用された撮像装置の機能的構成を図１を用いて説明する。図１は、本発明に係る撮像装置１の機能的構成を示すブロック図である。
【００４６】
撮像装置１は、レンズ２、絞り３、撮像素子４、アナログ処理回路５、一時記憶メモリ６、画像処理部７、ヘッダ情報処理部８、記憶デバイス９、撮像素子駆動回路１０、制御部１１、Ａ／Ｄ変換器１３、操作部１４、表示部１５、ストロボ駆動回路１６、ストロボ１７、焦点距離調整回路１８、自動焦点駆動回路１９、モータ２０等を備えて構成されている。
【００４７】
撮像装置１の光学系は、レンズ２、絞り３、撮像素子４を備えて構成されている。
【００４８】
レンズ２は、フォーカスの調節を行い、被写体の光画像を結像する。絞り３は、レンズ２を透過した光束の光量を調節する。撮像素子４は、レンズ２により受光面上に結像された被写体光を、撮像素子４内の各センサ毎に光の入射量に応じた量の電気的な信号（撮像信号）へ光電変換する。そして、撮像素子４は、撮像素子駆動回路１０から出力されるタイミングパルスに制御されることにより、この撮像信号をアナログ処理回路５へ順次出力する。
【００４９】
なお、撮像素子４は、２次元のＣＣＤ型イメージセンサ、Ｃ−ＭＯＳ型イメージセンサ、ＣＩＤ型イメージセンサ等のいずれのデバイスでも良いが、以下の本実施の形態では原色系のフィルタが用いられたインターライン型のＣＣＤ型イメージセンサを例にとって説明する。
【００５０】
アナログ処理回路５は、撮像素子４から入力された撮像信号に対して、Ｒ、Ｇ、Ｂ信号の増幅やノイズの低減処理等を行う。このアナログ処理回路５における処理は、操作部１４からの操作信号に応じ制御部１１を介して、ＯＮ／ＯＦＦを切り替えられるようになっている。
【００５１】
Ａ／Ｄ変換器１３は、アナログ処理回路５から入力された撮像信号を画像データに変換して出力する。
【００５２】
一時記憶メモリ６は、バッファメモリ等であり、Ａ／Ｄ変換器１３から出力された画像データを一時格納する。
【００５３】
画像処理部７は、表示部１５での表示に用いる画像データの階調補正、分光感度のクロストーク補正、暗電流ノイズ抑制、鮮鋭化、ホワイトバランス調整、彩度調整等の画質向上処理の他、画像サイズの変更、トリミング、アスペクト変換、本発明に係る色相回り補正等の処理を行う。この画像処理部７における処理は、操作部１４からの操作信号に応じ制御部１１を介して画像処理内容を切り替えられるようになっている。
【００５４】
ヘッダ情報処理部８は、一時記憶メモリ６に格納された画像データに対して、画像処理部７の図示しない色相補正情報手段により生成された色相補正情報又は色相補正情報との関連付け情報等をヘッダ情報として書き込み処理する。
【００５５】
記憶デバイス９は、不揮発性の半導体メモリ等により構成されており、撮影された画像データを記録するメモリカード等の情報記録媒体と、撮像装置１の制御プログラムが記憶された読み出し可能なメモリとにより構成されている。
【００５６】
情報記録媒体は、例えばコンパクトフラッシュ（登録商標）、メモリースティック、スマートメディア、マルチメディアカード、ハードディスク、フロッピー（登録商標）ディスク、磁気情報記録媒体（ＭＯ）、或いはＣＤ−Ｒなど何れであってもよい。また、情報記録媒体に書き込むユニットは、撮影装置と一体であっても、コードを介して有線状態で接続された書き込みユニット、通信やインターネットを介して無線状態で接続された独立、或いは遠隔地に設置されたユニットなどの何れの形態であってもよい。さらに、撮像装置と情報記録媒体への書き込みユニットが接続状態にあるとき、画像処理装置や画像記録装置が撮像装置から直接「撮像装置特性補正処理を施す際の再現補助データ」及び「必要なデータ」を読み出すことのできる機能を併せ持つ態様であってもよい。「メディアに記録する」ときのファイル形式は、撮像装置固有の形式ではなく、ＴＩＦＦ、ＪＰＥＧなどの規格化された汎用のファイル形式で記録されるのが好ましい。
【００５７】
撮像素子駆動回路１０は、制御部１１から出力される制御信号をもとにタイミングパルスを出力し、撮像素子４の駆動制御を行う。
【００５８】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等により構成され、記憶デバイス９に記憶されている撮像装置１の制御プログラムを読み出して、読み出したプログラムにしたがってって撮像装置１全体の制御を行う。具体的には、制御部１１は、操作部１４からの操作信号に応じて、レンズ２の焦点距離とフォーカス（ピント）を調節するモータ２０の制御を行う自動焦点駆動回路１９、焦点距離調整回路１８、撮像素子駆動回路１０、アナログ処理回路５、一時記憶メモリ６、画像処理部７、操作部１４、表示部１５及びストロボ駆動回路１６の制御を行い、撮影を行う。
【００５９】
また、制御部１１は、例えば画像を複数のブロックに分割し、各ブロックの代表輝度値に基づいて絞り３の開口径や撮像素子４による電荷蓄積時間を調整する、いわゆる自動露出制御を行う。
【００６０】
操作部１４には、図示しないレリーズボタン、電源のＯＮ／ＯＦＦボタン、ズームボタン等の各種機能ボタン、カーソルキー等が設けられ、各ボタンやキーに対応する操作信号を入力信号として制御部１１に出力する。本実施の形態において、操作部１４は、シーン参照生データの出力を指定するための機能ボタンを備えている。
【００６１】
表示部１５は、制御部１１からの制御信号により、画像データに基づく画像を表示するとともに、撮像装置１の使用者が撮影に関する設定や条件を確認するための情報を表示する。
【００６２】
ストロボ駆動回路１６は、制御部１１からの制御信号により、被写体輝度が低いときにストロボ１７を駆動制御して発光させる。
ストロボ１７は、電池電圧を所定の高電圧に昇圧させ、電荷としてコンデンサに蓄える。そして、ストロボ駆動回路１６により駆動されることにより、コンデンサに蓄えられた電荷によりキセノン管を発光して、被写体に対して補助光を照射する。
【００６３】
焦点距離調整回路１８は、制御部１１からの制御信号により、レンズ２を移動させて焦点距離を調整するためのモータ２０の制御を行う。
自動焦点駆動回路１９は、制御部１１からの制御信号により、レンズ２を移動させてフォーカス（ピント）を調整するためのモータ２０の制御を行う。
【００６４】
なお、図１に示した撮像装置１において、一時記憶メモリ６、画像処理部７、制御部１１及び記憶デバイス９は協働して本発明に係る画像処理装置として機能しているものである。すなわち、一時記憶メモリ６は一時記憶手段として機能し、制御部１１は制御手段として機能し、記憶デバイス９は情報記録手段として機能するものである。
【００６５】
図１に示した撮像装置１の画像処理部７の詳細について、図２を用いて説明する。図２は、図１の撮像装置１の画像処理部７の内部構成を示すブロック図である。
【００６６】
画像処理部７は、入力部７１及び出力部７２を有し、色空間変換手段７０１、色相補正情報生成手段７０２、色相補正手段７０３、鑑賞画像参照データ生成手段７０４、補正領域特定手段７０５及び位置情報生成手段７０６としての機能も有する。
【００６７】
入力部７１へは、一時記憶メモリ６から出力された画像データすなわち生画像データや、制御部１１から出力された各種制御データが入力される。
【００６８】
出力部７２は、画像処理部７の各手段で処理された画像データや各種制御データを、画像処理部７と接続している各部へと出力する。
【００６９】
色空間変換手段７０１は、色相回り補正情報を生成するために、入力部７１に入力された生画像データをＹ−Ｃｒ−Ｃｂ空間上の輝度データＹ及び色差データＣｒ並びに色差データＣｂに変換する。生画像データがＲＧＢデータである場合、Ｙ、Ｃｒ、Ｃｂへの変換は、例えばＩＴＵ−Ｒ（国際電気通信連合無線通信部門）勧告ＢＴ．６０１で規定された下記式により変換される。
Ｙ  ＝  ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｂ＝−０．１７２Ｒ−０．３３９Ｇ＋０．５１１Ｂ
Ｃｒ＝  ０．５１１Ｒ−０．４２８Ｇ−０．０８３Ｂ
色相補正情報生成手段７０２は、色空間変換手段７０１で変換された輝度データＹ及び色差データＣｒ並びに色差データＣｂに基づいて、色相回り補正を行うための情報である色相補正情報を生成する。
【００７０】
色相補正手段７０３は、色相補正情報生成手段７０２で生成された色相補正情報に基づいて、入力部７１に入力された生画像データに対して色相変動を修正する補正処理すなわち色相回り補正処理を行い、出力部７２又は鑑賞画像参照データ生成手段７０４へ補正画像データを出力する。
【００７１】
鑑賞画像参照データ生成手段７０４は、色相補正手段７０４で補正された画像データを、図１の操作部１４から入力された記憶デバイス９、表示部１５の種類に関する操作情報等に基づき、出力先において最適な画像を得るための最適化処理を施して鑑賞画像参照データとして出力部７２へ出力する。最適化処理には、例えば、出力先の色域への圧縮、１６ｂｉｔから８ｂｉｔへの階調圧縮、出力画素数の低減、出力デバイスや表示デバイスの出力特性（ＬＵＴ）への対応処理等が含まれる。
【００７２】
補正領域特定手段７０４は、入力部７１に入力された生画像データを解析して、当該生画像データのうち、色相回り補正処理を施すべき補正領域を特定する。補正領域の特定は一画像を所定数に区切った領域毎に行い、例えば当該領域の主たる画像が色相回りの発生しやすい肌色である場合は補正領域とする。また、補正領域特定手段７０４による自動領域選択に代えて、ユーザが表示部１５に表示された画像を見ながら、操作部１４を操作して補正領域を特定することもできる。この場合、操作部１４が補正領域特定手段として機能するものである。
【００７３】
位置情報生成手段７０５は、補正領域特定手段７０４で特定された領域の位置情報を生成する。位置情報は例えば、補正領域が円領域である場合には、円の中心座標とその直径で記述され、補正領域が矩形領域である場合には、矩形の中心座標と矩形領域の大きさで記述される。記述例を以下に示す。
円領域の場合：Ｘ座標値、Ｙ座標値、直径
矩形領域の場合：Ｘ座標値、Ｙ座標値、矩形領域の幅、矩形領域の高さ
次に、図３乃至図５を用いて本発明に係る画像処理装置が適用された撮像装置の動作の一例を説明する。
【００７４】
図３は、図１及び図２に示した撮像装置１により実行される撮像処理の流れを示すフローチャートである。
【００７５】
操作部１４のレリーズボタンが押下されると、ステップＳ１では、制御部１１は撮像装置１の各部を制御して被写体の撮像を行う。すなわち、撮像により撮像素子４から出力された撮像信号はＡ／Ｄ変換器１３により画像データに変換され、生画像データが生成されて、一時記憶メモリ６に保持される。
【００７６】
ステップＳ２では、画像処理部７により、生画像データに対する色相変動を修正する補正処理すなわち色相回り補正処理が行われる。ステップＳ２で色相回り補正処理が施された画像データは、シーン参照画像データとして取り扱われる。また、ステップＳ２において色相補正情報も併せて生成される。
【００７７】
ステップＳ３では、予め操作部１４等により、出力先において最適な画像を得るための最適化処理を行うすなわち鑑賞画像参照データを作成する設定がされていたか否かが判断される。鑑賞画像参照データを作成する設定がされていた場合（ステップＳ３；ＹＥＳ）、ステップＳ４の処理が実行され、鑑賞画像参照データを作成しない場合（ステップＳ３；ＮＯ）、ステップＳ５の処理が実行される。
【００７８】
ステップＳ４では、鑑賞画像参照データ生成手段７０４により、ステップＳ２で色相回り補正がされた画像データに対して、出力先において最適な画像を得るための最適化処理がなされた鑑賞画像参照データが作成される。
【００７９】
ステップＳ５では、ステップＳ２で生成されたシーン参照画像データ、ステップＳ３で生成された鑑賞画像参照データ及びステップＳ１で生成された生画像データ等の画像データ並びにステップＳ２で生成された色相補正情報、後述する位置情報等の制御データが画像処理部７から出力され、記憶デバイス９により情報記録媒体９０に記録され、処理が終了する。なお、画像データにはヘッダ情報処理部８によりヘッダ情報が付与される。また、情報記録媒体９０への記録に代えて、図示しない通信媒体を介して他の情報処理装置の記録媒体へ記録するようにしてもよい。
【００８０】
図３のステップＳ５において、ヘッダ情報が付加され情報記録媒体９０に記録される画像データは、例えば図４（ａ）に示すように、生画像データ９１０を含むファイル９１として記録され、そのヘッダ領域９１１に、色相補正情報ｄ１を含む撮像装置特性補正データｄ２が記録されている。また、他の例として図４（ｂ）に示すように、ファイル９２のヘッダ領域９２１には、生画像データ９１０と関連付けされたメタファイル９３の識別情報ｄ３が記述され、ヘッダ領域９３１に識別情報ｄ３を有するメタファイル９３に、色相補正情報ｄ１を含む撮像装置特性補正データｄ２が記録される。
【００８１】
このように記録することで、情報記録媒体９０を撮像装置１から取り出して、他の画像処理装置や画像記録装置等の外部装置に装着することにより、撮像装置で行われた処理に依存することなく、適正な色相回り補正処理がなされた出力を行うことが可能であり、また撮像装置で行われた色相回り補正処理を再現することも可能となる。
【００８２】
図３のステップＳ４で実行される色相回り補正処理の詳細について図５を用いて説明する。図５は、図３のステップＳ４で実行される色相回り補正処理の流れを示すフローチャートである。
【００８３】
ステップＳ１１では、図３のステップＳ１で一時記憶メモリ６に保持された生画像データが、図２に示した画像処理部７の入力部７１に入力される。
【００８４】
ステップＳ１２では、生画像データに対して階調を補正するγ変換処理が施される。
【００８５】
ステップＳ１３では、図２に示した色空間変換手段７０１により、入力部７１に入力された生画像データが、内部処理用にＹ−Ｃｒ−Ｃｂ空間上の輝度データＹ及び色差データＣｒ並びに色差データＣｂに変換される。なお、生画像データがＲＧＢデータである場合、Ｙ、Ｃｒ、Ｃｂへの変換が行われるが、生画像データがＹＣｒＣｂデータである場合には変換処理は行われずにステップＳ１４の処理が実行される。
【００８６】
ステップＳ１４では、予め操作部１４等により、色相回り補正処理を行う領域すなわち補正領域を選択する設定がされていたか否かが判断される。補正領域を選択する設定がされていた場合（ステップＳ１４；ＹＥＳ）、ステップＳ１５の処理が実行され、補正領域を選択しない場合（ステップＳ１４；ＮＯ）、ステップＳ１７の処理が実行される。
【００８７】
ステップＳ１５では、図２に示した補正領域特定手段７０５により、色相回り補正処理を行う領域が特定され、選択される。
【００８８】
ステップＳ１６では、図２に示した位置情報生成手段７０６により、ステップＳ１５で選択された補正領域の位置情報が生成される。
【００８９】
ステップＳ１７では、色相回り補正のマトリクス演算で用いられる補正係数Ｋが算出される。補正係数Ｋは、ステップＳ１３で変換された輝度データＹの関数であり、かつステップＳ１３で変換された色差データに基づき求められるＣｒ／Ｃｂで表される色差比が、輝度データＹの値によらず一定になるように決められる０よりも大きい補正係数である。
【００９０】
補正係数Ｋは、具体的には下記式（５）により算出される。
（５）  Ｋ＝（Ｃｒ／Ｃｂ）／（Ｃｒ／Ｃｂ）Y=Y0
上記式（５）において、（Ｃｒ／Ｃｂ）Y=Y0は、撮像装置１で固有に定めることのできる既定値であり、例えば、肌色の被写体に対する露光量を変えることで得られる適正露光時の色差比である。すなわち、上記式（５）において、生画像データの色差データＣｒ及び色差データＣｂが適正露光の範囲内にある限りは補正係数Ｋは１近辺であり、実質的に色相回り補正が行われない。一方、生画像データのうちある一つの色成分が飽和したとき、補正係数Ｋが１以外の値となり、色相回り補正が実効するようになるものである。なお、上記式（５）が導き出される過程は、特開２００３−６１１０９号公報に詳しく記載されている。
【００９１】
（Ｃｒ／Ｃｂ）Y=Y0について、適正露光時の肌色といっても色差比の個人差は大きく、撮像装置１で唯一の規定値とするのは困難な場合がある。そこで、予め複数の（Ｃｒ／Ｃｂ）Y=Y0の値を記憶しておき、撮像時の環境によって最も好適と判断された（Ｃｒ／Ｃｂ）Y=Y0を選択し、当該選択された値で補正係数Ｋを求めるようにしてもよい。
【００９２】
ステップＳ１８では、ステップＳ１３で変換された輝度データＹ及び色差データＣｒ並びに色差データＣｂに対して実行されるマトリクス演算式が決定される。マトリクス演算式の決定にあたっては、例えば肌色の画像であるか否か、輝度データＹの値、色差データＣｒ又は色差データＣｂの値等により最も好適な演算式が選択される。
【００９３】
ステップＳ１９では、図２に示した色相補正情報生成手段７０２により、ステップＳ１６で生成された位置情報、ステップＳ１７で算出された補正係数Ｋ、ステップＳ１８で決定されたマトリクス演算式の種類及び当該マトリクス演算式で使用されるマトリクス係数等に基づいて色相補正情報が生成される。
【００９４】
ステップＳ２０では、図２に示した色相補正手段７０３により、ステップＳ１７で算出された補正係数Ｋ、ステップＳ１８で決定されたマトリクス演算式に基づいて、ステップＳ１３で変換された生画像データの色差データＣｒ並びに色差データＣｂが、色差データＣｒ’及び色差データＣｂ’に補正される。
【００９５】
ステップＳ２１では、輝度データＹ及びステップＳ２０で補正された色差データＣｒ’並びに色差データＣｂ’が出力用の画像データ（例えばＲＧＢデータ）に変換されたのち、図２に示した画像処理部７の出力部７２に出力され、一時記憶メモリ６又は記憶デバイス９に格納されて処理を終了する。また、ステップＳ１９で生成された色相補正情報も併せて出力される。
【００９６】
図５のステップＳ１８で実行されるマトリクス演算式決定処理の詳細について図６を用いて説明する。図６は、図５のステップＳ１８で実行されるマトリクス演算式決定処理の流れを示すフローチャートである。
【００９７】
本実施の形態では、下記式（１）、（２）、（３）、（４）及び（６）の何れか１組の式を用いてマトリクス演算を行うことでステップＳ１２で変換された色差データＣｒ及び色差データＣｂをそれぞれ色差データＣｒ’及び色差データＣｂ’に補正するものである。マトリクス演算式の決定にあたっては、例えば肌色の画像であるか否か、輝度データＹの値、色差データＣｒ又は色差データＣｂの値等により最も好適な演算式が選択される。
（１）  Ｃｒ’＝Ｃｒ×Ａ／Ｋ＋Ｃｂ×Ｂ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ
（２）  Ｃｒ’＝（Ｃｒ×Ａ＋Ｃｂ×Ｂ）／Ｋ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ
（３）  Ｃｒ’＝Ｃｒ×Ａ＋Ｃｂ×Ｂ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ×Ｋ
（４）  Ｃｒ’＝Ｃｒ×Ａ＋Ｃｂ×Ｂ、
Ｃｂ’＝（Ｃｒ×Ｃ＋Ｃｂ×Ｄ）×Ｋ
（６）  Ｃｒ’＝Ｃｒ×Ａ＋Ｃｂ×Ｂ、
Ｃｂ’＝Ｃｒ×Ｃ＋Ｃｂ×Ｄ
上記式（１）、（２）、（３）、（４）及び（６）において、Ａ、Ｂ、Ｃ及びＤは既定のマトリクス係数であり、Ｋは図５のステップＳ１７で算出された補正係数である。
【００９８】
ステップＳ１０１では、色差データＣｒ及び色差データＣｂに基づいて、生画像データが肌色であるか否かが判断される。具体的には、Ｃｒ及びＣｂの閾値を予め定めておき、Ｃｒ及びＣｂが閾値内であれば肌色であると判断するようにできる。肌色であると判断された場合（ステップＳ１０１；ＹＥＳ）、ステップＳ１０２の処理が実行され、肌色でない場合（ステップＳ１０１；ＮＯ）、ステップＳ１０９の処理が実行される。
【００９９】
ステップＳ１０２では、輝度データＹが予め定められた閾値Ｙ０より大きいか否かが判断される。輝度データＹが閾値Ｙ０より大きいと判断された場合（ステップＳ１０２；ＹＥＳ）、ステップＳ１０３の処理が実行され、閾値Ｙ０より小さい場合（ステップＳ１０２；ＮＯ）、ステップＳ１０６の処理が実行される。
【０１００】
ステップＳ１０３では、色差データＣｂが予め定められた閾値Ｃｂ０より大きいか否かが判断される。色差データＣｂが閾値Ｃｂ０より大きいと判断された場合（ステップＳ１０３；ＹＥＳ）、ステップＳ１０４の処理が実行され、閾値Ｃｂ０より小さい場合（ステップＳ１０３；ＮＯ）、ステップＳ１０５の処理が実行される。
【０１０１】
ステップＳ１０４では、マトリクス演算式として式（４）が決定され、ステップＳ１０５では式（３）が決定される。
【０１０２】
ステップＳ１０６では、色差データＣｒが予め定められた閾値Ｃｒ０より大きいか否かが判断される。色差データＣｒが閾値Ｃｒ０より大きいと判断された場合（ステップＳ１０６；ＹＥＳ）、ステップＳ１０７の処理が実行され、閾値Ｃｒ０より小さい場合（ステップＳ１０６；ＮＯ）、ステップＳ１０８の処理が実行される。
【０１０３】
ステップＳ１０７では、マトリクス演算式として式（２）が決定され、ステップＳ１０８では式（１）が決定され、ステップＳ１０９では式（６）が決定される。
【０１０４】
マトリクス演算式決定処理において、式（１）や式（２）はＣｒを高輝度域で大きくするものであり、色域外にはみ出す場合がある。そのために極めて高い輝度で肌が黄色になる現象（黄変）は改善されるが完全ではない。したがって、もとより黄変は小さいが輝度の高い場合に好適である。中でも式（２）は、Ｃｂ成分の色相変動をＣｒで補償するものであり、例えばタングステン光等の低色温度下で肌の色の濃い人物を撮影した画像を補正する場合に好適である。
【０１０５】
また、式（３）や式（４）はＣｂを高輝度域で小さくするものであり、色域外にはみ出すことはなく、色相回りは完全に直せる。但し、高輝度域の黄色系統の彩度がやや落ちるので輝度の低い場合に好適である。中でも式（４）は、Ｃｒ成分の色相変動をＣｂで補償するものであり、例えば昼光等の高色温度下で肌の色の薄い人物を撮影した画像を補正する場合に好適である。
【０１０６】
さらに、式（１）又は式（２）の何れかと、式（３）又は式（４）の何れかを組み合わせて色差マトリクス演算を行ってもよい。２つの式を組み合わせずに何れか一方の係数のみを用いると、肌色以外の一般色に対して好ましくない影響がでる場合には、組み合わせた式を用いることが特に有効である。
【０１０７】
この場合には、Ｃｒ’に用いるＫ１とＣｂ’に用いるＫ２は、Ｋ１×Ｋ２＝Ｋとなる関係を保って分割するのであればどのように分割してもよい。もちろん、演算処理による負担を軽減するという意味では、何れか一方の係数のみを用いる方が好ましいので、色再現性の向上と演算処理の簡単化とのトレードオフになる。また、式（１）や式（２）は、係数Ｋでのわり算になっているが、Ｋの逆数を用いた掛け算でもよい。
【０１０８】
なお、上記の式（１）から（４）までの演算として、例えば輝度ＹとＫ値との関係を示すルックアップテーブル（ＬＵＴ）を用いて演算を行ってもよい。或いは、例えば式（１）の場合、輝度Ｙと色差Ｃｒの値から直接Ｃｒ’の値を読み出す２次元ＬＵＴを用いてもよい。ルックアップテーブルを用いることにより、信号処理時間の短縮、カメラの製造コストの低減が可能である。
【０１０９】
参考例として、撮像装置１で作成されたデータに基づいて、色相回り補正を再現する色相補正再現装置及びその動作を図７及び図８を用いて説明する。図７は、色相補正補正再現装置の一実施形態であるプリンタの機能的構成を示すブロック図である。
【０１１０】
プリンタ３０は、制御部３１、画像処理部３２、プリント部３３、操作表示部３４、記憶部３５、メモリインタフェース３６、通信部３７等により構成され、各部はバス３８により接続されている。
【０１１１】
制御部３１は、図示しないＣＰＵ（中央処理装置）、ワークメモリ等から構成され、記憶部３５に記憶されているプログラムをワークメモリに読み出し、当該プログラムにしたがってってプリンタ３０の各部を集中制御する。
【０１１２】
画像処理部３２は、通信部３７で受信されたり、メモリインタフェース３６で読み取られた画像データに対して、プリント部３３がプリントするのに最適な画像処理を行う。
【０１１３】
プリント部３３は、図示しない電子写真方式やインクジェット方式による画像記録機構、記録紙搬送機構等からなり、画像ファイルに含まれる画像データに基づく画像を記録紙上に顕像化する。
【０１１４】
操作表示部３４は、例えば透明電極が格子状に配置された感圧式（抵抗膜圧式）のタッチパネルと各種操作ボタンとから構成され、読み出された画像データを表示し、ユーザに各種の案内表示や状態表示を行ったり、ユーザから各種の操作を受け付ける機能を有し、手指や専用のタッチペン等で押された力点のＸＹ座標やボタン操作を検出し、操作信号として制御部３１に出力する。
【０１１５】
記憶部３５は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）等の不揮発性の半導体メモリにより構成され、プリンタ３０で実行可能な各種プログラムや機能に応じた設定内容などを記憶する。
【０１１６】
メモリインタフェース３６は、図示しないスロットに装着された情報情報記録媒体３６１からの画像データを含む各種データの読み出及び書き込みを行う。なお、情報情報記録媒体３６１は、撮像装置１やプリンタ３０等に対して着脱可能なメモリであり、例えばフラッシュメモリ等の着脱自在のカード形状若しくはスティック形状の半導体メモリ等が適用され、画像データを含む各種データを記憶する。
【０１１７】
通信部３７は、例えばＵＳＢ端子や無線ＬＡＮカード等で構成された外部入手出力端子であり、図示しないコンピュータや撮像装置１等と有線又は無線の通信媒体Ｎを介して接続され、画像データを含む各種データの授受等の通信を行う。
【０１１８】
図７に示したプリンタ２０の動作の一例について、図８を用いて説明する。図８は、図７のプリンタ２０により実行されるプリント処理の流れを示すフローチャートである。なお、図８のフローチャートにおいて、プリンタ３０の電源は投入された状態になっているものとし、プリンタ３０に対してプリント実行命令が出されているものとする。また、プリント実行命令は、例えば、通信部３７を介して図示しないコンピュータや撮像装置１等から送信されるか、図示しないスロットに情報情報記録媒体３６１が装着されたことを認識して制御部３１で生成されるものである。
【０１１９】
ステップＳ３１では、通信部３７又はメモリインタフェース３６を介して、生画像データ及び色相補正情報が読み出される。
【０１２０】
ステップＳ３２では画像処理部３２により、ステップＳ３１で読み出された生画像データ及び色相補正情報に基づき、操作表示部３４に最適化された鑑賞画像参照データが生成され、操作表示部３４にプレビュー画像として表示される。
【０１２１】
ステップＳ３３では画像処理部３２により、ステップＳ３２で表示されたプレビュー画像、すなわち撮像時と同じ色相回り補正が行われた画像のプリントを行うか否かが判断される。判断は、例えばプレビュー画像が表示されたときに、操作者に対して撮像時と同じ画像のプリントを行うか否かの選択を促す表示に対する操作表示部３４への選択入力によって行われる。撮像時と同じ補正が行われた画像のプリントを行うと判断された場合は（ステップＳ３３；ＹＥＳ）、ステップＳ３４の処理が実行され、撮像時とは異なる補正が行われた画像のプリントを行うと判断された場合は（ステップＳ３３；ＮＯ）ステップＳ３５の処理が実行される。
【０１２２】
ステップＳ３４では画像処理部３２により、ステップＳ３１で読み出された生画像データ及び補正情報に基づき、プリント部３３でプリントされる画像に最適化された鑑賞画像参照データが生成される。
【０１２３】
ステップＳ３５では画像処理部３２により、ステップＳ３１で読み出された生画像データに対して、プリンタ３０固有の補正処理又は操作者が意図した補正処理等が行われた後、当該補正された画像データに基づき、プリント部３３で形成される画像に最適化された画像データが生成される。
【０１２４】
ステップＳ３６では、ステップＳ３４又はステップＳ３５で生成された画像データに基づいて、プリント部３３でプリントが実行される。
【０１２５】
以上により、本参考例においては、撮像したデジタルカメラに依存することなく適正な色相回り補正がなされた画像又は撮像したデジタルカメラで行われた色相回り補正を再現した画像の両方を作製することが可能である。
【０１２６】
なお、本実施の形態において、画像処理装置としてデジタルカメラを例にとり説明したが、スキャナや証明写真用人物撮影装置等の画像読み取り装置に対しても適用可能である。
【０１２７】
また、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムを記録した情報記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰＵ）が情報記録媒体に格納されたプログラムを読み出し実行することによっても、達成されることは言うまでもない。
【０１２８】
この場合、情報記録媒体から読み出されたプログラム自体が前述した実施形態の機能を実現することになり、そのプログラム及び該プログラムを記憶した情報記録媒体は本発明を構成することになる。
【０１２９】
プログラムを供給するための情報記録媒体としては、例えばフロッピー（登録商標）ディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【０１３０】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３１】
さらに、情報記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３２】
その他、本発明に係る画像処理装置を構成する各構成の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【０１３３】
【図１】本発明に係る画像処理装置が適用された撮像装置の機能的構成を示すブロック図である。
【図２】図１の画像処理部の内部構成を示すブロック図である。
【図３】本発明に係る撮像装置により実行される撮像処理の流れを示すフローチャートである。
【図４】図４（ａ）は、本発明に係る色相補正情報の記録例を示す図であり、図４（ｂ）は、本発明に係る色相補正情報の他の記録例を示す図である。
【図５】図３のフローチャートで実行される色相回り補正処理の流れを示すフローチャートである。
【図６】図５のフローチャートで実行されるマトリクス演算式決定処理の流れを示すフローチャートである。
【図７】参考例に係る色相補正再現装置の一実施形態であるプリンタの機能的構成を示すブロック図である。
【図８】図７のプリンタにより実行されるプリント処理の流れを示すフローチャートである。
【符号の説明】
【０１３４】
１  撮像装置
２  レンズ
３  絞り
４  撮像素子
５  アナログ処理回路
６  一時記憶メモリ
７  画像処理部
７１  入力部
７２  出力部
７０１  色空間変換手段
７０２  色相補正情報生成手段
７０３  色相補正手段
７０４  鑑賞画像参照データ生成手段
７０５  補正領域特定手段
７０６  位置情報生成手段
８  ヘッダ情報処理部
９  記憶デバイス
９１、９２  ファイル
９３  メタファイル
９１０  生画像データ
９１１、９２１、９３１  ヘッダ領域
１１  制御部
１３  Ａ／Ｄ変換器
１４  操作部
１５  表示部
３０  プリンタ
３１  制御部
３２  画像処理部
３３  プリント部
３４  操作表示部
３５  記憶部
３６  メモリインタフェース
３７  通信部
ｄ１  色相補正情報
ｄ２  撮像装置特性補正データ
ｄ３  識別情報
【図１】
2006202091.tif 000003
【図２】
2006202091.tif 000004
【図３】
2006202091.tif 000005
【図４】
2006202091.tif 000006
【図５】
2006202091.tif 000007
【図６】
2006202091.tif 000008
【図７】
2006202091.tif 000009
【図８】
2006202091.tif 000010