(57)【要約】【課題】撮影シーンの輝度に比例した画像データを好ましく見えるように変換して出力すること。【解決手段】画像処理装置１０は、入力された画像データにアピアランスパラメータが付加されているか否かを判定し、アピアランスパラメータが付加されている場合には、CAM正変換モジュール１０４、CAM逆変換モジュール１０６により、このアピアランスパラメータに基づき前記画像データに対して画像変換（CAM正変換、CAM逆変換）を行う。【選択図】図６
2005210526.tif 000002
【特許請求の範囲】
【請求項１】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置であって、
前記シーン参照画像データに前記色の見えモデルに係る画像変換パラメータが付加されているか否かを判定し、該画像変換パラメータが付加されている場合には、この画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする画像処理装置。
【請求項２】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置であって、
前記シーン参照画像データに撮影シーンを表す情報が付加されているか否かを判定し、該情報が付加されている場合には、この情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする画像処理装置。
【請求項３】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置であって、
前記シーン参照画像データに付加されている撮影条件に関する情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする画像処理装置。
【請求項４】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置であって、
前記シーン参照画像データに基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする画像処理装置。
【請求項５】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置であって、
前記シーン参照画像データに前記色の見えモデルに係る画像変換パラメータが付加されているか否かを判定し、該画像変換パラメータが付加されている場合には、この画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行い、前記画像変換パラメータが付加されていない場合には、前記シーン参照画像データに撮影シーンを表す情報が付加されているか否かを更に判定し、該情報が付加されている場合には、この情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行い、前記撮影シーンを表す情報が付加されていない場合には、前記シーン参照画像データ又は該シーン参照画像データに付加されている撮影条件に関する情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする画像処理装置。
【請求項６】
前記撮影シーンを表す情報と前記撮影情報に関する情報とは前記シーン参照画像にExif情報として付加されていることを特徴とする請求項２、３又は５に記載の画像処理装置。
【請求項７】
前記シーン参照画像データに基づいて撮影シーンを特定する際には該撮影シーンに人物被写体が含まれているか否かを判定し、該人物被写体が含まれている場合に当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出する際には、前記画像データのコントラストを人物被写体が含まれていない撮影シーンの場合に比べて低コントラストに設定するための画像変換パラメータを算出することを特徴とする請求項４又は５に記載の画像処理装置。
【請求項８】
前記色の見えモデルはCIECAM97sであることを特徴とする請求項１〜７のうち何れか一項に記載の画像処理装置。
【請求項９】
前記色の見えモデルはCIECAM02であることを特徴とする請求項１〜７のうち何れか一項に記載の画像処理装置。
【請求項１０】
シーン参照画像データを出力する撮像装置において、
前記シーン参照画像データを、色の見えモデルに基づいて画像変換する際に用いられる画像変換パラメータを付加して出力することを特徴とする撮像装置。
【請求項１１】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理方法であって、
前記シーン参照画像データに前記色の見えモデルに係る画像変換パラメータが付加されているか否かを判定し、該画像変換パラメータが付加されている場合には、この画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする画像処理方法。
【請求項１２】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理方法であって、
前記シーン参照画像データに撮影シーンを表す情報が付加されているか否かを判定し、該情報が付加されている場合には、この情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする画像処理方法。
【請求項１３】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理方法であって、
前記シーン参照画像データに付加されている撮影条件に関する情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする画像処理方法。
【請求項１４】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理方法であって、
前記シーン参照画像データに基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする画像処理方法。
【請求項１５】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理方法であって、
前記シーン参照画像データに前記色の見えモデルに係る画像変換パラメータが付加されているか否かを判定し、該画像変換パラメータが付加されている場合には、この画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行い、前記画像変換パラメータが付加されていない場合には、前記シーン参照画像データに撮影シーンを表す情報が付加されているか否かを更に判定し、該情報が付加されている場合には、この情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行い、前記撮影シーンを表す情報が付加されていない場合には、前記シーン参照画像データ又は該シーン参照画像データに付加されている撮影条件に関する情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする画像処理方法。
【請求項１６】
前記撮影シーンを表す情報と前記撮影情報に関する情報とは前記シーン参照画像にExif情報として付加されていることを特徴とする請求項１２、１３又は１５に記載の画像処理方法。
【請求項１７】
前記シーン参照画像データに基づいて撮影シーンを特定する際には該撮影シーンに人物被写体が含まれているか否かを判定し、該人物被写体が含まれている場合に当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出する際には、前記画像データのコントラストを人物被写体が含まれていない撮影シーンの場合に比べて低コントラストに設定するための画像変換パラメータを算出することを特徴とする請求項１４又は１５に記載の画像処理方法。
【請求項１８】
前記色の見えモデルはCIECAM97sであることを特徴とする請求項１１〜１７のうち何れか一項に記載の画像処理方法。
【請求項１９】
前記色の見えモデルはCIECAM02であることを特徴とする請求項１１〜１７のうち何れか一項に記載の画像処理方法。
【請求項２０】
シーン参照画像データを出力する画像データ出力方法において、
前記シーン参照画像データを、色の見えモデルに基づいて画像変換する際に用いられる画像変換パラメータを付加して出力することを特徴とする画像データ出力方法。
【請求項２１】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置を制御するコンピュータに、
前記シーン参照画像データに前記色の見えモデルに係る画像変換パラメータが付加されているか否かを判定し、該画像変換パラメータが付加されている場合には、この画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行う機能を実現させるための画像処理プログラム。
【請求項２２】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置を制御するコンピュータに、
前記シーン参照画像データに撮影シーンを表す情報が付加されているか否かを判定し、該情報が付加されている場合には、この情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行う機能を実現させるための画像処理プログラム。
【請求項２３】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置を制御するコンピュータに、
前記シーン参照画像データに付加されている撮影条件に関する情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行う機能を実現させるための画像処理プログラム。
【請求項２４】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置を制御するコンピュータに、
前記シーン参照画像データに基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行う機能を実現させるための画像処理プログラム。
【請求項２５】
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置を制御するコンピュータに、
前記シーン参照画像データに前記色の見えモデルに係る画像変換パラメータが付加されているか否かを判定し、該画像変換パラメータが付加されている場合には、この画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行い、前記画像変換パラメータが付加されていない場合には、前記シーン参照画像データに撮影シーンを表す情報が付加されているか否かを更に判定し、該情報が付加されている場合には、この情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行い、前記撮影シーンを表す情報が付加されていない場合には、前記シーン参照画像データ又は該シーン参照画像データに付加されている撮影条件に関する情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行う機能を実現させるための画像処理プログラム。
【請求項２６】
前記撮影シーンを表す情報と前記撮影情報に関する情報とは前記シーン参照画像にExif情報として付加されていることを特徴とする請求項２２、２３又は２５に記載の画像処理プログラム。
【請求項２７】
前記シーン参照画像データに基づいて撮影シーンを特定する際には該撮影シーンに人物被写体が含まれているか否かを判定し、該人物被写体が含まれている場合に当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出する際には、前記画像データのコントラストを人物被写体が含まれていない撮影シーンの場合に比べて低コントラストに設定するための画像変換パラメータを算出することを特徴とする請求項２４又は２５に記載の画像処理プログラム。
【請求項２８】
前記色の見えモデルはCIECAM97sであることを特徴とする請求項２１〜２７のうち何れか一項に記載の画像処理プログラム。
【請求項２９】
前記色の見えモデルはCIECAM02であることを特徴とする請求項２１〜２７のうち何れか一項に記載の画像処理プログラム。
【請求項３０】
シーン参照画像データを出力する撮像装置を制御するコンピュータに、
前記シーン参照画像データを、色の見えモデルに基づいて画像変換する際に用いられる画像変換パラメータを付加して出力する機能を実現させるための画像データ出力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを出力するデジタルカメラ等の撮像装置、画像データ出力方法及び画像データ出力プログラムと、該出力された画像データを、モニタやプリンタ等の出力デバイスに出力するための画像変換を行う画像処理装置、画像処理方法及び画像処理プログラムとに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により撮影された画像を各種モニタやプリンタ等の出力デバイスに出力する場合、出力結果が好ましく見えるためには、その途中段階で各種の画像処理を行う必要がある。例えば、階調や色を変換する必要がある。
【０００３】
この変換としては、まず、出力デバイス固有の特性を補正するために行う変換がある。例えば、CRT（Cathode Ray Tube）モニタ（以下、単にモニタと総称する。）に出力する場合、モニタには、出力輝度が入力データのべき乗に比例する、デバイスの原理に起因した固有の階調特性がある。一方、デジタルカメラで通常使用する撮像センサCCD（Charge Coupled Device）は、ほぼ輝度に比例した画像データを出力する。このため、CCDで撮像したデータをそのままモニタに出力すると、撮影シーンの輝度のべき乗に比例した輝度を有する画像となり、好ましい特性とはならない。同様に、プリンタには、プリンタ固有の階調特性があり、撮像したデータをそのまま出力して好ましい画像になる可能性は低い。このため、出力に至る途中段階で、出力デバイスの階調特性に合わせて、画像データの階調を変換する必要がある。
【０００４】
色に関しても同様であり、出力デバイスには、使用する色材（モニタの蛍光体、プリンタの色素など）によって決まる固有の再現原色がある。また、ＣＣＤ等の撮像センサには、固有の分光特性があり、撮影した画像データをそのまま出力した場合には、撮影した被写体に近い色再現が得られる可能性は低い。このため、撮像センサの分光特性と出力デバイスの再現原色との関係に応じて画像データを色変換する必要がある。
【０００５】
更に、これら出力デバイス固有の特性に合わせるための変換に加えて、出力デバイスの再現能力の限界に起因した変換処理が必要となる。出力デバイスの再現能力とは、それが待つ階調と色の再現範囲を指す。これらは、多くの場合、撮影シーンの輝度範囲（輝度域）や被写体の色に比較して狭い。例えば、撮影対象となる実際のシーンの輝度域は、屋外では数千：１のオーダーに至ることもしばしば発生する（例えば東京大学出版会「新編色彩科学ハンドブック第２版」日本色彩学会編９２６頁を参照。）。しかし、通常の室内で見られるモニタ表示やプリントで再現できる輝度範囲は、最も広い場合でも数百：１程度である。従って、撮像センサ等の撮像デバイスが取得した情報を出力する際には、輝度についてなんらかの圧縮が必要となる。色についても同様に、出力デバイスの色材により得られる色再現範囲よりも鮮やかな被写体については、出力デバイスの色再現範囲内に圧縮して割り当てる処理が必要となる。出力デバイスの色再現範囲をガマット（Gamut）と呼び、再現可能な色に割り当てるこの処理をガマットマッピング処理と呼ぶ。
【０００６】
上記のようなデバイスの特性に合わせるための処理は、当然ながら、デバイス毎に処理内容を変える必要がある。市場には、さまざまな特性のデバイスが存在するが、このような種々のデバイスの組み合わせに対して、適切な処理を行うことをカラーマネジメントと呼び、そのしくみをカラーマネジメントシステムと呼んでいる。最近では、パーソナルコンピュータのオペレーションシステム（ＯＳ；Operation System）レベルで、カラーマネジメントをサポートしており、画像処理アプリケーションソフトウェアは、ＯＳのサービスを利用することで、これらの変換を実行することが出来るようになっている（例えば、特許文献１を参照。）。
【０００７】
カラーマネジメントには、大きく分けて２つの考え方がある。一つは、入力デバイスと出力デバイスとの間で行われるデータのやりとりを、予め定義した色空間によって行う方法である。すなわち、入力デバイスでは、デバイス固有の特性をその色空間に変換した画像データを出力し、出力デバイスでは、受け取ったデータがその色空間であるとの前提で、デバイス固有特性に合わせる処理を行って出力する。
【０００８】
もう一つは、デバイスの固有特性を記述したデバイスプロファイルと称するデータファイルを用意し、それをカラーマネジメントシステムで読み込み、適切な変換を行う方法である。デバイスプロファイルとしては、ICC（International Color Consortium）により標準化されたフォーマット、ICCプロファイルが使用されることが多い。
【０００９】
デジタルカメラでは、前者の方法をとることが多く、sRGBと呼ぶ平均的なモニタの特性に基づいて標準化した色空間が用いられている（Multimedia Systems and Equipment -Colour Measurment and Management- Part2-1:Colour Management -Default RGB Colour Space- sRGB  IEC61966-2-1を参照。）。すなわち、デジタルカメラ内でsRGBに変換したデータが出力される。
【００１０】
モニタでは、sRGBが平均的なモニタの特性によって決められたものであるため、そのまま出力しても大きな誤差は生じない。より正確な再現を得るためには、ICCプロファイルを用いて、アプリケーションソフトウェアでsRGBからモニタ固有の特性に変換したデータを出力する。また、最近は、モニタ固有の特性をsRGB色空間に合わせてハード的に補正した製品も多く存在し、このようなモニタを使用している場合は、そのまま出力して問題が無い。
【００１１】
プリンタでは、プリンタ側のソフトウェア（プリンタドライバ）で、受け取った画像データをsRGBとして処理する場合もあるが、後者の方法であるICCプロファイルをもちいて、アプリケーションソフトウェアでsRGBからプリンタ特性に合わせて変換されたデータを出力するケースも多い。
【００１２】
このように、デジタルカメラで撮影された画像をプリントする場合のカラーマネジメントは、現状ではsRGBすなわち、平均的なモニタが基準となっている。
【００１３】
ところで、このようにカラーマネジメントシステムによって、モニタに表示する画像とプリント画像とを変換する際、両者が同じように見えるようになるためには、前記のデバイス固有の特性を補正するだけでは不十分な場合がある。それは、両者を見る際の観察条件が異なるために、人間の視覚特性が変化してしまうため、これを補正しなければ、両者が同じように見えないためである。観察条件とは、注目している領域と周辺領域とのコントラストや、モニタ表示の白色とプリントを照明する光源色との違い等を指す。
【００１４】
このような観察条件の違いに起因する視覚特性の違いを補正するためには、カラーアピアランスモデル（CAM；Calor Appearance Model、色の見えモデルともいう。）を用いる。カラーアピアランスモデルとは、種々の観察条件下における「色の見え」を予測することが可能なモデルである。具体的には、測色値から、観察条件を画像変換パラメータ（アピアランスパラメータという。）とする画像変換を行い、指定の観察条件下における「色の見え」を表わす値を算出できるモデルである。
【００１５】
カラーアピアランスモデルには、国際照明委員会（CIE）によって標準モデルとして勧告されたCIECAM97sが良く用いられている。更に、CIECAM97sの発表後、さらなる改良が続けられ、CIECAM02が、CIECAM97sに代わるものとして、間もなく勧告されようとしている。
【００１６】
CIECAMのようなカラーアピアランスモデルを組み込んだカラーマネジメントシステムを使用することにより、モニタ表示とプリントのように異なる観察条件下で、画像が同じように見えるために必要な変換が行える。
【００１７】
以上に説明した変換を経て、デジタルカメラの画像は、モニタ表示や、プリントがなされるが、この際に基準となっている色空間、sRGBには、次のような問題がある。sRGBは、上記したように平均的なモニタに合わせた色空間なので、その色再現範囲は、ほぼモニタと同様な範囲に限定される。ところが、プリンタの色再現範囲には、モニタよりも広い部分がある。例えば、インクジェットプリンタのシアン領域や銀塩写真プリンタの黄色領域にはsRGBでは再現できない領域が存在する（詳細は、例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４４頁参照）。このような領域の色は、sRGBを基準とした現状のシステムでは、使われることがない。また、撮影対象となる被写体には、これらの領域に属する色が存在するが、このような色は、プリンタでは再現する能力があるにもかかわらず、sRGBの色再現範囲に圧縮されてしまい、再現が困難となる。
【００１８】
そこで最近、sRGBのようなモニタに合わせた色空間ではなく、実際の撮影シーンの特性に関連付けた画像データをデジタルカメラから出力する技術が考えられている。すなわち、測色的に定義された色空間に変換した、実際の撮影シーンの輝度に比例した画像データをデジタルカメラから出力する。このようなデータをscene-referredな画像データ、或いは、scene-referredな色空間による画像データと呼ぶ。scene-referredな色空間としては、例えばRIMM RGB、ERIMM RGB（Journal of Imaging Science and Technology 45巻 418〜426頁(2001年)を参照。）、或いは、scRGB(IEC規格61966-2-2)が知られている。一方、従来のsRGBのような出力デバイスに合わせた画像データは、output-referredな画像データと呼ばれる。
【特許文献１】特開２００３−２９９１１６
【発明の開示】
【発明が解決しようとする課題】
【００１９】
scRGBに代表されるscene-referredな画像データをデジタルカメラから出力した場合、アプリケーションソフトウェアによって、出力デバイス上で好ましく見えるoutput-referredな画像に変換する必要がある。このためには、従来からあるカラーマネジメントシステムに対応したアプリケーションソフトウェアが用いられる。図２０に示すような、従来のアプリケーションソフトウェア１ａは、カラーアピアランスモデルによる観察条件の補正処理とガマットマッピング処理の機能を有している。
しかし、このような従来のアプリケーションソフトウェアでは、scene-referred画像をうまくoutput-referred画像に変換できない問題がある。
すなわち、撮影シーンと出力画像の観察条件の違いに起因する視覚特性の違いが十分に補正できないことである。すでに述べたように、このような観察条件の違いを補正するためには、カラーアピアランスモデルを用いるのであるが、通常これらのカラーマネジメントシステムでは、モニタとプリンタとの間の観察条件の違いを補正することを目的としてカラーアピアランスモデルを使用している。
モニタとプリンタの観察条件は、通常、ほぼ一定で大きな変化をすることが無い。このため、従来のカラーマネジメントシステムでは、アピアランスパラメータを通常のオフィス環境下での観察条件に最適化して固定されている場合が多い。
しかし、デジタルカメラで撮影する実際の撮影シーンを見る際の観察条件は、モニタ表示やプリントを見る際の観察条件とは、大きく異なっている。例えば、モニタ−プリント間の絶対輝度は、ほぼ同程度であるが、日中屋外のシーンとモニタ表示・プリントとの差は、非常に大きなものになる。
また、デジタルカメラで撮影するようなシーンは、日中の明るいシーンから、夜景のように暗いシーンまで千差万別で、観察条件は撮影シーンに依存して大きく変化する。このような画像データごとに観察条件が変化するような場合も、従来のシステムではうまく対応することができない。
デジタルカメラで作成された画像を出力する場合、撮影シーンと出力環境との差によって生じる、Hunt効果、スティーブンス効果の補正、および出力を観察する際のビューイングフレアのために、画像のコントラストや彩度を強調するような処理が必要である。このような強調処理は、現状では、デジタルカメラの内部で処理されている。デジタルカメラから出力される画像は、sRGBと言っても、sRGBの定義そのままではなく、このような補正を行ったものになっている。そのため、scene-referredな画像データをアプリケーションソフトウェアで処理する場合は、このような強調処理をどこかで行う必要がある。しかし、通常のsRGB画像を処理するようなカラーマネジメントシステムでは、このような変換は考慮されていないため変換を加えることができない。結果として、scene-referredな画像データを好ましく変換して出力することができない。
更に、このような観察条件の違いに起因した補正に加えて、意図的な補正を加えたい場合が存在する。例えば、撮影する被写体によって好まれる階調特性が異なると言う事実がある。例えば、人物を撮影した場合と風景を撮影した場合では、人物の方が相対的に低いコントラストの画像が好まれる。また、人物の画面に占める割合、すなわち撮影倍率によっても好まれる階調特性が異なり、人物の大きさが小さくなるとともに風景に近いコントラストの高い階調特性が好まれる傾向にある。
このような被写体の違いに対する意図的な階調補正処理は、従来、デジタルカメラの内部の処理によって行われて来たのであるが、scene-referredな画像データをデジタルカメラから出力した場合は、このような処理ができないと言う問題があった。
本発明の課題は、撮影シーンの輝度に比例した画像データを好ましく見えるように変換して出力することである。
【課題を解決するための手段】
【００２０】
上記課題を解決するため、請求項１に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置であって、
前記シーン参照画像データに前記色の見えモデルに係る画像変換パラメータが付加されているか否かを判定し、該画像変換パラメータが付加されている場合には、この画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする。
【００２１】
また、上記課題を解決するため、請求項２に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置であって、
前記シーン参照画像データに撮影シーンを表す情報が付加されているか否かを判定し、該情報が付加されている場合には、この情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする。
【００２２】
また、上記課題を解決するため、請求項３に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置であって、
前記シーン参照画像データに付加されている撮影条件に関する情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする。
【００２３】
また、上記課題を解決するため、請求項４に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置であって、
前記シーン参照画像データに基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする。
【００２４】
また、上記課題を解決するため、請求項５に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置であって、
前記シーン参照画像データに前記色の見えモデルに係る画像変換パラメータが付加されているか否かを判定し、該画像変換パラメータが付加されている場合には、この画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行い、前記画像変換パラメータが付加されていない場合には、前記シーン参照画像データに撮影シーンを表す情報が付加されているか否かを更に判定し、該情報が付加されている場合には、この情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行い、前記撮影シーンを表す情報が付加されていない場合には、前記シーン参照画像データ又は該シーン参照画像データに付加されている撮影条件に関する情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする。
【００２５】
更に、請求項６に記載の発明のように、請求項２、３又は５に記載の発明において、
前記撮影シーンを表す情報と前記撮影情報に関する情報とは前記シーン参照画像にExif情報として付加されていることを特徴とする。
【００２６】
更に、請求項７に記載の発明のように、請求項４又は５に記載の発明において、
前記シーン参照画像データに基づいて撮影シーンを特定する際には該撮影シーンに人物被写体が含まれているか否かを判定し、該人物被写体が含まれている場合に当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出する際には、前記画像データのコントラストを人物被写体が含まれていない撮影シーンの場合に比べて低コントラストに設定するための画像変換パラメータを算出することを特徴とする。
【００２７】
更に、請求項８に記載の発明のように、請求項１〜７のうち何れか一項に記載の発明において、
前記色の見えモデルはCIECAM97sであることを特徴とする。
【００２８】
更に、請求項９に記載の発明のように、請求項１〜７のうち何れか一項に記載の発明において、
前記色の見えモデルはCIECAM02であることを特徴とする。
【００２９】
また、上記課題を解決するため、請求項１０に記載の発明は、
シーン参照画像データを出力する撮像装置において、
前記シーン参照画像データを、色の見えモデルに基づいて画像変換する際に用いられる画像変換パラメータを付加して出力することを特徴とする。
【００３０】
また、上記課題を解決するため、請求項１１に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理方法であって、
前記シーン参照画像データに前記色の見えモデルに係る画像変換パラメータが付加されているか否かを判定し、該画像変換パラメータが付加されている場合には、この画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする。
【００３１】
また、上記課題を解決するため、請求項１２に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理方法であって、
前記シーン参照画像データに撮影シーンを表す情報が付加されているか否かを判定し、該情報が付加されている場合には、この情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする。
【００３２】
また、上記課題を解決するため、請求項１３に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理方法であって、
前記シーン参照画像データに付加されている撮影条件に関する情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする。
【００３３】
また、上記課題を解決するため、請求項１４に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理方法であって、
前記シーン参照画像データに基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする。
【００３４】
また、上記課題を解決するため、請求項１５に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理方法であって、
前記シーン参照画像データに前記色の見えモデルに係る画像変換パラメータが付加されているか否かを判定し、該画像変換パラメータが付加されている場合には、この画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行い、前記画像変換パラメータが付加されていない場合には、前記シーン参照画像データに撮影シーンを表す情報が付加されているか否かを更に判定し、該情報が付加されている場合には、この情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行い、前記撮影シーンを表す情報が付加されていない場合には、前記シーン参照画像データ又は該シーン参照画像データに付加されている撮影条件に関する情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行うことを特徴とする。
【００３５】
更に、請求項１６に記載の発明のように、請求項１２、１３又は１５に記載の発明において、
前記撮影シーンを表す情報と前記撮影情報に関する情報とは前記シーン参照画像にExif情報として付加されていることを特徴とす。
【００３６】
更に、請求項１７に記載の発明のように、請求項１４又は１５に記載の発明において、
前記シーン参照画像データに基づいて撮影シーンを特定する際には該撮影シーンに人物被写体が含まれているか否かを判定し、該人物被写体が含まれている場合に当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出する際には、前記画像データのコントラストを人物被写体が含まれていない撮影シーンの場合に比べて低コントラストに設定するための画像変換パラメータを算出することを特徴とする。
【００３７】
更に、請求項１８に記載の発明のように、請求項１１〜１７のうち何れか一項に記載の発明において、
前記色の見えモデルはCIECAM97sであることを特徴とする。
【００３８】
更に、請求項１９に記載の発明のように、請求項１１〜１７のうち何れか一項に記載の発明において、
前記色の見えモデルはCIECAM02であることを特徴とする。
【００３９】
また、上記課題を解決するため、請求項２０に記載の発明は、
シーン参照画像データを出力する画像データ出力方法において、
前記シーン参照画像データを、色の見えモデルに基づいて画像変換する際に用いられる画像変換パラメータを付加して出力することを特徴とする。
【００４０】
また、上記課題を解決するため、請求項２１に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置を制御するコンピュータに、
前記シーン参照画像データに前記色の見えモデルに係る画像変換パラメータが付加されているか否かを判定し、該画像変換パラメータが付加されている場合には、この画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行う機能を実現させる。
【００４１】
また、上記課題を解決するため、請求項２２に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置を制御するコンピュータに、
前記シーン参照画像データに撮影シーンを表す情報が付加されているか否かを判定し、該情報が付加されている場合には、この情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行う機能を実現させる。
【００４２】
また、上記課題を解決するため、請求項２３に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置を制御するコンピュータに、
前記シーン参照画像データに付加されている撮影条件に関する情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行う機能を実現させる。
【００４３】
また、上記課題を解決するため、請求項２４に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置を制御するコンピュータに、
前記シーン参照画像データに基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行う機能を実現させる。
【００４４】
また、上記課題を解決するため、請求項２５に記載の発明は、
入力されたシーン参照画像データを、色の見えモデルに基づいて画像変換して出力する画像処理装置を制御するコンピュータに、
前記シーン参照画像データに前記色の見えモデルに係る画像変換パラメータが付加されているか否かを判定し、該画像変換パラメータが付加されている場合には、この画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行い、前記画像変換パラメータが付加されていない場合には、前記シーン参照画像データに撮影シーンを表す情報が付加されているか否かを更に判定し、該情報が付加されている場合には、この情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行い、前記撮影シーンを表す情報が付加されていない場合には、前記シーン参照画像データ又は該シーン参照画像データに付加されている撮影条件に関する情報に基づいて撮影シーンを特定し、当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出し、当該算出した画像変換パラメータに基づき前記シーン参照画像データに対して前記画像変換を行う機能を実現させる。
【００４５】
更に、請求項２６に記載の発明のように、請求項２２、２３又は２５に記載の発明において、
前記撮影シーンを表す情報と前記撮影情報に関する情報とは前記シーン参照画像にExif情報として付加されていることを特徴とするのが好ましい。
【００４６】
更に、請求項２７に記載の発明のように、請求項２４又は２５に記載の発明において、
前記シーン参照画像データに基づいて撮影シーンを特定する際には該撮影シーンに人物被写体が含まれているか否かを判定し、該人物被写体が含まれている場合に当該撮影シーンに基づいて前記色の見えモデルに係る画像変換パラメータを算出する際には、前記画像データのコントラストを人物被写体が含まれていない撮影シーンの場合に比べて低コントラストに設定するための画像変換パラメータを算出するのが好ましい。
【００４７】
更に、請求項２８に記載の発明のように、請求項２１〜２７のうち何れか一項に記載の発明において、
前記色の見えモデルはCIECAM97sであるのが好ましい。
【００４８】
更に、請求項２９に記載の発明のように、請求項２１〜２７のうち何れか一項に記載の発明において、
前記色の見えモデルはCIECAM02であるのが好ましい。
【００４９】
また、上記課題を解決するため、請求項３０に記載の発明は、
シーン参照画像データを出力する撮像装置を制御するコンピュータに、
前記シーン参照画像データを、色の見えモデルに基づいて画像変換する際に用いられる画像変換パラメータを付加して出力する機能を実現させる。
【００５０】
ここで、上記請求項に記載のシーン参照画像データとは、scene-referredのimage stateに属する画像データ及び、scene-referredのimage stateに属する画像データへ変換可能なデータを意味する。
【００５１】
image stateとは、「画像データのレンダリング状態」を示す概念として近年定着している用語である（その用語の詳細な定義は、例えば、”Requirements for Unambiguous Specification of a Color Encoding ISO 22028-1”、Kevin Spaulding、in Proc. Tenth Color Imaging Conference: Color Science and Engineering Systems、Technologies、Applications、IS&T、Springfield、VA, p. 106-111 (2002)に示されている。）。
【００５２】
scene-referredとは、デジタルカメラ等の撮像装置で撮影される、実際の撮影シーンの特性に関連付けた画像データを意味し、測色的に定義された色空間に変換され、シーンの輝度に比例した画像データを指す。更に、輝度に比例した画像データでなくとも、意図的な補正・強調等を加えない状態の画像データで、簡単な数式で記述可能な変換により、シーンの輝度・色度値を変換可能なものは、scene-referredに含まれる。例えば、デジタルカメラで一般的に用いられているRawデータは、撮像素子の特性を表わすマトリックス演算を施すことで、シーンの測色値に変換が可能であり、scene-referredに含まれる。
【００５３】
すなわち、上記請求項に記載のシーン参照画像データとは、具体的には、前記デジタルカメラによるRawデータや、該データを変換方法が測色的に定義された色空間に変換したもので、意図的な補正・強調等を加えていない画像データがこれに相当する。画素の輝度値とシーン輝度の関係は、一次直線の関係に限定されず、OECF（光電変換特性、ISO14524で定義されている。）、階調変換特性等が既知であればよい。
【発明の効果】
【００５４】
本発明によれば、入力されたシーン参照画像データが出力デバイス等に出力される際、色の見えモデルに係る画像変換パラメータが、シーン参照画像データに予め付加されて入力されるか、又はシーン参照画像データに予め付加されて入力される撮影シーンを表す情報（Exif情報）若しくはシーン参照画像データに基づいて特定される撮影シーンを表す情報のうちの何れかから算出できるため、当該画像変換パラメータを用いて色の見えモデルに基づく画像変換が行える。このため、シーン参照画像データのように撮影シーンの輝度に比例した輝度を有する画像データが入力された場合であっても、当該画像変換パラメータに基づく画像変換が常に行えるので、好適な出力用画像データが常に作成可能となる。
【発明を実施するための最良の形態】
【００５５】
まず、図１を参照して、本実施の形態における画像処理装置１０と各種機器との接続関係を説明する。
図１に示すように、画像処理装置１０には、デジタルカメラ２、ＣＲＴ等のモニタ２、プリンタ４が接続されている。
【００５６】
画像処理装置１０は、入力される各種画像ファイルを画像処理するためのアプリケーションソフトウェア１を有する。デジタルカメラ２は、アプリケーションソフトウェア１と組み合わせて使用するデータを付加した画像ファイル６を出力する。アプリケーションソフトウェア１は、画像ファイル６を読み込んで処理し、モニタ３、プリンタ４に出力する。また、アプリケーションソフトウェア１は、デジタルカメラ２以外の一般のデジタルカメラで撮影された画像ファイル７の処理も可能となっている。デジタルカメラ２、モニタ３、プリンタ４には、それぞれの特性を記述したデジタルカメラICCプロファイル２１、モニタICCプロファイル３１、プリンタICCプロファイル４１がそれぞれ用意されている。
【００５７】
次に、図２を参照して、デジタルカメラ２の内部構成を説明する。
CPU２０１は、デジタルカメラ２の動作を統括的に制御する。光学系２０２は、ズームレンズであり、被写体像を撮像センサ部２０３にあるCCDイメージセンサ上に結像させる。撮像センサ部２０３は、光学像をCCDによって光電変換し、A/D変換して出力する。出力された画像データは、AF演算部２０４、WB演算部２０５、AE演算部２０６、画像処理部２０８に入力される。AF演算部２０４は、画面内９ヶ所に設けられたAFエリアの距離を求め出力する。距離の判定は画像のコントラスト判定により行う。CPU２０１は、この中の最も近距離にある値を選択し、被写体距離とする。WB演算部２０５は、画像のホワイトバランス評価値を出力する。ホワイトバランス評価値とは、撮影時の光源下で、ニュートラルな被写体のRGB出力値を一致すさせるために必要なゲイン値で、Gチャネルを基準としてR/G、B/Gの比として算出する。当該算出された評価値は、画像処理部２０８に入力され、画像のホワイトバランスが調整される。AE演算部２０６は、画像データから適正露出値を求め出力する。CPU２０１は、当該算出された適正露出値と現在の露出値が一致するような絞り値とシャッター速度値を算出する。絞り値は、レンズ制御部２０７に出力され対応する絞り径が設定される。シャッター速度値は、撮像センサ部２０３に出力され、対応するCCD積分時間が設定される。画像処理部２０８は、ホワイトバランス処理、CCDフィルター配列の補間処理、色変換、階調変換、シャープネス補正、JPEG圧縮などの一連の画像処理を実行する。JPEG圧縮された画像データは、表示部２０９と記録データ作成部２１０に出力される。表示部２０９は、撮像画像を液晶ディスプレイに表示するとともに、CPU２０１の指示による各種情報を表示する。記録データ作成部２１０は、JPEG圧縮された画像データと、CPU２０１から入力された各種撮影データをExifファイルにフォーマットし、記録メディア２１１に記録する。
【００５８】
デジタルカメラ２は、撮影指示を入力するレリーズボタン２１４や、電源のオン／オフキー等を含むその他操作キー２１５を備える。
【００５９】
デジタルカメラ２は、上記した通常のデジタルカメラの構成に加えて、アピアランスモデルパラメータ算出部２１６を有することを特徴とする。
【００６０】
アピアランスモデルパラメータ算出部２１６は、ＡＥ演算部２０６から算出された適正露出値（すなわち被写体輝度）、ＷＢ演算部２０５で算出された撮影シーンにおける白色のR/G、B/G比、ＡＦ演算部２０４で算出された被写体位置、及び撮像した画像データからカラーアピアランスモデルに設定するアピアランスパラメータを算出する。この詳細な動作については後に説明する。この算出した値は、記録データ作成部２１０によって、画像データファイルに記録され、出力される。画像データは、一般のデジタルカメラで標準となっているExifファイルフォーマットのJPEG形式で記録されるが、その中には、各メーカーが自由な情報を書き込めるスペースとして、メーカーノートと呼ばれる部分があり、アピアランスパラメータは、ここに記録される。
【００６１】
デジタルカメラ２は、ユーザ設定により撮影シーンモードを切り替えることができる。すなわち、撮影シーンモードとして、通常モード、ポートレートモード、風景モードの３つが選択可能で、ユーザは、シーンモード設定キー２１２を操作して、被写体が人物である場合はポートレートモード、風景の場合は風景モードに切り替えることによって、それぞれに適した画像を得ることが出来る。更に、デジタルカメラ２は、選択した撮影シーンモードの情報を画像データファイルのメーカーノート部分に付加して記録する。なお、撮影シーンを自動的に判定して切り替えるようなデジタルカメラを構成することも可能である（例えば、特開2003-18433号公報を参照。）。
【００６２】
また、デジタルカメラ２は、被写体として選択したAFエリアの位置情報と使用しているCCDサイズ情報とを同様に画像ファイルに記録する。
【００６３】
更に、デジタルカメラ２は、色空間設定キー２１３によって、出力色空間のユーザ設定が可能である。出力色空間としては、scene-referredな色空間であるscRGB、output-referredな色空間であるsRGB、Rawのうち何れかを選択可能である。sRGBが選択された場合、従来のデジタルカメラと同様、カメラ内で各種の画像処理を施したsRGB色空間に変換した画像を出力する。この処理については、従来のデジタルカメラと同様となる。scRGB色空間が選択された場合は、IEC規格（IEC61966-2-2。）に基づいて変換を行い出力する。Rawが選択された場合は、CCD固有の色空間で出力する。
【００６４】
なお、アプリケーションソフトウェア１では、上記で述べた撮影シーンモードの切り替えが可能で、その情報を画像データに記録して出力するデジタルカメラ以外にも、通常のExif情報を記録するデジタルカメラ、または、画像データのみを記録し、付加的な情報を記録しないデジタルカメラのいずれの組み合わせでも使用できる。
【００６５】
次に、図３、図４を参照してアピアランスモデルパラメータ算出部２１６の動作を詳細に説明する。なお、本実施の形態では、カラーアピアランスモデルとして、CIECAM97sを用いるが、CIECAM02も基本構造は同一であり、ここでの説明は、そのままCIECAM02にも当てはまる。
【００６６】
CIECAM97sに設定するアピアランスパラメータは、図３に示すLA：順応視野領域の平均輝度、Yb：背景領域の相対輝度、Xw、Yw、Zw：順応白色の相対測色値、c:周辺領域の影響係数(Impact of surround)、NC:色誘導係数(Chromatic induction factor)、FLL:明度コントラスト係数(Lightness cntrast factor)、F:順応度合係数(Factor for degree of adaptation)の６つである。アピアランスモデルパラメータ算出部２１６は、図４のフローチャートに従って、この６つのアピアランスパラメータを算出する。
【００６７】
まず、ステップ＃００１では、色空間設定がscene-referredであるか否かを判定する。scene-referred以外の場合には（ステップ＃００１；Ｎｏ）、本処理を終了する。色空間設定がscene-referredの場合には（ステップ＃００１；Ｙｅｓ）、ステップ＃００２に移行する。ステップ＃００２では、順応視野領域の平均輝度LAを算出する。ここで、LAは、AE演算部２０６から入力される、カメラの適正露出値（制御輝度）から算出される。適正露出値は、APEXシステムのBv値によって演算されるので、次式によってcd/m2による輝度値LAに変換される。
【００６８】
【数１】
2005210526.tif 000003
【００６９】
次に、ステップ＃００３では、背景領域の相対輝度Ybを算出する。ここで、AF演算部２０４から入力されるAF合焦ポイント情報を基に、画像データのAF合焦ポイントを中心とした視角２度に属する画素の平均輝度値Bvcと視角10度の領域に属する画素の平均輝度Bvbとが算出され、当該算出結果を用いて次式によりYbが設定される。視角2度、10度の領域では、使用しているセンササイズと撮影時のレンズ焦点距離とから画角を求め、画素数との関係が決定できる。
【００７０】
【数２】
2005210526.tif 000004
【００７１】
ただし、Ybが100を越えた場合は、100で制限する。なお、ここでは、AF合焦ポイントを中心とした視角2度と10度の領域としたが、実際の撮影シーンでは、AF合焦ポイントを中心とした視角2度よりも広い領域を注目しているケースもあり、例えば、人物被写体を検出して、その人物領域とその周辺領域との比からYbを求める方法や、平均的なシーンの反射率が18%のため、固定値Yb＝18を用いる方法等も考えられる。
【００７２】
次にステップ＃００４で、順応視野領域の白色の測色値Xw,Yw,Zwを算出する。まず、WB演算部２０５から入力されたホワイトバランスのR/G比とB/G比とから、次式に従って光源の色温度値Tを算出する。
【００７３】
【数３】
2005210526.tif 000005
A0、A1：センサ分光特性で決まる定数
【００７４】
当該求めた色温度Tから、その色温度Tにおける黒体放射の色度値x、yを換算テーブルを参照することによって求める。シーンの順応白色として、ここでは、反射率90%の被写体とし、以下の値をXw、Yw、Zwに設定する。
【００７５】
【数４】
2005210526.tif 000006
【００７６】
次に、ステップ＃００５では、周辺領域のコントラストを算出する。ここで、周辺領域とは、ステップ＃００３で求めた背景領域の更に外側を指す。従って、まずステップ＃００３と同様な方法で、AF合焦ポイントを中心とした視角10度の領域を求め、画面内で、その領域よりも外側に属する領域の平均輝度値Bvsを算出する。ステップ＃００３で求めたBvcとBvsとの差からアピアランスパラメータのｃ、Nc、FLL、Fを決定する。これらのアピアランスパラメータは、CIECAM97sでは、周辺領域の条件によって図２１に示すような値が推奨されている。従って、BvcとBvsとの差によって、以下のように条件を判定し、図２１に示す内容に従って、アピアランスパラメータを設定する。
【００７７】
【数５】
2005210526.tif 000007
【００７８】
なお、ここでは、上記の値を境界として条件分けを行ったが、Bvs−Bvcの値によって図２１に示す値を補間するような方法も考えられる。
【００７９】
次に、ステップ＃００６では、シーンモード設定がポートレートモード（人物モード）か否か判定し、ポートレートモードが設定されている場合には（ステップ＃００６；Ｙｅｓ）、ステップ＃００７に移行し、画像のコントラストを弱めるために上記算出した人物用のアピアランスパラメータを修正する。それ以外のシーンモードが設定されている場合には（ステップ＃００６；Ｎｏ）、ステップ＃００８に移行し、風景モードが指定されているかどうかを判定する。風景モードが設定されている場合には（ステップ＃００８；Ｙｅｓ）、ステップ＃００９に移行し、画像の彩度を更に強調するため、上記算出した風景用のアピアランスパラメータを修正する。風景モード以外のシーンモードが設定されている場合には（ステップ＃００８；Ｎｏ）、本処理を終了する。
【００８０】
ポートレートモードでは、顔などの肌色に相当する「明るさ」の中間領域で、コントラストがやや低く、明るく再現されることが好ましい。アピアランスパラメータのうち、「明るさ」のコントラストに関係するものは、LA、FLL、ｃの３つである。これらのアピアランスパラメータを変化させた結果を図１５〜１７に示す。当該各図からわかるように、「明るさ」の中間領域でコントラストを弱め、より明るく再現するためには、次のような方法に基づいてアピアランスパラメータの修正を行えば良い。すなわち、LAを更に小さくする、FLLを更に小さくする、或いは、cを更に小さくする。こられ何れの方法を用いることもできるが、本実施の形態では、LAの値を設定値の1/4に修正する方法を用いるものとする。
【００８１】
また、風景モードでは、少し鮮やかな画像が好まれる傾向にある。アピアランスパラメータで、色の鮮やかさに関係するものは、NcとLAである。それぞれを変化させた場合のクロマの変化を、CIECAM97sのab値を座標とする平面で示したものが図１８、１９である。当該各図からわかるように、画像を鮮やかにするためには、次のような方法に基づいてアピアランスパラメータの修正を行えばよい。すなわち、LAを更に大きくする、或いは、Ncを更に大きくする。これら何れの方法を用いることもできるが、本実施の形態では、Ncの値を設定値の+0.2に修正する方法を用いるものとする。
【００８２】
次に、図５を参照して、アプリケーションソフトウェア１の機能について説明する。
【００８３】
アプリケーションソフトウェア１は、シーン解析モジュール１０１、撮影データ解析モジュール１０２、アピアランスパラメータ算出モジュール１０３、カラーアピアランスモデルによるCAM正変換モジュール１０４、ガマットマッピングモジュール１０５、カラーアピアランスモデルによるCAM逆変換モジュール１０６等によって構成される。すなわち、アプリケーションソフトウェア１は、図２０に示す従来のアプリケーションソフトウェア１ａに対し、シーン解析モジュール１０１、撮影データ解析モジュール１０２及びアピアランスパラメータ算出モジュール１０３が追加されていることを特徴とする。
【００８４】
次に、図６を参照して、アプリケーションソフトウェア１による処理内容を詳細に説明する。ここで説明する処理内容は、画像処理装置１０の図示しないＣＰＵがアプリケーションソフトウェア１を実行することにより行われる。
【００８５】
まず、ステップ＃１０１では、使用する変数やフラグのリセット等の初期化を行う。ステップ＃１０２では、ユーザの指示に応じてデジタルカメラ２からscene-referredな画像データを読み込む。次に、ステップ＃１０３では、当該scene-referredな画像データにデジタルカメラ２の撮影シーンモード情報（アピアランスパラメータ）が含まれているかどうかを判定し、当該情報が含まれている場合には（ステップ＃１０３；Ｙｅｓ）、ステップ＃１０７に移行し、含まれていない場合には（ステップ＃１０３；Ｎｏ）、ステップ＃１０４に移行する。ステップ＃１０４では、当該scene-referredな画像データにExif情報が付加されていているかどうかを判定し、付加されている場合には（ステップ＃１０４；Ｙｅｓ）、ステップ＃１０６に移行し、撮影データ解析モジュール１０２によって、Exif情報から撮影シーンを推定する。ステップ＃１０４の段階で、scene-referredな画像データにExif情報が付加されていない場合には（ステップ＃１０４；Ｎｏ）、ステップ＃１０５に移行し、シーン解析モジュール１０１によって、このscene-referredな画像データを解析して撮影シーンの推定を行う。ステップ＃１０７では、アピアランスパラメータ算出モジュール１０３によって、当該scene-referredな画像データとそれに付加された情報（撮影シーンモード情報やExif情報等。）とに基づいてカラーアピアランスモデルに設定するアピアランスパラメータを算出し、ステップ＃１０８では、CAM正変換モジュール１０４によって、当該カラーアピアランスモデルに基づくCAM正変換を行う。次にステップ＃１０９では、ガマットマッピングモジュール１０５によってガマットマッピング処理を行う。最後に、ステップ＃１１０では、CAM逆変換モジュール１０６によって、当該カラーアピアランスモデルに基づくCAM逆変換を行い、ステップ＃１１１では、当該CAM逆変換後のoutput image（output-referredな画像データ。）を出力デバイスに出力する。
【００８６】
次に、図７を参照して、撮影データ解析モジュール１０２による処理内容を詳細に説明する。
【００８７】
撮影データ解析モジュール１０２が実行されることにより、Exif情報として記録された、輝度、レンズ焦点距離、撮影距離の情報を用いて撮影シーンの推定が行われる。
まず、ステップ＃２０１では、ポートレート度合いPを算出する。ここで、ポートレート度合いは、Exif情報に記録されている輝度Bvとレンズ焦点距離ｆ’の情報及びレンズ焦点距離と撮影距離Dから算出した撮影倍率β（＝ｆ’／D）の情報を用いて、図８に示すメンバーシップ関数から算出する。メンバーシップ関数とは、例えば、レンズ焦点距離に対するポートレートシーンの度合い（確からしさ）を表わしたもので、判別対象シーンにおける使用頻度を表わしたものと考えればよい。輝度に対するポートレート度合いPBvを図８（ａ）のグラフから、焦点距離に対するポートレート度合いPf'を図８（ｂ）から、撮影倍率に対するポートレート度合いPβを図８（ｃ）からそれぞれ求め、次式によりPを算出する。
【００８８】
【数６】
2005210526.tif 000008
【００８９】
同様に、ステップ＃２０２では、風景度合いLを算出する。
【００９０】
【数７】
2005210526.tif 000009
【００９１】
次にステップ＃２０３では、PとLが等しいかどうかを判定し、等しい場合には（ステップ＃２０３；Ｙｅｓ）、本処理を終了し、等しくない場合には（ステップ＃２０３；Ｎｏ）、ステップ＃２０４に移行してPがLよりも大きいかどうかを判定する。PがLより大きい場合には（ステップ＃２０４；Ｙｅｓ）、ステップ＃２０５に移行し、人物フラグをセットして本処理を終了する。PがLより大きくない場合には（ステップ＃２０４；Ｎｏ）、ステップ＃２０６に移行し、風景フラグをセットして本処理を終了する。
【００９２】
次に、図９を参照して、シーン解析モジュール１０１による処理内容を詳細に説明する。
【００９３】
シーン解析モジュール１０１が実行されることにより、画像データに肌色領域が含まれるかどうかが判定され、当該判定結果に基づいて人物を撮影した画像かどうかが判定される。また、その面積を測定することにより人物の大きさが推定される。
【００９４】
まず、ステップ＃３０１では、デジタルカメラICCプロファイル２１にある情報を読み込む。次にステップ＃３０２では、画像データのRGB値を測色値XYZに変換する。より具体的には、読み込んだデジタルカメラICCプロファイル２１に記録されている3×3マトリックス係数若しくは３次元ルックアップテーブルを利用して、それぞれに対応した方法で測色値に変換する。次に、ステップ＃３０３では、XYZ値からL*a*b*値に変換する。次に、ステップ＃３０４では、画素のカウントに使用する画素カウント値を0にリセットする。次に、ステップ＃３０５では、L*a*b*値に変換した各画素の値が、予め設定された肌色領域に属するかどうかを判定し、肌色領域に属している場合には（ステップ＃３０５；Ｙｅｓ）、ステップ＃３０６に移行して肌色画素カウント値を１加算し、その後ステップ＃３０７に移行する。肌色領域に属していない場合には（ステップ＃３０５；Ｎｏ）、ステップ＃３０７に移行する。ステップ＃３０７では、上記画素カウント値を１加算し、ステップ＃３０８では、画素カウント値と全画素数とを比較し、全ての画素に対する処理が終了したかどうか判定する。終了していない場合には（ステップ＃３０８；Ｎｏ）、ステップ＃３０５に戻って上記ステップ＃３０５〜＃３０８の処理を繰り返す。全画素に対する処理が終了している場合には（ステップ＃３０８；Ｙｅｓ）、ステップ＃３０９に移行し、肌色画素カウント値を全画素カウント値で除算した肌色割合の値が、閾値THよかり大きいか否かを判定し、THより大きいい場合には（ステップ＃３０９；Ｙｅｓ）、ステップ＃３１０に移行し、被写体が人物であることを表わす人物フラグをセットして本処理を終了する。TH以下の場合には（ステップ＃３０９；Ｎｏ）、ステップ＃３１１に移行し、人物フラグをリセットして本処理を終了する。
【００９５】
次に、図１０を参照して、アピアランスパラメータ算出モジュール１０３による処理内容を詳細に説明する。ここで、アピアランスパラメータの設定方法の基本は上記説明したデジタルカメラ２内のアピアランスモデルパラメータ算出部２１６の場合と同様である。
【００９６】
まず、ステップ＃４０１で、デジタルカメラ２で記録したアピアランスパラメータが存在するかどうかを判定する。アピアランスパラメータが存在する場合（ステップ＃４０１；Ｙｅｓ）、ステップ＃４１１に移行し、そのアピアランスパラメータをアピアランスモデルに設定して本処理を終了する。アピアランスパラメータが存在しない場合には（ステップ＃４０１；Ｎｏ）、ステップ＃４０２に移行し、画像データがscene-referredな画像データかどうかを判定する。本実施の形態では、scRGBとRawデータの場合が、scene-referredに相当する。scene-referredな画像データ以外の場合には（ステップ＃４０２；Ｎｏ）、ステップ＃４０３に移行し、デフォルトのアピアランスパラメータを設定して本処理を終了する。このデフォルトのアピアランスパラメータの内容については後に詳述する。ステップ＃４０２で、scene-referredな画像データと判定された場合には（ステップ＃４０２；Ｙｅｓ）、ステップ＃４０４に移行する。ステップ＃４０４では、画像データにExif情報が存在するかどうかを判定し、Exif情報が存在しない場合には（ステップ＃４０４；Ｎｏ）、ステップ＃４１０に移行し、デフォルトのデジタルカメラ用のアピアランスパラメータを設定して本処理を終了する。当該設定されるデフォルトのデジタルカメラ用のアピアランスパラメータについても後に詳述する。ステップ＃４０４で、Exif情報が存在する場合には（ステップ＃４０４；Ｙｅｓ）、ステップ＃４０５に移行し、順応視野領域の平均輝度LA、背景領域の相対輝度Ybを算出する。ここで、LAは、記録されている輝度情報が読み出され、次式によってAPEXシステムによるBv値からcd/m2による輝度値LAに変換される。
【００９７】
【数８】
2005210526.tif 000010
【００９８】
なお、輝度値が直接記録されていない場合でも、シャッター速度値と絞り値とISO感度値のAPEX値であるTv値、Av値、Sv値が記録されている場合には、次式によってBv値が算出可能なので、これによって求めたBv値から輝度LAを求めても良い。
【００９９】
【数９】
2005210526.tif 000011
【０１００】
Ybの値は、デジタルカメラ２によって記録されたAF合焦ポイント情報を基に、画像データのAF合焦ポイントを中心とした視角2度に属する画素の平均輝度値Bvcと視角10度の領域に属する画素の平均輝度Bvbを算出し、次式によって設定する。なお、視角2度、10度の領域は、使用しているセンササイズと撮影時のレンズ焦点距離から画角を求め、画素数との関係を決定することができる。
【０１０１】
【数１０】
2005210526.tif 000012
【０１０２】
ただし、Ybが100を越えた場合は、100で制限する。なお、ここでは、AF合焦ポイントを中心とした視角2度と10度の領域としたが、実際のシーンでは、AF合焦ポイントを中心とした視角2度よりも広い領域を注目しているケースもあり、例えば、人物被写体を検出して、その人物領域とその周辺領域との比からYbを求める方法や、平均的なシーンの反射率が18%であるので、固定値Yb＝18を用いる方法等も考えられる。
【０１０３】
次に、ステップ＃４０６で、順応視野領域の白色の測色値Xw、Yw、Zwを算出する。Exif情報に記録された光源情報から変換テーブルを参照して、光源の色度値x、yを求め、以下の式に従ってXw、Yw、Zwを設定する。
【０１０４】
【数１１】
2005210526.tif 000013
【０１０５】
なお、デジタルカメラ２のアピアランスモデルパラメータ算出部２１６と同様に、ホワイトバランスゲインの値を画像ファイルに記録し、それによって色温度を求め、Xw、Yw、Zwに設定することも可能である。
【０１０６】
次に、ステップ＃４０７で、周辺領域のコントラストを算出する。ここで、周辺領域とは、ステップ＃４０５で求めた背景領域の更に外側の領域を指す。従って、まずステップ＃４０５と同様な方法で、AF合焦ポイントを中心とした視角10度の領域を求め、画面内で、その領域よりも外側に属する領域の平均輝度値Bvsを算出する。Bvsと、ステップ＃４０５で求めたBvcとの差からアピアランスパラメータのｃ、Nc、FLL、Fを決定する。これらのパラメータは、CIECAM97sでは、周辺領域の条件によって図２１に示す値が推奨されている。従って、BvcとBｖｓとの差によって、以下のように条件を判定し、図２１に示す内容に従って、アピアランスパラメータを設定する。
【０１０７】
【数１２】
2005210526.tif 000014
【０１０８】
なお、ここでは、上記の値を境界として条件分けを行ったが、Bvs−Bvcの値によって図２１に示す値を補間するような方法を用いてもよい。
【０１０９】
次に、ステップ＃４０８では、人物フラグがセットされているかどうかを判定し、セットされている場合には（ステップ＃４０８；Ｙｅｓ）、ステップ＃４０９に移行し、画像のコントラストを弱めるため、上記算出した人物用のアピアランスパラメータを修正する。この修正内容は、上記説明した、デジタルカメラ２内のアピアランスモデルパラメータ算出部２１６と同様にLAの値を設定値の1/4に修正するものとする。人物フラグがセットされていない場合には（ステップ＃４０８；Ｎｏ）、本処理を終了する。
【０１１０】
ステップ＃４０３で行われるデフォルトのアピアランスパラメータの設定では、通常の屋内環境下でsRGBモニタを見る場合のアピアランスパラメータを設定する。LAとして80cd/m2を設定する。Ybは、平均的な反射率としてYb＝18とする。Xw、Yw、Zwは、sRGBモニタの白色であるCIEイルミナントD65の値として、Xw=95.04,Yw=100.0,Zw=108.89を設定する。ｃ、Nc、FLL、Fについては、図２１に示す「平均的な周辺領域」に対する値を設定する。
【０１１１】
ステップ＃４１０で行われるデフォルトのデジタルカメラ用のアピアランスパラメータの設定では、以下の値を設定する。LAとしては、撮影シーンが一般的に最も頻度が高い日中の屋外シーンであると仮定し、2150cd/m2を設定する。Ybは、平均的な反射率としてYb＝18とする。Xw、Yw、Zwは、平均的な昼光の値として、CIEイルミナントD55の90%の値、Xw=86.11、Yw=90.0、Zw=82.93を設定する。ｃ、Nc、FLL、Fについては、図２１に示す「平均的な周辺領域」に対する値を設定する。
【０１１２】
次に、図１１を参照して、CAM正変換モジュール１０４によるカラーアピアランスモデルに基づくCAM正変換処理について詳細に説明する。本実施の形態では、まずアピアランスモデルとしてCIECAM97sを用いた説明を行う。
【０１１３】
当該アピアランスモデルへの入力データとして必要なものは、次のデータである。
・見えを予測したい色の３刺激値  X、Y、Z
・入力画像に関する観察条件パラメータ
順応視野領域における白色の３刺激値  Xw、Yw、Zw
順応視野領域の平均輝度  LA
背景領域の相対輝度  Yb
周辺領域の条件により決定する定数  c、Nc、FLL、F
【０１１４】
ステップ＃５０１では、入力画像データの各画素のRGB値を、３刺激値XYZに変換する。画像データがscRGBで記載されている場合には、次式に基づいて色の３刺激値X、Y、Zに変換される。
【０１１５】
【数１３】
2005210526.tif 000015
【０１１６】
また、ｓRGBの場合は、次式を使用する。
【０１１７】
【数１４】
2005210526.tif 000016
【０１１８】
また、Rawデータの場合には、デジタルカメラ２の特性を記述したデジタルカメラICCプロファイル２１を用いて変換する。具体的には、デジタルカメラプロファイル２１内に記述されている3×3マトリックス情報を用いて、上記と同様の変換を実行する。
【０１１９】
次に、ステップ＃５０２では、設定されたアピアランスパラメータから、後の計算で使用する以下の値を計算する。
【０１２０】
【数１５】
2005210526.tif 000017
【０１２１】
次に、ステップ＃５０３では、画像データに対して色順応変換を行う。色順応変換は、フォンクリースタイプの色順応変換を改良したもので、観察条件下での白色に対する順応度合いが考慮されている。まず、次式により、X、Y、Zを
【０１２２】
【数１６】
2005210526.tif 000018
【０１２３】
に変換する（以下、文章中では、それぞれ、R1、G1、B1と表現する。）。
【０１２４】
【数１７】
2005210526.tif 000019
【０１２５】
ここで、変換マトリックスＭBとして、以下を使用する。
【０１２６】
【数１８】
2005210526.tif 000020
【０１２７】
上記のようにして変換したR1、G1、B1から、次式によって色順応変換した応答、Rc、Gc、Bcを算出する。
【０１２８】
【数１９】
2005210526.tif 000021
【０１２９】
ここで、Rw、Gw、Bwは、順応白色の３刺激値をマトリックスＭBによって変換したものである。
【０１３０】
次に、ステップ＃５０４では、色順応処理を行った画像データを人間の視覚系のセンサに相当する錐体の応答R'、G'、B'に変換する。まず、上記したマトリックスによる変換の逆変換を行い、それからHunt-Pointer-Estevez変換と呼ばれる3×3マトリックスをかける。
【０１３１】
【数２０】
2005210526.tif 000022
【０１３２】
次に、ステップ＃５０５では、錐体応答に変換された画像データを、視覚系の非線形応答に対応した以下の変換を行う。
【０１３３】
【数２１】
2005210526.tif 000023
【０１３４】
最後に、ステップ＃５０６では、色の見えを予測する数値、色相角：h、明度：J、クロマ：Cをそれぞれ次式に従って算出する。
【０１３５】
【数２２】
2005210526.tif 000024
【０１３６】
h1、h2、e1、e2については、以下の表から検索する。h＜h1の場合はh'＝h＋360、それ以外はh'＝hとし、下記表でhi≦h'＜hi+1を満たすiを求め、h1＝hi、h2＝hi+1、e1＝ei、e2=ei+1として使用する。
【０１３７】
【表１】
2005210526.tif 000025
【０１３８】
カラーアピアランスモデルとして、CIECAM02を使用した場合には、ステップ＃５０２以後の処理を以下に示すように変更する。
すなわち、ステップ＃５０２では、設定されたアピアランスパラメータから、後の計算で使用する以下の値を計算する。
【０１３９】
【数２３】
2005210526.tif 000026
【０１４０】
次に、ステップ＃５０３では、画像データに対して色順応変換を行う。色順応変換は、フォンクリースタイプの色順応変換を改良したもので、観察条件下での白色に対する順応度合いが考慮されている。まず、次式により、X、Y、ZをR1、G1、B1に変換する。
【０１４１】
【数２４】
2005210526.tif 000027
【０１４２】
ここで、変換マトリックスMCAT02として、次式を使用する。
【０１４３】
【数２５】
2005210526.tif 000028
【０１４４】
上記変換したR1、G1、B1から、次式によって色順応変換した応答、Rc、Gc、Bcを算出する。
【０１４５】
【数２６】
2005210526.tif 000029
【０１４６】
ここで、Rw、Gw、Bwは、順応白色の３刺激値をマトリックスMCAT02によって変換したものである。
【０１４７】
次に、ステップ＃５０４では、色順応処理を行った画像データを人間の視覚系のセンサに相当する錐体の応答R'、G'、B'に変換する。まず、上記したマトリックスによる変換の逆変換を行い、それからHunt-Pointer-Estevez変換と呼ばれる3×3マトリックスをかける。
【０１４８】
【数２７】
2005210526.tif 000030
【０１４９】
次に、ステップ＃５０５では、錐体応答に変換された画像データを、視覚系の非線形応答に対応した以下の変換を行う。
【０１５０】
【数２８】
2005210526.tif 000031
【０１５１】
最後に、ステップ＃５０６では、色の見えを予測する数値、色相角：h、明度：J、クロマ：Cをそれぞれ次式に従って算出する。
【０１５２】
【数２９】
2005210526.tif 000032
【０１５３】
以上の変換により、画像データのRGB値は、「色の見え」を表わしたJ、C、hの値となる。
【０１５４】
次に、図１２、図１３を参照して、ガマットマッピングモジュール１０５に係る処理内容を詳細に説明する。
ガマットマッピングの方法として最も単純な方法は、記録可能な色域の外にある色度点を最寄りの色域境界上へマッピングしてしまうクリッピングであるが、これでは色域外のグラデーションが潰れてしまい、鑑賞時に違和感を覚える画像になってしまう。このため本実施例では、適当な閾値以上にクロマが高い領域の色度点をクロマの大きさに従って滑らかに圧縮する非線形圧縮を用いる。すなわち、カラーアピアランスモデルによって算出されたクロマ値：Cを用いて、クロマ値がしきい値：Cth以上の領域では、図１２に示す圧縮を行う（色域のマッピング方法についての詳細は、例えばコロナ社「ファインイメージングとディジタル写真」（社）日本写真学会出版委員会編４４７頁を参照。）。
【０１５５】
まず、ステップ＃６０１では、入力側色空間におけるR、G、B、C、M、Yの主要６原色について、それぞれ測色値Xin(i)、Yin(i)、Zin(i)を算出する（i=R、G、B、C、M、Y）。すなわち、例えば8bitデータなら、R、G、Bの値が255、0、0をR、0、255、0をGとして、順次算出する。測色値への変換は、カラーアピアランスモデルによる変換のステップ＃５０１で説明した方法を用いる。
【０１５６】
更に、ステップ＃６０２では、算出したXYZの値から、カラーアピアランスモデルを用いてクロマ値：Cin(i)を算出する（i=R、G、B、C、M、Y）。
【０１５７】
次に、ステップ＃６０３では、同様に出力デバイスの色空間において、R、G、B、C、M、Yの主要６原色について、それぞれ測色値Xout(i)、Yout(i)、Zout(i)を算出する（i=R、G、B、C、M、Y）。測色値への変換には、モニタICCプロファイル３１、プリンタICCプロファイル４１を使用する。通常のICCプロファイルは、多次元ルックアップテーブル方式で変換方法が記述してある場合は、プロファイル作成時にガマットマッピングしたテーブルを作成するのであるが、本実施例では、プロファイル作成時には、圧縮せずに出力デバイスのガマット外には、ガマット外であることが判断できるデータを書き込んだ専用のプロファイルを使用する。
【０１５８】
更に、ステップ＃６０４では、算出したXYZの値から、ステップ＃６０２と同様にクロマ値：Cout(i)を算出する（i=R、G、B、C、M、Y）。
【０１５９】
次に、ステップ＃６０５では、次式によりCout(i)／Cin(i)の最小値からkの値を算出する。また、このkを算出した色をmincolorとしてＲＡＭ等のメモリに記憶する。
【０１６０】
【数３０】
2005210526.tif 000033
【０１６１】
次に、ステップ＃６０６では、画素のカウントに使用するカウント値をリセットする。
【０１６２】
次に、ステップ＃６０７では、JChに変換した各画素の値のクロマ：Cの値を次式により圧縮した値C‘に変換する。圧縮を開始する閾値Cthは、kの値の80%とし、次式で算出する。
【０１６３】
【数３１】
2005210526.tif 000034
【０１６４】
次に、ステップ＃６０８では、画素カウント値と全画素値を比較し、全ての画素に対する処理が終了したかどうかを判定する。処理が終了した場合には（ステップ＃６０８；Ｙｅｓ）、本処理を終了する。処理が終了していない場合には（ステップ＃６０８；Ｎｏ）、ステップ＃６０７に戻り、ステップ＃６０７〜＃６０８の処理を繰り返す。
【０１６５】
なお、ガマットマッピングの手法は、ここで述べた手法以外にも多数の手法が存在し、それらの多くが使用可能である。
【０１６６】
次に図１４のフローチャートに従って、CAM逆変換モジュール１０６によるカラーアピアランスモデルに基づくCAM逆変換について詳細に説明する。
【０１６７】
まず、ステップ＃７０１では、出力画像に関係した第２のアピアランスパラメータ、Xw'、Yw'、Zw'、LA'、Yb'、c'、Nc'、FLL'、F'から下記変数を算出する。
【０１６８】
【数３２】
2005210526.tif 000035
【０１６９】
また、図１１のステップ＃５０３〜＃５０６の演算をXw'、Yw'、Zw'に適用して、Aw'を算出しておく。
【０１７０】
次に、ステップ＃７０２では、色の見えを表わすパラメータJ'、C'、hから非線形応答値Ra'、Ga'、Ba'を算出する。まず、J'、C'から、以下の式によりAとｓを求める。
【０１７１】
【数３３】
2005210526.tif 000036
【０１７２】
次に、次式によりa、bを求める。
【０１７３】
【数３４】
2005210526.tif 000037
【０１７４】
h1、h2、e1、e2については、以下の表から検索する。h＜h1の場合はh'＝h＋360、それ以外はh'＝hとし、下記表でhi≦h'＜hi+1を満たすiを求め、h1＝hi、h2＝hi+1、e1＝ei、e2=ei+1として使用する。
【０１７５】
【表２】
2005210526.tif 000038
【０１７６】
Ra'、Ga'、Ba'は、以下の式から算出される。
【０１７７】
【数３５】
2005210526.tif 000039
【０１７８】
次に、ステップ＃７０３では、非線形応答値Ra'、Ga'、Ba'を逆変換し錐体応答R'、G'、B'を求める。
【０１７９】
【数３６】
2005210526.tif 000040
【０１８０】
ここで、Ra'-1＜0の場合は、次式を使用する。Ga'、Ba'についても同様である。
【０１８１】
【数３７】
2005210526.tif 000041
【０１８２】
更に、ステップ＃７０４では、錐体応答を逆変換し、Rc・Y、Gc・Y、Bc・Y（以下、単に、RcY、GcY、BcYと表す。）を算出する。
【０１８３】
【数３８】
2005210526.tif 000042
【０１８４】
次に、ステップ＃７０５では、色順応逆変換を行って測色値に戻す。まず、次式によってYcを算出する。
【０１８５】
【数３９】
2005210526.tif 000043
【０１８６】
そして、次式によって、(Y/YC)R、(Y/YC)G、(Y/YC)1/pBを算出する。
【０１８７】
【数４０】
2005210526.tif 000044
【０１８８】
ここで、（Y/Yc）<0の場合は、(Y/YC)1/pBの値を負にする。
【０１８９】
そして、次式によってY'を算出する。
【０１９０】
【数４１】
2005210526.tif 000045
【０１９１】
ここで、３刺激値X''、Y''、Z''は、次式によって算出される。
【０１９２】
【数４２】
2005210526.tif 000046
【０１９３】
以上により、色の見えを表す値と、第２のアピアランスパラメータから、当該観察環境で指定された見えに相当する色の３刺激値X"、Y"、Z"が算出される。
【０１９４】
この値は、ステップ＃７０６では、出力機器の色空間に変換されて出力される。具体的には、モニタ、プリンタの各特性を記述したモニタICCプロファイル３１、プリンタICCプロファイル４１に記述されている3×3マトリックス情報、若しくは、３次元ルックアップテーブルを用いて変換される。
【０１９５】
また、カラーアピアランスモデルとしてCIECAM02を用いた場合のCAM逆変換は、以下に示すような処理内容となる。
【０１９６】
まず、ステップ＃７０１では、第２のアピアランスパラメータから下記変数を算出する。
【０１９７】
【数４３】
2005210526.tif 000047
【０１９８】
また、順応視野領域における白色の３刺激値Xw'、Yw'、Zw'について第２のアピアランスパラメータを用いて、上記したCAM変換に係るステップ＃５０３〜＃５０６の演算を適用して、Aw'を算出しておく。
【０１９９】
次に、色の見え値からの非線形応答算出を説明する（ステップ＃７０２）。まず、色相角hの入力値を下記表で検索し、hi≦h'＜hi+1を満たすiを求める。
【０２００】
【表３】
2005210526.tif 000048
【０２０１】
上記iと色の見えの色相成分Hの入力値とを用いて、次式を計算する。
【０２０２】
【数４４】
2005210526.tif 000049
【０２０３】
ここでh'＞360の場合は360を減じた値とする。
【０２０４】
次に、色の見えのクロマを表すＣ'と明度を表すJ'の入力値を用いて下記変数を計算する。
【０２０５】
【数４５】
2005210526.tif 000050
【０２０６】
次に、
【０２０７】
【数４６】
2005210526.tif 000051
【０２０８】
が満たされる場合には、次式を計算する。
【０２０９】
【数４７】
2005210526.tif 000052
【０２１０】
また、
【０２１１】
【数４８】
2005210526.tif 000053
【０２１２】
が満たされる場合には、次式を計算する。
【０２１３】
【数４９】
2005210526.tif 000054
【０２１４】
そして、次の計算を行う。
【０２１５】
【数５０】
2005210526.tif 000055
【０２１６】
次に、非線形応答逆変換の計算を説明する（ステップ＃７０３）。
【０２１７】
【数５１】
2005210526.tif 000056
【０２１８】
ここで、sign(x)は、x＞0で1、x＝0で0、x＜0で-1の値をとる関数である。
【０２１９】
次に、錐体応答逆変換の計算を説明する（ステップ＃７０４）。
【０２２０】
【数５２】
2005210526.tif 000057
【０２２１】
次に、色順応逆変換の計算を説明する（ステップ＃７０５）。
【０２２２】
【数５３】
2005210526.tif 000058
【０２２３】
なお、カラーアピアランスモデルには、本実施の形態で用いたCIECAM97s、CIECAM02以外にも、納谷モデル、Huntモデル、RLabモデル、LLabモデルなど、いくつも発表されている。これらをCIECAM97s、CIECAM02に替えて用いることも可能である。
【０２２４】
以上説明したように、画像処理装置１０は、アプリケーションソフトウェア１を実行することにより、入力されたscene-referredな画像データにアピアランスパラメータが付加されているか否かを判定し、アピアランスパラメータが付加されている場合には、CAM正変換モジュール１０４、CAM逆変換モジュール１０６により、このアピアランスパラメータに基づき当該scene-referredな画像データに対して画像変換（CAM正変換、CAM逆変換）を行う。
また、画像処理装置１０は、アプリケーションソフトウェア１を実行することにより、入力されたscene-referredな画像データに撮影シーンを表す情報（Exif情報）が付加されているか否かを判定し、該情報が付加されている場合には、撮影データ解析モジュール１０２により、この情報に基づいて撮影シーンを特定し、更に、アピアランスパラメータ算出モジュール１０３により、当該特定した撮影シーンに基づいてアピアランスパラメータを算出し、更に、CAM正変換モジュール１０４、CAM逆変換モジュール１０６により、当該算出したアピアランスパラメータに基づき当該scene-referredな画像データに対して画像変換（CAM正変換、CAM逆変換）を行う。
また、画像処理装置１０は、アプリケーションソフトウェア１を実行することにより、シーン解析モジュール１０１により、入力されたscene-referredな画像データに基づいて撮影シーンを特定し、更に、アピアランスパラメータ算出モジュール１０３により、当該撮影シーンに基づいてアピアランスパラメータを算出し、更に、CAM正変換モジュール１０４、CAM逆変換モジュール１０６により、当該算出したアピアランスパラメータに基づき当該scene-referredな画像データに対して画像変換（CAM正変換、CAM逆変換）を行う。
【０２２５】
従って、入力されたscene-referredな画像データに対し、アピアランスパラメータが、当該scene-referredな画像データに予め付加されて入力されるか、又はscene-referredな画像データに予め付加されて入力される撮影シーンを表す情報（Exif情報）若しくはscene-referredな画像データに基づいて特定される撮影シーンを表す情報のうちの何れかから算出できるため、当該アピアランスパラメータを用いて色の見えモデルに基づく画像変換が行える。このため、scene-referredな画像データのように撮影シーンの輝度に比例した輝度を有する画像データが入力された場合であっても、アピアランスパラメータに基づく画像変換が常に行えるので、好適な出力用画像データが常に作成可能となる。
【０２２６】
なお、本実施の形態における記述は、本発明に係る画像データを出力するデジタルカメラ等の撮像装置、画像データ出力方法及び画像データ出力プログラムと、該出力された画像データを、モニタやプリンタ等の出力デバイスに出力するための画像変換を行う画像処理装置、画像処理方法及び画像処理プログラムの一例を示すものであり、これに限定されるものではない。本実施の形態における画像処理装置１０及びデジタルカメラ２の細部構成および詳細動作に関しては、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【図面の簡単な説明】
【０２２７】
【図１】本発明を適用した画像処理装置と外部機器との接続関係を示す図である。
【図２】本発明を適用したデジタルカメラの内部構成を示す図である。
【図３】CIECAM97sに設定するアピアランスパラメータを説明する図である。
【図４】図２に示すアピアランスモデルパラメータ算出部による処理内容を説明するフローチャートである。
【図５】本発明を適用した画像処理装置が有するアプリケーションソフトウェアの機能を説明する図である。
【図６】図５に示すアプリケーションソフトウェアによる処理内容を説明するためのフローチャートである。
【図７】図５に示す撮影データ解析モジュールによる処理内容を説明するためのフローチャートである。
【図８】（ａ）〜（ｃ）は、図５に示す撮影データ解析モジュールによって用いられるメンバーシップ関数を示す図である。
【図９】図５に示すシーン解析モジュールによる処理内容を説明するためのフローチャートである。
【図１０】図５に示すアピアランスパラメータ算出モジュールによる処理内容を説明するためのフローチャートである。
【図１１】図５に示すＣＡＭ正変換モジュールによるCIECAM97s（CIECAM02）に基づくCAM正変換の処理内容を説明するためのフローチャートである。
【図１２】クロマ圧縮を示すグラフである。
【図１３】図５に示すガマットマッピングモジュールによる処理内容を説明するためのフローチャートである。
【図１４】図５に示すＣＡＭ逆変換モジュールによるCIECAM97s（CIECAM02）に基づくCAM逆正変換の処理内容を説明するためのフローチャートである。
【図１５】ＬAの変化による明るさの変化を示すグラフである。
【図１６】ＦLLの変化による明るさの変化を示すグラフである。
【図１７】ｃの変化による明るさの変化を示すグラフである。
【図１８】ＮCの変化によるａ、ｂ値の変化を示すグラフである。
【図１９】ＬAの変化によるａ、ｂ値の変化を示すグラフである。
【図２０】従来のアプリケーションソフトウェアの機能を説明する図である。
【図２１】CIECAMにおけるアピアランスパラメータの設定推奨値を示す表である。
【符号の説明】
【０２２８】
１、１ａ  アプリケーションソフトウェア
１０  画像処理装置
１０１  シーン解析モジュール
１０２  撮影データ解析モジュール
１０３  アピアランスパラメータ算出モジュール
１０４  CAM正変換モジュール
１０５  ガマットマッピングモジュール
１０６  CAM逆変換モジュール
１ａ  アプリケーションソフトウェア
２  デジタルカメラ
２０１  CPU
２０２  光学系
２０３  撮像センサ部
２０４  AF演算部
２０５  WB演算部
２０６  AE演算部
２０７  レンズ制御部
２０８  画像処理部
２０９  表示部
２１  デジタルカメラICCプロファイル
２１０  記録データ作成部
２１１  記録メディア
２１２  シーンモード設定キー
２１３  色空間設定キー
２１４  レリーズボタン
２１５  その他操作キー
２１６  アピアランスモデルパラメータ算出部
３  モニタ
３１  モニタICCプロファイル
４  プリンタ
４１  プリンタICCプロファイル
６  画像ファイル
７  画像ファイル
【図１】
2005210526.tif 000059
【図２】
2005210526.tif 000060
【図３】
2005210526.tif 000061
【図４】
2005210526.tif 000062
【図５】
2005210526.tif 000063
【図６】
2005210526.tif 000064
【図７】
2005210526.tif 000065
【図８】
2005210526.tif 000066
【図９】
2005210526.tif 000067
【図１０】
2005210526.tif 000068
【図１１】
2005210526.tif 000069
【図１２】
2005210526.tif 000070
【図１３】
2005210526.tif 000071
【図１４】
2005210526.tif 000072
【図１５】
2005210526.tif 000073
【図１６】
2005210526.tif 000074
【図１７】
2005210526.tif 000075
【図１８】
2005210526.tif 000076
【図１９】
2005210526.tif 000077
【図２０】
2005210526.tif 000078
【図２１】
2005210526.tif 000079