(57)【要約】  第１の視環境における色の見えと第２の視環境における色の見えを合わせるように入力画像データに対して色順応を考慮した色変換処理を行う画像処理方法は、第１の視環境に順応している度合いを示す順応ファクタおよび第２の視環境に順応している度合いを示す順応ファクタのうちいずれか一つ以上の順応ファクタを、色を表すパラメータ毎に設定して色変換処理を行なう。
2008062874.tif 000002
【特許請求の範囲】
【請求項１】
第１の視環境における色の見えと第２の視環境における色の見えを合わせるように入力画像データに対して色順応を考慮した色変換処理を行う画像処理方法であって、
前記第１の視環境に順応している度合いを示す順応ファクタおよび前記第２の視環境に順応している度合いを示す順応ファクタのうちいずれか一つ以上の順応ファクタを、色を表すパラメータ毎に設定して前記色変換処理を行なう画像処理方法。
【請求項２】
請求項１に記載の画像処理方法に於いて、
前記第１の視環境は、入力画像取得時のシーンの照明条件あるいは入力画像観察時の視環境であり、
前記第２の視環境は、出力画像観察時の視環境である画像処理方法。
【請求項３】
請求項２に記載の画像処理方法に於いて、
前記順応ファクタは、前記シーンの照明条件又は前記入力画像観察時の視環境によって、変える画像処理方法。
【請求項４】
請求項２又は請求項３に記載の画像処理方法に於いて、
前記順応ファクタは、出力画像観察時の視環境によって、変える画像処理方法。
【請求項５】
請求項２から請求項４のいずれかに記載の画像処理方法に於いて、
前記入力画像に於ける画素値を解析し、該解析した画素値の分布に基づいて、前記それぞれの順応ファクタを変化させる画像処理方法。
【請求項６】
請求項５に記載の画像処理方法に於いて、
入力画像を複数領域に分割し、領域毎に前記順応ファクタを変化させる画像処理方法。
【請求項７】
請求項１から請求項６のいずれかに記載の画像処理方法に於いて、
前記色を表すパラメータは３原色の値からなる画像処理方法。
【請求項８】
請求項７に記載の画像処理方法に於いて、
前記３原色は、錐体の分光感度から求められる生理原色ＬＭＳ又はセンサのＲＧＢである画像処理方法。
【請求項９】
請求項７又は請求項８に記載の画像処理方法に於いて、
前記順応ファクタは、前記白に対する３原色毎の応答値と、前記入力画像取得時のシーンの照明の輝度レベル、もしくは入力画像観察時の視環境の輝度レベル、および、出力画像観察時の視環境の輝度レベルのいずれかに応じて変化する画像処理方法。
【請求項１０】
請求項１から請求項９のいずれかに記載の画像処理方法に於いて、
前記色を表すパラメータ毎の順応ファクタは、白を観察した場合に感知する光量が多いパラメータほど順応ファクタの値を大きな値に設定する画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法に於いて、
前記光量は前記白に対する３原色毎の応答値で表される画像処理方法。
【請求項１２】
請求項１から請求項１１のいずれかに記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項１３】
請求項１２に記載の画像処理プログラムを搭載する画像処理装置。
【請求項１４】
カメラであって、
被写体を撮像する撮像部と、
表示部と、
制御部とを備え、
前記制御部は、請求項１から請求項１１のいずれかに記載の画像処理方法により前記撮像部により撮像され生成された画像データを色変換処理し前記表示部に表示するカメラ。
【請求項１５】
請求項１４に記載のカメラに於いて、
測光部をさらに備え、
前記制御部は、前記測光部により取得された測光データ、及び画像表示部の照明条件に基づいて、出力画像観察時の視環境を設定するカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視環境の違いを考慮した色変換を行う画像処理方法、画像処理プログラム、画像処理装置、カメラに関する。
【背景技術】
【０００２】
照明の白色点や輝度、周囲の明るさと言ったいわゆる視環境が異なる条件では、色の見えが異なって見える。白色点の違いを考慮した色順応変換としてvon Kriesの色順応式が知られており、更に輝度や周囲の明るさも含めて視環境の違いを考慮した色の見えモデルとしてCIECAM02が知られている。視覚は必ずしも視環境の照明に完全順応している訳ではない為、光源の白色点の違い等で例示されるそれぞれの視環境に順応している割合を示す順応ファクタD（0.0≦D≦1.0）を考慮した色順応変換が使用されている。【０００３】
順応ファクタDは視環境に従って決定される。例えばCIEが定めた色の見えモデルCIECAM97sやCIECAM02によれば、順応輝度LA（通常、照明の輝度レベルLdwに対し、LA＝Ldw／５）や周辺の明るさ（周囲が明るいか、暗いか）で決まるパラメータFに応じて決定された値を使用する（特許文献１）。【０００４】
【数１】
2008062874.tif 000003
【０００５】
また、特許文献２によれば、照明の相関色温度に基づき順応ファクタを変化させる方法も提案されている。【０００６】
【特許文献１】特許第３６３４６３３号明細書
【特許文献２】特開平１１-０５５６８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述の様に、従来の色の見えモデルによれば、視環境により一つの順応ファクタDは決まり、視覚の生理原色を表し、錐体の分光感度分布から求められる錐体の色空間の３原色L、M、Sや、画像取得に使用されるセンサのRGB各色の分光感度特性により決定される３原色R、G、B等、３つの原色と呼ばれる色を表すパラメータによらず、同じ値を使用していた。【０００８】
しかし、入力画像取得時のシーンの照明条件もしくは入力画像観察時の視環境の条件、および、出力画像観察時の視環境の条件によっては、色の見えに相違感が生じてしまうケースがあった。
【課題を解決するための手段】
【０００９】
本発明の第１の態様によると、第１の視環境における色の見えと第２の視環境における色の見えを合わせるように入力画像データに対して色順応を考慮した色変換処理を行う画像処理方法は、第１の視環境に順応している度合いを示す順応ファクタおよび第２の視環境に順応している度合いを示す順応ファクタのうちいずれか一つ以上の順応ファクタを、色を表すパラメータ毎に設定して色変換処理を行なう。
本発明の第２の態様によると、第１の態様の画像処理方法に於いて、第１の視環境は、入力画像取得時のシーンの照明条件あるいは入力画像観察時の視環境であり、第２の視環境は、出力画像観察時の視環境であるのが好ましい。
本発明の第３の態様によると、第２の態様の画像処理方法に於いて、順応ファクタは、シーンの照明条件又は入力画像観察時の視環境によって、変えるのが好ましい。
本発明の第４の態様によると、第２又は第３の態様の画像処理方法に於いて、
順応ファクタは、出力画像観察時の視環境によって、変えるのが好ましい。
本発明の第５の態様によると、第２から第４のいずれかの態様の画像処理方法に於いて、入力画像に於ける画素値を解析し、該解析した画素値の分布に基づいて、それぞれの順応ファクタを変化させるのが好ましい。
本発明の第６の態様によると、第５の態様の画像処理方法に於いて、入力画像を複数領域に分割し、領域毎に順応ファクタを変化させるのが好ましい。
本発明の第７の態様によると、第１から第６のいずれかの態様の画像処理方法に於いて、色を表すパラメータは３原色の値からなるのが好ましい。
本発明の第８の態様によると、第７の態様の画像処理方法に於いて、３原色は、錐体の分光感度から求められる生理原色ＬＭＳ又はセンサのＲＧＢであるのが好ましい。
本発明の第９の態様によると、第７又は第８の態様の画像処理方法に於いて、順応ファクタは、白に対する３原色毎の応答値と、入力画像取得時のシーンの照明の輝度レベル、もしくは入力画像観察時の視環境の輝度レベル、および、出力画像観察時の視環境の輝度レベルのいずれかに応じて変化するのが好ましい。
本発明の第１０の態様によると、第１から第９のいずれかの態様の画像処理方法に於いて、色を表すパラメータ毎の順応ファクタは、白を観察した場合に感知する光量が多いパラメータほど順応ファクタの値を大きな値に設定するのが好ましい。
本発明の第１１の態様によると、第１０の態様の画像処理方法に於いて、光量は白に対する３原色毎の応答値で表されるのが好ましい。
本発明の第１２の態様によると、画像処理プログラムは、第１から第１１のいずれかの態様の画像処理方法をコンピュータに実行させる。
本発明の第１３の態様によると、画像処理装置第１２の態様の画像処理プログラムを搭載する。
本発明の第１４の態様によると、カメラは、被写体を撮像する撮像部と、表示部と、制御部とを備え、制御部は、第１から第１１のいずれかの態様の画像処理方法により撮像部により撮像され生成された画像データを色変換処理し表示部に表示するカメラ。
本発明の第１５の態様によると、第１４の態様のカメラに於いて、測光部をさらに備え、制御部は、測光部により取得された測光データ、及び画像表示部の照明条件に基づいて、出力画像観察時の視環境を設定するのが好ましい。
【発明の効果】
【００１０】
視環境や照明条件が異なる場合に、簡単に精度良く近い色の見えを再現することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の発明者が知見した、各光源に対する最適な順応ファクタを示す相関図である。
【図２】LMS錐体の分光感度特性図である。
【図３】D６５とA光源における発光スペクトル示した図である。
【図４】D65光源下で錐体が感知する分光スペクトル図
【図５】A光源下で錐体が感知する分光スペクトル図
【図６】本発明の各実施の形態における画像処理装置の構成を示す図である。
【図７】第１の実施の形態におけるパーソナルコンピュータ１が実行する処理のフローチャートを示す図である。
【図８】本発明の第2の実施の形態におけるデジタルカメラの回路構成図である。
【図９】本発明の第2の実施の形態における制御部３１が実行する処理のフローチャートを示す図である。
【図１０】本発明の第3の実施の形態における制御部３１が実行する処理のフローチャートを示す図である。
【図１１】本発明の第5の実施の形態におけるパーソナルコンピュータ１が実行する処理のフローチャートを示す図である。
【図１２】本発明の第６の実施の形態におけるパーソナルコンピュータ１が実行する処理のフローチャートを示す図である。
【発明を実施するための最良の形態】
【００１２】
本発明者は、上記課題を発見するに当たり、色の見え実験を行った。【００１３】
まず、色の見え実験について説明する。この実験は、色の見えに熟練した被験者に、色温度の異なる２つの視環境に於いて、色の見えが近く見える色を選択してもらう実験である。色温度の異なる視環境にて、順応ファクタＤを変えて色変換した複数の色の中から、見えが最も近くなる色を選んでもらう色の見え実験を行うと、色相に依存して最適な順応ファクタＤが変化する結果が得られる。【００１４】
実験方法は、まず、色温度Ｔ1の視環境下に参照色Ａ（ｈ＊）を表示する。参照色Ａ（ｈ＊）は、色相ｈ＊により表される色である。なお、色相ｈ＊は色相角で表される。色温度Ｔ2の視環境下に、参照色Ａ（ｈ＊）から色温度Ｔ1、Ｔ2の違いを考慮してCIECAM02にて色変換した結果を表示する。このとき、順応ファクタDは照明輝度や周囲の明るさ等の視環境から予測される値ではなく、Ｄ=0.0〜1.0の間で変えた複数の色Ｂ（ｈ＊，Ｄ）を選択肢として表示する。被験者は、色温度T1の視環境下でＡ（ｈ＊）を見たときの色の見えと、色温度T2の視環境下でＢ（ｈ＊，Ｄ）（Ｄ=0.0， …,1.0）を見たときの色の見えを比較し、両者の見えが最も近い色Ｂ（ｈ＊，Ｄ）を選択する。この様な実験を、参照色A(h*)の輝度や彩度は変えずに色相角ｈ＊のみ変えた複数の色について行う。【００１５】
更に複数の被験者に複数回ずつ実験を行ってもらい、結果を集計すると図１の様な結果が得られた。図１は最適な順応ファクタＤh*と色相角ｈ＊の関係を示しており、横軸は色相角ｈ＊（単位はdeg）、縦軸は夫々の実験で最も見えが近いと選ばれた最適順応ファクタＤh*の平均値である。本実施の形態では、ｈ＊=30deg（赤）、ｈ＊=90deg（黄）、ｈ＊=150deg（緑）、ｈ＊=210deg（シアン）、ｈ＊=270deg（青）、ｈ＊=330deg（マゼンタ）の６色についての実験を行った。図１の結果から色相に依存して最適な順応ファクタが変化しており、h*=90deg（黄）でDh*を大きく、h*=270deg（青）でＤh*を小さくした方がより色の見えが近くなることが分かる。【００１６】
また、図１には、色温度4000Ｋに該当する光源使用時と色温度10000Ｋに該当する光源使用時における順応ファクタＤh*（ｈ＊）と色相角ｈ＊の最適な関係を図示した。これは先に述べた（色の見え実験結果）と同様な手法により、更に照明光源を変えることで得られた知見である。このように、光源が変われば順応ファクタＤh*（ｈ＊）が変わることを示している。【００１７】
発明者の考察によると、これはＬ、Ｍ、Ｓ、３つの錐体で感知する光量の違いに起因する。ある光源を用いて白を観察した場合、Ｌ、Ｍ、Ｓそれぞれの錐体で感知する光量LW,MW,SWは、図２で表される錐体の分光感度L(λ), M(λ), S(λ)と図３で表される様な光源の分光特性Ldw(λ)の積で表される。【００１８】
【数２】
2008062874.tif 000004
【００１９】
例えばD65（色温度約6500K）光源下では、白を観察した場合、LW、MW、SWの各値は図４の各グラフの積分値となり、ほぼ同程度となる。一方、A光源（色温度2854K）下でLW、MW、SWの各値は図５の各グラフの積分になり、LWはSWに比べ大きい値になる。即ち、L、M、Sの３つの錐体それぞれが感知している輝度（順応輝度）は、錐体毎に、視環境に於ける照明の分光特性と輝度によって変化する為、シーンの照明条件や視環境への順応度合いもそれぞれ錐体毎に異なることになる。なお、白を観察している場合で説明したが、画像やシーン観察時に錐体が感知する輝度は、画像やシーンの平均輝度に応じて変化する。【００２０】
本発明は、このような新規な知見に基づいた発明である。【００２１】
次に各実施の形態を説明する。【００２２】
−第１の実施の形態−
図６は、本発明の一実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１で実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。【００２３】
パーソナルコンピュータ１が画像処理のために実行するプログラムは、図６の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。パーソナルコンピュータ１は、ＣＰＵ（不図示）、メモリ（不図示）、周辺回路（不図示）、モニタ６などから構成され、ＣＰＵがインストールされたプログラムを実行する。【００２４】
プログラムがインターネットやその他の電気通信回線を経由して提供される場合は、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。【００２５】
本実施の形態のパーソナルコンピュータ１は、撮影シーンの照明条件で撮影された画像データを、人間の色順応特性を考慮して、撮影シーンの照明条件とは異なる画像観察時の視環境に応じた色の見えを再現した画像データに変換する。【００２６】
そこで、本実施の形態では、撮影シーンにおける照明の種類と画像観察時における照明の種類を特定するために、各照明の照明白色点データを得て、その照明白色点に基づいて、色を表すパラメータ、錐体の色空間の３原色ＬＭＳ毎に順応ファクタＤを決定した。【００２７】
図７は、第１の実施の形態におけるパーソナルコンピュータ１が実行する処理のフローチャートを示す図である。【００２８】
まずステップＳ１１にて、撮影画像を取得する。撮影画像は、複数の画素から構成されている。この撮影画素の画素値（色）は、カメラの分光感度特性にあった固有の色空間であるRGBの３つのパラメータにより記述されている。【００２９】
次にステップＳ1２に進む。ステップＳ１２では、撮影シーンの照明に関する情報を取得する。即ち、ＣＩＥ1931XYZ表色系で示された撮影シーンの照明白色点(XW,YW,ZW)と輝度YW0と周囲輝度YSW0である。例えば分光放射輝度計などを用いて撮影シーンの照明白色点、及び輝度を測定する。そして、その結果をユーザ（観察者）がキーボードから入力した値を読み込む。又はデジタルカメラに備わっているオートホワイトバランス機能を用いて、撮影シーンの照明白色点(XW,YW,ZW)を算出し、露出を自動調整する為に用いる測光機能の結果を解析して撮影シーンにおける輝度YW0を算出してもよい。周囲輝度YSW0は、測光範囲を広げて測光した結果を使用して算出してもよいし、撮影者が予め入力し画像に付加された情報やキーボードから入力した値を使用してもよい。【００３０】
この撮影シーンの照明白色点(XW,YW,ZW)は、LMS座標系に変換しておく。この変換された値を (LW,MW,SW)とする。【００３１】
【数３】
2008062874.tif 000005
【００３２】
尚、MCAT02はＣＩＥ1931XYZ表色系からCIEが定めた色順応変換に適した錐体の色空間LMSへの変換マトリックスである。詳細は、次に式（７）に示す。【００３３】
【数４】
2008062874.tif 000006
【００３４】
ステップS１２１では、ステップS１２で求めた撮影シーンの照明に関する情報を用いて、順応輝度と周囲の明るさで決まるパラメータFを求める。ここでFは、撮影シーンにおける輝度YW0と撮影シーンにおける周囲輝度YSW0の比を用いて、CIECAM02で定義されているテーブルから補間して求める。また順応輝度LAは、LA＝YW0/5から求める。尚、順応輝度LAやパラメータFの算出は、別の方法で求めてもよい。例えば順応輝度LAは、画像全体の平均輝度から推定してもよく、画像全体の平均輝度が白の輝度値に対してm[%]であれば、LA＝ｍ・YW0/100として算出してもよい。【００３５】
次に、ステップS１２で算出した錐体の色空間における白色点(LW,MW,SW)と順応輝度LA、パラメータFを用いて、L、M、Sの各値に対する順応ファクタDL、DM、DSを算出する。なお、各値は式（８）から式（１０）までを用いて、算出することができる。【００３６】
【数５】
2008062874.tif 000007
【００３７】
ステップＳ１３では、画像観察時の視環境に関する情報を取得する。標準視環境にてモニタ観察することを前提とすれば、sRGB標準視環境（白色点=D65、輝度Ydevice0'=80Cd/m2、周囲輝度YSW0'=4.1Cd/m2）である。sRGB標準視環境と異なる視環境で観察する場合や画像をプリントした印刷物で観察する場合には、パーソナルコンピュータ１は、ユーザ（観察者）がキーボード等で入力した画像観察に使用するデバイスの白色点(Xdevice',Ydevice',Zdevice')、輝度Ydevice0'、および周囲照明白色点(XSW',YSW',ZSW')、周囲照明輝度YSW0'を読み込み、デバイス白色点と周囲照明白色点の混合として画像観察視環境に於ける照明白色点(XW',YW',ZW')、輝度YW0'を決定する。【００３８】
具体的には、画像観察に使用するデバイス光源と周囲照明光源の影響の比率Rmix'を用い、以下に示すように式（１１）から式（１５）までを用いて、照明白色点(XW',YW',ZW')を算出する。【００３９】
【数６】
2008062874.tif 000008
【００４０】
ステップS１３１では、ステップS１３で求めた画像観察時の視環境に関する情報を用いて、順応輝度LA’、周囲の明るさで決まるパラメータＦ'を求める。ここでパラメータF'は、観察時視環境における輝度YW0'と観察時視環境における周囲輝度ＹSW0’の比を用いて、CIECAM02で定義されているテーブルから補間して求める。また順応輝度LA’は、LA’＝YW0’/5から求める。尚、順応輝度LA’やパラメータF’の算出は、ステップ121と同様に別の方法で求めてもよい。【００４１】
次に、ステップS13で算出した錐体の色空間における白色点(LW',MW',SW')と順応輝度ＬA’、パラメータF'を用いて、L、M、Sの各値に対する順応ファクタDL’、DM’、DS’を算出する。なお、各値は式（１６）から式（１８）までを用いて、算出することができる。【００４２】
【数７】
2008062874.tif 000009
【００４３】
次にステップＳ１４に進む。入力画像の画素はカメラの分光感度特性にあった固有の色空間であるRGB表色系でRGBの３つのパラメータにより記述されているので、予め決まっているRGB表色系からXYZ座標系に値を変換する際には、マトリックスMRGB→XYZを使用して、CIE 1931 XYZ色空間へ変換する（式１９）。【００４４】
【数８】
2008062874.tif 000010
【００４５】
次にステップＳ1５に進み、ステップＳ1２、Ｓ１３で読み込んだ視環境の違いと、ステップＳ１２１、またはS１３１で算出したDL、DM、DS 、DL’、DM’、DS’を使用して、撮影シーンの照明条件下に於ける色と色の見えが近くなる観察照明条件下の色を算出する。【００４６】
ここで使用する色の見えモデルとしては、CIECAM02やvon Kries色順応式など視環境の違いを考慮した色順応変換式であればよい。CIECAM02を使用する場合は、CIE1931XYZ表色系で表された画素値XYZからＣＩＥＣＡＭ02で定義されたJChへの変換では、定義式から算出される順応ファクタDの代わりに、ステップＳ１２１で算出したDL、DM、DSをCAT02マトリックスで変換後の錐体応答に夫々使用し、JChからX'Y'Z'への逆変換では、S１３１で算出したDL’、DM’、DS’を夫々使用すればよい。ｖon Kriesの色順応式を使用する場合には、式（２０）から式（２３）までを用いて色変換を行う。【００４７】
【数９】
2008062874.tif 000011
【００４８】
ステップＳ１６に進み、CIE1931XYZ表色系で表された画素値X'Y'Z'から出力画像の色空間R'G'B'に変換する。その変換式を式（２４）に示す。MXYZ→sRGBはＣＩＥ1931ＸＹＺ表色系のXYZの各値から出力画像の色空間RGBに変換するマトリックスであり、出力画像の色空間をsRGBとすれば、規格で決まっているマトリックスを使用すればよい。【００４９】
【数１０】
2008062874.tif 000012
【００５０】
ステップＳ１７では、ステップＳ１４からステップＳ１６までの処理を全画素に対して、行ったか否かの判断を行う。全画素に対して、処理が終了していなければ、上記ステップＳ1４に戻し、処理を繰り返す。全画素終了したら、ステップＳ１８に進み画像を出力して終了する。【００５１】
以上のようにして、画像撮影時のシーンの照明条件と、撮影画像を観察する照明条件が異なる場合に、精度良く近い色の見えを再現できる。上述の様に、本実施の形態の画像処理装置では、視覚の生理原色毎に最適な順応ファクタを使用して変換している為、変換対象画素の色相によらず、同一の順応ファクタを使用しても、正確な色の見え予測をすることができる。【００５２】
上記順応ファクタの式(8)〜(10)、(16)〜(18)は、L、M、Sの錐体に入る光量比に応じて順応ファクタを変えていることを示している。具体的には、白を観察した場合に、錐体で感知する光量が大であるほど順応ファクタの値は大となるように設定されている。【００５３】
本実施の形態では色の見えに応じた色の変換を錐体応答に基づいた色空間であるＬＭＳ空間内で色変換を行った。それゆえ、人間の知覚に適した色変換が可能となる。【００５４】
−第２の実施の形態−
次に、デジタルカメラなどに搭載されている演算処理能力が劣る画像処理装置でも、高速に最適な色変換が可能となる実施の形態を説明する。【００５５】
本実施の形態の特徴の一つは、マトリックス変換による演算を必要とせず、演算処理が大幅に低減できる点である。【００５６】
図８は、本実施の形態のデジタルカメラ３０の構成を示す図である。デジタルカメラ３０は、制御部３１、撮像部３２、メモリ３３、モニタ３４、測光部３５などから構成される。モニタ３４は、デジタルカメラ３０の背面に設けられた液晶モニタである。【００５７】
制御部３１は、マイクロプロセッサおよび周辺回路などから構成され、メモリ３３内に格納されたプログラムを実行することによりデジタルカメラ３０の各種の制御および以下で説明する画像処理を行う。撮像部３２は、ＣＣＤなどの撮像素子（イメージセンサ）から構成され、撮影レンズなどの撮影光学系（不図示）を介して入射する被写体からの光束を受光して電気信号に変換し、変換された電気信号をデジタル変換して画像データとして出力する。撮像部３２は、ＲＧＢカラーフィルターを有し、ＲＧＢ表色系で使用されるパラメータからなる画像データを出力する。【００５８】
デジタルカメラ３０の制御部３１が実行する画像処理は図９を用いて説明する。なお、図７と同一ステップは、第1の実施の形態と同じ処理を行う工程なので、説明を省略する。【００５９】
ステップＳ１１では、撮像部３２により撮影された撮影画像を取得する。ステップＳ２２では撮影シーンに関する情報を取得する。詳細は第１の実施の形態と同様だが、撮影シーンの白色点を分光測色計で計測された測色値（ＸW、ＹW、ＺW）の代わりに、デジタルスチルカメラに備わっているオートホワイトバランス機能を用いて、白に対する撮像素子の出力（ＲW、ＧW、ＢW）を取得する。【００６０】
次にステップＳ２２１に進み、順応輝度ＬA、周囲の明るさで決まるパラメータＦを算出し、白色点（ＲW、ＧW、ＢW）を基に、RGBそれぞれに対応する順応ファクタＤR、ＤG、ＤBを算出する。順応輝度ＬA、周囲の明るさで決まるパラメータＦの算出方法は、第１の実施の形態と同様である。例えば、順応ファクタＤR、ＤG、ＤBは、式（２５）から式（２７）までに示す式で算出する。【００６１】
【数１１】
2008062874.tif 000013
【００６２】
次にステップS２３に進み、順応度合いを考慮して、色の見えに応じた画素値の変換を行う。その変換方法は、式（２８）に示すとおりである。【００６３】
【数１２】
2008062874.tif 000014
【００６４】
ステップＳ１７では、全画素について処理が終了するまで、ステップS２３を繰り返す。全画素終了したら、ステップS１８に進み、色の見えに応じた画素値に変換された画像データを出力して終了する。【００６５】
本実施の形態によれば、順応を考慮した色の見えによる変換を行うことで、より色の見えが近い再現を簡単にカメラ内で処理することができる。なお、本実施の形態では、従来のデジタルカメラに実装されたホワイトバランスの処理に代替して、本実施の形態の処理を行うことで、ホワイトバランスで得られる効果を得られる。【００６６】
第２の実施の形態におけるデジタルカメラでは、従来のホワイトバランスの代替として、撮影時のシーンにおける白色点だけを用いて各色の順応ファクタＤR、ＤG、ＤBを求めた。次に、デジタルカメラの背面に搭載された液晶モニタで表示したときに、より撮影時の色の見えに近い色の見えを再現できるデジタルカメラを第３の実施の形態で説明する。【００６７】
−第３の実施の形態−
本発明の第３の実施の形態におけるデジタルカメラは第２の実施の形態におけるデジタルカメラと同じ構成を有する。【００６８】
次に、画像処理のフローチャートについて、図１０を用いて説明する。なお、図７と同じステップ番号の工程は、第１の実施の形態と同じ処理なので、ここでの説明は省略する。【００６９】
ステップＳ１１からステップ１２１までは、撮像部３２により撮影された撮影画像を取得し、順応輝度LA、周囲の明るさで決まるパラメータFを算出し、順応ファクタDL,DM,DSを算出する工程である。詳細は第１の実施の形態と同様である。【００７０】
次に、ステップＳ３３では画像観察時の視環境に関する情報を取得する。ここで画像観察デバイスはデジタルカメラ３０のモニタ３４になる。従って、予めメモリ３３にモニタ３４の白色点、並びに輝度を記憶しておき、このステップで、メモリから読み出すことで、デバイスの白色点(Xdevice',Ydevice',Zdevice')、輝度Ydevice0'を得る。一方、デジタルカメラに実装されている測光部３５による測光機能を利用して周囲輝度を算出し、周囲照明輝度YSW0'として設定する。周囲の白色点(XSW',YSW',ZSW')は、直前に撮影した画像のホワイトバランスデータから光源を決定し、光源の白色点として読み込む。読み込まれたデータを基に、デバイス白色点と周囲照明白色点の混合として画像観察視環境に於ける照明白色点(XW', YW ',ZW')、輝度YW0'を算出する。その方法は、第１の実施の形態と同様なので説明を省略する。【００７１】
次にステップS１３１〜Ｓ１８は第１の実施の形態と同様である。ステップＳ１８で出力した画像をモニタ３４に表示すれば、視環境に関する情報に関してユーザが入力を省略しても、簡単にデジタルカメラ３０の背面に設けられたモニタ３４で実シーンと見えの近い画像が表示される。【００７２】
なお、ステップS３３については、周囲照明白色点としてユーザが「太陽光、曇天、電球、蛍光灯」などのメニューから観察時の光源を選択し、その選択されたメニューに応じて、その光源に対応する白色点を読み込むことでも良い。【００７３】
また、デジタルカメラ３０のモニタ３４として、背面に設けられたモニタに画像表示する場合を例に説明したが、モニタ３４の代わりにデジタルカメラ３０に備わった接眼ビューファインダに表示する場合にも本発明を同様に適用できる。この場合、モニタ３４を接眼ビューファインダに読み替えるだけでよく、ステップＳ３３で接眼ビューファインダの照明白色点と輝度を読み込み、ステップＳ１８で接眼ビューファインダに出力画像を表示するすれば、実シーンと近い見えを接眼ビューファインダに再現できる。【００７４】
−第４の実施の形態−
第１から第３の実施の形態では、撮影した画像をモニタやプリントで観察する際、撮影シーンの照明条件と画像観察時の視環境の違いを考慮して色変換する場合を例に説明した。【００７５】
一方、想定された視環境下での色の見えを考慮して色変換された画像を観察する際、場合によっては想定が外れ、想定された視環境とは異なる視環境下で見る場合もある。例えば、ある視環境（例えばモニタ表示）にて観察することを想定して、色変換された画像を想定された視環境とは異なる視環境（印刷したハードコピーの観察）にて観察する場合である。この場合、第1の実施の形態を基にその相違点について、図７を用いて説明する。【００７６】
なお、想定時の観察する環境における視環境を第1の視環境、実際の画像を観察する視環境を第2の視環境として、以下の説明を行う。【００７７】
ステップS11では第1の視環境を基に色変換がなされた画像データを取得する。ステップS１２では、撮影シーンの照明に関する情報の代わりに、第１の視環境に関する情報を取得する。第１の視環境に関する情報は、入力画像データ作成時に使用された、入力画像データ観察に使用する機器や周囲環境の照明に関する条件である。画像データに第１の視環境に関するデータが無い場合は、sRGB標準視環境（白色点=D65、輝度Ydevice0=80 Cd/m2、周囲照明白色点=D50、周囲輝度YSW0=4.1 Cd/m2）を代入することでも良い。そして、sRGB標準視環境におけるデバイス白色点と周囲照明白色点の混合を行い、第１の視環境に於ける照明白色点(XW,YW,ZW)、輝度YW0を得る。【００７８】
一方、sRGB標準視環境と異なる視環境で観察するために色変換が行われている画像データの場合には、その画像作成に使用したデバイスの白色点(Xdevice,Ydevice,Zdevice)、輝度Ydevice0、および周囲照明白色点(XSW,YSW,ZSW)、周囲照明輝度YSW0を読み込み、デバイス白色点と周囲照明白色点の混合を行い、第１の画像観察視環境に於ける照明白色点(XW,YW,ZW)、輝度YW0を得る。【００７９】
ステップS１２１は、第1の実施の形態の図７のS121と同様に、ステップS12で取得したデータを用いて、行う。ステップS１３では、第２の視環境に関する情報を取得する。第２の視環境に関する情報とは、実際に出力画像データ観察に使用する機器や周囲環境の照明に関する条件である。即ち、出力画像観察に使用する照明の白色点(Xdevice',Ydevice',Zdevice')、輝度Ydevice0'、および周囲照明白色点(XSW',YSW',ZSW')、周囲照明輝度YSW0'をキーボードなどで入力し、デバイス白色点と周囲照明白色点の混合として出力画像観察時の視環境に於いて順応している照明白色点の錐体応答(ＸW',ＹW',ＺW')、輝度YW0'を算出する。【００８０】
例えば、出力画像をプリントした印刷物で観察する場合には、ユーザ（観察者）がキーボード等で入力した出力画像観察に使用する照明の白色点(Xdevice',Ydevice',Zdevice')、輝度Ydevice0'、および周囲照明白色点(XSW',YSW',ZSW')、周囲照明輝度YSW0'を使用する。また、プリンタ観察の標準視環境を使用しても良い。【００８１】
出力画像をプロジェクタに表示する場合は、ユーザがキーボード等で入力した以下の値を使用する。プロジェクタにおけるデバイスの白色点(Xdevice',Ydevice',Zdevice')、輝度Ydevice0'は、スペックに書かれているデータを用いるか、ユーザ実測値を入力する。周囲照明白色点(XSW',YSW',ZSW')、周囲照明輝度YSW0'は、暗室で観察する場合はYSW0'=0、（XSW',YSW',ZSW')=(Xdevice',Ydevice',Zdevice')を入力する。暗室でない場合は、ユーザが周囲視環境を実測し、実測値を入力する。【００８２】
観察時視環境における照明白色点(LW',MW',SW')と、その輝度YW0'の算出は、第１の実施の形態同様、出力画像観察に使用するデバイス光源と周囲照明光源の影響の比率Rmix'を用いて算出する。【００８３】
ステップ１３１は第1の実施の形態の図７のS131と同様にステップS13で取得したデータを用いて行う。ステップS１４以降の工程では、第1の実施の形態と同じに行う。
−第４の実施の形態の変形例−
次に、既に取得された画像を照明白色点の異なる表示装置で表示する場合、例えば、ある画像をプロジェクタに投影しながら、大衆に観察させ、一方、画像提供者は液晶ディスプレイなどの別の表示装置で見るような場合、色の見えを考慮した色変換をどちらかの表示画像データに行わないと、色の見えに相違感が生じる。このような場合について、第4の実施の形態と同じ工程で色の見えを再現することが可能となる。【００８４】
例えば、画像提供者が観察している液晶ディスプレイで表示された画像と同じ色の見えを大衆に閲覧させているプロジェクタの表示画像に再現したい場合は、次の通りである。なお、ここでは液晶ディスプレイで表示させた画像のことを「入力画像」と称し、プロジェクタに投影した画像のことを「出力画像」と称すことにする。【００８５】
まず、図７に示すフローチャートを元に説明すると、ステップＳ１１では、入力画像を取得する。次に、ステップS１２では、撮影シーンの照明に関する情報の代わりに、液晶ディスプレイにおける視環境に関する情報を取得する。この視環境に関する情報は、液晶ディスプレイに使用される光源に関する条件や周囲環境の照明に関する条件である。sRGB標準視環境（白色点=D65、輝度Ydevice0=80 Cd/m2、周囲照明白色点=D50、周囲輝度YSW0=4.1 Cd/m2）を代入することでも良い。そして、sRGB標準視環境におけるデバイス白色点と周囲照明白色点の混合を行い、第１の視環境に於ける照明白色点(XW,YW,ZW)、輝度YW0を得る。【００８６】
一方、ステップＳ１３では、画像観察時の視環境に関する情報として、出力画像観察に使用する照明の白色点(Xdevice',Ydevice',Zdevice')、輝度Ydevice0'、および周囲照明白色点(XSW',YSW',ZSW')、周囲照明輝度YSW0'を入力する。そして、デバイス白色点と周囲照明白色点の混合として出力画像観察時の視環境に於いて順応している照明白色点(ＸW',ＹW',ＺW')、輝度YW0'を算出する。具体的な入力例は第4の実施の形態と同じなので、説明は省略する。【００８７】
その他のステップS１２１、S１３１、S１４からS１８は、第1の実施の形態の図７と同様であるので説明を省略する。【００８８】
このようにステップS１２とステップS１３で各視環境に関する情報を取得することで、異なる表示機器で、異なる視環境下においても、色の見えが再現された画像を表示することが可能となる。【００８９】
−第５の実施の形態−
順応輝度LA、順応輝度LA'の算出では、全画像全体で均一の値としたが、数画素毎に、もしくは領域毎に算出してもよい。例えば変換対象画素とその周囲画素の所定数画素を平均したときの相対輝度値ｙや、変換対象画素とその周囲画素とから求められた代表色の相対輝度値yを用いて、白色点の絶対輝度Yw0、Yw0’及び相対輝度YW、 YW'とを基に、順応輝度LA＝ｙ・YW0／YW、LA’＝ｙ・YW0’／YW’を算出してもよい。【００９０】
次に、第１の実施の形態にこの変更を適用した場合の、パーソナルコンピュータ１が実行する処理の流れを図１１に示す。【００９１】
ステップS１１、S12は第１の実施の形態の図７と同様の処理なので、説明を省略する。ステップS１２２では、ステップS１２で求めた撮影シーンの照明に関する情報を用いて、周囲の明るさで決まるパラメータFを求める。Fの求め方は第１の実施の形態のステップS１２１と同様であるので説明を省略する。【００９２】
ステップS１３は第１の実施の形態の図７と同様の処理なので、説明を省略する。【００９３】
ステップS１３２では、ステップS１３で求めた画像観察時の視環境に関する情報を用いて、周囲の明るさで決まるパラメータF’を求める。F’の求め方は第１の実施の形態のステップS１３１と同様である。ステップS１４は第１の実施の形態の図７と同様の処理なので、説明を省略する。【００９４】
ステップS１４１では、変換対象画素とその周囲の所定数画素から、平均相対輝度値yを算出し、平均相対輝度ｙと各照明白色点の絶対輝度Yw0、Yw0’及び各相対輝度YW、 YW’とを基に、式（２９）及び式（３０）からLA、LA'を算出する。【００９５】
【数１３】
2008062874.tif 000015
【００９６】
次にステップS１２２、S１３２で求めたF、F'値を用いて、L錐体、M錐体、S錐体のそれぞれに対応する順応ファクタDL、DM、DS、DL'、DM'、DS‘を算出する。順応ファクタDL、DM、DS、DL'、DM'、DS‘の算出方法は、第１の実施の形態のステップS１２１、S１３１と同様であるので説明を省略する。【００９７】
ステップS１５からS１８までは第１の実施の形態の図７と同様の処理なので、説明を省略する。【００９８】
このように、順応輝度LA、LA’を求める際に、どの画素も実際に順応に寄与する注目画素とその周辺画素とから決定した平均輝度ｙを用いて算出した。このようにすることで、画素毎に好ましい順応ファクタが設定できる。それゆえ、より最適な色の見えを再現する色変換が可能となる。なお、この手法は第2から第４の実施の形態にも適用できる。【００９９】
尚、順応輝度LA、LA’の求め方は、上述の手法以外でもよく、変換対象画素に応じた順応輝度を求められれば他の手法でもよい。【０１００】
−第６の実施の形態−
第１の実施の形態では、撮影画像を入力として、撮影シーンを見ているときの見えを出力画像観察時に再現する例で説明した。また第４の実施の形態では、第１の視環境で観察することを前提に作成された画像を、第１の視環境とは異なる第２の視環境にて観察する場合を例に説明した。【０１０１】
第６の実施の形態では、第１の視環境で観察している画像を別の第２の視環境で観察する場合について説明する。例えば、モニタ観察画像をプリント出力する場合やプロジェクタで投影して観察する場合に、モニタ観察画像と見えを合わせる場合である。また、ある視環境のモニタで画像を観察しながら所定の画像処理をした画像について、他の異なる視環境のモニタでその処理された画像を観察する場合に、両者のモニタ観察画像の見えを合わせる場合である。すなわち、入力画像観察時の第１の視環境と出力画像観察時の第２の視環境での色の見えを合わせるようにするものである。【０１０２】
図１２は、第６の実施の形態におけるパーソナルコンピュータが実行する処理のフローチャートを示す図である。図１２の処理は、第１の実施の形態の図６と同様にパーソナルコンピュータ１が処理を実行する。【０１０３】
図１２の処理が第１の実施の形態の図７の処理と異なるのは、図７のステップＳ１２に対応するステップＳ５２の処理のみである。第１の実施の形態のステップＳ１２では、撮影シーンの照明に関する情報を取得していた。しかし、第６の実施の形態のステップＳ５２では、第１の視環境（入力画像観察時の視環境）での画像観察時の視環境に関する情報を取得する。ステップＳ１３では、第２の視環境（出力画像観察時の視環境）での画像観察時の視環境に関する情報を取得することになる。【０１０４】
ステップＳ５２の処理は、ステップＳ１３の処理と同様であるのでその説明を省略する。また、その他の処理は第１の実施の形態の処理と同様であるのでその説明を省略する。【０１０５】
以上のようにして、第６の実施の形態では、異なる視環境間で観察する場合に、色の再現を一致させることができる。この場合、第１の実施の形態と同様に、視覚の生理原色毎に最適な順応ファクタを使用して変換している為、変換対象画素の色相によらず、同一の順応ファクタを使用しても、正確な色の見え予測をすることができる。【０１０６】
［その他の変形例］
尚、第１から第６の実施の形態は、CIECAM02の様な色の見えモデルや白色点変換のみを考慮したvon Kriesの色順応変換など、色順応を考慮した多様な色変換方法に適用可能である。【０１０７】
尚、第１、第4、第5、第６の実施の形態のステップＳ１３や第3の実施の形態のステップS３３では、出力画像観察視環境に於ける照明白色点として、CIE 1931 XYZ表色系の値(XW',YW',ZW')を算出している。しかし錐体応答の空間に於ける画素値(LW',MW',SW')を、出力画像観察視環境に於ける照明白色点として取得してもよい。【０１０８】
同様に第4の実施の形態のステップS１２では照明白色点(XW,YW,ZW)を算出する代わりに、錐体の色空間における白色点(LW,MW,SW)を入力画像観察時の視環境における照明白色点として取得しても良い。第６の実施の形態のステップＳ５２においても同様である。【０１０９】
上記第１の実施の形態では、モニタ６に画像表示する場合を例に説明したが、出力画像をプロジェクタやプリントで表示してもよい。プリントで表示する場合の入力データの例はステップＳ１３の説明に有る通りである。プロジェクタに表示する場合、出力画像観察時の視環境は、ユーザがキーボード等で入力した値を使用したり、使用するプロジェクタから取得する。入力する場合は、デバイスの白色点(Xdevice',Ydevice',Zdevice')、輝度Ydevice0'は、スペックに書かれているデータを用いるか、ユーザが実測値を入力する。周囲照明白色点(XSW',YSW',ZSW')、周囲照明輝度YSW0'は、暗室すなわち暗い部屋で観察する場合はYSW0'=0、(XSW',YSW',ZSW')=(Xdevice',Ydevice',Zdevice')を入力する。暗室でない場合は、ユーザが周囲視環境を実測し、実測値を入力する。【０１１０】
なお、もちろん順応ファクタＤを入力画像取得時又は入力画像観察時と、出力画像観察時の両方を必ず具備しなくても良い。しかしながら、この両方の順応ファクタを用いることで、より高い精度で色変換が行われ、更に各刺激値毎に順応ファクタを用意することで、決め細やかに色の見えを再現することが可能となり、忠実な画像再現がどのような環境下でも達成できるという効果をもたらす。【０１１１】
尚、第1から第６の実施の形態では、順応度を表す指標としてCIECAM02で定義された順応ファクタDの定義式を変形して、色順応変換式に使用する例で説明したが、順応輝度を考慮して順応度を表す指標であれば、他の定義式でも良い。また色を表すパラメータである3原色(LMSやRGBなど)は入ってくる光量に対して同程度の感度で順応が働くとして説明した。即ち、各3原色で同じ形式の式を用いて、実際に入る光量の違いを反映した式を使用している。しかし本発明はこのような形態だけに限られず、３原色それぞれに適用する順応度を変えていれば、同じ光量に対する３原色それぞれの感度の違いを考慮して、３原色それぞれで異なる関数もしくは異なる係数を使用して、色変換を行っても良い。【０１１２】
また、本実施の形態では、色順応変換を行う色空間として、視覚の錐体応答を示す生理原色LMSによる色空間とカメラなどデバイスの色空間で行う場合で説明したが、色順応変換に適した色空間であればその他の色空間で行ってもよい。【０１１３】
また、本実施の形態では、視覚の錐体応答を示す生理原色LMSとして、CIECAM02の色順応変換で採用され、CIE 1931 XYZ表色系からMCAT02を用いて式（7）で変換される色空間を使用したが、Hunt-Pointer-Estevez錐体応答空間、Bradfrod matrixで変換される色空間など、その他に提案されている他の色空間を使用してもよい。【０１１４】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。【０１１５】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００６年第３１５９０９号（２００６年１１月２２日出願）
【図１】
2008062874.tif 000016
【図２】
2008062874.tif 000017
【図３】
2008062874.tif 000018
【図４】
2008062874.tif 000019
【図５】
2008062874.tif 000020
【図６】
2008062874.tif 000021
【図７】
2008062874.tif 000022
【図８】
2008062874.tif 000023
【図９】
2008062874.tif 000024
【図１０】
2008062874.tif 000025
【図１１】
2008062874.tif 000026
【図１２】
2008062874.tif 000027
【国際調査報告】
2008062874.tif 000028
2008062874.tif 000029
2008062874.tif 000030
2008062874.tif 000031