(57)【要約】【課題】変換の対象がカメラで撮影された画像であったとしても適切な見え変換処理を行う。【解決手段】本発明の画像処理装置は、第１の視環境下で観察される画像に対して見え変換処理を施すことにより、第１の視環境とは異なる第２の視環境下での画像の見えを、第１の視環境下での画像の見えと同じにする変換手段と、見え変換処理のパラメータを画像中に存在する物体の種類に応じて設定する設定手段とを備えたものである。【選択図】    図１
2010193375.tif 000002
【特許請求の範囲】
【請求項１】
第１の視環境下で観察される画像に対して見え変換処理を施すことにより、前記第１の視環境とは異なる第２の視環境下での前記画像の見えを、前記第１の視環境下での前記画像の見えと同じにする変換手段と、
前記見え変換処理のパラメータを前記画像中に存在する物体の種類に応じて設定する設定手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記見え変換処理には、
色順応変換処理が含まれ、
前記設定されるパラメータには、
前記色順応変換処理で使用される順応度のパラメータが含まれる
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記設定手段は、
前記画像中に存在する物体が非人工物であった場合には、その被写体が人工物であった場合と比較して前記順応度を高めに設定する
ことを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置において、
前記設定手段は、
前記画像中に存在する物体が食物であった場合には、前記順応度を最高値に設定する
ことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記見え変換処理には、
彩度変換処理が含まれ、
前記設定手段が設定するパラメータには、
前記彩度変換処理で使用される彩度ゲインのパラメータが含まれる
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記設定手段は、
前記画像中に存在する物体が人物であった場合には、その物体が人物以外であった場合と比較して前記彩度ゲインを低めに設定する
ことを特徴とする画像処理装置。
【請求項７】
請求項５に記載の画像処理装置において、
前記設定手段は、
前記画像中に存在する物体が屋外の物体であった場合には、その物体が室内の物体であった場合と比較して前記彩度ゲインを高めに設定する
ことを特徴とする画像処理装置。
【請求項８】
請求項１に記載の画像処理装置において、
前記見え変換処理には、
コントラスト変換処理が含まれ、
前記設定手段が設定するパラメータには、
前記コントラスト変換処理で使用されるコントラスト関数のパラメータが含まれる
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記設定手段は、
前記画像中に存在する物体が室内の物体であった場合には、その物体が屋外の物体であった場合と比較して前記コントラスト関数を高めに設定する
ことを特徴とする画像処理装置。
【請求項１０】
請求項１〜請求項９の何れか一項に記載の画像処理装置において、
前記設定手段は、
互いに異なる種類の複数の物体が前記画像中に存在する場合には、それら物体の存在領域毎に前記設定を行う
ことを特徴とする画像処理装置。
【請求項１１】
被写体の像を撮像して画像を生成する撮像手段と、
請求項１〜請求項１０の何れか一項に記載の画像処理装置と
を備えたことを特徴とする撮像装置。
【請求項１２】
第１の視環境下で観察される画像に対して見え変換処理を施すことにより、前記第１の視環境とは異なる第２の視環境下での前記画像の見えを、前記第１の視環境下での前記画像の見えと同じにする変換手順と、
前記見え変換処理のパラメータを前記画像中に存在する物体の種類に応じて設定する設定手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１３】
請求項１２に記載の画像処理プログラムにおいて、
前記見え変換処理には、
色順応変換処理が含まれ、
前記設定されるパラメータには、
前記色順応変換処理で使用される順応度のパラメータが含まれる
ことを特徴とする画像処理プログラム。
【請求項１４】
請求項１３に記載の画像処理プログラムにおいて、
前記設定手順では、
前記画像中に存在する物体が非人工物であった場合には、その被写体が人工物であった場合と比較して前記順応度を高めに設定する
ことを特徴とする画像処理プログラム。
【請求項１５】
請求項１３に記載の画像処理プログラムにおいて、
前記設定手順では、
前記画像中に存在する物体が食物であった場合には、前記順応度を最高値に設定する
ことを特徴とする画像処理プログラム。
【請求項１６】
請求項１２に記載の画像処理プログラムにおいて、
前記見え変換処理には、
彩度変換処理が含まれ、
前記設定手順で設定されるパラメータには、
前記彩度変換処理で使用される彩度ゲインのパラメータが含まれる
ことを特徴とする画像処理プログラム。
【請求項１７】
請求項１６に記載の画像処理プログラムにおいて、
前記設定手順では、
前記画像中に存在する物体が人物であった場合には、その物体が人物以外であった場合と比較して前記彩度ゲインを低めに設定する
ことを特徴とする画像処理プログラム。
【請求項１８】
請求項１６に記載の画像処理プログラムにおいて、
前記設定手順では、
前記画像中に存在する物体が屋外の物体であった場合には、その物体が室内の物体であった場合と比較して前記彩度ゲインを高めに設定する
ことを特徴とする画像処理プログラム。
【請求項１９】
請求項１２に記載の画像処理プログラムにおいて、
前記見え変換処理には、
コントラスト変換処理が含まれ、
前記設定手順で設定されるパラメータには、
前記コントラスト変換処理で使用されるコントラスト関数のパラメータが含まれる
ことを特徴とする画像処理プログラム。
【請求項２０】
請求項１９に記載の画像処理プログラムにおいて、
前記設定手順では、
前記画像中に存在する物体が室内の物体であった場合には、その物体が屋外の物体であった場合と比較して前記コントラスト関数を高めに設定する
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いに異なる２つの視環境の間での画像の見えを一致させる見え変換処理に関する。
【背景技術】
【０００２】
従来、互いに異なる２つの視環境の間での画像の見えが一致するように、その画像へ見え変換処理を施す技術が種々提案されている。特に、ＣＩＥＣＡＭ９７ｓやＣＩＥＣＡＭ０２に代表される見えモデルを利用した見え変換処理は、引用文献１、２、３などに開示されている。これら見え変換処理の変換式は、色票に対するヒトの知覚の実験データに基づいている（特許文献１〜５等を参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、実際にカメラで撮影された画像に対して従来の見え変換処理を施してみると、ユーザーの期待した見えにできないことのあることが判明した。
【０００４】
そこで本発明は、変換の対象がカメラで撮影された画像であったとしても適切な見え変換処理を行うことのできる画像処理装置、撮像装置、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、第１の視環境下で観察される画像に対して見え変換処理を施すことにより、１の視環境とは異なる第２の視環境下での画像の見えを、第１の視環境下での画像の見えと同じにする変換手段と、見え変換処理のパラメータを画像中に存在する物体の種類に応じて設定する設定手段とを備えたものである。
【０００６】
なお、見え変換処理には、色順応変換処理が含まれ、設定されるパラメータには、色順応変換処理で使用される順応度のパラメータが含まれてもよい。
【０００７】
また、設定手段は、画像中に存在する物体が非人工物であった場合には、その被写体が人工物であった場合と比較して順応度を高めに設定してもよい。
【０００８】
また、設定手段は、画像中に存在する物体が食物であった場合には、順応度を最高値に設定してもよい。
【０００９】
また、見え変換処理には、彩度変換処理が含まれ、設定手段が設定するパラメータには、彩度変換処理で使用される彩度ゲインのパラメータが含まれてもよい。
【００１０】
また、設定手段は、画像中に存在する物体が人物であった場合には、その物体が人物以外であった場合と比較して彩度ゲインを低めに設定してもよい。
【００１１】
また、設定手段は、画像中に存在する物体が屋外の物体であった場合には、その物体が室内の物体であった場合と比較して彩度ゲインを高めに設定してもよい。
【００１２】
また、見え変換処理には、コントラスト変換処理が含まれ、設定手段が設定するパラメータには、コントラスト変換処理で使用されるコントラスト関数のパラメータが含まれてもよい。
【００１３】
また、設定手段は、画像中に存在する物体が室内の物体であった場合には、その物体が屋外の物体であった場合と比較してコントラスト関数を高めに設定してもよい。
【００１４】
また、設定手段は、互いに異なる種類の複数の物体が画像中に存在する場合には、それら物体の存在領域毎に設定を行ってもよい。
【００１５】
また、本発明の撮像装置は、被写体の像を撮像して画像を生成する撮像手段と、本発明の何れかの画像処理装置とを備えたものである。
【００１６】
また、本発明の画像処理プログラムは、第１の視環境下で観察される画像に対して見え変換処理を施すことにより、１の視環境とは異なる第２の視環境下での画像の見えを、第１の視環境下での画像の見えと同じにする変換手順と、見え変換処理のパラメータを画像中に存在する物体の種類に応じて設定する設定手順とをコンピュータに実行させるものである。
【００１７】
なお、見え変換処理には、色順応変換処理が含まれ、設定されるパラメータには、色順応変換処理で使用される順応度のパラメータが含まれてもよい。
【００１８】
また、設定手順では、画像中に存在する物体が非人工物であった場合には、その被写体が人工物であった場合と比較して順応度を高めに設定してもよい。
【００１９】
また、設定手順では、画像中に存在する物体が食物であった場合には、順応度を最高値に設定してもよい。
【００２０】
また、見え変換処理には、彩度変換処理が含まれ、設定手順で設定されるパラメータには、彩度変換処理で使用される彩度ゲインのパラメータが含まれてもよい。
【００２１】
また、設定手順では、画像中に存在する物体が人物であった場合には、その物体が人物以外であった場合と比較して彩度ゲインを低めに設定してもよい。
【００２２】
また、設定手順では、画像中に存在する物体が屋外の物体であった場合には、その物体が室内の物体であった場合と比較して彩度ゲインを高めに設定してもよい。
【００２３】
また、見え変換処理には、コントラスト変換処理が含まれ、設定手段で設定されるパラメータには、コントラスト変換処理で使用されるコントラスト関数のパラメータが含まれてもよい。
【００２４】
また、設定手順では、画像中に存在する物体が室内の物体であった場合には、その物体が屋外の物体であった場合と比較してコントラスト関数を高めに設定してもよい。
【００２５】
また、設定手順では、互いに異なる種類の複数の物体が画像中に存在する場合には、それら物体の存在領域毎に設定を行ってもよい。
【発明の効果】
【００２６】
本発明によると、変換の対象がカメラで撮影された画像であったとしても適切な見え変換処理を行うことのできる画像処理装置、撮像装置、画像処理プログラムが実現する。
【図面の簡単な説明】
【００２７】
【図１】電子カメラの概略構成を示すブロック図
【図２】ＣＰＵ１８による見え変換処理を説明するフローチャート
【図３】領域分割を説明する図
【発明を実施するための形態】
【００２８】
［実施形態］
以下、本発明の一の実施形態を説明する。図１は、電子カメラの概略構成を示すブロック図である。図１に示すとおり、電子カメラ１１は、撮像光学系１２と、レンズ駆動部１３と、絞り１４と、絞り駆動部１５と、カラーの撮像素子１６と、ＡＦＥ１７と、ＣＰＵ１８と、第１メモリ１９と、第２メモリ２０と、メディアＩ／Ｆ２１と、通信Ｉ／Ｆ２２と、モニタ２３と、レリーズ釦２４と、測光センサ３０と、環境センサ３１とを有している。ここで、レンズ駆動部１３、絞り駆動部１５、ＡＦＥ１７、第１メモリ１９、第２メモリ２０、メディアＩ／Ｆ２１、通信Ｉ／Ｆ２２、モニタ２３、レリーズ釦２４、測光センサ３０、環境センサ３１は、それぞれＣＰＵ１８と接続されている。
【００２９】
撮像光学系１２は、フォーカシングレンズを含む複数のレンズで構成されている。撮像光学系１２の焦点位置は、レンズ駆動部１３によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１２を１枚のレンズとして図示する。また、絞り１４は、撮像素子１６に入射する単位時間当たりの光量を調節する。この絞り１４の開口量は、ＣＰＵ１８からの指示に応じて絞り駆動部１５が調整する。
【００３０】
撮像素子１６は、撮影時、撮像光学系１２が形成する被写体像を撮像して撮像画像の画像信号を生成する。この撮像素子１６から出力された画像信号はＡＦＥ１７に入力される。
【００３１】
ＡＦＥ１７は、撮像素子１６から出力される画像信号に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ信号処理には、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換などが含まれる。このＡＦＥ１７から出力されたデジタルの画像信号はＣＰＵ１８に入力される。
【００３２】
ＣＰＵ１８は、電子カメラ１１の動作を統括的に制御するプロセッサである。また、ＣＰＵ１８は、撮影時、Ａ／Ｄ変換後の画像信号に対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整、色変換処理など）を施す画像処理部２５として機能する。なお、ＣＰＵ１８は、画像処理部２５による全ての画像処理が施された撮像画像のデータ（通常形式の撮像画像データ）と、画像処理部２５による色補間処理のみが施された撮像画像のデータ（ＲＡＷ形式の撮像画像データ）との双方を取得する。
【００３３】
また、ＣＰＵ１８は、撮像画像に対してパターンマッチングなどの認識処理を施す認識処理部２６として機能する。
【００３４】
また、ＣＰＵ１８は、画像処理部２５及び認識処理部２６を利用し、記憶媒体２８に書き込まれたＲＡＷ形式の撮像画像データに対して見え変換処理を施すことができる。見え変換処理の詳細は、後述する。
【００３５】
第１メモリ１９は、揮発性の記憶媒体（ＳＤＲＡＭなど）で構成されており、ＣＰＵ１８による画像処理の前工程や後工程で撮像画像を一時的に記憶する。また、第２メモリ２０は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第２メモリ２０には、ＣＰＵ１８によって実行されるプログラムが記憶される。
【００３６】
メディアＩ／Ｆ２１は、不揮発性の記憶媒体２８を着脱可能に接続できる。また、メデイアＩ／Ｆ２１は、記憶媒体２８に対し、画像処理後の撮像画像のデータ（ここでは、通常形式の撮像画像データ及びＲＡＷ形式の撮像画像データ）を書き込んだり、記憶媒体２８から撮像画像のデータ（ここでは、通常形式の撮像画像データ及びＲＡＷ形式の撮像画像データ）を読み込んだりする。
【００３７】
記憶媒体２８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１に示したのは、記憶媒体２８の一例としてのメモリカードである。
【００３８】
通信Ｉ／Ｆ２２は、有線または無線の公知の通信回線を介して接続された外部装置とのデータ送受信を、所定の通信規格に準拠して制御する。
【００３９】
モニタ２３は、ＣＰＵ１８の制御下で、記憶媒体２８に書き込まれた撮像画像の再生表示を行う。モニタ２３の表示輝度、表示色バランスの各々は、ユーザーによって任意に設定することが可能であり、ユーザーによるモニタ２３の設定内容は、ＣＰＵ１８によって適宜に検出される。
【００４０】
測光センサ３０は、撮影時、電子カメラの被写界の明るさ（撮影シーンの明るさ）を検出し、その明るさを示す信号（被写界測光値）をＣＰＵ１８へ送出する。この被写界測光値は、撮影で取得された撮像画像のデータ（ここでは、通常形式の撮像画像データ及びＲＡＷ形式の撮像画像データ）と共に、撮像画像データの付加情報として記憶媒体２８へ書き込まれる。
【００４１】
環境センサ３１は、撮影時、電子カメラの周囲の明るさ（ユーザーの周囲の明るさ）を検出し、その明るさを示す信号（環境測光値）をＣＰＵ１８へ送出する。この環境測光値は、撮像で取得された撮像画像のデータ（ここでは、通常形式の撮像画像データ及びＲＡＷ形式の撮像画像データ）と共に、撮像画像データの付加情報として記憶媒体２８へ書き込まれる。
【００４２】
操作釦２４は、撮影時、ＡＦ動作開始の指示入力と、撮像動作開始の指示入力とをユーザーから受け付ける。また、操作釦２４は、撮像画像に関する見え変換処理の開始指示をユーザーから受け付ける。また、見え変換処理に当たり、操作釦２４は、その見え変換処理に必要な情報の入力をユーザーから受け付ける。なお、見え変換処理に必要な情報には、見た側の視環境条件（入力側の視環境条件）と、見せる側の視環境条件（出力側の視環境条件）とがある。
【００４３】
ここで、本実施形態の見え変換処理は、「ユーザーが過去に或る視環境下で撮影した撮像画像を、別の或る視環境下でモニタ２３に再生表示させるときに、撮影時に感じた被写界の見えと同じに見せるための見え変換処理」であると仮定する。この場合、入力側の視環境条件（撮影時における視環境条件）と、出力側の視環境条件（再生時における視環境条件）との双方を電子カメラが自動取得することができる。
【００４４】
そこで本実施形態では、入力側の視環境条件及び出力側の視環境条件の双方を電子カメラが自動取得することとする。
【００４５】
図２は、ＣＰＵ１８による見え変換処理を説明するフローチャートである。なお、この見え変換処理は、撮像画像の再生表示中に見え変換処理の開始指示が入力されたときに、ＣＰＵ１８がプログラムに従って実行する。また、ここでは、見え変換処理の見えモデル（視環境に依存しない色の見えモデル）として、ＣＩＥＣＡＭ０２が使用されるものとする。
【００４６】
ステップＳ１１：ＣＰＵ１８は、再生表示中の撮像画像に関するＲＡＷ形式の撮像画像データと、その撮像画像の付加情報（被写界測光値及び環境測光値）とを記憶媒体２８から読み出し、その撮像画像データ及び付加情報に基づき、入力側の視環境条件、すなわち、入力側の順応白色点（Ｘｗｉ、Ｙｗｉ、Ｚｗｉ）、入力側の順応輝度Ｌａｉ、入力側の周囲条件Ｆｉを算出する。
【００４７】
また、ＣＰＵ１８は、現時点におけるモニタ２３の設定内容（表示輝度及び表示色バランス）と、現時点で環境センサ３１が検出する環境測光値とを参照し、その設定内容（表示輝度及び表示色バランス）及び環境測光値に基づき、出力側の視環境条件、すなわち出力側の順応白色点（Ｘｗｏ、Ｙｗｏ、Ｚｗｏ）、出力側の順応輝度Ｌａｏ、出力側の周囲条件Ｆｏを算出する。
【００４８】
ここで、順応白色点（Ｘｗｉ、Ｙｗｉ、Ｚｗｉ）、順応輝度Ｌａｉ、周囲条件Ｆｉ、順応白色点（Ｘｗｏ、Ｙｗｏ、Ｚｗｏ）、順応輝度Ｌａｏ、周囲条件Ｆｏは、それぞれ以下のとおり定義される。
【００４９】
・順応白色点（Ｘｗｉ、Ｙｗｉ、Ｚｗｉ）…撮影時における被写界の光源色である。その光源色は、再生表示中の撮像画像（ＲＡＷ形式の撮像画像データ）に基づき推定される。なお、その推定には、カメラのオートホワイトバランス制御に採用される公知の何れかの光源判定方法を採用することができる。
【００５０】
・順応輝度Ｌａｉ…撮影時における被写界の明るさである。ここでは、撮像画像に付加された被写界測光値のうち、前述した順応白色点（Ｘｗｉ、Ｙｗｉ、Ｚｗｉ）に対応する部分の被写界測光値の１／５倍とする。
【００５１】
・周囲条件Ｆｉ…撮影時におけるユーザーの周囲の明るさである。ここでは、撮像画像に付加された環境測光値とする。
【００５２】
・順応白色点（Ｘｗｏ、Ｙｗｏ、Ｚｗｏ）…再生時にモニタ２３が白として表示する色である。ここでは、現時点でモニタ２３に設定されている表示色バランスとする。
【００５３】
・順応輝度Ｌａｏ…再生時におけるモニタ２３の明るさである。ここでは、現時点でモニタ２３に設定されている表示輝度の１／５倍とする。
【００５４】
・周囲条件Ｆｏ…再生時におけるユーザーの周囲の明るさである。ここでは、現時点で環境センサ３１が検出する環境測光値とする。
【００５５】
ステップＳ１２：ＣＰＵ１８は、ステップＳ１１で算出した順応輝度Ｌａｉ及び周囲条件Ｆｉを式（１）へ当てはめることにより、入力側の視環境に対するヒトの順応度Ｄｉを算出する。但し、ここで算出される順応度Ｄｉは暫定値であって、後で補正される可能性がある。
【００５６】
【数１】
2010193375.tif 000003
【００５７】
因みに、式（１）で算出される順応度Ｄｉは、従来の見え変換処理おける入力側の色順応変換処理で使用されていた順応度と同じである。
【００５８】
また、ＣＰＵ１８は、ステップＳ１１で算出した順応輝度Ｌａｏ及び周囲条件Ｆｏを式（２）へ当てはめることにより、出力側の視環境に対するヒトの順応度Ｄｏを算出する。但し、ここで算出される順応度Ｄｏは暫定値であって、後で補正される可能性がある。
【００５９】
【数２】
2010193375.tif 000004
【００６０】
因みに、式（２）で算出される順応度Ｄｏは、従来の見え変換処理における出力側の色順応変換処理（色順応逆変換処理）で使用されていた順応度と同じである。
【００６１】
また、ＣＰＵ１８は、ステップＳ１１で算出した順応輝度Ｌａｉ、Ｌａｏを式（３）へ当てはめることにより、彩度変換処理で使用されるべき彩度ゲインＧを算出する。但し、ここで算出される彩度ゲインＧは暫定値であって、後で補正される可能性がある。
【００６２】
【数３】
2010193375.tif 000005
【００６３】
因みに、式（３）で算出される彩度ゲインＧは、従来の見え変換処理における彩度変換処理で使用されていた彩度ゲインと同じである。
【００６４】
また、ＣＰＵ１８は、ステップＳ１１で算出した順応輝度Ｌａｉ及び周囲条件Ｆｉを所定の式に当てはめることにより、式（４）で表されるコントラスト関数Ｔを算出する。但し、ここで算出されるコントラスト関数Ｔは暫定の関数であって、後で補正される可能性がある。
【００６５】
【数４】
2010193375.tif 000006
【００６６】
因みに、式（４）のコントラスト関数Ｔは、従来の見え変換処理において入力側のコントラスト変換処理で使用されていたコントラスト関数と同じである。
【００６７】
また、ＣＰＵ１８は、ステップＳ１１で算出した順応輝度Ｌａｏ及び周囲条件Ｆｏを所定の式に当てはめることにより、式（５）で表されるコントラスト関数Ｔ−１を算出する。但し、ここで算出されるコントラスト関数Ｔ−１は、暫定の関数であって、後で補正される可能性がある。
【００６８】
【数５】
2010193375.tif 000007
【００６９】
なお、式（５）のコントラスト関数Ｔ−１は、従来の見え変換処理において出力側のコントラスト変換処理（コントラスト逆変換処理）で使用されていたコントラスト関数と同じである。
【００７０】
ステップＳ１３：ＣＰＵ１８は、再生表示中の撮像画像（ＲＡＷ形式の撮像画像データ）に対して被写体抽出処理を施し、その撮像画像を１又は複数の被写体領域と背景領域とに領域分割し、分割後の領域数Ｎを認識すると共に、それらＮ個の領域に対して１〜Ｎの値を有した領域ラベルを個別に付与する。
【００７１】
なお、本ステップにおける領域分割には、特許文献４、５に記載された領域分割方法や、グラフカット理論に基づく領域分割方法の少なくとも１つを採用することができる。
【００７２】
例えば、図３（Ａ）に示すとおり撮像画像中に、人物からなる第１の被写体４１と、大根（食物の一種である。）からなる第２の被写体４２と、トラック（人工物の一種である。）からなる第３の被写体４３とが存在していたとすると、図３（Ｂ）に示すとおり、撮像画像は、第１の被写体（人物）の存在領域Ａ１と、第２の被写体（大根）の存在領域Ａ２と、第３の被写体（トラック）の存在領域Ａ３と、背景の領域Ａ４とに分割される。この場合、領域数Ｎは４となる。また、例えば、領域Ａ１に付与された領域ラベルの値が１となり、領域Ａ２に付与された領域ラベルの値が２となり、領域Ａ３に付与された領域ラベルの値が３となり、領域Ａ４に付与された領域ラベルの値が４となる。
【００７３】
ステップＳ１４：ＣＰＵ１８は、処理対象となる領域ラベルＬ（以下、「処理対象ラベルＬ」と称す。）の値を初期値（１）に設定する。
【００７４】
ステップＳ１５：ＣＰＵ１８は、再生表示中の撮像画像（ＲＡＷ形式の撮像画像データ）のうち、処理対象ラベルＬに対応する領域（例えば、処理対象ラベルＬの値が１であったならば人物の領域Ａ１）へパターン認識処理を施すことにより、その領域に存在する物体が食物、人物、それ以外の何れに属するかを判別する。そして、ＣＰＵ１８は、その物体が食物であった場合にはステップＳ１７へ移行し、その物体が人物であった場合にはステップＳ１８へ移行し、その物体が食物でも人物でもなかった場合にはステップＳ１６へ移行する。
【００７５】
ステップＳ１６：ＣＰＵ１８は、再生表示中の撮像画像（ＲＡＷ形式の撮像画像データ）のうち、処理対象ラベルＬに対応する領域に対して光源判定処理を施すことにより、その領域に存在する物体を撮影時に照明していた光源の種類を判別し、その光源が自然光と人工光との何れであるかを判別する。なお、このような光源判定方法には、カメラのオートホワイトバランス制御に採用される公知の何れかの光源判定方法を適用することができる。
【００７６】
そして、ＣＰＵ１９は、その光源が自然光であった場合（すなわち物体が屋外の物体であったとき）にはステップＳ２０へ移行し、その光源の種類が人工光であった場合（すなわち物体が室内の物体であったとき）にはステップＳ２１へ移行する。また、光源の種類を判定することができなかった場合（光源色が自然光と人工光との混合色であった場合など）にはステップＳ２２へ移行する。
【００７７】
ステップＳ１７：ＣＰＵ１８は、ステップＳ１２における算出結果に関わらず順応度Ｄｉ、Ｄｏの各々を最高値（すなわち１）に置換し、ステップＳ２２へ移行する。
【００７８】
ステップＳ１８：ＣＰＵ１８は、順応度Ｄｉ、Ｄｏを以下の式（６）により補正する。
【００７９】
【数６】
2010193375.tif 000008
【００８０】
但し、本ステップにおける補正係数Ｃｄは、順応度Ｄｉ、Ｄｏを増加させるための係数、例えば１．１に設定される。また、補正により順応度Ｄｉ、Ｄｏの何れかが１を超過した場合には、その補正結果に関わらず１に置換される。その後、ＣＰＵ１８は、ステップＳ１９へ移行する。
【００８１】
ステップＳ１９：ＣＰＵ１８は、彩度ゲインＧが１を超過しているか否かを判別し、彩度ゲインＧが１を超過していた場合にのみ、彩度ゲインＧを以下の式（７）により補正する。
【００８２】
【数７】
2010193375.tif 000009
【００８３】
但し、本ステップにおける補正係数Ｍｄは、彩度ゲインＧを抑えるための係数、例えば０．９に設定される。その後、ＣＰＵ１８は、ステップＳ２２へ移行する。
【００８４】
ステップＳ２０：ＣＰＵ１８は、彩度ゲインＧを上記した式（７）により補正する。但し、本ステップにおける補正係数Ｍｄは、彩度ゲインＧを増加させるための係数、例えば１．１に設定される。その後、ＣＰＵ１８は、ステップＳ２２へ移行する。
【００８５】
ステップＳ２１：ＣＰＵ１８は、コントラスト関数Ｔ、Ｔ−１を、以下の式（８）により補正する。
【００８６】
【数８】
2010193375.tif 000010
【００８７】
但し、本ステップにおける補正係数Ｔｄは、コントラスト関数Ｔ、Ｔ−１を増加させるための係数、例えば１．１に設定される。その後、ＣＰＵ１８は、ステップＳ２２へ移行する。
【００８８】
ステップＳ２２：ＣＰＵ１８は、再生表示中の撮像画像（ＲＡＷ形式の撮像画像データ）のうち処理対象ラベルＬに対応する領域に対し、順応度Ｄｉ、Ｄｏ、彩度ゲインＧ、コントラスト関数Ｔ、Ｔ−１を使用した見え変換処理を施す。見え変換処理の手順は、以下の（ａ）〜（ｇ）である。
【００８９】
（ａ）ＣＰＵ１８は、処理対象ラベルＬに対応する領域中の各画素の色を、それぞれＸＹＺ色空間上の座標（Ｘｉ、Ｙｉ、Ｚｉ）で表す。
【００９０】
（ｂ）ＣＰＵ１８は、ステップＳ１で算出した順応白色点（Ｘｗｉ、Ｙｗｉ、Ｚｗｉ）と、現時点における順応度Ｄｉとを式（９）へ当てはめることにより、座標（Ｘｉ、Ｙｉ、Ｚｉ）から色順応変換後の座標（Ｘｉ’、Ｙｉ’、Ｚｉ’）への変換式を取得する。
【００９１】
【数９】
2010193375.tif 000011
【００９２】
但し、式（９）における（Ｘｗｒ、Ｙｗｒ、Ｚｗｒ）は、ＣＩＥＣＡＭ０２色空間の白色点（参照白色点）であり、式（９）におけるマトリクスＭｃａｔ０２は、ＣＩＥＣＡＭ０２で規定される既知のマトリクスである。
【００９３】
（ｃ）ＣＰＵ１８は、（ｂ）で取得した変換式により各画素の座標（Ｘｉ、Ｙｉ、Ｚｉ）を色順応変換後の座標（Ｘｉ’、Ｙｉ’、Ｚｉ’）へと変換する。
【００９４】
（ｄ）ＣＰＵ１８は、色順応変換後の座標（Ｘｉ’、Ｙｉ’、Ｚｉ’）に対し、コントラスト関数Ｔによる入力側のコントラスト変換処理（具体的には、コントラスト変換処理を含む、視覚の非線形性に対応した変換処理）を施すことにより、コントラスト変換後の座標（Ｊ、Ｃｉ、ｈ）を取得する。なお、Ｊは明度成分、Ｃｉは彩度成分、ｈは色相成分である。
【００９５】
（ｅ）ＣＰＵ１８は、座標（Ｊ、Ｃｉ、ｈ）の彩度成分Ｃｉに対して彩度ゲインＧを乗算することにより、彩度変換後の座標（Ｊ、Ｃｏ、ｈ）を取得する。なお、この彩度調整を式にすると、Ｃｏ＝ＣｉＧとなる。
【００９６】
（ｆ）ＣＰＵ１８は、彩度変換後の座標（Ｊ、Ｃｏ、ｈ）に対し、コントラスト関数Ｔ−１による出力側のコントラスト変換処理（コントラスト逆変換処理）を施すことにより、コントラスト逆変換後の座標（Ｘｏ、Ｙｏ、Ｚｏ）を取得する。
【００９７】
（ｇ）ＣＰＵ１８は、コントラスト逆変換後の座標（Ｘｏ、Ｙｏ、Ｚｏ）に対して、出力側の色順応変換処理（色順応逆変換処理）を施すことにより、色順応逆変換後の座標（Ｘｏ’、Ｙｏ’、Ｚｏ’）を取得する。この座標（Ｘｏ’、Ｙｏ’、Ｚｏ’）が、見え変換後の座標である。
【００９８】
なお、この色順応逆変換処理で使用される変換式は、式（９）で表される変換式の逆変換式において、順応度Ｄｉの代わりに順応度Ｄｏを当てはめ、かつ順応白色点（Ｘｗｉ、Ｙｗｉ、Ｚｗｉ）の代わりに順応白色点（Ｘｗｏ、Ｙｗｏ、Ｚｗｏ）を当てはめたものに相当する（以上、ステップＳ２２）。
【００９９】
ステップＳ２３：ＣＰＵ１８は、処理対象ラベルＬの値が領域数Ｎに達したか否かを判別し、達していなかった場合にはステップＳ２４へ移行し、達した場合にはステップＳ２５へ移行する。
【０１００】
ステップＳ２４：ＣＰＵ１８は、処理対象ラベルＬの値を１だけインクリメントしてから、ステップＳ１５へ戻る。
【０１０１】
ステップＳ２５：ＣＰＵ１８は、見え変換後の座標（Ｘｏ’、Ｙｏ’、Ｚｏ’）に対して出力機器向けの画像処理（ここでは、モニタ２３向けの画像処理であって、モニタ２３の出力特性に合わせた色域マッピングなどを含む画像処理）を施す。なお、この画像処理には、ユーザーの嗜好に合わせるための画像処理が含まれてもよい。そして、ＣＰＵ１８は、その画像処理後の撮像画像を、再生表示中の撮像画像に代えてモニタ２３へ表示する。その後、ユーザーから保存指示が入力されると、ＣＰＵ１８は、その画像処理後の撮像画像を、ＲＡＷ形式の撮像画像データと共に記憶媒体２８へ書き込み、フローを終了する。
【０１０２】
以上、本実施形態の見え変換処理では、撮像画像中に存在する被写体の種類に応じてＣＰＵ１８が見え変換処理のパラメータを設定する（ステップＳ１５〜Ｓ１９）。
【０１０３】
具体的に、本実施形態のＣＰＵ１８は、被写体が非人工物であった場合の順応度Ｄを、被写体が人工物であった場合の順応度Ｄと比較して高めに計上する（ステップＳ１７、Ｓ１８）。
【０１０４】
ヒトは、被写体が非人工物（人物や食物）であるか否かで、同じ色であったとしても異なる色に感じる可能性があると考えられる。例えば、ヒトが全く同じ色のバナナとカップとを同じ光源下（例えば白熱灯下）で観察したとしても、非人工物であるバナナについては実際の色を良く知っているので光源による色付き（白熱灯ならばオレンジ色）を頭の中で完全に除去する（良く順応する）が、人工物であるカップについては実際の色を知らないことが多いので光源による色付き（白熱灯ならばオレンジ色）を頭の中であまり除去しない（あまり順応しない）と考えられる。
【０１０５】
そこで、本実施形態の見え変換処理のように、被写体が非人工物（人物や食物）であった場合の順応度Ｄを被写体が人工物であった場合の順応度Ｄよりも高めに計上すれば、被写体が非人工物であるか否かに拘わらずユーザーの期待どおりの良好な画像再現を行うことができる。
【０１０６】
因みに、従来の見え変換処理は、色票（すなわち人工物）に対するヒトの知覚にしか基づいていないので、人工物であるカップについてはユーザーが期待したとおりの良好な画像再現を行うことができるものの、非人工物であるバナナについてはユーザーが期待したとおりの良好な画像再現を行うことはできなかった。
【０１０７】
また、本実施形態のＣＰＵ１８は、被写体が食物であった場合の順応度Ｄを最高値（すなわち１）に設定する（ステップＳ１７）。
【０１０８】
ヒトは、食物の色を特に良く記憶していると考えられるので、この設定によれば、食物の画像再現をユーザーの期待に近づけることができると考えられる。
【０１０９】
また、本実施形態のＣＰＵ１８は、被写体が人物であった場合に彩度ゲインＧが著しく高くならないように制御する（ステップＳ１９）。
【０１１０】
ヒトは、通常、モノを暗いところから明るいところへ移動させたときに彩度感が増すという特性を有しているので、彩度ゲインＧによる彩度変換が有効だが、人肌に限っては、過去の記憶の影響で、さほど彩度感が増さないと考えられる。
【０１１１】
そこで、本実施形態のように、被写体が人物であった場合に彩度ゲインＧが著しく高くならないように制御すれば、人物の画像再現がユーザーの期待から外れる可能性は低くなると考えられる。
【０１１２】
また、本実施形態のＣＰＵ１８は、被写体が屋外の物体であった場合の彩度ゲインＧを、被写体が室内の物体であった場合の彩度ゲインＧより高めに計上する（ステップＳ２０）。
【０１１３】
ヒトは、通常、モノを暗いところから明るいところへ移動させたときに彩度感が増すという特性を有しているので、彩度ゲインＧによる彩度変換が有効だが、被写体が屋外の物体であった場合には特に彩度感の向上量が顕著になると考えられる。
【０１１４】
したがって、本実施形態のように、被写体が屋外の物体であった場合の彩度ゲインＧを高めに計上すれば、屋外の物体の画像再現をユーザーの期待に近づけることができると考えられる。
【０１１５】
また、本実施形態のＣＰＵ１８は、被写体が室内の物体であった場合のコントラスト関数Ｔを、被写体が屋外の物体であった場合のコントラスト関数Ｔより高めに計上する（ステップＳ２１）。
【０１１６】
ヒトは、通常、モノを暗いところで見るときにはコントラスト感が増すという特性を有しているので、コントラスト関数Ｔによるコントラスト変換が有効だが、被写体が室内の物体であった場合にはコントラスト感の向上量が特に顕著と考えられる。
【０１１７】
したがって、本実施形態のように、被写体が室内の物体であった場合のコントラスト関数Ｔを高めに計上すれば、室内の物体の画像再現をユーザーの期待に近づけることができると考えられる。
【０１１８】
また、本実施形態のＣＰＵ１８は、見え変換処理のパラメータ設定を、画像毎に行うのではなく、画像中に存在する物体毎（つまり領域毎）に行う。したがって、本実施形態では画像中に存在する全ての物体の画像再現をユーザーの期待に近づけることができる。
【０１１９】
［変形例］
なお、本実施形態のＣＰＵ１８は、色の見えモデルとしてＣＩＥＣＡＭ０２を使用したが、ＣＩＥＣＡＭ９７ｓなどの他の見えモデルを使用してもよい。
【０１２０】
また、本実施形態のＣＰＵ１８は、見え変換処理のパラメータ設定を、撮像画像中に存在する被写体の種類に応じて行ったが、電子カメラの撮影シーンの種類に応じて行ってもよい。例えば、撮影シーンが夏の風景であった場合のコントラスト関数Ｔ及び彩度ゲインＧを、撮影シーンが他の風景であった場合のコントラスト関数Ｔ及び彩度ゲインＧより大きめに計上してもよい（つまり補正係数Ｔｄ、Ｍｄを１以上にしてもよい）。また、例えば撮影シーンが記者会見の風景であった場合の順応度Ｄを、撮影シーンが他の風景であった場合の順応度Ｄより大きめに計上してもよい（つまり補正係数Ｃｄを１に近づけてもよい）。
【０１２１】
また、本実施形態の電子カメラでは、撮像画像に対して見え変換処理を施すタイミングが撮像画像の再生時であったが、他のタイミング、例えば撮像画像の撮影時であってもよい。
【０１２２】
但し、見え変換処理のタイミングを撮像画像の非再生時とする場合は、出力側の視環境条件を電子カメラが自動取得することができないので、ユーザーに入力させる必要がある。この場合、ユーザーは、どのような視環境条件で撮像画像の再生を行おうとしているかを電子カメラへ入力することになる。
【０１２３】
また、本実施形態の見え変換処理では、入力側の視環境条件を、撮影時における視環境条件とし、出力側の視環境条件を、再生時における視環境条件としたが、入力側の視環境条件を、或る再生時における視環境条件とし、出力側の視環境条件を、別の再生時における視環境条件としてもよい。その場合の見え変換処理は、「ユーザーが或る視環境下でモニタ２３に再生表示した撮像画像を、別の或る視環境下でモニタ２３に再生表示させるときに、最初の再生時における見えと同じに見せるための見え変換処理」となる。
【０１２４】
また、本実施形態の見え変換処理は、入力側の視環境条件と出力側の視環境条件との双方が、電子カメラの使用時における視環境条件であったが、入力側の視環境条件と出力側の視環境条件との少なくとも一方を、電子カメラの非使用時における視環境条件としてもよい。例えば、出力側の視環境条件を、コンピュータのモニタ上で撮像画像を観察するときの視環境条件としてもよい。また、出力側の視環境条件を、プリント上で撮像画像を観察するときの視環境条件としてもよい。但し、何れの場合も、電子カメラが自動取得することのできない情報は、ユーザーが入力する必要がある。
【０１２５】
また、本実施形態では、見え変換処理の全部を電子カメラが実行したが、見え変換処理の一部又は全部を、電子カメラ以外の画像処理装置、例えば、画像蓄積装置、プリンタ、コンピュータへインストールされる画像処理ソフトウエアなどが実行してもよい。
【符号の説明】
【０１２６】
１１…電子カメラ、１２…撮像光学系、１３…レンズ駆動部、１４…絞り、１５…絞り駆動部、１６…撮像素子、１８…ＣＰＵ、２５…画像処理部、２６…認識処理部
【先行技術文献】
【特許文献】
【０１２７】
【特許文献１】特開２００６−１３５８８７号公報
【特許文献２】特開２００６−２１１０９３号公報
【特許文献３】特開２０００−１４８９７９号公報
【特許文献４】特開平４−２７１４８３号公報
【特許文献５】特開２００１−４３３７６号公報
【図１】
2010193375.tif 000012
【図２】
2010193375.tif 000013
【図３】
2010193375.tif 000014