(57)【要約】 【課題】  膨大な数のカラープロファイルを予め用意しなくても、デバイス依存の色信号値をデバイス非依存の色信号値に精度よく変換する。【解決手段】  カラープロファイルを用いて入力画像を色変換する画像処理装置であって、前記入力画像を撮影した時の撮影パラメータと、前記カラープロファイル作成時に想定した撮影パラメータとの違いに基づいて、ゲイン補正の補正量を決定する決定手段と、前記ゲイン補正の補正量と前記カラープロファイルに基づいて、前記入力画像を色変換することで得られる色変換後画像を出力する出力手段と、を備えることを特徴とする。【選択図】  図２
2019165398.tif 000002
【特許請求の範囲】
【請求項１】
カラープロファイルを用いて入力画像を色変換する画像処理装置であって、
前記入力画像を撮影した時の撮影パラメータと、前記カラープロファイルの作成時の撮影パラメータとに基づいて、ゲイン補正の補正量を決定する決定手段と、
前記ゲイン補正の補正量と前記カラープロファイルに基づいて、前記入力画像を色変換することで得られる色変換後画像を出力する出力手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記補正量を用いて前記入力画像に対し前記ゲイン補正を行なう補正手段と、
前記ゲイン補正を行った後の前記入力画像に対し、前記カラープロファイルを用いて前記色変換を行う色変換手段と、
をさらに有し、
前記出力手段は、前記色変換手段から出力される色変換後画像を出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力画像に対し、前記カラープロファイルを用いて前記色変換を行う色変換手段と、
前記色変換した入力画像に対して、前記ゲイン補正を行う補正手段と
をさらに有し、
前記出力手段は、前記補正手段から出力される画像を色変換後画像として出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
決定された前記補正量を用いて前記カラープロファイルを修正する修正手段と、
前記入力画像に対し、前記修正を行った後の前記カラープロファイルを用いて前記色変換を行う色変換手段と、
をさらに有し、
前記出力手段は、前記色変換手段から出力される色変換後画像を出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記撮影パラメータは、露出に関するパラメータであり、シャッタスピード、絞り値、ＩＳＯ感度の内、少なくとも一つを含むことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記決定手段は、前記露出に関するパラメータがシャッタスピードである場合、前記カラープロファイルの作成時に想定したシャッタスピードを、前記入力画像を撮影した時のシャッタスピードで除した値を、前記補正量に決定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記決定手段は、前記露出に関するパラメータが絞り値である場合、前記カラープロファイルの作成時に想定した絞り値を、前記入力画像を撮影した時の絞り値で除した値の二乗を、前記補正量に決定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記決定手段は、前記露出に関するパラメータがＩＳＯ感度である場合、前記カラープロファイルの作成時に想定したＩＳＯ感度を、前記入力画像を撮影した時のＩＳＯ感度で除した値を、前記補正量に決定することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記露出に関するパラメータを複数のレベルで異ならせて作成された複数のカラープロファイルを記憶する記憶手段をさらに備え、
前記決定手段は、その作成時に想定した撮影パラメータのレベルが、前記入力画像を撮影した時の撮影パラメータのレベルと最も近いカラープロファイルを、前記複数のカラープロファイルの中から選択し、
前記色変換手段は、選択されたカラープロファイルを用いて前記色変換を行う、
ことを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
前記色変換後の画像を表示する表示手段をさらに備えたことを特徴とする請求項２乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記表示手段は、前記色変換後の画像を表示する際、前記色変換後の色信号値が前記色変換で用いた前記カラープロファイルの定義域外となった画素を、ユーザが識別可能なように表示することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記露出に関するパラメータを複数のレベルで異ならせて作成された複数のカラープロファイルを記憶する記憶手段と、
前記入力画像に対する基準点を設定する設定手段と、
をさらに備え、
前記決定手段は、前記入力画像内の前記基準点に対応する画素に対しゲイン補正を行なった場合の画素値が、前記カラープロファイルで定義される色域に収まることを条件に、前記複数のカラープロファイルの中から、前記色変換に用いるカラープロファイルを選択する
ことを特徴とする請求項５乃至８のいずれか１項に記載の画像処理装置。
【請求項１３】
前記決定手段は、前記入力画像内の前記基準点に対応する画素に対しゲイン補正を行なった場合の画素値が、その定義される色域に収まることになるカラープロファイルが複数存在する場合、前記ゲイン補正を行った場合の補正量が最小となるカラープロファイルを、前記色変換に用いるカラープロファイルとして選択することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記色変換後の画像を、前記基準点に基づき評価した評価画像を生成する評価手段と、
前記評価画像を表示する表示手段と、
をさらに備えたことを特徴とする請求項１２又は１３に記載の画像処理装置。
【請求項１５】
前記評価画像は、前記基準点に対応する画素の色信号値と、それ以外の画素の色信号値との差分を求め、得られた差分に基づく評価値を画素毎に算出して生成されることを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
カラープロファイルを用いて入力画像を色変換する画像処理方法であって、
前記入力画像を撮影した時の撮影パラメータと、前記カラープロファイルの作成時に想定した撮影パラメータとの違いに基づいて、ゲイン補正の補正量を決定するステップと、
前記ゲイン補正の補正量と前記カラープロファイルに基づいて、前記入力画像を色変換することで得られる色変換後画像を出力するステップと、
を含むことを特徴とする画像処理方法。
【請求項１７】
コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル撮像装置で撮影したカラー画像データの色変換技術に関する。
【背景技術】
【０００２】
デジタルスチルカメラなどのデジタル撮像装置が広く普及している。デジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでカラー画像データを生成する。撮像素子には透過率の異なるカラーフィルタが規則的に配置され、各画素に特定の波長光を入射する構成となっている。こうして得られる画像データ（以下、「ＲＡＷ画像データ」）と呼ぶ。）における画素値は、カラーフィルタの配置に従うことになる。このＲＡＷ画像データに対して色補正や画素補間などの一連の画像処理が施されて、ＲＧＢ画像データなどの一般的なカラー画像データが得られる。ここで、一般的なデジタル撮像装置で得られるＲＧＢ画像データの画素値（ＲＧＢ値）は、使用されるカラーフィルタの特性に依存する色信号値（＝デバイス依存の色信号値）である。そのため、ＸＹＺ、Ｌ*ａ*ｂ*、ｓＲＧＢといった標準的な色空間の規格に準拠した色信号値（＝デバイス非依存の色信号値）に変換する必要がある。一般にこの変換処理には、カラープロファイルと呼ばれる各デバイスの色特性を記録したデータが用いられる。カラープロファイルは、複数の色を有するカラーチャートを所定の条件で撮影することで得られるデバイス依存の色信号値と、測色器で測定したデバイス非依存の色信号値との対応関係に基づいて作成される。予め用意されたカラープロファイルを参照することで、デバイス依存の色信号値がデバイス非依存の色信号値に変換される。ここで、正確な色変換結果を得るには、カラープロファイル作成時に想定している撮影条件と、実際に被写体を撮影した時の撮影条件との間にズレがないことが重要になる。この点、特許文献１には、複数の露出条件でカラープロファイルを作成・保持しておき、実際に被写体を撮影した時の露出条件と合致するカラープロファイルを適用することで、精度の良い色変換を実現する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−４２２０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１の技術によって高精度の色変換を行うためには、あらゆる露出条件に対応するカラープロファイルを予め作成し、メモリ等に保持しておく必要がある。しかしながら、露出条件の組合せは膨大であり、そのようなカラープロファイルの作成には莫大な手間と時間が掛かる。また、膨大な数のカラープロファイルを記憶するには膨大なメモリ容量が要求される。
【０００５】
そこで本発明は、膨大な数のカラープロファイルを予め用意することなく、高精度の色変換を実現することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、カラープロファイルを用いて入力画像を色変換する画像処理装置であって、前記入力画像を撮影した時の撮影パラメータと、前記カラープロファイル作成時に想定した撮影パラメータとの違いに基づいて、ゲイン補正の補正量を決定する決定手段と、前記ゲイン補正の補正量と前記カラープロファイルに基づいて、前記入力画像を色変換することで得られる色変換後画像を出力する出力手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、膨大な数のカラープロファイルを予め用意しなくても、デバイス依存の色信号値をデバイス非依存の色信号値に精度よく変換することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置のハードウェア構成の一例を示す図
【図２】実施形態１に係る、画像処理装置のソフトウェア構成を示す機能ブロック図
【図３】ＲＧＢ値をＬａｂ値に変換する３Ｄ-ＬＵＴのカラープロファイルの一例を示す図
【図４】実施形態１に係る、画像処理の大まかな流れを示すフローチャート
【図５】実施形態１に係る、色処理条件決定処理の詳細を示すフローチャート
【図６】（ａ）はシャッタスピードを異ならせて複数の候補プロファイルを用意した場合の対応表、（ｂ）は絞り値を異ならせて複数の候補プロファイルを用意した場合の対応表、（ｃ）はＩＳＯ感度を異ならせて複数の候補プロファイルを用意した場合の対応表
【図７】広義の色変換処理の流れを示すフローチャート
【図８】カラープロファイルの特性を示すグラフ
【図９】実施形態１に係る、色変換結果表示処理の流れを示すフローチャート
【図１０】（ａ）は色変換後画像の一例、（ｂ）はプロファイルの定義域外の色を強調表示した画像の一例
【図１１】実施形態２に係る、画像処理装置のソフトウェア構成を示す機能ブロック図
【図１２】実施形態２に係る、画像処理の大まかな流れを示すフローチャート
【図１３】基準点を指定するためのＵＩ画面の一例
【図１４】実施形態２に係る、色処理条件決定処理の詳細を示すフローチャート
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【実施形態１】
【００１０】
図１は、画像処理装置１００のハードウェア構成の一例を示す図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、メインバス１０９を備える。汎用Ｉ／Ｆ１０４は、デジタル撮像装置１０５、マウスやキーボードなどの入力装置１０６、メモリカードなどの外部メモリ１０７をメインバス１０９に接続する。そして、図２は、本実施形態に係る、画像処理装置１００のソフトウェア構成を示す機能ブロック図であり、色処理条件決定部２０１、ゲイン補正部２０２、色変換部２０３、定義域外判定部２０４及び表示制御部２０５で構成される。これら各部は、ＣＰＵ１０１がＨＤＤ１０３に格納された所定のプログラムをＲＡＭ１０２に展開しこれを実行することで実現される。また、ＨＤＤ１０３には１又は複数のカラープロファイル２１０やＲＧＢ画像２１１のデータなどが記憶される。前述のとおり、カラープロファイルは、デバイス依存の色信号値をデバイス非依存の色信号値へと変換する色変換処理の際に参照されるデータである。図３は、デバイス依存のＲＧＢ値（８ビット）をデバイス非依存のＬａｂ値に変換する、３Ｄ-ＬＵＴのカラープロファイルの一例である。なお、Ｌａｂとは、明度を表すＬ軸、色度を表すａ軸とｂ軸の３つの要素で構成される、ＣＩＥ（国際照明委員会）が定めたＬ*ａ*ｂ*色空間を意味する。図３の３Ｄ−ＬＵＴは、ＲＧＢをＬａｂに変換するカラープロファイルであるが、ＲＧＢからＸＹＺへの変換、ＲＧＢからｓＲＧＢへの変換についても同様のカラープロファイルを作成可能である。以下では、カラープロファイルを単に「プロファイル」と表記することとする。そして、本実施形態では、このようなプロファイルが、様々な露出条件と対応付けて複数用意される。すなわち、シャッタスピード、絞り値、ＩＳＯ感度といった露出の決定に関わる撮影パラメータをそれぞれ複数段階で異ならせたときのプロファイルを別々に作成し、ＨＤＤ１０３等に保持しておく。これら予め用意・保持された１つ以上のプロファイル２１０を、色変換処理で実際に適用するプロファイルの候補という意味で、「候補プロファイル」と呼ぶこととする。
【００１１】
本実施形態に係る画像処理の対象となる画像データは、デジタル撮像装置１０５や外部メモリ１０７から入力され、図４に示すフローチャートに沿って処理される。もちろん、入力された画像データをＨＤＤ１０３などの記憶装置に一旦記憶しておき、ユーザの指示に従いそれを読み出して処理してもよい。以下、図４のフローに沿って、本実施形態に係る色変換処理を中心とする画像処理について説明する。なお、以下の説明における記号「Ｓ」はステップを表す。
【００１２】
Ｓ４０１では、候補プロファイルと、処理対象となる画像データが入力される。ここで処理対象となる画像データは、ＲＡＷ画像データに対して所定の画像処理が施された、各画素がデバイス依存のＲＧＢそれぞれ８ビット（０〜２５５）の画素値を持つＲＧＢ画像データである。また、入力される候補プロファイルの数は、上述のとおり、１つでもよいし複数でもよい。すなわち、被写体を撮影する際の予想される露出条件に合わせた特定のプロファイルが１つだけ用意されている場合はそれが入力され、複数の露出条件に対応できるよう候補プロファイルが複数用意されている場合はそれらの全部又は一部が入力される。入力されたＲＧＢ画像データは、色処理条件決定部２０１とゲイン補正部２０２に送られる。また、入力された候補プロファイルは、色処理条件決定部２０１に送られる。
【００１３】
Ｓ４０２では、Ｓ４０１で入力されたＲＧＢ画像データと候補プロファイルとに基づいて、次のＳ４０３における色処理の条件が決定される。この色処理条件には、ゲイン補正処理で使用する補正量と、色変換処理で実際に適用するプロファイルの情報とが含まれる。色処理条件決定処理の詳細は後述する。
【００１４】
Ｓ４０３では、Ｓ４０１で入力されたＲＧＢ画像データを、Ｓ４０２で決定した条件に従った色処理（ゲイン補正処理＋色変換処理）が実行される。色処理の詳細は後述する。
【００１５】
Ｓ４０４では、Ｓ４０３における色変換処理の結果に基づく画像情報をモニタ１０８に表示する処理が実行される。この色変換結果表示処理の詳細は後述する。
【００１６】
以上が、本実施形態に係る、画像処理装置１００における色変換処理を中心とした画像処理の大まかな流れである。
【００１７】
（色処理条件決定処理）
続いて、Ｓ４０２の色処理条件決定処理について詳しく説明する。この処理は、色処理条件決定部２０１において行われる。図５は、本実施形態に係る、色処理条件決定処理の詳細を示すフローチャートである。
【００１８】
Ｓ５０１では、入力ＲＧＢ画像の撮影時の撮影パラメータが取得される。デジタルカメラで撮影して得られたＲＡＷ画像データには、撮影時の露出条件、すなわち、シャッタスピード、絞り値、ＩＳＯ感度といった露出に関わる撮影パラメータが、その機種名や撮影日時、レンズ焦点距離などと共に撮影画像情報として付加されている。ＲＧＢ画像データにおいてもこの情報を引き継いで保持しておき、本ステップではその保持された情報の中から露出に関する撮影パラメータを取得する。ここでは、入力ＲＧＢ画像の撮影パラメータとして、シャッタスピード＝１／３２０秒、絞り値＝Ｆ８、ＩＳＯ感度＝２００が取得されたものとする。
【００１９】
Ｓ５０２では、Ｓ５０１で取得した撮影パラメータに基づき、色変換処理において実際に適用されるプロファイルが、Ｓ４０１で入力された候補プロファイルの中から決定される。ここで、露出に関わる撮影パラメータとプロファイルとの関係について説明しておく。図６（ａ）は、絞り値とＩＳＯ感度を固定し、シャッタスピードを７段階で異ならせて７種類の候補プロファイル（profile_s1〜profile_s7）を用意した場合の対応表である。図６（ｂ）は、シャッタスピードとＩＳＯ感度を固定し、絞り値を７段階で異ならせて７種類の候補プロファイル（profile_f1〜profile_f7）を用意した場合の対応表である。図６（ｃ）は、シャッタスピードと絞り値を固定し、ＩＳＯ感度を７段階で異ならせて７種類の候補プロファイル（profile_i1〜profile_i7））を用意した場合の対応表である。候補プロファイルの数は多いほど良いが、解決課題で述べたとおり、現実には様々な制約がある。そこで、これら候補プロファイルを準備する際には、例えば図６（ａ）の“profile_s1”と図６（ｂ）の“profile_f1”と図６（ｃ）の“profile_i1”とを同じにしてもよい。プロファイルにおいては、カメラに取り込まれる光量の寄与率が大きいためである。このようにいくつかのプロファイルを共通にすることで、候補プロファイル作成の工数を削減することができる。本実施形態では、露出を決める撮影パラメータのうちシャッタスピードに基づいて、予め用意した複数の候補プロファイルの中から最適なものを実際に適用するプロファイルとして選択することとする。ここでは、図６（ａ）に示す７つの候補プロファイルのうち、“profile_s1”、“profile_s4”、“profile_s7”の３つを取得し、その中から適用するプロファイルを選択する場合を例に、以下説明を行うものとする。いま、入力ＲＧＢ画像の撮影時のシャッタスピードが１／３２０秒であるのに対し、各候補プロファイルの想定シャッタスピードはprofile_s1が１／１２５秒、profile_s4が１／２５０秒、profile_s7が１／５００秒である。この場合、撮影時のシャッタスピード（＝１／３２０秒）と差分の絶対値が最小となる最も近いシャッタスピードは１／２５０秒である。よって、profile_s4が、色変換処理で実際に使用するプロファイルとして選択されることになる。なお、Ｓ４０１で入力された候補プロファイルが１つであれば、本ステップはスキップ可能である。この場合、当該候補プロファイルがそのまま色変換処理用のプロファイルとして決定される。
【００２０】
Ｓ５０３では、Ｓ５０１で取得した入力ＲＧＢ画像の撮影時の露出条件と、Ｓ５０２で選択された候補プロファイルで想定される露出条件とに基づき、ゲイン補正処理で使用する補正量が決定される。上述のとおり、ここでは、露出を決める撮影パラメータのうちシャッタスピードに基づいてゲイン補正量を決定することとしている。この場合、Ｓ５０２で選択された候補プロファイル（以下、「選択プロファイル」と呼ぶ。）の想定シャッタスピードＴｖprfと、入力ＲＧＢ画像の撮影時シャッタスピードＴｖimgとに基づいて、ゲイン補正量αを算出する。具体的には、以下の式（１）からゲイン補正量αが求められる。
α＝Ｔｖprf／Ｔｖimg    ・・・式（１）
いま、Ｔｖprf＝１／２５０秒、Ｔｖimg＝１／３２０秒であるため、ゲイン補正量α＝１．２８となる。
Ｓ５０４では、Ｓ５０２で決定した選択プロファイルの情報が色変換部２０３へ、Ｓ５０３で決定したゲイン補正量の情報がゲイン補正部２０２へ、それぞれ出力される。
【００２１】
なお、本実施形態では、シャッタスピードに基づき色処理条件を決定する場合を例に説明したが、これに限定されない。絞り値やＩＳＯ感度に基づき色処理条件を決定することも同様に可能である。
【００２２】
例えば、絞り値に基づく場合、そのゲイン補正量βは、入力ＲＧＢ画像の撮影時絞り値Ａｖimgと、選択プロファイルの想定絞り値Ａｖprfとから、以下の式（２）で求めることができる。暫定
β＝（Ａｖprf／Ａｖimg）2    ・・・式（２）
また、ＩＳＯ感度に基づく場合、そのゲイン補正量γは、入力ＲＧＢ画像の撮影時ＩＳＯ感度ＩＳＯimgと、選択プロファイルの想定ＩＳＯ感度ＩＳＯprfとから、以下の式（３）で求めることができる。
γ＝ＩＳＯprf／ＩＳＯimg    ・・・式（３）
さらには、上記式（１）〜式（３）を前提とした以下の式（４）に基づき、シャッタスピード、絞り値、ＩＳＯ感度のいずれか２種類或いは３種類すべての撮影パラメータを用いてゲイン補正量Δを決定することも可能である。
Δ＝α×β×γ    ・・・式（４）
例えば、シャッタスピードを固定とし、絞り値とＩＳＯ感度に基づき決定する場合には、α＝１．０の定数とし、上記式（２）〜式（４）を用いてゲイン補正量Δを求めればよい。なお、ここでは数式を用いた演算によりゲイン補正量を導出する例を説明したが、各種撮影パラメータとゲイン補正量との関係を記したルックアップテーブル（ＬＵＴ）を用意しておき、ＬＵＴを参照することでゲイン補正量を決定してもよい。
【００２３】
以上が、本実施形態における色処理条件決定処理の内容である。
【００２４】
（色処理）
次に、Ｓ４０３の色処理について詳しく説明する。前述のとおり、ここでの色処理には、入力ＲＧＢ画像のゲインを調整するゲイン補正処理と、選択プロファイルを適用してデバイス依存の色信号値をデバイス非依存の色信号値に変換する色変換処理とが含まれる。そして、ゲイン補正処理はゲイン補正部２０２において行われ、色変換処理は色変換部２０３において行われる。図７は、色処理の流れを示すフローチャートである。
【００２５】
Ｓ７０１では、色処理条件決定処理の結果であるゲイン補正量と選択プロファイルの情報がそれぞれ取得される。続くＳ７０２では、取得したゲイン補正量に基づき、入力ＲＧＢ画像データに対してゲイン補正処理が実行される。具体的には、入力ＲＧＢ画像の画素毎のＲＧＢ値それぞれに対して、取得されたゲイン補正量が乗算される。例えば、ゲイン補正量がシャッタスピードに基づき決定された場合の、ゲイン補正後の各画素のＲＧＢ値（Ｒａ,Ｇａ,Ｂａ）は、以下の式（５）によって表される。
Ｒａ＝Ｒ×α
Ｇａ＝Ｇ×α
Ｂａ＝Ｂ×α          ・・・式（５）
こうして、ゲイン補正が施されたＲＧＢ画像（以下、「補正後ＲＧＢ画像」と呼ぶ。）が生成される。
【００２６】
次に、Ｓ７０３では、取得した選択プロファイルを適用して、Ｓ７０２で生成された補正後ＲＧＢ画像の各画素の色信号値（Ｒａ,Ｇａ,Ｂａ）が、デバイス非依存の色信号値へと変換される。この変換の手法には、前述の図３で示したＬＵＴのプロファイルを用いる方法の他、例えば３次元の変換行列を用いた行列演算による方法がある。ここでは、補正後ＲＧＢ画像が持つデバイス依存のＲＧＢの色信号値を、３×３の変換行列のプロファイルを用いて、デバイス非依存のＸＹＺの色信号値に変換する場合を例に説明する。
【００２７】
いま、選択プロファイルとしての３×３の変換行列Ｍが、以下の式（６）で表されるとする。
【００２８】
【数１】
2019165398.tif 000003
このとき、変換後のＸＹＺ値は、以下の式（７）によって求められる。
【００２９】
【数２】
2019165398.tif 000004
入力ＲＧＢ画像の画素値が８ビットの色信号値で表されている場合、各画素値は０から２５５までの整数値に限られる。そこで、入力値であるＲＧＢ値の全組み合わせについて、出力値であるＸＹＺ値を予め上記式（７）に基づいて算出しておき、対応するＲＧＢ値との組を記述したＬＵＴをプロファイルとして用意しておくことで、より簡便に色変換を実現できる。このとき、ＲＧＢ値の全組み合わせではなく、代表的な組み合わせのみ記述したＬＵＴを用意しておき、ＬＵＴに記述されていないＲＧＢ値に対応するＸＹＺ値については補間演算によって導出するようにしてもよい。こうして、入力ＲＧＢ画像に対して色変換処理が施された画像（以下、「色変換後画像」と呼ぶ。）が生成される。
【００３０】
Ｓ７０４では、Ｓ７０３で生成された色変換後画像のデータが、定義域外判定部２０４及び画像情報表示部２０５へ出力される。
【００３１】
以上が、色処理の内容である。
なお、Ｓ７０２のゲイン補正処理とＳ７０３の色変換処理との順番は入れ替えてもよい。どちらを先に行っても同等の結果が得られる。さらには、ゲイン補正量を用いて選択プロファイルを修正したプロファイルを用いて、直接に入力ＲＧＢ画像データの色信号値をデバイス非依存の色信号値に変換してもよい。例えば、３×３の変換行列Ｍを持つプロファイルの場合、ゲイン補正量αに基づく修正後の変換行列Ｍaは、以下の式（８）で表される。
【００３２】
【数３】
2019165398.tif 000005
また、本実施形態では、デバイス非依存の色信号値としてＸＹＺ値に変換する例を説明したがこれに限られるものではない。例えば、Ｌ*ａ*ｂ*、ｓＲＧＢ、ＬＵＶなどの色信号値に変換しても構わない。
【００３３】
（色変換結果表示処理）
続いて、Ｓ４０４の色変換結果表示処理について詳しく説明する。この処理は、表示制御部２０５において行われる。上述のとおり、Ｓ４０３の色処理では、入力ＲＧＢ画像データに対してゲイン補正処理を行なう。このゲイン補正処理によって、プロファイルで定義される色域（前述の式（７）を用いた変換の場合はＸＹＺ色空間における色域）外の色信号値に変換されることがある。図８を参照して説明する。図８は、図６（ａ）における“profile_s4”の特性を示すグラフであり、横軸が被写体の輝度、縦軸が画素値を表している。なお、本来はＲＧＢ値とＸＹＺ値との３次元の対応関係が必要であるが、ここでは説明の便宜上、１次元としている。図８のグラフにおいて、実線８０１が“profile_s4”、破線８０２が色変換処理の対象入力画像にそれぞれ対応する。入力画像は８ビット（最大画素値が２５５）のＲＧＢ画像である。なお、前述の図６（ａ）〜（ｃ）で示した対応表について補足すると、シャッタスピードが遅くなるほどプロファイル特性を示す実線８０１の傾きは大きくなる。例えば、シャッタスピードが２倍になれば、実線８０１の傾きも２倍になる。図６（ｃ）の場合も同様、ＩＳＯ感度の数値が大きくなるにつれてプロファイル特性を示す実線８０１の傾きは大きくなる。また、図６（ｂ）の場合は、絞り値の数値が大きくなるにつれて、実線８０１の傾きは小さくなる。
【００３４】
いま、被写体の輝度値が１０００であったとする。この場合、入力画像上の画素値は、破線８０２から“１２０”になることが分かる。この画素値“１２０”に、例えば前述した露出差に基づいて導出したゲイン補正量α＝１．２８を乗算すると、画素値は“１５４”となる。この画素値“１５４”に、“profile_s4”を適用することで、被写体の輝度値“１０００”を得ることができる。一方、被写体の輝度値が“１５００”であったとする。この場合、入力画像上の画素値は“２２０”になる。この画素値“２２０”に対してゲイン補正量α＝１．２８を乗算すると、画素値は“２８２”となり、入力画像の最大画素値“２５５”を超えてしまう。こうなると、“profile_s4”を適用しても正しい輝度値“１５００”を得ることはできないので、“profile_s4”で定義可能な最大輝度値“１４００”を出力する等で対処することになる。このように、ゲイン補正の影響によって、入力ＲＧＢ画像の色信号値がプロファイルで定義される色域外の色信号値に変換され、色変換精度が低下することがある。
【００３５】
そこで、本実施形態では、色変換画像をモニタ１０８などに表示する際、プロファイルに従った色変換処理が正しく出来なかった箇所が色変換後画像内に存在する場合、当該箇所をユーザが把握できるようにする。以下、図９のフローチャートを参照して詳しく説明する。
【００３６】
Ｓ９０１では、色変換後画像データと選択プロファイルが取得される。続くＳ９０２では、取得した色変換画像の画素のうち注目する画素の画素値（ここでは、ＸＹＺ値）が取得される。この場合の注目画素は、例えば色変換後画像内の左上の画素から順に、注目画素として決定していけばよい。
【００３７】
Ｓ９０３では、Ｓ９０２で取得した注目画素の画素値が表す色が、選択プロファイルで定義される色域外の色か否かが判定される。この判定は、例えば、予め各プロファイルに色域の範囲を示す情報を付加しておき、選択プロファイルに付加された当該情報を参照して、注目画素の色信号値が色域の範囲の内側か外側かをチェックする。プロファイルで定義される色域がＸＹＺ色空間の色域である場合は、例えば以下の式（９）及び式（１０）を用いて判定することができる。
Ｙ0≦Ｙmin      ・・・式（９）
Ｙ0≧Ｙmax      ・・・式（１０）
上記式（９）及び式（１０）において、Ｙ0は注目画素の輝度を表すＹ成分の信号値（Ｙ信号）を示し、Ｙmax及びＹminは選択プロファイルでのＹ信号の最大値と最小値をそれぞれ示す。Ｘ成分とＺ成分の信号値についても同様に判定することができる。注目画素のＸＹＺ値が上記式（９）と式（１０）で示すいずれかの条件を満たす場合は、注目画素の変換後の色が定義域外の色であると判定する。なお、
プロファイルで定義される色域の情報が予め付加されていない場合でも、適宜導出して判定可能である。例えば、プロファイルが３×３の変換行列である場合は、前述の式（７）に対して、ＸＹＺ各成分の信号値が最大となるＲＧＢ=（255、255、255）と最少となるＲＧＢ＝（0,0,0）を代入して演算する。これにより、ＸＹＺ各成分の信号値における最大値と最小値が得られる。また、プロファイルがＬＵＴの場合は、そのＬＵＴ内のＸＹＺ各成分における信号値の最大値と最小値をそのまま用いればよい。判定の結果、注目画素の画素値が表す色が選択プロファイルの定義域外となる場合はＳ９０４に移行し、定義域内に収まる場合はＳ９０５に移行する。
【００３８】
Ｓ９０４では、その色が定義域外にあると判定された注目画素の、色変換後画像内の位置座標を示す情報が、ＲＡＭ１０２等に記憶・保持される。次のＳ９０５では、色変換後画像の全画素について処理が完了したか否かが判定される。全画素について処理が完了していた場合は、Ｓ９０６に移行する。一方、未処理の画素があれば、Ｓ９０２に戻って次の画素を注目画素として処理を継続する。
【００３９】
Ｓ９０６では、Ｓ９０４で保持された座標情報を基づき、プロファイルの定義域外の色が色変換後画像内に存在することをユーザが把握可能な画像情報が生成され、モニタ１０８に表示される。例えば、色変換後画像の各画素のうちプロファイルの定義域外となった画素を強調表示した画像を生成して、当該画像をモニタ１０８に表示する。これにより、色変換処理の結果、その際に使用したプロファイルの定義域外の色が発生したことがユーザに分かるようにする。強調の方法は、当該箇所をユーザが認識しやすいような表示方法であればよい。例えば、定義域外となった箇所をその画素値にかかわらずモノクロ（白や黒）で表示するといった具合である。図１０（ａ）及び（ｂ）を参照して、プロファイルの定義域外となった色の画素を強調表示した画像の具体例について説明する。図１０（ａ）は、光沢のある球体１００１を被写体として撮影したＲＧＢ画像に対し、前述の色変換処理を行って得られた画像を示している。球体１００１内の領域１００２は光沢部分を示し、当該部分の画素の輝度値がプロファイルで定義域外と判定されていたとする。図１０（ｂ）は、定義域外と判定された画素で構成される領域１００２の色を黒に変換して強調表示している。さらには、色を変えて強調表示した定義域外の箇所を点滅表示させるなどして、ユーザがより明確に認識可能となるようにしてもよい。
【００４０】
以上が、色変換結果表示処理の内容である。なお、Ｓ９０３の色域外判定処理において、定義域外と判定された画素がなかった場合は、図１０（ａ）に示すような色変換後画像をそのまま表示すればよい。
【００４１】
本実施形態によれば、プロファイル作成時に想定される露出条件と、実際に被写体を撮影したときの撮影条件とが異なる場合でも、正しい色変換値を推定することが可能になる。また、ゲイン補正処理によりプロファイルの定義域外の色になってしまう場合には、その画素位置をユーザが確認できるようにする。これによりユーザは、露出条件を変更して被写体を撮り直すなどの対応が可能となり、測色評価が容易になる。
【実施形態２】
【００４２】
実施形態１では、色変換処理によってプロファイルで定義される色域から外れてしまう色が発生した場合に、色変換後画像のどの部分が定義域外となったのかをユーザが把握できるようにしていた。しかしながら、例えば被写体の重要部分でそのようなプロファイルの定義域外に色変換されてしまうことは事前に避けられるのが望ましい。そこで、予め画像内の所定の画素位置を指定し、当該指定した画素位置の色がプロファイルの定義域外とならないように色変換処理を行う態様について、実施形態２として説明する。
【００４３】
なお、画像処理装置のハードウェア構成など、実施形態１と共通する内容については説明を省略ないしは簡略化し、以下では差異点を中心に説明を行うものとする。
【００４４】
図１１は、本実施形態に係る、画像処理装置１００のソフトウェア構成を示す機能ブロック図である。実施形態１と共通の色処理条件決定部２０１、ゲイン補正部２０２、色変換部２０３、定義域外判定部２０４及び表示制御部２０５に、さらに、基準点設定部１１０１と画像評価部１１０２が追加されている。基準点設定部１１０１は、入力ＲＧＢ画像データにおける特定の画素位置を基準点として設定する。設定された基準点の位置座標の情報（基準点情報）は、色処理条件決定部２０１と画像評価部１１０２で利用される。色処理条件決定部２０１は、入力ＲＧＢ画像データ、上述の基準点情報及び候補プロファイルに基づいて、ゲイン補正量を決定し、色変換処理に適用するプロファイルを選択する。画像評価部１１０２は、上述の基準点情報に基づいて色変換後画像を評価する。図１１で示す各部も、ＣＰＵ１０１がＨＤＤ１０３に格納された所定のプログラムをＲＡＭ１０２に展開しこれを実行することで実現される。
【００４５】
図１２は、本実施形態に係る、画像処理装置１００における画像処理の流れを示すフローチャートである。以下、図１２のフローに沿って、本実施形態に係る色変換処理を中心とする画像処理について説明する。
【００４６】
Ｓ１２０１では、候補プロファイルと、処理対象となるＲＧＢ画像データが入力される。本実施形態の場合、変換後の色がプロファイルの定義域外の色となってしまうのを可能な限り避けるために、入力される候補プロファイルの数は複数が望ましく、さらにはなるべく多い方が望ましい。ここでは、複数の候補プロファイルが入力されたものとして、以下説明する。入力されたＲＧＢ画像データは、色処理条件決定部２０１とゲイン補正部２０２に送られる。また、入力された候補プロファイルは、色処理条件決定部２０１に送られる。
【００４７】
Ｓ１２０２では、基準点となる画素位置が設定される。この画素位置は、例えばＧＵＩ（グラフィカルユーザインタフェース）を介したユーザ操作に基づいて指定される。図１３（ａ）は、ユーザが基準点を指定するためのＵＩ画面の一例を示している。ユーザは、図１３（ａ）のＵＩ画面内に表示される入力画像１３０１を見ながら、色変換結果を評価する際の基準となる被写体（ここでは球体）上の所望の点をマウス等で指定する。入力画像１３０１内の黒点１３０２が、ユーザによって指定された基準点を表している。いま、被写体である球体の色は左から右に次第に明るくなる横方向のグラデーションを持ち、その中心が基準点として設定されたものとする。ユーザが基準点１３０２を指定すると、入力画像の左上隅を原点（０，０）とした、基準点の画素位置の座標情報（ここでは、ｘ＝1500、ｙ＝1000）がＵＩ画面内に表示される。こうして入力画像内の特定の画素位置が基準点として設定される。なお、基準点となる画素位置の指定方法はＧＵＩを介したユーザ入力に限られるものではない。例えば、入力画像の中心の画素位置などを基準点のデフォルト位置として予め決定しておき、ユーザが特定の画素位置を指定しなくても基準点が設定されるようにしてもよい。こうして設定された特定の画素位置の座標情報が、基準点を特定する情報（基準点情報）として、色処理条件決定部２０１と画像評価部１１０２へ送られる。
【００４８】
Ｓ１２０３では、入力ＲＧＢ画像と複数の候補プロファイル、さらにＳ１２０２で設定した基準点とに基づいて、次のＳ１２０４における色処理の条件（ゲイン補正量及び実際に適用するプロファイル）を決定する色処理条件決定処理が実行される。この色処理条件決定処理の詳細は後述する。
【００４９】
Ｓ１２０４では、入力ＲＧＢ画像に対し、Ｓ１２０３で決定した色処理条件に従った色処理（ゲイン補正処理＋色変換処理）が実行される。この色処理の内容は、実施形態１の図７のフローで説明したとおりであるので説明を省く。
【００５０】
Ｓ１２０５では、色変換後画像に対して、Ｓ１２０２で決定した基準点に基づく評価がなされる。例えば、基準点に対応する画素の色信号値とそれ以外の画素の色信号値との差分から、以下の式（１１）で示す色度の距離eが画素毎に算出される。
【００５１】
【数４】
2019165398.tif 000006
上記式（１１）におけるｘ0、ｘ1、ｙ0、ｙ1は、以下の式（１２）で表される。
【００５２】
【数５】
2019165398.tif 000007
上記式（１２）において、Ｘ0、Ｙ0、Ｚ0は基準点情報が示す座標位置の画素におけるＸＹＺ成分の画素値を意味し、Ｘ1、Ｙ1、Ｚ1は、評価値の算出対象となる基準点以外の画素におけるＸＹＺ成分の画素値を意味する。こうして得られた画素毎に評価値を算出した結果は、例えば、基準点を囲む一部領域１３０３に対応する部分画像（評価画像）で表現される。図１３（ｂ）で示す評価画像は、各画素が基準点１３０２に対する前述の式（１１）で表される評価値を持ち、その差が小さいほど暗く、差が大きいほど明るく表現されている。いま、横方向のグラデーションを持つ球体の中心が基準点として設定されているので、評価画像の中央は差が小さく（暗く）、両端は差が大きく（明るく）なっている。なお、評価画像の表現方法はこれに限られるものではない。例えば、明暗は逆であってもよいし、所望の閾値以下は青、閾値以上は赤などと色分けして表示してもよい。このような評価画像のデータが、表示制御部２０５に送られる。
なお、上述した色度の距離ｅは評価値の一例であり、これに限定されない。例えば、ＸＹＺ各成分それぞれの色信号値における差分の絶対値を評価値としてもよい。或いは、基準となる白色のＸＹＺ値を取得してＬａｂなどの視覚均等色空間の色信号値に変換した上で、明度差、色度差、色差などを評価値とすることもできる。また、図１３の例では、基準点の周辺の部分領域を対象に評価画像を生成したが、入力画像（色変換後画像）の全体に対応する評価画像を生成してもよい。
【００５３】
Ｓ１２０６では、Ｓ１２０５で生成された評価画像が、Ｓ１２０４で生成された色変換後画像に代えて（或いは色変換後画像と共に）モニタ１０８に表示される。
【００５４】
以上が、本実施形態に係る、画像処理装置１００における色変換処理を中心とした画像処理の大まかな流れである。
【００５５】
（色処理条件決定処理）
続いて、Ｓ１２０３の色処理条件決定処理について詳しく説明する。この処理は、色処理条件決定部２０１において行われる。図１４は、本実施形態に係る、色処理条件決定処理の詳細を示すフローチャートである。
【００５６】
Ｓ１４０１では、入力されたＲＧＢ画像の撮影時の露出に関わる撮影パラメータと、前述のＳ１２０２で設定された基準点の情報が取得される。続くＳ１４０２では、前述のＳ１２０１で取得した複数の候補プロファイルの中から注目する候補プロファイルが１つ決定される。
【００５７】
Ｓ１４０３では、Ｓ１４０１で取得した撮影パラメータと、Ｓ１４０２で決定された注目候補プロファイルの想定撮影パラメータとに基づき、ゲイン補正処理で使用する補正量が決定される。例えば、シャッタスピードを基にゲイン補正量を決定する場合、前述の式（１）を用いて、注目候補プロファイルの想定シャッタスピードＴｖprf、入力ＲＧＢ画像の撮影時シャッタスピードＴｖimgとして、ゲイン補正量αが求められる。
【００５８】
Ｓ１４０４では、Ｓ１４０３で決定したゲイン補正量に基づいて、基準点情報で特定される画素の画素値が、例えば前述の式（５）を用いるなどして補正される。そして、Ｓ１４０５では、その補正後の画素値が、注目候補プロファイルで定義される色域内の色か否かが判定される。この判定は、実施形態の図９のフローにおけるＳ９０３に準じて行えばよい。すなわち、プロファイルで定義される色域がＸＹＺ色空間の色域である場合は、前述の式（９）及び式（１０）における不等号の向きを逆にした式を用いる等により判定すればよい。判定の結果、基準点情報で特定される画素の補正後の画素値が、注目候補プロファイルの定義域内である場合はＳ１４０６に移行し、定義域外の場合はＳ１４０７に移行する。
【００５９】
Ｓ１４０６では、Ｓ１４０２で決定した注目候補プロファイルと、Ｓ１４０３で決定したゲイン補正量とを対応付けた、プロファイルとゲイン補正量との組合せ情報がＲＡＭ１０２等に保持される。続く１４０７では、Ｓ１２０１で取得した複数の候補プロファイルのすべてについて処理が完了したかどうかが判定される。全ての候補プロファイルについての処理が完了していれば、Ｓ１４０８に移行する。一方、未処理の候補プロファイルがあれば、Ｓ１４０２に戻って次の候補プロファイルを注目する候補プロファイルとして処理を継続する。
【００６０】
Ｓ１４０８では、Ｓ１４０６で保持されたすべての組合せ情報の中から、最小のゲイン補正量を持つ組合せが選択され、当該組合せに係るゲイン補正量とプロファイルの情報が出力される。すなわち、選択された組合せに含まれるゲイン補正量の情報がゲイン補正部２０２へ、それに対応付けられた候補プロファイルの情報が色変換部２０３へ、それぞれ出力される。
【００６１】
以上が、本実施形態における色処理条件決定処理の内容である。
【００６２】
本実施形態によれば、入力画像内の指定された画素位置の色がプロファイルで定義される色域の中に確実に収まるように色変換することができる。その結果、被写体の重要部分等でプロファイルの定義域外の色が発生してしまうことを事前に避けることができ、ユーザにとってより望ましい色変換の実現が可能となる。
【００６３】
（その他の実施例）  
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６４】
１００  画像処理装置
２０１  色処理条件決定部
２０１  ゲイン補正部
２０３  色変換部
【図１】
2019165398.tif 000008
【図２】
2019165398.tif 000009
【図３】
2019165398.tif 000010
【図４】
2019165398.tif 000011
【図５】
2019165398.tif 000012
【図６】
2019165398.tif 000013
【図７】
2019165398.tif 000014
【図８】
2019165398.tif 000015
【図９】
2019165398.tif 000016
【図１０】
2019165398.tif 000017
【図１１】
2019165398.tif 000018
【図１２】
2019165398.tif 000019
【図１３】
2019165398.tif 000020
【図１４】
2019165398.tif 000021