(57)【要約】【課題】４バンド以上の画像データの色修正を可能とする。【解決手段】  分光データ算出部１３は、少なくとも４バンドの画像データを、変換マトリックスを用いて分光データに変換する。色データ算出部１６は、分光データ算出部１３により生成された分光データを色データに変換する。修正量設定部１７は、色データ算出部１６により生成された色データのうちから修正対象となる色データを選択し、当該色データの修正量を設定する。分光データ逆算出部１８は、色データの修正量をＸＹＺデータの修正量に変換し、少なくとも４バンドの画像データを所定の単位変化させたときのＸＹＺデータの単位変化量を算出する。そして、分光データ逆算出部１８は、ＸＹＺデータの修正量とＸＹＺデータの単位変化量とに基づいて、各バンドの線形結合係数を算出し、線形結合係数と変換マトリックスとに基づいて、分光データの修正量を算出する。【選択図】図１
2011029702.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも４バンドの画像データを取得する取得手段と、
前記取得手段により取得された画像データを、変換マトリックスを用いて分光データに変換する第１の変換手段と、
前記第１の変換手段により生成された分光データを色データに変換する第２の変換手段と、
前記第２の変換手段により生成された色データのうちから修正対象となる色データを選択し、当該色データの修正量を設定する設定手段と、
前記色データの修正量をＸＹＺデータの修正量に変換する第２の変換手段と、
前記少なくとも４バンドの画像データを所定の単位変化させたときのＸＹＺデータの単位変化量を算出する第１の算出手段と、
前記ＸＹＺデータの修正量と前記ＸＹＺデータの単位変化量とに基づいて、各バンドの線形結合係数を算出する第２の算出手段と、
前記線形結合係数と前記変換マトリックスとに基づいて、分光データの修正量を算出する第３の算出手段と、
前記第３の算出手段により算出された前記分光データの修正量に基づいて、前記第１の変換手段により生成された分光データを修正する修正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記修正手段により修正された分光データの近傍の位置における分光データの修正量は、当該修正された分光データからの差分に応じて少なくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記分光データからの差分は、前記修正手段により修正された分光データと前記近傍の位置における分光データとの平均二乗和と、前記修正手段により修正された分光データから算出された色データと前記近傍の位置における分光データから算出された色データとの差分とから求められる値であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
少なくとも４バンドの画像データを取得する取得ステップと、
前記取得ステップにより取得された画像データを、変換マトリックスを用いて分光データに変換する第１の変換ステップと、
前記第１の変換ステップにより生成された分光データを色データに変換する第２の変換ステップと、
前記第２の変換ステップにより生成された色データのうちから修正対象となる色データを選択し、当該色データの修正量を設定する設定ステップと、
前記色データの修正量をＸＹＺデータの修正量に変換する第２の変換ステップと、
前記少なくとも４バンドの画像データを所定の単位変化させたときのＸＹＺデータの単位変化量を算出する第１の算出ステップと、
前記ＸＹＺデータの修正量と前記ＸＹＺデータの単位変化量とに基づいて、各バンドの線形結合係数を算出する第２の算出ステップと、
前記線形結合係数と前記変換マトリックスとに基づいて、分光データの修正量を算出する第３の算出ステップと、
前記第３の算出ステップにより算出された前記分光データの修正量に基づいて、前記第１の変換ステップにより生成された分光データを修正する修正ステップとを含むことを特徴とする画像処理方法。
【請求項５】
少なくとも４バンドの画像データを取得する取得ステップと、
前記取得ステップにより取得された画像データを、変換マトリックスを用いて分光データに変換する第１の変換ステップと、
前記第１の変換ステップにより生成された分光データを色データに変換する第２の変換ステップと、
前記第２の変換ステップにより生成された色データのうちから修正対象となる色データを選択し、当該色データの修正量を設定する設定ステップと、
前記色データの修正量をＸＹＺデータの修正量に変換する第２の変換ステップと、
前記少なくとも４バンドの画像データを所定の単位変化させたときのＸＹＺデータの単位変化量を算出する第１の算出ステップと、
前記ＸＹＺデータの修正量と前記ＸＹＺデータの単位変化量とに基づいて、各バンドの線形結合係数を算出する第２の算出ステップと、
前記線形結合係数と前記変換マトリックスとに基づいて、分光データの修正量を算出する第３の算出ステップと、
前記第３の算出ステップにより算出された前記分光データの修正量に基づいて、前記第１の変換ステップにより生成された分光データを修正する修正ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも４バンドの画像データに対して色修正を行うための技術に関するものである。
【背景技術】
【０００２】
従来のデジタルカメラにおいては、デジタルカメラ内部に予め複数の色処理条件を保持し、その中から１つを選択し、選択したモードに応じた色処理条件を使用して、撮影した画像データの色処理を行っていた。
【０００３】
しかしながら、従来のデジタルカメラにおいては、予め用意されている条件のみしか設定できず、ユーザの好みの色再現を実現することができない。
【０００４】
そこで、本願発明者は、デジタルカメラの色再現を自由に設定できるような装置を提供することを目的として、色処理条件編集方法を提案した（特許文献１参照）。
【０００５】
この方法においては、肌色や空・草の色、原色等を含むカラーチャートをデジタルカメラで撮影したときの撮影データを、カラーチャートの本来の色（以下、目標色と称す）に近づくような最適な色処理条件を生成することができる。
【０００６】
また、特許文献２では、３次元で表わされた画像データの色を部分的に修正する技術が開示されている。この方法においては、例えば肌色等の特定の色を好ましい色に修正し、周りの色もそれに合わせて滑らかに修正することが可能である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３４１９２３号公報
【特許文献２】特許第０３１７３１４０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１、２に開示される技術では、入力データが３次元に限定されている。このため、例えば人物の肌と同じ色の壁で分光データが違っていても、最終的に人間が感じる色が同じであれば、特許文献１に開示される技術に基づいて色処理条件を生成し、特許文献２に開示される技術に基づいて修正を行ったときに、同じように修正される。
【０００９】
そこで、本発明の目的は、４バンド以上の画像データの色修正を可能とすることにある。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、少なくとも４バンドの画像データを取得する取得手段と、前記取得手段により取得された画像データを、変換マトリックスを用いて分光データに変換する第１の変換手段と、前記第１の変換手段により生成された分光データを色データに変換する第２の変換手段と、前記第２の変換手段により生成された色データのうちから修正対象となる色データを選択し、当該色データの修正量を設定する設定手段と、前記色データの修正量をＸＹＺデータの修正量に変換する第２の変換手段と、前記少なくとも４バンドの画像データを所定の単位変化させたときのＸＹＺデータの単位変化量を算出する第１の算出手段と、前記ＸＹＺデータの修正量と前記ＸＹＺデータの単位変化量とに基づいて、各バンドの線形結合係数を算出する第２の算出手段と、前記線形結合係数と前記変換マトリックスとに基づいて、分光データの修正量を算出する第３の算出手段と、前記第３の算出手段により算出された前記分光データの修正量に基づいて、前記第１の変換手段により生成された分光データを修正する修正手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、４バンド以上の画像データの色修正を行うことが可能となる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る画像処理装置の構成を示す図である。
【図２】第１の実施形態に係る画像処理装置の処理の流れを示すフローチャートである。
【図３】図２のステップＳ５の詳細を示すフローチャートである。
【図４】第１の実施形態を実現するためのＵＩの例を示す図である。
【図５】変換マトリックスの例を示す図である。
【図６】分光修正量の例を示す図である。
【図７】修正前と修正後の分光データと分光修正量との関係を示す図である。
【図８】図４のＵＩの操作方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１４】
＜第１の実施形態＞
先ず、第１の実施形態について説明する。図１は、本実施形態に係る画像処理装置の構成を示す図である。図１において、１０は、少なくとも４バンドのフィルタを保持しているターレットである。１１は撮像部である。１２は、少なくとも４バンドの画像データから３６バンドの分光データに変換するための変換マトリックスを保持する変換マトリックス保持部である。１３は、撮像部１１で取得した少なくとも４バンドの画像データと変換マトリックス保持部１２に格納されている変換マトリックスとを用いて分光データを算出する分光データ算出部である。１４は、撮像時の光源の分光分布を保持する光源分光分布保持部である。１５は、分光データからＸＹＺデータに変換する際に用いる等色関数を保持する等色関数保持部である。１６は、分光データ算出部１３で算出された分光データ、光源分光分布保持部１４に格納されている光源の分光分布、等色関数保持部１５に格納されている等色関数を用いて画像データのＬａｂ値を算出する色データ算出部である。１７は、色データ算出部１６で算出された画像データのＬａｂ値から、修正対象の色を選択してＬａｂ修正量を設定する修正量設定部である。１８は、修正量設定部１７で設定したＬａｂ修正量、変換マトリックス保持部１２に格納されている変換マトリックス、光源分光分布保持部１４に格納されている光源分光分布、等色関数保持部１５に格納されている等色関数を用いて、Ｌａｂ修正量から分光修正量に変換する分光データ逆算出部である。１９は、全ての分光データに対して分光修正量を算出し、修正を行う部分修正部である。２０は、修正後の分光データを保持するストレージである。
【００１５】
なお、撮像部１１は、取得手段の適用例となる構成である。分光データ算出部１３は、第１の変換手段の適用例となる構成である。色データ算出部１６は、第２の変換手段の適用例となる構成である。修正量設定部１７は、設定手段の適用例となる構成である。部分修正部１９は、修正手段の適用例となる構成である。
【００１６】
次に、本実施形態に係る画像処理装置の処理の流れを、図２を用いて詳細に説明する。
まずステップＳ１において、ユーザが不図示の電源スイッチをＯＮにすると、画像処理装置は、撮像部１１を通して取得した画像データを不図示の表示部に表示する。ユーザは表示部に表示された画像を見てカメラの構図を決め、不図示のシャッターボタンを押し、撮影を行う。撮影の際は、撮像部１１の前につけられたターレット１０を回転し、ここでは６バンドのフィルタを用いて６回撮影する。
【００１７】
ステップＳ２において、分光データ算出部１３は、撮像部１１で取得した画像データと、変換マトリックス保持部１２に保持されている変換マトリックスとを用いて分光データに変換する。変換マトリックスは、ウィーナーマトリックスによって多チャンネル画像から分光データを推定するウィーナー推定が一般的であり、ディジタルカラー画像の解析・評価（三宅洋一著 Ｐ１５４−１５５参照）に記述がある。変換マトリックスの例を図５に示す。
【００１８】
ステップＳ３において、色データ算出部１６は、分光データ算出部１３で算出された分光データ、光源分光分布保持部１４に格納されている光源の分光分布、等色関数保持部１５に格納されている等色関数を用いて画像データのＬａｂ値を算出する。
【００１９】
Ｌａｂ値を算出する際には、分光データのある画素の画素値をＰ００−Ｐ３５、光源の分光分布をＬ００−Ｌ３５、等色関数をそれぞれＸ００−Ｘ３５、Ｙ００−Ｙ３５、Ｚ００−Ｚ３５とする。そして、式１でまずＸ、Ｙ、Ｚを求め、式２〜式７の変換式を用いてＬａｂ値を求める。
【００２０】
【数１】
2011029702.tif 000003
【００２１】
ステップＳ４において、修正量設定部１７は、色データ算出部１６で算出された画像データのＬａｂ値から、修正したい色を選択してＬａｂ修正量を設定する。Ｌａｂ修正量は、選択した色とその色を好みの色に変更した後の色との差分である。
【００２２】
ステップＳ５において、分光データ逆算出部１８は、修正量設定部１７で設定したＬａｂ修正量、変換マトリックス保持部１２に格納されている変換マトリックス、光源分光分布保持部１４に格納されている光源分光分布、等色関数保持部１５に格納されている等色関数を用いて、Ｌａｂ修正量から分光修正量に変換する。なお、ステップＳ５の動作の詳細は図３、図５〜７を用いて後述する。
【００２３】
ステップＳ６において、部分修正部１９は、全ての分光データに対して分光修正量を算出して修正を行う。修正結果はストレージ２０に格納する。
【００２４】
次に、図３、図５〜７を参照しながら分光データ逆算出部１８の動作を詳細に説明する。図３は、図２のステップＳ５の詳細を示すフローチャートである。
【００２５】
ステップＳ５１において、分光データ逆算出部１８は、Ｌａｂ修正量をＸＹＺ修正量に変換する。まず、分光データ逆算出部１は、式８〜式１２に基づいて修正前後のＬａｂ値（色データ）から修正前後のＸＹＺ値（ＸＹＺデータ）を求め、修正前後のＸＹＺ値の差分をＸＹＺ修正量（ΔＸ、ΔＹ、ΔＺ）とする。Ｌａｂ値からＸＹＺ値を算出する際には、以下の式８〜式１２において、光源の分光分布をＬ００−Ｌ３５、等色関数をそれぞれＸ００−Ｘ３５、Ｙ００−Ｙ３５、Ｚ００−Ｚ３５とする。なお、ステップＳ５１は、第２の変換手段の処理例である。
【００２６】
【数２】
2011029702.tif 000004
【００２７】
ステップＳ５２において、分光データ逆算出部１８は、入力６バンドの各々を所定のレベル（例えば、１レベル）変更したときのＸＹＺ値の単位変化量（ΔＸ０、ΔＹ０、ΔＺ０）〜（ΔＸ５、ΔＹ５、ΔＺ５）を求める。なお、ステップＳ５２は、第１の算出手段の処理例である。
【００２８】
変化量は、以下の式１３に基づいて求める。その際、ウィーナーマトリックスの値をＷ０−Ｗ３５、等色関数をそれぞれＸ０−Ｘ３５、Ｙ０−Ｙ３５、Ｚ０−Ｚ３５とする。また、＃は０から５までの数値となる。
【００２９】
【数３】
2011029702.tif 000005
【００３０】
ステップＳ５３において、分光データ逆算出部１８は、ＸＹＺの修正量ΔＸ、ΔＹ、ΔＺと各バンドのＸＹＺ値の単位変化量（ΔＸ０、ΔＹ０、ΔＺ０）〜（ΔＸ５、ΔＹ５、ΔＺ５）から、各バンドの線形結合係数を求める。ステップＳ５３は、第２の算出手段の処理例である。
【００３１】
各バンドのＸＹＺ値の単位変化量（ΔＸ０、ΔＹ０、ΔＺ０）〜（ΔＸ５、ΔＹ５、ΔＺ５）から３組を選択し、（ΔＸａ、ΔＹａ、ΔＺａ）〜（ΔＸｃ、ΔＹｃ、ΔＺｃ）とする。このとき、線形結合係数は次の式１４から求められるα、β、γの二乗和が最小になる３組を選ぶ。
【００３２】
ステップＳ５４において、分光データ逆算出部１８は、以下の式１５に従って分光修正量を求める。分光修正量の例を図６に示す。式１５において、Ｗａ、Ｗｂ、Ｗｃはそれぞれ６バンドの中から選んだ３バンドのウィーナーマトリックスである。ステップＳ５４は、第３の算出手段の処理例である。
【００３３】
【数４】
2011029702.tif 000006
【００３４】
本実施形態を実現するためのＵＩの例を図４に示す。図４において、２１１は画像表示部、２１２は光源指定部、２１３は色データ修正部、２１４はポインタである。
【００３５】
図４のＵＩの操作方法について図８を用いて説明する。ステップＳ６１において、ユーザは画像表示部２１１に表示されている画像から修正したい画素もしくは領域を、ポインタ２１４を用いて指定する。
【００３６】
ステップＳ６２において、ユーザは光源指定部２１２で光源を指定する。指定方法は、画像表示部２１１に表示されている画像を撮影した際の光源を指定する。主なもの（太陽光、日陰、蛍光灯、白熱灯）をプルダウンメニューから選べるようにするとよい。
【００３７】
ステップＳ６３において、ステップＳ６１で指定した画素とステップＳ６２で指定した光源から、指定した画素の色がＬ値とａｂ平面上にプロットされるので、ユーザはポインタ２１４を用いて好みの色に修正する。
【００３８】
ステップＳ６４において、部分修正部１９は、先に取得した分光データを１画素ずつ取得する。ステップＳ６５において、部分修正部１９は分光修正量を算出し、取得した分光データの修正を行う。修正は以下のように行う。
【００３９】
まず、部分修正部１９は修正比率を算出する。即ち、ステップＳ６４で取得した分光データをＲａ、Ｇａ、Ｂａ、Ｃａ、Ｍａ、Ｙａ、当該分光データを指定された光源下で変換したＬａｂ値をＬａ、ａａ、ｂａとしたとき、式１６で算出される差分を用いて、修正比率Ｒを式１７で求める。Ｒｏ、Ｇｏ、Ｂｏ、Ｃｏ、Ｍｏ、Ｙｏは、指定された画素の分光データであり、Ｌｏ、ａｏ、ｂｏは、指定された画素のＬａｂ値である。即ち、式１６では、指定された画素の分光データとその近傍の位置における分光データとの平均二乗和と、指定された画素の分光データから算出された色データとその近傍の位置における分光データから算出された色データとの差分とを求めている。
【００４０】
【数５】
2011029702.tif 000007
【００４１】
上記ｋ、ｌは任意の正の定数である。ｍａｘ（ｘ，ｙ）はｘとｙのうち大きい方を返す。次に、部分修正部１９は先に算出したＲを用いて、式１８でＬａ、ａａ、ｂａを修正する。
【００４２】
【数６】
2011029702.tif 000008
【００４３】
以上のようにして分光データの修正を行う。このように本実施形態では、上記平均二乗和と色データとの差分とを指定された画素の分光データからの差分として求め、この指定された画素の分光データからの差分に応じて、近傍の位置における分光データの修正量を少なくなる。図７は、修正前と修正後の分光データと分光修正量との関係を示す図である。図７の７０１は修正前の分光データ、７０２は修正後の分光データ、７０３は分光修正量を示している。修正前の分光データ７０１を分光修正量７０３に基づいて修正することにより、修正後の分光データ７０２を得ることができる。
【００４４】
ステップＳ６６において、部分修正部１９はプロファイルの全てのデータについて修正終了したかどうかを判定する。終了の場合は終了する。終了していない場合はステップＳ６４に戻る。
【００４５】
なお、上記修正は修正点を１つのみで行っていたが、ステップＳ４〜Ｓ６を複数回実行することにより、複数の修正点を設定して修正することも可能である。
【００４６】
＜第２の実施形態＞
次に、第２の実施形態について説明する。上述した第１の実施形態ではステップＳ５３において、６バンドのＸＹＺ値の単位変化量（ΔＸ０、ΔＹ０、ΔＺ０）〜（ΔＸ５、ΔＹ５、ΔＺ５）から３組を選択して線形結合係数を算出し、その二乗和が最小になる３組を選んでいた。このとき、３つを選ぶ代わりに、式１９の行列式から一般逆行列を求め、その二乗和が最小になるものを線形結合係数としてもよい。
【００４７】
【数７】
2011029702.tif 000009
【００４８】
以上説明した実施形態においては、入力は６バンド、分光は３６バンドにしていたが、もちろん６バンド以外、３６バンド以外であっても良いことはいうまでもない。
【００４９】
さらに、分光修正量を求める際、ウィーナー推定によるマトリックスをそのまま使用していたが、それ以外のマトリックスを使用してもいいことはいうまでもない。
【００５０】
また、上述した実施形態においては、デジタルカメラ、色処理パラメータ編集装置で構成され、デジタルカメラと色処理パラメータ編集装置を、ケーブルなどを用いて直接接続することでデータのやり取りを行っていた。その他に、コンパクトフラッシュ（登録商標）等の記録媒体を用いてデータのやり取りを行っても良いことはいうまでもない。
【００５１】
上述した本発明の実施形態を構成する各手段及び各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが実行されることによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００５２】
上述した実施形態においては、４バンド以上の画像データのある特定の色を部分的に修正し、さらにその近傍の色も滑らかに修正することが可能になる。さらに修正の際、直感的に分かりやすい３次元信号（Ｌａｂ値）に変換し、最後に４バンド以上の画像データに戻すため、修正も容易で修正後には元の高次元データとして扱える。
【図１】
2011029702.tif 000010
【図２】
2011029702.tif 000011
【図３】
2011029702.tif 000012
【図４】
2011029702.tif 000013
【図５】
2011029702.tif 000014
【図６】
2011029702.tif 000015
【図７】
2011029702.tif 000016
【図８】
2011029702.tif 000017