(57)【特許請求の範囲】
【請求項１】
カラー画像の調整対象色を目標色に移行させるのにあわせて、色空間内で階調逆転がないように他の色を調整する色調整方法において、前記カラー画像の画素の色を表す色空間における２つの調整対象色の各々について、当該１つの調整対象色を調整した場合の画素の調整後の色と元の色との色空間における距離が、他方の調整対象色を調整した場合の画素の調整後の色と元の色との色空間における距離より大きい当該画素からなる領域を、前記カラー画像の中で、当該１つの調整対象色について調整を行う領域を表す調整領域として決定し、前記調整領域が表す領域に対して、当該１つの調整対象色についての調整を行うことを特徴とする色調整方法。
【請求項２】
カラー画像の調整対象色を目標色に移行させるのにあわせて、色空間内で階調逆転がないように他の色を調整する色調整装置において、前記カラー画像の画素の色を表す色空間における２つの調整対象色の各々について、当該１つの調整対象色を調整した場合の画素の調整後の色と元の色との色空間における距離が、他方の調整対象色を調整した場合の画素の調整後の色と元の色との色空間における距離より大きい当該画素からなる領域を、前記カラー画像の中で、当該１つの調整対象色について調整を行う領域を表す調整領域として決定する調整領域決定部と、前記調整領域が表す領域に対して、当該１つの調整対象色についての調整を行う色調整部とを有することを特徴とする色調整装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像の対象の色を目標の色に向かって調整するための色調整方法および色調整装置に関するもので、特に、人物の肌色や、風景の空や、草木の緑などの記憶色と呼ばれる色の調整に関するものである。
【背景技術】
【０００２】
人物の肌色、風景の空、草木の緑などの記憶色と呼ばれる色は、実際の色よりも特徴を強調した方が良いことで知られている。近年、デジタルカメラの普及により、デジタル画像に対する記憶色の調整が重要度を増している。
【０００３】
自然画像中の記憶色を調整する方法として、例えば、特許文献１を挙げる。この方法によれば、画像中から抽出された人物の肌、風景の空、草木の緑のそれぞれに対し、色相に関してN個、彩度に関してM個、明度に関してL個で分割されたN×M×L個の分割領域に対して割り振られた色補正パラメータを基に、最適な色補正パラメータを決定することができる。このパラメータを利用して、特定の色相にのみ作用する色補正を行うことで、記憶色付近の色のみを好ましい色に補正することができた。
【０００４】
上記の方法は、記憶色を補正するための具体例で示されているが、一般に、複数の色を調整する場合に問題になるのが、調整の影響が相互に及ぼされる場合である。このような問題を解決するための方法として、例えば、特許文献２を挙げる。この方法によれば、１つの画像で複数の色を調整する場合に、色空間内で調整対象となる色の近傍のみを写像することで調整が行われ、かつ、２つ以上の色を調整する場合には、調整範囲に交差がないような処理を加えることで、相互に及ぼされる調整の影響を無くすことができた。例えば、人物の肌色は色空間では分布が広いため、調整の範囲が草木の緑の調整範囲と重なってしまう場合がある。このような場合に有効な方法である。
【０００５】
特許文献２の方法以外にも、複数色の調整を行う手法が考えられる。例えば、調整対象となる対象色の調整範囲が交差したり、重なったりする場合は、優先度に応じて、いずれかの対象色の調整範囲を変更、または、調整範囲を合成することで、交差がなく、階調逆転の無い色調整を行うことができる。これにより、例えば、人物の肌、風景の空、草木の緑が存在する場合に、例えば、肌→空→緑の順に優先度を設け、優先度に従って調整の度合いを反映することができる。
【特許文献１】特開２００１−９２９５６公報
【特許文献２】特開２００３−１５３０２８公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来方法のほとんどは、色空間のみを用いた色調整方法であり、複数の調整対象色を調整するとき、調整範囲に交差が生じる場合は、調整範囲を変更せざるを得なくなり、調整の効果を得られない対象色があった。また、逆に、記憶色を調整したときに、調整の影響を与えたくない領域（例えば、衣服など。その他に、撮影者が色調整を望まない領域）に対して影響を及ぼすことがあった。
【０００７】
本発明では、色空間による色の調整量を、画素の位置や、画像中の領域に応じて制御することで、上記の問題を解決することを課題としている。
【課題を解決するための手段】
【０００８】
本発明によれば、上述の目的を達成するために、特許請求の範囲に記載の構成を採用している。
【０００９】
以下では、特許請求の範囲の記載を補充的に説明する。
【００１０】
本発明の一側面によれば、上述の目的を達成するために、カラー画像の調整対象色を調整する色調整方法において、前記カラー画像の画素の色を表す色空間における前記調整対象色の点の移動量を、前記カラー画像中の領域に応じて制御するようにしている。なお、色は種々の色空間で表すことができ、輝度も調整対象の色に含まれる。
【００１１】
この構成においては、カラー画像中の領域を絞り込んで色調整を行うことにより、色調整の対象となる対象色に対して、調整の効果を最大限に発揮できる色調整を行うことができる。
【００１２】
本発明は、画像処理に広く適用可能である。典型的には画像形成に用いられるが、画像表示に適用することもできる。
【００１３】
また、本発明の他の側面によれば、上述の目的を達成するために、 カラー画像の２つ以上の調整対象色を調整する色調整方法において、前記カラー画像の画素の色を表す色空間における前記２つ以上の調整対象色の各々の点の移動量を、前記調整対象色の各々の調整が及ぼしあう調整の度合い、または、前記調整対象色の各々に対する調整の優先度の、少なくとも１つに応じて制御するようにしている。
【００１４】
この構成においては、カラー画像中の複数の対象色を調整する場合も、各々の対象色の調整が影響を及ぼすことがないように、各々の対象色に対して、画像中の調整領域を決定することで、各々の調整の効果を最大限に発揮できる色調整を行うことができる。
【００１５】
この場合、前記調整の度合いは、典型的には、前記カラー画像に対して、１つの調整対象色を調整した場合の画素の色と、その他の調整対象色を調整した場合の画素の色とから算出される。
【００１６】
また、前記優先度の高い順に、前記調整対象色の各々の調整に対する加重を行い、前記調整に対する加重を、前記調整対象色の各々の調整に反映させてもよい。
【００１７】
また、前記調整の度合い、または、前記優先度、の少なくとも１つを用いて、前記カラー画像の中で、前記調整対象色の各々の調整を行う領域を表す調整領域を、前記調整対象色の各々に対して決定し、前記調整領域が表す領域に対して、前記調整対象色の各々の調整を行ってもよい。
【００１８】
また、前記カラー画像の画素の色を表す色空間の中で、前記調整対象色を表す点を、目標の点に向かって、階調逆転の無い移動をさせることにより、前記調整対象色の調整を行ってもよい。
【００１９】
また、前記優先度は、前記カラー画像が表すシーンに応じて算出されてもよい。
【００２０】
また、前記優先度は、前記カラー画像に付帯するタグ情報に応じて算出されてもよい。
【００２１】
また、前記調整対象色は、典型的には、記憶色である。
【００２２】
前記記憶色は、典型的には、人物の肌色、風景の空色、草木の緑色とし、前記優先度は、前記カラー画像の中で、前記カラー画像が表すシーン、または、記憶色の各々が占める面積、または、前記カラー画像に付帯するタグ情報、の少なくとも１つに応じて算出される。
【００２３】
なお、本発明は、方法の態様に限定されず、色調整装置や色調整用コンピュータプログラムとして実現されても良い。
【００２４】
また、色調整方法や装置のほかに、画像処理方法や装置等に適用できることがもちろんである。
【００２５】
本発明の上述の特徴および他の特徴は特許請求の範囲に記載され、以下、実施例を用いて詳細に説明される。
【発明の効果】
【００２６】
以上の説明のように、本発明によれば、カラー画像の画素の色を表す色空間における点の移動量を、画素の位置や画像中の領域に応じて制御することで、色調整の対象となる対象色に対して、調整の効果を最大限に発揮できる色調整を行うことができる。また、カラー画像中の複数の対象色を調整する場合も、各々の対象色の調整が影響を及ぼすことがないように、各々の対象色に対して、画像中の調整領域を決定することで、各々の調整の効果を最大限に発揮できる色調整を行うことができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施例について説明する。
【実施例１】
【００２８】
まず、一般的な色調整について簡単に説明しておく。
【００２９】
図１は、カラー画像中の対象色から目標色に向かって調整を行う色調整方法を実現するブロック図である。図１において、色調整部１１は、画像形成装置の色調整を行う機能ブロックである。調整対象の対象色は、どんな色でもよく、例えば、対象色が記憶色であれば、人物の肌色、風景の空色、草木の緑色などが対象色となる。色調整部１１では、対象色から目標色に向かっての調整が行われる。例えば、図２に矢印で示すような調整手法（特開２００４−１１２６９４公報）を用いることにより、色空間内で階調逆転がなく、他の色に影響を与えない調整を行うことができる。色空間はRGB、XYZ、L*a*b*など、どのようなものを用いてもよい。
【００３０】
図３は、図１のブロック図を用いて、従来の調整手法（特開２００４−１１２６９４公報）を用いて行った調整結果の一例を表す図である。図３では、例えば、人物の肌色を対象色として調整した結果であるものとする。斜線で示される領域は、対象色を調整したときに、狙い通りの調整がされた領域を、縦線で示される領域は、対象色を調整したために影響を与えてしまった人物肌色以外の領域を示す。
【００３１】
図４は、本発明の実施例１の構成を示す図である。図４においては、図３に示したような、他の領域への影響を無くすために、画像中で調整を行いたい領域の情報を用いる。この領域の情報は、画像中の画素の位置を示すものであればなんでもよく、例えば図５に示すように、マスク画像で与えてもよい。
【００３２】
図４において、色調整装置１０は色調整部１１、カラー画像入力部１２、対象色入力部１３、領域情報入力部１４、目標色入力部１５、調整が像出力部１６等を含んで構成される。カラー画像入力部１２は元のカラー画像を入力する。対象色入力部１３は対象色を指定する入力を行う。領域情報入力部１４は、画像中で調整を行いたい領域を指定する情報を入力する。目標色入力部１５は、対象色の目的の色を指定する入力を行う。色調整部１１は、領域情報入力部１４から入力された情報により指定された領域に制約されつつ、色調整を行う。
【００３３】
領域情報図５は人物画像に適用した例で、人物が中央付近に存在するという想定で与えたマスク画像である。このような位置または領域の情報を用いて、図４のフローで調整を行うことにより、図６のような調整結果を得ることができる。マスク画像は、２値（１：調整を行う、０：調整を行わない）でもよいし、その中間を考慮した多値のものでもよいものとする。多値であれば、マスク画像の画素が示す値を調整量の重みづけにすればよい。
【実施例２】
【００３４】
つぎに実施例２について説明する。
【００３５】
まず、実施例の詳細について説明する前に、２つの対象色の調整について説明しておく。
【００３６】
図７は、対象色１を人物の肌色、対象色２を草木の緑色とした場合に、それぞれを調整した場合の例を示す図である。図７に示すように、人物肌の調整を行ったため、緑領域に影響してしまう場合がある。逆に、緑領域の調整を行ったために人物肌の領域に影響してしまうこともある。これは、色空間内で調整範囲が交差したり、重なったりするためで、このような問題を解決するために、図８に示すように、優先度の低い対象色に対する目標色を変更することで、調整範囲が重ならないようにするなどの処理を行うことも考えられる。しかしながら、このような場合は、図９に示すように、調整範囲が変更された対象色は、最大限の好ましい調整が行えず、効果が半減してしまう。
【００３７】
図１０は、本発明の実施例２の構成を示すブロック図である。図１０において図４と対応する箇所には対応する符号を付した。
【００３８】
実施例２では、上記のように、対象色が複数ある場合の例を示す。カラー画像の中に、調整対象となる対象色がｎ個、対象色の各々に対し、ｎ個の目標色があるものとする。各々の調整に対し、効果が最大限に発揮されるためには、従来のような色空間だけでの制御は限界で、画像の領域による制御が必要となる。そこで、図１０の調整領域決定部２１では、ｎ個の対象色を、各々のｎ個の目標色に向かって調整を行う場合に影響を及ぼしあう画素を解析し、画像の中で、対象色のそれぞれに対し、調整を行うべき領域を表す調整領域を算出する。
【００３９】
図１１、図１２に、調整領域決定部２１の中で行われる処理の一例を示した。図１１は、対象色１（人物肌色）に対する画像の調整領域を算出する例である。図１１の上段は、各々の対象色を調整した場合の原画像との差を斜線で示した図である。例えば、原画像がRGB画像であるものとし、位置（ｉ，ｊ）にある画素値を（Ｒｉｊ，Ｇｉｊ，Ｂｉｊ）とする。人物肌色調整後の画素値を（ｆＲ１（Ｒｉｊ），ｆＧ１（Ｇｉｊ），ｆＢ１（Ｂｉｊ））、草木の緑色調整後の画素値を（ｆＲ２（Ｒｉｊ），ｆＧ２（Ｇｉｊ），ｆＢ２（Ｂｉｊ））とすると、図１１上段左に示す対象色１（人物肌色）の調整領域を表す原画像との差分画像は、例えば、
【数１】
0004622874.tif 000002
で示される距離ｄ１ｉｊを表すものとすればよい。これにより、対象色１の調整量がわかる。同様に図１１上段右に示す対象色２（草木の緑色）の調整領域を表す原画像との差分画像は、
【数２】
0004622874.tif 000003
で示される距離ｄ２ｉｊを表すものとすればよい。これにより、対象色２の調整量がわかる。さらに、位置（ｉ，ｊ）の画素に対する、対象色１（人物肌色）の調整量と、対象色２（草木の緑色）の調整量が及ぼしあう調整の度合いを、Δ１ｉｊとすると、例えば、
【数３】
0004622874.tif 000004
と表すことができる。図１１の下段はΔ１ｉｊを表すものとすればよい。図１１下段では、Δ１ｉｊ＞０を白、Δ１ｉｊ≦０を黒で示した。図１１上段の左に示す対象色１（人物肌色）の調整による草木の緑領域の調整量は、図１１上段の右に示す草木の緑色の調整量より小さく、かつ、人物肌領域の調整量は、図１１上段の右に示す人物肌色の調整量より大きいので、数式３で示される画像は、図１１下段に示すようになる。例えば、このようにして算出された図１１下段でしめされる領域を、対象色１（人物肌色）調整領域を表すマスク画像とすればよい。マスク画像は０か１の２値で表してもよいし、０〜１の多値で表してもよい。対象色２の調整領域を表すマスク画像も、同様に、図１２のようにすることで算出することができる。
【００４０】
色調整部１１では、上記のように、調整領域決定部で算出された調整領域を用いて調整を行う。対象色１から目標色１への調整のときは、調整領域１をマスク画像として、調整領域１に示される領域のみに調整を反映させればよいし、他の対象色の場合も同様である。例えば、対象色１が人物の肌色、対象色２が草木の緑である場合、図１０のフローで処理することにより、図１３のような結果を得ることができる。同様に、風景の空などの調整を対象色３として追加しても、図１３と同様の結果を得ることができる。本発明では、これに限らず、対象色はどんなものでもよいものとする。
【実施例３】
【００４１】
図１４は、本発明の実施例３の構成を示すブロック図である。図１４において、図４および図１０と対応する箇所には対応する符号を付した。実施例３では、実施例２の手法に加え、優先度入力部２２を介して優先度を与えることで、調整領域に対して、加重を行うことができる。例えば、対象色１が人物肌色で、対象色２が草木の緑色とした場合、対象色１の優先度を１、対象色２の優先度を２とすれば、優先度の高い対象色１の調整量を対象色２の調整量よりも大きくすることで、対象色２の調整を抑えることができる。これにより、対象色１である人物の肌色の調整を強調することができる。調整領域への加重は、例えば、最大を１、最小を０とした場合、優先度が高い順に１、０．８、０．５などのように加重を行えばよい。図１５に調整領域に加重を行った例を示す。図１５は、例えば、対象色１（人物の肌色）が優先度１で１の加重を行った場合で、対象色２（草木の緑色）が優先度２で０．８の加重を行った場合の例である。白い領域は１の加重を、黒い領域は０の加重を示す。図１５は、１、０．８、０の３値で加重を行った例だが、実施例２と同様、０〜１の多値で表してもよい。このようにすることで、優先度の順に強調した色調整を行うことができる。
【００４２】
優先度は、Exifタグなどのように、画像に付帯するシーンの情報から算出することもできるし、図１６に示すように、ソフトウェアのＵＩで指定することができる。図１６左は、調整のモードを選択できるユーザインタフェースの例を、図１６右は、３つの記憶色に優先度をつけるユーザインタフェースの例を示した。
【実施例４】
【００４３】
図１７は、本発明の実施例４の構成を示すブロック図である。図１７においても、図４、図１０、図１４と対応する箇所には対応する符号を付した。実施例４では、実施例３の形態のように、優先度を手動で与える以外に、シーン判定部３１において、原画像からシーンを自動で判定し、判定された結果を優先度に反映させることができる。シーンの判定は、公知の画像認識手法を用いればよく、例えば、特開２００１−１９５５９１で記載されている、風景の空抽出方法などのように、公開特許や、学会誌等で、数多くの手法が公開されている。このような、手法で認識され領域が、画像の中で占める面積などを用いることにより、調整の優先度をつけることができる。
【００４４】
以上で本発明の実施例の説明を終了する。なお、本発明は上述の実施例に限定されるものではなく、その趣旨を逸脱しない範囲で種々に変更が可能である。例えば、実施例１〜実施例４において、対象色の決定は、マウスなどの操作で手動で行ってもよいし、または、種々の画像領域抽出方法（例えば特開２００４−２３４４０９公報や特開２００４−２５４３０３号公報−−特願２００４−３２２０１０の優先権主張出願の公開公報−−等に開示される手法）を用いて、自動で抽出された領域の平均色を用いてもよい。対象色に対する目標色の決定は、各対象色に対して、予め設定された目標色を用いてもよいし、または、特開２００４−２５４３０３号公報（特願２００３−０２３５６５）に示す方法で、原画像に適したものを自動計算してそれを目標色としてもよい。
【図面の簡単な説明】
【００４５】
【図１】対象色を指定して色調整を行う処理を一般的に説明する図である。
【図２】色調整の例を説明する図である。
【図３】色調整の不具合を説明する図である。
【図４】本発明の実施例１の構成を説明するブロック図である。
【図５】実施例１の動作を説明する図である。
【図６】実施例１による色調整の例を説明する図である。
【図７】対象色が複数の場合の不具合の例を説明する図である。
【図８】対象色が複数の場合の色調整の例を説明する図である。
【図９】対象色が複数の場合の色調整の不具合を説明する図である。
【図１０】本発明に実施例２の構成を説明するブロック図である。
【図１１】実施例２の動作を説明する図である。
【図１２】実施例２の動作を説明する図である。
【図１３】実施例２による色調整の例を説明する図である。
【図１４】本発明に実施例３の構成を説明するブロック図である。
【図１５】実施例３の動作を説明する図である。
【図１６】実施例３のユーザインタフェースを説明する図である。
【図１７】本発明に実施例４の構成を説明するブロック図である。
【符号の説明】
【００４６】
１０    色調整装置
１１    色調整部
１２    カラー画像入力部
１３    対象色入力部
１４    領域情報入力部
１５    目標色入力部
１６    調整画像出力部
２１    調整領域決定部
２２    優先度入力部
３１    シーン判定部
【図１】
0004622874.tif 000005
【図２】
0004622874.tif 000006
【図４】
0004622874.tif 000007
【図８】
0004622874.tif 000008
【図１０】
0004622874.tif 000009
【図１４】
0004622874.tif 000010
【図１６】
0004622874.tif 000011
【図１７】
0004622874.tif 000012
【図３】
0004622874.tif 000013
【図５】
0004622874.tif 000014
【図６】
0004622874.tif 000015
【図７】
0004622874.tif 000016
【図９】
0004622874.tif 000017
【図１１】
0004622874.tif 000018
【図１２】
0004622874.tif 000019
【図１３】
0004622874.tif 000020
【図１５】
0004622874.tif 000021