(57)【特許請求の範囲】
【請求項１】
複数の画素からなる多色の実写画像に対して所定の画像処理を行なう画像処理装置であって、
上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計する対象色画素集計手段と、
上記対象色画素集計手段による集計の結果として得られた平均値、メジアン、標準偏差など、上記所定の範囲に入っている画素の色についての特性を表わす特性値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求める色修正量決定手段と、
該色修正量決定手段により求められた色修正量を用いて、上記実写画像を構成する画素のうち少なくとも上記画素の色が所定範囲に入っている画素を含む画素の色画像データを修正する色修正手段と
を備えた画像処理装置。
【請求項２】
上記対象色画素集計手段は、上記画素の色度が所定範囲内である画素について上記色画像データの集計を行なう手段である請求項１に記載の画像処理装置。
【請求項３】
上記色修正量決定手段において用いられる理想値が、所定の対象物について人間が感覚的に記憶している色である記憶色を表わす値に定められた請求項１または２に記載の画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置であって、
上記対象色画素集計手段は、上記画素の色画像データを要素色毎に集計する手段であり、
上記色修正量決定手段は、
各要素色毎に集計された色画像データの平均的な値を上記特性値として決定する特性値決定手段と、
上記所定範囲の色についての理想値を上記要素色毎に予め定める理想値規定手段とを備え、
上記特性値決定手段により決定された特性値と上記理想値規定手段により予め定められた理想値との差に相当する量を各要素色毎に求め、該各要素色毎に求められた量を上記集計した画素が全画素に占める割合に応じて補正して、各要素色についての色修正量を求める手段である
画像処理装置。
【請求項５】
請求項１ないし４のいずれかに記載の画像処理装置であって、
上記色修正量決定手段は、
上記特性値と上記理想値との差に相当する量についての補正結果に基づいて、入出力関係を表すトーンカーブを作成するトーンカーブ作成手段を備え、
該トーンカーブ作成手段により作成されたトーンカーブと、上記集計した画素が全画素に占める割合に応じて補正して、上記色修正量を求める手段である
画像処理装置。
【請求項６】
複数の画素からなる多色の実写画像に対して所定の画像処理を行なう方法であって、
上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計し、
上記集計の結果として得られた平均値、メジアン、標準偏差など、上記所定の範囲に入っている画素の色についての特性を表わす特性値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求め、
該求められた色修正量を用いて、上記実写画像を構成する画素のうち少なくとも上記画素の色が所定範囲に入っている画素を含む画素の色画像データを修正する
画像処理方法。
【請求項７】
複数の画素からなる多色の実写画像に対して行なわれる所定の画像処理に対応したプログラムをコンピュータに読み取り可能に記録した記録媒体であって、
上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計する機能と、
上記集計の結果として得られた平均値、メジアン、標準偏差など、上記所定の範囲に入っている画素の色についての特性を表わす特性値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求める機能と、
該求められた色修正量を用いて、上記実写画像を構成する画素のうち少なくとも上記画素の色が所定範囲に入っている画素を含む画素の色画像データを修正する機能と
をコンピュータにより実現するプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル写真画像のような実写画像データに対して最適な色修正を実行する画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体に関する。
【０００２】
【従来の技術】
ディジタル画像データに対して各種の色修正処理が行われている。例えば、ＲＧＢの各要素色ごとに強調させたり、弱めたりするといった処理である。なお、便宜上、強める処理も弱める処理も含めて強調処理と呼ぶ。これらの処理は、通常、マイクロコンピュータで実行可能となっており、操作者がモニタ上で画像を確認して修正を要する要素色を選択しつつ、強調程度のパラメータなどを決定している。
【０００３】
【発明が解決しようとする課題】
近年、画像処理で色修正することが容易になり、広く利用されるようになってきている。しかしながら、どの要素色をどの程度強調するかとなると、依然、人間が関与しなければならない。これは、色修正処理の対象となるディジタル画像データにおいて、色のずれが目立つ部分がどこであるのかを判断することができなかったためである。
【０００４】
例えば、建物の色であれば本来の色が分からない限り色のずれは分からないものの、人の肌の色というようなものは概ね想像がつき、操作者は写真画像の中の人の肌の色が自然な感じとなるように色修正する。
【０００５】
ここで、さらにやっかいなのは人間の記憶色という要素である。レモンを被写体とした場合、測色計で測定した実物の色と写真の色が一致していたとしても、対比させない限り写真の色が少しくすんでいるように見える。これは人間の感覚としてレモンの色は鮮やかな色であると記憶されているのに対し、実物はそこまで鮮やかでないからである。従って、たとえ本来の色調に修正できたとしても、それだけでは満足できない。記憶色としては肌色であるとか、木々の緑色であるとか青空のブルーなどが上げられる。
【０００６】
一方、人間が関与して色修正する場合、肌色を記憶色どおりに合わせてしまうと、他の色がずれてくることになるので、肌色が記憶色どおりにならなくても妥当な範囲となるように強調程度を決定する。
【０００７】
このように、従来の色修正処理では本来の色との比較ができないので自動的に修正することもできないし、たとえ、修正できたとしても人間の記憶色によって満足を得られにくく、結局は人間が関与しなければならないという課題があった。
【０００８】
本発明は、上記課題にかんがみてなされたもので、記憶色を考慮しながら自動的に最適な色修正処理を実行することが可能な画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体の提供を目的とする。
【０００９】
【課題を解決するための手段およびその作用・効果】
上記目的を達成するため、本発明の画像処理装置は、
複数の画素からなる多色の実写画像に対して所定の画像処理を行なう画像処理装置であって、
上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計する対象色画素集計手段と、
上記対象色画素集計手段による集計の結果として得られた平均値、メジアン、標準偏差など、上記所定の範囲に入っている画素の色についての特性を表わす特性値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求める色修正量決定手段と、
該色修正量決定手段により求められた色修正量を用いて、上記実写画像を構成する画素のうち少なくとも上記画素の色が所定範囲に入っている画素を含む画素の色画像データを修正する色修正手段と
を備えたことを要旨としている。
【００１０】
上記の発明では、対象色画素集計手段が、上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計する。例えば、ある画素が肌色の取りうる色の範囲内に入っていればその画素を集計対象とする。集計の具体的内容は平均値、メジアン等各種のものが可能であるが、画像の中の全画素について色が所定範囲に入っているものだけを集計することは、ちょうど、人間が肌色らしい画素に注目してその平均的な色を判断するのに対応する。
【００１１】
次に、色修正量決定手段は、上記対象色画素集計手段による集計の結果に基づいて求められた特性値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求める。即ち、まず、所定範囲の色の画素についての予め定められた理想値と上記集計結果との差を解消するような修正量を求める。ただし、この修正量をそのまま適用したとすると、例えば、肌色だけは適当な色になるものの、肌色以外の他の色の部分でのずれが許容できなくなる。そこで、色修正量決定手段は、上記求められた修正量を、集計した画素が全画素に占める割合に応じて補正して、色修正量を求める。これにより、肌色部分の色修正が他の部分の色を過度に変えてしまわないような調整が行われることになる。こうした補正により求められた色修正量に基づいて色修正手段が上記色画像データを修正する。
【００１２】
色画像データに基づいて各画素の色を求める手法としては、例えば、各画素の色度を求める手法を考えることができる。色度は色の刺激値の絶対的な割合を表しており、明るさには左右されない。従って、画像の中の重要な部分（これをオブジェクトと呼ぶ）を色度の取りうる範囲によって分けることができる。例えば、肌色の取りうる範囲であるとか、木々の緑色の取りうる範囲といったものである。こうした各画素の色度を求める手法を上記発明に採用し、上記の対象色画素集計手段を、上記画素の色度が所定範囲内である画素について上記色画像データの集計を行なう手段としてもよい。各画素の色画像データから色度を求める際には、元の色画像データが採用する色空間の座標系などを考慮して色度に変換すればよい。この場合、色度自体が直接的な要素となっていればそれを利用すればよいし、直接的な要素でなければ変換する。変換は変換テーブルを利用するものであってもよいし、変換式で求めるものであってもよい。この場合、必ずしも正確である必要はなく、影響の少ない誤差を含むものであっても構わない。また、対象色画素集計手段は、各画素の色が所定範囲内であるか判断し、所定範囲内である画素について集計を行なってもよい。この場合、必ずしもある範囲内であるか否かという二者択一の判断である必要はなく、重み付けを変えて集計するものでも構わない。
【００１３】
上記色修正量決定手段において用いられる理想値を、所定の対象物について人間が感覚的に記憶している色である記憶色を表わす値に定めることも好適である。
【００１４】
また、所定範囲内の色を有する画素の色画像データを集計する手法は極めて多岐にわたるものの、演算量などを考慮した一例として、以下の構成を考えることができる。即ち、上記の対象色画素集計手段を、上記画素の色画像データを要素色毎に集計する手段とすると共に、上記の色修正量決定手段を、各要素色毎に集計された色画像データの平均的な値を上記特性値として決定する特性値決定手段と、上記所定範囲の色についての理想値を上記要素色毎に予め定める理想値規定手段とを備え、上記特性値決定手段により決定された特性値と上記理想値規定手段により予め定められた理想値との差に相当する量を各要素色毎に求め、該各要素色毎に求められた量を上記集計した画素が全画素に占める割合に応じて補正して、各要素色についての色修正量を求める手段とする構成である。換言すれば、対象色画素集計手段が、対象画素と判断された各画素について上記色画像データの要素色毎について平均的な値を集計し、色修正量決定手段が、上記所定の範囲の色度となる色画像データについて要素色毎の理想値を備えた構成である。上記の構成においては、対象色画素集計手段は、対象画素と判断された各画素について上記色画像データの要素色毎について平均的な値を集計する。色度としての集計でも良いものの、色画像データの要素色を利用して集計する。一方、色修正量決定手段についても、これに対応して上記所定の範囲の色となる色画像データについて要素色毎の理想値を備えているので、要素色毎の比較をそのまま行え、その差を要素色の修正量として利用できる。
【００１５】
むろん、集計手法としては演算量は増えるもののこれ以外にもメジアンであったり、標準偏差などを利用することも可能である。
【００１６】
対象色画素集計手段が集計対象とする色や色度の範囲に関し、対象色画素集計手段が、記憶色についての色や色度が取りうる範囲を対象として画素の集計を行う構成としてもよい。
【００１７】
上記の構成においては、いわゆる人間の記憶色が含まれる色や色度が取りうる範囲を対象として画素の集計が行われる。この場合、必ずしも一つの範囲だけで一つの集計結果を得る必要はなく、複数の範囲を指定して複数の集計を個別に行なうものでも構わない。
【００１８】
色修正量決定手段は、所定範囲の色や色度の画素についての予め定められた理想値と上記集計結果（具体的には、集計の結果として得られた平均値、メジアン、標準偏差など、上記所定の範囲に入っている画素の色についての特性を表わす特性値）との差を解消するような修正量を求めるとともに、集計した画素が全画素に占める割合に応じて同修正量を補正する。この場合、必ずしも二段階の処理を行なう必要はなく、同様の結果が得られればよい。例えば、集計段階で理想値と集計結果の差を反映するようなものを得るようにしておけばそれを利用したり、全画素に対する割合が含まれた結果を得られていればそれを利用するだけでも構わない。また、理想値と集計結果との差は必ずしも減算という演算を要するものではなく、内在的にそのような意図が含まれるものであればよい。
【００１９】
色修正量についても各種の態様が可能であり、例えば、上記色修正量決定手段を、上記特性値と上記理想値との差に相当する量についての補正結果に基づいて、入出力関係を表すトーンカーブを作成するトーンカーブ作成手段を備える手段とすると共に、該トーンカーブ作成手段により作成されたトーンカーブに基づいて上記色修正量を求める手段としてもよい。より具体的には、上記色修正量決定手段が、各要素色の強弱程度を変化させるにあたって入出力関係を表すトーンカーブを利用するとともに、上記修正量に応じたトーンカーブを形成する構成を考えることができる。
【００２０】
上記の構成においては、色修正量決定手段が修正量に応じたトーンカーブを形成し、このトーンカーブに従って、色修正手段は各要素色の入出力関係が同トーンカーブで表されるような関係となるように強弱程度を変化させる。
【００２１】
色が所定範囲内にある画素について集計し、集計結果を色修正量に反映させる手法は、必ずしも実体のある装置に限られる必要もなく、その一例として、本発明の画像処理方法は、複数の画素からなる多色の実写画像に対して所定の画像処理を行なう方法であって、
上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計し、
上記集計の結果に基づいて求められた特性値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求め、
該求められた色修正量を用いて、上記実写画像を構成する画素のうち少なくとも上記画素の色が所定範囲に入っている画素を含む画素の色画像データを修正すること
を要旨としている。
【００２２】
すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
【００２３】
ところで、上述したように色を判断して色修正処理する画像処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものである。また、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。
【００２４】
発明の思想の具現化例として画像処理装置を制御するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【００２５】
その一例として、本発明の記録媒体は、複数の画素からなる多色の実写画像に対して行なわれる所定の画像処理に対応したプログラムをコンピュータに読み取り可能に記録した記録媒体であって、
上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計する機能と、
上記集計の結果として得られた平均値、メジアン、標準偏差など、上記所定の範囲に入っている画素の色についての特性を表わす特性値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求める機能と、
該求められた色修正量を用いて、上記実写画像を構成する画素のうち少なくとも上記画素の色が所定範囲に入っている画素を含む画素の色画像データを修正する機能と
をコンピュータにより実現するプログラムを記録したことを要旨としている。
【００２６】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。
【００２７】
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００２８】
以上説明したように、本発明の画像処理装置によれば、実写画像において色修正したい色の画素が自動的に集計され、かつ、集計された画素が全画素に占める割合を考慮して色修正量が決定される。従って、実写画像における特定の色についての色修正を、色修正しようとする画素の周りの画素の色に大きな影響を与えることなく実行することができる。また、画素の色度が所定範囲内である画素について色画像データの集計を行なう構成とすれば、色修正したい色の画素を、明るさにとらわれることなく正確に集計することができる。また、色修正量決定手段において用いられる理想値を記憶色を表わす値に定めれば、人間の判断に近いレベルの色修正処理を自動的に実現することができる。
【００２９】
また、画素の色画像データを要素色毎に集計して各要素色についての色修正量を求める構成とすれば、集計結果を利用する場合の演算などが行いやすくなる。
【００３０】
さらに、記憶色についての画素について集計することにより、修正の反映度も画素数に応じた調整が行われ、より人間の判断に近くなる。
【００３１】
さらに、トーンカーブを利用する構成とすれば、他の要素の色修正などを総合的に加味しやすくなる。この場合、記憶色の部分を理想的な色に近づけるだけでなく、隣接した色領域を連続的に変化させるので、トーンジャンプによる疑似輪郭が生じることもない。
【００３２】
さらに、本発明の画像処理方法によれば、同様の効果を発揮する色修正方法を提供でき、本発明の記録媒体によれば、色修正制御プログラムを記録した媒体を提供できる。
【００３３】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。
【００３４】
図１は、本発明の一実施形態にかかる色修正装置を適用した色修正システムをブロック図により示しており、図２は具体的ハードウェア構成例を概略ブロック図により示している。
【００３５】
図１において、画像入力装置１０は写真などをドットマトリクス状の画素として表した色画像データを色修正装置２０へ出力し、同色修正装置２０は同色画像データに応じた最適な色修正処理を実行する。同色修正装置２０は色修正処理した色画像データを画像出力装置３０へ出力し、画像出力装置は色修正された画像をドットマトリクス状の画素で出力する。ここにおいて、色修正装置２０が出力する色画像データは、各画素の色度に基づいて画像の対象と色とを判断するとともに、全体との兼ね合いで最適な色修正の方針と程度を決定して色修正したものである。このため、色修正装置２０は、対象色画素集計手段と、色修正量決定手段と、色修正手段とを備えている。
【００３６】
画像入力装置１０の具体例は図２におけるスキャナ１１やデジタルスチルカメラ１２あるいはビデオカメラ１４などが該当し、色修正装置２０の具体例はコンピュータ２１とハードディスク２２とキーボード２３とＣＤ−ＲＯＭドライブ２４とフロッピーディスクドライブ２５とモデム２６などからなるコンピュータシステムが該当し、画像出力装置３０の具体例はプリンタ３１やディスプレイ３２等が該当する。本実施形態の場合、色画像データで表される画素の色が記憶色と比較してずれていないかを判断するものであるため、同色画像データとしては写真などの実写データが好適である。なお、モデム２６については公衆通信回線に接続され、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。
【００３７】
本実施形態においては、画像入力装置１０としてのスキャナ１１やデジタルスチルカメラ１２が色画像データとしてＲＧＢ（緑、青、赤）の階調データを出力するとともに、画像出力装置３０としてのプリンタ３１は階調データとしてＣＭＹ（シアン、マゼンダ、イエロー）あるいはこれに黒を加えたＣＭＹＫの二値データを入力として必要とするし、ディスプレイ３２はＲＧＢの階調データを入力として必要とする。一方、コンピュータ２１内ではオペレーティングシステム２１ａが稼働しており、プリンタ３１やディスプレイ３２に対応したプリンタドライバ２１ｂやディスプレイドライバ２１ｃが組み込まれている。また、色修正アプリケーション２１ｄはオペレーティングシステム２１ａにて処理の実行を制御され、必要に応じてプリンタドライバ２１ｂやディスプレイドライバ２１ｃと連携して印刷及び表示処理を実行する。従って、色修正装置２０としてのこのコンピュータ２１の具体的役割は、ＲＧＢの階調データを入力して最適な色修正を施したＲＧＢの階調データを作成し、ディスプレイドライバ２１ｃを介してディスプレイ３２に表示させるとともに、プリンタドライバ２１ｂを介してＣＭＹ（あるいはＣＭＹＫ）の二値データに変換してプリンタ３１に印刷させることになる。
【００３８】
このように、本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んで色修正を行うようにしているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、色画像データを使用する各種のシステムに採用可能である。例えば、図３に示すようにデジタルスチルカメラ１２ａ内に各画素の色度に基づいて色修正する色修正装置を組み込み、変換した色画像データを用いてディスプレイ３２ａに表示させたりプリンタ３１ａに印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく色画像データを入力して印刷するプリンタ３１ｂにおいては、スキャナ１１ｂやデジタルスチルカメラ１２ｂあるいはモデム２６ｂ等を介して入力される色画像データから自動的に画像の対象と色とを判断して色修正するように構成することも可能である。
【００３９】
上述したオブジェクトの判断とそれに伴う色修正は、具体的には上記コンピュータ２１内にて図５などに示すフローチャートに対応した色修正処理プログラムで行っている。なお、このフローチャートはいわゆる肌色がきれいに見えるように色修正する。
【００４０】
この色修正処理では、まず、各画素の色度に基づいて肌色らしき画素についての集計を行う。なお、集計を行なうにあたっては、図６に示すようにして対象画素を移動させながら全画素について集計していくことにする。
【００４１】
まず、ステップＳ１１０では各画素についてのｘ−ｙ色度を計算する。いま、対象画素のＲＧＢ表色系におけるＲＧＢ階調データが（Ｒ，Ｇ，Ｂ）であるとするときに、
r=R/(R+G+B)                                      …（１）
g=G/(R+G+B)                                      …（２）
とおくとすると、ＸＹＺ表色系における色度座標ｘ，ｙとの間には、
x=(1.1302+1.6387r+0.6215g)/(6.7846-3.0157r-0.3857g)…（３）
y=(0.0601+0.9399r+4.5306g)/(6.7846-3.0157r-0.3857g)…（４）
なる対応関係が成立する。ここにおいて、色度は明るさに左右されることなく色の刺激値の絶対的な割合を表すものであるから、色度からその画素がどのような対象物かを判断することができるといえる。例えば、肌色を例に取ると、
0.35<x<0.40                                      …（５）
0.33<y<0.36                                      …（６）
というような範囲に含まれているから、各画素の色度を求めたときにこの範囲内であればその画素は人間の肌を示す画素と考えてもあながち誤っていないと言える。
【００４２】
従って、ステップＳ１２０では、各画素のＲＧＢ階調データに基づいて変換されたｘ−ｙ色度が肌色の範囲であるか否かを判断し、肌色であるならばステップＳ１３０にて同画素の色画像データを集計する。この集計はＲＧＢ階調データの単純な加算を意味している。また、後述するように肌色と判断された画素について平均値を求めるため、画素数もカウントする。
【００４３】
この後、肌色であると判断された場合もそうでない場合も、ステップＳ１４０にて対象画素を移動させ、ステップＳ１５０にて全画素について終了したと判断されるまで繰り返す。そして、全画素について終了した時点で、ステップＳ１６０にて集計結果を画素数で除算して平均値（Rs.ave,Gs.ave,Bs.ave）を求める。
【００４４】
以上から明らかなように、ステップＳ１１０にてｘ−ｙ色度を演算するソフトウェア処理とこれを実行するハードウェア、および、ステップＳ１２０にて同色度が所定の対象範囲内に入っているか否かを判断するとともに、入っている場合にステップＳ１３０にて色画像データを集計するという処理を、ステップＳ１４０とステップＳ１５０にて対象画素を移動させながら全画素について行ない、ステップＳ１６０にて集計結果を画素数で除算して平均値を求めるため、これらのソフトウェア処理とこれを実行するハードウェア構成が対象色画素集計手段を構成する。
【００４５】
一方、予め好ましいと感じる肌色の画素については予め理想値（Rs.ideal,Gs.ideal,Bs.ideal）を求めておく。この理想値は記憶色に関して言うならば測色された結果とは異なっている。肌色の例で言えば測色結果が一致する肌色よりも敢えてずれた肌色の方が正しいように錯覚する。これは人間の感覚として写真などに写った肌色に対する固定的な認識に基づくものであり、記憶色と呼ばれるものである。本発明では、このような記憶色をも含めた理想値を設定しておくことにより、この理想値との差を無くすように色修正するものであるから、理想値は現実の色にとらわれず、広くターゲットとして期待される色であればよい。
【００４６】
肌色の画素についてのＲＧＢ階調データの平均値（Rs.ave,Gs.ave,Bs.ave）と、好ましい肌色の場合に得られる理想値（Rs.ideal,Gs.ideal,Bs.ideal）との差は、本来、当該色画像データにおけるずれを指すことになる。
【００４７】
ただし、この差をそのまま修正量として適用するのは好ましくない。例えば、全画素に同じ修正量を実行したとすると、肌色部分は好ましい色になるかもしれないが、肌色以外の部分の画素の色が大きく影響を受けてしまいかねない。
【００４８】
このため、本実施形態においては、肌色の画素数が全画素数に占める割合（肌色率）を求め、修正量を調整している。すなわち、修正量ΔＲ，ΔＧ，ΔＢを、
ΔR=ks(Rs.ideal-Rs.ave)                          …（７）
ΔG=ks(Gs.ideal-Gs.ave)                          …（８）
ΔB=ks(Bs.ideal-Bs.ave)                          …（９）
と表すものとし、ここにおいて肌色率ksは、
ks=(肌色画素数/全画素数)
で求めている。
【００４９】
このようにして求められた色修正量はそのままでは色画像データの修正に利用できず、本実施形態においては、ステップＳ１８０にて同修正量を使用してトーンカーブを形成する。図７はトーンカーブの形成状況を示す説明図である。
【００５０】
トーンカーブはＲＧＢ階調データを強調程度を変えて変換する場合の入力−出力関係を意味しており、「０」〜「２５５」の２５６階調を例に取ると、階調「０」と階調「２５５」とこれらの間のある階調という所定の三点について特定した出力値を通過するスプライン曲線を利用している。一例として中間の階調を「６４」とおいたとすると、入力値がそれぞれ「０」、「６４」、「２５５」であって、出力値も「０」、「６４」、「２５５」であるときには入出力関係は一致してトーンカーブは直線となる。しかし、入力値「６４」に対する出力値が「６４」でない場合には図７に示すように緩やかに曲線を描いて入出力の対応関係を形成する。本実施形態においては、中間の階調として上述したＲＧＢ階調データの平均値（Rs.ave,Gs.ave,Bs.ave）をコントロールポイントとし、それぞれにおいて上述した修正量ΔＲ，ΔＧ，ΔＢがトーンカーブに反映されるようにしている。このようにしてコントロールポイントを変化させることにより、肌色率ksが「１」となるときに同コントロールポイントで理想値（Rs.ideal,Gs.ideal,Bs.ideal）と一致するようになる。
【００５１】
ステップＳ１９０では、このようにして求められたトーンカーブを利用して再度全画素について色画像データの要素色を変換することにより、色画像データに対して色修正を実行することになる。
【００５２】
むろん、このようにして集計結果と理想値との差を求めつつ対象画素が全画素に示す割合に応じて補正するステップＳ１７０の処理と、求められた色修正量に基づいてトーンカーブを形成するステップＳ１８０の処理、およびこれらを実行するハードウェア構成が色修正量決定手段を構成すると言えるし、ステップＳ１９０で色画像データを変換する処理とこれを実行するハードウェア構成が色修正手段を構成すると言える。
【００５３】
これまでは、理解の簡易のためにも修正する対象を肌色を例とした実施形態について説明しているが、色修正する対象は肌色に限るものではない。記憶色を例に取ると、肌色の他、木々の緑を鮮やかにしたいという希望や、青空を澄みきった青色にしたいという希望が多い。図８は色修正の対象を選択可能とした変形例を示している。
【００５４】
この例では、最初のステップＳ２０５にて色修正の対象を選択する。コンピュータ２１ではディスプレイ３２の画面上に図９に示す画面を表示し、操作者に対して色修正する対象を選択させる。この例では、肌色をきれいにする肌色修正と、木々の緑色をさわやかにする緑色修正と、澄み切った空の色にする青空色修正を並べて表示するとともに、これらにチェックボックスを設けてあり、それぞれ個別に選択できるようにしている。この場合、重複して選択可能としている。そして、所望のチェックボックスをチェックした後で「ＯＫ」ボタンをクリックするとチェックされたものを対象ごとに用意されているフラグを立て、ステップＳ２１０〜Ｓ２５０のループ処理を開始する。
【００５５】
このループ処理は、先の例と同様に対象画素を移動させながら全画素について色度を求めつつ集計するものであり、ステップＳ２１０では対象となっている画素について（１）〜（４）式に基づいてｘ−ｙ色度を求める。次なるステップＳ２１５ではステップＳ２０５にて設定したフラグを参照し、操作者が肌色修正を選択したか否かを判断する。そして、選択している場合には、ステップＳ２２０にて肌色画素に対する集計処理を実行する。この集計処理は、先の例におけるステップＳ１２０，Ｓ１３０と同様であり、ステップＳ２１０にて求められたｘ−ｙ色度が肌色の取りうる色度の範囲内であればＲＧＢ階調データを要素色ごとに集計する。
【００５６】
次の、ステップＳ２２５では操作者が緑色修正を選択したか否かを肌色修正の場合と同様にフラグを参照して判断する。そして、選択している場合には、この画素のｘ−ｙ色度が木々の緑色が該当する色度の範囲内であるか判断し、範囲内であればステップＳ２３０にて集計する。この集計は、肌色集計で利用したエリアとは別のエリアで集計する。
【００５７】
以下、ステップＳ２３５では青空色修正について同様の判断を行ない、ステップＳ２４０にて別のエリアで集計を行う。
【００５８】
そして、ステップＳ２４５では対象画素を移動させ、ステップＳ２５０にて全画素について終了したと判断されるまで繰り返す。この例においては、色修正となる対象が複数となる場合があるが、その場合でもステップＳ２１５〜Ｓ２４０にて対象画素の色度が所定範囲内に入っていれば集計を行うという意味で対象色画素集計手段を構成すると言える。
【００５９】
全画素についての色度を集計したら、ステップＳ２５５〜Ｓ２６５では集計結果に基づいて各色ごとに修正量を算出する。なお、この例では先の例と異なって集計結果から平均値を求める処理をこの修正量の端出処理の中で同時に行っており、かかる演算手順などは適宜変更可能である。肌色修正については先の例で説明したが、緑色修正と青空色修正についても処理は全く同じである。すなわち、集計結果に基づいて平均値を算出するとともに、好ましい画像について得られた理想値との差を求め、かつ、肌色率と同様に緑色率および青空色率を乗算して修正量を補正する。
【００６０】
ステップＳ２６５を終了した時点で、修正量は三つ存在することになる。これは、肌色修正と緑色修正と青空色修正について個別に集計して修正量を求めたためである。このため、本実施形態においては、これらの集計結果が重ね合わせられるように加算する。すなわち、処理対象をさらに広げたとして、それぞれの処理対象に対する色修正量ΔＲ，ΔＧ，ΔＢは、
【００６１】
【数１】
0003893669.tif 000002
【００６２】
【数２】
0003893669.tif 000003
【００６３】
【数３】
0003893669.tif 000004
【００６４】
として求められる。ここにおいて、
【００６５】
【数４】
0003893669.tif 000005
【００６６】
であり、重複したカウントはないものと考える。
【００６７】
このようにして求められた色修正量ΔＲ，ΔＧ，ΔＢに基づいて図７に示すようにしてトーンカーブを形成するのがステップＳ２７０の処理である。この場合、コントロールポイントは、Σki・Ri.ave,Σki・Gi.ave,Σki・Bi.aveとなる。むろん、ステップＳ２５５〜Ｓ２７０の処理が色修正量決定手段を構成する。そして、トーンカーブが形成されたらステップＳ２７５にて色画像データを修正する。
【００６８】
なお、上述した色修正装置は、プリンタドライバとして適用されることも可能である。通常、プリンタドライバは入力されたデータを加工して出力する過程において、一時的に保存しておくといったことができない。従って、所望量だけ領域分割して処理を変更するといったことには制限がある。しかしながら、（１１）式〜（１２）式に示すように、複数の要素に対する色修正量を設定しておくことにより、このような制限の多いプリンタドライバにおいても効果的な補正が行える。
【００６９】
次に、上記構成からなる本実施形態の動作を説明する。
【００７０】
最初に、先の実施形態に沿って説明する。図１０に示すような写真画像をスキャナ１１で読み込み、プリンタ３１にて印刷する場合を想定する。すると、まず、コンピュータ２１にてオペレーティングシステム２１ａが稼働しているもとで、色修正アプリケーション２１ｄを起動させ、スキャナ１１に対して写真の読み取りを開始させる。読み取られた色画像データが同オペレーティングシステム２１ａを介して色修正アプリケーション２１ｄに取り込まれたら、処理対象画素を初期位置に設定する。続いて、ステップＳ１１０にて（１）式〜（４）式に基づいて当該画素のｘ−ｙ色度を計算し、ステップＳ１２０ではｘ値とｙ値とがそれぞれ肌色の色度の範囲に入っているか否かを判断する。そして、肌色の色度の範囲内であればステップＳ１３０にて当該画素の色画像データについて要素色ごとに集計する。図１０に示すように、少なくとも手足と顔については明るさにとらわれることなく肌色の画素と判断できるはずであり、この例では全画素に対して数％の画素が肌色の画素として集計される。以上の処理をステップＳ１４０にて対象画素を移動させながらステップＳ１５０にて全画素について実行したと判断されるまで繰り返す。
【００７１】
全画素について実行し終えたら、ステップＳ１６０にて集計結果を肌色画素数で除算して平均値を算出し、ステップＳ１７０にて肌色の画素における理想値と同平均値との差を求めつつ、肌色画素数と全画素数との割合に対応する肌色率を乗算し、ステップＳ１８０にてトーンカーブを形成する。そして、ステップＳ１９０にてこのトーンカーブに基づいて色画像データの各要素色ごとにデータを変換して色修正する。すると、肌色を理想値に近づけようとしながらも、肌色画素数と全体の画素数との割合を考慮して修正量を控え目に設定しているので、調整の取れた程良い色修正を実行できる。
【００７２】
すなわち、図１０に示す例で言えば、集計された肌色画素の平均値と理想値との差に数％の肌色率を乗算して修正量を補正し、この補正された修正量に見合うトーンカーブを形成して色修正することになる。
【００７３】
また、後の例のように修正対象を選択できるものにおいて、肌色修正と緑色修正と青空色修正を選択したものとすると、全画素を対象としてステップＳ２１０ではｘ−ｙ色度を計算し、ステップＳ２１５〜Ｓ２４０にて修正対象ごとに個別に集計する。図１０に示す例では、人物像の肌色部分と、木の葉の部分と、バックの青空部分においてｘ−ｙ色度がそれぞれの対象範囲に入ることになり、集計される。
【００７４】
そして、全画素について終了したら、ステップＳ２５５〜Ｓ２６５にてそれぞれの対象画素の占有率を考慮しつつ対象処理ごとの色修正量を求め、ステップＳ２７０にて修正量を重ね合わせたトーンカーブを形成する。そして、最後にステップＳ２７５にて全画素の色画像データに対して色修正を実行する。すると、肌色をより理想値に近づける修正と、木の葉の緑をさわやかに見せる修正と、青空を澄みきった色にする修正とがそれぞれの画素の占有率に応じて調整されて実行されることになる。
【００７５】
むろん、それぞれの色修正をされた色画像データはディスプレイドライバ２１ｃを介してディスプレイ３２に表示され、良好であればプリンタドライバ２１ｂを介してプリンタ３１にて印刷される。すなわち、同プリンタドライバ２１ｂは色修正されたＲＧＢの階調データを入力し、所定の解像度変換を経てプリンタ３１の印字ヘッド領域に対応したラスタライズを行なうとともに、ラスタライズデータをＲＧＢからＣＭＹＫへ色変換し、その後でＣＭＹＫの階調データから二値データへ変換してプリンタ３１へ出力する。
【００７６】
以上の処理により、スキャナ１１を介して読み込まれた写真の色画像データは自動的に最適な色修正を施されてディスプレイ３２に表示された後、プリンタ３１にて印刷される。
【００７７】
このように、色修正の中枢をなすコンピュータ２１はステップＳ１１０にて各画素のｘ−ｙ色度を計算するとともに、ステップＳ１２０，Ｓ１３０にて同色度が肌色の色度の取りうる範囲内であれば集計することとし、全画素について集計したらステップＳ１６０にて平均値を求めるとともにステップＳ１７０では画素数を考慮した色修正量を算出しているため、明るさにとらわれることなく色修正したい色の画素を正確に集計でき、かつ、修正量は画素数を考慮して調整を図るため、周りの画素の色に大きな影響を与えることのない最適な色修正を実行することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる色修正装置を適用した色修正システムのブロック図である。
【図２】同色修正装置の具体的ハードウェアのブロック図である。
【図３】本発明の色修正装置の他の適用例を示す概略ブロック図である。
【図４】本発明の色修正装置の他の適用例を示す概略ブロック図である。
【図５】本発明の色修正装置における色修正処理を示すフローチャートである。
【図６】処理対象画素を移動させていく状態を示す図である。
【図７】階調データを所定の強度で変換するトーンカーブを示す説明図である。
【図８】変形例にかかる色修正処理を示すフローチャートである。
【図９】同色修正処理で選択可能な色修正の対象を示す図である。
【図１０】色修正となる元の写真画像を示す図である。
【符号の説明】
１０…画像入力装置
２０…色修正装置
２１…コンピュータ
２１ａ…オペレーティングシステム
２１ｂ…プリンタドライバ
２１ｃ…ディスプレイドライバ
２１ｄ…色修正アプリケーション
２２…ハードディスク
２３…キーボード
２４…ＣＤ−ＲＯＭドライブ
２５…フロッピーディスクドライブ
２６…モデム
３０…画像出力装置
【図１】
0003893669.tif 000006
【図２】
0003893669.tif 000007
【図３】
0003893669.tif 000008
【図４】
0003893669.tif 000009
【図５】
0003893669.tif 000010
【図６】
0003893669.tif 000011
【図７】
0003893669.tif 000012
【図８】
0003893669.tif 000013
【図９】
0003893669.tif 000014
【図１０】
0003893669.tif 000015