【手続補正書】
【提出日】平成16年6月17日(2004.6.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画素からなる多色の実写画像に対して所定の画像処理を行なう画像処理装置であって、
上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計する対象色画素集計手段と、
上記対象色画素集計手段による集計の結果に基づいて求められた測色値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求める色修正量決定手段と、
該色修正量決定手段により求められた色修正量を用いて、上記実写画像を構成する画素のうち少なくとも上記画素の色が所定範囲に入っている画素を含む画素の色画像データを修正する色修正手段と
を備えた画像処理装置。
【請求項２】
上記対象色画素集計手段は、上記画素の色度が所定範囲内である画素について上記色画像データの集計を行なう手段である請求項１に記載の画像処理装置。
【請求項３】
上記色修正量決定手段において用いられる理想値が、所定の対象物について人間が感覚的に記憶している色である記憶色を表わす値に定められた請求項１または２に記載の画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置であって、
上記対象色画素集計手段は、上記画素の色画像データを要素色毎に集計する手段であり、
上記色修正量決定手段は、
各要素色毎に集計された色画像データの平均的な値を上記測色値として決定する測色値決定手段と、
上記所定範囲の色についての理想値を上記要素色毎に予め定める理想値規定手段とを備え、
上記測色値決定手段により決定された測色値と上記理想値規定手段により予め定められた理想値との差に相当する量を各要素色毎に求め、該各要素色毎に求められた量を上記集計した画素が全画素に占める割合に応じて補正して、各要素色についての色修正量を求める手段である
画像処理装置。
【請求項５】
請求項１ないし４のいずれかに記載の画像処理装置であって、
上記色修正量決定手段は、
上記測色値と上記理想値との差に相当する量についての補正結果に基づいて、入出力関係を表すトーンカーブを作成するトーンカーブ作成手段を備え、
該トーンカーブ作成手段により作成されたトーンカーブに基づいて上記色修正量を求める手段である
画像処理装置。
【請求項６】
複数の画素からなる多色の実写画像に対して所定の画像処理を行なう方法であって、
上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計し、
上記集計の結果に基づいて求められた測色値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求め、
該求められた色修正量を用いて、上記実写画像を構成する画素のうち少なくとも上記画素の色が所定範囲に入っている画素を含む画素の色画像データを修正する
画像処理方法。
【請求項７】
複数の画素からなる多色の実写画像に対して行なわれる所定の画像処理に対応したプログラムをコンピュータに読み取り可能に記録した記録媒体であって、
上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計する機能と、
上記集計の結果に基づいて求められた測色値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求める機能と、
該求められた色修正量を用いて、上記実写画像を構成する画素のうち少なくとも上記画素の色が所定範囲に入っている画素を含む画素の色画像データを修正する機能と
をコンピュータにより実現するプログラムを記録した記録媒体。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
【発明の属する技術分野】
本発明は、デジタル写真画像のような実写画像データに対して最適な色修正を実行する画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明は、上記課題にかんがみてなされたもので、記憶色を考慮しながら自動的に最適な色修正処理を実行することが可能な画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体の提供を目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
【課題を解決するための手段およびその作用・効果】
上記目的を達成するため、本発明の画像処理装置は、
複数の画素からなる多色の実写画像に対して所定の画像処理を行なう画像処理装置であって、
上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計する対象色画素集計手段と、
上記対象色画素集計手段による集計の結果に基づいて求められた測色値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求める色修正量決定手段と、
該色修正量決定手段により求められた色修正量を用いて、上記実写画像を構成する画素のうち少なくとも上記画素の色が所定範囲に入っている画素を含む画素の色画像データを修正する色修正手段と
を備えたことを要旨としている。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
上記の発明では、対象色画素集計手段が、上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計する。例えば、ある画素が肌色の取りうる色の範囲内に入っていればその画素を集計対象とする。集計の具体的内容は平均値、メジアン等各種のものが可能であるが、画像の中の全画素について色が所定範囲に入っているものだけを集計することは、ちょうど、人間が肌色らしい画素に注目してその平均的な色を判断するのに対応する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
次に、色修正量決定手段は、上記対象色画素集計手段による集計の結果に基づいて求められた測色値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求める。即ち、まず、所定範囲の色の画素についての予め定められた理想値と上記集計結果との差を解消するような修正量を求める。ただし、この修正量をそのまま適用したとすると、例えば、肌色だけは適当な色になるものの、肌色以外の他の色の部分でのずれが許容できなくなる。そこで、色修正量決定手段は、上記求められた修正量を、集計した画素が全画素に占める割合に応じて補正して、色修正量を求める。これにより、肌色部分の色修正が他の部分の色を過度に変えてしまわないような調整が行われることになる。こうした補正により求められた色修正量に基づいて色修正手段が上記色画像データを修正する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
色画像データに基づいて各画素の色を求める手法としては、例えば、各画素の色度を求める手法を考えることができる。色度は色の刺激値の絶対的な割合を表しており、明るさには左右されない。従って、画像の中の重要な部分（これをオブジェクトと呼ぶ）を色度の取りうる範囲によって分けることができる。例えば、肌色の取りうる範囲であるとか、木々の緑色の取りうる範囲といったものである。こうした各画素の色度を求める手法を上記発明に採用し、上記の対象色画素集計手段を、上記画素の色度が所定範囲内である画素について上記色画像データの集計を行なう手段としてもよい。各画素の色画像データから色度を求める際には、元の色画像データが採用する色空間の座標系などを考慮して色度に変換すればよい。この場合、色度自体が直接的な要素となっていればそれを利用すればよいし、直接的な要素でなければ変換する。変換は変換テーブルを利用するものであってもよいし、変換式で求めるものであってもよい。この場合、必ずしも正確である必要はなく、影響の少ない誤差を含むものであっても構わない。また、対象色画素集計手段は、各画素の色が所定範囲内であるか判断し、所定範囲内である画素について集計を行なってもよい。この場合、必ずしもある範囲内であるか否かという二者択一の判断である必要はなく、重み付けを変えて集計するものでも構わない。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
上記色修正量決定手段において用いられる理想値を、所定の対象物について人間が感覚的に記憶している色である記憶色を表わす値に定めることも好適である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、所定範囲内の色を有する画素の色画像データを集計する手法は極めて多岐にわたるものの、演算量などを考慮した一例として、以下の構成を考えることができる。即ち、上記の対象色画素集計手段を、上記画素の色画像データを要素色毎に集計する手段とすると共に、上記の色修正量決定手段を、各要素色毎に集計された色画像データの平均的な値を上記測色値として決定する測色値決定手段と、上記所定範囲の色についての理想値を上記要素色毎に予め定める理想値規定手段とを備え、上記測色値決定手段により決定された測色値と上記理想値規定手段により予め定められた理想値との差に相当する量を各要素色毎に求め、該各要素色毎に求められた量を上記集計した画素が全画素に占める割合に応じて補正して、各要素色についての色修正量を求める手段とする構成である。換言すれば、対象色画素集計手段が、対象画素と判断された各画素について上記色画像データの要素色毎について平均的な値を集計し、色修正量決定手段が、上記所定の範囲の色度となる色画像データについて要素色毎の理想値を備えた構成である。上記の構成においては、対象色画素集計手段は、対象画素と判断された各画素について上記色画像データの要素色毎について平均的な値を集計する。色度としての集計でも良いものの、色画像データの要素色を利用して集計する。一方、色修正量決定手段についても、これに対応して上記所定の範囲の色となる色画像データについて要素色毎の理想値を備えているので、要素色毎の比較をそのまま行え、その差を要素色の修正量として利用できる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
対象色画素集計手段が集計対象とする色や色度の範囲に関し、対象色画素集計手段が、記憶色についての色や色度が取りうる範囲を対象として画素の集計を行う構成としてもよい。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
上記の構成においては、いわゆる人間の記憶色が含まれる色や色度が取りうる範囲を対象として画素の集計が行われる。この場合、必ずしも一つの範囲だけで一つの集計結果を得る必要はなく、複数の範囲を指定して複数の集計を個別に行なうものでも構わない。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
色修正量決定手段は、所定範囲の色や色度の画素についての予め定められた理想値と上記集計結果（具体的には、集計の結果に基づいて求められた測色値）との差を解消するような修正量を求めるとともに、集計した画素が全画素に占める割合に応じて同修正量を補正する。この場合、必ずしも二段階の処理を行なう必要はなく、同様の結果が得られればよい。例えば、集計段階で理想値と集計結果の差を反映するようなものを得るようにしておけばそれを利用したり、全画素に対する割合が含まれた結果を得られていればそれを利用するだけでも構わない。また、理想値と集計結果との差は必ずしも減算という演算を要するものではなく、内在的にそのような意図が含まれるものであればよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
色修正量についても各種の態様が可能であり、例えば、上記色修正量決定手段を、上記測色値と上記理想値との差に相当する量についての補正結果に基づいて、入出力関係を表すトーンカーブを作成するトーンカーブ作成手段を備える手段とすると共に、該トーンカーブ作成手段により作成されたトーンカーブに基づいて上記色修正量を求める手段としてもよい。より具体的には、上記色修正量決定手段が、各要素色の強弱程度を変化させるにあたって入出力関係を表すトーンカーブを利用するとともに、上記修正量に応じたトーンカーブを形成する構成を考えることができる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
上記の構成においては、色修正量決定手段が修正量に応じたトーンカーブを形成し、このトーンカーブに従って、色修正手段は各要素色の入出力関係が同トーンカーブで表されるような関係となるように強弱程度を変化させる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
色が所定範囲内にある画素について集計し、集計結果を色修正量に反映させる手法は、必ずしも実体のある装置に限られる必要もなく、その一例として、本発明の画像処理方法は、複数の画素からなる多色の実写画像に対して所定の画像処理を行なう方法であって、
上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計し、
上記集計の結果に基づいて求められた測色値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求め、
該求められた色修正量を用いて、上記実写画像を構成する画素のうち少なくとも上記画素の色が所定範囲に入っている画素を含む画素の色画像データを修正すること
を要旨としている。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
ところで、上述したように色を判断して色修正処理する画像処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものである。また、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
発明の思想の具現化例として画像処理装置を制御するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
その一例として、本発明の記録媒体は、複数の画素からなる多色の実写画像に対して行なわれる所定の画像処理に対応したプログラムをコンピュータに読み取り可能に記録した記録媒体であって、
上記実写画像を構成する各画素についての色を表わす色画像データを入力し、該画素の色が所定範囲に入っている画素の色画像データを集計する機能と、
上記集計の結果に基づいて求められた測色値と上記所定範囲の色について予め定められた理想値との差に相当する量を、上記集計した画素が全画素に占める割合に応じて補正して、色修正量を求める機能と、
該求められた色修正量を用いて、上記実写画像を構成する画素のうち少なくとも上記画素の色が所定範囲に入っている画素を含む画素の色画像データを修正する機能と
をコンピュータにより実現するプログラムを記録したことを要旨としている。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
以上説明したように、本発明の画像処理装置によれば、実写画像において色修正したい色の画素が自動的に集計され、かつ、集計された画素が全画素に占める割合を考慮して色修正量が決定される。従って、実写画像における特定の色についての色修正を、色修正しようとする画素の周りの画素の色に大きな影響を与えることなく実行することができる。また、画素の色度が所定範囲内である画素について色画像データの集計を行なう構成とすれば、色修正したい色の画素を、明るさにとらわれることなく正確に集計することができる。また、色修正量決定手段において用いられる理想値を記憶色を表わす値に定めれば、人間の判断に近いレベルの色修正処理を自動的に実現することができる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
また、画素の色画像データを要素色毎に集計して各要素色についての色修正量を求める構成とすれば、集計結果を利用する場合の演算などが行いやすくなる。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
さらに、記憶色についての画素について集計することにより、修正の反映度も画素数に応じた調整が行われ、より人間の判断に近くなる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
さらに、トーンカーブを利用する構成とすれば、他の要素の色修正などを総合的に加味しやすくなる。この場合、記憶色の部分を理想的な色に近づけるだけでなく、隣接した色領域を連続的に変化させるので、トーンジャンプによる疑似輪郭が生じることもない。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
さらに、本発明の画像処理方法によれば、同様の効果を発揮する色修正方法を提供でき、本発明の記録媒体によれば、色修正制御プログラムを記録した媒体を提供できる。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
図１において、画像入力装置１０は写真などをドットマトリクス状の画素として表した色画像データを色修正装置２０へ出力し、同色修正装置２０は同色画像データに応じた最適な色修正処理を実行する。同色修正装置２０は色修正処理した色画像データを画像出力装置３０へ出力し、画像出力装置は色修正された画像をドットマトリクス状の画素で出力する。ここにおいて、色修正装置２０が出力する色画像データは、各画素の色度に基づいて画像の対象と色とを判断するとともに、全体との兼ね合いで最適な色修正の方針と程度を決定して色修正したものである。このため、色修正装置２０は、対象色画素集計手段と、色修正量決定手段と、色修正手段とを備えている。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
以上から明らかなように、ステップＳ１１０にてｘ−ｙ色度を演算するソフトウェア処理とこれを実行するハードウェア、および、ステップＳ１２０にて同色度が所定の対象範囲内に入っているか否かを判断するとともに、入っている場合にステップＳ１３０にて色画像データを集計するという処理を、ステップＳ１４０とステップＳ１５０にて対象画素を移動させながら全画素について行ない、ステップＳ１６０にて集計結果を画素数で除算して平均値を求めるため、これらのソフトウェア処理とこれを実行するハードウェア構成が対象色画素集計手段を構成する。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
トーンカーブはＲＧＢ階調データを強調程度を変えて変換する場合の入力−出力関係を意味しており、「０」〜「２５５」の２５６階調を例に取ると、階調「０」と階調「２５５」とこれらの間のある階調という所定の三点について特定した出力値を通過するスプライン曲線を利用している。一例として中間の階調を「６４」とおいたとすると、入力値がそれぞれ「０」、「６４」、「２５５」であって、出力値も「０」、「６４」、「２５５」であるときには入出力関係は一致してトーンカーブは直線となる。しかし、入力値「６４」に対する出力値が「６４」でない場合には図７に示すように緩やかに曲線を描いて入出力の対応関係を形成する。本実施形態においては、中間の階調として上述したＲＧＢ階調データの平均値（Rs.ave,Gs.ave,Bs.ave）をコントロールポイントとし、それぞれにおいて上述した修正量ΔＲ，ΔＧ，ΔＢがトーンカーブに反映されるようにしている。このようにしてコントロールポイントを変化させることにより、肌色率ksが「１」となるときに同コントロールポイントで理想値（Rs.ideal,Gs.ideal,Bs.ideal）と一致するようになる。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
むろん、このようにして集計結果と理想値との差を求めつつ対象画素が全画素に示す割合に応じて補正するステップＳ１７０の処理と、求められた色修正量に基づいてトーンカーブを形成するステップＳ１８０の処理、およびこれらを実行するハードウェア構成が色修正量決定手段を構成すると言えるし、ステップＳ１９０で色画像データを変換する処理とこれを実行するハードウェア構成が色修正手段を構成すると言える。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
そして、ステップＳ２４５では対象画素を移動させ、ステップＳ２５０にて全画素について終了したと判断されるまで繰り返す。この例においては、色修正となる対象が複数となる場合があるが、その場合でもステップＳ２１５〜Ｓ２４０にて対象画素の色度が所定範囲内に入っていれば集計を行うという意味で対象色画素集計手段を構成すると言える。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
このようにして求められた色修正量ΔＲ，ΔＧ，ΔＢに基づいて図７に示すようにしてトーンカーブを形成するのがステップＳ２７０の処理である。この場合、コントロールポイントは、Σki・Ri.ave,Σki・Gi.ave,Σki・Bi.aveとなる。むろん、ステップＳ２５５〜Ｓ２７０の処理が色修正量決定手段を構成する。そして、トーンカーブが形成されたらステップＳ２７５にて色画像データを修正する。
【手続補正３１】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
1999008773.tif 000001