(57)【要約】【課題】所望とする被写体が好ましい色となるように画像データに対して色変換処理を行う。【解決手段】デジタルカメラ１により取得された画像データＳ０を画像処理手段２に入力する。画像処理手段２においては顔抽出手段５により、画像データＳ０により表される画像から人物の顔領域が抽出される。色変換処理手段６においては、顔領域における肌色が予め定められた目標色度値となるように色変換処理が行われ、処理済み画像データＳ１が得られる。処理済み画像データＳ１は再生手段３において再生される。【選択図】図１
2007282290.tif 000002
【特許請求の範囲】
【請求項１】
デジタルカメラにより取得されたデジタル画像データに対して画像処理を施す画像処理方法において、
前記デジタル画像データにより表される画像から抽出された所望とする被写体が所望の色となるように、前記デジタル画像データにより表される画像全体に対して色変換処理を施して処理済み画像データを得ることを特徴とする画像処理方法。
【請求項２】
前記所望とする被写体の色度値を求め、
該色度値が目標色度値となるように前記色変換処理を施すことを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記処理済み画像データを再生することにより得られる再生画像を観察する観察光源の色温度に応じて、前記目標色度値を変更することを特徴とする請求項２記載の画像処理方法。
【請求項４】
前記デジタル画像データにより表される画像から所望とする被写体をマニュアル入力により抽出する、または前記デジタル画像データにより表される画像から所望とする被写体を自動抽出処理により抽出することを特徴とする請求項１から３のいずれか１項記載の画像処理方法。
【請求項５】
デジタルカメラにより取得されたデジタル画像データに対して画像処理を施す画像処理装置において、
前記デジタル画像データにより表される画像における所望とする被写体を抽出する抽出手段と、
該所望とする被写体が所望の色となるように、前記デジタル画像データにより表される画像全体に対して色変換処理を施して処理済み画像データを得る色変換処理手段とを備えたことを特徴とする画像処理装置。
【請求項６】
前記色変換処理手段は、前記所望とする被写体の色度値を求める手段と、
該色度値が目標色度値となるように前記色変換処理を施す手段とを備えたことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記色変換処理手段は、前記処理済み画像データを再生することにより得られる再生画像を観察する観察光源の色温度に応じて、前記目標色度値を変更する手段であることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記抽出する手段は、前記デジタル画像データにより表される画像から所望とする被写体をマニュアル入力により抽出するもの、または前記デジタル画像データにより表される画像から所望とする被写体を自動抽出処理により抽出するものであることを特徴とする請求項５から８のいずれか１項記載の画像処理装置。
【請求項９】
デジタルカメラにより取得されたデジタル画像データに対して画像処理を施す画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
前記プログラムは、前記デジタル画像データにより表される画像における所望とする被写体を抽出する手順と、
該所望とする被写体が所望の色となるように、前記デジタル画像データにより表される画像全体に対して色変換処理を施して処理済み画像データを得る手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。
【請求項１０】
前記色変換処理を行う手順は、前記所望とする被写体の色度値を求める手順と、
該色度値が目標色度値となるように前記色変換処理を施す手順とを有することを特徴とする請求項９記載のコンピュータ読取り可能な記録媒体。
【請求項１１】
前記色変換処理を行う手順は、前記処理済み画像データを再生することにより得られる再生画像を観察する観察光源の色温度に応じて、前記目標色度値を変更する手順であることを特徴とする請求項１０記載のコンピュータ読取り可能な記録媒体。
【請求項１２】
前記抽出する手順は、前記デジタル画像データにより表される画像から所望とする被写体をマニュアル入力により抽出するもの、または前記デジタル画像データにより表される画像から所望とする被写体を自動抽出処理により抽出するものであることを特徴とする請求項９から１１のいずれか１項記載のコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像データに対して色変換処理を施す画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
写真ネガフイルムやリバーサルフイルムに記録された画像をスキャナ等により読み取ることにより得られたデジタル画像データ、あるいはデジタルカメラにより取得されたデジタル画像データからカラープリントを作成する場合においては、撮影時におけるシーンと同様の印象となるようにデジタル画像データに対してカラーバランスを補正する色変換処理を施してプリント画像を作成するようにしている。このため、撮影により取得された画像から、撮影時の光源を推定する、あるいは画像全体のカラーバランスを推定し、無彩色が適切な無彩色となるように色変換処理を行って、プリント画像のカラーバランスが適切なものとなるようにしている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、画像中の無彩色が適切な無彩色となるように色変換処理を行ったのでは、撮影により取得された画像の全体の色が偏っている場合や、日陰に人物がいる場合等においては、人物等の所望とする被写体が好ましい色となるように色変換処理を行うことができない場合が多かった。
【０００４】
本発明は上記事情に鑑みなされたものであり、所望とする被写体が好ましい色となるようにデジタル画像データに対して色変換処理を施すことができる画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【課題を解決するための手段】
【０００５】
本発明による画像処理方法は、デジタル画像データに対して画像処理を施す画像処理方法において、前記デジタル画像データにより表される画像から抽出された所望とする被写体が所望の色となるように、前記デジタル画像データにより表される画像全体に対して色変換処理を施して処理済み画像データを得ることを特徴とするものである。
【０００６】
ここで、「デジタル画像データにより表される画像から抽出された所望とする被写体」とは、オペレータがマニュアル操作により抽出したものであってもよく、所望とする被写体を自動的に認識して抽出する方法により抽出するものであってもよい。
【０００７】
なお、本発明による画像処理方法においては、前記所望とする被写体の色度値を求め、
該色度値が目標色度値となるように前記色変換処理を施すことが好ましい。
【０００８】
ここで、目標色度値は予め定められたものであってもよく、また前記処理済み画像データを再生することにより得られる再生画像を観察する観察光源の色温度に応じて変更されるものであってもよい。また、本発明による画像処理方法においては、前記所望とする被写体が人物の顔であることが好ましい。
【０００９】
本発明による画像処理装置は、デジタル画像データに対して画像処理を施す画像処理装置において、前記デジタル画像データにより表される画像における所望とする被写体を抽出する抽出手段と、該所望とする被写体が所望の色となるように、前記デジタル画像データにより表される画像全体に対して色変換処理を施して処理済み画像データを得る色変換処理手段とを備えたことを特徴とするものである。
【００１０】
なお、本発明による画像処理装置においては、前記色変換処理手段は、前記所望とする被写体の色度値を求める手段と、該色度値が目標色度値となるように前記色変換処理を施す手段とを備えることが好ましい。
【００１１】
この場合、前記色変換処理手段は、前記処理済み画像データを再生することにより得られる再生画像を観察する観察光源の色温度に応じて、前記目標色度値を変更する手段であることが好ましい。
【００１２】
また、前記所望とする被写体が人物の顔であることが好ましい。
【００１３】
なお、本発明による画像処理方法を、コンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【発明の効果】
【００１４】
本発明によれば、デジタル画像データにより表される画像に含まれる所望とする被写体の色が所望の色となるように、デジタル画像データ全体に対して色変換処理を施すようにしたため、画像中の無彩色を適切な無彩色となるように色変換処理を行う場合と比較して、所望とする被写体を所望の色となるように再現可能な処理済み画像データを得ることができる。
【００１５】
また、所望とする被写体の色度値が目標色度値となるように色変換処理を行う場合おいて、処理済み画像データを再生することにより得られる再生画像を観察する際の観察光源の色温度に応じて目標色度値を変更することにより、再生画像の観察光源に拘わらず、所望とする被写体の色が適切な色となるような画像を再現可能な処理済み画像データを得ることができる。
【００１６】
さらに、所望とする被写体を人物の顔とすることにより、人物の顔の肌色が所望とする色となるように色変換処理を行うことができ、これにより再生画像における人物の肌色を所望とする色に再現することができる。
【発明を実施するための最良の形態】
【００１７】
以下図面を参照して本発明の実施形態について説明する。
【００１８】
図１は本発明の第１の実施形態による画像処理装置を備えたプリントシステムの構成を示す概略ブロック図である。図１に示すようにこのプリントシステムは、デジタルカメラ１により取得されたデジタルの画像データＳ０に対して画像処理を施して処理済み画像データＳ１を得る画像処理手段２と、画像処理手段２において画像処理が施された処理済み画像データＳ１をプリントなどのハードコピーあるいはＣＲＴモニタなどにソフトコピーとして再現するための再生手段３とからなる。なお、画像データＳ０は、ネガフイルム、ポジフイルムに記録された画像をスキャナ等により読取ることにより得られたものであってもよい。
【００１９】
画像処理手段２は、画像データＳ０により表される画像から、人物の顔に対応する領域を抽出する顔抽出手段５と、顔抽出手段５により抽出された顔領域の画像データＳ０に基づいて、画像データＳ０の全体に対して色変換処理を施す色変換処理手段６とを備える。
【００２０】
次いで、本実施形態の動作について説明する。図２は本実施形態によるプリントシステムにおいて行われる処理を示すフローチャートである。まず、デジタルカメラ１により取得された画像データＳ０が画像処理手段２の顔抽出手段５に入力され、顔領域が抽出される（ステップＳ１）。この顔領域抽出の具体的な方法としては、例えば特開平８−１２２９４４号公報あるいは特開平５−１００３２８号公報に記載された方法を用いることができる。
【００２１】
特開平８−１２２９４４号公報に記載された方法は、画像を複数領域に分割し、非人物領域を除外した後に人物の頭部の輪郭を表す形状パターンを検出し、検出したパターンに応じて顔候補領域を検出し、さらに人物の顔の輪郭を表す形状パターン、顔の内部構造を表す形状パターンおよび人物の胴体の輪郭を表す形状パターンをそれぞれ検出し、検出したパターンにより顔候補領域の整合性を判定し、人物の顔に相当する領域である確度が最も高い領域を判定することにより、顔領域を抽出するものである。
【００２２】
特開平５−１００３２８号に記載された方法は、画像を複数領域に分割して測光し、測光により得られたデータを色相および彩度に変換し、これらの２次元ヒストグラムを作成するとともに、このヒストグラムを単峰の山毎に分解し、さらに画像の各画素がいずれの山に属するかを判断して画素を分割された山に対応する群に分解し、各群毎に画像を分割して顔候補領域を抽出し、抽出した領域の画像サイズと主要画像サイズ情報から得られる画像サイズとを比較して最も一致する領域を顔領域として抽出するものである。
【００２３】
次に、色変換処理手段６において、顔抽出手段５により抽出された顔領域の画像データＳ０に基づいて、画像データＳ０の全体に対して色変換処理が施される（ステップＳ２）。以下この色変換処理について説明する。なお、本実施形態においては、顔領域の色である肌色を予め定められた目標色度値ｕ０，ｖ０（１９７６ＣＩＥ）となるように、画像データＳ０の全体に対して色変換処理を施すものである。まず、顔抽出手段５において抽出された顔領域における各画素のＲＧＢ値（真数値）の平均値Ｒｍ，Ｇｍ，Ｂｍが求められる。次に、予め定められた肌色の目標色度値ｕ０，ｖ０を下記の式（１）および（２）により、ＣＩＥ１９３１Ｓｘ０，Ｓｙ０および三刺激値Ｘ０，Ｙ０，Ｚ０に変換する。
【００２４】
Ｓｘ０＝9.0×ｕ０（6.0×ｕ０−16.0×ｖ０＋12.0）
Ｓｙ０＝4.0×ｖ０（6.0×ｕ０−16.0×ｖ０＋12.0）           (１）
Ｘ０＝Ｓｘ０／Ｓｙ０
Ｙ０＝Ｙ                                                  （２）
Ｚ０＝（1.0−Ｓｘ０−Ｓｙ０）／Ｓｙ０
但し、Ｙ＝0.21Ｒｍ＋0.72Ｇｍ＋0.07Ｂｍ
次に、上記式（２）により求められた三刺激値Ｘ０，Ｙ０，Ｚ０から下記の式（３）により、肌色の目標値Ｒ０，Ｇ０，Ｂ０を求める。
【００２５】
Ｒ０    3.2410  -1.5374  -0.4986    Ｘ０
Ｇ０＝ -0.9692   1.8760   0.0416  ・Ｙ０                  （３）
Ｂ０    0.0556  -0.2040   1.0570    Ｚ０
そして、目標値Ｒ０，Ｇ０，Ｂ０から下記の式（４）に基づいて、係数ｋ１，ｋ２を設定する。
【００２６】
ｋ１＝（Ｇ０／Ｂ０）／（Ｇ／Ｂ）
ｋ２＝（Ｒ０／Ｇ０）／（Ｒ／Ｇ）                          （４）
そして、このようにして求められた係数ｋ１，ｋ２を用いて、画像データＳ０により表される画像における全画素のＲＧＢ値であるＲｉ，Ｇｉ，Ｂｉを下記の式（５）に基づいて変換して処理済み画素値Ｒｉ′，Ｇｉ′，Ｂｉ′を得る。
【００２７】
Ｒｉ′＝（１／ｋ２）・（Ｒ０／Ｇ０）・Ｇｉ
Ｇｉ′＝Ｇｉ                                              （５）
Ｂｉ′＝ｋ１・（Ｂ０／Ｇ０）・Ｇｉ
そして、この処理済み画素値Ｒｉ′，Ｇｉ′，Ｂｉ′が処理済み画像データＳ１とされて再生手段３に入力され、ＣＲＴモニタあるいはプリント画像として再生される（ステップＳ３）。
【００２８】
このように本実施形態によれば、画像データＳ０により表される画像に含まれる顔領域の肌色が予め定められた目標色度値となるように、画像データＳ０の全体に対して色変換処理を施すようにしたため、画像中の無彩色を適切な無彩色となるように色変換処理を行う従来の色変換処理方法と比較して、所望とする被写体を所望の色となるように再現可能な処理済み画像データＳ１を得ることができる。
【００２９】
次いで、本発明の第２の実施形態について説明する。第１の実施形態においては、色変換処理手段６においてＲＧＢの比率に基づいて色変換処理を行っているが、第２の実施形態においては、色順応変換を用いて色変換処理を行うものである。なお、第２の実施形態においては、顔領域の抽出までは第１の実施形態と同一の処理を行うため詳細な説明は省略する。まず、画像データＳ０により表される画像における各画素の画素値Ｒ，Ｇ，Ｂを、下記の式（６）および（７）に基づいて、ＣＩＥ１９７６三刺激値Ｘ，Ｙ，Ｚおよび生理原色Ｌ，Ｍ，Ｓに変換する。
【００３０】
Ｘ              Ｒ
Ｙ  ＝｜Ａ｜・  Ｇ                                （６）
Ｚ              Ｂ
Ｌ０              Ｘ０
Ｍ０  ＝｜Ｂ｜・  Ｙ０                            （７）
Ｓ０              Ｚ０
ここで、マトリクス｜Ａ｜は、三刺激値Ｒ，Ｇ，Ｂを三刺激値Ｘ，Ｙ，Ｚに変換するためのマトリクスであり、例えば以下のような値を用いることができる。
【００３１】
0.4124  0.3576  0.1805
｜Ａ｜  ＝   0.2126  0.7152  0.0722               （８）
0.0193  0.1192  0.9505
また、マトリクス｜Ｂ｜は、三刺激値Ｘ，Ｙ，Ｚを生理原色Ｌ，Ｍ，Ｓに変換するためのマトリクスであり、例えば以下のような値を用いることができる。
【００３２】
0.3897  0.6890 -0.0787
｜Ｂ｜  ＝  -0.2298  1.1834  0.0464               （９）
0       0       1.0
なお、マトリクス｜Ａ｜および｜Ｂ｜に代えて、ルックアップテーブルにより三刺激値Ｘ，Ｙ，Ｚおよび生理原色Ｌ，Ｍ，Ｓを求めるようにしてもよい。
【００３３】
次に、下記の画像データＳ０により表される画像全体における生理原色Ｌ，Ｍ，Ｓの平均値Ｌｍ，Ｍｍ，Ｓｍおよび顔抽出手段５において抽出された顔領域の生理原色Ｌ，Ｍ，Ｓの平均値Ｌｓｍ，Ｍｓｍ，Ｓｓｍを求める。
【００３４】
そして、下記の式（１０）および（１１）により、予め定められた肌色の目標色度値ｕ０，ｖ０をＣＩＥ１９３１Ｓｘ０，Ｓｙ０および三刺激値Ｘ０，Ｙ０，Ｚ０に変換するとともに、式（１２）により生理原色Ｌ０，Ｍ０，Ｓ０に変換する。
【００３５】
Ｓｘ０＝9.0×ｕ０（6.0×ｕ０−16.0×ｖ０＋12.0）
Ｓｙ０＝4.0×ｖ０（6.0×ｕ０−16.0×ｖ０＋12.0）        (１０）
Ｘ０＝Ｓｘ０／Ｓｙ０
Ｙ０＝Ｙｍ                                             （１１）
Ｚ０＝（1.0−Ｓｘ０−Ｓｙ０）／Ｓｙ０
Ｌ０          Ｘ０
Ｍ０＝｜Ｂ｜・Ｙ０                                     （１２）
Ｓ０          Ｚ０
ここで、処理済み画像データＳ１を再生することにより得られる再生画像を観察する環境下すなわち観察光源の順応白色をＬｖ，Ｍｖ，Ｓｖとし、肌色が目標の肌色となるための順応係数ａを、下記の式（１３）をａについて解くことにより求める。
【００３６】
Ｌ０              Ｌｓｍ
Ｍ０  ＝｜Ｃ｜・  Ｍｓｍ                               （１３）
Ｓ０              Ｓｓｍ
但し、
(ａ・Ｌｖ＋(１−ａ)・Ｌｓｍ）／Ｌｓｍ  ０              ０
｜Ｃ｜＝  ０          (ａ・Ｍｖ＋(１−ａ)・Ｍｓｍ）／Ｍｓｍ    ０
０               ０    (ａ・Ｓｖ＋(１−ａ)・Ｓｓｍ）／Ｓｓｍ
このようにして求められた順応係数ａを用いて、下記の式（１４）により各画素の生理原色Ｌｉ，Ｍｉ，Ｓｉを変換して処理済み生理原色Ｌｉ′，Ｍｉ′，Ｓｉ′を得る。
【００３７】
Ｌｉ′          Ｌｉ
Ｍｉ′＝｜Ｃ｜・Ｍｉ                                    （１４）
Ｓｉ′          Ｓｉ
そして、このようにして求められた生理原色Ｌｉ′，Ｍｉ′，Ｓｉ′を式（６）および（７）を逆に解くことにより、処理済み画素値Ｒｉ′，Ｇｉ′，Ｂｉ′を得る。
【００３８】
そして、この処理済み画素値Ｒｉ′，Ｇｉ′，Ｂｉ′を処理済み画像データＳ１として再生手段３に入力して再生する。
【００３９】
なお、上記第１および第２の実施形態においては、顔抽出手段５において上記特開平８−１２２９４４号等に記載された方法により顔領域を抽出しているが、画像データＳ０をモニタに表示した後に、オペレータがマニュアル入力により顔領域を抽出するようにしてもよい。
【００４０】
また、上記各実施形態においては、肌色の目標色度値として予め定められたものを用いているが、任意の値を入力するようにしてもよい。さらに、再生画像を観察する観察光源に応じて目標色度値を変更してもよい。これは例えば図３に示すような色度値ｕｖの関係において、観察光源の色温度に応じて色度値ｕ０，ｖ０の値を設定すればよい。例えば、ＣＲＴ、低色温度のＣＲＴ、昼光あるいはタングステン光源下において再生画像を観察する場合は、図３における１００００Ｋ、６５００Ｋ、５０００Ｋあるいは２８００Ｋの領域内に存在する色度値を目標色度値ｕ０，ｖ０として用いればよい。
【００４１】
さらに、上記各実施形態においては、顔領域を抽出して顔領域の肌色が目標色度値となるように色変換処理を行っているが、例えば緑色や青空等の青色が所望とする色に再現可能なように、これらの緑色あるいは青色などの所望とする被写体が存在する領域を抽出し、この領域の色が目標色度値となるように色変換処理を行うようにしてもよい。
【００４２】
さらにまた、上記各実施形態においては、デジタルカメラ１により取得された画像データＳ０に対して画像処理を施しているが、スキャナ等により読み取られた画像データに対しても同様に画像処理を施すことにより、所望とする被写体が所望とする色となるような画像を再現可能な処理済み画像データを得ることができる。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施形態による画像処理装置を適用したプリントシステムの構成を示す概略ブロック図
【図２】本発明の実施形態において行われる処理を示すフローチャート
【図３】再生画像の観察光源に応じた色温度の領域を示すグラフ
【符号の説明】
【００４４】
１    デジタルカメラ
２    画像処理手段
３    再生手段
５    顔抽出手段
６    色変換処理手段
【図１】
2007282290.tif 000003
【図２】
2007282290.tif 000004
【図３】
2007282290.tif 000005