(57)【要約】【課題】より簡便な操作により、自然な美肌処理がなされた画像を作成する。【解決手段】画像入力部と、入力画像に対して補正処理を施す画像補正部と、各種指示を入力するための外部入力手段と、画像表示部と、前記入力画像から特定の被写体人物を検出する被写体検出部と、前記検出した被写体人物から肌色の情報を設定する肌色設定部と、予め定義された肌色の情報を読み込む肌色情報読込部と、前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記画像中から抽出する肌色抽出部と、前記抽出した肌色の画素を補正対象領域として領域毎にまとめてパラメータを設定するとともに補正対象領域にのみ補正を掛けるためのマスク情報を設定する領域設定部と、前記入力されたデジタル画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する画像出力部とを備えたことを特徴とする。【選択図】図１
2008243059.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像データを入力する画像入力部と、
前記デジタル画像データに対して補正処理を施す画像補正部と、
画像処理装置に対する各種指示を入力するための外部入力手段と、
前記入力された画像及び前記補正処理の施された画像を表示するための画像表示部と、
前記デジタル画像データから特定の被写体人物を検出する被写体検出部と、
前記検出した被写体人物から肌色の情報を設定する肌色設定部と、
予め定義された肌色の情報を読み込む肌色情報読込部と、
前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記デジタル画像データ中から抽出する肌色抽出部と、
前記抽出した肌色の画素を補正対象領域として領域毎にまとめてパラメータを設定するとともに補正対象領域にのみ補正を掛けるためのマスク情報を設定する領域設定部と、
前記入力されたデジタル画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する画像出力部と、
を備え、前記画像表示部の表示により画像の仕上がり具合を確認するとともに、前記外部入力手段からの指示により補正の修整を行うことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、さらに、前記検出した被写体人物から設定された肌色の情報と、前記予め定義された肌色の情報とを比較し、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入るか否か判定する手段を備え、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入らない場合には、前記検出した被写体人物から設定された肌色の情報を廃棄することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置であって、さらに、補正を掛ける強度を設定する補正強度設定部を備え、補正処理を掛ける画像の位置に応じて、その補正の強度を変えるようにしたことを特徴とする画像処理装置。
【請求項４】
デジタル画像データを入力する工程と、
前記デジタル画像データに対して補正処理を施す工程と、
前記入力された画像及び前記補正処理の施された画像を表示する工程と、
前記表示された画像に基づいて、前記画像に対する補正処理の仕上がりを確認するとともに、前記補正の修整を行う工程と、
前記デジタル画像データから特定の被写体人物を検出する工程と、
前記検出した被写体人物から肌色の情報を設定する工程と、
予め定義された肌色の情報を読み込む工程と、
前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記デジタル画像データ中から抽出する工程と、
前記抽出した肌色の画素を補正対象領域として領域毎にまとめてパラメータを設定するとともに補正対象領域にのみ補正を掛けるためのマスク情報を設定する工程と、
前記入力されたデジタル画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する工程と、
を備え、前記表示された画像により補正処理の施された画像の仕上がり具合を確認するとともに、前記画像に対する補正の修整を行うことを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法であって、さらに、前記検出した被写体人物から設定された肌色の情報と、前記予め定義された肌色の情報とを比較し、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入るか否か判定する工程を含み、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入らない場合には、前記検出した被写体人物から設定された肌色の情報を廃棄することを特徴とする画像処理方法。
【請求項６】
請求項４または５に記載の画像処理方法であって、さらに、補正を掛ける強度を設定する工程を含み、補正処理を掛ける画像の位置に応じて、その補正の強度を変えるようにしたことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に係り、特に、画像中から被写体人物を抽出して美肌処理等の画像処理を行う画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、原画像の所定の領域に画像を合成して合成画像を作成する画像処理装置が知られており、例えば、肌の領域にメイクを施した画像を合成して表示するようにして、化粧品の購入者が、化粧品の購入時にその化粧品の効果を確認するための化粧シミュレーションを行う等に利用されている。
【０００３】
このような画像処理装置として、例えば、処理対象となる顔を示す原画像の所定の処理範囲、及び画素の色階調、輝度、色相、彩度等の属性の範囲を指定し、その処理範囲において当該属性範囲に属する画素を抽出して、例えば、肌の領域を認識し、その領域（肌の領域）に合成用の画像（メイクを施した画像）を合成し、合成画像を作成して表示するようにしたものが提案されている（例えば、特許文献１等参照）。
【特許文献１】特開２００５−７８１５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術は、原画像に基づいて簡便に領域認識等を行うことを目的としてはいるが、なお、仕上がり具合の確認及び修整が煩雑であり面倒臭く、必ずしも簡便とは言えないという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、より簡便な操作により、自然な美肌処理がなされた画像を作成することのできる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するために、請求項１に記載の発明は、デジタル画像データを入力する画像入力部と、前記デジタル画像データに対して補正処理を施す画像補正部と、画像処理装置に対する各種指示を入力するための外部入力手段と、前記入力された画像及び前記補正処理の施された画像を表示するための画像表示部と、前記デジタル画像データから特定の被写体人物を検出する被写体検出部と、前記検出した被写体人物から肌色の情報を設定する肌色設定部と、予め定義された肌色の情報を読み込む肌色情報読込部と、前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記デジタル画像データ中から抽出する肌色抽出部と、前記抽出した肌色の画素を補正対象領域として領域毎にまとめてパラメータを設定するとともに補正対象領域にのみ補正を掛けるためのマスク情報を設定する領域設定部と、前記入力されたデジタル画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する画像出力部と、を備え、前記画像表示部の表示により画像の仕上がり具合を確認するとともに、前記外部入力手段からの指示により補正の修整を行うことを特徴とする画像処理装置を提供する。
【０００７】
これにより、補正が施された画像の仕上がり具合の確認及びその修整を簡便に行うことができ、自然な美肌画像を作成することができる。
【０００８】
また、請求項２に示すように、請求項１に記載の画像処理装置であって、さらに、前記検出した被写体人物から設定された肌色の情報と、前記予め定義された肌色の情報とを比較し、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入るか否か判定する手段を備え、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入らない場合には、前記検出した被写体人物から設定された肌色の情報を廃棄することを特徴とする。
【０００９】
これにより、例えば、被写体人物の顔でないものを顔であるとして検出してしまったような場合でも、その失敗による不適切な補正処理を回避することができる。
【００１０】
また、請求項３に示すように、請求項１または２に記載の画像処理装置であって、さらに、補正を掛ける強度を設定する補正強度設定部を備え、補正処理を掛ける画像の位置に応じて、その補正の強度を変えるようにしたことを特徴とする。
【００１１】
これにより、被写体やその画像中の位置に応じて補正強度を適切に変更することができる。
【００１２】
また、同様に前記目的を達成するために、請求項４に記載の発明は、デジタル画像データを入力する工程と、前記デジタル画像データに対して補正処理を施す工程と、前記入力された画像及び前記補正処理の施された画像を表示する工程と、前記表示された画像に基づいて、前記画像に対する補正処理の仕上がりを確認するとともに、前記補正の修整を行う工程と、前記デジタル画像データから特定の被写体人物を検出する工程と、前記検出した被写体人物から肌色の情報を設定する工程と、予め定義された肌色の情報を読み込む工程と、前記設定された肌色の情報に基づいて、この肌色と類似した肌色の画素を前記デジタル画像データ中から抽出する工程と、前記抽出した肌色の画素を補正対象領域として領域毎にまとめてパラメータを設定するとともに補正対象領域にのみ補正を掛けるためのマスク情報を設定する工程と、前記入力されたデジタル画像データと、前記補正処理が施された画像データと、前記マスク情報から出力画像データを作成する工程と、を備え、前記表示された画像により補正処理の施された画像の仕上がり具合を確認するとともに、前記画像に対する補正の修整を行うことを特徴とする画像処理方法を提供する。
【００１３】
これにより、補正が施された画像の仕上がり具合の確認及びその修整を簡便に行うことができ、自然な美肌画像を作成することができる。
【００１４】
また、請求項５に示すように、請求項４に記載の画像処理方法であって、さらに、前記検出した被写体人物から設定された肌色の情報と、前記予め定義された肌色の情報とを比較し、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入るか否か判定する工程を含み、前記検出した被写体人物から設定された肌色の情報が前記予め定義された肌色の情報の所定の範囲内に入らない場合には、前記検出した被写体人物から設定された肌色の情報を廃棄することを特徴とする。
【００１５】
これにより、画像処理の途中において処理の失敗が発生しても適切な処理を行うことができ、破綻の少ない、より自然な美肌処理を行うことが可能となる。
【００１６】
また、請求項６に示すように、請求項４または５に記載の画像処理方法であって、さらに、補正を掛ける強度を設定する工程を含み、補正処理を掛ける画像の位置に応じて、その補正の強度を変えるようにしたことを特徴とする。
【００１７】
これにより、被写体やその画像中の位置に応じて補正強度を適切に変更することができる。
【発明の効果】
【００１８】
以上説明したように、本発明によれば、補正が施された画像の仕上がり具合の確認及びその修整を簡便に行うことができ、自然な美肌画像を作成することができる。
【発明を実施するための最良の形態】
【００１９】
以下、添付図面を参照して、本発明に係る画像処理装置及び画像処理方法について詳細に説明する。
【００２０】
図１は、本発明に係る画像処理装置の一実施形態の概略構成を示すブロック図である。
【００２１】
図１に示すように、本実施形態の画像処理装置１は、画像入力部１０、被写体検出部１２、肌色設定部１４、肌色情報読込部１６、肌色抽出部１８、領域設定部２０、画像補正部２２、画像出力部２４、画像表示部２６及び外部入力手段２８を有して構成されている。
【００２２】
画像入力部１０は、デジタルカメラによる撮影によって取得された画像や、スキャナによる読取りによって取得された画像などのデジタル画像データを入力するものである。画像入力部１０から入力されたデジタル画像データは、被写体検出部１２、画像補正部２２および画像出力部２４に送られる。
【００２３】
被写体検出部１２は、入力されたデジタル画像データの表す画像中の被写体人物の顔を検出する顔検出処理や、顔の中の目、眉、鼻、口などの顔の部品を検出する顔部品検出処理を行うものである。顔検出方法の一例としては、例えば、次のようなものがある。すなわち、まずＲ、Ｇ、Ｂの各色で表される画像をＨ（色相値）、Ｌ（明度値）、Ｓ（彩度値）で表される画像に変換し、互いに直交する色相値軸、彩度値軸および画素数軸からなる座標系を用いて、色相値および彩度値についての２次元ヒストグラムを求め、求めた２次元ヒストグラムを山毎に分割し、２次元ヒストグラムのクラスタリングを行う。クラスタリングされた２次元ヒストグラムの山に基づいて多数の画素のクラスタリングを行い、このクラスタリングに基づいて画面を分割し、分割された領域から人物の顔の候補となる領域を抽出し、この顔の候補として抽出された色領域を円または長円の領域に更に分割し、この分割された領域に基づいて顔の領域を推定する。
【００２４】
顔検出は、このように自動的に行ってもよいし、あるいは操作者がマウスやキーボード等の外部入力手段２８を用いて画像表示部２６の表示画面に表示された画像中の被写体人物の顔領域を指定することによって顔領域を抽出するようにしてもよい。
【００２５】
肌色設定部１４は、被写体検出部１２によって検出された顔領域における色相、彩度および明度のヒストグラムを用いて信頼度の高い肌色の画素を抽出し、肌色として設定するものである。
【００２６】
肌色情報読込部１６は、事前に定義されメモリに保存されていた肌色情報を読み込み、肌色設定部１４に渡すものである。例えば肌色情報読込部１６は、被写体検出部１２で被写体が検出できない場合（顔検出に失敗した場合）に、事前に定義されメモリに保存されていた肌色情報を読み込んで肌色設定部１４に渡すと、肌色設定部１４は、この肌色情報に基づいて肌色を設定する。
【００２７】
この事前に定義された肌色情報は、様々な肌色の情報を総合したものを１つ定義して保存されている場合には、それが肌色情報読込部１６によって自動的に読み込まれる。また、性別、年齢、人種等様々な肌色の情報が複数定義されて保存されている場合には、操作者の指定によって肌色情報読込部１６が読み込むようにしてもよい。さらに、肌色設定部１４は、このように事前に定義された肌色情報を読み込むのではなく、例えば大ラボなどにおいては、同様の画像を大量に扱うことが多いため、現在処理している画像の前後で同じ様な画像の処理をしている場合があるため、前後の画像で使用した肌色を自動的に読み込んで肌色として設定するようにしてもよい。
【００２８】
なお、肌色情報読込部１６は、上述したように、被写体検出部１２が被写体の検出に失敗した場合に肌色情報を読み込むようにするだけでなく、被写体検出部１２が被写体を検出した場合であっても、事前に定義されメモリに保存されていた肌色情報を読み込んで肌色設定部１４に渡すようにしてもよい。
【００２９】
この場合、肌色設定部１４は、その検出した被写体から設定した肌色と、肌色情報読込部１６が読み込んだ肌色情報とを比較し、検出した被写体の肌色が肌色情報読込部１６が読み込んだ肌色情報の所定の範囲内にあるか否か判定することにより、被写体検出ミスをチェックする。すなわち、検出した被写体の肌色が肌色情報読込部１６が読み込んだ肌色情報の所定の範囲内にない場合には、この被写体は本来は被写体ではないのに、誤って被写体として検出されたものと判断し、この被写体から設定された肌色の情報は廃棄し、以後この被写体は被写体としては扱わないようにしてその処理を中止するようにする。
【００３０】
肌色抽出部１８は、肌色設定部１４が設定した肌色に基づいて、設定された肌色と類似した肌色の画素を画像中から抽出することにより、被写体人物中の肌色領域を抽出するものである。
【００３１】
肌色領域を抽出する方法としては、例えば、設定された肌色を有する画素に対して隣接する所定領域の色相、彩度および明度を調べ、所定の条件を満たす領域を肌色領域として加え、肌色領域を広げて成長させ、この成長した肌色領域について、さらに輪郭の抽出などを行い、この領域をさらに成長させて行き、このような処理を、成長させるべき近隣の画素がなくなるか、このような処理の繰り返し回数が所定数に達するまで行うことによって肌色領域を抽出する方法が知られているが、特にこの方法に限定されるものではない。
【００３２】
なお、被写体検出部１２で被写体が２つ（被写体人物が２人）以上検出された場合には、その２人の肌色を合わせた結果を肌色として設定し、肌色抽出部１８で肌色画素を抽出するようにしてもよい。あるいは、このとき２人の各々の肌色をそれぞれ別々に肌色として設定し、各々肌色抽出部１８で肌色画素を抽出するようにしてもよい。
【００３３】
さらに、被写体検出部１２で被写体が２つ（被写体人物が２人）以上検出された場合に、各々の被写体に対する肌色領域であることが分かるようにラベリングしてもよい。このラベリングは、どの肌色に近いかで判断すればよい。あるいは被写体の位置に近い方をラベリングすればよい。
【００３４】
領域設定部２０は、抽出された肌色領域を補正対象領域として設定するものである。また、領域設定部２０は、後述する被写体を含む画像全体が補正された全体補正画像と、掛け合わせたときに補正対象領域のみにその補正が施された画像が得られるようなマスク画像を作成する。
【００３５】
なお、領域設定部２０においては、抽出した肌色領域に対して、セグメント処理やラベリング処理をしてもよい。また、領域設定部２０では、抽出した肌色領域に対し、形状が肌らしくなるように調整するようにしてもよい。例えば、ストロボ等で白トビした画素を追加しても良い。
【００３６】
画像補正部２２は、美肌処理やスムージングやノイズ抑制処理を行うものである。すなわち、画像補正部２２は、補正対象領域の補正後の目標となる補正値、例えば、所定の明度と補正対象領域における明度の平均値もしくは中間値との差分に基づいて、補正対象領域を補正する際の補正量として適正と思われる補正量（画像上の所定の成分毎の補正の程度）を算出し、これを初期値として用いて被写体人物を含む画像全体を補正する。
【００３７】
画像出力部２４は、入力画像と補正画像とマスク画像を合成して出力画像を作成し、出力するものである。すなわち、画像出力部２４は、画像補正部２２による全体補正画像と、画像入力部１０から送られた被写体人物を含む元の入力画像とを、対応する各画素毎にマスク画像が表す所定の重みで合成することによって、補正対象領域のみが部分的に補正された補正済画像を作成する。ここで、全体補正画像は美肌処理を含み、マスク画像が表す重みは美肌強度情報を含んでいる。
【００３８】
画像表示部２６は、画像処理装置１に入力され、画像処理が施される画像を表示するものであり、ＬＣＤ（液晶ディスプレイ）やＣＲＴ（Cathode Ray Tube)等の画像を表示する表示画面（図示省略）を有している。
【００３９】
外部入力手段２８は、マウスやキーボードその他の入力手段によって構成され、操作者が画像表示部２６の表示画面を見ながら画像処理装置１に対して指示を出すものである。
【００４０】
このように、本実施形態では、画像表示部２６及び外部入力手段２８を備えることにより、表示画面によって画像の仕上がり具合を確認するとともに、その修整を簡便に行うことを可能とするものである。
【００４１】
図２に、画像表示部２６及び外部入力手段２８の詳細な構成の一例を示す。
【００４２】
図２に示すように、画像表示部２６は、表示画面に例えば指定フォルダ内や指定フォルダ以下の画像群をサムネイル画像として表示させる画像一覧表示部３０を有している。
【００４３】
また、外部入力手段２８は、画像一覧表示部３０によって表示画面に表示された画像群（サムネイル画像）の中から画像を選択する画像選択手段３２及び選択した各画像に対して設定すべき補正条件を指示する条件設定手段３４の機能を有している。
【００４４】
このとき、画像一覧表示部３０によって表示画面にサムネイル画像を表示しておき、その中で同じ補正条件によって補正したい画像を画像選択手段３２によって複数選択してから、これらの複数選択された画像に対して条件設定手段３４によって同一の条件を設定するように指示してもよい。
【００４５】
条件設定手段３４では、各補正パラメータを直接入力してもよいし、予め決まっている複数のパラメータセットの中から選択するようにしてもよい。
【００４６】
このように、本実施形態においては、画像をサムネイル表示して、美肌処理を行うか行わないかを選択するとともに、美肌処理をする場合の強度を簡単に選択することができるようになっている。
【００４７】
また、図３に、画像表示部２６及び外部入力手段２８付近の詳細な構成の他の一例を示す。
【００４８】
図３に示す例では、外部入力手段２８は、被写体選択手段３６および条件設定手段３４の機能を有し、被写体検出部１２によって検出された被写体についてその検出結果を画像表示部２６の表示画面に表示し、検出できていない被写体については、被写体選択手段３６によって追加で被写体を選択するようにしてもよい。
【００４９】
例えば、顔の検出結果を表示画面に表示し、検出できなかった顔については、操作者が表示画面を見ながら、被写体選択手段３６によって矩形で指定するようにしてもよい。このとき、この指定は、両目や鼻を指定してもよい。
【００５０】
また、被写体選択手段３６では、検出した被写体について検出結果を表示画面に表示し、被写体でないのに誤って被写体であるとして検出した部分については、削除するように指示を出してもよい。例えば、顔の検出結果を赤枠で表示し、誤って検出した部分については枠指定してから消去するようにしてもよい。
【００５１】
また、被写体選択手段３６では、検出した被写体が複数いる場合に、それらの被写体についての検出結果を表示し、それらのうちの１つ以上を指定した後、条件設定手段３４でその各被写体毎の各補正パラメータを設定するように指示してもよい。例えば、男女が写っている画像に対して、女性を指定すると、ウィンドウが開き、女性用の各補正パラメータが入力できるようになり、男性を指定すると、男性用の各補正パラメータが入力できるようにしてもよい。
【００５２】
なお、条件を設定した各被写体について、目印を入れるようにしてもよい。例えば、顔検出結果を赤枠で表示するとした時に、補正条件が設定された顔の赤枠を青枠に変更するようにしてもよい。あるいは、マウスをこの被写体に近づけたときにポップウィンドが表示され、そこに条件が記述されているようにしてもよい。
【００５３】
また、顔認証技術と組み合わせて、その被写体について既に他の画像で条件が設定されていた場合に、その画像中の被写体について自動で同様の条件を設定するようにしてもよい。この場合には、上記と同様の目印を入れるようにしてもよい。あるいは、上記とは異なる目印、例えば緑枠など、を入れるようにしてもよい。
【００５４】
また、図４に、画像表示部２６及び外部入力手段２８付近の詳細な構成の他の例を示す。
【００５５】
図４に示す例においては、顔や肌の一部を拡大して補正処理の確認をするために、外部入力手段２８は画像中の一部をトリミングするよう指示する画像トリミング部３８としての機能及び条件設定手段３４としての機能を有している。また、画像表示部２６は、トリミングされた画像の一部を拡大して表示画面に表示するよう指示する拡大画像表示部４０を有している。
【００５６】
画像トリミング部３８では、被写体検出部１２の結果および領域設定部２０の結果の両方の結果あるいは少なくともその一方の結果を受け取り、画像トリミングの範囲を決定し、さらに、画像入力部１０から入力された入力画像および画像補正部２２で補正処理が施された補正画像の両方あるいはその一方の画像からトリミング画像が作成される。
【００５７】
また、拡大画像表示部４０は、トリミング画像を表示画面に表示する。操作者は、その表示画面を見ながら、外部入力手段２８の条件設定手段３４の機能を用いて各補正パラメータを調整する。トリミング範囲は、例えば、検出した顔を拡大するようにすればよい。あるいは顔周辺以外の肌について拡大するようにすればよい。
【００５８】
また、図５に、画像表示部２６及び外部入力手段２８付近の詳細な構成のさらに他の例を示す。
【００５９】
図５に示すものは、マスクの修整に関連するものである。画像表示部２６は、領域情報付与部４２及び領域情報付与画像表示部４４を有している。また、外部入力手段２８は、領域情報修整手段４６としての機能を有している。
【００６０】
領域情報付与部４２では、画像入力部１０から入力された入力画像あるいは画像補正部２２で補正処理が施された補正画像にマスク情報を付与した形で画像を表示画面に表示できるようにするものである。例えば、マスクの強度情報を青色の濃淡で表示するようにしてもよい。
【００６１】
領域情報修整手段４６では、領域情報付与画像の領域情報を修整する。例えば、肌でないところを肌として抽出した領域や、肌なのに抽出できなかった領域を修整する。
【００６２】
なお、領域情報修整手段４６での具体的な修整手段としては、例えば「フォトショップ(Photoshop）」（登録商標）のブラシツールのようなものを用いて直接指定するようにしてもよい。あるいは、領域情報修整手段４６での修整手段としては、例えば、ラベリングされた領域を指定することで領域を肌領域と肌領域でない領域と切り替えてもよい。
【００６３】
以下、図６〜８のフローチャートに沿って、本実施形態の作用である画像処理方法について説明する。
【００６４】
図６は、画像処理全体の流れを示すフローチャートであり、図７は、特に肌色設定に関する部分の詳細を示すフローチャートであり、また図８は、領域設定に関する部分の詳細を示すフローチャートである。
【００６５】
まず、図６のステップＳ１００において、画像入力部１０より画像データが入力されると、入力された画像は、それぞれ被写体検出部１２および画像補正部２２に送られる。
【００６６】
そして、ステップＳ１１０において、被写体検出部１２は入力画像中の被写体人物を検出する。また、一方ステップＳ１２０において、画像補正部２２は、入力画像の画像全体に対して画像補正処理を施す。
【００６７】
被写体検出部１２は、前述したように、入力画像から被写体人物およびその顔あるいは顔の部品等を検出する。
【００６８】
次のステップＳ１３０において、被写体検出部１２が被写体を検出したか否か判定し、もし被写体が検出されなかった場合には、ステップＳ１４０に進み、肌色情報読込部１６で、予め定義されている肌色情報を読み込む。読み込まれた肌色情報は肌色設定部１４に送られる。
【００６９】
ステップＳ１５０において、肌色設定部１４は、被写体の検出があった場合には、その検出された被写体人物の顔の部分の画素を用いて肌色を設定する。このとき、被写体の検出がなかった場合には、肌色情報読込部１６で読み込まれた肌色情報により肌色を設定する。
【００７０】
次にステップＳ１６０において、肌色抽出部１８は、上で設定された肌色を用いて、画像全体から肌色の画素を抽出する。次にステップＳ１７０において、領域設定部２０は、抽出された肌色画素をまとめて補正対象となる肌色領域として設定する。また、領域設定部２０は、前述したように、設定された肌色領域にのみ補正が掛かるように、マスク画像（マスク情報）を作成する。
【００７１】
次にステップＳ１８０において、画像出力部２４は、画像補正部２２で補正された補正画像と、入力画像およびマスク画像を合成して最終的に補正対象領域にのみ補正が施された補正済み画像が作成される。
【００７２】
また、図７は、肌色設定に関連する部分の詳細フローチャートである。図７に示す処理は、顔検出のエラーに関わるものであり、図６の全体フローの他にこのような処理を行ってもよいというものである。
【００７３】
すなわち、顔検出エラーには、画像中に顔が写っているのに検出できないという場合と、画像中の顔でない部分を顔であるとして検出してしまう場合とがある。顔でない部分が顔であると検出された場合には、間違った肌色が設定されてしまい全く予期せぬ補正がなされてしまう場合がある。そこで、これに対処するために、図７に示すフローチャートにおいては、被写体が検出された場合であっても、肌色情報を読み込むようにしている。
【００７４】
すなわち、ステップＳ１１０において、被写体検出処理が行われ、被写体が検出されると（図７では、図６のステップＳ１３０、Ｓ１４０を省略している。）、ステップＳ１５０において、肌色設定部１４において肌色が設定されるが、図７においては、ステップＳ１５２において、（被写体が検出された場合であっても）肌色情報読込部１６により、予め定義されている肌色の情報が読み込まれ、検出された被写体の肌色と、予め定義された肌色とが比較される。
【００７５】
ステップＳ１５４において、検出された被写体の肌色が予め定義された肌色情報の範囲内にはない場合には、ステップＳ１５６において、検出された被写体の肌色の情報を破棄し、検出された被写体の顔検出の結果は使用しないこととする。
【００７６】
一方、ステップＳ１５４において、検出された被写体の肌色が予め定義された肌色情報の範囲内にある場合には、その肌色を設定し、ステップＳ１６０において、その肌色により肌色抽出が行われる。そして、次のステップＳ１６２において、他に検出された被写体があるか否か判断し、他に被写体が検出されている場合には、ステップＳ１５０に戻り、上記の処理を繰り返す。他に被写体がない場合には、図６のステップＳ１７０に進み、次の領域設定の処理が行われる。
【００７７】
また、図８に示すフローチャートは、領域設定に関連するものである。図８に示される処理は、画像中に２人の人が写っている場合で、２人が被写体として検出された場合における処理の例であり、図７の処理と同様に、図６の全体フローの他にこのような処理を行ってもよいというものである。
【００７８】
図８のステップＳ１１０において、まず１人について肌色設定（ステップＳ１５０）および肌色抽出（ステップＳ１６０）を行い、ステップＳ１６２で他に被写体がいないか判断し、他に被写体がいる場合には、ステップＳ１５０に戻り、他の被写体についても肌色設定（ステップＳ１５０）および肌色抽出（ステップＳ１６０）を行うようにする。
【００７９】
このように、被写体が２人検出された場合には、それぞれの肌の色は異なるので、それぞれの被写体について、肌色設定（ステップＳ１５０）および肌色抽出（ステップＳ１６０）を行なおうというものである。
【００８０】
次に、ステップＳ１６４において、各被写体について作成した肌色の情報を比較し、近似判定を行う。そして予め設定された近似判定の条件により、各肌色が近似していると判定された場合には、これらの肌色を一つにまとめてもよいし、あるいは、被写体が２人以上いる場合には、近似している肌色の画素の情報を他の一方の画素にくっつけるようにしてもよい。ステップＳ１６６では、近似判定が全画素について終了したか否か判断し、全ての画素について終了するまで繰り返すようにする。
【００８１】
このように、本実施形態においては、被写体検出等の途中処理において失敗したとしても、それに応じて適切な処理を行うことができ、また、被写体やその画像中での位置に応じた適切な補正処理を施すことが可能となる。その結果、破綻が少なく、より自然な美肌処理等の補正処理が実現される。また、入力画像と美肌処理画像および美肌強度情報（マスク画像）をレイヤ構造で保存して出力するなど、修正のし易い形式で出力することが可能となった。
【００８２】
次に、本発明の画像処理装置の適用例として、写真館とラボとをネットワークで結んだネットワークフォトサービスシステムとしてのプリント注文システムについて説明する。
【００８３】
図９に、プリント注文システムの概略を示す。
【００８４】
図９に示すように、このプリント注文システム５０は、顧客の撮影を行ったりプリントの注文を受け付ける写真館５２とラボ５４とがインターネット等のネットワーク５６を介して接続されている。
【００８５】
写真館５２は、顧客からのプリント注文を受け付けるものであるが、フォトスタジオを有し、顧客のポートレート撮影等を行うようにしてもよい。写真館５２に設置されたコンピュータ端末５２ａは、ネットワーク５６を介してラボ５４のサーバ５４ａと接続されており、顧客から注文を受けたプリントの画像データを入力し、画像情報に補正条件を付与してラボ５４のサーバ５４ａに送信するものである。
【００８６】
写真館５２のコンピュータ端末５２ａでは、顧客の注文に応じた所定の画像処理条件を設定する。このとき、コンピュータ端末５２ａにより簡単な画像処理を行い、コンピュータ端末５２ａに接続された表示手段に画像処理の結果を表示して顧客に示すようにしてもよい。
【００８７】
ラボ５４のサーバ５４ａは、写真館５２のコンピュータ端末５２ａから送信された画像データと画像処理条件を受け取る。ラボ５４は、本発明に係る画像処理装置を有するデジタルミニラボ５４ｂを備えており、サーバ５４ａが受信した画像データ（画像情報）と画像処理条件（条件情報）により画像処理を行い、プリントを作成する。作成されたプリントは写真館５２あるいは顧客が指定した受け取り店等に配送あるいは郵送される。
【００８８】
図１０に、写真館５２における注文受け付けシステムの概略構成を示す。
【００８９】
図１０に示すように、写真館５２のコンピュータ端末５２ａは、画像入力部６０、画像表示部６２、外部入力手段６４、条件設定部６６及び画像情報条件情報送信部６８を備えている。
【００９０】
画像入力部６０は、デジタルカメラによる撮影によって取得された画像や、スキャナによる読取りによって取得された画像などのデジタル画像データを入力するものである。画像入力部６０より入力された画像データは、画像表示部６２に送られる。
【００９１】
画像表示部６２は、画像入力部６０から入力された画像を表示するものであり、ＬＣＤ（液晶ディスプレイ）やＣＲＴ（Cathode Ray Tube)等の画像を表示する表示画面（図示省略）を有している。
【００９２】
外部入力手段６４は、マウスやキーボードその他の入力手段によって構成され、操作者が画像表示部６２の表示画面を見ながら条件設定部６６等に対して画像処理（画像補正）条件等の指示を出すものである。
【００９３】
条件設定部６６は、各画像に対する補正条件を設定するものである。条件設定部６６においては、上述したように外部入力手段６４から各補正パラメータを直接入力してもよいし、予め決まっている複数のパラメータセットの中から選択するようにしてもよい。
【００９４】
画像情報条件情報送信部６８は、画像情報に補正条件を付与して、ラボ５４のサーバ５４ａに送信する。また、画像情報条件情報送信部６８は、補正条件が付与された画像情報を送信する一方で、保存するようにしてもよい。
【００９５】
また、図１１は、写真館５２のコンピュータ端末５２ａの画像入力部６０、画像表示部６２付近の詳細な構成を示すブロック図である。
【００９６】
図１１に示すように、画像入力部６０と画像表示部６２の間に画像補正部６１を設け、入力画像を画像補正部６１で補正した結果を画像表示部６２に表示するようにしてもよい。
【００９７】
この補正結果の表示は、いわば顧客に対するプレゼンテーションのためのものであり、その場合の補正は、簡易的な補正でもよい。このように顧客に対して画像補正（美肌処理）の結果を表示して示すことにより、顧客の承認を得てから注文を受けることで、顧客の満足のいくプリント注文が可能となる。このとき画像データと補正パラメータが一緒にラボ５４に送信される。
【００９８】
図１２に、ラボ５４のサーバ５４ａ及びデジタルミニラボ５４ｂに組み込まれた画像処理装置の概略構成を示す。
【００９９】
図１２に示すように、サーバ５４ａは、画像情報条件情報受信部７０、画像選別部７２を有している。画像情報条件情報受信部７０は、写真館５２のコンピュータ端末５２ａの画像情報条件情報送信部６８から送信された補正条件が付与された画像情報を受信する。
【０１００】
画像選別部７２は、画像情報条件情報受信部７０が受信した画像から画像処理が必要な画像を選別してデジタルミニラボ５４ｂに送出する。すなわち、画像選別部７２は、特に美肌情報の有無によって、次の工程（美肌工程）に画像を流すか否かを選別する。補正条件毎に美肌工程が分かれている場合には、画像選別部７２で選別するようにしてもよい。
【０１０１】
このように、本実施形態では、ラボ５４における画像の選別工程が簡便化される。
【０１０２】
一方、デジタルミニラボ５４ｂに組み込まれた画像処理装置の構成は、図１に示された画像処理装置１と同様である。すなわち、デジタルミニラボ５４ｂの画像処理装置は、画像入力部８０、被写体検出部８２、肌色設定部８４、肌色情報読込部８６、肌色抽出部８８、領域設定部９０、画像補正部９２、画像出力部９４、画像表示部９６及び外部入力手段９８を有して構成されており、各部の機能は図１の画像処理装置１における各部の機能と同様である。
【０１０３】
画像選別部７２で選別された画像は、画像入力部８０から入力され、前述したように、その後被写体検出、肌色設定、肌色抽出、領域設定等が行われる一方、画像補正部９２において写真館５２から送信された条件情報によって補正処理（美肌処理）が行われる。その処理において、画像処理が施される画像は画像表示部９６に表示され、操作者は画像表示部９６の表示画面により画像の仕上がり具合を確認しながら、外部入力手段９８から各種の指示を入力してその修整を簡便に行うことができる。
【０１０４】
このように、本実施形態によれば、例えば美肌処理をかけるかかけないかの画像選択を容易に行うことができ、また、美肌結果を簡単に確認することができるとともに、補正のマスクを簡単に修整することができ、このようなより簡便な操作によって、自然な美肌画像を作成することが可能となる。
【０１０５】
以上、本発明の画像処理装置及び画像処理方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
【図面の簡単な説明】
【０１０６】
【図１】本発明に係る画像処理装置の一実施形態の概略構成を示すブロック図である。
【図２】図１の画像処理装置における画像表示部及び外部入力手段の詳細な構成の一例を示すブロック図である。
【図３】同じく画像表示部及び外部入力手段付近の詳細な構成の他の一例を示すブロック図である。
【図４】同じく画像表示部及び外部入力手段付近の詳細な構成の他の例を示すブロック図である。
【図５】画像表示部及び外部入力手段付近の詳細な構成のさらに他の例を示すブロック図である。
【図６】画像処理全体の流れを示すフローチャートである。
【図７】肌色設定に関する部分の詳細を示すフローチャートである。
【図８】領域設定に関する部分の詳細を示すフローチャートである。
【図９】プリント注文システムの概略を示すシステム構成図である。
【図１０】写真館における注文受け付けシステムの概略構成を示すブロック図である。
【図１１】写真館のコンピュータ端末の画像入力部及び画像表示部付近の詳細な構成を示すブロック図である。
【図１２】ラボにおけるサーバ及びデジタルミニラボ等のシステムの概略構成を示すブロック図である。
【符号の説明】
【０１０７】
１…画像処理装置、１０…画像入力部、１２…被写体検出部、１４…肌色設定部、１６…肌色情報読込部、１８…肌色抽出部、２０…領域設定部、２２…画像補正部、２４…画像出力部、２６…画像表示部、２８…外部入力手段、３０…画像一覧表示部、３２…画像選択手段、３４…条件設定手段、３６…被写体選択手段、３８…画像トリミング部、４０…拡大画像表示部、４２…領域情報付与部、４４…領域情報付与画像表示部、４６…領域情報修整手段、５２…写真館、５２ａ…コンピュータ端末５２ａ、５４…ラボ、５４ａ…サーバ、５４ｂ…デジタルミニラボ、５６…インターネット
【図１】
2008243059.tif 000003
【図２】
2008243059.tif 000004
【図３】
2008243059.tif 000005
【図４】
2008243059.tif 000006
【図５】
2008243059.tif 000007
【図６】
2008243059.tif 000008
【図７】
2008243059.tif 000009
【図８】
2008243059.tif 000010
【図９】
2008243059.tif 000011
【図１０】
2008243059.tif 000012
【図１１】
2008243059.tif 000013
【図１２】
2008243059.tif 000014