(57)【要約】【課題】  人物画に対する適応的な画像処理を提供する。【解決手段】  画像に含まれる人物の顔に関する顔情報を獲得し(S20)、顔情報から画像に有意な人物の顔が含まれるか否かを判定し(S30)、有意な人物の顔の存在を示す顔情報がある場合は、画像に含まれる人物の顔に関する顔情報から、処理対象画像に施すべき人物画用高画質化処理の内容を調整する適応処理調整情報を生成し(S40)、適応処理調整情報に基づき調整された高画質化処理を画像に施す(S60)。【選択図】    図3
2005063406.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の画像を入力し、
前記画像から、その画像に含まれる人物の顔画像に関する顔情報を獲得し、獲得した顔情報に基づき、高画質化処理を調整する調整情報を生成し、
前記調整情報に基づき調整した高画質化処理を、前記処理対象の画像に施すことを特徴とする画像処理方法。
【請求項２】
前記調整情報は、前記高画質化処理の度合いおよび/または種類を示すことを特徴とする請求項1に記載された画像処理方法。
【請求項３】
前記調整情報は、前記処理対象の画像に含まれる顔画像の特徴に基づき設定されることを特徴とする請求項1に記載された画像処理方法。
【請求項４】
前記顔画像の特徴は顔画像の個数または占有面積、あるいは、顔画像の位置であることを特徴とする請求項3に記載された画像処理方法。
【請求項５】
前記調整情報は、前記顔画像の特徴のうちの複数の組み合わせに基づき設定されることを特徴とする請求項4に記載された画像処理方法。
【請求項６】
前記顔画像の特徴には優先的に考慮される特徴が存在することを特徴とする請求項5に記載された画像処理方法。
【請求項７】
前記高画質化処理には、少なくとも、人物の肌の色を補正する肌色補正処理、ノイズ除去処理および空間フィルタ処理の何れかが含まれることを特徴とする請求項1から請求項6の何れかに記載された画像処理方法。
【請求項８】
処理対象の画像を入力する入力手段と、
前記画像から、その画像に含まれる人物の顔画像に関する顔情報を獲得し、獲得した顔情報に基づき、高画質化処理を調整する調整情報を生成する生成手段と、
前記調整情報に基づき調整した高画質化処理を、前記処理対象の画像に施す処理手段とを有することを特徴とする画像処理装置。
【請求項９】
顔画像用の第一の画像処理条件と、非顔画像用の第二の画像処理条件とを有し、
画像を入力し、
前記画像に含まる顔画像に関する顔情報を獲得し、
前記顔情報から重み付けパラメータを設定し、
設定された前記重み付けパラメータ、並びに、前記第一および第二の画像処理条件を用いて、前記画像に画像処理を施すことを特徴とする画像処理方法。
【請求項１０】
前記顔情報は、前記顔画像の中心位置およびサイズを示す情報を有し、前記画像に含まれる各顔画像に対して求められることを特徴とする請求項9に記載された画像処理方法。
【請求項１１】
画像処理装置を制御して、請求項1から請求項7、請求項9、請求項10の何れかに記載された画像処理を実行することを特徴とするプログラム。
【請求項１２】
請求項11に記載されたプログラムが記録されたことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置およびその方法に関し、例えば、撮像装置等の画像入力機器から入力される画像の撮像シーンに応じた適応的な画像処理に関する。
【背景技術】
【０００２】
撮像装置、とりわけ、昨今、普及が進んでいるディジタルスチルカメラ（以降「ディジタルカメラ」と記す）は、CCDやCMOS等のセンサで構成される撮像デバイスで撮像された画像信号を基に、被写体の輝度域を撮像デバイスのダイナミックレンジに当て嵌るためのAGC (Auto Gain Control)と呼ばれる露光量の調整機能、被写体の色味を適切な色合いに補正するためのAWB (Auto White Balance)と呼ばれる色味調整機能、階調変化の具合やコントラストを調整するためのガンマ変換機能、ノイズ除去や輪郭強調等の各種の画像処理機能を有する。最近では、例えば、特開2000-123164公報、特開2000-123165公報に見られるように、このような撮像画像信号に対する処理のインテリジェント化が志向されている。
【０００３】
特開2000-123164公報は、画像特徴を考慮することなく一定の処理を行うよりも、画像内の特徴に応じて、処理や変換の度合いを変更することが望ましいと述べ、また、特開2000-123165公報は、画像内の主オブジェクトに重きをおいた補正、すなわち、主オブジェクトを対象とするのに適切な画像補正を開示する。
【０００４】
撮像された画像をディスプレイ画面に表示したり、カラープリンタでハードコピーするなど、画像を再生する場合、人物が主オブジェクトである人物画の画像強調処理や画像補正処理（肌色などの色再現やコントラストのとり方など）は、他の画像と異なる方が、再生画像が観察者に好印象を与えることが知られている。
【０００５】
従来、銀塩写真においては、人物が撮影されたカラーネガフィルムを陽画に焼き付ける場合、人物の顔色が適正になるように焼き付けると、一般に、写真を観る人に与える感じがよくなる傾向が知られている。つまり、人物の顔の色に着目して、焼付け露光量を決めることで高画質化を図ること知られている。
【０００６】
一方、撮像された画像から、それに含まれる人物の顔を抽出する方法は、幾つかの方法が開示されている。例えば、特開2001-309225公報には、色および形状に基き、肌を含む可能性が高いと思われる中央部と、やはり色および形状に基き、毛髪を含む可能性が高いと思われる周辺領域を探すことで、顔を含む可能性が高い領域を探すパターン認識オペレータを用いる顔候補検出の第一のアルゴリズム、並びに、パターンマッチにより、第一のアルゴリズムで求めた顔候補領域中の顔の存在を確かめる第二のアルゴリズムを併用して、顔を検出する技術が開示されている。
【０００７】
特開平08-063595号公報には、色に基き肌色領域の輪郭を抽出し、予め用意する顔の輪郭テンプレートとのマッチングで顔を検出する方法、目候補領域を求めて目テンプレートとのマッチングを用いて顔を検出する方法、顔の輪郭テンプレートで求まる顔候補領域の二次元フーリエ変換結果と、予め用意した目、鼻、口、髪などを含む顔テンプレート画像の二次元フーリエ変換結果とから定義される特徴量を求め、この特徴量を閾値処理して顔を検出する方法などが開示されている。
【０００８】
特開2002-183731公報（特願2001-282283）には、目の候補領域を求め、複数の目の候補が見つかった場合は、任意の一対の目の候補それぞれの近傍に環状領域を定め、この領域内の各画素の近傍画素との画素値の勾配と、予め定める基準勾配との方向差を基に顔を検出する方法が開示されている。
【０００９】
人物認証やアミューズメントのための顔合成画像の生成を目的として、人物の顔領域の検出や目、鼻、口などの顔部品を検出する技術も提案されている。例えば、特開平09-251534号公報には、予め登録された標準顔画像（テンプレート）を用いて顔領域を抽出し、抽出された顔領域の中から眼球（黒目）や鼻孔などの特徴点の候補を抽出して、これらの配置や予め登録されている目、鼻、口領域などのテンプレートとの類似度から目、鼻、口などの顔部品を検出する技術が開示されている。
【００１０】
特開2000-322588公報には、入力された画像から顔領域を判定し、判定された顔領域から目、鼻、口といった顔部品を検出して目の瞳の位置の中心座標や鼻孔の位置の中心座標を出力したり、口やその他の顔部品の位置を検出して、その位置を出力することなどが記述されている。
【００１１】
上記の技術、つまり画像からそれに含まれる人物の顔を抽出する技術を用いれば、画像中における人物の顔の位置や大きさ、画像中に存在する顔の数などを把握することが可能である。一方、人物画に対しての適応的な処理といっても、画一的な画像処理が一般的であり、必ずしも、全ての人物画について好適な出力画像が得られるわけではない。このような状況を考慮すると、主オブジェクトが人物か否かで、写真画像をプリントする際の再現調子を、画像入力、顔情報の獲得、および、それら入力データに基づく高画質化処理の調整を自動的に実行する機構が望まれる。また、その際、顔のサイズや位置などを考慮した、よりきめの細かい調整が望まれる。
【００１２】
【特許文献１】特開2000-123164公報
【特許文献２】特開2000-123165公報
【特許文献３】特開2001-309225公報
【特許文献４】特開平08-063595号公報
【特許文献５】特開2002-183731公報
【特許文献６】特開平09-251534号公報
【特許文献７】特開2000-322588公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は、上述の問題を個々にまたはまとめて解決するもので、人物画に対する適応的な画像処理を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１５】
本発明は、処理対象の画像を入力し、前記画像から、その画像に含まれる人物の顔画像に関する顔情報を獲得し、獲得した顔情報に基づき、高画質化処理を調整する調整情報を生成し、前記調整情報に基づき調整した高画質化処理を、前記処理対象の画像に施すことを特徴とする。
【００１６】
また、顔画像用の第一の画像処理条件と、非顔画像用の第二の画像処理条件とを有し、画像を入力し、前記画像に含まる顔画像に関する顔情報を獲得し、前記顔情報から重み付けパラメータを設定し、設定された前記重み付けパラメータ、並びに、前記第一および第二の画像処理条件を用いて、前記画像に画像処理を施すことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、人物画に対する適応的な画像処理を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。
【実施例１】
【００１９】
［構成］
図1は画像処理装置の機能ブロック図である。
【００２０】
画像入力部20は、ディジタルカメラなどで撮影された画像データを取り込むインタフェイス回路などの画像獲得部21、取り込んだ画像データを保持する画像メモリ7などで構成され、主被写体を含む撮影シーンを撮影して得られた画像データを取得する。画像入力部20によって取得された画像データは、ディジタル画像データとして顔情報獲得部30の顔情報抽出部31に入力されるとともに、適応的高画質化処理部40の高画質化処理部41に入力される。
【００２１】
顔情報抽出部31は、画像入力部20の画像メモリ7から入力した画像から顔画像を検出し、顔画像を検出した場合は、検出結果（顔画像の数、各顔画像の位置、各顔画像のサイズなどの顔情報）を顔情報メモリ8に格納する。なお、以下の説明では、顔画像を単に「顔」と表現する。
【００２２】
適応的高画質化処理部40の調整部42は、顔情報メモリ8から、適応的高画質処理の対象画像に含まれる顔情報を入力し、この情報に基づき高画質化処理部41において処理対象画像に施す人物画処理の内容を調整するための適応処理調整情報を生成して高画質化処理部41に供給する。
【００２３】
高画質化処理部41は、調整部42から供給される適応処理調整情報に基づき高画質化処理を調整し、画像メモリ7から入力した処理対象画像に高画質化処理を施し、その処理結果である画像を出力する。
【００２４】
図2は上記の機能ブロックを実現する画像処理装置1の構成例を示すブロック図である。
【００２５】
入力インタフェイス(I/F)2は、図1の画像入力部20の画像獲得部21に対応し、また、入力画像に付随する属性データを、画像データと同様に取り込む場合などにも用いられる。出力I/F 3は、画像をプリンタ13などに出力するインタフェイスである。通信I/F 5は、様々なネットワークを経由して、図2に示すシステムの外部と通信するためのインタフェイスである。
【００２６】
画像メモリ7および9は、処理対象の画像を保持するメモリで、図1にも示したように、画像メモリ7は画像入力部20を構成し、入力画像を保持する。また、画像メモリ9は、顔情報抽出部31による処理途中の画像や、高画質化処理部41による処理結果の画像などを一時的に保持する。
【００２７】
また、CPU 6は、RAM 8をワークメモリとして、ROM 10やハードディスク装置(H/D)11に格納されたプログラム、あるいは、通信I/F 5を介して入力されるプログラムを実行する。なお、RAM 8は、図1にも示したように、顔情報獲得部30を構成する。また、入出力回路(I/O)4は、H/D 11とのデータの入出力を提供するインタフェイスである。
【００２８】
図2に示す上記の構成は、システムバス15によって相互に接続され、コンピュータシステムを構成する。そして、CPU 6が、プログラムを実行することで、図1に示す画像獲得部21、顔情報抽出部31、調整部42、高画質化処理部41の機能ブロックが実現する。
【００２９】
また、ディジタルカメラなどの撮像装置12は、図1に示す画像入力部20に画像データや画像データに付属するデータを供給する。
【００３０】
［処理］
図3は画像処理装置1の処理を示すフローチャートで、CPU 6によって実行される処理である。
【００３１】
処理が開始されると、まず、入力I/F 2を介して撮像装置12から処理対象画像を読み込み画像メモリ7および9に格納し(S10)、画像メモリ9に格納した処理対象画像を解析して、処理対象画像に含まれる人物の顔に関する顔情報を獲得してRAM 8の顔情報メモリの第一の領域に書き込む(S20)。なお、画像全体で顔情報を検出してもよいし、図8や9に示す中央部のような所定の画角範囲で顔情報を検出してもよい。
【００３２】
次に、顔情報メモリの第一の領域に書き込んだ顔情報から処理対象画像に有意な人物の顔が含まれるか否かを判定し(S30)、有意な人物の顔の存在を示す顔情報がある場合にステップS40に進み、ない場合はステップS50に進む。
【００３３】
ステップS40では、処理対象画像に含まれる人物の顔に関する顔情報から、処理対象画像に施すべき人物画用高画質化処理の内容を調整する適応処理調整情報を生成して、これを顔情報メモリの第二の領域に書き込む。また、ステップS50では、処理対象画像に有意な人物の顔が含まれない場合の適応処理調整情報、すなわち、処理対象画像に非人物画用の高画質化処理を施すための適応処理調整情報を生成して、顔情報メモリの第二の領域に書き込む。
【００３４】
次に、顔情報メモリの第二の領域に書き込まれた適応処理調整情報に基づき、画像メモリ7に格納された処理対象画像に調整された高画質化処理を施し、その処理結果として得られる画像を画像メモリ9に格納する(S60)。
【００３５】
次に、画像メモリ9に格納された処理結果画像を、I/O 4を経由してH/D 11に書き込む、通信I/F 5を経由して撮像装置12と連動する他の外部システムに出力する、出力I/F 3を経由してプリンタ13に出力して画像をプリントする、あるいは、図2に示すコンピュータシステム上で実行される他の画像処理プロセスに送るなどし(S70)、その後、処理を終了する。
【００３６】
［顔情報の獲得処理］
上記ステップS20で実行する顔情報の獲得処理は、上述した特開2002-183731公報（特願2001-282283）に開示された技術で構成可能である。同文献には、目の候補領域を求め、複数の目の候補が見つかった場合、任意の一対の目の候補それぞれに対して近傍に環状領域を定め、この領域内の各画素の近傍画素との画素値の勾配と、予め定める基準勾配との方向差を基に顔検出を行う技術が開示されている。
【００３７】
また、特開平09-251534号公報に開示される技術が適用可能である。つまり、処理対象画像から顔領域を抽出し、抽出した顔領域の中から瞳、鼻、口等の特徴点を抽出する。この方法は基本的に、位置精度の高い形状情報により特徴点の候補を求め、それをパターン照合で検証するものである。
【００３８】
その他にも、エッジ情報に基づく方法（例えば、A. L. Yuille「Feature extraction from faces using deformable templates」IJCV, vol. 8, 2, pp. 99-111, 1992、坂本静生、宮尾陽子、田島譲二「顔画像からの目の特徴点抽出」信学論 D-II, Vol. J7-D-II, No. 8, pp. 1796-1804, August, 1993、固有空間法を適用したEigen feature法（例えば、Alex Pentland, Baback Moghaddam, Thad Starner「View-based and modular eigenspaces for face recognition」CVPR'94, pp. 84-91, 1994）、カラー情報に基づく方法（例えば、佐々木努、赤松茂、末永康仁「顔画像認識のための色情報を用いた顔の位置合わせ方」IE91-2, pp. 9-15, 1991）が適用可能である。
【００３９】
これら、画像に含まれる人物の顔を抽出する方法によれば、画像中における人物の顔の位置や大きさ、画像中に存在する顔の数などを把握することが可能である。
【００４０】
［顔情報］
図4は画像から検出される典型的な顔情報を説明する図である。顔情報には、検出された顔の輪郭50、右眼の中心51、左眼の中心52、両眼間の中心位置53、および、口の中心54を表す情報が含まれ、さらに、この顔情報が画像から検出されたi番目の顔だとして、顔の横幅Hi、顔の縦幅Vi、顔の両眼の中心間距離Liが含まれる。
【００４１】
図5はRAM 8の顔情報メモリの第一の領域に書き込まれる顔情報の一形式を示す図である。画像に含まれる（有意な）顔の数Nがあり、続いて、第一の顔の情報群である第一の顔の中心位置（座標値）x1およびy1、並びに、第一の顔の横幅H1および縦幅V1、そして第二の顔から第Nの顔の情報群が並んでいる。このように、一つの顔（例えば第iの顔）の情報は顔の中心位置(xi, yi)、並びに、顔の横幅Hiおよび縦幅Viで構成され、第一の顔情報から第Nの顔情報までが、画像に含まれる顔の数Nの情報に続いて格納されている。ただし、N=0の場合は各顔の情報は存在せず、画像に含まれる顔の数N(=0)の情報だけになる。なお、顔の中心位置は、図4に示す両眼間の中心位置53にする。また、座標は、例えば、画像の左上の画素位置を原点として、右方向にx軸を、下方向にy軸を取る。
【００４２】
なお、装置の外部において、上記の方法などにより抽出された顔情報が属性情報として付与された画像の場合、ステップS20で、その属性情報から顔情報を獲得すればよい。
【００４３】
また、ステップS30では、画像に含まれる顔の数Nを調べて、N＞0ならば処理対象画像に有意な人物の顔が含まれると判定し、N=0ならば処理対象画像に有意な人物の顔が含まれないと判定することができる。
【００４４】
［適応処理調整情報］
次に、適応処理調整情報について説明するが、適応処理調整情報は、ステップS60で実行される高画質化処理の内容と密接に関係する。以下では、高画質化処理が肌色補正処理であるとして説明する。
【００４５】
一般に、人は人肌の色について、イメージとして記憶している色合い（記憶色）があり、カラープリントやディスプレイ上で人物画像を再生する場合、実際の肌の色をそのまま忠実に再現するよりも、この記憶色に沿って色再現する方が好まれる傾向にある。このため、肌色補正処理は、人物が主被写体である人物画の場合に、人肌を忠実に色再現するのではなく、記憶色の色味に補正する色再現処理である。
【００４６】
ディスプレイに出力する場合は、入力画像の画素値が(Rin, Gin, Bin)を補正処理後の出力画像の画素値を(Rout, Gout, Bout)に変換する（図6(a)参照）。カラープリントへ出力する場合は、入力画像の画素値(Rin, Gin, Bin)を補正処理後の出力画像の画素値(Cout, Mout, Yout, Kout)に変換する（図6(b)参照）。
【００４７】
一方、人物画ではない画像（例えば風景画）の場合、肌色補正処理を行えば、人肌ではなくても、たまたま肌色の領域の色が修正されて色再現されることになり、却って違和感を与える結果になる。そこで、本実施例では、ディスプレイ表示用に肌色補正を行う画素値変換処理f1、行わない画素値変換処理f1'、並びに、カラープリント用に肌色補正を行う画素値変換処理f2、行わない画素値変換処理f2'を有するとして説明する。
【００４８】
ステップS40およびS50の処理は、ステップS20で得られる顔情報から画素値変換処理における混合比（詳細は後述する）を決める係数 k(0≦k≦255)を決定する。
【００４９】
図7はステップS40の処理の詳細を示すフローチャートである。
【００５０】
画像に含まれる顔の数がN＞0のとき、ステップS40において、顔サイズFj(=Hj×Vj、1≦j≦N)が最大の顔の顔サイズFmax(=max(Fj))を求め(S41-S42)、Fmaxおよび処理対象画像のサイズSimage（=画像の縦サイズHimage×画像の横サイズVimage）の面積比R(=Fmax/Simage)を求め(S43)、面積比Rに基づき適用すべき係数kを決定する(S44-S47)。
R ≧ 0.25  のとき  k = 255
0.25 ＞ R ≧ 0.05  のとき  k = 255×(R - 0.05)/(0.25 - 0.05)
R ＜ 0.05  のとき  k = 0
【００５１】
つまり、最大の顔サイズが画像サイズの25%以上であればk=255であり、5%未満であればk=0とする。5%以上25%未満の場合は、5%から25%の間を0から255の間の値に比例配分する。このようにして得られた係数kを適応処理調整情報として顔情報メモリの第二の領域に書き込み(S48)、処理をステップS60に進める。
【００５２】
また、ステップS50は、処理対象画像には有意な人物の顔が含まれていない(N=0)場合であるから、適応処理調整情報、すなわち係数k=0を第二の領域に書き込み、処理をステップS60に進める。
【００５３】
ステップS60では、第二の領域に書き込まれた適応処理調整情報、つまり係数kに基づき、画像メモリ7から読み込んだ処理対象画像に高画質化処理（本実施例では肌色補正処理）を施す。
【００５４】
ここで、入力画像の画素値(Rin, Gin, Bin)に対する、肌色補正処理を行うべきディスプレイへの表示用の画素値を(R1, G1, B1)、カラープリント用の画素値を(C2, M2, Y2, K2)とし、肌色補正処理を行わないディスプレイへの表示用の画素値を(R'1, G'1, B'1)、カラープリント用の画素値を(C'2, M'2, Y'2, K'2)とすると、高画質化処理後の画素値(Rout, Gout, Bout)および(Cout, Mout, Yout, Kout)は次のように表される。
Rout = {R1×k + R'1×(255 - k)}/255
Gout = {G1×k + G'1×(255 - k)}/255      …(1)
Bout = {B1×k + R'1×(255 - k)}/255
Cout = {C2×k + C'2×(255 - k)}/255
Mout = {M2×k + M'2×(255 - k)}/255
Yout = {Y2×k + Y'2×(255 - k)}/255      …(2)
Kout = {K2×k + K'2×(255 - k)}/255
【００５５】
このように、実施例1によれば、処理対象画像に含まれる顔情報を獲得し、顔情報に基づき処理対象画像に施すべき人物画処理の内容を調整するための適応処理調整情報を生成し、適応処理調整情報に基づき調整された高画質化処理を処理対象画像に施す。従って、人物画か否か、さらに、画像に含まれる最大の顔が画像に占める面積に応じた適応的な画像処理を処理対象画像に施すことができる。
【実施例２】
【００５６】
以下、本発明にかかる実施例2の画像処理を説明する。なお、本実施例において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００５７】
実施例1のステップS40においては、画像に含まれる顔の中の最大の顔サイズFmaxに基づき係数kを決定する例を説明したが、実施例2では、画像に含まれる顔が複数ある場合、複数の顔の情報に基づき係数kを決定する。まず、各顔の情報に対して係数kjを求める。
Rj ≧ 0.25  のとき  kj =255
0.25 ＞ Rj ≧ 0.05  のとき  kj = 255×(R - 0.05)/(0.25 - 0.05)
Rj ＜ 0.05  のとき  kj = 0
【００５８】
つまり、各顔サイズFjの面積比Rjが、25%以上であればkj=255とし、5%未満であればkj=0とする。また、5%以上25%未満の場合には5%から25%の間を0から255の間の値に比例配分した値を係数kjにする。そして、得られた係数kjの総和Σkjを適応処理調整情報としての係数kにする。ただし、総和が255を超える場合はk=255にする。つまり、実施例2では、複数の顔の面積の総和に応じて適応処理調整情報を求める。
【００５９】
実施例2によれば、個々の顔サイズは大きくなくても、複数の人物が写っている集合写真のような画像の場合、肌色補正処理をより強力に適用することができる。
【実施例３】
【００６０】
以下、本発明にかかる実施例3の画像処理を説明する。なお、本実施例において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００６１】
実施例1、2では、顔サイズに着目して適応的高画質化処理を調整する例を説明したが、実施例3では、顔の位置も考慮に入れた調整を行う。
【００６２】
顔サイズFjの顔の中心位置(xj, yj)が下式を満たす場合は実施例2と同様に係数kjを決定し、満たさない場合は実施例2で決定される係数kjの値に低減率r（例えば1/2）を掛けたr×kjを係数kjにする。
(Himage/4) ＜ xj ＜ (3×Himage/4)
かつ
(Vimage/4) ＜ yj ＜ (3×Vimage/4)
【００６３】
つまり、図8に斜線で示す、画像の中央部にある顔に重きをおき、それ以外の領域にある顔はより軽く扱って適応処理調整情報を決定する。このようにすれば、顔が画像の中央部にあり、占有面積が大きいほど、肌色補正処理をより強力に適用することができる。また、主被写体が人物ではないが画像の周囲に顔が写っているような画像に対しては、肌色補正処理を抑制して、主被写体が肌色を有している場合の違和感を軽減することができる。
【００６４】
勿論、画像領域を中央部(r=1)および周辺部(r=1/2)の二領域に分けるだけではなく、図9に示すような中央部(r=1)および周辺部(r=1/4)とそれらの中間領域(r=1/2)の三領域に分けたり、上中下や左中右の三領域、上中下左中右を組み合わせた九領域など、より細かく領域を設定し、それぞれの領域に対して適応処理調整情報を決定すれば、よりきめの細かい適応的高画質化処理を実現することができる。
【００６５】
なお、上記および図7、8に示す低減率rの値は一例であり、実験的に求め、適切な値を設定することが望ましい。
【実施例４】
【００６６】
実施例1-3では、最大顔の顔サイズ、検出された複数の顔のそれぞれの顔サイズ、および、顔の存在する画像中での位置を考慮した適応処理の調整情報の生成を独立の実施例として説明したが、本発明はこれに限定されるものではない。本実施では、実施例1-3を組み合わせて適応処理の調整情報を生成する。各情報に優先度の概念を加え、入力画像から各情報を求め、優先度を用いて最終的な適応処理の調整情報を生成する。
【００６７】
まず、画像中に含まれる顔情報のうち、顔の個数を優先的にチェックし、顔の数がある閾値（例えば「8」とする）以上の場合は、その画像を集合写真と判断し、実施例3で説明したような、それぞれの顔の位置に応じた低減率を用いず（または低減率を「1」に固定する）、閾値未満（顔が七つ以下）の場合は実施例3で説明した処理を行うようにしてもよい。あるいは、顔の数と、各顔のサイズの組み合わせを優先的にチェックし、例えば、顔の数が一つで、かつ、顔のサイズが画像の面積の15%以上の場合は、実施例3で説明したような、顔の位置に応じた低減率を用いない（または低減率を「1」とする）といった扱いをすることである。同様に、顔の数が二つまたは三つで、それらの顔サイズが、どの二つの顔の組み合わせをとっても互いに例えば0.8倍から1.25倍の間にある場合は、ツインショット（並んだ二人の人物を主被写体とするショット）やトリプルショット（並んだ三人の人物を主被写体とするショット）と判断し、実施例2や実施例3で説明したような処理はせずに、どの顔も等しく扱う処理にするために実施例1で説明した方法を用いる、などである。
【００６８】
このようにすれば、実施例1-3で説明したような、最大顔の顔サイズ、検出された複数の顔のそれぞれの顔サイズ、および、顔の存在する画像中での位置を一律に考慮する適応処理の調整機構に比し、画像中の主被写体と判断される人物顔の状況に、より即した高い適応性をもつ適応処理の調整機構にすることが可能である。
【００６９】
［変形例］
上記の実施例では、高画質化処理を肌色補正処理として説明したが、高画質化処理には、例えばノイズ除去処理などを適用することができる。つまり、平滑化処理用の空間フィルタを用いたノイズ処理を高画質化処理に組み合わせて、空間フィルタのカーネルサイズ（M×Nの空間フィルタのMやNの数）、フィルタ係数などを適応的に切り替えることで適応的高画質化処理を実現する。
【００７０】
さらに、人物画と判定される場合、空間フィルタにローパスフィルタを構成するフィルタ係数を設定してノイズ除去処理（平滑化処理）を行い、非人物画と判定される場合は、空間フィルタにハイパスフィルタやエッジ強調処理を構成するフィルタ係数を設定して、画像のシャープネスを向上させる鮮鋭化処理を行うようにしてもよい。その際、顔情報に基づきフィルタ係数を調整する適応処理調整情報を生成する。
【００７１】
［他の実施例］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００７２】
また、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【００７３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【００７４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００７５】
【図１】画像処理装置の機能ブロック図、
【図２】図1に示す機能ブロックを実現する画像処理装置の構成例を示すブロック図、
【図３】画像処理装置の処理を示すフローチャート、
【図４】画像から検出される典型的な顔情報を説明する図、
【図５】顔情報メモリの第一の領域に書き込まれる顔情報の一形式を示す図、
【図６】画素値変換処理を説明する図、
【図７】ステップS40の処理の詳細を示すフローチャート、
【図８】顔の位置を考慮する実施例3を説明する図、
【図９】顔の位置を考慮する実施例3を説明する図である。
【図１】
2005063406.tif 000003
【図２】
2005063406.tif 000004
【図３】
2005063406.tif 000005
【図４】
2005063406.tif 000006
【図５】
2005063406.tif 000007
【図６】
2005063406.tif 000008
【図７】
2005063406.tif 000009
【図８】
2005063406.tif 000010
【図９】
2005063406.tif 000011