(57)【要約】【課題】抽出された部分領域に対して鮮鋭化処理を施した場合に、当該部分領域の境界部分の画像が不自然にならないように鮮鋭化処理を制御可能とする。【解決手段】画像から顔領域を検出し、これを楕円領域（７０１）として抽出する。抽出された楕円領域の各画素に対する鮮鋭化処理の処理強度を設定するにおいて、少なくとも楕円領域の境界付近において画素の位置が該境界に近づくにつれて値が小さくなる第１パラメータ（Ｄ'）が用いられる。抽出した楕円領域内の各画素に、上記設定された処理強度で鮮鋭化処理を作用させる。【選択図】図７
2006019930.tif 000002
【特許請求の範囲】
【請求項１】
画像から部分領域を抽出する抽出手段と、
前記部分領域内の各画素に対する鮮鋭化処理の処理強度を設定する設定手段と、
該設定手段は、少なくとも前記部分領域の境界付近において画素の位置が該境界に近づくにつれて値が小さくなる第１パラメータを用いて前記処理強度を設定し、
前記抽出手段で抽出した部分領域の各画素に、前記設定手段で設定された処理強度で鮮鋭化処理を作用させる鮮鋭化手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記設定手段は、前記第１パラメータの最大値を前記部分領域の大きさに基づいて決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、各画素毎に、近傍の画像における画素値の変化量が大きいほど値が小さくなる第２パラメータを更に用いて前記処理強度を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記設定手段は、前記部分領域の鮮鋭度が高いほど値が小さくなる第３パラメータを更に用いて前記処理強度を設定することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記設定手段は、指定された出力形態に応じて値が変更される第４パラメータを更に用いて前記処理強度を設定することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
画像から部分領域を抽出する抽出手段と、
前記部分領域に関して各画素に対する鮮鋭化処理の処理強度を設定する第１設定手段と、
前記抽出手段で複数の部分領域が抽出されてそれらの重複領域が存在する場合、該重複領域の各画素に対する鮮鋭化処理の強度を、当該重複部分を提供する複数の部分領域のそれぞれに関して前記第１設定手段が処理強度を設定することにより得られた複数の処理強度に基づいて設定する第２設定手段と、
前記抽出手段で抽出した部分領域のうちの、部分領域が重複しない領域の各画素に前記第１設定手段で設定された処理強度で鮮鋭化処理を作用させ、部分領域が重複する領域の各画素に前記第２設定手段で設定された処理強度で鮮鋭化処理を作用させる鮮鋭化手段とを備えることを特徴とする画像処理装置。
【請求項７】
前記第２設定手段は、各画素について、前記複数の処理強度のうち最大のものを当該画素の処理強度として設定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第２設定手段は、各画素について、前記複数の処理強度のうち、最大の部分領域に関連して設定されたものを当該画素の処理強度として設定することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記第２設定手段は、各画素について、前記複数の処理強度の平均値を当該画素の処理強度として設定することを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
前記複数の部分領域の画像の鮮鋭度を判定する判定手段を更に備え、
前記判定手段により判定された鮮鋭度が所定の閾値を越える部分領域に対しては前記鮮鋭化手段による鮮鋭化処理を禁止する禁止手段を更に備えることを特徴とする請求項６乃至９のいずれかに記載の画像処理装置。
【請求項１１】
画像から部分領域を抽出する抽出工程と、
前記部分領域内の各画素に対する鮮鋭化処理の処理強度を設定する設定工程と、
該設定工程は、少なくとも前記部分領域の境界付近において画素の位置が該境界に近づくにつれて値が小さくなる第１パラメータを用いて前記処理強度を設定し、
前記抽出工程で抽出した部分領域の各画素に、前記設定工程で設定された処理強度で鮮鋭化処理を作用させる鮮鋭化工程とを備えることを特徴とする画像処理方法。
【請求項１２】
画像から部分領域を抽出する抽出工程と、
前記部分領域に関して各画素に対する鮮鋭化処理の処理強度を設定する第１設定工程と、
前記抽出工程で複数の部分領域が抽出されてそれらの重複領域が存在する場合、該重複領域の各画素に対する鮮鋭化処理の強度を、当該重複部分を提供する複数の部分領域のそれぞれに関して前記第１設定工程が処理強度を設定することにより得られた複数の処理強度に基づいて設定する第２設定工程と、
前記抽出工程で抽出した部分領域のうちの、部分領域が重複しない領域の各画素に前記第１設定工程で設定された処理強度で鮮鋭化処理を作用させ、部分領域が重複する領域の各画素に前記第２設定工程で設定された処理強度で鮮鋭化処理を作用させる鮮鋭化工程とを備えることを特徴とする画像処理方法。
【請求項１３】
請求項１１または１２に記載の画像処理方法をコンピュータに実行させるための制御プログラム。
【請求項１４】
請求項１１または１２に記載の画像処理方法をコンピュータに実行させるための制御プログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対して鮮鋭化処理を行う画像処理装置および方法に関する。
【背景技術】
【０００２】
近年のコンシューマ向け昇華型、あるいはインクジェット方式のプリンタの進歩は著しい。特にインクジェット方式においては、プリントヘッドの印字解像度は４８００dpiを超え、インクドロップの小滴化も向上したため、非常に高精彩な画像を、粒状感をほとんど感じないレベルでプリントすることが可能となっている。このような背景から、近年では、デジタルカメラで撮影した画像を自宅でプリントアウトするHome DPE（Development Print Enlargement）が一般ユーザにも浸透している。
【０００３】
しかし、一般のユーザがデジタルカメラを用いて撮像した画像は、様々な要因により鮮鋭度が失われ、いわゆる「ボケて」いる状態となっていることが多い。画像がボケる原因としては、まず手ぶれなどの撮影テクニック上の問題がある。特に、デジタルカメラの撮影モードをAutoにしたまま、光量の少ない環境下で撮影を行うと手ぶれを生じやすい。また、オートフォーカスで撮影を行うと、被写体にピントを合わせたつもりでも、背景にピントが合ってしまい、肝心の被写体がボケているという失敗写真も数多く存在する。また、普及価格帯の望遠レンズを用いて撮影を行うと、レンズの特性から鮮鋭度が失われることも多い。以上述べたような様々な要因により画像の鮮鋭度が低下すると、プリンタの性能を１００％発揮することができないという問題がある。この問題を解消するためには、なんらかのエッジ強調処理を行って鮮鋭度を向上させてプリントすることが望ましい。
【０００４】
ところで、一般のユーザが撮影する主な被写体は、人物の顔であることがよく知られている。従って、上記問題を解決するためには、画像中から顔領域を抽出し、同領域に対して鮮鋭化処理を行うことが望ましい。このような処理の例として、特許文献１がある。特許文献１では、顔領域を抽出し、同領域に対して鮮鋭化処理を行うが、その際に、顔のサイズが小さくなるほどエッジ強調の度合いを強くすることで、小さいサイズの画像は目鼻立ちをよりはっきりさせ、サイズの大きい顔に対しては、人肌上のノイズを増幅させない処理が可能であるとしている。また、顔領域等を画像より抽出する技術に関しては、特許文献２〜１３に記載がある。
【特許文献１】特開２００３−３３１３３０６号公報
【特許文献２】特開２００２−１８３７３１号公報
【特許文献３】特開２００３−３０６６７号公報
【特許文献４】特開平８−６３５９７号公報
【特許文献５】特開２０００−１０５８２９号公報
【特許文献６】特開平８−７７３３４号公報
【特許文献７】特開２００１−２１６５１５号公報
【特許文献８】特開平５−１９７７９３号公報
【特許文献９】特開平１１−５３５２５号公報
【特許文献１０】特開２０００−１３２６８８号公報
【特許文献１１】特開２０００−２３５６４８号公報
【特許文献１２】特開平１１−２５０２６７号公報
【特許文献１３】特許第２５４１６８８号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来技術には以下のような課題がある。まず、処理範囲の境界を目立たないようにさせる工夫が提案されていなかった。すなわち、画像から抽出した顔領域に対して鮮鋭化処理を行う場合、鮮鋭化強度が一定であるため、処理領域（顔領域）の境界が不自然に目立ってしまう。
【０００６】
また、一般に、画像から顔が複数個検出された場合には、個々の顔領域について鮮鋭化処理が施される。このため、複数の顔領域による重複領域が存在する場合、その重複領域については複数回の鮮鋭化処理が施されてしまい、画質劣化の要因となる。
【０００７】
本発明は上記の課題に鑑みてなされたものであり、抽出された部分領域に対して鮮鋭化処理を施した場合に、当該部分領域の境界部分の画像が不自然にならないように鮮鋭化処理を制御可能とすることを目的とする。
また、本発明の他の目的は、複数の部分領域が重複領域有する場合に、重複領域に対して適切に鮮鋭化処理を施すことを可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。すなわち、
画像から部分領域を抽出する抽出手段と、
前記部分領域内の各画素に対する鮮鋭化処理の処理強度を設定する設定手段と、
該設定手段は、少なくとも前記部分領域の境界付近において画素の位置が該境界に近づくにつれて値が小さくなる第１パラメータを用いて前記処理強度を設定し、
前記抽出手段で抽出した部分領域の各画素に、前記設定手段で設定された処理強度で鮮鋭化処理を作用させる鮮鋭化手段とを備える。
【０００９】
また、上記の目的を達成するための本発明の他の態様による画像処理装置は以下の構成を備える。すなわち、
画像から部分領域を抽出する抽出手段と、
前記部分領域に関して各画素に対する鮮鋭化処理の処理強度を設定する第１設定手段と、
前記抽出手段で複数の部分領域が抽出されてそれらの重複領域が存在する場合、該重複領域の各画素に対する鮮鋭化処理の強度を、当該重複部分を提供する複数の部分領域のそれぞれに関して前記第１設定手段が処理強度を設定することにより得られた複数の処理強度に基づいて設定する第２設定手段と、
前記抽出手段で抽出した部分領域のうちの、部分領域が重複しない領域の各画素に前記第１設定手段で設定された処理強度で鮮鋭化処理を作用させ、部分領域が重複する領域の各画素に前記第２設定手段で設定された処理強度で鮮鋭化処理を作用させる鮮鋭化手段とを備える。
【発明の効果】
【００１０】
本発明によれば、抽出された部分領域に対して鮮鋭化処理を施した場合に、当該部分領域の境界部分の画像が不自然にならないように鮮鋭化処理が制御される。
また、本発明によれば、複数の部分領域が重複領域有する場合に、重複領域に対して適切に鮮鋭化処理を施すことが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【００１２】
尚、以降で説明する処理は、主として、プリンタエンジンへ出力すべき画像情報を作成するコンピュータ内のプリンタドライバソフト、もしくは、スキャナ等の光学読取り装置を動作させるためのドライバソフト、もしくはアプリケーションソフトとして内蔵することが効率的であるが、複写機、ファクシミリ、プリンタ本体等にハードウェア、及びソフトウェアとして内臓することにも効果がある。
【００１３】
＜第１実施形態＞
（ハードウエア構成）
図１は第１実施形態による画像処理を実現するためのコンピュータにおけるハードウエア構成例を示すブロック図である。図１に示されるように、コンピュータ１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ディスプレイなどの表示装置１０４、キーボード１０７、マウス１０６などのユーザインターフェース、ハードディスクなどの２次記憶装置１０５、他のコンピュータやプリンタ１０９などと接続するためのインターフェース１０８とで構成されている。以上の構成において、ＣＰＵ１０１が２次記憶装置１０５に記憶された制御プログラムをＲＡＭ１０３へロードし、これを実行することにより以下に説明する各機能が実現される。
【００１４】
（処理の概要）
図２は、本実施形態における画像処理の機能構成を示すブロック図である。以下、図２を参照しながら本実施形態の画像処理の概要を説明する。図２に示すように、本実施形態の画像処理は、顔検出部２０１、処理範囲設定部２０２、最大処理強度決定部２０３、鮮鋭化処理部２０４を含む。
【００１５】
まず、入力画像が顔・器官位置検出部２０１に入力される。本実施形態において、入力画像としては、デジタルカメラで撮影して得られた画像や、スキャナなどの光学読取装置で原稿を読み込んで得られた画像や、デジタルビデオカメラで撮影された動画中の１フレームを抽出して得られた画像などを想定している。なお、本明細書において、これらの「画像」は電子データ化された画像データを指すものとする。本実施形態では、これらの画像は２次記憶装置１０５に格納され、顔・器官位置検出部２０１によって適宜読み出されてＲＡＭ１０３に記憶され、処理に供されるものとする。また、本実施形態では入力画像はＲＧＢ各色８ビットで構成された画像データを想定して説明を行うが、本発明はこれに限定されるものではなく、例えばモノクロ画像に対しても容易に適用できることは言うまでもない。
【００１６】
顔検出部２０１は、入力画像中から人物の顔および目や鼻、口などの器官位置を検出する。検出された顔領域の位置情報は、後段の処理範囲設定部２０２や最大処理強度決定部２０３に入力され利用される。
【００１７】
次に、入力画像は処理範囲設定部２０２に入力される。処理範囲設定部２０２は、顔検出部２０１で検出した顔領域周辺に対して鮮鋭化強調処理の適用範囲を決定する。なお、本実施形態では、鮮鋭化処理としてアンシャープマスク処理を用いた場合を例に挙げて説明するが、他の公知の鮮鋭化処理を適用してもよいことはいうまでもない。アンシャープマスク処理のアルゴリズムは、公知である以下の式、
Ｓ’＝Ｓ＋ｋ・（Ｕ−Ｓ）        …（式１）
により表現することができる。
【００１８】
上式のうち、Ｓは原画像信号、Ｕは注目画素周辺に対して設定したエリア（注目画素周辺エリア）内の平滑化信号（平滑化信号としては、例えばエリア内の画素値の平均値、なんらかのローパスフィルタを施した結果を用いることができる）を示している。従って（Ｕ−Ｓ）は、原画像信号と平滑化信号との差分の絶対値であり、この信号を強調信号と呼ぶ。アンシャープマスクアルゴリズムでは、強調係数ｋを乗じた強調信号を原画像に加算することで、鮮鋭化処理を実現している。
【００１９】
次に処理は最大処理強度決定部２０３に移る。最大処理強度決定部２０３は、後段の鮮鋭化処理部２０４で実行される鮮鋭化処理の最大処理強度を決定する。本実施形態では、顔領域に対して設定した処理範囲内を、均一の処理強度で鮮鋭化処理を行うのではなく、顔領域の中心から外側に向かうに従って、除々に鮮鋭化強度を小さくするような処理を行う。
【００２０】
本実施形態で用いるアンシャープマスク処理の処理強度を決定するパラメータとして、以下の２つのパラメータが存在する。一つは平滑化信号を生成するために注目画素周辺に設定するエリア（注目画素周辺エリア）の大きさであり、他方は強調係数ｋである。注目画素周辺エリアの大きさを大きくすると、一般的に注目画素の鮮鋭化強度は強くなる。また、強調係数ｋの値を大きくすると、強調信号が増幅されるため、鮮鋭化強度は強くなる。本実施形態ではこれらのうち、前者である注目画素周辺エリアのサイズを、処理範囲内部で画素位置に応じて変化させることで、鮮鋭化強度を変化させることにする。具体的には、鮮鋭化処理範囲の中心の注目画素周辺エリアのサイズが最大であり、中心から外側に向かうに従って、注目画素周辺エリアのサイズを小さくしてゆく。最大処理強度決定部２０３の目的は、処理領域中心の画素に対して適用する注目画素周辺エリアの最大値を、処理対象となっている顔領域の大きさと、ユーザが指定した鮮鋭化処理の強度に応じて決定する。尚、強調係数ｋは平坦性評価量（後述）により決定される。
【００２１】
次に処理は鮮鋭化処理部２０４に移る。鮮鋭化処理部２０４は、アンシャープマスクアルゴリズムに基づく鮮鋭化処理を行う。鮮鋭化処理部２０４では、処理範囲決定部２０２で設定された領域に対し、最大処理強度決定部２０３で決定された注目画素周辺エリアの最大値に基づいて処理強度を決定し、アンシャープマスク処理を行う。鮮鋭化処理部２０４における詳細な処理の説明は後述する。
【００２２】
上記処理が施された画像データは、表示装置１０４に表示されたり、圧縮処理が施されて２次記憶装置１０５に保存されたり、インターフェース１０８を介して接続されたプリンタ１０９から出力されたりすることになる。以上が、本実施形態における処理の概要である。これより以下では、各部毎に、処理の詳細を説明してゆく。
【００２３】
（顔検出部２０１）
上述したように、本実施形態においては、まず顔検出部２０１において、入力画像中から人物の顔および目や口などの器官位置情報を検出する。顔および器官位置の検出に関しては、従来より様々な方法が提案されている。
【００２４】
例えば本出願人による特開２００２-１８３７３１号公報（特許文献２）によれば、まず、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。そして、この顔候補領域に対して、画素毎の輝度勾配および輝度勾配の重みを算出し、これらを、あらかじめ設定されている理想的な顔基準画像の勾配および勾配の重みと比較する。このとき、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。
【００２５】
また、特開２００３-３０６６７号公報（特許文献３）によれば、まず画像中から肌色領域を検出し、検出された領域内において人間の虹彩色画素を検出することにより、目の位置を検出することが可能であるとしている。
【００２６】
さらに、特開平８-６３５９７号公報（特許文献４）によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算し、マッチング度が最も高いテンプレートを選択する。そして、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。また、このテンプレートを用いるこことで、目の位置を検出することが可能であるとしている。
【００２７】
さらに、特開２０００−１０５８２９号公報（特許文献５）によれば、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域として、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとる。このマッチングにおいてある閾値よりもマッチ度が大きい画素の集合である目存在候補位置集合を求める。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。そして、その距離が最も短くなるクラスタを目が存在するクラスタに決定することで、器官位置の検出が可能であるとしている。
【００２８】
その他、顔および器官位置を検出する方法としては、特許文献６〜１３など、数多くの手法が提案されており、本実施形態においてはそれらのうちどのような手法を用いても良い。また、顔および器官位置の検出法については、上記記載に限定されることはなく、その他のどのような手法を用いても構わない。なお、顔および器官位置の検出に関しては、様々な文献および特許で開示されているため、ここでの詳細な説明は省略する。
【００２９】
（処理範囲設定部２０２）
処理範囲設定部２０２では、顔検出部２０１で検出した顔領域に基づいて鮮鋭化処理の対象となる領域を設定する。図３は本実施形態において処理対象とする画像の例と顔領域の検出の様子を示す図である。図３に示す画像からは１個所の顔領域を検出することが可能である。本実施形態では、顔検出部から得られる顔領域として、図３に示すような矩形領域３０１を想定する。なお顔領域を示す矩形領域３０１は、顔領域のうち少なくとも目、口、鼻を含む領域であると定義する。すなわち、検出或いは推定された目、口、鼻の各領域の全体を包含する最小の矩形を求め、これを所定倍して矩形領域３０１とする。
【００３０】
この場合、処理範囲設定部２０２では、図３に示すように、該矩形領域に外接する楕円領域３０２を鮮鋭化対象の処理範囲に設定する。この楕円の短軸、および長軸の長さを、図４に示すようにｒa、ｒbとする。また、該短軸と長軸の比は、処理対象となる楕円領域が人物の顔領域に設定されていることを考慮し、ｒa：ｒb＝２：３、もしくはｒa：ｒb＝３：４程度となっていることが望ましい。なお、上記楕円領域の設定は、画像から検出された全ての顔位置に対して同様に行われる。
【００３１】
（最大処理強度決定部２０３）
最大処理強度決定部２０３では、検出した顔位置毎に、鮮鋭化処理の最大処理強度を決定する。本実施形態においては、上述したように、後段である鮮鋭化処理部２０４で適用するアンシャープマスクアルゴリズムの、平滑化対象となる注目画素周辺エリアの最大値を決定する。本実施形態では、処理対象となる顔領域の大きさ、およびユーザが指定した鮮鋭化処理の強度に応じてこの最大値を決定する。
【００３２】
図５は、ユーザが処理強度を指定するためのディスプレイ１０４上に表示されるユーザインターフェース（ＵＩ）の例を示している。図５に示されたＵＩ５００では、ユーザが強度指定バー５０１をマウスなどのインターフェースを用いて操作することにより鮮鋭化強度を決定し、実行ボタン５０２を押すことにより鮮鋭化処理を実行することが可能である。
【００３３】
以下、図６を参照しながら、注目画素周辺エリアの最大値の決定方法を説明する。図６において（ａ）および（ｂ）はある基準となる顔領域の大きさＷstd×Ｈstd（単位：画素）に対する指定強度と強調係数の最大値Ｋmax、および注目画素周辺エリアの最大値Ｄmaxとの関係を示している（尚、エリアの値Ｄとは当該エリアの一辺の大きさである）。図６の（ａ）を見るとわかるように、本実施形態においては、指定強度が変化しても強調係数の最大値Ｋmaxは変化しないこととする。また、図６の（ｂ）を見ればわかるように、指定強度が強くなると注目画素周辺エリアの最大値Ｄmaxも増加するように設定されている。
【００３４】
本実施形態では、検出した顔領域のサイズを、例えば、
顔領域のサイズ＝（２・ｒa＋１）×（２・ｒb＋１）
のように定義する。すると、上記サイズに対する注目画素周辺エリアの最大値Ｄ'maxは以下のように算出することができる。
【００３５】
【数１】
2006019930.tif 000003
【００３６】
すなわち上式は、Ｄ'maxが基準画像サイズとの面積比の平方根に比例して決定できることを示している。すなわち、例えばユーザが図４に示したＵＩで処理強度を「中」と指定した場合、上式により、鮮鋭化処理を適用する顔のサイズが異なったとしても、同様に処理強度が「中」の鮮鋭化処理を適用することが可能となる。
【００３７】
（鮮鋭化処理部２０４）
次に、処理は鮮鋭化処理部２０４に移り、検出した全ての顔領域に対して、上記により設定した処理範囲内に対して鮮鋭化処理を適用する。
【００３８】
図７は鮮鋭化処理部２０４における鮮鋭化対象領域である楕円領域（図７（ａ）の外側楕円７０１）の各位置と、アンシャープマスクの鮮鋭化強度を決定する注目画素周辺エリアのサイズＤ'との関係（図７の（ｂ））を示している。アンシャープマスク処理の処理強度を決定するパラメータの一つである注目画素周辺エリアのサイズＤ'は、図７（ａ）に示す外側楕円７０１の領域内の位置（中心からの距離）に応じて図７（ｂ）に示すように変化する。具体的には、図７（ａ）に示す内側楕円７０２の領域内では、図７（ｂ）に示すようにＤ'は均一（Ｄ'＝Ｄ'max）であり、内側楕円７０２から外側楕円７０１の境界に向かうに従ってＤ'が減衰してゆく。図７（ａ）において、内側楕円７０２の短軸および長軸は、外側楕円７０１の短軸および長軸に所定の係数ｅを乗じた大きさとなっている。
【００３９】
なお、係数ｅの値についてはどのような値であっても本実施形態の範疇に含まれることは言うまでもないが、楕円領域が人物の顔に適用されることから、ｅ＝０．６〜０．８程度が望ましい。外側楕円７０１の境界上で注目画素周辺エリアのサイズＤ'は小さい値にすることが望ましい。本実施形態では、図７（ｂ）に示すように、外側楕円７０１の境界においてＤ'を０としているため、鮮鋭化処理を適用する処理領域と非処理領域との境界で不自然な境界等の発生を強力に抑制することができる。
【００４０】
次に、図８のフローチャートを参照して、鮮鋭化処理部２０４による鮮鋭化処理についてより詳細に説明する。
【００４１】
鮮鋭化処理部２０４では、検出した各顔位置に対して、設定した処理範囲に含まれる各画素を対象としてアンシャープマスク処理による鮮鋭化を行う。まずステップＳ８０１では、顔領域中心から注目画素位置までの距離を算出し、ステップＳ８０２、およびステップＳ８０３において注目画素位置が図７に示した内側楕円領域内か、または内側楕円領域と外側楕円領域の間の領域かの判定を行う。ステップＳ８０２の判定を満たす場合、注目画素は内側楕円領域内部に存在するため、ステップＳ８０５において注目画素周辺エリアのサイズはＤ'＝Ｄ'maxと決定され、ステップＳ８０７に処理を移す。一方、ステップＳ８０２の判定が否であり、ステップＳ８０３の判定を満たす場合には、注目画素は内側楕円領域と外側楕円領域の間の領域に存在することになるため、ステップＳ８０６においてＤ'の算出を行う。Ｄ'は、図７（ｂ）に示すように、内側楕円境界から外側楕円境界に向かうに従って単調減少するような直線の関数で算出されることが望ましい。もし、ステップＳ８０２およびステップＳ８０３の双方の判定が否である場合には、注目画素位置は処理対象範囲に含まれないことになり、ステップＳ８０４で画素位置を移動してステップＳ８０１に戻る。
【００４２】
ステップＳ８０５或いはステップＳ８０６においてＤ'が決定されると、ステップＳ８０７において、鮮鋭化処理部２０４は注目画素周辺の平坦性を算出する。本実施形態では、人物の顔領域に対して鮮鋭化処理を施すことになるが、その際に、目や口のエッジ部だけでなく、比較的平坦な肌領域に対しても同様の処理強度で鮮鋭化を行ってしまうと、ノイズ成分などを増幅し、滑らかな人肌がザラついた印象を与えてしまうという不具合がある。そこで本実施形態では、注目画素とその周辺の画素値との差分の絶対和を算出し、この算出結果を平坦性評価量とし、この平坦性評価量に応じて強調係数ｋを制御する方法を用いる。すなわち、本実施形態では、Ｄ'と平坦性評価量により制御された強調係数Ｋ'により式（１）のアンシャープマスク処理を実行することになる。
【００４３】
図９は、該平坦性評価量算出に用いる対象画素位置を示している。図９において、中心に位置する画素が現在の注目画素であり、その周辺に１辺を２Ｄ'＋１とする正方領域を設定している。本実施形態においては、注目画素値と図９に示す８点の平坦性算出対象画素との差の絶対値の総和を算出し、この算出結果を平坦性評価量Ｅとする。すなわち、Ｅが小さいほど注目画素周辺は平坦な領域である可能性が高く、Ｅが大きいほど注目画素周辺はエッジ部などの変動が大きい領域である可能性が高いことになる。
【００４４】
図１０は、ステップＳ８０８で用いる平坦性評価量Ｅと強調係数Ｋ'との関係を示している。図１０では、平坦性評価量Ｅが大きい、すなわち注目画素周辺がエッジ部などである可能性が高い場合には、Ｋ'＝１であり、Ｅがある閾値（Ｔｈ）以下になると、Ｋ'は単調減少し、Ｅ＝０の時Ｋ'＝０．０となる。
【００４５】
以上説明したように、平坦性評価量Ｅに応じて強調係数ｋを変化させることで、人肌などの比較的平坦な部分において鮮鋭化処理を抑制することが可能となる。なお、上述の平坦性評価方法は一例であり、これに限定されるものではなく、その他様々な方法を用いても構わない。例えば、注目画素周辺エリア内画素値の最大最小差を算出し、この値を平坦性評価量Ｅとして上記と同様に強調係数ｋを制御するようにしてもよい。
【００４６】
図８に戻り、処理はステップＳ８０９に移る。ステップＳ８０９では、ステップＳ８０５又はステップＳ８０６、およびステップＳ８０８で算出したパラメータ（Ｄ'、Ｋ'）を用いて、（式１）に示したアルゴリズムに従ってアンシャープマスク処理を行う。すなわち、エリアの大きさをＤ'として平滑化信号Ｕを求め、強調係数ｋは、ｋ＝Ｋmax×Ｋ'から求めてアンシャープマスク処理を行う。そしてステップＳ８１０で注目画素が最後の画素か否かを判定する。当該注目画素が最後の画素であった場合には本処理を終了する。
【００４７】
以上説明した鮮鋭化処理は、画像から複数個の顔が検出された場合には、それぞれの顔位置に対して実行される。
【００４８】
また、画像中に人物の顔が存在するにもかかわらず、なんらかの理由により、顔検出部２０１において顔位置が検出できない場合も存在する。そのような場合に対処するために、顔領域の矩形をマニュアルで指定できるように構成してもよい。この場合、例えば図１７に示すようなＵＩ５００において、表示されている画像５０３内の所望の位置に所望の大きさの矩形領域１７０１をユーザがマウス１０６などのインターフェースを用いて指定できるようにする。処理範囲設定部２０２以降では、このようにマニュアルで設定された矩形領域に対して上述した楕円を定義し、顔領域として鮮鋭化処理を適用する。なお、ＵＩ５００において設定される矩形１７０１は、画像の縦横方向と平行である必要はなく、回転していてもよい。この場合、顔領域として設定される楕円も回転したものとなる。
【００４９】
以上説明したように、第１実施形態によれば、入力画像中から顔領域を自動で検出し、同領域に対して鮮鋭化処理を施すことから、特に重要な人物の顔の鮮鋭度を向上させた画像を、簡単に得ることが可能となる。また、その鮮鋭化強度は、顔領域の中心から除去に減衰させるので、処理境界が不自然に目立つという不具合も取り除くことが可能となる。また、本実施形態では、顔の大きさが変化しても鮮鋭化強度が同等となるように鮮鋭化パラメータを決定するという特徴をもっている。そのため、ユーザが指定した処理強度に忠実な画像処理を行うことが可能となる。また、画像の平坦度が考慮される、平坦な画像には鮮鋭化処理の強度を弱くするので、鮮鋭化による不自然なざらつき等の発生を防止できる。
【００５０】
また、上記実施形態によれば、図６（ｂ）に示したように、ユーザが好みの強度指定を行える。すなわち、顔のサイズ等に応じて鮮鋭化度合いを自動的に決定するとともに、ユーザが例えば強、中、弱によって指定した鮮鋭化の度合いを反映することができる。
【００５１】
＜第２実施形態＞
第１実施形態では、画像中に存在する顔領域は１個所のみという想定の下、鮮鋭化処理の基本アルゴリズムについて説明を行った。しかし当然のことながら、複数個の顔が含まれる画像も数多く存在する。しかし、その場合には、以下のような問題がある。図１１は、画像中に複数の顔位置が含まれる画像の例を示しており、図１１中の２つの矩形領域１１０１および１１０２が、第１実施形態で示した顔の各器官位置を含む矩形領域である。図１１に示すように、これらの矩形位置が非常に隣接していた場合、第１実施形態と同様に、該矩形領域それぞれに外接楕円を設定し該楕円を処理範囲とすると、図１１中の１１０３に示すように、重複する処理範囲が発生する場合が考えられる。従って、それぞれの処理範囲毎に鮮鋭化処理を施すと、顔領域の周辺部で鮮鋭化強度を低減して入るものの、重複領域に対しては２度鮮鋭化処理が施されてしまい、同領域のみエッジが強調されすぎるなどの不具合が生じる。
【００５２】
第２実施形態の目的は、このような不具合を解決する方法を提案することにある。
【００５３】
図１２は、第２実施形態による鮮鋭化処理の機能構成を示すブロック図である。第１実施形態と同様に、画像が顔検出部１４０１に入力されると、入力画像中から人物の顔領域が抽出される。なお、第２実施形態では複数個の顔が検出されることを想定して以下の説明を行う。
【００５４】
処理範囲設定部１２０２において、検出した各顔位置に対して第１実施形態と同様の楕円領域が設定される（例えば、図１１のＦ１，Ｆ２）。次に、処理強度テーブル作成部１２０３は、入力画像と同じサイズの処理強度テーブルを作成する。処理強度テーブルは入力画像の各画素に対応した処理強度を保持することができ、後段の鮮鋭化処理部１２０４では、このテーブルを参照しながら処理強度を設定し、鮮鋭化処理を行う。なお、処理強度テーブルで保持される処理強度とは、第１実施形態と同様にアンシャープマスク処理で用いる注目画素周辺エリアのサイズＤ'である。本実施形態では、処理強度テーブルを作成する際に処理範囲の重複領域を考慮したテーブル作成を行う。
【００５５】
図１３（ａ）〜（ｄ）は、処理強度テーブル作成部１２０３による、処理強度テーブル作成時における注目画素周辺エリアのサイズＤ'の決定方法を示している。図１３の（ａ）は、図１１に示した２つの顔Ｆ１，Ｆ２に対して、第１実施形態で述べた方法を個別に適用した場合の注目画素周辺エリアのサイズＤ'を示している。なお、図１３では簡単のため、画像の１次元（Ｘ軸）方向のみについて示している。また、図１３の（ｂ）〜（ｄ）のそれぞれには、重複領域におけるＤ'の決定方法が太い実線で示している。
【００５６】
図１３（ｂ）では、重複領域におけるＤ'は、各顔領域に対して算出したＤ'のうち大きい方の値を優先的に使用する方法が示されている。また図１３（ｃ）では、重複領域におけるＤ'は、顔領域が大きい方に対して算出したＤ'を優先的に使用する方法が示されている。また図１３（ｄ）では、重複領域におけるＤ'は、各顔領域に対して算出したＤ'の平均値を使用する方法が示されている。第２実施形態における処理強度テーブル作成部１２０３は、上記どの方法を利用してもよい。以上説明した方法により、処理強度テーブル作成部１２０３において処理強度テーブルが作成される。
【００５７】
なお、いずれの場合においても、処理強度を示す太い実線が不連続にならないよう考慮されている。例えば、図１３の（ｃ）では、F２との重複領域を抜けた位置から所定の傾きでＦ１のＤ'maxへ到達する。この傾きは例えば（r−er）／２の間にＤ'の値が０からＦ１のＤ'maxへ到達するように設定される。また、図１３（ｄ）では各領域のＤ'の傾きと平行な傾きでそれぞれのＤ'maxへ到達するように設定された例が示されている。
【００５８】
以上のようにして処理強度テーブルが作成されると、鮮鋭化処理部１２０４は、この処理強度テーブルを参照しながら、各画素に対してアンシャープマスク処理による鮮鋭化強調処理が行われる。以上の処理が施された画像データは、鮮鋭化処理部１２０４から出力され、ディスプレイ１０４に表示されたり、圧縮処理が施されて２次記憶装置１０５に保存されたり、インターフェース１０８を介して接続されたプリンタ１０９から出力されたりすることになる。
【００５９】
以上説明したように、第２実施形態によれば、抽出した顔領域が複数あり、かつそれらに対して設定した処理範囲が重複していた場合においても、重複領域に対して適切な強度で鮮鋭化処理を行うことが可能となる。また、顔領域以外の領域に対応する画素に対しては処理強度０が処理強度テーブルに登録されるので、処理強度テーブルを参照しながら鮮鋭化処理を実行することにより、全ての顔領域に対して、重複領域に対して鮮鋭化処理が重複して実行されること無く、適切な鮮鋭化処理が実行されることになる。
【００６０】
＜第３実施形態＞
これまで説明した方法では、画像中から顔位置を自動的に検出し、原画像の顔位置における鮮鋭度と無関係に、指定された処理強度で鮮鋭化処理を行っていた。従って、例えば複数枚の画像に対して一括で鮮鋭化処理を施した場合に、もともと鮮鋭化処理を行う必要のないピントの合っている顔位置に対しても鮮鋭化処理を施してしまい、エッジを不自然に強調してしまうという問題が考えられる。また、このような問題が顕著に表れる例として、画像に複数の人物が写っており、ある一つの顔にのみピントが合っている場合が挙げられる。このような場合、検出された全ての顔位置に対して均一の強度で鮮鋭化処理を行うことが好ましくないことは明らかである。そこで第３実施形態では、各顔位置の鮮鋭度を推定することにより、鮮鋭化強度を各顔ごとに変化させる制御について説明する。
【００６１】
図１４は、第３実施形態による画像処理（鮮鋭化処理）を実現するための機能構成を示したブロック図である。顔検出部１４０１は、第１実施形態と同様に、入力された画像中から顔位置を抽出する。処理範囲設定部１４０２は、第１実施形態と同様に、検出した顔に対して鮮鋭化処理対象となる楕円領域を設定する。処理強度テーブル作成部１４０３は、それぞれの顔領域に対して第２実施形態で述べた如き処理強度テーブルを作成する。この際に、処理強度は、第１実施形態で説明した注目画素周辺サイズＤ'と平坦度により制御された強調係数Ｋ'に加えて、鮮鋭度推定部１４０４で推定した各顔領域の鮮鋭度を加味して決定する。なお、重複領域が存在する場合は、各顔領域について決定された処理強度を用いて、第２実施形態で説明した手法により重複領域の処理強度を設定する。
【００６２】
画像中の顔位置の鮮鋭度を推定する第１の方法として、検出した顔領域周辺の周波数成分を計測し、高周波成分を多く含む領域を鮮鋭度が高い、すなわち合焦している顔だと推定することが挙げられる。例えば、顔領域周辺を８画素正方ブロックに分割して各ブロック毎に離散コサイン変換（ＤＣＴ）を施し、その結果得られたＤＣＴ係数のうちＤＣ成分を除く高周波係数の電力（２乗和）を算出する。顔矩形領域あるいは顔楕円領域内の高周波電力の平均値を求め、それをあらかじめ定められた閾値と比較することにより、処理対象となっている顔領域がボケているか否かの判定を行う。求められた平均電力が閾値よりも大きい場合には顔領域の鮮鋭度がある程度高く、鮮鋭化処理を行う必要はないと判断される。本実施形態では、処理強度テーブルの顔領域に対応する処理強度を０にすることにより鮮鋭化処理を禁止している。また、平均電力が閾値よりも小さい場合には、以下の式で示される鮮鋭度評価量を、
鮮鋭度評価量＝１．０−（平均高周波電力／閾値）
により算出する。そして、この鮮鋭度評価量を注目画素周辺エリアの最大値Ｄ'maxに乗じて、処理強度テーブルの値を算出する。すなわち、処理強度テーブルに登録される処理強度（注目画素周辺エリアのサイズ）は、Ｄ'＝Ｄ'max×鮮鋭度評価量ということになる。
【００６３】
上記方法によって生成した処理強度テーブルを参照しながら鮮鋭化処理を行うことで、平均高周波電力が閾値よりも大きい顔領域に対しては鮮鋭化処理を行わず、平均高周波電力が閾値よりも小さくなるに従って、除去に鮮鋭化強度を大きくするような処理を行うことが可能となる。
【００６４】
また、上記説明では、高周波平均電力をある閾値と比較したが、画像中から複数の顔領域が検出された場合、各顔領域毎に算出した平均電力の相対関係によって処理強度テーブルの値を決定してもよい。例えば、複数個の顔のうち、最も高周波平均電力が高い顔領域に対しては第１実施形態で述べた処理強度「弱」を適用し、最も高周波平均電力が低い顔領域に対しては処理強度「強」を適用し、その他の顔領域に対しては処理強度「中」を適用するように、処理強度テーブルを作成してもよい。もちろん、適用する処理強度は、上記３段階に限定するものではない。
【００６５】
また、上記では、高周波電力の算出方法としてＤＣＴ係数を用いる例を説明したが、本実施形態はこれに限定するものではない。例えば、隣り合う画素同士の差分値を高周波成分としてもよいし、その他の変換、例えばＷａｖｅｌｅｔ変換などを用いて、高周波電力を算出してもよい。
【００６６】
（第３実施形態における鮮鋭度評価の変形例）
以上が、第１の方法による顔領域の鮮鋭度推定法である。次に、画像中の顔位置の鮮鋭度を推定する第２の方法として、撮像装置のフォーカスポイント情報を利用する方法について説明する。図１５は、デジタルカメラなどにおいて、撮影する際のファインダーの例を示したものである。図１５において、Ｐ0〜Ｐ4はフォーカスポイントを示している。一般的なデジタルカメラの場合、ユーザがファインダーを覗きながらシャッターボタンを半押しの状態にすると、カメラのオートフォーカス機能が動作し、ピントが合った位置をフォーカスポイントを点滅させたり表示色を変化させたりしてユーザに通知する。ユーザがシャッターボタンをさらに押下することにより、撮影画像を取得することができるが、その際に、どのフォーカスポイントに合焦したか、という情報を撮像画像データのヘッダ部分に記録しておく。記録する情報としては、上記Ｐ0〜Ｐ4のフォーカスポイントの番号や、そのフォーカスポイントの画像上の座標位置などを用いることができる。また、同情報を記録する方法としては、撮像画像データがＪＰＥＧ（Joint Photographic Experts Group）形式の場合、ＪＰＥＧヘッダ部に存在するアプリケーションマーカを利用して記録する方法や、撮像画像データのヘッダ部に様々な撮影情報を記録する個所があれば、その中に記録する方法などがあげられる。
【００６７】
図１６は、上記実施形態の処理のブロック図を示している。上記のごとくヘッダ部にフォーカスポイントの位置情報を含む撮像画像データが顔検出部１６０１に入力されると、ヘッダ部が抽出され、フォーカス位置取得部１６０５へ供給される。顔検出部１６０１では、画像データ本体より顔領域を検出する。フォーカス位置取得部１６０５は、画像データのヘッダ部分に格納されているフォーカスポイントに関する情報から、フォーカスポイントの画像上の座標位置Ｐ(x,y)を求める。鮮鋭度推定部１６０６は、この座標位置Ｐ(x,y)と顔検出部１６０１で得られた顔領域を示す矩形領域に基づいて、各顔領域の鮮鋭度推定を行う。
【００６８】
この鮮鋭度の推定方法としては、フォーカスポイント位置が矩形領域に含まれる場合、当該顔領域はピントが合っている領域だと判断することができる。よって、当該顔領域に対応する処理強度テーブルの値は０にするか、あるいは小さい値とすることにより、鮮鋭化強度を弱めた処理を行うようにする。また、矩形領域の中心座標Ｃ(x,y)とフォーカスポイントの座標位置Ｐ(x,y)との距離を鮮鋭度評価量とし、同評価量に応じて処理強度テーブルの値を決定することも考えられる。すなわち、同評価量が小さいほど、顔領域はフォーカスポイントに近いことなり、鮮鋭度は高いものと判断することができるため、処理強度を弱めに設定するようにしてもよい。
【００６９】
以上のように、第３実施形態によれば、抽出した顔領域の鮮鋭度を推定することにより、鮮鋭化の必要がない顔領域に対しては処理を行わないようにしたり、鮮鋭度の評価量に応じて鮮鋭化パラメータを決定するといった処理も可能となる。この結果、過度の鮮鋭化が施されることを防止でき、画質劣化を防止できる。また、複数の顔領域が存在する画像においては、各顔領域毎に鮮鋭度を判定して処理強度を設定できるので、ボケた画像の顔領域に対してより強い鮮鋭化処理が施されるような構成を実現できる。
【００７０】
（第４実施形態）
図１に示すようなハードウェア構成によって、これまで説明してきた方法で顔領域に対して鮮鋭化処理を施した後、プリンタ１０９によって印字媒体上にプリントすることを考えた場合、プリント時に設定する印字モードや印字サイズ、あるいは印字媒体の種類といった印字条件によって、上記顔領域に対する鮮鋭化強度を変化させることが望ましい。以下では、各印字条件に応じた鮮鋭化パラメータの変更方法について説明する。
【００７１】
まず、印字モードに応じて処理強度テーブルの値を決定することが挙げられる。例えば、ユーザがプリンタの印字モードで画質重視のモード（高品位モード）を選択した場合を考える。この場合、一般的なインクジェットプリンタでは疑似階調処理として誤差拡散処理を用いる場合が多い。誤差拡散処理について詳細な説明は行わないが、一般的に誤差拡散処理は、多値である原画像（例えば、各画素ＲＧＢ２４bitで構成）のディテールを比較的忠実に再現することが可能としている。そのため、過度のエッジ強調を行う必要がないと考えられることから、処理強度テーブルの値を全体的に小さく設定してもよい。
【００７２】
一方、ユーザがプリンタの印字モードで速度重視のモード（低品位モード）を選択した場合、疑似階調処理としてディザを用いる場合が多い。ディザによる疑似階調処理を行うと、処理は高速で実行することが可能だが、誤差拡散処理に比べ原画像のディテールが損なわれてしまう。従って、このような低品位モードの場合、高品位モードに比較して処理強度テーブルの値を大きく設定してもよい。
【００７３】
また、本実施形態は上記組み合わせに限らず、上記とは逆の方法により処理強度テーブルの値を決定してもよい。すなわち、高品位モードの場合は顔領域の鮮鋭度をより高くした状態でプリントしたいというニーズも考えられることから、低品位モードの場合と比較して、処理強度テーブルの値を全体的に大きく設定するようにしてもよいであろう。
【００７４】
次に、印字媒体上での画像のサイズに応じて、前記処理強度テーブルの値を決定することが挙げられる。すなわち、入力画像を紙などの印字媒体上にプリントする場合、原画像と印字媒体上のサイズが完全に一致しない限りは、何らかの拡大縮小処理が施されることになる。この際に、例えば拡大縮小処理に公知である線形補間を用いる場合を考える。線形補間を用いた拡大縮小処理では、アルゴリズムが簡易であるため、比較的高速に処理を行うことが可能であるが、拡大縮小比率が大きくなると、画像の鮮鋭度が失われる傾向にある。そこで、線形補間を用いる場合、拡大縮小比率が大きくなるに従って、処理強度テーブルの値を全体的に大きく設定するようにする。
【００７５】
一方、拡大縮小処理としてよく使用されるものに、公知であるbi-cubic補間が存在する。bi-cubic補間を用いると線形補間で拡大縮小した場合にくらべ、多少のエッジ強調効果があることが知られている。よって、bi-cubic補間の場合には処理強度が小さめに設定されるようにする。このように、拡大縮小する補間アルゴリズムに応じて、処理強度テーブルの値を決定するようにする。
【００７６】
次に、印字媒体の種類に応じて前記処理強度テーブルの値を決定することが挙げられる。例えば、印字媒体が普通紙であった場合、染料インクを用いたインクジェットプリンタで印字を行うと、インクの滲みから画像の鮮鋭度が失われてしまう。逆に、印字媒体が写真専用である高品位用紙であった場合、印字結果においても画像の鮮鋭度が失われることはない。従って、印字媒体が普通紙の場合、高品位用紙の場合と比較して、上記処理強度テーブルの値を大きく設定する。
【００７７】
以上のように第４実施形態によれば、画像の出力形態に応じて鮮鋭化パラメータを決定することにより、より最適な鮮鋭化処理を行うことが可能となる。例えば、プリンタドライバのＵＩにおいて指定された紙サイズや紙種類等の出力形態に応じて鮮鋭化強度を変更して出力するように構成すれば、出力形態を指定するだけで適切な鮮鋭化処理が施されることになり、便利である。
【００７８】
（その他の実施形態）
また、上記実施形態では、鮮鋭化処理としてアンシャープマスク処理を例に挙げて説明したが、本実施形態はこれに限定するものではなく、その他の鮮鋭化フィルタ処理を行ってもよい。また、画像に対して直交変換を行い、その高周波成分を強調した後、逆変換を行って、画像を鮮鋭化しても構わない。また、鮮鋭化処理以外の平滑化処理などを行ってもよい。
【００７９】
また、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。
【００８０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００８２】
【図１】本発明を実施するためのハードウェア構成を示す図である。
【図２】第１実施形態における処理のブロック図である。
【図３】検出した顔矩形領域と設定した処理範囲の例を示す図である。
【図４】楕円座標の定義を説明する図である。
【図５】ユーザインターフェースの例を示す図である。
【図６】指定強度の鮮鋭化パラメータの関係を示す図である。
【図７】処理範囲と鮮鋭化パラメータの関係を示す図である。
【図８】鮮鋭化処理部の処理のフローチャートである。
【図９】平坦性評価量の算出方法を説明するための図を示す図である。
【図１０】平坦性評価量と鮮鋭化パラメータの関係を示す図である。
【図１１】第２実施形態における顔矩形領域と処理範囲の例を示す図である。
【図１２】第２実施形態における処理のブロック図である。
【図１３】重複における処理強度の決定方法を説明する図である。
【図１４】第３実施形態における処理のブロック図である。
【図１５】フォーカスポイントを説明するための図である。
【図１６】第３実施形態における処理のブロック図である。
【図１７】図５のユーザインターフェースを用いて矩形領域を設定する様子を示す図である。
【図１】
2006019930.tif 000004
【図２】
2006019930.tif 000005
【図３】
2006019930.tif 000006
【図４】
2006019930.tif 000007
【図５】
2006019930.tif 000008
【図６】
2006019930.tif 000009
【図７】
2006019930.tif 000010
【図８】
2006019930.tif 000011
【図９】
2006019930.tif 000012
【図１０】
2006019930.tif 000013
【図１１】
2006019930.tif 000014
【図１２】
2006019930.tif 000015
【図１３】
2006019930.tif 000016
【図１４】
2006019930.tif 000017
【図１５】
2006019930.tif 000018
【図１６】
2006019930.tif 000019
【図１７】
2006019930.tif 000020