(57)【要約】【課題】  深い被写界深度で撮像された画像データを入力して、人物と背景の境界に不自然さを生じさせずに、被写界深度が浅く見える画像に変換すること。【解決手段】  深い被写界深度で撮像された画像を入力して、顔及びその下方部分を含む人体領域を検出して人体領域の外縁部を求める。被写界深度の浅く見える画像を生成するための、入力画像の各画素に関連付けた２次元データから成るパラメータ・データを、その領域の外部においてその外縁部からの距離に応じて変化する値とし、内部では一様な値又はその外縁部からの距離に応じて外部と逆に変化する値として設定する。このパラメータ・データを使用して入力画像を処理し、顔およびその下方部分を含む人体領域はピントが合い、人体領域から離れた領域はボケるように変換された画像、即ち被写界深度の浅く見える画像を得る。複数顔の場合、それぞれに対してパラメータ・データを作成し、各種方法で合成する。【選択図】  図５
2007066199.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が２次元に配置されている画像データを入力する入力手段と、
前記入力手段で入力した前記画像データを入力して、当該画像データから顔領域を表すデータを抽出し、抽出した顔領域を表すデータに関連付けて前記画像データから前記顔領域以外の人体領域を抽出して、顔を含む人体の外縁部を求める、人体領域抽出手段と、
前記入力手段で入力した前記画像データを処理して被写界深度の浅い画像を生成するための、前記画像データの各画素に関連付けた２次元データから成るパラメータ・データを作成する手段であって、前記外縁部を含む人体領域に対応させて、所定の値を設定し、前記外縁部の外部に位置する複数の前記画素に対応させて、各画素が前記外縁部からの距離が離れるに比例して、前記外縁部における前記所定の値から変化する値を前記各画素に対応させて割り当てることを、前記外縁部の外部に位置する複数の画素に対して実行し、各値が決定された２次元データから成るパラメータ・データを作成するパラメータ・データ作成手段と、
前記入力手段で入力した前記画像データと、２次元データの前記パラメータ・データを入力して、前記入力手段で入力した画像よりも被写界深度の浅く見える画像を表す補正された画像データを生成する画像補正手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力手段から入力した前記画像データに一様な所定の平滑化を行い、平滑化画像データを得る平滑化手段をさらに備え、
前記画像補整手段は、前記入力手段で入力した画像データと、当該画像データを前記平滑化手段で平滑化した画像データとを入力し、前記パラメータ・データ作成手段からのパラメータ・データに基づく合成比で合成して、補正された画像データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像補整手段は、強度を表すパラメータに従って各画素に対してフィルタ処理するフィルタ手段を備え、前記入力手段から入力した前記画像データに対して、前記パラメータ・データ作成手段から入力したパラメータ・データを平滑化の強度を示すパラメータとして使用して前記フィルタ手段でフィルタ処理し、補正された画像データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記人体領域抽出手段で複数の顔領域を検出した場合、
前記人体領域抽出手段は、それぞれの顔領域とこれに関連付けられた人体領域を個別に抽出し、
前記パラメータ・データ作成手段は、それぞれの人体領域に対して別々に２次元データからなるパラメータ・データを算出し、
さらに、前記それぞれの２次元データからなるパラメータ・データを合成して、合成された２次元データからなる合成パラメータ・データを生成するパラメータ・データ合成手段を備え、
前記画像補正手段は、前記パラメータ・データ合成手段で合成された２次元データの合成パラメータ・データに従って補正された画像データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記パラメータ・データ合成手段は、複数の２次元データからなるパラメータ・データの対応する値を比較して、小さな値を選択して、選択された値の２次元データからなる合成パラメータ・データを生成することを特徴とする請求項４記載の画像処置装置。
【請求項６】
前記パラメータ・データ合成手段は、複数の顔の領域のうちその面積が最大のものを除いた顔領域とその関連付けられた身体領域に対する２次元データからなるパラメータ・データに関しては、所定の値を加算した加算済みパラメータ・データと、顔の領域のうちその面積が最大のものとそれに関連付けられた身体領域に対する２次元データからパラメータ・データ値と比較して、小さな値を選択して、選択された値の２次元データからなる合成パラメータ・データを生成することを特徴とする請求項４記載の画像処置装置。
【請求項７】
前記パラメータ・データ合成手段は、複数の顔の領域のうちユーザが指定した顔領域とその関連する身体領域以外の顔領域とその関連付けられた身体領域に対する２次元データからなるパラメータ・データに関してそれぞれに所定の値を加算した加算済みパラメータ・データと、ユーザが指定した顔領域とそれに関連付けられた身体領域に対する２次元データからパラメータ・データ値と比較して、小さな値を選択して、選択された値の２次元データからなる合成パラメータ・データを生成することを特徴とする請求項４記載の画像処置装置。
【請求項８】
画像を入力して処理して出力する画像処理方法であって、
複数の画素が２次元に配置されている画像データを入力すること、
入力した前記画像データから顔領域を表すデータを抽出し、抽出した顔領域を表すデータに関連付けて前記画像データから前記顔領域以外の人体領域を抽出して、顔を含む人体の外縁部を求めること、
入力した前記画像データを処理して被写界深度の浅い画像を生成するための、前記画像データの各画素に関連付けた２次元データから成るパラメータ・データを作成することであって、前記外縁部を含む人体領域には所定に値を設定し、前記外縁部の外部に位置する複数の前記画素に対応させて、各画素が前記外縁部からの距離が離れるに比例して、前記外縁部における前記所定の値から変化する値を前記各画素に対応させて割り当てることを、前記外縁部の外部に位置する複数の画素に対して実行し、各値が決定された２次元データから成るパラメータ・データを作成すること、および
入力した前記画像データと２次元データの前記パラメータ・データを入力して、入力した前記各画像よりも被写界深度の浅く見える画像を表す補正された画像データを生成すること
を備えることを特徴とする画像処理方法。
【請求項９】
入力した前記画像データに一様な所定の平滑化を行い、平滑化画像データを得ることをさらに備え、
前記補正された画像データを生成することは、入力した画像データと、前記平滑化画像データとを入力し、前記パラメータ・データに基づく合成比で合成して、補正された画像データを生成することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記補整された画像データを生成することは、強度を表すパラメータに従って各画素に対してフィルタ処理することを備え、入力した前記画像データに対して、前記パラメータ・データを平滑化の強度を示すパラメータとして使用してフィルタ処理し、補正された画像データを生成することを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記入力した前記画像データから顔を含む人体の外縁部を求めることを実行することは、複数の顔領域を検出した場合、それぞれの顔領域とこれに関連付けられ人体領域を個別に抽出することを実行し、
この場合、前記パラメータ・データを作成することは、それぞれの人体領域に対して別々に２次元データからなるパラメータ・データを算出し、
さらに、前記それぞれの２次元データからなるパラメータ・データを合成して、合成された２次元データからなる合成パラメータ・データを生成することを備え、
前記補正された画像データを生成することは、前記合成パラメータ・データに従って補正された画像データを生成することを特徴とする請求項８に記載の画像処理方法。
【請求項１２】
前記合成されたパラメータ・データを生成することは、複数の２次元データからなるパラメータ・データの対応する値を比較して、小さな値を選択して、選択された値の２次元データからなる合成パラメータ・データを生成することを特徴とする請求項１１記載の画像処置方法。
【請求項１３】
前記合成されたパラメータ・データを生成することは、複数の顔の領域のうちその面積が最大のものを除いた顔領域とその関連付けられた身体領域に対する２次元データからなるパラメータ・データに関しては、所定の値を加算した加算済みパラメータ・データと、顔の領域のうちその面積が最大のものとそれに関連付けられた身体領域に対する２次元データからパラメータ・データ値と比較して、小さな値を選択して、選択された値の２次元データからなる合成パラメータ・データを生成することを特徴とする請求項１１記載の画像処置方法。
【請求項１４】
前記合成されたパラメータ・データを生成することは、複数の顔の領域のうちユーザが指定した顔領域とその関連する身体領域以外の顔領域とその関連付けられた身体領域に対する２次元データからなるパラメータ・データに関してそれぞれ所定の値を加算した加算済みパラメータ・データと、ユーザが指定した顔領域とそれに関連付けられた身体領域に対する２次元データからパラメータ・データ値と比較して、小さな値を選択して、選択された値の２次元データからなる合成パラメータ・データを生成することを特徴とする請求項１１記載の画像処置方法。
【請求項１５】
画像を入力し、処理して出力することをコンピュータに実行させる命令を格納したコンピュータ可読媒体であって、前記命令は、
複数の画素が２次元に配置されている画像データを入力すること、
入力した前記画像データから顔領域を表すデータを抽出し、抽出した顔領域を表すデータに関連付けて前記画像データから前記顔領域以外の人体領域を抽出して、顔を含む人体の外縁部を求めること、
入力した前記画像データを処理して被写界深度の浅い画像を生成するための、前記画像データの各画素に関連付けた２次元データから成るパラメータ・データを作成することであって、前記外縁部を含む人体領域には所定に値を設定し、前記外縁部の外部に位置する複数の前記画素に対応させて、各画素が前記外縁部からの距離が離れるに比例して、前記外縁部における前記所定の値から変化する値を前記各画素に対応させて割り当てることを、前記外縁部の外部に位置する複数の画素に対して実行し、各値が決定された２次元データから成るパラメータ・データを作成すること、および
前記入力手段で入力した前記画像データと２次元データの前記パラメータ・データを入力して、入力した前記各画像よりも被写界深度の浅く見える画像を表す補正された画像データを生成すること
を特徴とするコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像の画像処理装置および画像処理方法に関し、より詳細には、撮影した画像中の人物を検出して人物以外の背景にぼかし効果を効果的に付加する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、デジタル・カメラの普及によって、写真画像のデジタル化が容易になっている。加えて印刷装置、特にインクジェット方式の高画質化が進み、ユーザが撮影したデジタル画像から写真調の印刷結果を得ることができるようになった。さらに、パーソナル・コンピュータ上で各種アプリケーション・ソフトウェアを使用して撮影した画像データを編集、加工処理することも容易になっている。
【０００３】
このような背景から、さらに簡単に撮影した画像をきれいに印刷できる環境の開発が進められている。
【０００４】
カメラ(銀塩、デジタル・カメラのどちらでも良い)で撮影する被写体としてよく人物が用いられる。一般的なカメラでは、特に人物専用の撮影モードとしてポートレート・モードを備えており、人物をメインの被写体にした画像をポートレートという。
【０００５】
ポートレートでは、人物にピントが合っていているが、人物以外の背景部分はボケている画像、すなわちピントが合っていない画像が好まれる。このようにメインの被写体を強調するためにメインの被写体以外の周辺部分をぼかすことにより、メインの被写体とその背後の被写体の間の遠近感を強調して表現することができる。
【０００６】
これは、通常、大口径のレンズを使用し、その絞りの開放側を使用して撮影することで実現可能であり、この遠近感の強調の程度（メインの被写体にピントを合わせた場合の背景のボケ具合）は、この絞りというレンズを透過する光量調節する機構を調節することにより、設定することができる。絞りを開けるにつれて、つまり光量を大きくするにつれて、被写界深度が浅くなり、その結果、ピントが合っている部分のみがはっきりと撮影され、ピントが合っている位置から前後にずれるにしたがって、ボケ具合が大きくなる画像になる。したがって、通常、ピントが合っている部分とボケ具合の程度の差が大きい画像は、被写界深度が浅い画像である、と表現される。
【０００７】
逆に絞りを(光量を小さくする方向)絞ると、被写界深度が深くなり、画面全体にピントが合ったような画像を得ることができる。したがって、画面全体にピントが合ったような画像は、被写界深度が深い画像である、と表現される。
【０００８】
【特許文献１】特開２０００−２５９８２３号公報
【特許文献２】特開２００３−８７５４５号公報
【特許文献３】特開平０９−２３３４２３号公報
【特許文献４】特開２００４−２０７９８５号公報
【特許文献５】特開２００３−３０６６７号公報
【特許文献６】特開平０８−６３５９７号公報
【特許文献７】特開２０００−１０５８２９号公報
【特許文献８】特開平０８−７７３３４号公報
【特許文献９】特開２００１−２１６５１５号公報
【特許文献１０】特開平０５−１９７７９３号公報
【特許文献１１】特開平１１−５３５２５号公報
【特許文献１２】特開２０００−１３２６８８号公報
【特許文献１３】特開２０００−２３５６４８号公報
【特許文献１４】特開平１１−２５０２６７号公報
【特許文献１５】特許２５４１６８８号公報
【特許文献１６】特開２００２−１８３７３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、デジタル・カメラで被写界深度の浅い画像を撮影するには、光量を多くする必要があるため、大口径の明るいレンズといったことが必要になってくる。あるいは、大きな光電変換面を有する撮像板（例えば、ＣＣＤ等）が必要になる。このようなレンズ、あるいはＣＣＤは一般的に高価である。さらに、現在市販されているデジタル・カメラの流行として、一眼レフ型を除いて、一般に小型化、薄型化、軽量化が進められている。このようなデジタル・カメラに搭載可能なレンズはレンズの明るさや、口径が小さいものに制限される。また、ＣＣＤ等も小さな面積のものが使用されることになる。このことは、この種のデジタル・カメラを使用した場合、被写界深度を浅くする撮影ができないということを意味し、特に携帯電話に搭載されているカメラ・モジュールでは、その小型化、薄型化、軽量化に起因して、ほとんど画像全体にピントが合ったような画像になってしまう。
【００１０】
また、一部のこの種のデジタル・カメラには、レンズの絞りを手動で設定可能な機種も存在するが、通常の場合、操作も面倒なために、撮影をしているときにカメラの撮影モードを切り替えながら撮影を行っているとせっかくのシャッター・チャンスを逃すこともあり、通常では（ズーム操作を含めて）構図を決めて、シャッター釦を押して撮影することが殆どである。また、この種のデジタル・カメラであっても、レンズの口径や光電変換面の大きさが他のカメラと大同小異であり、所望する程度の被写界深度の浅い撮影画像を得ることは得られるとは限らない。一般的には、所望する程度の被写界深度の浅い撮影画像を得る場合、一眼レフ型の高価なデジタル・カメラを必要とする。
【００１１】
したがって、一般に使用されている多くのデジタル・カメラでは、ポートレート撮影の場合、いわゆる被写界深度の浅い画像を得ることは、一般的に不可能である。このことは、デジタル・カメラの機能として露出設定やピント合わせのためのポートレート・モードを備えていても、本来、ポートレートに望まれる被写界深度の浅い画像を得るには不十分であることを意味する。
【００１２】
こういった問題を回避するために、撮影完了後の撮影した画像に対して画像処理を行って、被写界深度が浅くなるような処理を、たとえば、パーソナル・コンピュータ上で動作する一般的な画像処理アプリケーションを使用して実現する方法が多く紹介されている。
【００１３】
基本的には、最初に画像中にあるメインの被写体の領域を切り出して補正領域から除外しておく、次に残っている背景領域にガウス・フィルタを適応して画像をぼかす。この操作によって、被写界深度が深い画像から被写界深度の浅い画像を作成することができる。
【００１４】
しかしこの方法では、メインの被写体の領域を切り出すことをユーザが指定しなければならない。メインの被写体が単純な形状であれば簡単に領域を指定できるが、人物の場合、簡単に領域を囲むことが困難である。さらに背景画像をぼかすガウス・フィルタの強度もユーザが指定しなければならず、何度もやり直して最適なボケ具合（量）を探さなければならないという問題がある。
【００１５】
また、特許文献１、特許文献２で、撮影時の測距情報から画像を分割して分割された領域に画像処理を行うことで被写界深度の浅い効果を得ることが開示されているが、この方法では詳細な測距情報が必要であり、この情報がなければ実行できない問題がある。
【００１６】
また、特許文献３では画像中の顔の有無、顔の大きさを元に画像補正の強度を変化させる方法が開示されているが、この方法では被写界深度の深い画像から浅い画像への変換処理を実現できない問題がある。
【００１７】
また、特許文献４では、画像データから人物画像データを抽出し、人物画像の領域と、人物以外の領域（背景領域）とで異なる処理を施して奥行き感、立体感のある画像にする方法が開示している。
【００１８】
しかしながら、通常、人物画像の領域と人物以外の領域とを明確に分離することは不可能であり、また多くの場合には前景が人物であってそれ以外はすべて背景であるとすることができるが、必ずしもすべてに当てはまる条件ではない。したがって、人物以外の人物に近接する部分には、人物部分と異なるボカシ処理が行われ、この結果、人物と背景の境界には不自然さを生じさせる画像、ボケ具合の境界を強調した画像を生じさせるという問題がある。
【課題を解決するための手段】
【００１９】
上記問題点を解決するため、本発明の画像処理装置は、複数の画素が２次元に配置されている画像データを入力する入力手段と、前記入力手段で入力した前記画像データを入力して、当該画像データから顔領域を表すデータを抽出し、抽出した顔領域を表すデータに関連付けて前記画像データから前記顔領域以外の人体領域を抽出して、顔を含む人体の外縁部を求める、人体領域抽出手段と、前記入力手段で入力した前記画像データを処理して被写界深度の浅い画像を生成するための、前記画像データの各画素に関連付けた２次元データから成るパラメータ・データを作成する手段であって、前記外縁部を含む人体領域に対応させて、所定の値を設定し、前記外縁部の外部に位置する複数の前記画素に対応させて、各画素が前記外縁部からの距離が離れるに比例して、前記外縁部における前記所定の値から変化する値を前記各画素に対応させて割り当てることを、前記外縁部の外部に位置する複数の画素に対して実行し、各値が決定された２次元データから成るパラメータ・データを作成するパラメータ・データ作成手段と、前記入力手段で入力した前記画像データと、２次元データの前記パラメータ・データを入力して、前記入力手段で入力した画像よりも被写界深度の浅く見える画像を表す補正された画像データを生成する画像補正手段とを備えることを特徴とするものである。
【００２０】
また、前記入力手段から入力した前記画像データに一様な所定の平滑化を行い、平滑化画像データを得る平滑化手段をさらに備え、前記画像補整手段は、前記入力手段で入力した画像データと、当該画像データを前記平滑化手段で平滑化した画像データとを入力し、前記パラメータ・データ作成手段からのパラメータ・データに基づく合成比で合成して、補正された画像データを生成することを特徴とするものである。
【００２１】
また、前記画像補整手段は、強度を表すパラメータに従って各画素に対してフィルタ処理するフィルタ手段を備え、前記入力手段から入力した前記画像データに対して、前記パラメータ・データ作成手段から入力したパラメータ・データを平滑化の強度を示すパラメータとして使用して前記フィルタ手段でフィルタ処理し、補正された画像データを生成することを特徴とするものである。
【００２２】
また、前記人体領域抽出手段で複数の顔領域を検出した場合、前記人体領域抽出手段は、それぞれの顔領域とこれに関連付けられた人体領域を個別に抽出し、前記パラメータ・データ作成手段は、それぞれの人体領域に対して別々に２次元データからなるパラメータ・データを算出し、さらに、前記それぞれの２次元データからなるパラメータ・データを合成して、合成された２次元データからなる合成パラメータ・データを生成するパラメータ・データ合成手段を備え、前記画像補正手段は、前記パラメータ・データ合成手段で合成された２次元データの合成パラメータ・データに従って補正された画像データを生成することを特徴とするものである。
【００２３】
また、前記パラメータ・データ合成手段は、複数の２次元データからなるパラメータ・データの対応する値を比較して、小さな値を選択して、選択された値の２次元データからなる合成パラメータ・データを生成することを特徴とするものである。
【００２４】
また、前記パラメータ・データ合成手段は、複数の顔の領域のうちその面積が最大のものを除いた顔領域とその関連付けられた身体領域に対する２次元データからなるパラメータ・データに関しては、所定の値を加算した加算済みパラメータ・データと、顔の領域のうちその面積が最大のものとそれに関連付けられた身体領域に対する２次元データからパラメータ・データ値と比較して、小さな値を選択して、選択された値の２次元データからなる合成パラメータ・データを生成することを特徴とするものである。
【００２５】
また、前記パラメータ・データ合成手段は、複数の顔の領域のうちユーザが指定した顔領域とその関連する身体領域以外の顔領域とその関連付けられた身体領域に対する２次元データからなるパラメータ・データに関してそれぞれに所定の値を加算した加算済みパラメータ・データと、ユーザが指定した顔領域とそれに関連付けられた身体領域に対する２次元データからパラメータ・データ値と比較して、小さな値を選択して、選択された値の２次元データからなる合成パラメータ・データを生成することを特徴とする請求項４記載の画像処置装置。
【００２６】
また、上記問題点を解決するため、本発明の画像を入力して処理して出力する画像処理方法は、複数の画素が２次元に配置されている画像データを入力すること、入力した前記画像データから顔領域を表すデータを抽出し、抽出した顔領域を表すデータに関連付けて前記画像データから前記顔領域以外の人体領域を抽出して、顔を含む人体の外縁部を求めること、入力した前記画像データを処理して被写界深度の浅い画像を生成するための、前記画像データの各画素に関連付けた２次元データから成るパラメータ・データを作成することであって、前記外縁部を含む人体領域には所定に値を設定し、前記外縁部の外部に位置する複数の前記画素に対応させて、各画素が前記外縁部からの距離が離れるに比例して、前記外縁部における前記所定の値から変化する値を前記各画素に対応させて割り当てることを、前記外縁部の外部に位置する複数の画素に対して実行し、各値が決定された２次元データから成るパラメータ・データを作成すること、および入力した前記画像データと２次元データの前記パラメータ・データを入力して、入力した前記各画像よりも被写界深度の浅く見える画像を表す補正された画像データを生成することを備えることを特徴とする。
【００２７】
上記問題点を解決するため、本発明の、画像を入力し、処理して出力することをコンピュータに実行させる命令を格納したコンピュータ可読媒体は、複数の画素が２次元に配置されている画像データを入力すること、入力した前記画像データから顔領域を表すデータを抽出し、抽出した顔領域を表すデータに関連付けて前記画像データから前記顔領域以外の人体領域を抽出して、顔を含む人体の外縁部を求めること、入力した前記画像データを処理して被写界深度の浅い画像を生成するための、前記画像データの各画素に関連付けた２次元データから成るパラメータ・データを作成することであって、前記外縁部を含む人体領域には所定に値を設定し、前記外縁部の外部に位置する複数の前記画素に対応させて、各画素が前記外縁部からの距離が離れるに比例して、前記外縁部における前記所定の値から変化する値を前記各画素に対応させて割り当てることを、前記外縁部の外部に位置する複数の画素に対して実行し、各値が決定された２次元データから成るパラメータ・データを作成すること、および前記入力手段で入力した前記画像データと２次元データの前記パラメータ・データを入力して、入力した前記各画像よりも被写界深度の浅く見える画像を表す補正された画像データを生成すること実行する命令を備えることを特徴とする。
【発明の効果】
【００２８】
以上、説明したように、本発明の画像処理あるいは画像処理方法は、顔領域を検出して、その顔領域を含む人体の外縁部からの距離に応じて変化する態様でボケ具合を変化させるので、顔や人体の領域に関してはピントの合った画像としながらも、不要な顔や人体から離れた背景画像をボケた画像とすることができる。このピントの合った領域とボケた画像の領域の中間の領域においてはなめらかにボケ具合が変化するところに本願発明の特徴がある。このことは、たとえば、女性の頭部周囲の髪の毛の部分に急激なボケ具合の変化を生じないので自然さのある画像とすることができるという特徴を有する。また、この特徴は、顔領域を含む人体の外縁部を必ずしも精確に特定する必要性を無くす効果を有し、同時にこのことは、本発明に汎用性があることを意味する。
【００２９】
また、複数の顔領域が存在しても、それぞれの顔検出結果から、パラメータ・データを算出して、複数のパラメータ・データを合成することで、目的に合致した、適切に被写界深度が補正された画像を得ることができる。
【発明を実施するための最良の形態】
【００３０】
（第1の実施例）
（画像処理装置）
以下、本発明について説明する。なお、本実施例では、本発明をプリンティング・システムに適用した場合について説明するが、本発明はプリンティング・システムに限定されるものではない。
【００３１】
図１は本発明の実行できるためのハードウェアの構成を示したブロック図である。図１において、画像処理装置１０１は、ＣＰＵ１０２、ＲＯＭ(read only memory)１０３、ＲＡＭ(random access memory)１０４、２次記憶装置１０５、表示装置１０６、入力装置１０７、Ｉ／Ｆ制御部１０８で構成される。
【００３２】
ＣＰＵ  １０２は中央演算処理ユニットでありＲＯＭ(read only memory) １０３、ＲＡＭ１０４、２次記憶装置１０５に格納されているプログラムを適時動作させて周辺機器を制御する。
【００３３】
ＲＯＭ１０３にはＢＩＯＳ(basic input/output system)と呼ばれる周辺機器の入出力を制御するプログラムが格納されていて、電源投入時に実行されＲＡＭ１０４やその他の入出力装置の初期化を行う。ＲＡＭ１０４は作業用のメモリ空間を提供している。２次記憶装置１０５はＨＤＤ(hard disk drive)やＣＤ−ＲＯＭ(compact disk-ROM)に代表される大容量磁気記憶装置などで構成されており、ＯＳ(operating system)、アプリケーションや各種データが格納されている。
【００３４】
表示装置１０６はＣＲＴ(cathode ray tube)ディスプレイや液晶ディスプレイなどの表示装置である。表示装置１０６にはアプリケーションの処理結果や、メッセージなどが表示される。入力装置１０７はキーボード、マウスなどのユーザの指示を入力する機器であって、ユーザの指示を画像処理装置１０１に入力する機能を提供している。
【００３５】
Ｉ／Ｆ制御部１０８は外部周辺機器とのインターフェースを提供している。インターフェースとしては、パラレル・ポートとも呼ばれるＩＥＥＥ１２８４やＳＣＳＩ(small computer system interface)、さらにはＵＳＢ(universal serial bus)、ＩＥＥＥ１３９４といったシリアル・バスなどが使用できる。どのインターフェースを使用するかは画像処理装置１０１の構成、外部周辺機器の対応によって決まる。
【００３６】
外部周辺機器としてはデジタル・スチル・カメラ１０９、メモリー・カード・リーダ／ライター１１０、プリンタ１１１がある。
【００３７】
デジタル・スチル・カメラ１０９は撮影装置であり、ユーザが撮影した撮影画像データが格納されている。撮影画像データはデジタル・スチル・カメラ１０９をＩ／Ｆ制御部１０８を介して画像処理装置１０１に接続して２次記憶装置１０５に転送して格納するか、デジタル・スチル・カメラに内蔵される記録メディアを取り出してメモリー・カード・リーダ／ライター１１０に挿入して撮影画像データを２次記憶装置１０５に転送して格納することができる。また、図示していないが、通信ラインを介して他のコンピュータから画像データを取り込んだり、リムーバル媒体（例えばＣＤ−Ｒ）から画像データを取り込んだりして、２次記憶装置に格納することも可能である。さらに、格納された撮影画像データはプリンタ１１１で印刷することが可能である。本発明が実装された画像処理装置の場合、２次記憶装置に格納された画像を処理して、処理した画像をプリンタ１１１で印刷したり、あるいは不図示の不揮発性のリムーバル媒体ドライブインターフェースを介してリムーバル媒体に格納したり、通信ラインを介して他のコンピュータに転送したり、またはＩ／Ｆ制御部１０８を介してプリンタ１１１で印刷することが可能である。ここで、画像処理装置１０１と、周辺機器（デジタル・カメラ１０９、メモリー・カード・リーダ／ライター１１０およびプリンタ）との間の接続線は、データの流れを示すものであって、必ずしもケーブルで接続されていることを表していない。
【００３８】
（画像処理アプリケーション）
図２は本発明で使用する画像処理アプリケーションのユーザ・インターフェース（以下ＵＩと省略して記す）の一例を示したものである。符号２０１は画像処理アプリケーションのＵＩ全体を示しており、符号２０２、２０３、２０４、２０５は、それぞれ、ユーザが操作可能な処理を選択するために画像選択タブ、補正選択タブ、用紙選択タブ、レイアウト／印刷タブである。
【００３９】
このアプリケーションは、画像処理装置１０１で実行可能なモジュールであり、ユーザの選択操作、実行操作理によって実行される。
【００４０】
画像選択タブ２０２を（たとえば、マウスを使用して）選択すると、図示はしていないが、これから補正や印刷を行うための画像を選択するためのＵＩ画面を表示することできる。画像の選択には、たとえばマウスが使用され、入力装置１０７を介してそのユーザ指示を入力する。用紙選択タブ２０４が選択されると、図示はしていないが、これから印刷するときに使用する紙の種類や大きさ、印刷品位を選択することできるＵＩ画面が表示される。レイアウト／印刷２０５が選択されると、図示はしていないが、印刷のレイアウト、たとえば用紙全面に一枚の画像を印刷する、または複数の画像が選択されている場合に用紙全面に４枚の画像を配置して印刷するなどのレイアウトを指定するためにＵＩ画面が表示される。
【００４１】
補正選択タブ２０３を選択すると、図２に示すようなＵＩ画面が表示され、被写界深度補正を選択するボタン２０６や、他の補正を選択するボタンをＵＩ上で選択できるようになっている。さらには補正対象となる画像２０７が表示されている。ユーザは画像２０７を見ながら補正強度２１２の修正や補正パターンの変更が可能になっている。
【００４２】
（画像解析フロー）
図３に画像処理フローのフローチャート図を示す。ここでは、画像データが２次記憶装置内に取り込まれ、ユーザが画像処理装置１０１上で画像処理アプリケーション２０１を起動した後の処理フローを説明する。
【００４３】
まず、図２に示す画像選択のＵＩ画面で、補正対象画像２０７を選択する（Ｓ３０１）。次に、補正選択のＵＩ画面を選択する。ここでは、補正対象画像２０７に対して被写界深度補正２０６釦を実行することを選択指定しているものとして、画像処理フローを説明する。
【００４４】
Ｓ３０２でユーザが被写界深度補正を自動で実行するか、あるいは手動で実行するかを、自動タブ２０８、手動タブ２０９が選択されたか否かで判定する。Ｓ３０１で手動タブ２０９が選択された場合、Ｓ３０３へ進み、補正対象画像２０７中にあるメインの被写体領域が、入力装置１０７によって指定される。Ｓ３０２で自動タブ２０８が選択された場合、Ｓ３０４へ進み、補正対象画像２０７に対して顔検出を行う。
【００４５】
このときに使用する顔検出手法としては、すでに様々な手法が提案されている。特許文献１６によれば、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。該顔候補領域に対して、画素毎の輝度勾配、および輝度勾配の重みを算出し、これらの値が、あらかじめ設定されている理想的な顔基準画像の勾配、および勾配の重みと比較したときに、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。
【００４６】
また、特許文献５によれば、まず画像中から肌色領域を検出し、同領域内において、人間の虹彩色画素を検出することにより、目の位置を検出することが可能であるとしている。
【００４７】
さらに、特許文献６によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算し、マッチング度が最も高いテンプレートを選択し、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。同テンプレートを用いるこことで、目の位置を検出することが可能であるとしている。
【００４８】
さらに、特許文献７によれば、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が度置きい画素の集合である目存在候補位置集合を求める。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。その距離が最も短くなるクラスタを目が存在するクラスタと決定することで、器官位置の検出が可能であるとしている。
【００４９】
その他、顔および器官位置を検出する方法としては、特許文献８から特許文献１５など、数多くの手法が提案されている。本実施例では特に手法を限定はしない。
【００５０】
顔検出の結果、たとえば図４に示すような画像４０１では、領域４０２に示すような矩形領域として顔検出結果が得られる。顔検出領域４０２のＬＴはＬｅｆｔ  Ｔｏｐで顔の左上の座標を、ＲＢはＲｉｇｈｔ  Ｂｏｔｔｏｍで顔の右下の座標を示している。
【００５１】
Ｓ３０５で、顔が検出されなかった場合はＳ３０１へ戻る。このとき、顔が検出されなかったことと、手動補正を推奨するメッセージをユーザに伝える。Ｓ３０４で顔が検出された場合は、顔の検出処理をＳ３０６でさらに進め、さらにその検出結果を元に人肌／胴体検出を行うためにＳ３０７へ進む。
【００５２】
人物の顔の下方向には首から胸へと肌の領域がつながっている可能性が高い。したがって、Ｓ３０７では、顔検出領域４０２の下辺の中心点から領域拡張法によって顔と同じ色成分の領域を判定していくことで人肌領域の判定を行う。また胴体検出は、画像のクラスタリング技術によって実現できる。たとえば、画像内部を同じ色成分の続いている領域に分割し、顔検出領域４０２の下に続く、所定の大きさの領域があればそれを胴体と判定できる。
【００５３】
ただし、実際には服の模様や、人物がポーズを取っているなどの理由から胴体検出を正確に行うことは困難であるために、胴体検出の検出結果が所定の信頼度をもてなかった場合には、顔検出領域４０２の下に続く三角形の領域を設定して、胴体とみなす。この例を図４に示す。
【００５４】
図４では画像４０１の中に一人の人物が撮影されており、その顔検出領域４０２が顔検出Ｓ３０３で検出されている。顔検出領域４０２の中心から下方向に胴体領域４０５が設定されている。胴体領域４０５は人肌検出／胴体検出の結果を用いるか、所定の角度を持った二等辺三角形になる領域を設定しても良い。
【００５５】
顔検出領域４０２と胴体領域４０５の設定が完了するとＳ３０８へ進む。Ｓ３０８では、元画像とボケ画像の合成の比率を決める２次元の値を有するパラメータ・データ、この実施形態においては透過率Ｓの算出を行う。（以後、この実施形態においては２次元の値を有するパラメータ・データを透過率と呼ぶ）ここで透過率Ｓは０≦Ｓ≦１とする。ここで、透過率は、前景画像の透過率を表し、０の場合不透明であり、１の場合は透明であることを表す。たとえば、Ｓ３０１で選択したオリジナルの画像を前景とし、このオリジナルの画像を所定のパラメータで平滑した（ボケた）画像を背景とした場合、０の場合は、前景画像が不透明であるため背景画像は顕れず、１の場合は前景画像が透明となって背景画像が１００パーセント顕れる、ことを表す。なお、この透過率は、オリジナル画像の画素数と、基本的には同数の値を有する２次元表現のデータである。しかし、現実的には、デジタル・カメラの記録画素数が大きく成っているので、処理スピードの関係で、デジタル・カメラの記録画素数よりも少なくすることが望ましい。この場合、画像合成段階で、少なくしたことによる影響を低減するように、データ内挿などの処理を行うことができる。
【００５６】
透過率算出のＳ３０６では、顔を含む身体の外縁部からの距離に応じて透過率曲線を算出する。図４では説明を簡単にするために顔の中心を通る水平線４０３上のパラメータ・データ、即ち透過率曲線４０７と、顔の中心を通る垂直線４０４上のパラメータ・データ、即ち透過率曲線４０６を示している。また、この図では、左上部のＬＴと右下部ＲＢの結ぶ対角線を有する四辺形を顔領域としている。
【００５７】
垂直線４０４上では、顔検出領域４０２の内部とその下方向は画像の端まで人体領域であるので、透過率Ｓ＝０に設定され、顔検出領域４０２の上端から上方向は、人体領域ではないので、人体領域の外縁部から離れるにしたがって単調増加させるように透過率Ｓを設定する。この結果、透過率は、透過率曲線４０６で表現されるような形となる。単調増加の関数は特に限定するものではない。図の例では顔検出領域４０２の上端でＳ＝０、画像の上端でＳ＝１となる２次曲線を示している。別な例としては、顔検出領域４０２の上端でＳ＝０、画像の上端でＳ＝１となる直線としても良く、所定の傾きを持つ直線として、透過率が最大値１を超える部分はすべて透過率を１となる直線でも良い。この透過率曲線を非線形の関数、たとえば、人体の外縁部からの距離に応じて階段状に変化する関数を定義すると、光学的なレンズの性能では得ることができない、デジタル画像処理ならではの遠近感の強調効果を作り出すことも可能である。
【００５８】
水平線４０３上では、透過率は、顔検出領域４０２の内部では０に設定され、顔検出領域４０２の外縁部から離れるにしたがって増加するように設定される。したがって、透過率曲線４０７は、顔領域内部では０で、顔領域の左右端から画像の端へ向かう方向で単調増加する曲線で表現される。透過率曲線４０６と同様に単調増加の関数は特に限定するものではない。
【００５９】
また、図４では、説明の簡単化のために、「人体の外縁部からの離れるにしたがって増加する」ことを、垂直と水平の２方向の距離で示したが、人体の外縁部は、直線ではなく、凹凸のある複雑な曲線であり、この結果、「人体の外縁部からの離れるにしたがって増加する」ことを忠実に実行した場合、ある値の透過率の画素位置を線で結んだ場合、その値が０．１の場合は、人体の外縁部の形状と相似の形状になり、大きな値になるにしたがって、その相似形状がより円形に近づいた形状になる。
【００６０】
図４で示した透過率曲線４０６、４０７は顔検出領域４０２が矩形領域となっている例である。しかし実際には顔の領域は楕円の方が適切に表現できる。したがって、顔検出領域４０２を矩形領域ではなく、楕円領域として表した方がよりよい画質になることは容易に推測できる。
【００６１】
以上の説明において、パラメータ・データ即ち透過率Ｓを、人体領域を０に、その外部のみ０から増加する値、とすることを説明した。
【００６２】
しかしながら、人物は立体であり、人体の外縁部は、人体の中央部よりも撮像地点から距離的に遠い部位である。したがって、たとえば、大口径のフィルム・カメラで、絞りを開放にして、顔の中心部（人体の一番手前側の部分）にピントを合わせたて撮像した場合、顔（人体）の外縁部の画像が、顔の中心部よりもピントが合っていない画像となる。このことを考慮すると、顔領域あるいは顔を含む人体領域の外縁部に対してもボケた画像とすることも効果的である。このような補正は、顔を含む人体外縁部周辺部に対して所定値（例えば、透過率として０．１）を設定し、人体領域の外部は、所定値から増加するように設定し、人体領域の内部に対しては、その外縁部からの距離に応じて、その所定値から０に向けて減少する値を設定することで可能となる。
【００６３】
Ｓ３０８で、すべての画素に対する透過率が算出されるとＳ３０９へ進み、オリジナル画像を入力しての平滑化した画像を生成し、次に合成を行う。
【００６４】
画像の平滑化はガウス・フィルタによって実現できる。ガウス・フィルタは式（１）で表現できる。
【００６５】
【数１】
2007066199.tif 000003
【００６６】
式（１）は一次元でのガウス・フィルタを示しているものであり、実際には２次元への拡張が必要である。また、Ｎは正規化変数である。さらに、ガウス・フィルタのパラメータである標準偏差σは、ガウス・フィルタの処理半径をｄとして、σ＝２／ｄとする。
【００６７】
ガウス・フィルタの処理半径ｄは顔のサイズから決定する。顔のサイズは４０２で示しているＬＴ、ＲＢの座標から計算できる。ここでは、顔のサイズがＤとするとｄ＝Ｄ／２０とする。さらにｄは元画像のサイズを所定の値で割った値にしても良い。また、ガウス・フィルタの処理半径ｄを、図２に、符号２１２で示したレバー位置から入力する値としたり、また取得した顔のサイズ値に対してその位置に応じて乗算あるいは除算させたりして、取得した顔のサイズ値を基準にボケ具合を可変することもできる。
【００６８】
合成処理は、入力のオリジナル画像をＳｒｃ（ｘ，ｙ）、オリジナル画像を、その全画面を一様なパラメータで平滑化した結果のボケ画像をＧｕｓ（ｘ，ｙ）、最終出力結果をＤｓｔ（ｘ，ｙ）、合成処理のための透過率をＳとすると、式（２）のように表すことができる。  
Ｄｓｔ（ｘ，ｙ）＝（１−Ｓ）Ｓｒｃ（ｘ，ｙ）＋Ｓ・Ｇｕｓ（ｘ，ｙ）    （式２）  
【００６９】
式（２）ですべての画素について計算を行い、被写界深度補正の施された画像を得ることができる。
【００７０】
被写界深度補正の施された画像が得られると、その画像は、図２に示すＵＩ画面内の２０７に示され、この補正された画像に対するユーザの評価結果を得ることになる（Ｓ３１０）。この補正された画像に対するユーザ評価がＯＫの場合は、その画像の保存処理が実行され（Ｓ３１１）、このような処理をさらに続行しない場合は、この処理は終了に進む。Ｓ３１０で、ユーザがＯＫとしなかった場合は、Ｓ３１１に進み、ユーザからのパラメータの変更が受け付けて、再度Ｓ３０９の処理が行われる。また、Ｓ３１２において更なる画像の処理を再開する場合、Ｓ３０１に戻る。
【００７１】
Ｓ３０１で手動補正が選択されＳ３０２に進んだ場合、ユーザによって顔の領域、またはユーザがメインの被写体であると判断する領域が指定される。この指定された領域の座標を顔検出の検出結果と見なしてＳ３０６へ進み、これまで説明した処理を実行する。これによって顔が検出できなかった場合、または顔以外の領域を対象とした被写界深度補正を実行することができる。
【００７２】
以上の説明では、パラメータ・データを２つの画像を合成するための透過率Ｓであるとして、説明した。しかし、同様に変換された画像を得る幾つかの方法が知られている。
【００７３】
代替形態においては、Ｓ３０９で、算出した透過率のデータ、すなわちパラメータ・データに応じて、前述したガウス・フィルタの処理半径ｄを可変して、対象画像データに対して直接フィルタ処理することで、式２に示すような合成処理をすることなく、補正された画像データを得ることができる。この場合、最終出力結果Ｄｓｔ（ｘ，ｙ）は、式２の表現を使用すると、以下の式３のように表すことができる。  
Ｄｓｔ（ｘ，ｙ）＝Ｇｕｓ（ｘ，ｙ）    （式３）
ここで、Ｇｕｓ（ｘ、ｙ）は、正確には下記の式（４）で表さる。
【００７４】
【数２】
2007066199.tif 000004
【００７５】
この式に従ってピクセルを処理し、それらを合成することによって、画像のフィルタ処理が実現されることになる。ここで、パラメータ・データ（ｘｉ，ｙｊ）の値に応じて、上式中のσを可変することになる。たとえば、パラメータ・データ（ｘｉ，ｙｊ）が０の場合には、実質的にフィルタ処理されないようにσを小さくし、パラメータ・データ（ｘｉ，ｙｊ）が１の場合にはσを所定の値にする。
【００７６】
なお、上述した実施形態では、顔領域を含む人体の領域に対して、一様な値をパラメータに設定することを説明しているが、顔領域を含む人体領域の外縁部に対して、たとえば、弱いフィルタ処理がなされるような一様な値に設定し、その外縁部からその内部に向かって距離に応じて、より弱いフィルタ処理がなされ、中心部ではフィルタ処理が全くなされないように設定することも可能である。
【００７７】
以上が、第１の実施形態の説明である。
【００７８】
（第２の実施形態）
第１の実施形態の場合、画像中に顔が一つ存在する場合について被写界深度補正を実行していた。しかし実際に撮影された画像では複数の人物が一つの画像に入っていることも多い。第２の実施例では、複数の人物が撮影されている場合の被写界深度補正について実施形態を説明する。また第一の実施例との違いについてのみ説明する。
【００７９】
図５は複数の人物が撮影されている画像５０１の例を示している。符号５０２、符号５０３はそれぞれの人物の顔領域の検出結果である。説明を簡単にするために、直線５０４上での透過率Ｓの変化を説明する。
【００８０】
Ｓ３０５ではそれぞれの顔検出結果に対して透過率の計算を行う。符号５０５は顔検出結果５０２に対する透過率曲線を示している。符号５０５は顔の領域内では透過率が０であり、顔の外縁部から外に対しては一定の傾きで透過率が大きくなるような例を示している。同様に符号５０６は顔検出結果５０３に対する透過率の計算結果である。いずれも、２つの顔領域を通る水平線５０４上の透過率を表している。なお、曲線５０５は、左側の人物に対する透過率を示し、右側の顔領域においても右方向に行くにしたがって増加傾向を示すように描いているが、これは説明を簡単にするためであり、顔（人体）領域とされたが透過率算出のための人体領域でない顔（人体）領域については、処理の高速化を目指す場合は、算出する必要がない。その理由は、その後の処理でその値が使用されることがないためであり、この場合、その後の比較処理に備えて単純に１に設定するだけで十分である。このことは、透過率曲線５０６についても同様である。
【００８１】
この二つの透過率の計算結果から一つの透過率曲線を生成する。透過率曲線５０７は、透過率曲線５０５と５０６の小さい方をその画素での透過率として採用している。透過率曲線５０７は複数の顔に対して同じようなソフト・フォーカス効果が得ることができる。
【００８２】
複数の人物が撮影されている場合、ある一人の人物を中心としたソフト・フォーカス効果を得たいという要求もある。透過率曲線５０８は、透過率曲線５０６を上方にシフトし、透過率曲線５０５と、シフトされた透過率曲線５０６の小さい方をその画素の透過率としたものである。どの顔領域を基準にするかは顔のサイズが一番大きなものとする。図５の場合は、左側の顔のサイズが大きいので、左側の顔を基準にしている。即ち、左側の画像の顔領域（人体領域）はオリジナルの画像となり、右側の顔領域（人体領域）は、平滑化されたボケ画像となることになる。複数の顔領域が検出された場合は、ユーザの選択によることも可能である。
【００８３】
この透過率曲線５０８の形は、そのオリジナルの画像が全面にピントの合った画像であった場合、その画像の曲線５０８で示される位置のボケ具合を示すことになる。この仮定のオリジナル画像の場合のボケ具合は、一様で平坦であり、本発明の画像処理をすることによって、たとえば、曲線５０８に示すようなボケ具合の画像に変換されることになる。言い換えれば、被写界深度が深く見える画像を、被写界深度が浅い、すなわち立体的に見える、ピントの合った画像部分が少ない、画像とすることが可能になり、その画像中のピントの合った部分を、その他の部分から浮き上がって見える画像とする。
【００８４】
図６は、図３のＳ３０６、Ｓ３０７およびＳ３０８の処理について、第２の実施形態を実行する場合を考慮したフロー図を示している。Ｓ６０１で顔検出処理を画像すべてについて実行する。次にＳ６０２で、検出した顔が複数存在したかがチェックされる。複数存在しない場合は、上述したように、Ｓ６０７で１つの顔に関連する人肌胴体の検出を実行、Ｓ６０８でその人体に対して透過率を算出して、この処理を終了する。しかし、Ｓ６０２で複数の顔を検出した場合、Ｓ６０３に進み、顔の下部の胴体部が分離しているかがチェックされる。
【００８５】
図５では、二人の人物の画像が分かれているので、たとえば、左側の人体領域に対しての透過率と、右側の人体領域に対する透過率を算出する上で、問題が生じない。すなわち、左側の人体領域に対しての透過率算出においては、右側の人体領域は、人体領域とは見なされず、それぞれ異なる透過率を算出できる。しかし、顔領域が重なっていなくても、その下部の胴体領域が重なっている場合がある。この場合、２つの顔領域は連続した領域となって、それぞれの透過率を独立に算出できないことになる。したがって、Ｓ６０３で、その分離状態を確認する。分離していない場合、Ｓ６０４で、それぞれの顔の間の中点を通る垂直線で、その重なり部分を分割して、１つの領域に１つ以上の顔が存在しないようにする。この胴体領域の透過率は実質的に使用されることはないので、この分割処置による不具合は生じない。次に、Ｓ６０５で、各顔について人肌胴体検出処理を行い、さらにＳ６０６で各人体に対して、透過率を算出し、この処理を終了する。
【００８６】
図７は、第２の実施例において、複数の、顔および人肌胴体に対して、図３におけるスＳ３０９のステップに相当する部分をより詳細に説明するフロー図である。まず、複数の顔を検出した場合、Ｓ７０１でその旨をユーザにＵＩを介して提示する。次に、ユーザからの指示をＵＩを介して入力し、Ｓ７０２複数の顔に対して差別することなく均一に処理するか、あるいは１つの顔と他の顔を区別するかを決定する。
【００８７】
Ｓ７０２で均一処理の場合、各人体に対する透過率の２次元データのそれぞれの対応する位置の透過率を比較して最小値から成る２次元データの作成し、最終的な透過率とする。即ち、図５の曲線５０７のような透過率を生成する。
【００８８】
Ｓ７０２で、１つの顔と他の顔を区別することを決定した場合、特定の顔領域を選択する入力をＳ７０４で受付、Ｓ７０５で、選択された人体（領域）以外の人体に対する透過率を、所定量シフトした（たとえば、図５の曲線５０６をそのままの形で、Ｙ軸（透過率）方向に移動）後、各身体に対する透過率の最小値から成る２次元データの作成し、最終的な透過率とする。この結果、図５に示す曲線５０８のような曲線を得ることができる。この場合、このシフト量もユーザからの指示によって変更あるいは設定することも可能である。
【００８９】
以上が、第２の実施形態の説明である。
【００９０】
（その他の実施例）
本発明で説明した画像符号化装置は、複数の機器（たとえば、ホスト・コンピュータ、インターフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。
【００９１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラム・コードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラム・コードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラム・コード自体が前述した実施形態の機能を実現することになり、そのプログラム・コードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラム・コードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラム・コードの指示に基づき、コンピュータ上で稼働しているオペレーティング・システム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９２】
さらに、記憶媒体から読み出されたプログラム・コードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラム・コードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００９３】
【図１】本発明の画像処理装置のハードウェア構成および本発明の画像処理方法を実装可能なハードウェア構成の例を示す図である。
【図２】本発明によるアプリケーションにおけるＵＩの例を示す図である。
【図３】本発明による画像処理方法の基本的なフローチャートの例を示す図である。
【図４】本発明による、一人の人物についての撮像画像における、顔抽出、顔の下方の胴体設定、およびこの場合のパラメータ（透過率）の算出を説明する図である。
【図５】本発明による他の実施形態の場合で、複数の顔を検出した場合のパラメータ（透過率）の算出／合成例を説明する図である。
【図６】図３のＳ３０６、Ｓ３０７およびＳ３０８の処理について、第２の実施形態を実行する場合を考慮したフロー図を示す図である。
【図７】第２の実施例において、複数の、顔および人肌胴体に対して、図３におけるスＳ３０９のステップに相当する部分をより詳細に説明するフロー図である。
【符号の説明】
【００９４】
１０１    画像処理装置
１０２    ＣＰＵ
１０３    ＲＯＭ
１０４    ＲＡＭ
１０５    ２次記憶装置
１０６    表示装置
１０７    入力装置
１０８    Ｉ／Ｆ制御部
１０９    デジタル・スチル・カメラ
１１０    メモリー・カード・リーダ／ライター
１１１    プリンタ
２０１    画像処理アプリケーションのＵＩ全体
２０２    画像選択タブ
２０３    補正選択タブ
２０４    用紙選択タブ
２０５    レイアウト／印刷タブ
２０６    被写界深度補正を選択するボタン
２０７    補正対象となる画像表示部分
２０８    自動補正タブ
２０９    手動補正タブ
２１０    実行釦
２１１    キャンセル釦
２１２    補正強度設定スライダ
４０１    撮像画像
４０２    顔検出領域
４０３    顔の中心を通る水平線
４０４    顔の中心を通る垂直線
４０５    顔検出領域４０２の中心から下方向に設定した胴体領域
４０６    顔の中心を通る垂直線４０４上の透過率曲線
４０７    顔の中心を通る水平線４０３上の透過率曲線
５０１    複数の人物が撮影されている画像
５０３、５０２    人物の顔領域の検出結果
５０４    ２つの顔領域を通る水平線
５０５    ５０２の人物に対する透過率曲線
５０６    ５０３の人物に対する透過率曲線
５０７    単純合成した透過率曲線
５０８    ５０２の人物に対する透過率曲線を上方にシフトした場合の合成透過率曲線
【図１】
2007066199.tif 000005
【図２】
2007066199.tif 000006
【図３】
2007066199.tif 000007
【図４】
2007066199.tif 000008
【図５】
2007066199.tif 000009
【図６】
2007066199.tif 000010
【図７】
2007066199.tif 000011