(57)【要約】【課題】  人物の大きさを検出して必要なときにのみ画像補正を行うようにする。【解決手段】  画像処理装置（１）は、入力された元画像に人物の顔が写っているか否かを判定する第１判定手段（２）と、前記第１判定手段（２）によって人物の顔が写っていることが判定された場合にその顔領域を抽出する抽出手段（２）と、前記抽出手段（２）によって抽出された顔領域の面積が所定値を越えるか否かを判定する第２判定手段（２）と、前記第２判定手段（２）の判定結果が肯定の場合に前記元画像に対して所定の画像補正をかける画像補正手段（２）とを備える。【選択図】  図１
2008084236.tif 000002
【特許請求の範囲】
【請求項１】
入力された元画像に人物の顔が写っているか否かを判定する第１判定手段と、
前記第１判定手段によって人物の顔が写っていることが判定された場合にその顔領域を抽出する抽出手段と、
前記抽出手段によって抽出された顔領域の面積が所定値を越えるか否かを判定する第２判定手段と、
前記第２判定手段の判定結果が肯定の場合に前記元画像に対して所定の画像補正をかける画像補正手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記画像補正手段は、前記第２判定手段の判定結果が肯定の場合に前記元画像に対して所定の画像補正をかけるとともに、該画像補正の程度を前記顔領域の面積に応じて加減することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像補正手段は、前記抽出手段によって複数の顔領域が検出された場合に、最も面積の大きな顔領域に対して所定の画像補正をかけることを特徴とする請求項１または請求項２いずれかに記載の画像処理装置。
【請求項４】
前記画像補正手段は、前記抽出手段によって複数の顔領域が検出された場合に、最も画面中央付近で検出された顔領域に対して所定の画像補正をかけることを特徴とする請求項１または請求項２いずれかに記載の画像処理装置。
【請求項５】
前記画像補正手段は、前記抽出手段によって複数の顔領域が検出された場合に、それら抽出された複数の顔領域に対し、最も面積の大きな顔領域を基準にして所定の画像補正をかけることを特徴とする請求項１または請求項２いずれかに記載の画像処理装置。
【請求項６】
前記画像補正手段は、前記抽出手段によって複数の顔領域が検出された場合に、それら抽出された複数の顔領域に対し、最も画面中央付近で検出された顔領域を基準にして所定の画像補正をかけることを特徴とする請求項１または請求項２いずれかに記載の画像処理装置。
【請求項７】
さらに、前記第２判定手段の判定結果が肯定の場合に画像拡大用の第１速度と画像移動用の第２速度とを算出する算出手段と、
前記元画像を表示手段に表示させると共に該表示手段に表示中の前記元画像の大きさを前記第１速度に従って徐々に拡大させ且つ該元画像中の前記顔領域の中心が該表示手段の画面の中心に略一致するように前記元画像の表示位置を前記第２速度に従って徐々に移動させる第１表示制御手段と、
前記第１表示制御手段における画像の拡大と画像の移動が完了してから所定時間の経過後に前記表示手段に表示されている画像の大きさを元画像の大きさに戻す第２表示制御手段と
を備えたことを特徴とする請求項１乃至請求項６いずれかに記載の画像処理装置。
【請求項８】
前記第２表示制御手段は、前記第１及び第２速度に従って前記表示手段に表示されている画像の大きさを元画像の大きさに戻すことを特徴とする請求項７記載の画像処理装置。
【請求項９】
入力された元画像に人物の顔が写っているか否かを判定する第１判定工程と、
前記第１判定工程によって人物の顔が写っていることが判定された場合にその顔領域を抽出する抽出工程と、
前記抽出工程によって抽出された顔領域の面積が所定値を越えるか否かを判定する第２判定工程と、
前記第２判定工程の判定結果が肯定の場合に前記元画像に対して所定の画像補正をかける画像補正工程と
を含むことを特徴とする画像処理方法。
【請求項１０】
コンピュータを、
入力された元画像に人物の顔が写っているか否かを判定する第１判定手段と、
前記第１判定手段によって人物の顔が写っていることが判定された場合にその顔領域を抽出する抽出手段と、
前記抽出手段によって抽出された顔領域の面積が所定値を越えるか否かを判定する第２判定手段と、
前記第２判定手段の判定結果が肯定の場合に前記元画像に対して所定の画像補正をかける画像補正手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関し、たとえば、デジタルカメラ等の撮像装置や、画像レタッチソフト等の画像処理用アプリケーションソフトウエア、あるいは、デジタル写真等を印刷する印刷装置などに適用することができる画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラは、被写体像をデジタル画像として撮影するので、画像の加工が容易であり、たとえば、画像レタッチソフト等の画像処理用アプリケーションソフトウエアを使用し、撮影済みの画像に対して明るさや色合いあるいはシャープネス（鮮鋭度）などを所望により微調整することができる。しかし、こうした調整を手動で行うのは手間がかかって面倒であるし、また、相応のテクニックも必要であることから、万人向けであるとはいえない。
【０００３】
そこで、たとえば、下記の特許文献１には、画像中の人物肌領域を検出し、所要の画像補正を行う技術が開示されている。
【０００４】
【特許文献１】特開２００６−１７９９８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記の従来技術は、単に、画像中の人物肌領域を検出し、所要の画像補正を行うというものに過ぎず、人物肌領域の大きさ、すなわち、その画像に写っている人物の大きさに対する配慮が全く払われていない。したがって、前記の従来技術では、たとえば、多人数の集合写真のように、各々の人物が小さく写っている画像の場合であっても所要の画像処理が行われてしまうこととなるが、こうした小さな顔領域に対して所要の画像補正を施してたとしても、あまり大きな効果を期待できないので、処理の無駄を否めないという問題点がある。
【０００６】
そこで、本発明の目的は、人物の大きさを検出して必要なときにのみ画像補正を行うことにより、無駄な処理を回避することにある。
【課題を解決するための手段】
【０００７】
請求項１記載の発明は、入力された元画像に人物の顔が写っているか否かを判定する第１判定手段と、前記第１判定手段によって人物の顔が写っていることが判定された場合にその顔領域を抽出する抽出手段と、前記抽出手段によって抽出された顔領域の面積が所定値を越えるか否かを判定する第２判定手段と、前記第２判定手段の判定結果が肯定の場合に前記元画像に対して所定の画像補正をかける画像補正手段とを備えたことを特徴とする画像処理装置である。
請求項２記載の発明は、前記画像補正手段は、前記第２判定手段の判定結果が肯定の場合に前記元画像に対して所定の画像補正をかけるとともに、該画像補正の程度を前記顔領域の面積に応じて加減することを特徴とする請求項１記載の画像処理装置である。
請求項３記載の発明は、前記画像補正手段は、前記抽出手段によって複数の顔領域が検出された場合に、最も面積の大きな顔領域に対して所定の画像補正をかけることを特徴とする請求項１または請求項２いずれかに記載の画像処理装置である。
請求項４記載の発明は、前記画像補正手段は、前記抽出手段によって複数の顔領域が検出された場合に、最も画面中央付近で検出された顔領域に対して所定の画像補正をかけることを特徴とする請求項１または請求項２いずれかに記載の画像処理装置である。
請求項５記載の発明は、前記画像補正手段は、前記抽出手段によって複数の顔領域が検出された場合に、それら抽出された複数の顔領域に対し、最も面積の大きな顔領域を基準にして所定の画像補正をかけることを特徴とする請求項１または請求項２いずれかに記載の画像処理装置である。
請求項６記載の発明は、前記画像補正手段は、前記抽出手段によって複数の顔領域が検出された場合に、それら抽出された複数の顔領域に対し、最も画面中央付近で検出された顔領域を基準にして所定の画像補正をかけることを特徴とする請求項１または請求項２いずれかに記載の画像処理装置である。
請求項７記載の発明は、さらに、前記第２判定手段の判定結果が肯定の場合に画像拡大用の第１速度と画像移動用の第２速度とを算出する算出手段と、前記元画像を表示手段に表示させると共に該表示手段に表示中の前記元画像の大きさを前記第１速度に従って徐々に拡大させ且つ該元画像中の前記顔領域の中心が該表示手段の画面の中心に略一致するように前記元画像の表示位置を前記第２速度に従って徐々に移動させる第１表示制御手段と、前記第１表示制御手段における画像の拡大と画像の移動が完了してから所定時間の経過後に前記表示手段に表示されている画像の大きさを元画像の大きさに戻す第２表示制御手段とを備えたことを特徴とする請求項１乃至請求項６いずれかに記載の画像処理装置である。
請求項８記載の発明は、前記第２表示制御手段は、前記第１及び第２速度に従って前記表示手段に表示されている画像の大きさを元画像の大きさに戻すことを特徴とする請求項７記載の画像処理装置である。
請求項９記載の発明は、入力された元画像に人物の顔が写っているか否かを判定する第１判定工程と、前記第１判定工程によって人物の顔が写っていることが判定された場合にその顔領域を抽出する抽出工程と、前記抽出工程によって抽出された顔領域の面積が所定値を越えるか否かを判定する第２判定工程と、前記第２判定工程の判定結果が肯定の場合に前記元画像に対して所定の画像補正をかける画像補正工程とを含むことを特徴とする画像処理方法である。
請求項１０記載の発明は、コンピュータを、入力された元画像に人物の顔が写っているか否かを判定する第１判定手段と、前記第１判定手段によって人物の顔が写っていることが判定された場合にその顔領域を抽出する抽出手段と、前記抽出手段によって抽出された顔領域の面積が所定値を越えるか否かを判定する第２判定手段と、前記第２判定手段の判定結果が肯定の場合に前記元画像に対して所定の画像補正をかける画像補正手段として機能させるためのプログラムである。
【発明の効果】
【０００８】
本発明では、人物の大きさを検出して必要なときにのみ画像補正を行うようにしたので、無駄な処理を回避することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態を、デジタルカメラへの適用を例にして、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。
【００１０】
図１は、デジタルカメラの構成図である。この図において、デジタルカメラ１は、ＣＰＵ２やＲＯＭ３及びＲＡＭ４並びに不図示の各種周辺回路等を含む典型的には１チップ化されたマイクロプロセッサからなる制御部５と、この制御部５の周囲に適宜に配置された、デジタルカメラに必要な、少なくとも、以下の各部を備えて構成されている。
【００１１】
特に必須ではないが、ストロボ発光部６及びストロボ駆動部７は、制御部５からのコントロールにより、撮影時の明るさが不足するなどの特定条件下において、ストロボ発光部６から被写体８に向けて所定光量または被写体８までの距離に対応して調光された光量のストロボ光９を発光する。
【００１２】
撮像部１０は、撮影レンズや絞り機構、焦点合わせ機構（及び必要であればズーム機構）を含む光学系１１と、ＣＣＤセンサまたはＣＭＯＳセンサなどの二次元イメージセンサからなる撮像デバイス１２とで構成される。撮像部１０の動作（絞りの大きさやズーム倍率、つまり撮影画角αの調整並びに焦点合わせ、及び、撮像デバイス１２の露光並びに読み出し動作）は、制御部５からの撮影動作指示を受けた撮像制御部１３からのコントロールによって制御される。制御部５からの撮影動作指示は、撮影構図確認用（いわゆるスルー画像用）や動画撮影用などの所定フレームレート（たとえば、毎秒数十乃至は数百枚のフレームレート）のフレーム画像読み出し動作指示、高解像度の静止画撮影動作指示、並びに、それらの動作に必要な絞り値設定やズーム倍率設定等の各種事前動作指示などを含む。
【００１３】
撮像部１０からは、上記の制御部５からの撮影動作指示に応答して、撮影構図確認用や動画用のフレーム画像が上記のフレームレートで周期的に読み出され、あるいは、高解像度の静止画フレーム画像が読み出される。これらのフレーム画像は、画像処理部１４において、デジタル信号に変換されると共に、所定の画像処理（たとえば、ホワイトバランスやガンマ補正処理等）が施された後、制御部５に取り込まれる。
【００１４】
操作部１５は、デジタルカメラ１のユーザ操作用入力インターフェースに必要な各種操作子、たとえば、電源スイッチ、画像撮影と画像再生のモード切替スイッチ、静止画撮影や動画撮影を行うためのシャッタボタン、各種設定メニューを表示するためのメニューボタン、そのメニュー項目を選択したり、画像再生モード時に再生を希望する画像を選択したりするための選択ボタン等を含む。
【００１５】
表示制御部１６は、制御部５から適宜に出力される様々な表示データ、たとえば、スルー画像用表示データ、メニュー画面用表示データ、画像の再生画面用表示データなどを所定の表示形式に変換して、液晶ディスプレイなどの小型（たとえば、２〜４インチ程度）の平面表示デバイスで構成された表示部１７に出力する。なお、この表示部１７は、タッチパネル１８付きのものであり、タッチ検出部１９は、タッチパネル１８への指またはペン等のタッチ座標を検出して、その検出結果を制御部５に出力する。
【００１６】
画像記憶部２０は、フラッシュメモリ、ハードディスクまたは光ディスク等の不揮発性（電源をオフにしてもその記憶内容を失わない）の大容量記憶装置によって構成されており、主に、このデジタルカメラ１で撮影された画像を蓄積保存するために用いられる。なお、蓄積保存される各画像は、たとえば、ＪＰＥＧ形式等の圧縮ファイル、または、非圧縮の生データファイル（いわゆるＲＡＷファイル）である。また、それら画像の保存領域は、ファイルシステムにおけるルート直下であってもよいし、あるいは、そのルート直下に適宜に作成された１階層ないしは多階層構造のフォルダであってもよい。加えて、この画像記憶部２０は、固定型であってもよく、あるいは、デジタルカメラ１から取り外して、たとえば、不図示のパーソナルコンピュータに装着可能な汎用形式のメモリデバイスであってもよい。
【００１７】
外部インターフェース２１は、たとえば、ＵＳＢやＩＥＥＥ１３９４などの汎用プロトコルに対応したデータ入出力部であり、この外部インターフェース２１を介し、必要に応じて、不図示のパーソナルコンピュータ等との間で撮影済み画像の転送（画像記憶部２０に蓄積保存されている画像をパーソナルコンピュータに転送する）や読み込み（パーソナルコンピュータから画像記憶部２０に画像を読み込む）を行うことができるものである。
【００１８】
電源部２２は、充電式の二次電池あるいは使い捨て型の一次電池を含み、制御部５をはじめとした、デジタルカメラ１の各部の動作に必要な電源電圧を供給する。
【００１９】
＜第１の実施形態＞
次に、第１の実施形態におけるデジタルカメラ１の特有の動作について説明する。第１の実施形態のデジタルカメラ１は、静止画や動画を撮影してその撮影画像を、たとえば、ＪＰＥＧ形式やＲＡＷ形式の画像ファイルで画像記憶部２０に蓄積保存することができると共に、その蓄積保存画像のうち所望の画像を選択して表示部１７に再生表示でき、且つ、撮影画像（あるいは画像記憶部２０に蓄積保存済みの画像）に人物が写っている場合に、その人物の見栄え改善を目的とした所定の画像補正を行うことができるものである。
【００２０】
以下、詳しく説明する。
図２は、ＲＡＭ４の記憶空間を示す概念図である。ＲＡＭ４は、制御部５の作業エリア（ＲＯＭ３に格納されている制御プログラムをロードしてＣＰＵ２で実行するためのエリア）として用いられると共に、上記の“所定の画像補正”を行うための記憶空間としても用いられる。このため、図２に示すように、ＲＡＭ４には、少なくとも二つの画像記憶領域４ａ、４ｂが確保されている。第一の画像記憶領域４ａは、撮影画像（所定の画像補正の対象画像であって、とりわけ画質がよい高解像度の静止画像）の記憶領域であり、第二の画像記憶領域４ｂは、その撮影画像の複製画像の記憶領域である。以下、説明の便宜上、第一の記憶領域４ａに記憶される画像（撮影画像）を“元画像”といい、第二の記憶領域４ｂに記憶される画像（撮影画像の複製画像）を“複製画像”ということにする。
【００２１】
第１の実施形態においては、静止画を撮影して、第一の記憶領域４ａにその撮影画像（元画像）を記憶すると、まず、その元画像に人物の顔が写っているか否かを判定する。そして、写っていない場合は、上記の“所定の画像補正”を行わずに通常どおり、その元画像を、たとえば、ＪＰＥＧ画像に変換して画像記憶部２０に蓄積保存するが、その元画像に人物の顔が写っている場合には、（イ）元画像の複製画像を第二の記憶領域４ｂに格納し、（ロ）その複製画像に「ガウスぼかし処理」をかけ、（ハ）ガウスぼかし処理後の複製画像と元画像とをスクリーン合成して、その合成画像で第一の記憶領域４ａに記憶されている元画像を更新した後、更新された元画像を、たとえば、ＪＰＥＧ画像に変換して画像記憶部２０に蓄積保存するという特徴的な動作を実行する。
【００２２】
ここで、ガウスぼかしとは、画像を構成する画素（ピクセル）の情報を周囲に拡散することによって、画像にボケ効果（またはぼかし効果）を出す処理のことをいい、拡散の範囲や強さを調節することにより、ボケの効果を強くしたり弱くしたりすることができるものである。なお、ここでは、ガウスぼかしとしているが、これに限定されず、人物を美しくするための画像処理であれば如何なるものであってもよい。
【００２３】
図３は、ガウスぼかしによるボケの効果を説明する図である。この図において、（ａ）は元画像２３、（ｂ）はガウスぼかしを施した複製画像２４、（ｃ）はガウスぼかし後の複製画像２４を合成した元画像（以下、合成画像２５という。）である。なお、これらの画像は、ディザ加工を施したモノクロ画像であるが、これは、図解上の都合であって、実際には高解像度のカラー画像である。
【００２４】
さて、（ａ）の元画像２３と（ｂ）のガウスぼかしを施した複製画像２４とを見比べると、ピントが合った鮮鋭な元画像２３に対して、ガウスぼかしを施した複製画像２４は被写体の輪郭線がにじむような感じでボケており、あたかもソフトフォーカスレンズや、フォギーフィルター等の特殊フィルターを用いて撮影されたときの画像のような効果を醸し出している。
【００２５】
このようなボケ効果を出す撮影テクニックは、上記のトフォーカスレンズや特殊フィルター等を用いた、とりわけ女性のポートレート写真において多用されているが、第１の実施形態においては、単にボケ効果だけを得るのではなく、ボケ効果に伴うピントの甘さを改善するように工夫している点にもポイントがある。
【００２６】
すなわち、画像のボケ効果だけを得るのであれば、（ｂ）のガウスぼかしを施した複製画像２４だけで充分である。つまり、このガウスぼかしを施した複製画像２４で第一の記憶領域４ａに記憶されている元画像を上書き更新すればよい。しかし、ガウスぼかしを施しただけでは、いわゆる“ピントの芯がない”甘い画像になってしまいやすく、作品としては不適当である。
【００２７】
そこで、この第１の実施形態では、ガウスぼかし処理後の複製画像２４と元画像２３とをスクリーン合成して、その合成画像で第一の記憶領域４ａに記憶されている元画像２３を更新するようにしている。（ｃ）の合成画像２５は、このようにして更新されたものである。（ｂ）のガウスぼかしを施した複製画像２４と（ｃ）の合成画像２５とを見比べると、ピントの甘さが改善されていることが認められる。したがって、このようにして、ガウスぼかしを施した複製画像２４と元画像２３とを合成して、第一の記憶領域４ａに記憶されている元画像２３を更新することにより、所定のボケ効果を出しつつも、ピントの甘さを改善して作品として充分に耐えうる品質の合成画像２５を生成することができるのである。
【００２８】
以下、第１の実施形態における画像補正について、具体的に説明する。
図４は、制御部５のＣＰＵ２で実行される制御プログラムのフローチャートを示す図である。このフローチャートでは、まず、画像データ（図３（ａ）の元画像２３）を取得する（ステップＳ１）。次いで、その元画像２３の中から顔を検出する（ステップＳ２）。この顔検出については、たとえば、原画像から肌色データを抽出し、肌色範囲と判断された測光点のクラスタを顔とする方法（特開昭５２−１５６６２４号公報、特開昭５３−１４５６２１号公報、特開昭５３−１４５６２２号公報）、測光したデータをＨ（色相）とＳ（彩度）に変換してＨ、Ｓの二次元ヒストグラムを作成し、このヒストグラムを単峰の山に分割し、原画像の各画素が分割された山のどれに属するかを判断して画素を分割することにより、顔の候補領域を抽出し、顔候補領域の輪郭と内部構造から人の顔か否かを判定する方法（特開平４−３４６３３３号公報）、複雑な背景下において大きさや位置及び方向が未知な顔を検出し、その顔の方向を推定する方法（「背景と顔の方向に依存しない顔の検出と顔方向の推定」、荒木他、財団法人電子情報通信学会、信学技報ＰＲＭＵ２００１−２１７  ｐｐ．８７−９４，２００２−０１）などをはじめとして、様々なものが知られているので、これらの公知技術を単独でまたは任意に組み合わせて利用すればよい。
【００２９】
このようにして顔検出を行うと、次に、顔検出ありか否かを判定する（ステップＳ３）。そして、顔検出なしの場合には、人物が写っていない、たとえば、風景などを撮影した画像であると判断してフローチャートを終了し、顔検出ありの場合には、次に、最大の顔領域が所定の面積以上であるか否かを判定する（ステップＳ４）。ここで、“顔領域”とは、先のステップＳ２で検出された顔の大きさ、正確には顔とみなされる部分の画素の集まりの大きさ（面積）のことをいう。なお、先のステップＳ２で検出された顔の数が複数の場合があり得る。つまり、一枚の元画像２３に複数の人物が写っている場合である。上記の“最大の顔領域”は、この複数の人物の顔のうち最も面積が大きい顔のことをいう。以降の補正処理では、この最大の顔領域を基準にして所定の補正処理（ガウスぼかし処理）を行っている。これは、最大の顔領域で写された人物は、その画像における主たる被写体（中心的な被写体）ということができるからであり、その主たる被写体を基準にしてガウスぼかし処理を行うのが、最も合理的な考え方であるからである。
【００３０】
ステップＳ４において、もし、最大の顔領域が所定の面積以上でなかった場合は、元画像２３に写っている人物の顔が小さく、たとえば、風景写真に偶然に写り込んでしまった人物、あるいは、多人数の集合写真などであると判断し、このような場合は、所定の補正処理（ガウスぼかし処理）を行う必要がないので、フローチャートを終了する。
【００３１】
一方、ステップＳ４において、最大の顔領域が所定の面積以上であった場合は、以下の補正処理を実行する。すなわち、最大の顔領域の面積（以下、Ｚとする。）を取得し（ステップＳ５）、次いで、第一の記憶領域４ａに記憶されている元画像２３を第二の記憶領域４ｂにコピーして、元画像２３の複製画像２４を作成する（ステップＳ６）。そして、その複製画像２３に対して、最大の顔領域の面積Ｚに対応した強さのガウスぼかし処理を施し（ステップＳ７）、ガウスぼかしを施した複製画像２４と元画像２３とをスクリーン合成して、第一の記憶領域４ａに記憶されている元画像２３を更新（ステップＳ８）して、合成画像２５とした後、フローチャートを終了する。
【００３２】
たとえば、次式（１）は、ガウスぼかしに利用可能な二次元ガウス関数の式である。
【００３３】
【数１】
2008084236.tif 000003
【００３４】
（ｘ，ｙ）：注目画素の座標
Ｇ：その座標に対する補正値
π：円周率
ｅ：自然対数の底
σ：ぼかし効果の係数
【００３５】
上式（１）において、係数σの値を最大顔領域の面積Ｚに依存して決定する。また、ステップＳ８におけるスクリーン合成は、背景と前景の値をそれぞれｂｇ、ｆｇ（ただし、０≦ｂｇ、ｆｇ≦１）とすると共に、前景の不透明度をα（ただし、０＜α＜１）とすると、次式（２）で求めることができるが、この不透明度αの値も最大顔領域の面積Ｚに依存して決定する。
【００３６】
【数２】
2008084236.tif 000004
【００３７】
図５は、顔領域の面積（Ｚ）とガウスぼかし効果の対応関係図である。この図に示すように、顔領域の面積（Ｚ）が大きくなるほど、ガウスぼかしの度合いを強くする。具体的には、上式（１）の係数σの値を大きくする。これは、たとえば、アップで撮影された顔に対しては強めのガウスぼかしの方が綺麗に見えるからであり、その逆に小さく写った顔に対してはほどほどに抑えたガウスぼかしの方が綺麗に見えるからである。なお、この図では、直線的な対応関係としているが、これに限定されない。線形的な対応関係であっても構わない。要は、顔領域の面積（Ｚ）が大きくなるほど、ガウスぼかしの度合いを強くするような対応関係になっていればよい。このことは、前記のスクリーン合成における前景の不透明度αについても同様である。すなわち、不透明度αの値を最大顔領域の面積Ｚに依存して決定する際に、顔領域の面積（Ｚ）が大きくなるほど、不透明度αを増やすようにすればよい。
【００３８】
また、ここでは、最大顔領域の面積に依存して所定の画像処理を行なったが、これに限らず、最も中心に近い位置にある顔の面積に依存して所定の画像処理を行なっても良い。
また、最大顔領域（その周囲を含んでも良い）にのみ所定の画像処理を行なうようにしても良い。
また、最も中心に近い位置にある顔領域（その周囲を含んでも良い）にのみ所定の画像処理を行なうようにしても良い。
【００３９】
以上のとおりであるから、第１の実施形態によれば、元画像２３から顔を検出して、その顔領域の面積Ｚを取り出し、その面積Ｚに応じて複製画像２４に対するガウスぼかしの度合いを加減すると共に、ガウスぼかしを施した複製画像２４と元画像２３とをスクリーン合成して合成画像２５とするので、美観に優れたソフトフォーカスの合成画像２５を得ることができる。したがって、人物に対してソフトフォーカスをかけて美的感覚に優れた画像を得るようにすることができ、さらに、人物の大きさを検出して必要なときにのみ画像補正を行うことにより、無駄な処理を回避することができる。加えて、ガウスぼかしを施した複製画像２４と元画像２３とをスクリーン合成するので、単なるソフトフォーカス効果だけでなく、ピントの芯も失わない、作品として優れた合成画像２５を得ることができる。
【００４０】
図６は、第１の実施形態の好ましい改良例のフローチャートを示す図である。このフローチャートは、図４のステップＳ８の後に追加されて実行される。この追加されたフローチャートでは、顔領域から“口（くち）”の位置を取得し（ステップＳ９）、口領域の赤味が強い部分（つまり唇の部分）の赤味を強調する（ステップＳ１０）。そして、他の未処理の口領域の有無を判定し（ステップＳ１１）、まだ未処理の口領域があれば、上記のステップＳ９以降を繰り返す。
【００４１】
図７は、改良例を適用した合成画像２５を示す図である。この合成画像２５には、二人の女性が写っているので、口の領域は二つである。なお、この図では、右側の女性の口領域２６と、その口領域２６内の赤味が強い部分（唇の部分）２７を代表して示している。図６のフローチャートを実行することにより、これら二人の女性の唇の色をより赤味が増すように強調して、健康的な絵に補正することができる。ちなみに、ここでは赤味を補正しているが、これに限らず、人物（特に女性）を美しく見せるための画像補正であれば如何なるものであってもよい。たとえば、マゼンタを若干量強くしてもよい。
【００４２】
なお、顔領域から“口（くち）”の位置を取得するための技術としては、たとえば、特開２００６−１１３６５８号公報などが知られている。
【００４３】
＜第２の実施形態＞
次に、第２の実施形態におけるデジタルカメラ１の特有の動作について説明する。上記第１の実施形態では、人物に対してソフトフォーカスをかけて美的感覚に優れた画像を得るようにすることを目的としているが、この第２の実施形態では、さらに、表示部１７の画面上において、人物の顔を所定時間拡大表示してから元の大きさに戻すようにして操作性の改善を図ることを目的としている。
【００４４】
すなわち、ほとんどのデジタルカメラは、モニター用の液晶ディスプレイを備えており、撮影した画像をその場でディスプレイに表示して確認できるようになっているが、液晶ディスプレイのサイズは、高々数インチ程度（大きなものでも２〜４インチ）と小さく、たとえば、ピントの合い具合を調べるためには、いちいちボタンを操作して画像を拡大表示しなければならないという不都合がある。この不都合を解消するために、たとえば、特開２００５−３１１８８８号公報に記載の技術（以下、先行技術という。）においては、画面に表示された画像の中から人の顔などの注目被写体を検出し、その注目被写体の位置や大きさに従って、この注目被写体を拡大表示するための表示領域や拡大率を決定し、その表示領域や拡大率に従って、注目被写体を画面に拡大表示するようにしている。
【００４５】
しかしながら、この先行技術では、人の顔などの注目被写体を画面に拡大表示するようにしているが、拡大した画像を元の大きさに戻すことについては一切言及されていない。したがって、要するに「拡大しっぱなし」であるから、いちいち手作業で、画像のサイズを元の大きさに戻さなければならず、操作性の悪さを否めないという問題点がある。
【００４６】
以下に説明する第２の実施形態は、以上のような背景に鑑みてなされたものであり、人物の顔を所定時間拡大表示してから元の大きさに戻すようにして操作性の改善を図ることにある。
【００４７】
図８は、制御部５のＣＰＵ２で実行される制御プログラムのフローチャートを示す図である。このフローチャートにおいて、画像データの取得から所定の大きさ以上の顔の検出までの処理（ステップＳ１〜ステップＳ４）は、上記の第１の実施形態と同じであるので説明を省略する。
【００４８】
所定の大きさ以上の顔領域が検出できたら、まず、所定面積以上の顔領域の一つを選択し（ステップＳ１２）、選択した顔領域の面積と元画像の面積との比率から、後述する「画像拡大の速度」を算定する（ステップＳ１３）と共に、元画像の中心と顔領域の中心との距離から「移動の速度」も検出する（ステップＳ１４）。ちなみに、これらの速度は画像が最大に拡大された時に、その拡大画像の中心（顔領域の中心）が画面の中心に位置するように同期させるものとする。これらの速度は等速である必要はなく、加速度を持ってもいてもよい。
【００４９】
このように拡大の速度と移動の速度を算定すると、次に、表示部１７の画面上に表示されている画像の大きさを、上記のステップＳ１３で算定した「画像拡大の速度」に従って徐々に拡大するとともに、その画像内の顔領域の中心を、表示部１７の画面の中心に向けて、上記のステップＳ１４で算定した「移動の速度」に従って徐々に移動させる（ステップＳ１５）。そして、拡大と移動の完了を判定し（ステップＳ１６）、完了を判定すると、次いで、所定の待ち時間が経過したか否かを判定する（ステップＳ１７）。この“所定の待ち時間”は、表示部１７に拡大表示された画像をユーザが見て、ピントの合い具合などを確認できる程度の過不足のない時間である。
【００５０】
そして、所定の待ち時間が経過したら、表示部１７に表示されている画像の大きさを元に戻す（ステップＳ１８）。この元の大きさに戻す際にも、一瞬で戻すのではなく、上記の速度（画像拡大の速度及び移動の速度）を利用して徐々に戻すようにしてもよい。
【００５１】
このようにして、表示部１７に表示されている画像の大きさを元に戻すと、次いで、ユーザによる終了コマンド操作が行われたか否かを判定し（ステップＳ１９）、終了コマンド操作が行われていれば、そのままフローチャートを終了するが、終了コマンド操作が行われていなければ、他にも所定面積以上の顔領域があるか否かを判定し（ステップＳ２０）、他にも所定面積以上の顔領域があれば、ステップＳ１２以降を繰り返し、他にも所定面積以上の顔領域がなければ、そのままフローチャートを終了する。
【００５２】
図９は、画像拡大処理の概念図である。この図において、表示部１７の画面２８には、図３の合成画像２５に相当する画像が表示されている。この画像には、たとえば、（ａ）に示すように、一人の人物２９が写っており、その人物２９の顔領域３０が点線の矩形で示されている。ここで、（ｂ）に示すように、画面２８の縦サイズをＤY、横サイズをＤXで表すと共に、同様に、顔領域３０の縦サイズをＥY、横サイズをＥXで表すことにする。また、画面２８の中心点をＤP、顔領域３０の中心点をＥPで表すことにする。（ｃ）は拡大後の顔領域３２を表示しているときの画面２８を示しており、拡大後の顔領域３２の縦サイズはＥY´、横サイズはＥX´であり、拡大後の顔領域３２の中心点ＥPは画面２８の中心点ＤPと略一致している。
【００５３】
上記のステップＳ１３における「画像拡大の速度」は、既述のとおり、選択した顔領域の面積と元画像の面積との比率から算定する。これは、ＤY×ＤXとＥY×ＥXとの比率から算定することを意味する。たとえば、ＤY×ＤXとＥY×ＥXとの比率がＡであれば、このＡに対応した画像拡大の速度を算定し、あるいは、その比率がＡよりも小さいＢであれば、Ｂに対応した低い画像拡大の速度を算定する。ステップＳ１４における「移動の速度」も同様である。すなわち、たとえば、ＤY×ＤXとＥY×ＥXとの比率がＡであれば、このＡに対応した移動の速度を算定し、あるいは、その比率がＡよりも小さいＢであれば、Ｂに対応した低い移動の速度を算定する。
【００５４】
このようにすると、表示部１７の画面２８に表示する画像が人物画像と判別された場合は、元画像の注目領域（顔領域３０）を画面２８一杯に自動的に拡大して表示することができ、手間を掛けることなく、ピントの合い具合などを確認することができる。しかも、この拡大表示は、所定の待ち時間の経過（ステップＳ１７参照）後に、自動的に元の大きさの画像に戻されるので、いちいち拡大表示をキャンセルする必要もない。したがって、撮影後のプレビュー表示を小さなサイズの表示部１７で行う場合であっても、特段の操作を必要とせずに、ピントの合い具合などをスムーズに確認できるから、きわめて使い勝手のよい、操作性に優れたデジタルカメラ１を提供することができる。
【００５５】
加えて、この実施形態によれば、「画像拡大の速度」と「移動の速度」を、選択した顔領域の面積と元画像の面積との比率から算定するので、あたかもズームを行っているが如き感覚で顔領域の拡大表示を行うことができ、どの部分を拡大したかをユーザに直感的に知らせることができるという特有の効果が得られる。
また、画像の拡大を完了して元画像の大きさに戻す際にも前記の「画像拡大の速度」と「移動の速度」に従うようにすれば、アニメーションのような効果を醸し出すことができるので、より好ましいものとすることができる。
【００５６】
この第２の実施形態に必須の事項は、以下のとおりである。
まず、画像処理装置としてみた場合、入力された元画像に人物の顔が写っているか否かを判定する第１判定手段と、前記第１判定手段によって人物の顔が写っていることが判定された場合にその顔領域を抽出する抽出手段と、前記抽出手段によって抽出された顔領域の面積が所定値を越えるか否かを判定する第２判定手段と、前記第２判定手段の判定結果が肯定の場合に画像拡大用の第１速度と画像移動用の第２速度とを算出する算出手段と、前記元画像を表示手段に表示させると共に該表示手段に表示中の前記元画像の大きさを前記第１速度に従って徐々に拡大させ且つ該元画像中の前記顔領域の中心が該表示手段の画面の中心に略一致するように前記元画像の表示位置を前記第２速度に従って徐々に移動させる第１表示制御手段と、前記第１表示制御手段における画像の拡大と画像の移動が完了してから所定時間の経過後に前記表示手段に表示されている画像の大きさを元画像の大きさに戻す第２表示制御手段とを備えたことを特徴とするものである。
また、前記第２表示制御手段は、前記第１及び第２速度に従って前記表示手段に表示されている画像の大きさを元画像の大きさに戻すことを特徴とするものである。
【００５７】
さらに、画像処理方法としてみた場合、入力された元画像に人物の顔が写っているか否かを判定する第１判定工程と、前記第１判定工程によって人物の顔が写っていることが判定された場合にその顔領域を抽出する抽出工程と、前記抽出工程によって抽出された顔領域の面積が所定値を越えるか否かを判定する第２判定工程と、前記第２判定工程の判定結果が肯定の場合に画像拡大用の第１速度と画像移動用の第２速度とを算出する算出工程と、前記元画像を表示手段に表示させると共に該表示手段に表示中の前記元画像の大きさを前記第１速度に従って徐々に拡大させ且つ該元画像中の前記顔領域の中心が該表示手段の画面の中心に略一致するように前記元画像の表示位置を前記第２速度に従って徐々に移動させる第１表示制御工程と、前記第１表示制御工程における画像の拡大と画像の移動が完了してから所定時間の経過後に前記表示手段に表示されている画像の大きさを元画像の大きさに戻す第２表示制御工程とを含むことを特徴とするものである。
または、前記第２表示制御工程は、前記第１及び第２速度に従って前記表示手段に表示されている画像の大きさを元画像の大きさに戻すことを特徴とするものである。
【００５８】
さらに、プログラムとしてみた場合、コンピュータに、入力された元画像に人物の顔が写っているか否かを判定する第１判定手段と、前記第１判定手段によって人物の顔が写っていることが判定された場合にその顔領域を抽出する抽出手段と、前記抽出手段によって抽出された顔領域の面積が所定値を越えるか否かを判定する第２判定手段と、前記第２判定手段の判定結果が肯定の場合に画像拡大用の第１速度と画像移動用の第２速度とを算出する算出手段と、前記元画像を表示手段に表示させると共に該表示手段に表示中の前記元画像の大きさを前記第１速度に従って徐々に拡大させ且つ該元画像中の前記顔領域の中心が該表示手段の画面の中心に略一致するように前記元画像の表示位置を前記第２速度に従って徐々に移動させる第１表示制御手段と、前記第１表示制御手段における画像の拡大と画像の移動が完了してから所定時間の経過後に前記表示手段に表示されている画像の大きさを元画像の大きさに戻す第２表示制御手段とを実現させるためのプログラムである。
または、前記第２表示制御手段は、前記第１及び第２速度に従って前記表示手段に表示されている画像の大きさを元画像の大きさに戻すことを特徴とするプログラムである。
【００５９】
このような必須の事項を備えることにより、元画像の注目領域（顔領域）を表示手段の画面一杯に自動的に拡大して表示することができ、手間を掛けることなく、ピントの合い具合などを確認することができる。しかも、この拡大表示は、所定の待ち時間の経過後に、自動的に元の大きさの画像に戻されるので、いちいち拡大表示をキャンセルする必要もない。したがって、撮影後のプレビュー表示を小さなサイズの表示手段（たとえば、数インチ程度の液晶ディスプレイ）で行う場合であっても、特段の操作を必要とせずに、ピントの合い具合などをスムーズに確認できるから、きわめて使い勝手のよい、操作性に優れたデジタルカメラを提供することができる。さらに、画像の拡大を完了して元画像の大きさに戻す際にも前記の第１及び第２速度に従うので、アニメーションのような効果を醸し出すことができる。
【００６０】
なお、以上の第１及び第２の実施形態では、検出された最大の顔領域が所定の大きさを超えているものに対して所定の補正処理を行っているが、これに限定されない。
【００６１】
図１０は、補正処理の対象となる顔領域の他の検出概念図である。この図において、（ａ）に示す画像３３には、中央に位置する背景（ここでは便宜的に山）と右側に位置する人物３４とが写っており、また、（ｂ）に示す画像３５には、中央に位置する背景（ここでは便宜的に山）と、同じく中央に位置する人物３６とが写っている。このように、これら二つの画像３３、３５には、いずれも人物３４、３６が写っているが、中央に写っている人物３６の方が主要な被写体であるということができる。多くの場合、主要な被写体は構図の中心に据えられるからである。
【００６２】
したがって、言い換えれば、構図の中心から外れた人物（たとえば、画像３３の人物３４）は、偶然に写り込んでしまった不要な被写体であるということができるから、そのような不要な被写体が、仮に、画像３３の人物３４であったとして、その人物３４の顔領域が所定面積以上であったとしても、その人物３４の顔領域を基準にして所定の補正処理（ガウスぼかし処理等）を行うのは無駄なことである。
【００６３】
この対策としては、画像の水平方向で最も中心に近い顔領域を検出し、その顔領域が所定の大きさを超えている場合にだけ所定の補正処理を行うようにすればよい。このようにすると、（ａ）の画像３３に対する無駄な補正処理を回避し、且つ、（ｂ）の画像３５に対してだけ所定の補正処理を行うことができるようになる。
【００６４】
また、以上の実施形態は、デジタルカメラ等の撮像装置への適用を例にしたが、これに限定されない。パーソナルコンピュータで用いられる画像レタッチソフト等の画像処理用アプリケーションソフトウエアにも適用できるし、あるいは、デジタル写真等を印刷する印刷装置（プリンタ）などの組み込みソフトウェアにも適用できる。
【００６５】
また、以上の実施形態における主要な機能は、もっぱら、図４や図６あるいは図８のフローチャートで示す制御プログラムに実装されており、そして、これらの制御プログラムをＣＰＵ等のコンピュータ上で実行することによって、以上の実施形態における特有の作用効果が得られるのであるから、以上の実施形態における特徴的な技術事項は、それらの制御プログラムに含まれているということができる。したがって、本件発明の保護されるべき範囲は、その制御プログラムを当然含み、且つ、それらのプログラムを収めた記録媒体、さらには、ネットワークを介して当該プログラムを配布することが可能なあらゆる媒体がその範囲に含まれる。
【００６６】
以上のとおり、前記の第一の実施形態では、要するに、デジタル画像データを保持する画像データ保持手段と、画像データに対し顔検出処理を行う顔検出手段と、画像データに対し所定の画像処理を行う画像処理手段と、画像データを表示する画像表示手段と、を有し、上記画像データ保持手段で保持されている画像データのうち指定されたものに対し、上記顔検出手段で顔検出を行い、顔が検出されたならばその画像を人物画像として扱い、上記画像処理手段で自動的に人物画像が美しく見えるように画像処理を行い、その結果を上記画像表示手段で表示するようにしたので、美観に優れた画像表示を行うことができる。
【００６７】
また、上記顔検出手段で検出された顔領域の面積が所定の大きさを超えたものに対してのみ上記画像処理手段での処理を実行するようにすれば、たとえば、多人数の集合写真のように、各々の人物が小さく写っている画像の場合において、所定の画像処理を行わないようにして、無駄な処理を回避することができる。
また、上記顔検出手段で複数の顔領域が検出された場合、それらのうち最も面積の大きい顔領域を基準に処理の実行の判断を行うようにすれば、効率的な画像補正を行うことができる。
【００６８】
また、上記顔検出手段で検出された顔領域の面積に応じて、上記画像処理手段での処理の効果の度合いを変化させるようにすれば、より効果的な画像補正を行うことができる。
また、上記顔検出手段で複数の顔領域が検出された場合、それらのうち最も面積の大きい顔領域を基準に処理の効果の度合いを決定するようにすれば、効率的な画像補正を行うことができる。
【００６９】
また、上記顔検出手段で複数の顔領域が検出された場合、それらのうち最も画像水平方向の中央付近で検出された顔領域を基準に処理の効果の度合いを決定するようにすれば、注目被写体（多くの場合、画像水平方向の中央付近に位置する）を基準にして、処理の効果の度合いを決定することができる。
また、上記顔検出手段で顔を検出した場合、その検出された顔領域に対しズームイン／アウトとなるように上記画像処理手段で拡大／縮小処理を行い表示画像に動きを与えるようにすれば、画像の表示に面白みを持たせることができるとともに、複数の人物が写っている場合には、見ている人に誰の顔のズームアップかを直感的に把握させることができる。
【００７０】
また、上記顔検出手段で検出された顔領域の面積が所定の大きさを超えたものに対してのみ上記画像処理手段での処理を実行するようにすれば、たとえば、多人数の集合写真のように、各々の人物が小さく写っている画像の場合において、所定の画像処理を行わないようにして、無駄な処理を回避することができる。
また、上記顔検出手段で複数の顔領域が検出された場合、それらのうち所定の大きさを超えたものに対し順々にズームイン／アウトの画像処理を上記画像処理手段で実行するようにすれば、たとえば、多人数の集合写真のように、各々の人物が小さく写っている画像の場合において、所定の画像処理を行わないようにして、無駄な処理を回避することができる。
また、画像の面積が所定の大きさより小さい場合（たとえば、サムネイル画像等）は、顔検出処理を行わないようにすれば、所定の画像処理を行わないようにして、無駄な処理を回避することができる。
【図面の簡単な説明】
【００７１】
【図１】デジタルカメラの構成図である。
【図２】ＲＡＭ４の記憶空間を示す概念図である。
【図３】ガウスぼかしによるボケの効果を説明する図である。
【図４】制御部５のＣＰＵ２で実行される制御プログラムのフローチャートを示す図である。
【図５】顔領域の面積（Ｚ）とガウスぼかし効果の対応関係図である。
【図６】第１の実施形態の好ましい改良例のフローチャートを示す図である。
【図７】改良例を適用した合成画像２５を示す図である。
【図８】制御部５のＣＰＵ２で実行される制御プログラムのフローチャートを示す図である。
【図９】画像拡大処理の概念図である。
【図１０】補正処理の対象となる顔領域の他の検出概念図である。
【符号の説明】
【００７２】
１  デジタルカメラ（画像処理装置）
２  ＣＰＵ（第１判定手段、抽出手段、第２判定手段、画像補正手段、
合成手段、算出手段、第１表示制御手段、第２表示制御手段）
１７  表示部（表示手段）
２３  元画像
２４  複製画像
２５  合成画像
【図１】
2008084236.tif 000005
【図２】
2008084236.tif 000006
【図３】
2008084236.tif 000007
【図４】
2008084236.tif 000008
【図５】
2008084236.tif 000009
【図６】
2008084236.tif 000010
【図７】
2008084236.tif 000011
【図８】
2008084236.tif 000012
【図９】
2008084236.tif 000013
【図１０】
2008084236.tif 000014