(57)【要約】  【課題】  原画像に含まれる人物の顔画像を検出しながらも撮影意図を反映した写真プリントを得ることのできる写真画像処理方法及びその装置を提供する。【解決手段】  原画像データから人物の顔画像を検出する顔画像検出手段５１と、前記顔画像検出手段５１による検出結果に基づいて少なくともポートレート写真、記念写真、風景写真の何れの撮影シーンであるかを判定する撮影シーン判定手段５３と、前記撮影シーン判定手段５３による判定結果に基づいて前記原画像データを補正処理する補正処理手段５４を備えてなる写真画像処理装置であって、前記検出された顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定する姿勢判定手段５２を備え、前記撮影シーン判定手段５３は、前記姿勢判定手段５２で判定された顔画像の姿勢に基づいた顔画像検出領域を設定し、前記顔画像検出領域に存在する顔画像の面積比率に基づいて撮影シーンを判定する。【選択図】  図３
2007200069.tif 000002
【特許請求の範囲】
【請求項１】
入力された原画像データから人物の顔画像を検出する顔画像検出工程と、前記顔画像検出工程による検出結果に基づいて少なくともポートレート写真、ポートレート写真以外の写真を区別して撮影シーンを判定する撮影シーン判定工程と、前記撮影シーン判定工程による判定結果に基づいて前記原画像データを補正処理する補正処理工程を備えてなる写真画像処理方法であって、前記顔画像検出工程で検出された人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定する姿勢判定工程を備え、前記撮影シーン判定工程は、前記姿勢判定工程で判定された顔画像の姿勢に基づいた顔画像検出領域を設定し、前記顔画像検出領域に存在する顔画像の面積比率に基づいて撮影シーンを判定する写真画像処理方法。
【請求項２】
前記撮影シーン判定工程は、前記顔画像検出領域に存在する顔画像の面積比率が予め設定された基準面積比率より大となる顔画像のうち最大サイズの顔画像を判定基準顔画像として撮影シーンを判定する請求項１記載の写真画像処理方法。
【請求項３】
入力された原画像データから人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段による検出結果に基づいて少なくともポートレート写真、ポートレート写真以外の写真を区別して撮影シーンを判定する撮影シーン判定手段と、前記撮影シーン判定手段による判定結果に基づいて前記原画像データを補正処理する補正処理手段を備えてなる写真画像処理装置であって、前記顔画像検出手段で検出された人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定する姿勢判定手段を備え、前記撮影シーン判定手段は、前記姿勢判定手段で判定された顔画像の姿勢に基づいた顔画像検出領域を設定し、前記顔画像検出領域に存在する顔画像の面積比率に基づいて撮影シーンを判定する写真画像処理装置。
【請求項４】
前記撮影シーン判定手段は、前記顔画像検出領域に存在する顔画像の面積比率が予め設定された基準面積比率より大となる顔画像のうち最大サイズの顔画像を判定基準顔画像として撮影シーンを判定し、前記補正処理手段は、前記撮影シーン判定手段により判定された撮影シーン及び前記判定基準顔画像の面積比率に基づいて前記原画像データを補正処理する請求項３記載の写真画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された原画像データから人物の顔画像を検出する顔画像検出工程と、前記顔画像検出工程による検出結果に基づいて少なくともポートレート写真、ポートレート写真以外の写真を区別して撮影シーンを判定する撮影シーン判定工程と、前記撮影シーン判定工程による判定結果に基づいて前記原画像データを補正処理する補正処理工程を備えてなる写真画像処理方法及びその装置に関する。
【背景技術】
【０００２】
銀塩写真画像をフィルムスキャナで取り込んだデジタル画像やデジタルスチルカメラで撮影したデジタル画像を原画像データとして写真プリンタで出力する場合には、フィルムスキャナやデジタルスチルカメラ等の入力系、原画像データに対する拡縮処理等の画像処理系、及び、写真プリンタ等の出力系夫々の固有の原因により鮮鋭度が低下して出力写真の画質が劣化するという問題があり、ピントの甘い画像や拡縮処理等で損なわれた鮮鋭感を回復するために様々な鮮鋭化処理方法が提案されている。
【０００３】
一般的に風景写真の場合には鮮鋭化強度を強めに設定し、人物写真の場合には鮮鋭化強度を弱めに設定したプリント画像が好まれる傾向があるため、特許文献１には、非人物写真、証明写真、ポートレート、スナップ写真、集合写真等の撮影シーンを推定し、各撮影シーンに適した画像処理を行なうことが可能な画像処理方法として、顔検出手段によって顔領域を検出し、前記検出された顔領域の数や、最大サイズの顔領域のサイズ情報に基づいて画像処理条件パラメータを生成し、前記画像処理条件パラメータに基づいて画像処理することを特徴とする画像処理方法が提案されている。
【０００４】
さらに、特許文献２には、入力画像より人物の顔を検出して人物の有無を判断し、人物が無いときには風景写真画像と判断し、人物が存するときには、その後顔の面積の算出及び人数をカウントし、この顔の面積が画面の所定割合以上及びこの人数が所定人数以下でないときは人物・記念写真画像と判断し、この顔の面積が画面の所定割合以上及びこの人数が所定人数以下のときは、ポートレート画像と判断する画像判別方法が提案されている。
【０００５】
【特許文献１】特開２００５−１４１５２３号公報
【特許文献２】特開２００５−１７３９３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上述した従来技術によれば原画像の全領域から検出された顔画像の数や大きさに基づいて撮影シーンを判定するものであったために、注目被写体以外の複数の他の顔画像が含まれるような場合や、注目被写体より大きな他の顔画像が含まれる場合には、それらの影響を反映した鮮鋭化処理等の画像処理が施されてしまうために、撮影意図に反した写真プリントが生成されるという不都合があった。
【０００７】
本発明は、上述の従来欠点に鑑み、原画像に含まれる人物の顔画像を検出しながらも、撮影意図を反映した写真プリントを得ることのできる写真画像処理方法及びその装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の目的を達成するため、本発明による写真画像処理方法の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、入力された原画像データから人物の顔画像を検出する顔画像検出工程と、前記顔画像検出工程による検出結果に基づいて少なくともポートレート写真、ポートレート写真以外の写真を区別して撮影シーンを判定する撮影シーン判定工程と、前記撮影シーン判定工程による判定結果に基づいて前記原画像データを補正処理する補正処理工程を備えてなる写真画像処理方法であって、前記顔画像検出工程で検出された人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定する姿勢判定工程を備え、前記撮影シーン判定工程は、前記姿勢判定工程で判定された顔画像の姿勢に基づいた顔画像検出領域を設定し、前記顔画像検出領域に存在する顔画像の面積比率に基づいて撮影シーンを判定する点にある。
【０００９】
一般的にポートレート写真を撮影する場合には、被写体が画像の中央部に位置し、しかも縦横比の異なる矩形で区画されるコマ画像に対して縦が上下方向姿勢となるように撮影する場合が多く、記念写真を撮影する場合には、背景が左右に写るように被写体が画像の中央部に位置し、しかも縦横比の異なる矩形で区画されるコマ画像に対して横が上下方向姿勢となるように撮影する場合が多い。複数に人物を撮影する場合にはその傾向がより顕著となる。また、風景写真を撮影する場合には、縦横比の異なる矩形で区画されるコマ画像に対して横が上下方向姿勢となるように撮影する場合が多い。
【００１０】
上述の構成によれば、このような傾向に鑑みて、姿勢判定工程によって人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定し、撮影シーン判定工程によって前記姿勢判定工程で判定された顔画像の姿勢に基づいた顔画像検出領域、つまり、コマ画像の縦が上下方向姿勢となる画像と横が上下方向姿勢となる画像の何れであるかによって異なる画像検出領域を設定することにより、撮影意図に沿わない他の顔画像の影響を確実に排除することができるようになり、前記顔画像検出領域に存在する注目被写体の顔画像の面積比率に基づいて撮影シーンを適切に判定することができるようになるのである。従って、撮影意図に沿った最適な補正処理を行なうことができるようになる。
【００１１】
同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、前記撮影シーン判定工程は、前記顔画像検出領域に存在する顔画像の面積比率が予め設定された基準面積比率より大となる顔画像のうち最大サイズの顔画像を判定基準顔画像として撮影シーンを判定する点にある。
【００１２】
上述の構成によれば、注目被写体の顔画像の面積比率が予め設定された基準面積比率より大となる顔画像が存在する場合に、人物に比重を置いた撮影であると判別することができ、その中の最大サイズの顔画像を判定基準顔画像とすることにより適切に撮影シーンを判別することができるようになるのである。
【００１３】
本発明による写真画像処理装置の第一の特徴構成は、同請求項３に記載した通り、入力された原画像データから人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段による検出結果に基づいて少なくともポートレート写真、ポートレート写真以外の写真を区別して撮影シーンを判定する撮影シーン判定手段と、前記撮影シーン判定手段による判定結果に基づいて前記原画像データを補正処理する補正処理手段を備えてなる写真画像処理装置であって、前記顔画像検出手段で検出された人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定する姿勢判定手段を備え、前記撮影シーン判定手段は、前記姿勢判定手段で判定された顔画像の姿勢に基づいた顔画像検出領域を設定し、前記顔画像検出領域に存在する顔画像の面積比率に基づいて撮影シーンを判定する点にある。
【００１４】
同第二の特徴構成は、同請求項４に記載した通り、上述の第一特徴構成に加えて、前記撮影シーン判定手段は、前記顔画像検出領域に存在する顔画像の面積比率が予め設定された基準面積比率より大となる顔画像のうち最大サイズの顔画像を判定基準顔画像として撮影シーンを判定し、前記補正処理手段は、前記撮影シーン判定手段により判定された撮影シーン及び前記判定基準顔画像の面積比率に基づいて前記原画像データを補正処理する点にある。
【発明の効果】
【００１５】
以上説明した通り、本発明によれば、原画像に含まれる人物の顔画像を検出しながらも、撮影意図を反映した写真プリントを得ることのできる写真画像処理方法及びその装置を提供することができるようになった。
【発明を実施するための最良の形態】
【００１６】
以下に本発明による写真画像処理方法及びその装置を説明する。デジタル方式の写真画像処理装置は、図１及び図２に示すように、撮影済みのネガフィルム（以下、単に「フィルム」と記す。）Ｆ等から写真画像を読み取るフィルムスキャナ１ａや、デジタルスチルカメラによる撮影画像データが格納されたＳＤカードやメモリスティック等の各種のカード型メモリＭ等に対応したメディアドライバ１ｂを備えた画像データ入力部１と、入力された画像データを格納するハードディスク等でなる画像データ記憶部２と、前記画像データに基づいて画像を表示するモニタ３と、キーボードやマウスを備えた操作入力部４と、前記モニタ３に表示された画像に対する前記操作入力部４を介した各種操作に基づいて、前記画像データを編集処理する画像処理部５と、画像処理後のデータに基づいて印画紙Ｐを露光して写真プリントを生成する写真プリンタ６と、上述の各ブロックをシステムとして制御するシステムコントローラ７（以下、「コントローラ７」と記す。）を備えて構成される。
【００１７】
前記フィルムスキャナ１ａは、前記フィルムＦに読取用の照明光を照射する照明光学系１０と、前記フィルムＦを搬送するフィルム搬送部１１と、当該フィルム搬送部１１により搬送されたフィルムＦに記録されたコマ画像を読み取る画像読取部１２と、前記照明光学系１０、前記フィルム搬送部１１及び前記画像読取部１２による画像読取プロセスを制御するスキャナ制御部１３を備えて構成される。
【００１８】
前記照明光学系１０は、前記フィルムＦの搬送方向である副走査方向（図２で矢印で示す）に直交する主走査方向に沿って配置した棒状のハロゲンランプ１０ａと、前記ハロゲンランプ１０ａからの光線束の色分布を調整する調光フィルタ１０ｂと、同光線束をスリット状に集光するシリンドリカルレンズ１０ｃと、強度分布を均一にする拡散板１０ｄと、幅狭のスリット１０ｅを備えて構成される。
【００１９】
前記フィルム搬送部１１は、図外の搬送モータにより駆動され、長尺のフィルムＦを前記スリット１０ｅの直下のフィルム投影部に向けて所定速度で搬送する複数の搬送ローラ対１１ａを備えて構成される。
【００２０】
前記画像読取部１２は、集光レンズ、ＣＣＤラインセンサ、サンプルホールド回路、Ａ／Ｄ変換器等を備えて構成してあり、前記フィルムＦを透過した前記照明光学系１０からのスリット光が集光レンズによりＣＣＤラインセンサ上に結像され、ＣＣＤラインセンサにより読み取られたアナログ信号がＡ／Ｄ変換器によりデジタルデータに変換されるように構成されている。前記ＣＣＤラインセンサは、フィルム透過光のＲ成分、Ｇ成分、Ｂ成分の各成分の光を選択的に通過させるカラーフィルタが夫々設けられた３列のラインセンサで構成され、以ってフィルム上の各コマ画像がフィルムＦの搬送に伴って、Ｒ成分、Ｇ成分、Ｂ成分の各色成分に分解して読み込まれる。
【００２１】
前記写真プリンタ６は、ロール状の印画紙Ｐが収容されたペーパーマガジン６０と、前記ペーパーマガジン６０から印画紙Ｐを引き出して搬送する複数の印画紙搬送ローラ６１と、搬送ローラ６１を駆動するモータ６２と、搬送される印画紙Ｐの感光面を露光する蛍光ビーム方式のプリントヘッド６３と、露光済みの印画紙Ｐに現像、漂白、定着の各処理を施す現像処理部６４と、現像処理された印画紙Ｐを乾燥しながら搬送する乾燥部６５と、乾燥された印画紙Ｐを最終のプリントとして排出する排出部６６とを備えて構成され、前記ペーパーマガジン６０から引き出された印画紙Ｐは現像処理の前後何れかに配置されたカッター（図示せず）によって所定のプリントサイズにカットされて排出部６６に出力される。
【００２２】
前記プリントヘッド６３は、Ｒ、Ｇ、Ｂ夫々のレーザ光源と、各レーザ光源から出力される光線束を偏向して印画紙Ｐを走査露光する偏向光学系を備えて構成され、前記フィルムスキャナ１ａ等を介して読み取られ編集処理された画像データのＲ成分、Ｇ成分、Ｂ成分の各画素データに基づいて各レーザから出力される光量を調整制御することにより印画紙Ｐ上に写真画像が露光される。
【００２３】
前記コントローラ７は、ＣＰＵ、ＲＯＭ、データ処理領域として使用されるＲＡＭ、画像データ編集のために使用されるＲＡＭ、及び、周辺回路を備えてなるハードウェア、及び、前記ＲＯＭに格納され前記ＣＰＵで実行されるプログラムでなるソフトウェアを備えて構成され、本発明に関連する機能ブロックに分割して説明すると、図３に示すように、前記モニタ３に表示されたウィンドウ上のソフトスイッチ等を含むグラフィック操作画面の表示や当該グラフィック操作画面を介した前記操作入力部４によるユーザー操作に対応した制御コマンドを生成するグラフィックユーザーインターフェース部（以下、「ＧＵＩ部」と記す。）７ａと、前記モニタ３への表示データが格納されるビデオメモリ７ｂと、前記画像データ記憶部２から読み出された画像がロードされ、各種の補正処理が施される画像処理メモリ７ｄと、処理後の画像データをＣＤ−Ｒ等のメディアに書き込むための画像ファイルに編集する画像ファイル編集部７ｃと、補正処理後のデータを前記写真プリンタ６に対応した出力データに変換するプリントデータ変換部７ｅ等を備えて構成される。
【００２４】
前記画像処理部５は、所定のアルゴリズムで対象画像を編集処理するソフトウェアと、画像処理プロセッサを備えたハードウェアで構成され、前記画像処理メモリ７ｄにロードされた画像データから人物の顔画像を検出する顔画像検出手段５１と、前記顔画像検出手段５１で検出された人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定する姿勢判定手段５２と、前記顔画像検出手段５１による検出結果に基づいて少なくともポートレート写真、記念写真、風景写真の何れの撮影シーンであるかを判定する撮影シーン判定手段５３と、前記撮影シーン判定手段５３による判定結果に基づいて前記画像データを補正処理する補正処理手段５４を備えて構成されている。尚、前記補正処理手段５４は、前記画像データを鮮鋭化処理を行なう鮮鋭化処理手段５４ａと、鮮鋭化処理された画像データに対してカラーバランスを調整するカラー補正手段５４ｂと、階調性を整える階調補正手段５４ｃ等を備えて構成されている。
【００２５】
前記コントローラ７からフィルム読取指令が送られると、前記スキャナ制御部１３は、前記ハロゲンランプ１０ａを点灯させた後に、前記フィルム搬送部１１を駆動して前記フィルムＦを副走査方向に所定速度で搬送し、前記画像読取部１２によりフィルム上に記録されたコマ画像を順次読み取り、読み取った画像データを前記コントローラ７に送信し、スキャナ制御部から送信された画像データが前記画像データ記憶部２に記憶される。
【００２６】
また、前記コントローラ７による制御の下で、前記メディアドライバ１ｂにメディアが挿入されると、当該メディアに記憶されている画像データが読み込まれて前記画像データ記憶部２に記憶される。
【００２７】
前記画像データ記憶部２に記憶された画像データは、前記画像処理部５により所定の補正処理が施され、前記プリントデータ変換部７ｅにより変換されたプリントデータが前記写真プリンタ６に出力される。前記写真プリンタ６では、入力されたプリントデータに基づいて前記プリントヘッド６３が駆動され、前記プリントヘッド６３により露光された印画紙Ｐが現像処理されて写真プリントとして出力される。
【００２８】
詳述すると、前記写真画像処理装置では、前記フィルムスキャナ１ａから入力される画像に基づいて写真プリントを生成する場合、先ずプレスキャン動作によりフィルム画像が低解像度で読み込まれて前記モニタ３に表示され、表示されたコマ画像に対してオペレータによる前記操作入力部４を介したプリントサイズやプリント枚数の設定処理とともに、各コマ画像のカラーバランス等の画質が検定される。
【００２９】
この検定作業は、前記コントローラ７とオペレータによる対話形式で進められ、上述したプリント枚数の設定の他に前記画像処理部５による補正処理条件が決定される一連の作業である。つまり、低解像度で読み込まれた画像データに対して、鮮鋭化処理、カラー補正処理、階調補正処理等の一連の補正処理が、後述の撮影シーン判定処理により判定された撮影シーン毎に予め定められた補正条件で自動的に実行される。そして、前記補正処理された画像データに基づいた低解像度の画像が前記モニタ３に表示され、その補正結果が適切であるか否かがオペレータにより評価され、カラーフェリアが発生する等種々の不都合が生じる場合にはマニュアル操作で再度カラー補正処理等が行なわれ、そのときの再補正条件が内部メモリに記憶される。
【００３０】
上述の検定作業が終了して写真プリントを出力する際に、本スキャン、つまり、前記フィルムスキャナ１ａを介した高解像度でのフィルム画像の読込み処理が行なわれ、本スキャンによる画像データに対して、上述した各種の補正処理が実行され、必要な場合には検定作業で設定された再補正条件で補正処理が実行され、その後、前記プリントデータ変換部７ｅで変換処理されたプリントデータが前記写真プリンタ６に出力される。プレスキャン動作は、上述の検定作業時に行なわれる補正処理の処理対象画素数を減らして高速化する等の目的で設けられたもので、デジタルスチルカメラによる撮影画像に対しては、読み込まれる画像ファイルに添付されたサムネイル画像に対して検定作業が実行され、サムネイル画像が無いときには、入力された画像を間引き処理して生成されたサムネイル画像に対して検定作業がなされる。
【００３１】
以下、前記撮影シーン判定処理について、図４に示すフローチャートに基づいて説明する。
【００３２】
前記画像データ入力部１から入力され、前記画像データ記憶部２に格納された画像データは、コマ画像単位の順番にＲＧＢ点順次ＲＡＷ形式またはＲＧＢ面順次ＲＡＷ形式で前記画像処理メモリ７ｄに展開され（ＳＡ１）、前記顔画像検出手段５１により前記コマ画像毎に全ての顔画像が検出される（ＳＡ２）。
【００３３】
前記顔画像検出手段５１による顔画像の検出アルゴリズムとしては、様々な公知のアルゴリズムを用いることが可能で、例えば、特開平０８−６３５９７号公報に開示されるものを用いることができる。つまり、各画素のＢＧＲ値から、明度、色相、彩度、色度、（Ｂ−Ｒ）、（Ｇ−Ｒ）といった色の特徴量を求め、これらの色の特徴量が予め定めた範囲内に入っていれば、対象画素が肌色であると判定し、肌色と判定された画素から成る領域の画像に対してエッジ抽出を行ない、予め設定されたサイズ、長軸／短軸（ｌａ／ｌｂ）の比率の異なる複数の楕円あるいは円形の顔テンプレート（顔テンプレートは、楕円ないしは円の輪郭か否かで２値化されている）と、抽出されたエッジ画像のマッチング度を求める。マッチング度が予め定めた閾値以上であるときに、その領域における画像を顔画像であると判定する。
【００３４】
また、顔の輪郭、目、鼻、口、耳などのパターンに基づいて人の顔画像を検出するニューラルネットワーク等を利用したパターン認識手法を用いることも可能である。
【００３５】
前記顔画像検出手段５１により顔画像が検出されると（ＳＡ３）、前記撮影シーン判定手段５３は、前記顔画像検出手段５１で検出された人物の顔画像の姿勢が原画像の縦横（普通写真プリントサイズを例とした場合、その長手方向を縦方向と考えている。）何れの方向に沿っているかを判定させる（ＳＡ４）。
【００３６】
前記顔画像の姿勢は、例えば、前記顔画像検出手段５１により検出された顔画像から、目や鼻、口等の位置情報を抽出し、これらの相互位置関係と前記原画像の向きとの関係に基づいて判定することができる。
【００３７】
具体的には、例えば、両目の位置情報を抽出し、両目を結ぶ線と垂直な方向を顔画像の正姿勢方向とし、前記原画像の長手方向と前記顔画像の正姿勢方向とが平行となるときに、顔画像の姿勢が原画像の縦方向に沿っていると判定する。一方、前記原画像の長手方向と前記顔画像の正姿勢方向とが垂直となるときに、顔画像の姿勢が原画像の横方向に沿っていると判定する。
【００３８】
また、例えば、鼻と口位置情報を抽出し、鼻と口を結ぶ線と平行な方向を顔画像の正姿勢方向とし、前記原画像の長手方向と前記顔画像の正姿勢方向とが垂直となるときに、顔画像の姿勢が原画像の横方向に沿っていると判定する。一方、前記原画像の長手方向と前記顔画像の正姿勢方向とが平行となるときに、顔画像の姿勢が原画像の縦方向に沿っていると判定する。
【００３９】
尚、前記顔画像の姿勢の判定は、前記顔画像検出手段５１により複数の顔画像が検出されていたときには、検出された顔画像のうち、最もその面積の大きい顔画像に基づいて判定することが好ましい。適切に撮影シーンを判別することができる。
【００４０】
そして、前記撮影シーン判定手段５３は、前記姿勢判定手段５２により前記顔画像検出手段５１で検出された人物の顔画像の姿勢が原画像の縦方向に沿っていると判定されると（ＳＡ５）、例えば、図５（ａ）に示すように、原画像Ｒａ内における所定の縦幅領域Ｒｔを顔画像検出領域Ｒｋとして設定する（ＳＡ６）。具体的には、前記原画像の短辺幅（前記長手方向と垂直をなす方向の幅）を、その中心軸Ｏｔを中心として、例えば、６５％に削減した縦幅領域Ｒｔを顔画像検出領域Ｒｋとして設定する。
【００４１】
一方、前記姿勢判定手段５２により前記顔画像検出手段５１で検出された人物の顔画像の姿勢が原画像の横方向に沿っていると判定されると（ＳＡ７）、例えば、図５（ｂ）に示すように、原画像Ｒａ内における所定の縦幅領域Ｒｙを顔画像検出領域Ｒｋとして設定する（ＳＡ８）。具体的には、前記原画像の長辺幅（前記長手方向の幅）を、その中心軸Ｏｙを中心として、例えば、８０％に削減した横幅領域Ｒｔを顔画像検出領域Ｒｋとして設定する。
【００４２】
つまり、前記撮影シーン判定手段５３は、前記姿勢判定手段５２により判定された顔画像の姿勢に基づいた顔画像検出領域Ｒｋを設定する。
【００４３】
次に、前記撮影シーン判定手段５３は、図６（ａ）、図６（ｂ）に示すように、前記設定した顔画像検出領域Ｒｋに存在する顔画像Ｆｐの面積Ｓｆを導出するとともに（ＳＡ９）、〔数１〕に従って、前記原画像Ｒａの面積Ｓａに占める前記顔画像の面積Ｓｆの割合Ｒｆａを算出する（ＳＡ１０）。尚、図６（ｃ）に示すように、前記設定した顔画像検出領域Ｒｋに顔画像Ｆｐが存在せず、代わりに、前記設定した顔画像検出領域Ｒｋ以外の領域のみに顔画像Ｆｐが存在するときには、前記原画像Ｒａの面積Ｓａに占める前記顔画像の面積Ｓｆの割合Ｒｆａを０％とする。
【００４４】
そして、前記割合Ｒｆａが予め設定された基準面積比率Ｒｔｈ、例えば、３０％以上あったときに（ＳＡ１１）、前記画像データがポートレート写真であると判定する（ＳＡ１２）。また、前記割合Ｒｆａが前記基準面積比率Ｒｔｈ、例えば、３０％未満であったときに（ＳＡ１１）、前記画像データが記念写真であると判定する（ＳＡ１３）。
【００４５】
【数１】
2007200069.tif 000003
【００４６】
尚、前記撮影シーンの判定は、前記顔画像検出領域Ｒｋに複数の顔画像Ｓｆが存在するときには、最もその面積の大きい顔画像に基づいて判定することが好ましい。つまり、前記顔画像検出領域Ｒｋに存在する顔画像Ｓｆの面積比率Ｒｆａが予め設定された基準面積比率Ｒｔｈより大となる顔画像のうち最大サイズの顔画像を判定基準顔画像として撮影シーンを判定することが好ましい。適切に撮影シーンを判別することができる。
【００４７】
また、前記撮影シーン判定手段５３は、前記顔画像検出手段５１により顔画像が検出されなかったときには（ＳＡ３）、前記画像データは、風景写真であると判定する（ＳＡ１４）。
【００４８】
前記写真画像処理装置では、上述したように、前記撮影シーン判定処理により前記画像データが判定されると、判定された撮影シーン毎に予め定められた補正条件で、前記補正処理手段５４により前記画像データに対して補正処理が実行される。
【００４９】
詳述すると、前記補正処理手段５４には、予め判定される撮影シーン毎に、例えば、図７（ａ）の横軸に示すような、前記鮮鋭化処理手段５４ａによる前記画像データの鮮鋭化処理の強調度合いや、図７（ａ）の縦軸に示すような、前記カラー補正手段５４ｂによる前記画像データのカラーバランスの調整度合い、更には、図７（ｂ）に示すような、前記階調補正手段５４ｃによる階調性の補正度合い等の補正量が記憶され、前記補正処理手段５４は、前記撮影シーン判定処理により判定された撮影シーンに対応した補正量に基づいて、前記画像データを補正処理する。
【００５０】
ここで、前記鮮鋭化処理は、具体的には、画質低下の一つの原因である”ぼけ”を除去し、画像を鮮明にするための方法として画像の鮮鋭化を行なう処理である。画像のぼけは、低い空間周波数成分に比べ高い空間周波数成分が弱められることによって生じる。その影響は濃度の一様な領域の境界部分（エッジ）に現れる。したがってぼけを取り除くには、高い空間周波数成分を強調する処理が行なわれ、画像空間における高域強調フィルタが用いられる。
【００５１】
この鮮鋭化処理として、例えば、図８に示すように、３×３または５×５サイズの空間フィルタによる畳み込み演算を行なうことができる。そして、図８（ａ）は、３×３サイズの特に高周波数成分を強調するマスクの例であり、強調度合いはｋの値にて調整することができる。また、図８（ｂ）は、特に低周波数成分を強調するマスクの例であり、強調度合いはｋの値にて調整することができる。
【００５２】
つまり、前記補正処理手段５４は、前記画像データがポートレート写真であると判定されたときには、軟調でしっとりとした仕上げで彩度が抑えられた画像となるように、前記画像データが風景写真であると判定されたときには、メリハリをつけた硬調で色鮮やかな画像となるように、前記画像データが記念写真であると判定されたときには、若干軟調気味な画像となるように、それぞれ前記画像データを補正処理する。
【００５３】
上述したように、前記写真画像処理装置では、人物の顔画像の姿勢が原画像の縦横何れの方向に沿っているかを判定するとともに、前記判定された顔画像の姿勢に基づいた顔画像検出領域、つまり、コマ画像の縦が上下方向姿勢となる画像と横が上下方向姿勢となる画像の何れであるかによって異なる画像検出領域を設定することにより、撮影意図に沿わない他の顔画像の影響を確実に排除し、前記顔画像検出領域に存在する注目被写体の顔画像の面積比率に基づいて撮影シーンを適切に判定することで、撮影意図に沿った最適な補正処理を行なっている。
【００５４】
以下、別の実施形態について説明する。上述の実施形態に加え、少なくとも原画像データに含まれる肌色領域に目が検出されるか否かに基づいて顔画像を検出する第二の顔画像検出手段を備え、前記顔画像検出手段５１により顔画像が検出されなかったときに、前記第二の顔画像検出手段により顔画像を再検出する構成としてもよい。
【００５５】
詳述すると、前記第二の顔画像検出手段は、肌色の色相となっている所定サイズ以上の肌色閉鎖領域を抽出するとともに、前記抽出した肌色閉鎖領域中に、所定の形状の白色領域と黒色の領域の有無を判定し、それがあったときに、前記肌色閉鎖領域を顔画像として検出する。
【００５６】
つまり、前記第二の顔画像検出手段を備えることで、顔画像がカメラに正対しない横向きの顔で、片方の目だけが撮影されている画像であっても、確実に顔画像として検出することができるようになる。
【００５７】
上述の実施形態に加えて、前記補正処理手段５４は、前記撮影シーン判定手段５３により判定された撮影シーンの他に、前記判定基準顔画像の面積比率に基づいて前記原画像データを補正処理する構成としてもよい。撮影シーン判定手段５３により判定された撮影シーンが同一であっても、その画像に含まれる判定基準顔画像の面積比率に基づいて原画像データがより適切に補正処理されるようになる。
【００５８】
上述の実施形態に加えて、前記補正処理手段５４は、前記撮影シーン判定手段５２により判定された撮影シーンに加えて、前記判定基準顔画像の面積比率に基づいて鮮鋭化強度を調整する構成としてもよい。例えば、撮影シーンが風景の場合には鮮鋭化強度を強め、ポートレートの場合にはその判定基準顔画像の面積比率に基づいて鮮鋭化強度を弱めることにより、一層見栄えのよい画像に補正することができる。
【００５９】
上述の実施形態に加え、前記補正処理手段５４は、前記撮影シーン判定手段５２により判定された撮影シーンが、人物の顔画像を含むシーン、例えば、前記ポートレート写真や記念写真であったときに、前記画像データの取得条件である露出条件を判定し、前記露出条件に応じた補正処理を実行する構成としてもよい。
【００６０】
詳述すると、前記露出条件の判定は、例えば、図９（ａ）に示すように、前記画像データから抽出した顔画像における各画素データのＲ成分、Ｇ成分、Ｂ成分の平均値分布である濃度ヒストグラムを生成し、前記濃度ヒストグラムの偏り度合いによって判定する。つまり、前記濃度ヒストグラムが低濃度値（暗い）側に偏っているときには、アンダー露出と判定する。一方、前記濃度ヒストグラムが高濃度値（明るい）側に偏っているときには、オーバー露出と判定する。尚、前記濃度ヒストグラムが低濃度値（暗い）側にも、高濃度値（明るい）側にも偏っていないときには、適正露出と判定する。
【００６１】
そして、前記補正処理手段５４は、アンダー露出と判定したときに、前記鮮鋭化処理手段５４ａにより、前記判定された撮影シーンに応じた補正条件よりも、例えば、鮮鋭化強度を強めて補正処理する。また、オーバー露出と判定したときには、前記判定された撮影シーンに応じた補正条件よりも、例えば、鮮鋭化強度を弱めて補正処理する。
【００６２】
更に、適正露出と判定したときには、図９（ｂ）に示すように、前記画像データから抽出した顔画像における各画素データのＲ成分、Ｇ成分、Ｂ成分毎に濃度ヒストグラムを生成し、各濃度ヒストグラムの不一致度（分散）に基づいてカラーフェリアの発生度合いを判定し、前記カラーフェリアの発生度合いに応じた補正処理を実行する。例えば、前記カラーフェリアの発生度合いが所定の発生度合い閾値以上あったときには、前記鮮鋭化処理手段５４ａにより、前記判定された撮影シーンに応じた補正条件よりも、鮮鋭化強度を弱めて補正処理する。
【００６３】
尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。
【図面の簡単な説明】
【００６４】
【図１】写真画像処理装置の外観説明図
【図２】画像データ処理部の機能ブロック構成図
【図３】システムコントローラ及び画像処理部の機能ブロック構成図
【図４】撮影シーン判定処理の動作を説明するためのフローチャート
【図５】顔画像検出領域の説明図であり、（ａ）は縦幅領域を顔画像検出領域とした場合、（ｂ）は横幅領域を顔画像検出領域とした場合
【図６】（ａ）顔画像検出領域に存在する顔画像の例、（ｂ）顔画像検出領域に存在する顔画像の例、（ｃ）顔画像検出領域に存在しない顔画像の例
【図７】各撮影シーンに応じた補正量のイメージの説明図
【図８】鮮鋭化処理に用いられるフィルタの例であり、（ａ）は特に高周波成分を強調するフィルタ、（ｂ）は特に低周波成分を強調するフィルタ
【図９】濃度ヒストグラムの説明図であり、（ａ）は画像データがオーバー露出またはアンダー露出となっている例、（ｂ）各色成分間の関係の例
【符号の説明】
【００６５】
１：画像データ入力部
１ａ：フィルムスキャナ
１ｂ：メディアドライバ
２：画像データ記憶部
３：モニタ
４：操作入力部
５：画像処理部
６：写真プリンタ
７：システムコントローラ
５１：顔画像検出手段
５２：姿勢判定手段
５３：撮影シーン判定手段
５４：補正処理手段
５４ａ：鮮鋭化処理手段
５４ｂ：カラー補正手段
５４ｃ：階調補正手段
【図１】
2007200069.tif 000004
【図２】
2007200069.tif 000005
【図３】
2007200069.tif 000006
【図４】
2007200069.tif 000007
【図５】
2007200069.tif 000008
【図６】
2007200069.tif 000009
【図７】
2007200069.tif 000010
【図８】
2007200069.tif 000011
【図９】
2007200069.tif 000012