(57)【要約】  【課題】  画像に含まれる顔領域に基づく濃度等の補正の有効性を適切に判断できる画像処理装置及び画像処理方法を提供する。  【解決手段】  原画像データに対応して全画像特性に基づいて設定される基準濃度補正値に基づいて濃度補正曲線を生成する濃度補正曲線生成部１１と、前記原画像データに含まれる被写体の顔領域を検出する顔領域検出部１２と、前記顔領域検出部１２により検出された顔領域情報に基づいて前記基準濃度補正値を補正する濃度補正値設定部１３０とを備え、前記濃度補正値設定部により設定された適正濃度補正値に基づいて前記原画像データに対する濃度補正のための濃度補正曲線を生成する画像処理装置であって、前記濃度補正値設定部１３０は、前記顔領域検出部１２により検出された顔領域の平均濃度と顔領域サイズに基づいて前記基準濃度補正値を補正する。【選択図】  図１
2007086940.tif 000002
【特許請求の範囲】
【請求項１】
原画像データに対応して全画像特性に基づいて設定される基準濃度補正値に基づいて濃度補正曲線を生成する濃度補正曲線生成部と、前記原画像データに含まれる被写体の顔領域を検出する顔領域検出部と、前記顔領域検出部により検出された顔領域情報に基づいて前記基準濃度補正値を補正する濃度補正値設定部とを備え、前記濃度補正値設定部により設定された適正濃度補正値に基づいて前記原画像データに対する濃度補正のための濃度補正曲線を生成する画像処理装置であって、
前記濃度補正値設定部は、前記顔領域検出部により検出された顔領域の平均濃度と顔領域サイズに基づいて前記基準濃度補正値を前記適正濃度補正値に補正する画像処理装置。
【請求項２】
前記濃度補正値設定部は、前記顔領域の平均濃度を変数とする顔依存濃度補正値モデル式に基づいて顔依存濃度補正値を導出し、前記基準濃度補正値と前記顔依存濃度補正値とを前記平均濃度と顔領域サイズに基づく重み係数により重み付け演算して前記適正濃度補正値に補正する請求項１記載の画像処理装置。
【請求項３】
前記重み係数は、前記平均濃度に基づいて設定される濃度係数と前記顔領域サイズに基づいて設定されるサイズ係数の平均値と予め設定された基準重み係数の積で求められる請求項２記載の画像処理装置。
【請求項４】
原画像データに対応して全画像特性に基づいて設定される基準濃度補正値に基づいて濃度補正曲線を生成する濃度補正曲線生成ステップと、前記原画像データに含まれる被写体の顔領域を検出する顔領域検出ステップと、前記顔領域検出ステップで検出された顔領域情報に基づいて前記基準濃度補正値を補正する濃度補正値設定ステップとを備え、前記濃度補正値設定ステップにより設定された適正濃度補正値に基づいて前記原画像データに対する濃度補正のための濃度補正曲線を生成する画像処理方法であって、
前記濃度補正値設定ステップは、前記顔領域検出ステップで検出された顔領域の平均濃度と顔領域サイズに基づいて前記基準濃度補正値を前記適正濃度補正値に補正する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原画像データに対応して全画像特性に基づいて設定される基準濃度補正値に基づいて濃度補正曲線を生成する濃度補正曲線生成部と、前記原画像データに含まれる被写体の顔領域を検出する顔領域検出部と、前記顔領域検出部により検出された顔領域情報に基づいて前記基準濃度補正値を補正する濃度補正値設定部とを備え、前記濃度補正値設定部により設定された適正濃度補正値に基づいて前記原画像データに対する濃度補正のための濃度補正曲線を生成する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
一般に写真画像処理装置は、写真フィルムに形成された撮影画像をデジタル化するフィルムスキャナやデジタルスチルカメラなどのデジタル撮影機器によって撮影された画像データを原画像データとして入力するメディアドライブ等を備えた画像入力部と、当該原画像データに対して濃度補正や色補正等の種々の画像処理を施す画像処理部と、画像処理後に変換されたプリントデータに基づいて感光材料（印画紙）を露光して写真プリントを生成するプリント処理部を備えて構成される。      
【０００３】
上述の画像処理部では、良好な画質の写真プリントを得るために、入力された画像データの階調特性と感光材料の階調特性の差異等を考慮して人間の視覚特性に適したものになるように整合させる濃度補正処理が行なわれる。
【０００４】
このような濃度補正処理としては、入力画像データと出力画像データとが所定のガンマ特性を示す濃度特性曲線となるように補正処理されるのが一般であり、対象とする入力画像全体の濃度ヒストグラム等から得られる基準濃度補正値に基づいて濃度補正曲線が生成され、当該濃度補正曲線に基づいて入力画像データが変換処理される。
【０００５】
しかし、上述の濃度補正曲線に基づいて補正処理を施しても、様々な撮影条件の下で撮影される画像データの全てが良好に補正されるものではなかった。例えば、オーバー露光またはアンダー露出で撮影された写真フィルムから取り込んだ画像データは、各画素の輝度が高輝度側または低輝度側に偏り過ぎているために、高輝度側及び低輝度側の傾斜率が緩やかな特性を示す基本的な濃度補正曲線に基づいて濃度補正しても、階調性を確保するのが困難となる。
【０００６】
一方、撮影された画像の主要被写体が人物である場合には、その人物の顔領域が適切な明るさとなるように補正することにより、高品位の写真プリントを得る技術として、例えば、特許文献３では、撮影画像データに基づいて算出される基準濃度補正値に基づいて基準濃度特性曲線を生成する基準濃度特性曲線生成部と、検出された顔領域の顔平均濃度値に基づいて顔依存濃度特性曲線を生成する顔依存濃度特性曲線生成部と、前記基準濃度特性曲線と前記顔依存濃度特性曲線との差から第１補正値を決定する第１補正値決定部と、前記顔平均濃度値と画像全体の平均濃度値である画像平均濃度値との差から調整率を決定するとともに前記第１補正値と前記調整率から第２補正値を決定する第２補正値決定部と、前記第２補正値に基づいて濃度補正ユニットで用いられる濃度特性曲線を設定する濃度特性曲線設定部を備えた画像処理装置が提案されている。
【特許文献１】特開平６−５９３５３号公報
【特許文献２】特開２００１−２１８０４７号公報
【特許文献３】特開２００５−１５９３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、対象とする画像データから人の顔を検出するための技術は、目や鼻や口等の形状や配置パターンを認識したり、肌の色と組み合わせて認識するパターン認識技術を初めとして数多く提案されているが、未だ精度良く人の顔を検出するのは容易ではなく、人の顔が写っているにもかかわらず顔と判定されない場合や、人の顔ではないのに人の顔と誤って判定される場合がある。
【０００８】
例えば、サングラスをかけた人物が被写体であるときには、目が認識されない等の理由で正確に検出できず、顔と顔が重なって写っている場合にも所定のパターンに合致しない等の理由で認識できない場合があり、衣服に付された人の顔のような模様が誤って顔と検出される場合もある。逆に主要な被写体である人物の顔が認識されず、その背景の僅かな領域に写っている顔が認識されるような場合もある。
【０００９】
そのような場合に、検出された人物の顔領域に基づいて一律に濃度補正曲線を補正すると却って画像品質が劣化する虞もあり、その評価を容易に行なえないという問題があった。例えば、主要被写体が検出されず、僅かな領域に検出される明らかに主要被写体ではない暗い顔に基づいて補正されると、主要被写体の顔が白く飛んだ不適正な画像に補正されることになる。
【００１０】
本発明は、上述した従来の問題点に鑑み、画像に含まれる顔領域に基づく濃度等の補正の有効性を判断でき、適正に補正可能な画像処理装置及び画像処理方法を提供する点にある。
【課題を解決するための手段】
【００１１】
上述の目的を達成するため、本発明による画像処理装置の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、原画像データに対応して全画像特性に基づいて設定される基準濃度補正値に基づいて濃度補正曲線を生成する濃度補正曲線生成部と、前記原画像データに含まれる被写体の顔領域を検出する顔領域検出部と、前記顔領域検出部により検出された顔領域情報に基づいて前記基準濃度補正値を補正する濃度補正値設定部とを備え、前記濃度補正値設定部により設定された適正濃度補正値に基づいて前記原画像データに対する濃度補正のための濃度補正曲線を生成する画像処理装置であって、前記濃度補正値設定部は、前記顔領域検出部により検出された顔領域の平均濃度と顔領域サイズに基づいて前記基準濃度補正値を前記適正濃度補正値に補正する点にある。
【００１２】
多数のサンプル画像に対して、顔領域情報に基づいて基準濃度補正値が補正処理された適正濃度補正値によって生成された濃度補正曲線を用いて濃度補正を行なった結果を視感評価すると、被写体の顔領域の平均濃度と顔領域サイズが基準濃度補正値の補正処理の結果得られる画像品質と大きな関係があることが今回新たに見出された。そこで、上述のように、前記顔領域検出部により検出された顔領域の平均濃度と顔領域サイズに基づいて基準濃度補正値を補正すると、主要被写体の全ての顔領域の検出が誤り無く適正に行なわれたか否かにかかわらず、画像を良好な濃度に補正できるようになった。
同第二の特徴構成は、同請求項２に記載した通り、上述の第一の特徴構成に加えて、前記濃度補正値設定部は、前記顔領域の平均濃度を変数とする顔依存濃度補正値モデル式に基づいて顔依存濃度補正値を導出し、前記基準濃度補正値と前記顔依存濃度補正値とを前記平均濃度と顔領域サイズに基づく重み係数により重み付け演算して前記適正濃度補正値に補正する点にある。
【００１３】
上述の構成によれば、原画像全体の特性から得られる基準濃度補正値と、顔領域の平均濃度に基づく顔依存濃度補正値とを融合して、画像全体のみならず被写体である人物の顔領域をも加味した適性濃度補正値を得る際に、前記基準濃度補正値と前記顔依存濃度補正値とを前記顔領域の平均濃度と顔領域サイズに基づく重み係数により重み付け演算して前記適正濃度補正値に補正するので、原画像における顔領域の占める割合とその平均濃度に基づいて融合の程度を調節して、画像全体に対しても被写体の顔領域に対しても適切な濃度補正ができるようになるのである。例えば、図１４に示すような僅かな領域に検出される明らかに主要被写体ではない顔領域１４０に基づいて画像全体の濃度が大きく補正されるような不都合な補正が行なわれる確率を低減させることができるようになるのである。
【００１４】
前記重み係数は、前記平均濃度に基づいて設定される濃度係数と前記顔領域サイズに基づいて設定されるサイズ係数の平均値と予め設定された基準重み係数の積で求められる点にある。
【００１５】
重み付け演算する際の重み係数を求める場合、前記平均濃度に基づいて設定される濃度係数と前記顔領域サイズに基づいて設定されるサイズ係数の平均値と予め設定された基準重み係数の積で求めることにより適正に濃度補正値が得られるようになるのである。
上述の目的を達成するため、本発明による画像処理方法の第一の特徴構成は、同請求項４に記載した通り、原画像データに対応して全画像特性に基づいて設定される基準濃度補正値に基づいて濃度補正曲線を生成する濃度補正曲線生成ステップと、前記原画像データに含まれる被写体の顔領域を検出する顔領域検出ステップと、前記顔領域検出ステップで検出された顔領域情報に基づいて前記基準濃度補正値を補正する濃度補正値設定ステップとを備え、前記濃度補正値設定ステップにより設定された適正濃度補正値に基づいて前記原画像データに対する濃度補正のための濃度補正曲線を生成する画像処理方法であって、前記濃度補正値設定ステップは、前記顔領域検出ステップで検出された顔領域の平均濃度と顔領域サイズに基づいて前記基準濃度補正値を前記適正濃度補正値に補正する点にある。
【発明の効果】
【００１６】
以上説明した通り、本発明によれば、画像に含まれる顔領域に基づく濃度等の補正の有効性を適切に判断できる画像処理装置及び画像処理方法を提供することができるようになった。
【発明を実施するための最良の形態】
【００１７】
以下に本発明による画像処理装置が組み込まれた写真画像処理装置の実施の形態を説明する。図２に示すように、写真画像処理装置１は、印画紙Ｐに対して出力画像データに基づいた露光処理を行ない露光された印画紙を現像処理する写真プリンタ２と、現像済みの写真フィルムＦから画像を読み込むフィルムスキャナ３１やデジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアＭから画像データを読み取るメディアドライバ３２や、コントローラ３３としての汎用コンピュータ等を備え、入力された元画像としての写真画像に対するプリントオーダ情報を設定入力するとともに、各種の画像補正処理を行なう操作ステーション３を備えて構成され、前記操作ステーション３で元画像から編集処理されたプリントデータが前記写真プリンタ２に出力されて所望の写真プリントが生成される。      
【００１８】
前記写真プリンタ２は、図２及び図３に示すように、ロール状の印画紙Ｐを収容した二系統の印画紙マガジン２１と、前記印画紙マガジン２１から引き出された印画紙Ｐを所定のプリントサイズに切断するシートカッター２２と、切断後の印画紙Ｐの背面にコマ番号等のプリント情報を印字するバックプリント部２３と、前記プリントデータに基づいて印画紙Ｐを露光する露光部２４と、露光後の印画紙Ｐを現像、漂白、定着するための各処理液が充填された複数の処理槽２５ａ、２５ｂ、２５ｃを備えた現像処理部２５が印画紙Ｐの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Ｐが排出される横送りコンベア２６と、横送りコンベア２６に集積された複数枚の印画紙（写真プリント）Ｐがオーダー単位で仕分けられるソータ２７を備えて構成される。
【００１９】
前記露光部２４には、搬送機構２８によって副走査方向に搬送される印画紙Ｐに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたＲＧＢ三色のレーザ光線束を出力して露光する露光ヘッド２４ａが収容されている。
【００２０】
前記搬送経路に沿って配置された前記露光部２４や現像処理部２５に応じたプロセス速度で印画紙Ｐを搬送する複数のローラ対でなる搬送機構２８が配置され、前記露光部２４の前後には印画紙Ｐを複列に搬送可能なチャッカー式搬送機構２８ａが設けられている。
【００２１】
前記操作ステーション３に設けられたコントローラ３３には、汎用のオペレーティングシステムの管理下で動作し、前記写真処理装置１の各種制御が実行されるアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ３４、キーボード３５、マウス３６等が接続されている。
【００２２】
前記コントローラ３３のハードウェア及びソフトウェアの協働により実行される写真処理プロセスを機能ブロックで説明すると、図４に示すように、前記フィルムスキャナ３１やメディアドライバ３２によって読み取られた写真画像データを受け取り、所定の前処理を行なって後述のメモリ４１に転送する画像入力部４０と、前記モニタ３４の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対する前記キーボード３５やマウス３６からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部４２と、前記画像入力部４０から転送される写真画像データ及び後述の画像処理部４７による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ４１と、プリントオーダ情報を生成するオーダー処理部４３と、前記メモリ４１に格納された各写真画像データに対して濃度補正処理やコントラスト補正処理等を行なう画像処理部４７と、前記グラフィックユーザーインターフェース部４２からの表示コマンドに基づいて前記メモリ４１に展開された画像データや各種の入出力用グラフィックデータ等を前記モニタ３４に表示処理するビデオＲＡＭ等を備えた表示制御部４６と、各種の補正処理が終了した最終の補正画像を前記写真プリンタ２に出力するためのプリントデータを生成するプリントデータ生成部４４と、顧客のオーダーに応じて最終の補正画像をＣＤ−Ｒ等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部４５等で構成される。
【００２３】
前記フィルムスキャナ３１は、フィルムＦに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対して各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されて前記プリンタ２に出力される。
【００２４】
同様に、前記メディアドライバ３２から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、前記画像入力部４０で高解像度の撮影画像からサムネイル画像が生成されて前記メモリ４１に転送される。このように、低解像度の画像に対して頻繁に試行錯誤される各種の編集処理が実行されることによりコントローラ３３の演算負荷が低減されるように構成されている。
【００２５】
前記画像処理部４７は、図１に示すように、入力された原画像データに対して、濃度補正処理を実施する濃度補正処理部１０と、撮影レンズに起因する歪を補正する歪補正部１５と、画像のエッジを強調しノイズを低減する鮮鋭化処理部１６と、カラー補正処理部１７と、写真プリントのサイズに適した画像サイズに変換する拡縮処理部１８等を備えて構成されている。
【００２６】
前記濃度補正処理部１０は、原画像データに対応して全画像特性に基づいて設定される基準濃度補正値に基づいて濃度補正曲線を生成する濃度補正曲線生成部１１と、前記原画像データに含まれる被写体の顔領域を検出する顔領域検出部１２と、前記顔領域検出部１２により検出された顔領域情報に基づいて前記基準濃度補正値を補正する濃度補正値設定部１３と、前記濃度補正曲線生成部１１で生成された濃度補正曲線に対してコントラスト補正を施すコントラスト補正部１４を備えている。
【００２７】
前記濃度補正値設定部１３は、前記基準濃度補正値を設定する基準濃度補正値設定部１３０と、前記顔領域の平均濃度を変数とする顔依存濃度補正値モデル式に基づいて顔依存濃度補正値を導出する顔依存濃度補正値設定部１３１と、前記基準濃度補正値と前記顔依存濃度補正値とを前記平均濃度と顔領域サイズに基づく重み係数により重み付け演算して前記適正濃度補正値に補正する重み付け演算部１３４等を備えて構成され、原画像データに人物の顔領域が含まれているときに前記基準濃度補正値を補正してより良好な階調性を確保できるように構成されている。
【００２８】
前記基準濃度補正値設定部１３０は、予め記憶されている〔数１〕に示す関数に従って前記原画像データの基準濃度補正値Ｇａｍｍａを設定する。
【００２９】
【数１】
2007086940.tif 000003
【００３０】
ここで、前記Ｍａｘｇは、図５に示すように、前記原画像データが有する濃度値の最大値、つまり、最も明るい画素の濃度値であり、前記Ｍｉｎｇは、前記原画像データが有する濃度値の最小値、つまり、最も暗い画素の濃度値であり、前記Ｍａｓｓは、前記原画像データの平均濃度となる濃度値である。前記Ｍａｘｋは、前記原画像データにおける濃度設定値の最大の値であり、例えば、８ビットで０階調から２５５階調までの間で濃度値設定が行なわれているときには２５５とする。前記Ｍｉｎｋは、前記原画像データにおける濃度設定値の最小の値であり、例えば、８ビットで０階調から２５５階調までの間で濃度値設定が行なわれているときには０とする。
尚、前記基準濃度補正値Ｇａｍｍａは、モニタ４３に表示された原画像を目視判断したオペレータにより、前記キーボード３５或いはマウス３６を介して適宜設定可能となるように構成することも可能である。
前記濃度補正曲線生成部１１は、前記顔領域検出部１２によって被写体に人物の顔領域が検出されないと判断されるような場合等には、このような基準濃度補正値Ｇａｍｍａに基づいて、予め記憶されている〔数２〕に示す関数に従って、入力濃度値Ｎｉｎ（ｉ）を前記基準濃度補正値Ｇａｍｍａに応じた出力濃度値Ｎｏｕｔ（ｉ）に濃度値変換するルックアップテーブルとして具現化される濃度補正曲線を生成する（ｉ＝０、１、２、・・・、２５５（８ビットデータの場合））。
【００３１】
【数２】
2007086940.tif 000004
【００３２】
ここで、定数Ｌは、前記原画像データの濃度補正処理後の目標階調設定幅であり、例えば、出力画像データを８ビットデータで設定する場合に目標階調設定幅を２５５とすれば、前記出力濃度値Ｎｏｕｔ（ｉ）は０から２５５までの値として出力される。
つまり、前記濃度補正曲線生成部１１は、図６に示すように、前記基準濃度補正値設定部１３０により前記基準濃度補正値Ｇａｍｍａが１より大きな値に設定されたときには、前記原画像データが明るくなるように濃度補正処理する濃度補正曲線を、また、前記基準濃度補正値Ｇａｍｍａが１より小さな値に設定されたときには、前記原画像データが暗くなるように濃度補正処理する濃度補正曲線を生成するように構成されている。
【００３３】
前記濃度補正値設定部１３の説明に戻るが、前記顔領域検出部１２は、前記原画像データから被写体として人物の顔領域を抽出する顔領域抽出部１２０と、抽出された顔領域の画素データに基づいて平均濃度を算出する平均濃度算出部１２１と、抽出された顔領域の画素数に基づいて顔領域サイズを算出する顔領域サイズ算出部１２２を備えて構成されている。
【００３４】
前記顔領域抽出部１２０は、例えば、前記原画像データから抽出された濃度エッジやカラーエッジに基づく輪郭が顔領域であるか否かを、予め準備された顔領域の輪郭、目、鼻、口、耳等の複数の要素配置パターンとの一致度を評価することによるパターン認識技術に基づいて検出する等といった公知の技術を用いて実現されるものである。尚、前記顔領域抽出部１２０における抽出処理は、上述したように自動的に行なうように構成するもののみならず、モニタ３４の画面に表示された原画像に対してオペレータがマウス３６等により手動で入力指定された領域を顔領域として抽出するように構成されるものであってもよい。
【００３５】
前記平均濃度算出部１２１は、前記顔領域抽出部１２０において抽出された顔領域を構成する各ＲＧＢ画素データの成分平均値（Ｒ＋Ｇ＋Ｂ）／３を導出し、さらに導出した各画素平均値に基づいて前記顔領域を構成する画素全体の平均値を顔領域の平均濃度として求める。尚、本発明における平均濃度は、このようなＲＧＢ画素データの成分平均値（Ｒ＋Ｇ＋Ｂ）／３に基づいて得られる値に限るものではなく、例えばＲＧＢ表色系をＹＣＣ表色系へ変換して得られる輝度Ｙに基づいて得られる輝度平均等も広く平均濃度に含む概念とするものである。
【００３６】
平均濃度を求めるに際して、抽出された顔領域から色相等に基づいて肌領域以外の領域を除去した後に肌領域の平均濃度を顔領域の平均濃度として求めるものであってもよいが、本実施形態では抽出された顔領域を対象として平均濃度を求めている。
【００３７】
前記顔領域サイズ算出部１２２は、前記顔領域抽出部１２０において抽出された前記顔領域データの画素数を顔領域サイズとして算出する。この場合も、図７に示すように、複数の人物が撮影された原画像から、前記顔領域抽出部１２０により複数の顔領域が抽出されたときには、抽出された全ての顔領域Ａから領域Ｃの全ての画素数を顔領域サイズとして算出する。
【００３８】
前記顔依存濃度補正値設定部１３１は、上述したように、前記顔領域検出部１２で検出された顔領域の平均濃度を変数とする顔依存濃度補正値モデル式に基づいて顔依存濃度補正値Ｇａｍｍａ（Ｆ）を導出する。前記モデル式は、様々な撮影条件下で様々な被写体を撮影した多数のサンプル画像に対して、前記基準濃度補正値を変化させた濃度補正値に基づく濃度補正曲線による補正画像を視感評価した結果、顔領域の平均濃度とそのときの顔領域が適正な濃度に補正されたと判断される濃度補正値の分布を統計処理することにより得られた補正関数Ｆ１である。
【００３９】
図８に示されるのは、補正関数Ｆ１の一例であり、前記顔領域の任意の平均濃度をＤＦａｖｒに対して顔依存濃度補正値Ｇａｍｍａ（Ｆ）が、Ｇａｍｍａ（Ｆ）＝Ｆ１（ＤＦａｖｒ）により求められるものである。ここに、顔領域の平均濃度は８ビット画像で正規化された値として示されている。
【００４０】
図６及び図８から理解されるように、顔領域の平均濃度が小さくなる、つまり暗くなると顔依存濃度補正値Ｇａｍｍａ（Ｆ）が１より大きな値になり、そのような顔依存濃度補正値Ｇａｍｍａ（Ｆ）に基づいて生成される濃度補正曲線によれば、前記原画像データが明るくなるように濃度補正処理され、顔領域の平均濃度が大きくなる、つまり明るくなると顔依存濃度補正値Ｇａｍｍａ（Ｆ）が１より小さな値になり、そのような顔依存濃度補正値Ｇａｍｍａ（Ｆ）に基づいて生成される濃度補正曲線によれば、前記原画像データが暗くなるように濃度補正処理されるような特性となる。
【００４１】
前記重み付け演算部１３４は、上述の基準濃度補正値Ｇａｍｍａと顔依存濃度補正値Ｇａｍｍａ（Ｆ）とを所定の重み係数で重み付け演算を行なうことにより基準濃度補正値Ｇａｍｍａを補正して適性濃度補正値Ｇａｍｍａ（Ｒ）を算出するもので、このような適性濃度補正値Ｇａｍｍａ（Ｒ）に基づいて前記濃度補正曲線生成部１１により生成された濃度補正曲線によって原画像が補正されることにより、主要被写体である人物の顔領域が好ましい階調を示すように補正されるのである。
【００４２】
基準濃度補正値Ｇａｍｍａと顔依存濃度補正値Ｇａｍｍａ（Ｆ）とがほぼ同等の値を示すときには何れの値を適正濃度補正値に採用してもよいが、例えば顔領域の輝度が高いときに基準濃度補正値Ｇａｍｍａによりさらに明るい方向に補正されるような場合や、顔領域の輝度が低いときに基準濃度補正値Ｇａｍｍａによりさらに暗い方向に補正されるような場合に、原画像の顔領域と背景領域の双方が比較的適正な濃度となるように濃度補正値を調整する必要がある。
【００４３】
上述した所定の重み係数として、そのような場合に様々な画像サンプルに基づいて両濃度補正値をバランス良く融合させるための適正な値として評価された固定値を採用し、このような重み係数により両濃度補正値を重み演算して得られた適正濃度補正値に基づいて補正すると多くの原画像に対して適正な濃度補正が行なわれるようになる。
【００４４】
しかし、原画像から求められる顔領域の平均濃度に基づいた補正を行なう場合に、前記顔領域検出部１２により常に主要被写体の顔領域が正確に検出される保証は無く、例えば、サングラスをかけた人物が被写体であるときには、目が認識されない等の理由で正確に検出できず、顔と顔が重なって写っている場合にも所定のパターンに合致しない等の理由で認識できない場合等があり、衣服に付された人の顔のような模様が誤って顔と検出される場合もある。逆に主要な被写体である人物の顔が認識されないときに、その背景の僅かな領域に写っている顔が認識されるような場合もある。
【００４５】
このような場合に、上述の固定の重み係数に基づいて補正された適性濃度補正値Ｇａｍｍａ（Ｒ）に基づく濃度補正曲線で原画像が補正されると、主要被写体の顔領域の濃度が不適正に補正される虞もある。
【００４６】
そこで、本発明では、前記濃度補正値設定部１３により、前記顔領域検出部１２で検出された顔領域の平均濃度と顔領域サイズに基づいて前記基準濃度補正値が補正されるように、つまり、前記基準濃度補正値Ｇａｍｍａと前記顔依存濃度補正値Ｇａｍｍａ（Ｆ）とを前記顔領域の平均濃度と顔領域サイズに基づき設定される重み係数による重み付け演算によって前記適正濃度補正値Ｇａｍｍａ（Ｒ）に補正されるように構成されている。
【００４７】
以下に詳述する。前記濃度補正値設定部１３には、顔領域の平均濃度に基づく有効性度合いである濃度係数を設定する濃度係数設定部１３２と、顔領域サイズに基づく有効性度合いであるサイズ係数を設定するサイズ係数設定部１３３と、予め設定されている基準重み係数が格納される基準重み係数格納部１３６と、前記濃度係数、前記サイズ係数、及び、前記基準重み係数から適正重み係数ｒを算出する重み係数算出部１３５とがさらに設けられ、前記重み係数算出部１３５で算出された適正重み係数ｒに基づいて前記重み付け演算部１３４により適正濃度補正値Ｇａｍｍａ（Ｒ）が得られるように構成されている。
【００４８】
前記濃度係数設定部１３２は、様々な撮影条件下で様々な被写体を撮影した多数のサンプル画像に対して得られる様々な顔領域の平均濃度と、その平均濃度に基づいて前記基準濃度補正値を補正した値に基づき生成された濃度補正曲線による補正画像の視感評価との関係を統計処理して得られた、図９に示すような濃度重み関数Ｆ２を表すルックアップテーブルが設けられ、補正対象となる原画像の顔領域の平均濃度が入力されると、それに対する濃度係数が出力されるように構成されている。
【００４９】
前記濃度重み関数Ｆ２は、顔領域の平均濃度が８ビット画像で正規化された値として規定されており、入力される顔領域の平均濃度に対して最小値０から最大値１までの有効性度合いを示す濃度係数を出力する関数であって、前記顔領域の平均濃度が上限値（本実施形態では、約０．２）より大きいと１を示すが、上限値を下回ると徐々に小さくなり、下限値（本実施形態では、約０．１）で０となる。これは、前記濃度係数の値が小さい程、後述する重み付け演算処理において、前記顔依存濃度補正値Ｇａｍｍａ（Ｆ）の重みが減少することを意味する。つまり、原画像に対する顔領域の影響を低減させるのである。尚、当該濃度重み関数Ｆ２の特性はこのようなものに限定するものではなく、サンプルとなる複数の原画像の特性に基づいて適宜変更設定可能なものであり、任意の撮影条件に基づき複数の濃度重み関数Ｆ２が設定されるものであってもよい。
【００５０】
前記サイズ係数設定部１３３は、様々な撮影条件下で様々な被写体を撮影した多数のサンプル画像に対して得られる様々な顔領域のサイズと、そのときの顔領域の平均濃度に基づいて前記基準濃度補正値を補正した値に基づき生成された濃度補正曲線による補正画像の視感評価との関係を統計処理して得られた、図１０に示すようなサイズ重み関数Ｆ３を表すルックアップテーブルが設けられ、補正対象となる原画像の顔領域のサイズが入力されると、それに対するサイズ係数が出力されるように構成されている。
【００５１】
前記サイズ重み関数Ｆ３は、約１０万画素（３８４×２５６画素）の原画像サイズに対する顔領域の画素サイズの比率で正規化された値として規定されており、任意の画素数の原画像に対しては、全画素数に対する顔領域の画素数の比率に基づいて当該サイズ重み関数Ｆ３からサイズ重み係数を求めることができるように構成され、入力される顔領域の画素サイズに対して最小値０から最大値１までの有効性度合いを示すサイズ係数を出力する関数である。
【００５２】
図１０に示すように、前記顔領域の画素サイズが上限値（本実施形態では、約０．７％）より大きいと１を示すが、上限値を下回ると徐々に小さくなり、下限値（本実施形態では、約０．６％）で０となる。これは、上下限の範囲で前記サイズ係数の値が小さい程、後述する重み付け演算処理において、前記顔依存濃度補正値Ｇａｍｍａ（Ｆ）の重みが減少することを意味する。つまり、原画像に対する顔領域の影響を低減させるのである。尚、当該サイズ重み関数Ｆ３の特性はこのようなものに限定するものではなく、サンプルとなる複数の原画像の特性に基づいて適宜変更設定可能なものであり、任意の撮影条件（例えば、撮影光の種類、強度、向き、露光量等）が異なる母集団に基づき複数のサイズ重み関数Ｆ３が設定されるものであってもよい。但し、前記濃度重み関数Ｆ２とサイズ重み関数Ｆ３は共通の母集団（サンプル画像）に基づき生成される必要があることは言うまでもない。
【００５３】
前記基準重み係数格納部１３６に格納される前記基準重み係数として本実施形態では試行錯誤の結果、値０．６が格納されているが、この値に限るものではなく、任意の撮影条件（例えば、撮影光の種類、強度、向き、露光量等）が異なる母集団に基づき適宜設定される値である。尚、前記基準重み係数とは、上述したように、様々な画像サンプルに基づいて両濃度補正値をバランス良く融合させるための適正な値として評価された固定値のことである。
【００５４】
前記重み係数算出部１３５は、補正対象となる原画像に対して求められた濃度係数とサイズ係数の平均値（以下、「係数平均値」と記す。）を算出して、前記係数平均値と前記基準重み係数の積を前記適正重み係数ｒとして算出する。ここに、前記係数平均値は濃度係数とサイズ係数の相加平均値として求めるものであるが、相乗平均値であってもよい。
【００５５】
前記重み付け演算部１３４は、前記基準濃度補正値Ｇａｍｍａと前記顔依存濃度補正値Ｇａｍｍａ（Ｆ）と求められた適正重み係数ｒに基づいて、〔数３〕に示すような重み付け演算を行なうことにより前記基準濃度補正値Ｇａｍｍａを適正濃度補正値Ｇａｍｍａ（Ｒ）に補正する。
【００５６】
【数３】
2007086940.tif 000005
【００５７】
尚、〔数３〕から明らかなように、前記係数平均値が０となったときには、前記適正重み係数ｒの値が０となり、顔領域の平均濃度による基準濃度補正値の補正は実質的に行なわれず、基準濃度補正値Ｇａｍｍａに基づいて濃度補正曲線が生成されることになる。
【００５８】
このようにして前記濃度補正値設定部１３で得られた適正濃度補正値Ｇａｍｍａ（Ｒ）に基づき、前記濃度補正曲線生成部１１で生成された濃度補正曲線に対して、前記コントラスト補正処理部１４によりコントラスト補正が行なわれる。
前記コントラスト補正処理部１４は、例えば、予め記憶されている〔数４〕、〔数５〕に従って、前記原画像データの入力濃度値Ｎｉｎ（ｉ）をコントラスト補正値Ｃｒ１、Ｃｒ２に応じた出力濃度値Ｃｏｕｔ（ｉ）に濃度値変換するルックアップテーブルとしてのコントラスト補正曲線を生成する。
【００５９】
【数４】
2007086940.tif 000006
【００６０】
【数５】
2007086940.tif 000007
【００６１】
具体的には、前記〔数４〕に従って、図１１（ａ）に示すような、前記入力濃度値Ｎｉｎ（ｉ）が所定の濃度閾値Ｎｔｈ以上となる前記原画像データのハイライト領域に対してコントラスト補正処理するコントラスト補正曲線を生成するとともに、前記〔数５〕に従って、図１１（ｂ）に示すような、前記入力濃度値Ｎｉｎ（ｉ）が所定の濃度閾値Ｎｔｈ以下とる前記原画像データのシャドー領域に対してコントラスト補正処理するコントラスト補正曲線を生成する。
【００６２】
尚、前記コントラスト補正値Ｃｒ１、Ｃｒ２は、前記濃度補正値設定部１４により設定された基準濃度補正値Ｇａｍｍａまたは適正濃度補正値Ｇａｍｍａ（Ｒ）に基づいて算出され、前記コントラスト補正値Ｃｒ１が大きいときほど、前記ハイライト領域のコントラストを高く補正するルックアップテーブルとなり、また、前記コントラスト補正値Ｃｒ２が負に大きいときほど、前記シャドー領域のコントラストを高く補正するルックアップテーブルとなる。
【００６３】
前記コントラスト補正処理部１４は、生成されたコントラスト補正曲線と前記濃度補正曲線を融合処理し、前記濃度補正処理とコントラスト補正処理を同時に実行可能なルックアップテーブルとしての融合曲線を生成する。つまり、前記融合曲線は、図１２に示すように、前記原画像データを入力濃度値Ｎｉｎ（ｉ）として入力すると、前記オリジナル曲線と前記コントラスト補正曲線を介した出力濃度値Ｃｏｕｔ（Ｎｏｕｔ（ｉ））に濃度値変換するルックアップテーブルとして生成される。
【００６４】
以下、前記濃度補正処理部１０による濃度補正処理を、図１３のフローチャートに基づいて説明する。前記フィルムスキャナ３１によりプレスキャンモードで読取られ、或いは、前記メディアドライバ３２から読み込まれたサムネイル画像データが前記メモリ４１に入力されると（Ｓ１）、基準濃度補正値設定部１３０は、前記原画像データにおける濃度ヒストグラムを生成し、前記原画像データが有する濃度値の最大値、つまり、最も明るい画素の濃度値Ｍａｘｇと、前記原画像データが有する濃度値の最小値、つまり、最も暗い画素の濃度値Ｍｉｎｇと、前記原画像データの平均濃度となる濃度値Ｍａｓｓとを算出し、前記〔数１〕に基づいて基準濃度補正値Ｇａｍｍａを算出する（Ｓ２）。
【００６５】
続いて前記顔領域抽出部１２０は、前記原画像データにおける顔領域の抽出処理を実行する（Ｓ３）。この際、前記顔領域抽出部１２０により前記原画像データ内に顔領域が抽出されなかった場合、つまり原画像に被写体として人物が存在しない風景画像等の場合は（Ｓ４）、前記濃度補正曲線生成部１１により前記基準濃度補正値Ｇａｍｍａに基づいた基準濃度補正曲線が生成される（Ｓ１６）。続いて前記コントラスト補正処理部１４では、前記基準濃度補正曲線に対してコントラスト補正曲線が融合処理された濃度補正曲線が生成され（Ｓ１７）、この濃度補正曲線に基づいて原画像データの濃度補正処理が行なわれ、その結果が前記モニタ３４に表示される（Ｓ１８）。
【００６６】
一方、ステップＳ４で、前記顔領域抽出部１２０により前記原画像データに顔領域が検出された場合は（Ｓ４）、検出された顔領域データに基づいて、前記平均濃度算出部１２１により顔領域の平均濃度が算出され（Ｓ５）、前記顔領域サイズ算出部１２２により顔領域サイズが算出される（Ｓ６）。
【００６７】
続いて前記顔依存濃度補正値設定部１３１により前記顔領域の平均濃度に基づいて顔依存濃度補正値Ｇａｍｍａ（Ｆ）が算出されるとともに（Ｓ７）、前記濃度係数設定部１３２により濃度係数が算出され（Ｓ８）、前記サイズ係数設定部１３３により前記顔領域サイズに基づいてサイズ係数が算出される（Ｓ９）。
【００６８】
算出された前記濃度係数と前記サイズ係数の値が、両値とも０であった場合は（Ｓ１０）、ステップＳ３からステップＳ９の顔判定処理において設定、算出された結果を濃度補正に使用せずに（Ｓ１４）、前記基準濃度補正値Ｇａｍｍａに基づいた基準濃度補正曲線が生成され（Ｓ１６）、続いて前記コントラスト補正処理部１４では、前記基準濃度補正曲線に対してコントラスト補正曲線が融合処理された濃度補正曲線が生成され（Ｓ１７）、この濃度補正曲線に基づいて原画像データの濃度補正処理が行なわれ、その結果が前記モニタ３４に表示される（Ｓ１８）。
【００６９】
一方、前記濃度係数または前記サイズ係数の値が０でない場合は（Ｓ１０）、前記重み係数算出部１３５において、前記濃度係数と前記サイズ係数の平均値（係数平均値）が算出され（Ｓ１１）、前記係数平均値と基準重み係数格納部１３４に予め格納された基準重み係数との積、即ち適正重み係数ｒが算出される（Ｓ１２）。
【００７０】
前記重み付け演算部１３４により、前記基準濃度補正値Ｇａｍｍａと前記顔依存濃度補正値Ｇａｍｍａ（Ｆ）とが、前記適正重み係数ｒにより重み付け演算、即ち上述の〔数３〕に従って演算され（Ｓ１３）、演算結果が適正濃度補正値Ｇａｍｍａ（Ｒ）として算出される（Ｓ１５）。
【００７１】
前記濃度補正曲線生成部１１により、前記適正濃度補正値Ｇａｍｍａ（Ｒ）に基づいた適正濃度補正曲線が生成され（Ｓ１６）、続いて前記コントラスト補正処理部１４では、前記基準濃度補正曲線に対してコントラスト補正曲線が融合処理された濃度補正曲線が生成され（Ｓ１７）、この濃度補正曲線に基づいて原画像データの濃度補正処理が行なわれ、その結果が前記モニタ３４に表示される（Ｓ１８）。
【００７２】
このようにしてステップＳ１７で得られた濃度補正曲線が濃度補正パラメータとして前記メモリ４１に記憶され、その後に前記フィルムスキャナ３１により本スキャンモードで読取られ、或いは、前記メディアドライバ３２から読み込まれた高解像度画像データに対して当該記憶された濃度補正パラメータにより濃度補正される。
尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。
【図面の簡単な説明】
【００７３】
【図１】画像処理部における機能ブロック構成の説明図
【図２】写真画像処理装置の外観構成の説明図
【図３】写真プリンタの説明図
【図４】写真画像処理装置の機能ブロック構成の説明図
【図５】濃度補正値の算出に係る濃度ヒストグラムの説明図
【図６】濃度補正処理における濃度値変移の説明図
【図７】人が複数写っている写真の説明図
【図８】顔依存濃度補正値を導出するためのモデル式の一例であるグラフの説明図
【図９】濃度係数を導出するためのモデル式の一例であるグラフの説明図
【図１０】サイズ係数を導出するためのモデル式の一例であるグラフの説明図
【図１１】（ａ）ハイライト領域におけるコントラスト補正曲線、（ｂ）シャドー領域におけるコントラスト補正曲線
【図１２】融合曲線の説明図
【図１３】画像処理部の動作について説明するためのフローチャート
【図１４】人が被写体でない場合の写真の説明図
【符号の説明】
【００７４】
１：写真画像処理装置
１０：濃度補正処理部
１３：濃度補正値設定部
１２：顔領域検出部
１１：濃度補正曲線生成部
１４：コントラスト補正処理部
４７：画像処理部
１３０：基準濃度補正値設定部
１３１：顔依存濃度補正値設定部
１３２：濃度係数設定部
１３３：サイズ係数設定部
１３５：重み係数算出部
１３４：重み付け演算部
【図１】
2007086940.tif 000008
【図２】
2007086940.tif 000009
【図３】
2007086940.tif 000010
【図４】
2007086940.tif 000011
【図５】
2007086940.tif 000012
【図６】
2007086940.tif 000013
【図７】
2007086940.tif 000014
【図８】
2007086940.tif 000015
【図９】
2007086940.tif 000016
【図１０】
2007086940.tif 000017
【図１１】
2007086940.tif 000018
【図１２】
2007086940.tif 000019
【図１３】
2007086940.tif 000020
【図１４】
2007086940.tif 000021