(57)【要約】  【課題】  被写体の肌領域とその他の領域に分離して、夫々に適切な鮮鋭化処理を施す画像処理を高速に行なうことができる写真画像処理方法及びその装置等を提供する。  【解決手段】  原画像データから人物の顔領域を検出する顔領域検出手段と、検出された顔領域と同等の肌情報を抽出する肌情報抽出手段と、抽出された肌情報に基づいて肌領域を検出する肌領域検出手段と、検出された肌領域に対して鮮鋭化処理または粒状抑制処理を行なう第一画像処理手段と、少なくとも肌領域以外の領域データに対して第一画像処理手段における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行なう第二画像処理手段とからなる。  【選択図】  図４
2006011685.tif 000002
【特許請求の範囲】
【請求項１】
入力された原画像データを鮮鋭化処理する写真画像処理方法であって、
前記原画像データから人物の顔領域を検出する顔領域検出工程と、検出された顔領域と同等の肌情報を抽出する肌情報抽出工程と、抽出された肌情報に基づいて肌領域を検出する肌領域検出工程と、検出された肌領域に対して鮮鋭化処理または粒状抑制処理を行なう第一画像処理工程を備えてなる写真画像処理方法。
【請求項２】
少なくとも前記肌領域以外の領域データに対して前記第一画像処理工程における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行なう第二画像処理工程をさらに備えてなる請求項１記載の写真画像処理方法。
【請求項３】
前記第一画像処理工程は、前記原画像データから前記肌領域データを切り取り、切り取った肌領域データに対して鮮鋭化処理または粒状抑制処理を行なうものであり、前記第二画像処理工程は、前記原画像データに対して前記第一画像処理工程における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行ない、前記処理を行なった画像データに前記第一画像処理工程による処理後の肌領域データを貼り付けるものである請求項２記載の写真画像処理方法。
【請求項４】
前記肌情報は、検出された顔領域から抽出される肌を示す色情報または輝度情報である請求項１から３の何れかに記載の写真画像処理方法。
【請求項５】
入力された原画像データを鮮鋭化処理する写真画像処理装置であって、
前記原画像データから人物の顔領域を検出する顔領域検出手段と、検出された顔領域と同等の肌情報を抽出する肌情報抽出手段と、抽出された肌情報に基づいて肌領域を検出する肌領域検出手段と、検出された肌領域に対して鮮鋭化処理または粒状抑制処理を行なう第一画像処理手段とからなる写真画像処理装置。
【請求項６】
少なくとも前記肌領域以外の領域データに対して前記第一画像処理手段における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行なう第二画像処理手段をさらに備えてなる請求項５記載の写真画像処理装置。
【請求項７】
前記第一画像処理手段は、前記原画像データから前記肌領域データを切り取り、切り取った肌領域データに対して鮮鋭化処理または粒状抑制処理を行なうものであり、前記第二画像処理手段は、前記原画像データに対して前記第一画像処理手段における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行ない、前記処理を行なった画像データに前記第一画像処理手段による処理後の肌領域データを貼り付けるものである請求項６記載の写真画像処理装置。
【請求項８】
前記肌情報は、検出された顔領域から抽出される肌を示す色情報または輝度情報である請求項５から７の何れかに記載の写真画像処理方法。
【請求項９】
コンピュータに、入力された原画像データから人物の顔領域を検出する顔領域検出工程と、検出された顔領域と同等の肌情報を抽出する肌情報抽出工程と、抽出された肌情報に基づいて肌領域を検出する肌領域検出工程と、検出された肌領域に対して鮮鋭化処理または粒状抑制処理を行なう第一画像処理工程とを実行させるための写真画像処理プログラム。
【請求項１０】
少なくとも前記肌領域以外の領域データに対して前記第一画像処理工程における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行なう第二画像処理工程をさらに実行させるための請求項９記載の写真画像処理プログラム。
【請求項１１】
前記第一画像処理工程は、前記原画像データから前記肌領域データを切り取り、切り取った肌領域データに対して鮮鋭化処理または粒状抑制処理を行なうものであり、前記第二画像処理工程は、前記原画像データに対して前記第一画像処理工程における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行ない、前記処理を行なった画像データに前記第一画像処理工程による処理後の肌領域データを貼り付けるものである請求項１０記載の写真画像処理プログラム。
【請求項１２】
前記肌情報は、検出された顔領域から抽出される肌を示す色情報または輝度情報である請求項９から１１の何れかに記載の写真画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現像済みの銀塩写真フィルムからフィルムスキャナによって読み込まれた原画像データや、デジタルスチルカメラにより撮影された原画像データを鮮鋭化処理する写真画像処理方法、写真画像処理装置、及び写真画像処理プログラムに関する。
【背景技術】
【０００２】
一般的に、銀塩写真の画像をフィルムスキャナで取り込んだデジタル画像を処理して、写真プリンタで出力する場合には、フィルムスキャナやデジタルスチルカメラ等の入力系、及び、写真プリンタ等の出力系夫々の固有の原因により鮮鋭度が低下して出力写真の画質が劣化するという問題があり、特に拡大縮小処理等で劣化した鮮鋭度を回復させるためにラプラシアンフィルタやアンシャープマスクによる鮮鋭化処理が行われていたが、このような鮮鋭化処理においては、画像の鮮鋭度が向上すると、却って顔や肌部等の平坦部に粒状ノイズ等が目立ち、ざらついた画像になるという問題があった。そこで、鮮鋭化処理の程度を弱くするとざらつき感は低減されるが、画像全体として鮮鋭度合いが低下するために鑑賞に堪える写真プリントを得ることができない。このような問題は、銀塩写真に特有の問題ではなく、デジタルスチルカメラ等で撮影されたデジタル画像に対しても、画像の鮮鋭度が向上すると、却ってショットノイズや電気的ノイズ等の種々のノイズが目立つという同様の問題として認識されている。そこで、従来は、原画像の特性を抽出し、抽出した原画像の特性に基づいて夫々異なる鮮鋭化処理を複雑に絡めた種々の画像処理方法が提案されていた。
【０００３】
例えば、カラー原画像から特定の色を持つ被写体、例えば人物の肌色などの重要色が占める特定領域を抽出して、人物の肌色などの特定領域に粒状等のノイズを目立たせることなく、また偽輪郭を発生させることなく、覆い焼きなどのダイナミックレンジ圧縮伸長処理などの画像処理を行うことができる画像処理方法を提供することを目的として、カラー原画像を表すデジタル原画像データを可視像として再生するための画像データを得る際に、この原画像データに対してエッジ保存平滑化フィルタによるフィルタリング処理を施して原画像のボケ画像を表すボケ画像データを生成し、このボケ画像データから抽出された肌色画素に基づいて原画像の肌色領域を抽出し、適切な画像処理を行う方法が提案されていた。
【特許文献１】特開平１１−２６６３５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述した従来技術によれば、画像のざらつきが特に問題となるのは人物の顔領域程度であるにもかかわらず複雑な鮮鋭化処理方法を実行するものでは、画像全体を対象として複雑な演算処理を繰り返し実行する必要があるために処理時間が長くなるという問題があった。また、特許文献１に記載されたものでは、一般的に被写体である人物の肌の色は区々であり、被写体の肌色領域を抽出するに際して抽出基準である肌色の閾値を固定することができず、幅を持たせると肌以外の部位が誤検出されるという問題があり、重要な被写体である人物の肌領域における粒状等のノイズに起因するざらつきを抑制しながらも鮮鋭度を上げる処理を高速に行なうという点で更なる改善の余地があった。
【０００５】
本発明は、上述の従来欠点に鑑み、被写体の肌領域とその他の領域に分離して、夫々に適切な鮮鋭化処理を施す画像処理を高速に行なうことができる写真画像処理方法及びその装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の目的を達成するため、本発明による写真画像処理方法の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、入力された原画像データを鮮鋭化処理する写真画像処理方法であって、前記原画像データから人物の顔領域を検出する顔領域検出工程と、検出された顔領域と同等の肌情報を抽出する肌情報抽出工程と、抽出された肌情報に基づいて肌領域を検出する肌領域検出工程と、検出された肌領域に対して鮮鋭化処理または粒状抑制処理を行なう第一画像処理工程を備えてなる点にある。
【０００７】
上述の構成によれば、顔領域検出工程で原画像データから検出された顔領域に基づいて肌情報抽出工程で肌情報が抽出されるので、人の顔がどのような肌の色であっても確実に人の肌情報が抽出できるのであり、肌領域検出工程では抽出された肌情報に基づいて原画像に含まれる肌領域が確実に検出される。第一画像処理工程では、検出された肌領域に対して適切な鮮鋭化処理または粒状抑制処理が行なわれるので、肌領域のざらつきを十分に抑制しながら主要被写体である人物の顔や肌領域で鮮鋭度の高い画像を得ることができるのである。
【０００８】
同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、少なくとも前記肌領域以外の領域データに対して前記第一画像処理工程における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行なう第二画像処理工程をさらに備えてなる点にある。
【０００９】
上述の構成によれば、第二画像処理工程では肌領域以外の領域に対して前記第一画像処理工程における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理が行なわれるので、肌領域以外の領域において、ざらつきを十分に抑制しながら鮮鋭度の高い画像を得ることができるので、全体として高品位の写真画像を得ることができるようになるのである。
【００１０】
同第三の特徴構成は、同請求項３に記載した通り、上述の第二特徴構成に加えて、前記第一画像処理工程は、前記原画像データから前記肌領域データを切り取り、切り取った肌領域データに対して鮮鋭化処理または粒状抑制処理を行なうものであり、前記第二画像処理工程は、前記原画像データに対して前記第一画像処理工程における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行ない、前記処理を行なった画像データに前記第一画像処理工程による処理後の肌領域データを貼り付けるものである点にある。
【００１１】
上述の構成によれば、第二画像処理工程で、原画像に対して領域分離することなく高速に全画像を鮮鋭化処理でき、その処理後の画像に第一画像処理工程による画像を貼り付けることで効率的に最終画像が得られることとなるのである。
【００１２】
同第四の特徴構成は、同請求項４に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、前記肌情報は、検出された顔領域から抽出される肌を示す色情報または輝度情報である点にある。
【００１３】
肌領域を検出するための肌情報は、顔領域検出工程で検出された顔領域に含まれる肌を示す画素に基づいて色情報として抽出されるか、輝度情報として抽出されるか、或いは色情報及び輝度情報として抽出される何れかを採用することができる。
【００１４】
本発明による写真画像処理装置の第一の特徴構成は、同請求項５に記載した通り、入力された原画像データを鮮鋭化処理する写真画像処理装置であって、前記原画像データから人物の顔領域を検出する顔領域検出手段と、検出された顔領域と同等の肌情報を抽出する肌情報抽出手段と、抽出された肌情報に基づいて肌領域を検出する肌領域検出手段と、検出された肌領域に対して鮮鋭化処理または粒状抑制処理を行なう第一画像処理手段とからなる点にある。
【００１５】
同第二の特徴構成は、同請求項６に記載した通り、上述の第一特徴構成に加えて、少なくとも前記肌領域以外の領域データに対して前記第一画像処理手段における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行なう第二画像処理手段をさらに備えてなる点にある。
【００１６】
同第三の特徴構成は、同請求項７に記載した通り、上述の第二特徴構成に加えて、前記第一画像処理手段は、前記原画像データから前記肌領域データを切り取り、切り取った肌領域データに対して鮮鋭化処理または粒状抑制処理を行なうものであり、前記第二画像処理手段は、前記原画像データに対して前記第一画像処理手段における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行ない、前記処理を行なった画像データに前記第一画像処理手段による処理後の肌領域データを貼り付けるものである点にある。
【００１７】
同第四の特徴構成は、同請求項８に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、前記肌情報は、検出された顔領域から抽出される肌を示す色情報または輝度情報である点にある。
【００１８】
本発明による写真画像処理プログラムの第一の特徴構成は、同請求項９に記載した通り、コンピュータに、入力された原画像データから人物の顔領域を検出する顔領域検出工程と、検出された顔領域と同等の肌情報を抽出する肌情報抽出工程と、抽出された肌情報に基づいて肌領域を検出する肌領域検出工程と、検出された肌領域に対して鮮鋭化処理または粒状抑制処理を行なう第一画像処理工程とを実行させるための写真画像処理プログラムである点にある。
【００１９】
同第二の特徴構成は、同請求項１０に記載した通り、上述の第一特徴構成に加えて、少なくとも前記肌領域以外の領域データに対して前記第一画像処理工程における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行なう第二画像処理工程をさらに実行させるための写真画像処理プログラムである点にある。
【００２０】
同第三の特徴構成は、同請求項１１に記載した通り、上述の第二特徴構成に加えて、前記第一画像処理工程は、前記原画像データから前記肌領域データを切り取り、切り取った肌領域データに対して鮮鋭化処理または粒状抑制処理を行なうものであり、前記第二画像処理工程は、前記原画像データに対して前記第一画像処理工程における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行ない、前記処理を行なった画像データに前記第一画像処理工程による処理後の肌領域データを貼り付けるものである点にある。
【００２１】
同第四の特徴構成は、同請求項１２に記載した通り、上述の第一から第三の何れかの特徴構成に加えて、前記肌情報は、検出された顔領域から抽出される肌を示す色情報または輝度情報である点にある。
【発明の効果】
【００２２】
以上説明した通り、本発明によれば、被写体の肌領域とその他の領域に分離して、夫々に適切な鮮鋭化処理を施す画像処理を高速に行なうことができる写真画像処理方法及びその装置等を提供することができるようになった。
【発明を実施するための最良の形態】
【００２３】
以下に本発明による写真画像処理装置を説明する。デジタル方式の写真画像処理装置は、図１及び図２に示すように、撮影済みのネガフィルム（以下、単に「フィルム」と記す。）Ｆ等から写真画像を読み取るフィルムスキャナ１ａや、デジタルスチルカメラによる撮影画像データが格納されたＳＤカードやメモリスティック等の各種のカード型メモリＭ等に対応したメディアドライバ１ｂを備えた画像データ入力部１と、入力された画像データを格納するハードディスク等でなる画像データ記憶部２と、前記画像データに基づいて画像を表示するモニタ３と、キーボードやマウスを備えた操作入力部４と、前記モニタ３に表示された画像に対する前記操作入力部４を介した各種操作に基づいて、前記画像データを編集処理する画像処理部５と、画像処理後のデータに基づいて印画紙Ｐを露光して写真プリントを生成する写真プリンタ６と、上述の各ブロックをシステムとして制御するシステムコントローラ７（以下、「コントローラ７」と記す。）を備えて構成される。
【００２４】
前記フィルムスキャナ１ａは、前記フィルムＦに読取用の照明光を照射する照明光学系１０と、前記フィルムＦを搬送するフィルム搬送部１１と、当該フィルム搬送部１１により搬送されたフィルムＦに記録されたコマ画像を読み取る画像読取部１２と、前記照明光学系１０、前記フィルム搬送部１１及び前記画像読取部１２による画像読取プロセスを制御するスキャナ制御部１３を備えて構成される。
【００２５】
前記照明光学系１０は、前記フィルムＦの搬送方向である副走査方向（図２で矢印で示す）に直交する主走査方向に沿って配置した棒状のハロゲンランプ１０ａと、前記ハロゲンランプ１０ａからの光線束の色分布を調整する調光フィルタ１０ｂと、同光線束をスリット状に集光するシリンドリカルレンズ１０ｃと、強度分布を均一にする拡散板１０ｄと、幅狭のスリット１０ｅを備えて構成される。
【００２６】
前記フィルム搬送部１１は、図外の搬送モータにより駆動され、長尺のフィルムＦを前記スリット１０ｅの直下のフィルム投影部に向けて所定速度で搬送する複数の搬送ローラ対１１ａを備えて構成される。
【００２７】
前記画像読取部１２は、集光レンズ、ＣＣＤラインセンサ、サンプルホールド回路、Ａ／Ｄ変換器等を備えて構成してあり、前記フィルムＦを透過した前記照明光学系１０からのスリット光が集光レンズによりＣＣＤラインセンサ上に結像され、ＣＣＤラインセンサにより読み取られたアナログ信号がＡ／Ｄ変換器によりデジタルデータに変換されるように構成されている。前記ＣＣＤラインセンサは、フィルム透過光のＲ成分、Ｇ成分、Ｂ成分の各成分の光を選択的に通過させるカラーフィルタが夫々設けられた３列のラインセンサで構成され、以ってフィルム上の各コマ画像がフィルムＦの搬送に伴って、Ｒ成分、Ｇ成分、Ｂ成分の各色成分に分解して読み込まれる。
【００２８】
前記写真プリンタ６は、ロール状の印画紙Ｐが収容されたペーパーマガジン６０と、前記ペーパーマガジン６０から印画紙Ｐを引き出して搬送する複数の印画紙搬送ローラ６１と、搬送ローラ６１を駆動するモータ６２と、搬送される印画紙Ｐの感光面を露光する蛍光ビーム方式のプリントヘッド６３と、露光済みの印画紙Ｐに現像、漂白、定着の各処理を施す現像処理部６４と、現像処理された印画紙Ｐを乾燥しながら搬送する乾燥部６５と、乾燥された印画紙Ｐを最終のプリントとして排出する排出部６６とを備えて構成され、前記ペーパーマガジン６０から引き出された印画紙Ｐは現像処理の前後何れかに配置されたカッター（図示せず）によって所定のプリントサイズにカットされて排出部６６に出力される。
【００２９】
前記プリントヘッド６３は、グリッド電圧の調節により発光が制御される蛍光体にレンズとカラーフィルタを装着した蛍光体素子を主走査方向に並べた赤色発光ブロックと緑色発光ブロックと青色発光ブロックの三列で構成され、前記フィルムスキャナ１ａ等を介して読み取られ編集処理された画像データのＲ成分、Ｇ成分、Ｂ成分の各画素データに基づいて駆動制御することにより印画紙Ｐ上に写真画像が露光される。
【００３０】
前記コントローラ７は、ＣＰＵ、ＲＯＭ、データ処理領域として使用されるＲＡＭ、画像データ編集のために使用されるＲＡＭ、及び、周辺回路を備えてなるハードウェア、及び、前記ＲＯＭに格納され前記ＣＰＵで実行されるプログラムでなるソフトウェアを備えて構成され、本発明に関連する機能ブロックに分割して説明すると、図３に示すように、前記モニタ３に表示されたウィンドウ上のソフトスイッチ等を含むグラフィック操作画面の表示や当該グラフィック操作画面を介した前記操作入力部４によるユーザー操作に対応した制御コマンドを生成するグラフィックユーザーインターフェース部（以下、「ＧＵＩ部」と記す。）７ａと、前記モニタ３への表示データが格納されるビデオメモリ７ｂと、前記画像データ記憶部２から読み出された画像がロードされ、各種の画像処理が施される画像処理メモリ７ｄと、処理後の画像データをＣＤ−Ｒ等のメディアに書き込むための画像ファイルに編集する画像ファイル編集部７ｃと、画像処理後のデータを前記写真プリンタ６に対応した出力データに変換するプリントデータ変換部７ｅ等を備えて構成される。
【００３１】
前記画像処理部５は、所定のアルゴリズムで対象画像を編集処理するソフトウェアと、画像処理プロセッサを備えたハードウェアで構成され、前記画像処理メモリ７ｄにロードされた画像データに対して人物の顔領域を検出する顔領域検出手段５ａと、前記顔領域検出手段５ａにより検出された顔領域と同等の肌情報を抽出する肌情報抽出手段５ｂと、前記肌情報抽出手段５ｂにより抽出された肌情報に基づいて原画像の肌領域を検出する肌領域検出手段５ｃと、前記肌領域検出手段５ｃにより検出された肌領域に対して鮮鋭化処理または粒状抑制処理を行なう第一画像処理手段５ｄと、少なくとも前記肌領域以外の領域データに対して前記第一画像処理手段５ｄにおける鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行なう第二画像処理手段５ｅと、カラーバランスを調整するカラー補正手段５ｆと、階調性を整える階調補正手段５ｇ等を備えて構成されている。
【００３２】
前記コントローラ７からフィルム読取指令が送られると、前記スキャナ制御部１３は、前記ハロゲンランプ１０ａを点灯させた後に、前記フィルム搬送部１１を駆動して前記フィルムＦを副走査方向に所定速度で搬送し、前記画像読取部１２によりフィルム上に記録されたコマ画像を順次読み取り、読み取った画像データを前記コントローラ７に送信し、スキャナ制御部１３から送信された画像データが前記画像データ記憶部２に記憶される。
【００３３】
また、前記コントローラ７による制御の下で、前記メディアドライバ１ｂにメディアが挿入されると、当該メディアに記憶されている画像データが読み込まれて前記画像データ記憶部２に記憶される。
【００３４】
前記画像データ記憶部２に記憶された画像データは、前記画像処理部５により所定の画像処理が施され、前記プリントデータ変換部７ｅにより変換されたプリントデータが前記写真プリンタ６に出力される。前記写真プリンタ６では、入力されたプリントデータに基づいて前記プリントヘッド６３が駆動され、前記プリントヘッド６３により露光された印画紙Ｐが現像処理されて写真プリントとして出力される。
【００３５】
詳述すると、前記写真画像処理装置では、前記フィルムスキャナ１ａから入力される画像に基づいて写真プリントを生成する場合、先ずプレスキャン動作によりフィルム画像が低解像度で読み込まれて前記モニタ３に表示され、表示されたコマ画像に対してオペレータによる前記操作入力部４を介したプリントサイズやプリント枚数の設定処理とともに、各コマ画像のカラーバランス等の画質が検定される。
【００３６】
この検定作業は、前記コントローラ７とオペレータによる対話形式で進められ、上述したプリント枚数の設定の他に前記画像処理部５による画像処理条件が決定される一連の作業で、鮮鋭化処理、カラー補正処理、階調補正処理等の一連の画像処理が予め定められた条件で自動的に実行されて前記モニタ３に表示された低解像度の画像に対して、その補正結果が適切であるか否かがオペレータにより評価され、カラーフェリアが発生する等種々の不都合が生じる場合にはマニュアル操作でカラー補正等が行なわれ、その補正条件が内部メモリに記憶される。
【００３７】
上述の検定作業が終了して写真プリントを出力する際に、本スキャン、つまり、前記フィルムスキャナ１ａを介した高解像度でのフィルム画像の読込み処理が行なわれ、本スキャンによる画像データに対して、上述した各種の画像処理が実行され、必要な場合には検定作業で設定された補正条件で画像処理が実行され、その後、前記プリントデータ変換部７ｅで変換処理されたプリントデータが前記写真プリンタ６に出力される。プレスキャン動作は、上述の検定作業時に行なわれる画像処理の処理対象画素数を減らして高速化する等の目的で設けられたもので、デジタルスチルカメラによる撮影画像に対しては、読み込まれる画像ファイルに添付されたサムネイル画像に対して検定作業が実行され、サムネイル画像が無いときには、入力された画像を間引き処理して生成されたサムネイル画像に対して検定作業がなされる。
【００３８】
以下、前記フィルムスキャナ１ａの本スキャンによる高解像度画像データ、または前記メディアドライバ１ｂから入力された高解像度画像データに対する画像編集処理を、図４に示すフローチャートについて説明する。前記画像データ入力部１から入力され、前記画像データ記憶部２に格納された画像データは、コマ画像単位の順番にＲＧＢ点順次ＲＡＷ形式またはＲＧＢ面順次ＲＡＷ形式で前記画像処理メモリ７ｄに展開され（Ｓ１）、前記顔領域検出手段５ａにより顔領域が検出される（Ｓ２）。当該顔領域検出手段５ａによる顔領域の検出アルゴリズムとしては、様々な公知のアルゴリズムを用いることが可能で、図５（ａ）に示すように、原画像データから顔領域を包含する最小面積の矩形領域としてその一対の対角座標Ｐ１，Ｐ２が出力される。ここで、前記顔領域検出手段５ａによる顔領域の検出は、プレスキャンによる低解像度データやサムネイル画像データに対して検定作業時に実行し、得られた対角座標Ｐ１，Ｐ２に基づいて高解像度データにおける対角座標を演算処理して求めるものであってもよい。
【００３９】
顔領域検出アルゴリズムとしては、例えば、顔領域の輪郭、目、鼻、口、耳等の単一または組合せによる複数の形状パターンを予め登録しておき、画像中に登録されたパターンと一致するパターンが存在するか否かを判断して人の顔領域を検出するパターンマッチング法を使用することができる。例えば、人の顔であっても輪郭、目や鼻の大きさ、形状、配置が異なり、同じ人物であってもその表情によりパターンが異なるため、登録された形状パターンに対する一致度をニューラルネットワークや遺伝的アルゴリズムを用いて評価し、その精度を向上させることが可能である。このようにして検出された顔領域を包含する最小面積の矩形領域、つまり、少なくとも顔部分の輪郭を含む一対の対角座標Ｐ１，Ｐ２が出力されるのである。さらには、オペレータがモニタ３に表示された画像から顔領域をマウスで指定入力する方法を採用することも可能である。
【００４０】
次に、前記肌情報抽出手段５ｂは、検出された顔領域から顔の輪郭内で、目や口以外の肌領域の画素をサンプリングしてＲＧＢの色情報を抽出するとともにそれらの平均値である輝度情報を演算導出する（Ｓ３）。前記肌領域検出手段５ｃは、前記肌情報抽出手段５ｂにより抽出された色情報が図６（ａ）に示す色相彩度テーブル（ＨｕｅＳａｔ  ｔａｂｌｅ）上で分布する範囲の上限と下限を含む図６（ｂ）の扇型の領域Ａを求め、当該領域Ａに含まれる色情報を肌の色を示す色情報として認識し、原画像から当該領域Ａに含まれる色情報と同一の色情報を有する画素で、且つ、前記肌情報抽出手段５ｂにより求められた輝度情報と同一の輝度を有する画素を肌領域として検出し、肌領域を切り出す（Ｓ４）。このようにして検出された原画像の肌領域が図５（ｂ）にハッチングで示されている。
【００４１】
前記第一画像処理手段５ｄは、前記肌領域検出手段５ｃにより検出された肌領域に対して所定の標準的な強度のラプラシアンフィルタ処理を施して鮮鋭化し（Ｓ５）、鮮鋭化処理により顕著になった粒状ノイズを抑制する（Ｓ６）。粒状抑制処理とは、銀塩フィルムからの入力画像データに含まれる粒状ノイズや、デジタルスチルカメラによる撮影画像に現われるショットノイズや電気的ノイズ等のノイズを抑制する平滑化フィルタ処理で、特に、大きな濃度変化を保存しながら微小な変動のみ選択的に平滑化するメディアンフィルタや可変加重平均フィルタをＲＧＢの色毎に施すことにより実現される。
【００４２】
次に、前記第二画像処理手段５ｅは、原画像に対して前記第一画像処理手段５ｄにより使用されたラプラシアンフィルタよりも強度の強いラプラシアンフィルタを用いて鮮鋭化処理を行ない、肌領域以外の領域に対する鮮鋭度を高めるとともに、必要に応じて前記第一画像処理手段５ｄにより使用された平滑化フィルタとは異なる強度で粒状抑制処理を施し（Ｓ７）、その後、図５（ｃ）に示すように、前記第二画像処理手段５ｅによる処理後の画像に前記第一画像処理手段５ｄによる処理後の肌領域の画像を貼り付けて鮮鋭化処理を終了する（Ｓ８）。
【００４３】
上述したステップＳ７，Ｓ８において、前記第二画像処理手段５ｅは、原画像から切り出された各肌領域を中心として放射状にそれよりも広くなる複数の領域を切り出して、各領域に対して前記肌領域から離間する領域程強度の強い鮮鋭化処理を行ない、鮮鋭化処理後の各画像データを前記肌領域に対する離間距離の遠いものから順番に貼り付けるように処理してもよく、この場合には、肌領域から放射状になだらかに鮮鋭度が強くなるように変化するので、肌領域に強度を大きく弱めた鮮鋭化処理を行なっても、周辺画像との間で鮮鋭感の境界が認識されるような不都合が生じることなく、肌領域から周辺にかけて自然な感じで鮮鋭化処理することができるようになる。
【００４４】
上述したラプラシアンフィルタ処理について詳述すると、図７（ａ）から（ｄ）に示すように、原画像データを二次微分して、その値を原画像データから減算する一連の演算処理をＲＧＢ成分毎に実行するもので、原画像に無かったアンダーシュート部とオーバーシュート部が生成されるとともにエッジの傾斜が大きくなるため、エッジの濃淡変化が強調され、くっきりと見えるようになるのである。フィルタサイズは、原画像サイズに応じて適宜設定されるもので、例えば３０００×２０００画素では、３×３のフィルタサイズが好適であり、６０００画素×４０００画素では５×５のフィルタサイズが好適である。
【００４５】
しかし、このような鮮鋭化処理によって、顔の肌領域のような濃淡の差がそれ程顕著でない領域において、銀塩写真フィルムから入力された画像データに含まれる粒状ノイズや、デジタルスチルカメラによる画像データに含まれるショットノイズや電気的ノイズに対してもエッジが強調されるために、これらによりざらつきが生じることとなる。
【００４６】
そのため、本発明は、少なくともざらつきが目立つ肌領域とその他の領域で鮮鋭化処理の強度を調整するもので、画像の鮮鋭化のために使用されるラプラシアンフィルタの強度の調節は、例えば、図７（ｅ）左に示すようなラプラシアンフィルタに例えば移動平均フィルタ等の平滑化フィルタの重み係数を掛けて得られる図７（ｅ）右に示すようなフィルタを使用することにより可能となる。このようなラプラシアンフィルタによる鮮鋭化強度は、上述したようにフィルタの各要素に重み係数を掛けることにより調整することができ、中心画素に対応する係数を大に設定し、或いは、フィルタサイズを大に設定することによって強度を強くすることができ、それらを組み合わせて調整することも可能である。
【００４７】
また、前記粒状抑制処理として、メディアンフィルタや可変加重平均フィルタをＲＧＢの色毎に施すものを説明したが、粒状抑制処理の強度も上述と同様にフィルタサイズの変更やフィルタ係数の調節により実現可能である。
【００４８】
また、前記第一画像処理手段５ｄ及び第二画像処理手段５ｅは、ともに、鮮鋭化処理及び粒状抑制処理の双方を施すものを説明したが、何れか一方の処理のみ実行するものであってもよい。
【００４９】
前記第一及び第二画像処理手段５ｄ，５ｅによって鮮鋭化処理或いは粒状抑制処理が施された画像データは、次に前記カラー補正手段５ｆによりカラー補正される。カラー補正処理としては、例えば、平均的な戸外の被写体は、ネガ全体の色を混ぜ合わせると灰色に近くなるというエバンスの説に基づいて、色に偏りが見られる場合は、ネガフィルムを透過したＲＧＢの積算光が印画紙上でグレーに再現されるようにＲＧＢの各露光量を調節するための処理で、入力された画像データの平均値を各画素のＲＧＢ毎に演算導出し、ＲＧＢ各平均値がそれぞれグレーに対応する所定の値となるように調整する処理である。上述した検定作業時に個別に補正条件が設定された画像に対しては、その補正条件に基づいて補正処理される。
【００５０】
さらに、出力された写真プリントが所定の階調性で再現されるように、前記階調補正手段５ｇにより、前記印画紙Ｐの種類及び前記写真プリンタ６の現像処理液の状態に基づいて予めテストプリントで得られた補正テーブルデータに基づいて前記カラー補正された画像データが変換処理され、処理後のデータが前記プリントデータ変換部７ｅでプリントデータに変換されて出力される。
【００５１】
上述した鮮鋭化処理を実行するためのプログラムは、前記画像処理部５に設けられたＲＯＭに格納され、前記画像処理プロセッサにより実行されるもので、入力された原画像データから人物の顔領域を検出する顔領域検出工程と、検出された顔領域と同等の肌情報を抽出する肌情報抽出工程と、抽出された肌情報に基づいて肌領域を検出する肌領域検出工程と、検出された肌領域に対して鮮鋭化処理または粒状抑制処理を行なう第一画像処理工程と、少なくとも前記肌領域以外の領域データに対して前記第一画像処理工程における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行なう第二画像処理工程とを実行させるための写真画像処理プログラムであり、前記第一画像処理工程は、前記原画像データから前記肌領域データを切り取り、切り取った肌領域データに対して鮮鋭化処理または粒状抑制処理を行なうものであり、前記第二画像処理工程は、前記原画像データに対して前記第一画像処理工程における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行ない、前記処理を行なった画像データに前記第一画像処理工程による処理後の肌領域データを貼り付けるものである。また、前記肌情報は、検出された顔領域から抽出される肌を示す色情報または輝度情報が採用される。
【００５２】
以下、別実施形態を説明する。上述した実施形態では、入力された原画像データから人物の顔領域を検出する顔領域検出工程と、検出された顔領域と同等の肌情報を抽出する肌情報抽出工程と、抽出された肌情報に基づいて肌領域を検出する肌領域検出工程と、検出された肌領域に対して鮮鋭化処理または粒状抑制処理を行なう第一画像処理工程と、少なくとも前記肌領域以外の領域データに対して前記第一画像処理工程における鮮鋭化処理または粒状抑制処理とは強度の異なる鮮鋭化処理または粒状抑制処理を行なう第二画像処理工程を備え、原画像データを鮮鋭化処理する写真画像処理方法、装置、及び、写真画像処理プログラムについて説明したが、これらから第二画像処理工程、または第二画像処理手段を取り除き、第一画像処理工程まで実行する写真画像処理方法、装置、及び、写真画像処理プログラムであってもよい。この場合には、少なくとも人物の顔や肌領域において、鮮鋭化処理または粒状抑制処理されることにより、写真画像の主要被写体である人物画像を高品質にすることにより見映えのある写真プリントを得ることができるようになるのである。
【００５３】
上述の実施形態で説明した顔検出アルゴリズムは一例であり、これらに限定されるものではなく、その他の適宜公知の顔検出アルゴリズムを用いることが可能である。
【００５４】
上述した実施形態では、鮮鋭化処理としてラプラシアンフィルタ処理を用いるものを説明したが、使用されるラプラシアンフィルタのサイズ、係数は適宜設定されるもので、例示のものに限定されるものではない。
【００５５】
上述した肌領域検出手段５ｃは、前記情報抽出手段により抽出された肌を示す画素のＲＧＢ色情報及びその輝度情報に基づいて肌領域を検出するものを説明したが、肌領域の検出は少なくとも前記ＲＧＢ色情報のみに基づいて検出するものであってもよい。輝度情報をも加味することにより検出精度が向上することはいうまでもない。
【００５６】
上述した画像処理部５の具体的構成は、高速の画像処理プロセッサによりソフトウェア処理するもののみならず、ＡＳＩＣ等を用いてハードウェアで構成することも可能である。また、ソフトウェア処理するものではその処理プログラムがＯＳ管理下で実行されるアプリケーションプログラムとして装置のハードディスクなどにインストールされる形態で実現することができる。
【００５７】
上述した実施形態では、写真画像処理プログラムがフィルムスキャナや写真プリンタを備えた写真画像処理装置にインストールされるものを説明したが、パーソナルコンピュータにインストールされ、画像編集装置として実現されるものであってもよい。
【図面の簡単な説明】
【００５８】
【図１】写真画像処理装置の外観説明図
【図２】画像データ処理部の機能ブロック構成図
【図３】システムコントローラ及び画像処理部の機能ブロック構成図
【図４】鮮鋭化処理手順を示すフローチャート
【図５】鮮鋭化処理手順を示す説明図で、（ａ）は原画像から顔領域が検出されたもの、（ｂ）は顔領域の色情報等に基づいて検出された肌領域が抽出された画像、（ｃ）は第二画像処理手段により鮮鋭化処理がなされた画像に第一鮮鋭化処理がなされた肌領域の画像を貼り付けた画像の各説明図
【図６】色相彩度テーブルを用いた肌情報抽出処理の説明図
【図７】ラプラシアンフィルタ処理の説明図で、（ａ）は原画像、（ｂ）は一次微分画像、（ｃ）は二次微分画像、（ｄ）は原画像から二次微分値を減算した画像、（ｅ）はラプラシアンフィルタの各説明図
【符号の説明】
【００５９】
１：画像データ入力部
１ａ：フィルムスキャナ
１ｂ：メディアドライバ
２：画像データ記憶部
３：モニタ
４：操作入力部
５：画像処理部
５ａ：顔領域検出手段
５ｂ：肌情報抽出手段
５ｃ：肌領域検出手段
５ｄ：第一画像処理手段
５ｅ：第二画像処理手段
５ｆ：カラー補正手段
５ｇ：階調補正手段
６：写真プリンタ
７：システムコントローラ
【図１】
2006011685.tif 000003
【図２】
2006011685.tif 000004
【図３】
2006011685.tif 000005
【図４】
2006011685.tif 000006
【図７】
2006011685.tif 000007
【図５】
2006011685.tif 000008
【図６】
2006011685.tif 000009