(57)【特許請求の範囲】
【請求項１】
原画像の画像データに画像処理を施して出力画像データを得る画像処理方法であって、
前記原画像全体または前記原画像の局所領域の画像データの空間周波数特性を解析し、
この解析結果に基づいて、前記原画像全体の撮影シーンまたは前記原画像の局所領域の撮影シーンを、前記原画像の画像データの中間周波数成分、または中間・高周波数成分のスペクトル値が所定値より大きい場合、シャープネス強調処理を強く施すシャープネス優先シーンあるいはシャープネス優先領域と判別し、前記スペクトル値が前記所定値以下の場合、粒状抑制処理を強く施す粒状優先シーンあるいは粒状優先領域と判別し、
この判別結果に基づいて、前記画像データに施す粒状抑制・シャープネス強調処理の処理強度を決定し、
この処理強度を用いて前記原画像全体、または前記局所領域の画像データに粒状抑制・シャープネス強調処理を施すことを特徴とする画像処理方法。
【請求項２】
前記原画像内の人物の顔領域の原画像に占める比率に応じて、原画像の撮影シーンをポートレートシーンまたはそれ以外のシーンと判別し、
前記原画像がポートレートシーンと判別された場合、ポートレートシーン以外のシーンと判別された場合に比べ、粒状抑制処理を強く施し、シャープネス強調処理を弱く施す請求項１に記載の画像処理方法。
【請求項３】
前記原画像の被写体のエッジ域のコントラストを判別し、コントラストに応じて、シャープネス強調処理を弱める請求項１または２に記載の画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、原画像の画像データに画像処理を施す画像処理方法であって、原画像全体の撮影シーンの判別結果や撮影シーン内の被写体の判別結果に応じて、粒状抑制・シャープネス強調処理の処理強度を決定することのできる画像処理方法に関する。
【０００２】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム（以下フィルムとする）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）によって行なわれている。
【０００３】
これに対し、近年ではデジタル露光を利用する焼付装置、すなわちフィルムに撮影された画像を光学的に読み取って、読み取った画像をデジタル信号とした後種々の画像処理を施して記録用の出力画像データとし、この出力画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上り）プリントとするデジタルフォトプリンタが実用化された。
このデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ（画像読取装置）、および読み取った画像を画像処理して出力用の画像データ（露光条件）とする画像処理装置を有する画像入力装置と、画像入力装置から出力された画像データに応じて感光材料を走査露光して潜像を記録するプリンタ（画像記録装置）、および露光済の感光材料に現像処理を施してプリントとするプロセサ（現像装置）を有する画像出力装置とを有する。
【０００４】
スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を担持する投影光を得て、この投影光を結像レンズによってＣＣＤセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて各種の画像処理を施した後に、フィルムの画像データ（画像信号）として画像処理装置に送る。
画像処理装置は、スキャナによって読み取られた画像データから画像処理条件を設定して、設定した条件に応じた画像処理を画像データに施し、画像記録のための出力画像データ（露光条件）としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた画像データに応じて光ビームを変調して、この光ビームを主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、画像を担持する光ビームによって感光材料を露光（焼付け）して潜像を形成し、次いで、プロセサにおいて感光材料に応じた現像処理等を施して、フィルムに撮影された画像が再生されたプリント（写真）とする。
【０００５】
このようなデジタルフォトプリンタでは、画像をデジタルの画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正の他、感光材料に起因して画像濃度の低い領域で目立つざらつき（粒状）を抑制するための粒状抑制処理やシャープネス強調（鮮鋭化）処理等を好適に行って、従来の直接露光では得られなかった高品位なプリントを得ることができる。
【０００６】
【発明が解決しようとする課題】
しかし、上記粒状抑制処理やシャープネス強調処理は、原画像が撮影された原稿種、例えば感度の異なるフィルム種に応じて、あるいは撮影時の露光量に応じて、処理条件である処理強度を変えている。
このように、粒状抑制処理やシャープネス強調処理の処理条件は、撮影シーンの内容と無関係に決定されるため、撮影シーンの内容に即して最適に処理されない場合がある。例えば、人物を撮影したポートレートシーンの画像に対して、風景シーンと同じ処理強度を用いて、粒状抑制処理やシャープネス強調処理を施すと、シャープネス強調が強くなり、ポートレートシーンとしてきつい画像となることから、ポートレートシーンおよび風景シーン共にある程度満足のできる強度係数が設定され、粒状抑制処理やシャープネス強調処理が行われている。そのため、ポートレートシーンや風景シーン各々に対して最適な粒状抑制処理やシャープネス強調処理を行うことができないといった問題があった。
オペレータがマニュアル指定により処理強度を補正することもできるが、常時処理強度を補正するのも作業効率上好ましくない。
【０００７】
このような問題に対して、撮影画像の被写体のエッジ域や背景画像の微細なテクスチャを鮮鋭化し、フィルム粒状に基づくざらつきを抑制した画像を得る粒状抑制・シャープネス強調処理法が、特開平９−２２４６０号公報において開示されている。同公報によれば、画像信号を低周波数成分、中間周波数成分および高周波数成分に分け、高周波数成分の信号を高周波数ゲイン係数を用いて強調し、中間周波数成分は中間周波数ゲイン係数を用いて抑制し、その後、処理された高周波数成分、中間周波数成分および低周波数成分を合成することによって、ざらつきのない鮮鋭化された再生画像を得ることができるとされている。
【０００８】
この方法では、上記高周波数ゲイン係数や中間周波数ゲイン係数が予め設定された中から選択され、あるいは、画像データの特徴、例えば、カラー画像のＲ（赤）、Ｇ（緑）およびＢ（青）の各画素の画像データの中間・高周波数成分における相関値等の評価値に基づいて決定される。
しかし、高周波数ゲイン係数や中間周波数ゲイン係数は、原画像の撮影シーンの内容と無関係に自動的に決定されるため、依然として、風景シーンおよびポートレートシーン各々に最適な粒状抑制・シャープネス強調処理を施すことはできない。
また、オペレータのマニュアル指定によって上記高周波数ゲイン係数や中間周波数ゲイン係数を指定することもできる。しかし、オペレータがマニュアル指定のためにデジタルフォトプリンタで常時監視するのも作業効率上好ましくない。
【０００９】
そこで、本発明は、上記問題点を解決すべく、原画像の撮影シーンまたは撮影シーンの撮影被写体に応じて、最適に粒状抑制・シャープネス強調処理を施し、高品位な再現画像を得ることのできる画像処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明は、原画像の画像データに画像処理を施して出力画像データを得る画像処理方法であって、
前記原画像全体または前記原画像の局所領域の画像データの空間周波数特性を解析し、
この解析結果に基づいて、前記原画像全体の撮影シーンまたは前記原画像の局所領域の撮影シーンを、前記原画像の画像データの中間周波数成分、または中間・高周波数成分のスペクトル値が所定値より大きい場合、シャープネス強調処理を強く施すシャープネス優先シーンあるいはシャープネス優先領域と判別し、前記スペクトル値が前記所定値以下の場合、粒状抑制処理を強く施す粒状優先シーンあるいは粒状優先領域と判別し、
この判別結果に基づいて、前記画像データに施す粒状抑制・シャープネス強調処理の処理強度を決定し、
この処理強度を用いて前記原画像全体、または前記局所領域の画像データに粒状抑制・シャープネス強調処理を施すことを特徴とする画像処理方法を提供するものである。
【００１１】
ここで、前記原画像内の人物の顔領域の原画像に占める比率に応じて、原画像の撮影シーンをポートレートシーンまたはそれ以外のシーンと判別し、
前記原画像がポートレートシーンと判別された場合、ポートレートシーン以外のシーンと判別された場合に比べ、粒状抑制処理を強く施し、シャープネス強調処理を弱く施すのが好ましい。
【００１２】
また、前記原画像の被写体のエッジ域のコントラストを判別し、コントラストに応じて、シャープネス強調処理を弱めるのが好ましい。
【００１４】
【発明の実施の形態】
以下、本発明の画像処理方法について、添付の図面に示される好適実施例を基に詳細に説明する。
【００１５】
図１に、本発明の画像処理方法およびこれを用いた画像処理装置を利用するデジタルフォトプリンタの一例のブロック図が示される。
図１に示されるデジタルフォトプリンタ（以下、フォトプリンタ１０とする）は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、読み取られた画像データ（画像情報）の画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上り）プリントとして出力するプリンタ１６とを有する。
また、画像処理装置１４には、様々な条件の入力（設定）、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、条件の設定／登録画面等を表示するディスプレイ２０が接続される。
【００１６】
スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各画像読取に対応するラインＣＣＤセンサを有するイメージセンサ３４と、アンプ（増幅器）３６と、Ａ／Ｄ（アナログ／デジタル）変換器３８とを有する。
【００１７】
また、フォトプリンタ１０においては、新写真システム(Advanced Photo System）や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて、スキャナ１２の本体に装着自在な専用のキャリア３０が用意されており、キャリア３０を交換することにより、各種のフィルムや処理に対応することができる。フィルムＦに撮影され、プリント作成に供される画像（コマ）は、このキャリアによって所定の読取位置に搬送される。
このようなスキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４によって光量調整された読取光が、キャリアによって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
【００１８】
キャリア３０は、所定の読取位置にフィルムＦを位置しつつ、イメージセンサ３４のラインＣＣＤセンサの延在方向（主走査方向）と直交する副走査方向に、フィルムＦの長手方向を一致させて搬送する、読取位置を副走査方向に挟んで配置される搬送ローラ対（図示されない）と、フィルムＦの投影光を所定のスリット状に規制する、読取位置に対応して位置する主走査方向に延在するスリットを有するマスク（図示されない）とを有する。
フィルムＦは、このキャリア３０によって読取位置に位置されて副走査方向に搬送されつつ、読取光が入射される。これにより、結果的にフィルムＦが主走査方向に延在するスリットによって２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００１９】
前述のように、読取光はキャリア３０に保持されたフィルムＦを透過して画像を担持する投影光となり、この投影光は、結像レンズユニット３２によってイメージセンサ３４の受光面に結像される。
イメージセンサ３４は、Ｒ画像の読み取りを行うラインＣＣＤセンサ３４Ｒ、Ｇ画像の読み取りを行うラインＣＣＤセンサ３４Ｇ、およびＢ画像の読み取りを行うラインＣＣＤセンサ３４Ｂを有する、いわゆる３ラインのカラーＣＣＤセンサで、各ラインＣＣＤセンサは、前述のように主走査方向に延在している。フィルムＦの投影光は、このイメージセンサ３４によって、Ｒ、ＧおよびＢの３原色に分解されて光電的に読み取られる。
イメージセンサ３４の出力信号は、アンプ３６で増幅され、Ａ／Ｄ変換器３８でデジタル信号とされて、画像処理装置１４に送られる。
【００２０】
スキャナ１２においては、フィルムＦに撮影された画像の読み取りを、低解像度で読み取るプレスキャンと、出力画像の画像データを得るための本スキャンとの、２回の画像読取で行う。
プレスキャンは、スキャナ１２が対象とする全てのフィルムの画像を、イメージセンサ３４が飽和することなく読み取れるように、あらかじめ設定された、プレスキャンの読取条件で行われる。一方、本スキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサ３４が飽和するように、各コマ毎に設定された本スキャンの読取条件で行われる。
プレスキャンと本スキャンの出力信号は、解像度と出力レベルが異なる以外は、基本的に同じデータである。
【００２１】
なお、本発明の画像処理方法およびこれを用いた画像処理装置を利用するデジタルフォトプリンタにおいて、スキャナ１２はスリット走査読取によるものに限定されず、１コマの画像の全面に読取光を照射して一度に読み取る、面読取を利用するものであってもよい。
この場合には、例えば、エリアＣＣＤセンサを用い、光源とフィルムＦとの間に、Ｒ、ＧおよびＢの各色フィルタの挿入手段を設け、色フィルタを挿入してエリアＣＣＤセンサで画像を読み取ることを、Ｒ、ＧおよびＢの各色フィルタで順次行い、フィルムに撮影された画像を３原色に分解して順次行う。
前述のように、スキャナ１２から出力されたデジタル信号は、画像処理装置１４（以下、処理装置１４とする）に出力される。
なお、本実施例で行われる画像処理の対象は、フィルムＦをスキャナ１２で読み取ってＡ／Ｄ変換されたデジタル信号であるが、デジタルステルカメラ等で撮影されたデジタル信号や各種のネットワークを介して得られる画像デジタル信号であってもよい。
【００２２】
図２に、処理装置１４のブロック図を示す。処理装置１４は、データ処理部４０、Ｌｏｇ変換器４２、プレスキャン（フレーム）メモリ４４、本スキャン（フレーム）メモリ４６、プレスキャン処理部４８、本スキャン処理部５０、および条件設定部６０を有する。
なお、図２は、主に画像処理関連の部位を示すものであり、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記憶するメモリ等が配置され、また、操作系１８やディスプレイ２０は、このＣＰＵ等（ＣＰＵバス）を介して各部位に接続される。
【００２３】
スキャナ１２から出力されたＲ，ＧおよびＢの各デジタル信号は、データ処理部４０において、暗時補正、欠陥画素補正、シェーディング補正等の所定のデータ処理を施された後、Ｌｏｇ変換器４２によって変換されてデジタルの画像データ（濃度データ）とされ、プレスキャンデータはプレスキャンメモリ４４に、本スキャンデータは本スキャンメモリ４６に、それぞれ記憶（格納）される。
プレスキャンメモリ４４に記憶されたプレスキャンデータは、画像データ処理部５２と画像データ変換部５４とを有するプレスキャン処理部４８に、他方、本スキャンメモリ４６に記憶された本スキャンデータは、画像データ処理部５６と画像データ変換部５８とを有する本スキャン処理部５０に読み出され、処理される。
【００２４】
プレスキャン処理部４８の画像データ処理部５２と、本スキャン処理部５０の画像データ処理部５６は、後述する条件設定部６０が設定した処理条件に応じて、スキャナ１２によって読み取られた画像（画像データ）に、所定の画像処理を施す部位で、両者は、解像度が異なる以外は、基本的に、同じ処理を行う。
【００２５】
両処理部による画像処理には、画像濃度の低い領域で目立つ感光材料に起因したざらつき（粒状）等を抑制除去する粒状抑制処理や原画像をくっきり鮮鋭化するシャープネス強調処理が少なくとも含まれる。これ以外の処理に関しては、特に限定はなく、公知の各種の画像処理が例示されるが、例えば、ＬＵＴ（ルックアップテーブル）を用いたグレイバランス調整、階調補正、および濃度（明るさ）調整、マトリクス（ＭＴＸ）による撮影光源種補正や画像の彩度調整（色調整）、その他、補間演算等を用いた、電子変倍処理、覆い焼き処理（濃度ダイナミックレンジの圧縮／伸長）等が例示される。なお、上記粒状抑制処理は、デジタルスチルカメラ等で撮影された際の原画像に含まれるショットノイズや、ネットワークを介して原画像を得る際に含まれるノイズ等についてもノイズ抑制できるものである。
粒状抑制処理およびシャープネス強調処理は、ある処理強度に基づいて行われるが、この処理強度は、プレスキャンデータを用いて処理条件を設定する条件設定部６０において決定される。
【００２６】
ここで、画像データ処理部５２および５６で行われる粒状抑制処理およびシャープネス強調処理は、図３に本スキャンデータの処理に関する一例が示されているが、図中下方部分に示される画像データ処理部５６の一部分を形成する粒状抑制・シャープネス強調処理部５６Ａに示されるように、本スキャンデータである画像データＲ、ＧおよびＢに画像処理を施し、処理画像データＲ’、Ｇ’およびＢ’を得るものである。勿論、プレスキャンデータに対しても、本スキャンデータと同様に、粒状抑制・シャープネス強調処理部５６Ａと同様の処理が、画像データ処理部５２で施される。
ここで、粒状抑制・シャープネス強調処理部５６Ａの処理内容を説明すると、まず、本スキャンデータである画像データＲ、ＧおよびＢに対して、以下に示す５×５のローパスフィルタを２段にカスケード接続した９×９のローパスフィルタ５６Ｂによりフィルタリング処理を施し、本スキャン画像データの低周波数成分ＲL 、ＧL 、ＢL を得る。
【数１】
0004064031.tif 000002
【００２７】
次に、画像データＲ、ＧおよびＢから低周波数成分ＲL 、ＧL 、ＢL を加算・減算器５６Ｃで減算して、中間・高周波数成分ＲMH、ＧMHおよびＢMHを得る。
ここで、低周波数成分ＲL 、ＧL およびＢL は、原画像内の被写体のエッジやテクスチャやフィルムＦの粒状によるざらつきを含まず、中間周波数成分ＲM 、ＧM およびＢM は、フィルムＦの粒状によるざらつきを含み、高周波数成分ＲH 、ＧH およびＢH は、原画像内の被写体のエッジやテクスチャを含む。
【００２８】
低周波数成分ＲL 、ＧL 、ＢL とは、図４に示されるような、空間周波数０にピークを持つ分布ＨL のフィルタ特性を備えるフィルタにより処理された周波数成分であり、中間周波数成分ＲM 、ＧM およびＢM は、再生画像データの画素間隔より定まるナイキスト空間周波数ｆS ／２の３分の１の空間周波数付近にピークを持つ分布ＨM のフィルタ特性を備えるフィルタにより処理された周波数成分であり、高周波数成分ＲH 、ＧH およびＢH は、ナイキスト空間周波数ｆS ／２にピークを持つ分布ＨM のフィルタ特性を備えるフィルタにより処理された周波数成分である。ここで、図４は、高周波数成分ＲH 、ＧH およびＢH と中間周波数成分ＲM 、ＧM およびＢM は、後述するゲイン係数ＭおよびＨを１．０とした時のフィルタ特性を示している。ここで、ゲイン係数ＨおよびＭは、０以上の係数であり、１．０の場合、処理が施されない無処理の状態を示す。ゲイン係数Ｈが１．０より大きくなるほどシャープネス強調処理が強くなり、ゲイン係数Ｍが１．０より小さくなると粒状抑制処理が強くなり、後述する粒状抑制・シャープネス強調処理制御手段６２Ａにおいて自動的に決定される。また、図４の分布ＨL 、ＨM およびＨH の周波数成分の総和は１．０となっている。
【００２９】
次に、分解された中間・高周波数成分ＲMH、ＧMHおよびＢMHから、輝度成分が算出される。この輝度成分の算出は、本スキャン画像データの中間・高周波数成分ＲMH、ＧMHおよびＢMHを、ＭＴＸ変換部５６Ｄにおいて、ＹＩＱ基底に変換することによって成分ＹMHを算出するものである。ここで、ＹＩＱ基底への変換は下記式により行う。
【数２】
0004064031.tif 000003
【００３０】
ＹＩＱ変換に変換後の色成分である成分ＩMHおよび成分ＱMHは、フィルム粒状に起因する色のざらつきを含み、また、一般に撮影被写体を含む画像において成分をほとんど持たないことが経験的にわかっているため、成分ＩMHおよび成分ＱMHは０とすることができ、これによりフィルム粒状に起因する色のざらつきを抑制することができる。
【００３１】
ＭＴＸ変換部５６Ｄで得られた成分ＹMHに対して、上述した５×５のローパスフィルタを備えるローパスフィルタ５６Ｅで、成分ＹMHから成分ＹMHの中間周波数成分ＹM を得、これを加算・減算器５６Ｆで成分ＹMHから減算することで、成分ＹMHの高周波数成分ＹH を得る。
【００３２】
次に、後述する粒状抑制・シャープネス強調処理制御手段６２Ａによって自動的に決定されたゲイン係数ＭおよびＨを用いて、以下の式に示すように、それぞれ、乗算器５６Ｇおよび５６Ｉにおいて、成分ＹM およびＹH に乗じられて処理済成分ＹM ’、ＹH ’が得られ、処理済成分ＹM ’、ＹH ’が合成されて成分ＹMH’が得られる。
ＹMH’＝  Ｍ  ×  ＹM   ＋  Ｈ  ×  ＹH 
【００３３】
その後、成分ＹMH’が加算器５６Ｋにおいて、ローパスフィルタ５６Ｂで求められた低周波数成分ＲL、ＧL およびＢL に加算され、処理画像データＲ’，Ｇ’およびＢ’を得る。
成分ＹMH’が低周波数成分ＲL 、ＧLおよびＢL に加算されるのは、ＭＴＸ演算部５６Ｄで成分ＩMHおよびＱMHを０としており、処理済成分ＹMH’を逆変換してＲ，ＧおよびＢを求めても、すべて処理済成分ＹMH’と同一の値となることより、直接成分ＹMH’の値を低周波数成分ＲL、ＧL およびＢL に加算することができるからである。
このように、ゲイン係数Ｍは、フィルム粒状に起因する色のざらつきが含まれる中間周波数成分を制御する係数であるため、このゲイン係数Ｍは、粒状抑制処理の処理強度を定める係数となる。また、ゲイン係数Ｈは、原画像内の被写体のエッジやテクスチャ等の画像情報が含まれる高周波数成分を制御する係数であるため、このゲイン係数Ｈは、原画像のシャープネス強調処理の処理強度を定める係数となる。従って、上記説明した処理は、ゲイン係数ＭおよびＨを定めることによって、粒状抑制処理およびシャープネス強調処理を同時に行う。以降、この処理を粒状抑制・シャープネス強調処理とする。
【００３４】
画像データ変換部５８は、画像データ処理部５６によって処理された画像データを、例えば、３Ｄ（三次元）−ＬＵＴ等を用いて変換して、プリンタ１６による画像記録に対応する画像データとしてプリンタ１６に供給する。
画像データ変換部５４は、画像データ処理部５２によって処理された画像データを、必要に応じて間引いて、同様に、３Ｄ−ＬＵＴ等を用いて変換して、ディスプレイ２０による表示に対応する画像データとしてディスプレイ２０に供給する。
【００３５】
条件設定部６０は、プレスキャン処理部４８および本スキャン処理部５０における各種の処理条件や、本スキャンの読取条件を設定する部分であり、セットアップ部６２、キー補正部６４、およびパラメータ統合部６６を有する。
【００３６】
セットアップ部６２は、粒状抑制・シャープネス強調処理の処理強度を定めるゲイン係数ＭおよびＨを自動的に決定する粒状抑制・シャープネス強調処理制御手段６２Ａと、粒状抑制・シャープネス強調処理以外の画像処理、例えば上述したグレイバランス調整、階調補正等のプレスキャン処理部４８および本スキャン処理部５０で行う画像処理の処理条件パラメータを自動的に設定するパラメータ設定部６２Ｂとを備える。
粒状抑制・シャープネス強調処理制御手段６２Ａは、上述した粒状抑制・シャープネス強調処理部５６Ａで用いられるゲイン係数ＭおよびＨを撮影シーンの判別結果に応じて自動的に決定する部分であり、顔抽出部６２Ｃ、シーン判別部６２Ｄおよびゲイン係数決定部６２Ｅを備える。
【００３７】
顔抽出部６２Ｃは、原画像の中から撮影人物の顔を抽出する部分である。また、本発明で実行する顔抽出方法には特に限定はないが、一例として、肌色・円形状抽出による顔抽出、顔輪郭・円形状抽出による顔抽出、胴体・円形状抽出による顔抽出、眼部（顔内部構造）・円形状抽出による顔抽出、頭髪部抽出・円形状抽出による顔抽出等が挙げられる。これらの抽出方法については、本出願人に係る特開平８−１８４９２５号公報等に詳述されている。
【００３８】
例えば、肌色・円形状抽出は、肌色抽出および円形状抽出を行うことにより、顔領域を抽出する。すなわち、プレスキャンデータ（必要に応じて間引いても可）から各画素の色相および彩度を知見し、人の肌の肌色と推定できる画素領域（肌色領域）を抽出し、次いで、人の顔は一般的に楕円形であるので、抽出した肌色領域から、人の顔であると推定される（楕）円形状を抽出して、これを顔領域候補とする。
【００３９】
また、顔輪郭・円形状抽出は、エッジ抽出による顔輪郭抽出および円形状抽出を行って顔領域を抽出する。以下同様に、胴体・円形状抽出は、エッジ抽出による胴体輪郭抽出および円形状抽出、眼部・円形状抽出は、人の眼の抽出および円形状抽出、頭髪部・円形状抽出は、エッジ抽出による人の頭髪の抽出および円形状抽出を行って顔領域を抽出する。
【００４０】
また、本発明においては、例えば特開平４−３４６３３２号、同４−３４６３３３号、同４−３４６３３４号、同５−１００３２８号、同５−１５８１６４号、同５−１６５１１９号、同５−１６５１２０号、同６−６７３２０号、同６−１６０９９２号、同６−１６０９９３号、同６−１６０９９４号、同６−１６０９９５号、同８−１２２９４４号、同９−８０６５２号、同９−１０１５７９号、同９−１３８４７０号、同９−１３８４７１号等の各公報に開示される、公知の各種の主要部抽出方法も利用可能である。
【００４１】
このようにして抽出された顔部分の領域の情報がシーン判別部６２Ｄに送られる。
シーン判別部６２Ｄは、得られた顔部分の領域の情報より、原画像に対する顔部分の領域の比率が一定の閾値以上にあるか判断し、一定の閾値以上の場合、原画像は、ポートレートシーンと判断する。一定の閾値以下の場合、原画像は、ポートレートシーン以外のシーンと判別する。その後、判別結果がゲイン係数決定部６２Ｅに送られる。また、同時にパラメータ設定部６２Ｂにおいて濃度補正等行う際の画像特徴量等がゲイン係数決定部６２Ｅに送られ、シーン判別された判別結果とともに自動的かつ一意的にゲイン係数ＭおよびＨが決定される。
【００４２】
ゲイン係数決定部６２Ｅは、シーン判別部６２Ｄで判別された判別結果に応じて、粒状抑制・シャープネス強調処理の処理強度を定めるゲイン係数ＭおよびＨを決定する部分である。
ポートレートシーンまたはそれ以外のシーンといった判別結果および、後述するパラメータ設定部６２Ｂでプレスキャン画像データから自動算出される画像濃度ヒストグラムや画像特徴量に基づいて、ゲイン係数ＭおよびＨは自動的に調整されて一意的に決定されるが、ポートレートシーンと判別した場合、ポートレートシーン以外のシーンと判別した場合に比べ、ゲイン係数ＭおよびＨは小さくなる。このようにして、ポートレートシーンと判別した場合、ポートレートシーン以外のシーンと判別した場合に比べて、粒状抑制処理の処理強度を強く施し、シャープネス強調処理の処理強度を弱める。
ポートレートシーンと判断した場合、粒状抑制処理の処理強度を強く施すのは、中間周波数成分には、フィルム粒状に起因する色のざらつきがあり、ポートレートシーン内の撮影被写体である人物の顔部分の肌のざらつきを抑制するためである。また、シャープネス強調処理の処理強度を弱めるのは、ポートレートシーン内の撮影被写体である人物画像の表情が、エッジ領域の鮮鋭化によってきつくなるのを防止するためである。
【００４３】
得られたゲイン係数ＭおよびＨは、パラメータ統合部６６に送られる。
粒状抑制・シャープネス強調処理制御手段６２Ａは、全ての構成部分をソフトウエアにて構成することもできるし、全ての構成部分をハードウエアにて構成することもできるし、構成部分の一部分をソフトウエアにて、あるいはハードウエアにて構成してもよい。
【００４４】
セットアップ部６２のパラメータ設定部６２Ｂは、プレスキャンメモリ５２からプレスキャンデータを読み出し、プレスキャンデータから、濃度ヒストグラムの作成や、平均濃度、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出を行い、本スキャンの読取条件を決定し、また、濃度ヒストグラムや画像特徴量に加え、必要に応じて行われるオペレータによる指示等に応じて、グレイバランス調整、階調補正および濃度調整を行うＬＵＴの作成、ＭＴＸ演算式の作成等、プレスキャン処理部４８および本スキャン処理部５０における各種の画像処理条件を設定する。
【００４５】
キー補正部５８は、濃度（明るさ）、色、コントラスト、シャープネス、彩度調等を調整するキーやマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量を算出し、パラメータ統合部６６に供給するものである。
パラメータ統合部６６は、パラメータ設定部６２Ｂが設定した画像処理条件やゲイン係数決定部６２Ｅで決定されたゲイン係数ＭおよびＨを受け取り、プレスキャン処理部４８および本スキャン処理部５０に設定し、さらに、キー補正部６４で算出された調整量に応じて、各部位に設定した画像処理条件を補正（調整）し、あるいは画像処理条件を再設定する。
【００４６】
以下、スキャナ１２および処理装置１４の作用を説明する。
このフィルムＦのプリント作成を依頼されたオペレータは、フィルムＦに対応するキャリア３０をスキャナ１２に装填し、キャリア３０の所定位置にフィルムＦ（カートリッジ）をセットし、作成するプリントサイズ等の必要な指示を入力した後に、プリント作成開始を指示する。
これにより、スキャナ１２の可変絞り２４の絞り値やイメージセンサ（ラインＣＣＤセンサ）３４の蓄積時間がプレスキャンの読取条件に応じて設定され、その後、キャリア３０がフィルムＦをカートリッジから引き出して、プレスキャンに応じた速度で副走査方向に搬送して、プレスキャンが開始され、前述のように所定の読取位置において、フィルムＦがスリット走査されて投影光がイメージセンサ３４に結像して、フィルムＦに撮影された画像がＲ，ＧおよびＢに分解されて光電的に読み取られる。
【００４７】
なお、プレスキャンおよび本スキャンは、１コマずつ行ってもよく、全コマあるいは所定の複数コマずつ、連続的にプレスキャンおよび本スキャンを行ってもよい。以下の例では、説明を簡潔にするために、１コマの画像読取を例に説明を行う。
【００４８】
プレスキャンによるイメージセンサ３４の出力信号は、アンプ３６で増幅されて、Ａ／Ｄ変換器３８に送られ、デジタル信号とされる。
デジタル信号は、処理装置１４に送られ、データ処理部４０で所定のデータ処理を施され、Ｌｏｇ変換器４２でデジタルの画像データであるプレスキャンデータとされ、プレスキャンメモリ４４に記憶される。
【００４９】
プレスキャンメモリ４４にプレスキャンデータが記憶されると、条件設定部６０のセットアップ部６２がこれを読み出し、粒状抑制・シャープネス強調処理制御手段６２Ａおよびパラメータ設定部６２Ｂに供給する。
パラメータ設定部６２Ｂは、プレスキャンデータから、画像の濃度ヒストグラムの作成、ハイライトやシャドー等の画像特徴量の算出等を行い、本スキャンの読取条件を設定してスキャナ１２に供給し、さらに、濃度ヒストグラムや算出した画像特徴量等をゲイン係数決定部６２Ｅおよびパラメータ統合部６６に供給する。
【００５０】
粒状抑制・シャープネス強調処理制御手段６２Ａにおいては、前述のように、顔抽出部６２Ｃにて原画像内の人物の顔部分が抽出され、抽出された顔部分の領域の原画像全体の領域に対する比率が所定の閾値以上となる場合、シーン判別部６２Ｄにて原画像はポートレートシーンと判別し、この判別結果がゲイン係数決定部６２Ｅに送られる。ゲイン係数決定部６２Ｅにおいては、シーン判別部６２Ｄより送られた判別結果およびパラメータ設定部６２Ｂより送られた濃度ヒストグラムや算出した画像特徴量等に基づいて、ゲイン係数ＭおよびＨが一意的かつ自動的に決定される。
決定されたゲイン係数ＭおよびＨは、パラメータ統合部６６に送られる。
【００５１】
パラメータ統合部６６は、受け取ったゲイン係数ＭおよびＨや画像処理条件を必要に応じてキー補正部５８より補正調整し、プレスキャン処理部５６および本スキャン処理部５８の所定部位（ハードウエア）に設定する。
【００５２】
検定を行う場合には、プレスキャンデータが画像データ処理部５２によってプレスキャンメモリ４４から読み出され、画像データ処理部５２で処理され、画像データ変換部５４で変換されて、シミュレーション画像としてディスプレイ２０に表示される。
オペレータは、ディスプレイ２０の表示を見て、画像すなわち処理結果の確認（検定）を行い、必要に応じて、キーボード１８ａに設定された調整キー等を用いて色、濃度、階調等を調整する。
この調整の入力は、キー補正部６４に送られ、キー補正部６４は調整入力に応じた画像処理条件の補正量を算出し、これをパラメータ統合部６６に送る。パラメータ統合部６６は、送られた補正量に応じて、前述のように、画像データ処理部５２および５６のＬＵＴやＭＴＸ等を補正する。従って、この補正すなわちオペレータによる調整入力に応じて、ディスプレイ２０に表示される画像も変化する。
【００５３】
オペレータは、このコマの画像が適正（検定ＯＫ）であると判定すると、キーボード１８ａ等を用いてプリント開始を指示する。これにより、画像処理条件が確定し、スキャナ１２において可変絞り２４の絞り値等が設定された本スキャンの読取条件に応じて設定されると共に、キャリア３０が本スキャンに対応する速度でフィルムＦを搬送し、本スキャンが開始される。
なお、検定を行わない場合には、パラメータ統合部６６による本スキャン処理部５０への画像処理条件の設定を終了した時点で画像処理条件が確定し、本スキャンが開始される。
【００５４】
本スキャンは、可変絞り２４の絞り値等の読取条件が設定された本スキャンの読取条件となる以外はプレスキャンと同様に行われ、イメージセンサ３４からの出力信号はアンプ３６で増幅されて、Ａ／Ｄ変換器３８でデジタル信号とされ、処理装置１４のデータ処理部４０で処理されて、Ｌｏｇ変換器４２で本スキャンデータとされ、本スキャンメモリ４６に送られる。
本スキャンデータが本スキャンメモリ４６に送られると、本スキャン処理部５０によって読み出され、画像データ処理部５６において確定した画像処理条件で画像処理され、次いで、画像データ変換部５８で変換されて出力用の画像データとされ、プリンタ１６に出力される。
【００５５】
プリンタ１６は、供給された画像データに応じて感光材料（印画紙）を露光して潜像を記録するプリンタ（焼付装置）と、露光済の感光材料に所定の処理を施してプリントとして出力するプロセサ（現像装置）とを有する。
プリンタでは、例えば、感光材料をプリントに応じた所定長に切断した後に、バックプリントを記録し、次いで、感光材料の分光感度特性に応じたＲ露光、Ｇ露光およびＢ露光の３種の光ビームを処理装置１４から出力された画像データに応じて変調して主走査方向に偏向すると共に、主走査方向と直交する副走査方向に感光材料を搬送することにより、前記光ビームで感光材料を２次元的に走査露光して潜像を記録し、プロセサに供給する。感光材料を受け取ったプロセサは、発色現像、漂白定着、水洗等の所定の湿式現像処理を行い、乾燥してプリントとし、フィルム１本分等の所定単位に仕分して集積する。
【００５６】
図２および図３に基づく実施例は、判別された原画像全体の撮影シーンの判別結果に基づいて、画像データ全体に施す粒状抑制・シャープネス強調処理のゲイン係数ＭおよびＨを自動的に決定するものであるが、図２に示されるセットアップ部６２の粒状抑制・シャープネス強調処理制御手段６２Ａを図５に示すように、主要部抽出部６２Ｇ、周波数解析部６２Ｈおよびゲイン係数決定部６２Ｉで構成する周波数解析による粒状抑制・シャープネス強調処理制御手段６２Ｆに置き換えて粒状抑制・シャープネス強調処理を行うものであってもよい。
【００５７】
ここで主要部抽出部６２Ｇは、主要部として人物の顔の他に、例えば、ペット、馬などの動物、自動車、山、湖などを、上記顔抽出部６２Ｃで述べた各種方法を用いて抽出してもよい。この場合は、選択された主要部に適した色や形状を用いた抽出アルゴリズムを選択すればよい。
【００５８】
抽出された撮影シーン内の主要部領域、すなわち原画像内の局所領域について、周波数解析部６２Ｈで周波数解析を行う。
すなわち、抽出された主要部の局所領域の画像データについて、再生画像データの画素間隔より定まるナイキスト空間周波数ｆS ／２を最大周波数とする周波数解析を行う。例えば、ＦＦＴ（Fast Fourier Transformation ）や離散型フーリエ変換によって、周波数解析を行いスペクトル分布を求め、図４に示されるようなフィルタ特性を乗算して、中間周波数成分の周波数帯域のオーバーオールのスペクトル値を求め、中間周波数成分のスペクトル値を得る。あるいは、上述したローパスフィイルタ５６Ｂや５６Ｅで用いられるフィルタ処理を施して中間周波数成分を抽出し、ＦＦＴや離散型フーリエ変換によって、中間周波数成分のスペクトル値を得てもよい。
この得られた中間周波数成分のスペクトル値を空間周波数特性として用い、スペクトル値が所定値、例えばフィルムＦのフィルム感度あるいはパラメータ設定部６２Ｂで算出されるアンダー露光等の撮影状況を表す画像特徴量に応じて定まる閾値を超える場合、シャープネス優先領域と判別し、上記スペクトル値がそれ以外、すなわち上記所定値以下の場合、粒状優先領域と判別する。
【００５９】
ここで、判別に用いられるスペクトル値は、Ｒ、ＧおよびＢの各画像データに対して別々に求めたスペクトル値を統合化することによって得、これを空間周波数特性として判別に用いてもよく、Ｒ、ＧおよびＢの画像データを例えば平均値や合計値等の所定の方法により、１つのスペクトル値としてまとめ、判別を行ってもよい。また、Ｒ、ＧおよびＢの各画像データのスペクトル値に対して、それぞれ所定値を定め、３つのスペクトル値のうち少なくとも１つが、あるいは３つのスペクトル値のすべてが、所定値を超える場合、シャープネス優先領域と判別してもよい。
また、中間周波数成分のスペクトル値の替わりに、中間周波数成分および高周波数成分を含む中間・高周波数成分のスペクトル値を空間周波数特性として用いてもよい。
【００６０】
このように、中間周波数成分あるいは中間・高周波数成分のスペクトル値の大小でシャープネス優先領域または粒状優先領域を判断できるのは、以下の理由による。
すなわち、中間周波数成分にはフィルムに起因する粒状成分の他に、高周波数成分に含まれる、シャープネス処理を施すことが望ましい撮影被写体のエッジ領域の成分、すなわちエッジ成分や、細かな模様等のテクスチャー成分が含まれており、このエッジ成分やテクスチャー成分は、フィルムに起因する粒状成分に比べて振幅が大きく、スペクトル値に大きな影響を与え、例えば、エッジ成分やテクスチャー成分を含まず、画像濃度の空間変動が少ない、いわゆるフラットな領域は、中間周波数成分あるいは中間・高周波数成分のスペクトル値が小さくなり、逆にシャープネス処理を施すことが望ましいエッジ成分やテクスチャー成分を含む領域は、中間周波数成分あるいは中間・高周波数成分のスペクトル値が大きくなるからである。
例えば風景領域には、撮影被写体のエッジ成分やテクスチャー成分が多く含まれるので、中間周波数成分または中間・高周波数成分のスペクトル値が上記所定値を超え、シャープネス優先領域と判別される。
【００６１】
得られた判別結果は、ゲイン係数決定部６２Ｉに送られる。
ゲイン係数決定部６２Ｉでは、得られた判別結果に応じて、ゲイン係数ＭおよびＨが決定される。すなわち、シャープネス優先領域または粒状優先領域の判別結果および、パラメータ設定部６２Ｂでプレスキャン画像データから自動算出される濃度ヒストグラムや画像特徴量に基づいて、ゲイン係数ＭおよびＨは自動的に調整されて一意的に決定されるが、シャープネス優先領域と判別した場合のゲイン係数Ｈは、粒状優先領域と判別した場合のゲイン係数Ｈより大きい値となり、粒状優先領域と判別した場合のゲイン係数Ｍは、シャープネス優先領域と判別した場合のゲイン係数Ｍより小さい値となる。
粒状優先領域は、フィルムによるざらつきを抑えるため、粒状抑制を強め、色のざらつきを押さえることができる。一方、シャープネス優先領域は、画像濃度の空間変動が激しく、高周波数成分が多く、被写体のエッジ成分やテクスチャー成分が多いと判断されるので、くっきりした画像を得るため、シャープネス強調処理を強く施す。
【００６２】
決定されたゲイン係数ＭおよびＨは、主要部抽出部６２Ｇで抽出された主要部の局所領域の位置情報と共にパラメータ統合部６６に送られる。
得られたゲイン係数ＭおよびＨとこの係数を用いて粒状抑制・シャープネス強調処理の行われる局所領域の位置情報が、パラメータ統合部６６を介して、画像データ処理部５２および５６に送られた後、局所領域について、上述したゲイン係数ＭおよびＨに基づいて粒状抑制・シャープネス強調処理が行われる。このような局所領域は、原画像の中で１つの領域に限られず、複数の局所領域を抽出してもよく、この複数の局所領域について、局所領域ごとに定まるゲイン係数ＭおよびＨに基づいて粒状抑制・シャープネス強調処理を行ってもよい。また、局所領域以外の領域についても、その領域に応じたゲイン係数ＭおよびＨを定めてもよい。さらに、本実施例による局所領域は、主要部抽出部６２Ｇにおいて抽出された主要部であるが、主要部として抽出されるものに限られず、予め定められた原画像内の所定の領域、例えば原画像を矩形等に分割した局所領域であってもよい。
【００６３】
さらに、周波数解析による粒状抑制・シャープネス強調処理制御手段６２Ｆは、主要抽出部６２Ｇにおいて原画像の中から主要部を抽出した局所領域の画像データに対して、粒状抑制・シャープネス強調処理を施す条件を設定するものであるが、必ずしも局所領域の周波数解析をして、その領域の画像データに対して粒状抑制・シャープネス強調処理を施すものに限定されず、原画像全体を周波数解析部６２Ｈで周波数解析をし、中間周波数成分または中間・高周波数成分のスペクトル値が所定値、例えばフィルム感度あるいはアンダー露光等を表す画像特徴量に応じて定まる閾値より大きい場合、シャープネス強調処理を強く施すシャープネス優先シーンと判別し、中間周波数成分または中間・高周波数成分が上記所定値以下の場合、粒状抑制処理を強く施す粒状優先シーンと判別し、原画像全体に対して１つのゲイン係数ＭおよびＨで粒状抑制・シャープネス強調処理を施すものであってもよい。
例えば風景シーンの場合、撮影被写体のエッジ成分やテクスチャー成分が多く含まれるので、中間周波数成分または中間・高周波数成分のスペクトル値が上記所定値を超え、シャープネス優先シーンと判別される。
【００６４】
さらに、上記粒状抑制・シャープネス強調処理制御手段６２Ａや６２Ｆにおけるゲイン係数決定部６２Ｅや６２Ｉは、抽出された人物の顔部分のエッジ領域や抽出された主要部のエッジ領域のコントラストを判別し、例えばエッジ領域のコントラストが強く、画像データが急激に変化している場合、この変化の程度に応じて、ゲイン係数Ｈを微調整し、シャープネス強調処理の処理強度を弱めてもよい。エッジ領域のコントラストが高い場合、シャープネス強調処理を行うと、抽出された顔や主要部の輪郭部分に縁ができ、不自然な処理画像となるためである。本発明においては、ゲイン係数Ｈを微調整してシャープネス強調を弱める場合に限られず、別個のシャープネス強調処理によってシャープネス強調を弱めてもよい。
【００６５】
以上、本発明の画像処理方法について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００６６】
【発明の効果】
以上、詳細に説明したように、本発明によれば、デジタルフォトプリンタ等のフォトプリンタにおいて、原画像全体または原画像の局所領域の撮影シーンの判別結果に基づいて、画像データに施す粒状抑制・シャープネス強調処理の処理強度を決定するので、原画像全体または局所領域の撮影シーンに応じて、最適に粒状抑制・シャープネス強調処理を施し、高品位な再現画像を得ることができる。
【図面の簡単な説明】
【図１】  本発明の画像処理方法およびこれを用いた画像処理装置の一例を利用するデジタルフォトプリンタのブロック図である。
【図２】  図１に示されるデジタルフォトプリンタの画像処理装置のブロック図である。
【図３】  図２に示される画像処理装置の要部を示すブロック図である。
【図４】  本発明の画像処理方法で用いられる低周波数成分、中間周波数成分および高周波数成分を示す特性図である。
【図５】  本発明の画像処理方法を用いた画像処理装置の他の一例の要部を示すブロック図である。
【符号の説明】
１０  （デジタル）フォトプリンタ
１２  スキャナ
１４  （画像）処理装置
１６  プリンタ
１８  操作系
２０  ディスプレイ
２２  光源
２４  可変絞り
２８  拡散ボックス
３０  キャリア
３２  結像レンズユニット
３４  イメージセンサ
３４Ｒ，３４Ｇ，３４Ｂ  ラインＣＣＤセンサ
３６  アンプ
３８  Ａ／Ｄ変換器
４０  データ処理部
４２  Ｌｏｇ変換器
４４  プレスキャン（フレーム）メモリ
４６  本スキャン（フレーム）メモリ
４８  プレスキャン処理部
５０  本スキャン処理部
５２、５６  画像データ処理部
５４、５８  画像データ変換部
６０  条件設定部
６２  セットアップ部
６４  キー補正部
６６  パラメータ統合部
【図１】
0004064031.tif 000004
【図２】
0004064031.tif 000005
【図３】
0004064031.tif 000006
【図４】
0004064031.tif 000007
【図５】
0004064031.tif 000008