(57)【特許請求の範囲】
【請求項１】
所定の間隔で格子状に配列された原画像データの画素数を増減し、画像を拡縮する電子変倍処理を行った後、シャープネス強調処理を行い出力画像とする画像処理方法であって、
絵柄、画像の出力先、画像処理速度または画像の使用用途に応じた最適な補間方法を選択して電子変倍処理を行い、その後に行われる前記シャープネス強調処理の強さを、前記選択され実行された補間方法の種類によって決定されたレベルに変更することを特徴とする画像処理方法。
【請求項２】
前記画像処理の出力先は、画像が出力される記録媒体を含む請求項１に記載の画像処理方法。
【請求項３】
前記シャープネス強調処理の強さは、補間方法が３次スプライン法の場合には、補間方法が３次畳み込み法の場合より強められる請求項１または２に記載の画像処理方法。
【請求項４】
所定の間隔で格子状に配列された原画像データの画素数を増減し、画像を拡縮する電子変倍処理を行う電子変倍処理手段と、該電子変倍処理を行った後、シャープネス強調処理を行い、出力画像とする画像処理手段とを有する画像処理装置であって、
前記電子変倍処理手段は、絵柄、画像の出力先、画像処理速度または画像の使用用途に応じた最適な補間方法を選択して電子変倍処理を行い、
前記画像処理手段は、前記電子変倍処理後に行われる前記シャープネス強調処理の強さを、前記選択され実行された補間方法の種類によって決定されたレベルに変更することを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法および装置に係り、特に、画像データの補間により画像の拡縮を行う電子変倍処理を含む画像処理技術に関する。
【０００２】
【従来の技術】
従来、ネガフィルム、リバーサルフィルム等の写真フィルム原稿に撮影された画像の、印画紙等の感光材料への焼き付けは、フィルム原稿の画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光によって行われていた。
【０００３】
これに対し、近年では、デジタル露光を利用する焼き付けシステム、すなわち、フィルムに記録された画像情報を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像情報とし、この画像情報に応じて変調した記録光によって、感光材料を走査露光して画像（潜像）を記録し、現像してプリントとするデジタルプリントシステムが提案され、このシステムを具体的に実施するデジタルフォトプリンタの開発が進んでいる。
【０００４】
デジタルプリントシステムでは、複数画像の合成や画像の分割等の編集や文字と画像との編集等のプリント画像の編集レイアウトや、色／濃度調整、電子変倍、輪郭の鮮鋭度強調（シャープネス強調）等の各種の画像処理も自由に行うことができ、用途に応じて自由に編集および画像処理した仕上がりプリントを出力することができる。また、従来の直接露光によるプリントシステムでは、濃度分解能、空間分解能、色／濃度再現性等の点で、フィルム等に記録されている画像濃度情報をすべて再生することはできないが、デジタルフォトプリンタによれば、フィルムに記録されている画像濃度情報をほぼ１００％再生したプリントが出力可能である。
【０００５】
このとき、出力画像のサイズに応じて、画像を拡縮する必要がある。あるいは特にその画像の一部を拡大して再生する場合もある。このようなとき、電子変倍処理が行われる。電子変倍により画像を拡大する場合、通常は、補間により画像データを増やすようにしている。そのため、従来様々な補間方法が提案されている。
「画像解析ハンドブック」（東京大学出版会）には、各種の補間方法が記載されている。例えば、ニヤレストネイバー（Nearest Neighbor) 補間、バイリニヤ（bi-linear)補間、３次畳み込み（cubic convolution あるいはcubic sincともいう) 補間等である。
【０００６】
ニヤレストネイバー補間法とは、補間したい点に最も近いサンプル点の画像データを、求める画像データとするものである。すなわち、図８に示すように、補間点Ｐ（ｕ，ｖ）に対して、格子点Ｐ（ｉ，ｊ）に対する画像データをＰij、実数ｘの整数部分を［ｘ］（ガウス記号）で表すとき、ｒ＝［ｕ＋０．５］、ｓ＝［ｖ＋０．５］として、求める画像データＰを、Ｐ＝Ｐrsとする。いま、ｉ＝［ｕ］、ｊ＝［ｖ］とすると、図の場合、ｒ＝ｉ、ｓ＝ｊ＋１となる。
【０００７】
バイリニヤ補間法とは、補間したい点の周囲のサンプル点４点の画像データを用いて、双一次式により、求める画像データを算出するものである。すなわち、図９に示すように、補間点Ｐ（ｕ，ｖ）の周囲のサンプル点４点の画像データ、Ｐij、Ｐi+1,j 、Ｐi,j+1 、Ｐi+1,j+1 を用いて、次式により求める画像データＰを算出する。
Ｐ＝（１−ａ）・（１−ｂ）・Ｐij＋ａ・（１−ｂ）・Ｐi+1,j
＋（１−ａ）・ｂ・Ｐi,j+1 ＋ａ・ｂ・Ｐi+1,j+1
【０００８】
３次畳み込み補間法（cubic sinc) とは、補間したい点の周囲のサンプル点１６点の画像データを用いて、３次畳み込み関数により、求める画像データを算出するものである。すなわち、図１０に示すように、補間点の周囲のサンプル点１６点の画像データＰij（ｉ＝１〜４，ｊ＝１〜４）を用いて、次式により、求める画像データＰを算出する。
【数１】
0004063971.tif 000002
ここで、ｘi(ｉ＝１〜４）およびｙi(ｉ＝１〜４）は、それぞれ次のように計算される。
ｘ１＝１＋（ｕ−［ｕ］）
ｘ２＝ｕ−［ｕ］
ｘ３＝１−（ｕ−［ｕ］）
ｘ４＝２−（ｕ−［ｕ］）
ｙ１＝１＋（ｖ−［ｖ］）
ｙ２＝ｖ−［ｖ］
ｙ３＝１−（ｖ−［ｖ］）
ｙ４＝２−（ｖ−［ｖ］）
また、ｆは次の式によって定義される関数ｆ(t）である。
【数２】
0004063971.tif 000003
【０００９】
また、これら以外にも、３次スプライン（cubic spline) 補間や３次Ｂスプライン（cubic B-spline) 補間等が知られている。
３次スプライン補間も上記３次畳み込み補間（cubic sinc) と同様、補間点の周囲のサンプル点１６点の画像データを用いるものである。例えば、１次元方向において、４点Ｐk-1 、Ｐk 、Ｐk+1 、Ｐk+2 のうちＰk とＰk+1 の間に補間点Ｐ’があるとき、次の３次スプライン補間演算式によって、求める画像データＰ’が算出される。
Ｐ’＝ａk-1 ・Ｐk-1 ＋ａk ・Ｐk ＋ａk+1 ・Ｐk+1 ＋ａk+2 ・Ｐk+2
ここで、補間係数ａi は、例えば次の式で与えられる。
ａk-1 ＝−（α／２）・ｔ・（ｔ−１）2 
ａk   ＝（２−α／２）・ｔ3 −（３−α／２）・ｔ2 ＋１
ａk+1 ＝（α／２−２）・ｔ3 ＋（３−α）・ｔ2 ＋（α／２）・ｔ
ａk+2 ＝（α／２）・ｔ2 ・（ｔ−１）
ただし、αは補間画像データに基づいて算出される画像データの鮮鋭度を決定するパラメータであり、ｔ（０＜ｔ＜１）は原画像データの格子間隔を１とし、画素Ｐk を基準としたときの補間点Ｐ’の画素Ｐk+1 方向への位置を示す。
実際の画像は、画素が２次元に配列されて形成されているため、上記補間式に用いたパラメータｔを、その配列方向のうち、一方向についてはｔx とし、他の方向についてはｔy に置き換えて、各方向ごとの補間係数を定めて計算が行われる。
また、３次Ｂスプライン補間法は、上記補間係数ａi を変えたものである。
【００１０】
また、特開平９−３２１９８１号公報においては、補間点が、原画像データの変化が急峻な画像のエッジ部に属するか、または変化が緩慢な画像の平坦部に属するかを判定し、その結果によって補間方法を切り換えるようにしたものが開示されている。
【００１１】
【発明が解決しようとする課題】
しかしながら、従来のように、画像データがエッジ部か平坦部のどちらに属するかによって補間方法を切り換える方法は、それなりに効果はあるが、エッジの延びる方向の判定が難しく、エッジ部の検出精度があまり高くない場合には、それほどの効果を上げる事はできない。また、エッジ部を正確に検出できたとしても、単に、エッジ部か平坦部か、という相違に応じて補間方法を切り換えるだけでは、最適な再生画像を得ることはできないという問題があった。
【００１２】
本発明は、前記従来の問題に鑑みてなされたものであり、絵柄、画像出力先、画像処理速度、画像使用用途等に応じて最適な再生画像を得ることのできる画像処理方法および装置を提供することを課題とする。
【００１３】
【課題を解決するための手段】
前記課題を解決するために、本発明は、所定の間隔で格子状に配列された原画像データの画素数を増減し、画像を拡縮する電子変倍処理を行った後、シャープネス強調処理を行い出力画像とする画像処理方法であって、絵柄、画像の出力先、画像処理速度または画像の使用用途に応じた最適な補間方法を選択して電子変倍処理を行い、その後に行われる前記シャープネス強調処理の強さを、前記選択され実行された補間方法の種類によって決定されたレベルに変更することを特徴とする画像処理方法を提供する。
【００１４】
また、前記画像の出力先は、画像が出力される記録媒体を含むことが好ましい。
【００１６】
また、前記シャープネス処理の強さは、補間方法が３次スプライン法の場合には、補間方法が３次畳み込み法の場合より強められることが好ましい。
【００１７】
同様に前記課題を解決するために、本発明は、所定の間隔で格子状に配列された原画像データの画素数を増減し、画像を拡縮する電子変倍処理を行う電子変倍処理手段と、該電子変倍処理を行った後、シャープネス強調処理を行い、出力画像とする画像処理手段とを有する画像処理装置であって、前記電子変倍処理手段は、絵柄、画像の出力先、画像処理速度または画像の使用用途に応じた最適な補間方法を選択して電子変倍処理を行い、前記画像処理手段は、前記電子変倍処理後に行われる前記シャープネス強調処理の強さを、前記選択され実行された補間方法の種類によって決定されたレベルに変更することを特徴とする画像処理装置を提供する。
【００２０】
【発明の実施の形態】
以下、本発明に係る画像処理方法および装置について、添付の図面に示される好適実施例を基に、詳細に説明する。
【００２１】
図１は、本発明の一実施形態に係る、画像処理方法を実施する画像処理装置を適用するデジタルフォトプリンタの概略を示すブロック図である。
図１に示すデジタルフォトプリンタ（以下、フォトプリンタという）１０は、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像読取装置）１２と、このスキャナ１２で読み取られた画像データの電子変倍処理や、画像データのエッジ部の検出やシャープネス強調（鮮鋭度強調）、平滑化処理（粒状抑制）などの画像処理やフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、この画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上がり）画像をプリントとして出力する画像記録装置１６と、を有する。
また、画像処理装置１４には、様々な条件の入力、設定、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、様々な条件の設定／登録画面等を表示するモニタ２０が接続される。
【００２２】
スキャナ１２は、フィルムＦ等に撮影された画像を１コマずつ光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２６と、フィルムＦのキャリア２８と、結像レンズユニット３０と、Ｒ（赤）、Ｇ（緑）およびＢ（青）の各色画像濃度の読取に対応する３ラインＣＣＤセンサを有するイメージセンサ３２と、アンプ（増幅器）３３と、Ａ／Ｄ（アナログ／デジタル）変換器３４とを有する。
【００２３】
フォトプリンタ１０においては、スキャナ１２の本体に装着自在な専用のキャリア２８が、新写真システム（Ａdvanced Ｐhoto  Ｓystem)や１３５サイズのネガ（あるいはリバーサル）フィルム等のフィルムＦの種類やサイズ、ストリップスやスライド等のフィルムの形態等に応じて用意されており、キャリア２８の交換によって、各種のフィルムや処理に対応することができる。フィルムに撮影され、プリント作成に供される画像（コマ）は、このキャリア２８によって所定の読取位置に搬送される。
また、周知のように、新写真システムのフィルムには、磁気記録媒体が形成され、カートリッジＩＤやフィルムサイズ、ＩＳＯ感度等が記録されており、また、撮影時や現像時等に、撮影や現像日時、露出レベル、カメラや現像機の機種等の各種のデータが記録可能である。新写真システムのフィルム（カートリッジ）に対応するキャリア２８には、この磁気情報の読取手段が配置されており、フィルムを読取位置に搬送する際に磁気情報を読み取り、これらの各種の情報が画像処理装置１４に送られる。
【００２４】
このようなスキャナ１２において、フィルムＦに撮影された画像を読み取る際には、光源２２から射出され、可変絞り２４および拡散ボックス２６によって光量調整された均一な読取光が、キャリア２８によって所定の読取位置に位置されたフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
なお、カラー画像信号は、このようにフィルムを透過した光を読み取ることによって入力されるものには限定されず、反射原稿でもよいし、あるいはデジタルカメラによって撮影された画像を用いてもよい。
【００２５】
図示例のキャリア２８は、２４枚取りの１３５サイズのフィルムや新写真システムのカートリッジ等の、長尺なフィルムＦ（ストリップス）に対応するものである。
フィルムＦは、このキャリア２８によって読取位置に位置されて、ＲＧＢの３ラインＣＣＤセンサの延在方向である主走査方向と直交する副走査方向に搬送されつつ、読取光を入射される。これにより、結果的に、フィルムＦが２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。
【００２６】
フィルムＦの投影光は、結像レンズユニット３０によってイメージセンサ３２の受光面に結像される。
イメージセンサ３２から出力されたＲ、ＧおよびＢの各出力信号は、アンプ３３で増幅されて、Ａ／Ｄ変換器３４に送られ、Ａ／Ｄ変換器３４において、それぞれ、例えば１２ｂｉｔのＲＧＢデジタル画像データに変換された後、画像処理装置１４に出力される。
【００２７】
なお、スキャナ１２においては、フィルムＦに撮影された画像を読み取るに際し、低解像度で読み取るプレスキャン（第１回目の画像読取）と、出力画像の画像データを得るためのファインスキャン（第２回目の画像読取）との２回の画像読取を行う。
ここで、プレスキャンは、スキャナ１２が対象とするフィルムＦの全ての画像を、イメージセンサ３２が飽和することなく読み取れるように、予め設定されたプレスキャン読取条件で行われる。
一方、ファインスキャンは、プレスキャンデータから、その画像（コマ）の最低濃度よりも若干低い濃度でイメージセンサ３２が飽和するように、各コマ毎に設定されたファインスキャンの読取条件で行われる。なお、プレスキャンおよびファインスキャン出力画像信号は、解像度および出力画像信号レベルが異なる以外は、基本的に同様な画像データである。
【００２８】
なお、フォトプリンタ１０に用いられるスキャナ１２は、このようなスリット走査読取を行うものに限定されず、１コマのフィルム画像の全面を一度に読み取る面状読取を行うものであってもよい。
この場合には、例えばエリアＣＣＤセンサなどのエリアセンサを用い、光源２２とフィルムＦとの間にＲ、ＧおよびＢの各色フィルタの挿入手段を設け、光源２２からの射出光の光路に挿入して、色フィルタを透過した読取光をフィルムＦ全面に照射して、透過光をエリアＣＣＤセンサに結像させてフィルム全画像を読み取ることを、Ｒ、ＧおよびＢの各色フィルタを切り換えて順次行うことで、フィルムＦに撮影された画像を３原色に分解して読み取る。
【００２９】
前述したように、スキャナ１２から出力されるデジタル画像データ信号は、本発明の画像処理方法を実施する画像処理装置１４に出力される。
図２に、この画像処理装置（以下、処理装置という。）１４のブロック図を示す。
ここで、処理装置１４は、スキャナ補正部３６、ＬＯＧ変換器３８、プレスキャン（フレーム）メモリ４０、ファインスキャン（フレーム）メモリ４２、プレスキャンデータ処理部４４、本発明の特徴とする電子変倍処理およびその他の各種画像処理を行うファインスキャンデータ処理部４６および条件設定部４８を有する。
なお、図２は主に画像処理関連の部分を示すものであり、処理装置１４には、これ以外にも、処理装置１４を含むフォトプリンタ１０全体の制御や管理を行うＣＰＵ、フォトプリンタ１０の作動等に必要な情報を記録するメモリ等が配設され、また、操作系１８やモニタ２０は、このＣＰＵ等（ＣＰＵバス）を介して各部分に接続される。
【００３０】
スキャナ１２から処理装置１４に入力されたＲ、ＧおよびＢの画像信号、例えば１２ｂｉｔのデジタル画像データは、スキャナ補正部３６に入力される。
スキャナ補正部３６は、スキャナ１２のイメージセンサ３２のＲＧＢ３ラインＣＣＤセンサに起因する、ＲＧＢデジタル画像データの画素毎の感度ばらつきや暗電流を補正するためにＤＣオフセット補正、暗時補正、欠陥画素補正、シェーディング補正等の読取画像データのデータ補正を行うものである。スキャナ補正部３６で画素毎の感度ばらつきや暗電流の補正処理等が施されたデジタル画像信号は、ＬＯＧ変換処理器に出力される。
ＬＯＧ変換器３８は、対数変換処理してデジタル画像データを階調変換してデジタル画像濃度データに変換するものであって、例えば、ルックアップテーブル（ＬＵＴ）を用いて、スキャナ補正部３６で補正された１２ｂｉｔのデジタル画像データを、例えば１０ｂｉｔ（０〜１０２３）のデジタル画像濃度データに変換する。
【００３１】
ＬＯＧ変換器３８で変換されたデジタル画像濃度データは、プレスキャン画像データであればプレスキャンメモリ４０に、ファインスキャン画像データであればファインスキャンメモリ４２に、それぞれ記憶（格納）される。
プレスキャンメモリ４０は、スキャナ１２によるフィルムＦのプレスキャンによって得られ、各種のデータ補正および対数変換処理が施されたフィルムＦの１コマ全部の低解像度画像濃度データをＲＧＢの各色毎に格納または記憶するためのフレームメモリである。プレスキャンメモリ４０は、少なくともフィルムＦの１コマのＲＧＢ３色の画像濃度データを格納できる容量が必要であるが、複数コマ分の画像濃度データを格納できる容量を持つものであってもよいし、１コマ分の容量のメモリを多数備えるものであってもよい。
プレスキャンメモリ４０に記憶されたプレスキャン画像データは、プレスキャンデータ処理部４４に読みだされる。
【００３２】
一方、ファインスキャンメモリ４２は、スキャナ１２によるフィルムＦのファインスキャンによって得られ、各種のデータ補正および対数変換処理が施されたフィルムＦの１コマ全部の高解像度画像濃度データをＲＧＢの各色毎に格納または記憶するためのフレームメモリである。
ファインスキャンメモリ４２に記憶されたファインスキャン画像データは、ファインスキャンデータ処理部４６に読みだされる。
【００３３】
プレスキャンメモリ４０に記憶されたプレスキャン画像データに、モニタ２０に表示するのに必要な種々の画像処理を施すプレスキャンデータ処理部４４は、画像処理部５０と、画像データ変換部５２とを有する。
ここで、画像処理部５０は、後述する条件設定部４８が設定した画像処理条件に従って、スキャナ１２によって読み取られ、プレスキャンメモリ４０に記憶された画像データに、所望の画質で、後述するモニタ２０のＣＲＴ表示画面にカラー画像が再生可能なように、ルックアップテーブル（以下、ＬＵＴで代表させる）やマトリックス（以下、ＭＴＸで代表させる）演算により、階調補正、色変換、濃度変換等の所定の画像処理を施すためのものである。
画像データ変換部５２は、画像処理部５０によって処理された画像データを、モニタ２０の解像度に合わせるために必要に応じて間引いて、同様に、３Ｄ（３次元）ＬＵＴ等を用いて、モニタ２０による表示に対応する画像データに変換して、モニタ２０に表示させるためのものである。
なお、画像処理部５０における処理条件は、後述する条件設定部４８で設定される。
【００３４】
一方、ファインスキャンメモリ４２に記憶されたファインスキャン画像データに、画像記録装置１６からカラープリントとして出力するのに必要な種々の画像処理および本発明の画像処理方法を実行するファインスキャンデータ処理部４６は、画像処理部５４と、画像データ変換部５６とを有する。
ここで、画像処理部５４は、後述する条件設定部４８が設定した画像処理条件に従って、スキャナ１２によって読み取られファインスキャンメモリ４２に記憶された画像データに所定の画像処理を施し、カラープリントとして所望の濃度、階調および色調で、カラーペーパ上に、最適、高品質な画像を再生可能とするものである。このため画像処理部５４は、画像データに対して、ＬＵＴ，ＭＴＸ演算器、ローパスフィルタ、加減算器などにより、色バランス調整、階調調整、色調整、濃度調整、彩度調整、電子変倍やシャープネス強調（輪郭強調；鮮鋭化）などの種々の画像処理を施す。なお、その詳細については後述する。
【００３５】
画像データ変換部５６は、画像処理部５４によって処理された画像データを、例えば３ＤＬＵＴ等の標準階調ルックアップテーブルを用いて、画像記録装置１６による画像記録に対応する画像データに変換して、画像記録装置１６に供給する。
画像記録装置１６は、ファインスキャンデータ処理部４６から出力される画像データに基づいて、カラー画像が再現された仕上がりプリントとして出力するためのものである。
【００３６】
なお、画像処理部５４における処理条件は、条件設定部４８で設定される。
条件設定部４８は、ファインスキャンデータ処理部４６における各種の処理条件を設定する。この条件設定部４８は、セットアップ部５８、キー補正部６０およびパラメータ統合部６２を有する。
セットアップ部５８は、プレスキャン画像データ等を用いて、ファインスキャンの読取条件を設定してスキャナ１２に供給し、また、プレスキャンデータ処理部４４およびファインスキャンデータ処理部４６の画像処理条件を作成（演算）し、パラメータ統合部６２に供給する。
【００３７】
具体的には、セットアップ部５８は、プレスキャンメモリ４０からプレスキャン画像データを読み出し、プレスキャン画像データから、濃度ヒストグラムの作成や、平均濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低濃度）、シャドー（最高濃度）等の画像特徴量の算出を行う。
算出した画像特徴量から、その画像の最低濃度よりも若干低濃度でイメージセンサ３２が飽和するように、ファインスキャンの読取条件、例えば、光源２２の光量、可変絞り２４の絞り値、イメージセンサ３２の（各ＲＧＢ３ラインＣＣＤセンサの）蓄積時間等を設定する。なお、ファインスキャンの読取条件は、プレスキャンの読取条件に対して、イメージセンサ３２の出力レベルに対応する全ての要素を変更してもよく、前記絞り値等のいずれか１つの要素のみを変更するものでもよく、絞り値と蓄積時間等の複数の要素のみを変更するものでもよい。
さらに、セットアップ部５８は、濃度ヒストグラムや画像特徴量と、必要に応じて行われるオペレータによる指示等に応じて、前述の色バランス調整や階調調整等の画像処理条件を設定する。
【００３８】
キー補正部６０は、キーボード１８ａや操作系１８に設けられたキー（図示せず）によって設定された濃度（明るさ）、色、コントラスト、シャープネス、彩度等の調整量やマウス１８ｂで入力された各種の指示等に応じて、画像処理条件の調整量（例えば、ＬＵＴの補正量等）を算出し、パラメータを設定し、パラメータ統合部６２に供給するものである。
パラメータ統合部６２は、セットアップ部５８が設定した画像処理条件を受け取り、供給された画像処理条件を、プレスキャンデータ処理部４４の画像処理部５０およびファインスキャンデータ処理部４６の画像処理部５４に設定し、さらに、キー補正部６０で算出された調整量に応じて、各部分に設定した画像処理条件を補正（調整）し、あるいは画像処理条件を再設定する。
【００３９】
続いて、電子変倍処理、シャープネス強調、粒状抑制等の画像処理を行う、ファインスキャンデータ処理部４６の画像処理部５４について詳細に説明する。
図３は、画像処理部５４の一実施例の概略を示すブロック図である。図に示すように、画像処理部５４は、画像データの濃度、色および階調を変換する色濃度階調変換手段６４、画像データの彩度を変換する彩度変換手段６６、補間により画像データの画素数を変換する電子変倍処理手段６８、シャープネス強調や粒状抑制等の各種画像処理を行う画像処理手段７０を備えている。
【００４０】
画像処理部５４において、色濃度階調変換手段６４は、ＬＵＴ等に従って、画像データから濃度データ、色データおよび階調データに変換するものである。また、彩度変換手段６６は、色濃度階調変換手段６４によって得られた画像データの彩度データをＭＴＸ演算等に従って変換するものである。また、電子変倍処理手段６８は、画像記録装置１６においてカラーペーパに出力するカラー画像のサイズに応じて、かつ出力画素密度に合わせて、画像データを補間したり、間引いたりして、画像データの画素データ数を増減するものである。画像処理手段７０は、シャープネス強調や粒状抑制等の画像処理を行う。
【００４１】
この電子変倍処理手段６８および画像処理手段７０における処理は、本発明の特徴とするところであり、後で詳述するように、電子変倍処理手段６８における補間方法は、絵柄、画像の出力先、画像処理速度、画像の使用用途に応じて最適な補間方法が選択され、どの補間方法が選択されたかにより画像処理手段７０における画像処理および画像処理の程度が変更される。
【００４２】
本発明に係る画像処理装置およびこれを用いるデジタルフォトプリンタは、基本的に以上のように構成される。以下、本実施形態の作用を説明する。
【００４３】
オペレータがフィルムＦ（読み取り対象コマ）に対応するキャリア２８をスキャナ１２に装填し、キャリア２８の所定位置にフィルムＦをセットし、仕上げ情報や作成するプリントサイズ等の必要な指示を入力した後に、プリントの作成開始を指示する。
これにより、スキャナ１２の可変絞り２４の絞り値やイメージセンサ３２の蓄積時間がプレスキャンの読取条件に応じて設定される。その後、キャリア２８がフィルムＦをプレスキャンに応じた速度で副走査方向に搬送して、プレスキャンが開始され、フィルムＦがスリット走査されて投影光がイメージセンサ３２に欠像して、フィルムＦに撮影された画像がＲ、Ｇ、Ｂに分解されて光電的に低解像度で読み取られる。
【００４４】
プレスキャンによるイメージセンサ３２の出力信号は、アンプ３３で増幅されて、Ａ／Ｄ変換器３４に送られ、デジタル画像データとされた後に、本発明の画像処理装置１４に出力される。
画像処理装置１４に入力されたデジタル画像データは、スキャナ補正部３６でイメージセンサ３２の暗電流等の所定の補正を施した後、ＬＯＧ変換器３８に送られ、プレスキャンに対応する濃度範囲で、例えば、濃度Ｄで４の濃度範囲を１０ｂｉｔのデータに割りつけるように、ＬＵＴを用いて変換され、プレスキャン画像データとされ、プレスキャン画像データは、プレスキャンメモリ４０に記憶される。
【００４５】
プレスキャンメモリ４０にプレスキャン画像データが記憶されると、条件設定部４８のセットアップ部５８がこれを読み出し、濃度ヒストグラムの作成、ハイライトやシャドー等の画像特徴量の算出等を行い、ファインスキャンの読取条件を設定して、スキャナ１２に供給し、また、階調調整やグレイバランス調整等の各種の画像処理条件を設定し、パラメータ統合部６２に供給する。
画像処理条件を受け取ったパラメータ統合部６２は、これをプレスキャンデータ処理部４４およびファインスキャンデータ処理部４６の所定部分（ハードウエアおよびソフトウエア）に設定する。
【００４６】
検定を行う場合には、プレスキャン画像データがプレスキャンデータ処理部４４によってプレスキャンメモリ４０から読みだされ、画像処理部５０において設定された画像処理条件で画像処理され、次いで、画像データ変換部５２で変換され、シュミレーション画像としてモニタ２０に表示される。
オペレータは、モニタ２０の表示を見て、画像すなわち処理結果の確認（検定）を行い、必要に応じてキーボード１８ａに設定された調整キー等を用いて色、濃度、階調等を調整する。
この調整の入力は、キー補正部６０に送られ、キー補正部６０は調整入力に応じた画像処理条件の補正量を算出し、これをパラメータ統合部６２に送る。パラメータ統合部６２は、送られた補正量に応じて、画像処理部５０および５４のＬＵＴやＭＴＸ等を補正する。このように、オペレータによる調整入力に応じて、モニタ２０に表示される画像が変化し、これを見て最適な画像処理条件が決定される。
【００４７】
画像処理条件が確定すると、スキャナ１２において可変絞り２４の絞り値等が、設定されたファインスキャンの読取条件に応じて設定されると共に、キャリア２８がファインスキャンに対応する速度でフィルムＦを搬送し、ファインスキャンが開始される。
ファインスキャンは、可変絞り２４の絞り値等の読取条件が異なる以外はプレスキャンと同様に行われ、イメージセンサ３２からの出力信号はアンプ３３で増幅されて、処理装置１４のＡ／Ｄ変換器３４でデジタル濃度データとされ、スキャナ補正部３６で所定の処理を施され、ＬＯＧ変換器３８に送られる。
ＬＯＧ変換器３８において、ファインスキャンデジタル画像データはプレスキャンよりも高い濃度分解能で処理され、例えば、濃度Ｄで２の濃度範囲を１０ｂｉｔのデータに割りつけるようにＬＵＴで変換され、ファインスキャン画像データとされた後、ファインスキャンメモリ４２に送られる。
【００４８】
画像処理部５４においては、色濃度階調変換手段６４により、ルックアップテーブルに従って、ファインスキャン画像データの濃度データ、色データおよび階調データが変換され、彩度変換手段６６によって、マトリックス演算にしたがって、画像信号の彩度データが変換される。次いで、カラーペーパに出力するカラー画像のサイズ等に応じて電子変倍処理手段６８により、画像データ信号の画素データ数が増減された後、画像信号は画像処理手段７０に入力され、シャープネス強調等の画像処理が施される。
【００４９】
ここで、実際の電子変倍処理は、例えば、図４に示すように、画像データをファインスキャン（フレーム）メモリ４２に格納する前後において、主走査方向および副走査方向それぞれについて一次元処理を施すようにすれば、ハード構成上も簡単に済む。
【００５０】
まず、ファインスキャン画像データをファインスキャンメモリ４２に書き込む際、一旦電子変倍処理手段６８を通し主走査方向について一次元方向の電子変倍処理を行う。例えば図５において、○を原画像データ、×を処理後の補間画像データとし、Ｘｊを補間画像データ×から第ｊ画像データまでの距離とするとき、バイリニヤ補間の場合は、補間画像データ×の両側の画像データｋ、ｋ＋１を用いて、次式により補間画像データｆout が算出される。
ｆout ＝  ｆk ・Ｃ（Ｘk)  ＋  ｆk+1 ・Ｃ（Ｘk+1)
ここでＣ（Ｘ）は畳み込み関数（convolution function) であり、ｆk は例えば濃度値である。
また、３次畳み込み（cubic sinc) や3 次スプラインの場合には、補間点×を中心に含む４点ｋ−１、ｋ、ｋ＋１、ｋ＋２を用いて、次式により補間画像データｆout が算出される。
0004063971.tif 000004
【００５１】
このようにして一次元（主走査）方向に拡縮処理された画像データは、図４のファインスキャン（フレーム）メモリ４２に、矢印Ｗ方向に書き込まれる。
次に、電子変倍処理手段６８は、ファインスキャンメモリ４２から、図に矢印Ｒで示される方向（すなわち副走査方向）に画像データを読み出し、同様に一次元処理を行う。その結果、２次元的に画像データの補間処理が行われることとなる。すなわち、バイリニヤの場合には、主方向および副方向それぞれ２点ずつ全部で４点を用いて補間が行われ、３次の場合は、主方向および副方向それぞれ４点ずつ全部で１６点を用いて補間が行われる。
【００５２】
本実施形態においては、補間方法は、絵柄、画像出力先、画像処理速度、画像の使用用途に応じた最適な補間方法が選択される。ここで、画像出力先とは、画像が出力される銀塩ペーパー等の感光材料といった出力媒体そのものの他、ＭＯ、リムーバブル・ハードディスク（Ｊａｚ、Ｚｉｐ）あるいはＦＤ等の各種記録媒体等をも含むものとする。
前述したように、補間方法には、（１）ニヤレストネイバー、（２）バイリニヤ、（３）３次畳み込み（cubic sinc) 、（４）３次スプラインおよび（５）３次Ｂスプラインがあり、これらの比較を図６に示す。
【００５３】
図６に示すように、補間に使用するサンプル点の数は、（１）が最も近い一点のみ、（２）が４点、（３）〜（５）はいずれも１６点である。ハードウエア構成は、（１）および（２）は規模が小さいが、（３）〜（５）は計算量が増えるため規模が大きくなる。周波数特性は、（２）と（５）が低く、（３）と（４）が高い。折り返しによるビート発生は、（２）においては視認されるが、（３）〜（５）においては視認されない。連続性については、（３）は、ルップルが発生し、問題があるが、他のものについては特に問題はない。
また、（１）にはオリジナルな画像データを壊さないという利点およびアルゴリズムが簡単であるという利点がある。
（２）には、オリジナルなデータが壊されるという欠点があるが、平均化のためにスムージングの効果がでる点で利点がある。
（３）には、オリジナルなデータが壊されるという欠点があるが、画像の平滑化と同時に鮮鋭化の効果がでる利点がある。
（４）は、オリジナルなデータが壊されるという欠点があるが、曲線表示の有効性の面でＣＧ（コンピュータ・グラフィックス）でよく使用される。
（５）は、オリジナルなデータが壊され、また、周波数特性が低く、シャープ感が損なわれる。
【００５４】
また、図７に、補間カーネルのフーリエ変換を示す。
補間カーネルの理想形を図に二点鎖線で示し、３次畳み込み（cubic sinc) による補間を破線で、３次スプラインによる補間を実線で、さらにバイリニヤによる補間を一点鎖線で示す。このとき、ｎ／ｍ補間を、ｎ倍の拡大と１／ｍの間引きの合成として扱うと、ｎ倍拡大の空間周波数特性を図のグラフのように表現することができる。このとき、１／ｍの間引きのとき、高域に残存する成分が、折り返しとなり、ビート要因となる。
図７からわかるように、この場合、３次スプラインが最もよいことがわかる。
【００５５】
これらのことを考慮すると、最適と思われる補間方法は、例えば、次のように例示される。
すなわち、まず絵柄については、風景の場合は、３次畳み込み（cubic sinc) 、人物およびＣＧの場合は、３次スプラインが適しており、２値画像の場合には、ニヤレストネイバー位で充分である。
また、画像処理速度については、処理速度を優先する場合には、バイリニヤやニヤレストネイバーが、適している。
使用用途については、ホームページ程度であれば、バイリニヤが良く、プリント用あるいはファイル出力用であれば、３次スプラインが適している。
【００５６】
これらの絵柄の種類や、銀塩ペーパー等の感光材料や記録媒体の種類といった出力先の違い、画像処理速度、画像の使用用途に応じて補間方法を選択するのは、前記検定時等においてオペレータが選択するようにしてもよいし、予め各場合毎に設定しておいてもよい。すなわち、注文情報（インターネット経由の注文時）等から指定された補間方法を（自動的に）読み取ってもよいし、カメラによる撮影情報（風景モード、ポートレートモード等）等から補間方法を決定してもよい。あるいは、さらに、絵柄を解析（判断）して、補間方法を切り換えるようにしてもよい。
また、どの補間方法を使用するかは、ファインスキャン前までに決定していればよい。例えば、自動で決定する場合においては、プレスキャン前に事前に行っておいてもよいし、また、モニタ等を見てオペレータが決定する場合などにおいては、プレスキャン後に行ってもよい。
【００５７】
電子変倍処理後の画像データを受け取った画像処理手段７０は、シャープネス強調等の画像処理を行う。
このとき行われる画像処理あるいは画像処理の程度は、前記電子変倍処理手段６８における補間演算の方法に応じて変更される。
例えば、補間方法が３次Ｂスプラインの場合には、シャープネス強調の程度が強められ、補間方法が３次畳み込みの場合には、シャープネス強調の程度は弱められ、補間方法が３次スプラインの場合には、シャープネス強調の程度は中ぐらいとされる。
【００５８】
画像処理済の画像データは、画像データ変換部５６に入力され、画像出力用画像データに変換された後、画像処理装置１４から画像記録装置１６に出力される。画像記録装置１６は、入力画像データに応じて感光材料（印画紙）を露光して潜像を記録し、露光済の感光材料に所定の処理を施してプリント（写真）として出力する。
【００５９】
本実施形態によれば、絵柄、画像出力先、画像処理速度、画像の使用用途等に応じて最適な補間方法を選択するとともに、選択された補間方法に応じて、その後の画像処理および画像処理の程度を変更するようにしたため、最適な出力画像を得ることができるようになった。
以上、本発明の画像処理方法および装置について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００６０】
【発明の効果】
以上、説明した通り、本発明によれば、絵柄、画像出力先、画像処理速度、画像の使用用途等に応じて最適な補間方法を選択するとともに、選択された補間方法に応じて、その後の画像処理および画像処理の程度を変更するようにしたため、最適な出力画像を得ることができるようになった。
【図面の簡単な説明】
【図１】  本発明の画像処理方法を実施する画像処理装置を適用するデジタルフォトプリンタの一実施例を示すブロック図である。
【図２】  図１に示されるデジタルフォトプリンタの画像処理装置の一例を示すブロック図である。
【図３】  図２に示される画像処理装置のファインスキャン画像データ処理部の画像処理部の一例のブロック図である。
【図４】  本実施形態における実際の電子変倍処理の一例を示すブロック線図である。
【図５】  図４の電子変倍処理における一次元処理を示す説明図である。
【図６】  各種補間方法を比較して示す図表である。
【図７】  補間カーネルのフーリエ変換を示す線図である。
【図８】  ニヤレストネイバー補間を示す説明図である。
【図９】  バイリニヤ補間を示す説明図である。
【図１０】  ３次畳み込み（cubic sinc) 補間を示す説明図である。
【符号の説明】
１０  デジタルフォトプリンタ
１２  スキャナ
１４  （画像）処理装置
１６  画像記録装置
１８  操作系
１８ａ  キーボード
１８ｂ  マウス
２０  モニタ
２２  光源
２４  可変絞り
２６  拡散ボックス
２８  キャリア
３０  結像レンズユニット
３２  イメージセンサ
３４  Ａ／Ｄ変換器
３６  スキャナ補正部
３８  ＬＯＧ変換器
４０  プレスキャン（フレーム）メモリ
４２  ファインスキャン（フレーム）メモリ
４４  プレスキャンデータ処理部
４６  ファインスキャンデータ処理部
４８  条件設定部
５０、５４  画像処理部
５２、５６  画像データ変換部
５８  セットアップ部
６０  キー補正部
６２  パラメータ統合部
６４  色濃度階調変換手段
６６  彩度変換手段
６８  電子変倍処理手段
７０  画像処理手段
【図１】
0004063971.tif 000005
【図２】
0004063971.tif 000006
【図３】
0004063971.tif 000007
【図４】
0004063971.tif 000008
【図５】
0004063971.tif 000009
【図６】
0004063971.tif 000010
【図７】
0004063971.tif 000011
【図８】
0004063971.tif 000012
【図９】
0004063971.tif 000013
【図１０】
0004063971.tif 000014