(57)【要約】【課題】画質や処理速度の要求に応じた拡大縮小処理及び色空間変換処理が可能な画像処理装置を提供する。【解決手段】制御部５は、処理対象の画像データに対して、拡縮処理部３による拡大縮小処理後に色変換処理部４による色空間の変換処理を行った場合と、色変換処理部４による色空間の変換処理後に拡縮処理部３による拡大縮小処理を行った場合とで、処理時間が短くなる処理順序により処理が行われるように、拡縮処理部３及び色変換処理部４を制御する。また、拡縮処理部３に複数の拡縮手法が設けられている場合には、拡縮処理を行う拡縮手法の選択も制御する。これによって、指示入力部６から指示された画質が得られる拡縮手法を用いながら、なるべく処理時間が短縮されるように拡大縮小処理及び色空間変換処理を行うことができる。【選択図】  図１
2004194050.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対して拡大縮小処理を行うことが可能な画像拡縮手段と、画像データに対して色空間の変換処理を行うことが可能な色空間変換手段と、入力された画像データに対して前記画像拡縮手段による拡大縮小処理後に前記色空間変換手段による色空間の変換処理を行った場合と前記色空間変換手段による色空間の変換処理後に前記画像拡縮手段による拡大縮小処理を行った場合で処理時間が短い処理順序により処理が行われるように前記画像拡縮手段及び前記色空間変換手段を制御する制御手段を有することを特徴とする画像処理装置。
【請求項２】
前記制御手段は、拡縮倍率を考慮した前記処理時間に従って処理順序の制御を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記色空間変換手段による変換処理前後の色空間の色成分数を考慮した前記処理時間に従って処理順序の制御を行うことを特徴とする請求項１または請求項２のいずれか１項に記載の画像処理装置。
【請求項４】
さらに、圧縮された画像データを伸長する伸長手段を有し、該伸長手段は、画像データがＪＰＥＧ−ＤＣＴ形式で圧縮されている場合には、圧縮時の色空間のままの伸長した画像データを出力可能であり、前記制御手段は、前記画像データの色空間として前記圧縮時の色空間を考慮して前記処理順序の制御を行うことを特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
さらに、圧縮された画像データを伸長する伸長手段を有し、該伸長手段は、画像データがＪＰＥＧ−ＤＣＴ形式で圧縮されている場合には、圧縮時に特定の色成分について間引きされているときには色成分別に異なる解像度のまま出力可能であり、前記制御手段は、前記画像データの色成分毎の解像度を考慮して前記処理順序の制御を行うことを特徴とする請求項１ないし請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像拡縮手段は、処理負荷及び処理画質が異なる複数の拡縮手法による拡大縮小処理が可能であり、前記制御手段は、前記画像拡縮手段において用いる拡縮手法と前記処理順序の制御を行うことを特徴とする請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記制御手段は、出力画像として所望される画質あるいは処理速度に基づいて前記拡縮手法と前記処理順序の制御を行うことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記制御手段は、前記画像拡縮手段において拡大縮小処理を施す画像データの色成分の視覚特性に基づいて、それぞれの色成分毎に前記拡縮手法を選択することを特徴とする請求項６または請求項７に記載の画像処理装置。
【請求項９】
操作者に情報を提示する情報提示手段と、操作者が指示を行う指示手段を有し、前記制御手段は、前記処理順序あるいはさらに拡縮手法の組み合わせによる処理時間と処理後の画質について目安となる情報を前記情報提示手段により提示し、操作者が前記指示手段により指示した処理順序あるいはさらに拡縮手法に従って処理順序の制御あるいはさらに拡縮手法の選択を行うことを特徴とする請求項１ないし請求項８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記制御手段は、処理後の画像データを出力する画像出力手段の画質再現能力や出力サイズ／解像度に応じて、前記処理順序の制御あるいはさらに拡縮手法の選択を行うことを特徴とする請求項１ないし請求項８のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル化された画像を処理する技術に関するものであり、例えば画像表示機能を持つ表示装置やプリンタ等、デジタル画像を取り扱う様々なシステムにおいて利用される技術に関するものである。特に、画像の拡大縮小や色空間の変換処理などを含む画像処理技術に関するものである。
【０００２】
【従来の技術】
近年、デジタルカメラや携帯電話に付属のデジタル画像撮影機能や、インターネット上のホームページなど、様々なデジタル画像の入手手段が登場してきた。さらに、高画質なプリンタの家庭への普及やプリントショップ、コンビニエンスストアに設置された多機能カラー印刷システムなどの登場により、ユーザがこれらの環境を使ってデジタル画像を表示／編集加工／印刷などの処理を行う機会が飛躍的に増大している。
【０００３】
このような環境では、これまでと異なり、様々な色空間や画像サイズ／解像度を持った画像が流通する。これらの画像を表示／印刷するためには、例えば拡大・縮小、回転、色空間変換、フィルタ、合成などの各種の画像処理が必要となる。中でも拡大・縮小と色空間変換は、デジタルカメラで撮影した画像を表示／印刷する場合や、インターネット上のホームページを印刷する場合など、一般的なユーザの要求においても必須な機能である。特に拡大機能は、前述したようにデジタル画像の入手手段が多様化するにつれて、１０万画素〜１００万画素程度の小さなサイズの画像や、インターネットからの表示を高速化するために表示解像度やそれ以下の低い解像度の画像が使われる場合が増えてきたため、これらの低解像度画像を良好に印刷するために重要となってきた。
【０００４】
このような低解像度画像を高解像度のプリンタなどで印刷する場合を想定すると、最も一般的に用いられている最近傍法を用いて拡大処理を行うと、画素が単純に拡大されるために平坦部では同じ画素値からなるブロックの境界が目立ってゴツゴツとした感じになる。またエッジ部では、直線的なエッジが階段状になってジャギーとして視認されるために、非常に画質の悪いものとなってしまう。
【０００５】
そこで、これら低解像度画像を最近傍法よりも良好な画質で拡大する手段として、例えば、より高次な補間を行う方法（例えば線形補間や双３次補間、キュービックコンボリューション法など）がある。そのほかにも、例えば特許文献１に記載されているように、周波数空間上で繰り返し補間を行って失われている情報を推定する方法がある。また、例えば特許文献２に記載されているように、フラクタルを用いてそれらしい拡大画像を生成する方法もある。さらに、特願２００２−７６８９６号に記載されているように、多値のパターンマッチングを用いて角度推定を行って良好なエッジを得る方法や、特願２００２−７９３８８号に記載されているように、近傍から縮小類似ブロックを探索して置き換えを行う事で良好な画質を得る方法もある。このように、拡大処理手法としては、多種多様な方式が提案されている。
【０００６】
これまで述べたような、低解像度画像の高画質拡大を目的とした各種の手法は、高画質である反面、最近傍法などの単純な方式と比べて処理にかなりの時間がかかるという欠点がある。そのため、表示／印刷処理全体のパフォーマンスが著しく低下してしまい、結果的にユーザの生産性を落とすことになってしまう。
【０００７】
高画質を望むかぎりは、処理が複雑になり速度が低下するのを避けることはできないが、その低下度合いを抑える工夫はある。もちろん、前述した各高画質拡大手法はそれぞれに画質に対して速度が異なり、例えば特願２００２−７６８９６号や特願２００２−７９３８８号に記載された手法は高画質を維持しながら速度低下を最低限に抑える工夫がなされている。このような拡大手法そのものの改善とは別に、拡大手法の適用方法を変更することにより、処理速度を高速化する発明も存在する。その一例として、特許文献３や特許文献４などに記載された手法がある。
【０００８】
特許文献３，４に記載されている手法は、カラー画像において各色成分に対して人間の視覚的な検知能力が異なることを利用している。例えば入力画像がＲＧＢ色空間の場合には、最も視覚的に感度の高いＧ成分に対しては高画質かつ低速な拡大手法を用い、次に感度の高いＲ成分には中画質かつ中速な手法を用い、最も感度の低いＢ成分には低画質かつ高速な手法を用いることで、視覚的にあまり画質を落とすことなく拡大処理全体としての処理速度を向上させることを狙っている。
【０００９】
一方、上述のように各種の供給源から画像データを取得し、各種の出力先へ画像データを出力することを考えると、画像データの色空間についても変換処理が必要となる。例えば入力される画像データとしてはＲＧＢ色空間やＪＰＥＧ−ＤＣＴ方式により圧縮が施されている場合にはＹＣｂＣｒ色空間などが用いられる。また出力先が受け取る色空間としては、例えばディスプレイ等の表示装置の多くはＲＧＢ色空間が用いられ、プリンタではＣＭＹＫ色空間が用いられることが多い。このように種々の色空間から種々の色空間への色空間の変換処理が必要となる。
【００１０】
このとき、変換前の色空間と変換先の色空間における色成分の数を考えると、ＲＧＢ色空間やＹＣｂＣｒ色空間では色成分の数は３であるが、ＣＭＹＫ色空間では色成分の数は４となる。後段において画像処理を施す場合を考えると、色成分の数が少ない方が高速に処理を行うことができる可能性が高い。逆に、色空間の変換処理の前に画素数が増加するような処理（例えば上述の拡大処理など）を行った場合、色空間の変換処理に要する時間は増大してしまう。
【００１１】
このように、それぞれの画像処理において画像データのデータ量が変化する場合、それぞれの処理における処理時間が変化する。そのため、処理の順序を変更するだけでも処理時間を短縮して高速処理が可能である。しかし、従来の画像処理装置においては、入出力される画像データの色空間などを特定していることもあり、処理の順序が固定されている。そのため、種々の画像データに対して任意の倍率による拡大縮小処理及び色空間変換処理を行わせる場合でも、高速化を図ることができないかった。
【００１２】
また、例えば上述のＪＰＥＧ−ＤＣＴ方式で圧縮が施されている場合、色成分によっては解像度を低下させている場合があるが、低下させた解像度のままでも可能な処理においてはそのまま処理を行った方が、解像度を戻してから処理を行うよりも処理時間を短縮できる。しかし、従来はこのような関係については考慮されていなかった。さらに、出力デバイスの画質再現能力についても考慮されていないため、無駄に高画質な拡大を行ってしまうといった欠点があった。
【００１３】
【特許文献１】
特開平３−２０４２６８号公報
【特許文献２】
特許第２９６８５８２号公報
【特許文献３】
特開２０００−１５１９８９号公報
【特許文献４】
特開２０００−１８２０２２号公報
【００１４】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、画像データに応じて高速に拡大縮小処理及び色空間変換処理が可能な画像処理装置を提供することを目的とするものである。さらに、画質や処理速度の要求、例えば操作者の指示や出力デバイスの画質再現能力などに応じた画像処理が可能な画像処理装置を提供することを目的とするものである。
【００１５】
【課題を解決するための手段】
本発明は、画像処理装置において、画像データに対して拡大縮小処理を行うことが可能な画像拡縮手段と、画像データに対して色空間の変換処理を行うことが可能な色空間変換手段と、入力された画像データに対して前記画像拡縮手段による拡大縮小処理後に前記色空間変換手段による色空間の変換処理を行った場合と前記色空間変換手段による色空間の変換処理後に前記画像拡縮手段による拡大縮小処理を行った場合で処理時間が短い処理順序により処理が行われるように前記画像拡縮手段及び前記色空間変換手段を制御する制御手段を有することを特徴とするものである。このように処理時間が短くなる順序で処理を行うことによって、高速に画像処理が可能な画像処理装置を提供することができる。
【００１６】
制御手段が処理時間に従って処理順序の制御を行う際には、画像拡縮処理手段における拡縮倍率や、色空間変換手段による変換処理前後の色空間の色成分数を考慮することができる。また、画像データがＪＰＥＧ−ＤＣＴ形式で圧縮されている場合には、圧縮時の色空間のままの伸長手段で伸長した画像データを圧縮時の色空間を考慮して前記処理順序の制御を行うことができる。このとき、圧縮時に特定の色成分について間引きされているときには、色成分別に異なる解像度のまま、画像データの色成分毎の解像度を考慮して前記処理順序の制御を行うことができる。これによって、色成分によっては低解像度のまま処理を行い、処理時間を短縮することが可能となる。
【００１７】
また、画像拡縮手段として処理負荷及び処理画質が異なる複数の拡縮手法による拡大縮小処理が可能な構成とすることができる。この場合、制御手段は画像拡縮手段において用いる拡縮手法と前記処理順序の制御を行うことになる。このとき、例えば出力画像として所望される画質あるいは処理速度に基づいて前記拡縮手法と前記処理順序の制御を行うように構成することができる。例えば、画像データの色成分の視覚特性に基づいて、それぞれの色成分毎に前記拡縮手法を選択することができる。あるいは、処理順序あるいはさらに拡縮手法の組み合わせによる処理時間と処理後の画質について目安となる情報を情報提示手段により提示し、操作者が指示手段により指示した処理順序あるいはさらに拡縮手法に従って処理順序の制御あるいはさらに拡縮手法の選択を行うように構成することができる。または、処理後の画像データを出力する画像出力手段の画質再現能力や出力サイズ／解像度に応じて処理順序の制御あるいはさらに拡縮手法の選択を行うことができる。このようにして、所望の画質、速度、画像出力手段の画質再現能力などに応じて最適な画像処理を行うことができる。
【００１８】
【発明の実施の形態】
図１は、本発明の画像処理装置の第１の実施の形態を示すブロック図である。図中、１は画像記憶部、２は画像入力部、３は拡縮処理部、４は色変換処理部、５は制御部、６は指示入力部である。画像記憶部１は、処理対象であるデジタル化された画像データを保持する。保持される画像データは非圧縮形式でも良いし、またはＪＰＥＧ−ＤＣＴ形式を含む様々な形式で圧縮されていても良い。
【００１９】
画像入力部２は、画像記憶部１に保持された画像データの読み出し処理を行う。その際、圧縮されている画像データについては伸長処理を行いながら読み出しが可能であり、伸長手段としての機能を有している。また、ＪＰＥＧ−ＤＣＴ形式のように色成分によって間引かれている場合には、間引かれたまま色成分により異なる解像度での読み出しも可能である。
【００２０】
拡縮処理部３は、画質や処理速度（処理負荷）の異なる１ないし複数の拡縮手法による画像データの拡大縮小処理を行うことができる。なお、いくつかの拡縮手法の具体例については後述する。
【００２１】
色変換処理部４は、入力される画像データについて想定される色空間（例えばＲＧＢ，ＹＣｂＣｒ，ＣＭＹＫなど）を、出力として要求される色空間（例えばＲＧＢ，ＣＭＹＫなど）に変換する機能を持つ。この機能は、マトリックス演算とルックアップテーブル処理の組み合わせや、補間付き３次元ダイレクトルックアップテーブル処理など、種々の方法によって実現される。これらの処理内容については各種の色処理に関する文献に詳しく記載されているので、ここでは詳細な説明は省略する。
【００２２】
制御部５は、各部の処理を制御する。特に、処理対象の画像データに対して、拡縮処理部３による拡大縮小処理後に色変換処理部４による色空間の変換処理を行った場合と、色変換処理部４による色空間の変換処理後に拡縮処理部３による拡大縮小処理を行った場合とで、処理時間が短くなる処理順序により処理が行われるように、拡縮処理部３及び色変換処理部４を制御する。また、拡縮処理部３において拡縮処理を行う拡縮手法の選択も制御する。処理時間の比較の際には、拡縮倍率や色成分数、ＪＰＥＧ−ＤＣＴ方式によって圧縮されている場合などでは色成分毎の解像度などを考慮して行う。
【００２３】
指示入力部６は、操作者が出力画像の画質あるいは処理時間に関する複数の選択肢から選択した指示を入力し、その指示を制御部５に伝える。
【００２４】
次に、拡縮処理部３において実行可能な拡縮手法について、幾つかを例として概要を説明する。なお、以下の説明では画像の拡大を行うものとして説明するが、いくつかの手法ではそのまま縮小処理を行うことが可能であるし、別途、縮小手法を設けてもよい。
【００２５】
図２は、最近傍法による拡大処理の説明図である。最近傍法は、図２に示したように、図２（Ａ）に示す出力画像の画素値Ｐｏｕｔは、その中心点を入力画像上に逆写像した点（図２（Ｂ）において黒丸で示す）に最も近い入力画像上の画素値Ｐｉｎとする手法である。具体的には入力画像の画素値Ｐｉｎと横／縦方向の倍率（ｒｘ，ｒｙ）から以下の式１で求められる。なお、ｆｌｏｏｒ（ａ）はａの小数以下を切り捨てた整数値を求める関数である。
Ｐｏｕｔ（Ｘ，Ｙ）＝Ｐｉｎ（ｆｌｏｏｒ（（Ｘ＋０．５）／ｒｘ），ｆｌｏｏｒ（（Ｙ＋０．５）／ｒｙ））    ・・・（式１）
この式１のように処理を行うと、出力画像は入力画像を倍率（ｒｘ，ｒｙ）で最近傍拡大処理したものを得ることができる。
【００２６】
なお、式１では出力の１点ごとに計算を行っているが、実際にはＤＤＡ（デジタル差分解析器）と呼ばれる手法を使って、Ｘ，Ｙのそれぞれ１点前の値をもとに加算のみで計算を行うことで処理を高速化できる（式２）。
ｃｘ＝（Ｘ＋０．５）／ｒｘ
ｃｙ＝（Ｙ＋０．５）／ｒｘ
ｄｘ＝１／ｒｘ
ｄｙ＝１／ｒｙ
Ｐｏｕｔ（Ｘ＋１，Ｙ＋１）＝Ｐｉｎ（ｆｌｏｏｒ（ｃｘ＋ｄｘ），ｆｌｏｏｒ（ｃｙ＋ｄｙ））    ・・・（式２）
【００２７】
図３は、線形補間法による拡大処理の説明図である。線形補間法では、図３に示したように、出力画像の画素値Ｐｏｕｔは、Ｐｏｕｔの中心点を入力画像上に逆写像した点の近傍４点の画素値を、各軸毎に線形補間した画素値となる。逆写像点の計算は、最近傍拡大法と同じくＤＤＡを使って加算のみで求めることができる。例えば入力画像を線形補間法を用いて２倍に拡大する場合、出力画像上の（４，２）を上述の式１に従って入力画像上に逆写像すると、（２．２５，１．２５）となる。この場合、入力画像の画素位置をＸ方向及びＹ方向とも３：１に内分する点であるので、Ｘ方向に補間処理を行うと
Ｐ’＝（Ｐｉｎ１＋３・Ｐｉｎ３）／４
Ｐ”＝（Ｐｉｎ２＋３・Ｐｉｎ４）／４
であり、これらを用いてＹ方向に補間処理を行うと、
Ｐ’ｏｕｔ＝（Ｐ’＋３・Ｐ”）／４
となる。ここでは近傍の４点を用いて補間処理を行ったが、さらに多くの近傍の点を用いて補間処理を行う場合もある。
【００２８】
図４は、マルチエッジパターン法による拡大処理の説明図である。このマルチエッジパターン法は、例えば特願２００２−７６８９６号において提案された高画質拡大方式である。詳細は特願２００２−７６８９６号に詳しいのでここでは概略を述べるに留める。図４に示したように、まずＳ１１において、注目画素ブロック及び周辺画素を含む小画像ブロックを切り出す。Ｓ１２において、注目画素ブロックと周辺画素を含む領域ブロックからそれぞれエッジ角度を推定する。Ｓ１３において、Ｓ１２で推定したエッジ角度に対応して予め用意されている拡大パターンを選択し、その拡大パターンをもとにＳ１４において拡大ブロック領域を生成して置き換える。これによって、シャープなエッジを保った高画質の拡大画像を得ることができる。
【００２９】
このマルチエッジパターン法では、周辺画素参照やエッジ角度推定、パターン選択、拡大ブロック生成、置き換え処理など複雑な工程を伴う。そのため、上述の最近傍法や線形補間法などと比べ、高画質ではあるが多くの処理時間を必要とする手法である。
【００３０】
その他の拡縮手法としては、例えば前述の特許文献１や、特許文献２、特願２００２−７９３８８号で提案された手法など、多くの手法を設けておくことができる。以下では説明を簡単にするために、前記の最近傍法、線形補間法、マルチエッジパターン法の３つの拡縮手法が設けられているものとし、最近傍法を方式１、線形補間法を方式２、マルチエッジパターン法を方式３と記載することとする。
【００３１】
次に、制御部５の動作の概要について説明する。上述のように、制御部５は、処理対象の画像データに対して、拡縮処理部３による拡大縮小処理後に色変換処理部４による色空間の変換処理を行った場合と、色変換処理部４による色空間の変換処理後に拡縮処理部３による拡大縮小処理を行った場合とで、処理時間が短くなる処理順序により処理が行われるように、拡縮処理部３及び色変換処理部４を制御する。このような制御を説明する前に、拡大処理格納部３及び色変換処理部４における処理時間の関係を説明しておく。
【００３２】
図５は、拡大処理格納部３及び色変換処理部４における処理時間の関係の説明図である。図５（Ａ）には拡縮処理部３による拡大縮小処理時の倍率と処理時間の関係を示し、また図５（Ｂ）には色変換処理部４における画素数と処理時間の関係を示している。拡縮処理部３における拡大縮小処理では、上述のような拡縮手法によってそれぞれ違いはあるものの、一般的には倍率が大きく、生成する画像のサイズが大きいほど処理時間を要する。そのため、図５（Ａ）に示すように右上がりのグラフとなる。また、多くの場合には色成分ごとに拡大後の画素の値を決定するため、処理時間は色成分数にも関係する。例えば画像データの色空間がＲＧＢやＹＣｂＣｒなどのように色成分数が３の場合と、ＣＭＹＫなどのように色成分数が４の場合とでは、図５（Ａ）中に示すように色成分数が多い方が処理時間は長くなる。
【００３３】
一方、色変換処理部４における色空間の変換処理では、それぞれの画素ごとに処理を行うため、一般に処理時間は画素数に依存する。そのため、図５（Ｂ）に示すように画素数の増加とともに処理時間も長くなる。
【００３４】
これらの関係をもとに、拡縮処理部３による拡大縮小処理後に色変換処理部４による色空間の変換処理を行った場合と、色変換処理部４による色空間の変換処理後に拡縮処理部３による拡大縮小処理を行った場合とで、いずれの処理時間が短くなるかを調べればよい。例えば図５に示した例では、倍率をαとし、倍率αによる拡縮処理によって画素数がβからγに増加するものとする。また、色空間変換処理によって色成分数が３から４に増加するものとする。この場合、先に拡大縮小処理を行うと画像データの色成分数が３であるので処理時間はｔ３であり、その後の色変換処理部４による色空間の変換処理では拡大縮小処理後であるので画素数がγであり、処理時間はｔγだけ必要となる。逆に先に色変換処理部４による色空間変換処理を行うと、画素数がβであり、処理時間はｔβとなる。その後、拡大縮小処理を行うと、色空間変換処理によって色成分数は４となっているので、処理時間はｔ４だけ必要となる。従って、単純にはｔ３＋ｔγとｔβ＋ｔ４を比較して処理時間の短くなる方を選択すればよいことが分かる。
【００３５】
実際にはこのほかにも、例えば拡縮手法による処理時間の相違や、ＪＰＥＧ−ＤＣＴ方式によって圧縮されている場合などでは色成分毎の解像度、また色成分ごとに拡縮手法を変更するのであれば用いるそれぞれの拡縮手法における処理時間など、種々の要因を考慮して、処理時間の予測及び比較を行えばよい。なお、処理時間は、上述の拡縮方式１から３のように画像に依存しない拡縮方式や色変換処理の場合には、入力画像データのサイズと倍率から、かなり正確な予測値を求めることができる。
【００３６】
図６は、制御部５における拡縮処理部３及び色変換処理部４に対する動作制御の具体例の説明図である。ここでは、制御部５には、画像入力部２から処理対象画像の属性情報（画像サイズや色空間情報など）が入力されるとともに、指示入力部６から画質／処理時間に関する選択指示情報が伝えられるものとする。この選択指示情報は、例えば「高画質／低速」、「標準画質」、「低画質／高速」をそれぞれ「０」、「１」、「２」に割り振ったようなもので良いし、拡縮手法の数によってはもっと多くの選択情報に分かれていても良い。図６では、説明を簡単にするために選択指示情報が「０」、「１」、「２」のいずれかであるものとして説明を行う。また、ここでは仮に入出力色空間としてＲＧＢ，ＹＣｂＣｒ，ＣＭＹＫを処理できるものとし、拡縮後の画像サイズ（または拡縮倍率）や出力色空間は予め制御部５に格納または指示入力部６や図示していない何らかの手段により指示されているものとする。また、拡縮倍率は１より大きく、すなわち拡大処理を行うものとする。
【００３７】
制御部５に指示入力部６から選択指示情報として「０」が指示された場合（モード「０」）、制御部５は次のように動作する。まず画像記憶部１に格納された入力画像の属性情報（画像サイズ、色空間など）を画像入力部２を使って取得する。その結果、入力画像の色空間と要求されている出力色空間とが等しい場合には、拡縮処理部３に設けられている複数の拡縮方式の中から最も高画質かつ処理時間のかかる方式３を一つだけ選択して倍率設定を行い、画像入力部２で画像記憶部１中の画像データを読み出しながら、拡縮処理部３により拡大処理を行う。この時、画像データが圧縮されている場合には、伸長処理を行いながら読み出しを行い、また色成分によって間引きされ解像度が異なる場合には拡大後の画像サイズが各色成分で等しくなるように倍率の設定を行う。なお、この場合には色変換処理部４による色空間の変換処理は不要である。
【００３８】
入力色空間と出力色空間とが等しくない場合には、ＲＧＢからＹＣｂＣｒやその逆のように３成分画像を同じ３成分の異なる色空間に変換する場合や、ＣＭＹＫからＲＧＢやＹＣｂＣｒのように４成分から３成分の色空間に変換する場合には、３成分の色空間の画像データに対して拡大縮小処理を行った方が有利である。また、拡大処理によって画素数が増加する前に色空間の変換処理を行った方が有利である。そのため、画像入力部２から入力された画像に対して先に色変換処理部４を動作させて画像データの色空間を変換する。この時、例えばＣｂ，Ｃｒ成分がＹ成分に対して間引かれているなどの場合には、間引かれた画素に隣接した画素値を使って処理を行う。その後に、上記と同様に拡縮処理部３に格納された複数の拡縮方式の中から最も高画質かつ処理時間のかかる方式３を一つだけ選択して倍率設定を行い、拡大処理を行って出力画像を得る。制御部５は、この処理結果を例えば図示されていないシステム外部のディスプレイ装置やプリンタ装置などに対して出力する。
【００３９】
入力色空間がＲＧＢやＹＣｂＣｒのように３成分で、出力色空間がＣＭＹＫのように４成分の場合には、ここではまず画像入力部２から入力された画像に対して拡縮処理部３に設けられている複数の拡縮方式の中から方式３を一つだけ選択して倍率設定を行って拡大処理し、その拡大された画像に対して色変換処理部４を動作させて画像の色空間を変換して出力画像を得る。ここで色空間の変換処理よりも拡大縮小処理を先に行ったのは、制御部５が、方式３を使った４成分画像と３成分画像の拡大処理時間の差が拡大前後の色変換処理時間の差より大きいと判断したからである。上述のように拡大縮小処理時間及び色空間変換処理時間は、倍率（画素数）にも依存するので、倍率によっては色変換処理を先に行うと判断される場合もある。その判断は制御部５が行う。
【００４０】
また先程述べたように、ＪＰＥＧ−ＤＣＴ圧縮でＹＣｂＣｒやＬａｂなどの色空間で圧縮されている場合には、圧縮条件によってはＣｂ，Ｃｒ成分やａ，ｂ成分が間引かれてＹやＬより低い解像度になっている場合がある。その場合には、色成分によって異なる倍率の拡大処理になることによる処理時間の違いを考慮して制御部５が色変換と拡大の順序を決定する。
【００４１】
なお、各色に対して同じ方式３を用いて拡大を行ったのは、拡大を異なる手法で行った場合に、異なる色の境界部分などに発生する拡大方式の違いによる色にじみを抑えて、より高画質な拡大を行うためである。もちろん、高画質な拡大処理を行う拡縮手法を用いた分だけ処理時間がかかるため、低速となる。
【００４２】
次に制御部５に指示入力部６から選択指示情報として「１」が指示された場合（モード「１」）について、同様に説明する。まず画像記憶部１に格納された入力画像の属性情報（画像サイズ、色空間など）を画像入力部２から取得する。その結果、入力画像の色空間と要求されている出力色空間とが等しい場合には、以下の様に処理を行う。
１）ＲＧＢの場合
ＲＧＢではＧ＞Ｒ＞Ｂの順に視覚に対する影響が大きい。そこでＧは方式３で、Ｒは方式２で、Ｂは方式１で、それぞれ拡大処理を行う。
２）ＹＣｂＣｒの場合
ＹＣｂＣｒでは、視覚に対する影響はＹ＞＞Ｃｂ，Ｃｒである。そこでＹは方式３で、Ｃｂ，Ｃｒは方式２（または方式１）で処理を行う。
３）ＣＭＹＫの場合
ＣＭＹＫではＫ＞Ｃ，Ｍ＞Ｙのように視覚に対する影響が大きい。そこでＫは方式３で、Ｃ，Ｍは方式２で、Ｙは方式１で処理を行う。
【００４３】
この時、入力画像が圧縮されている場合には、伸長処理を行いながら読み出しを行い、また色成分によって間引きにより解像度が異なる場合には、拡大後の画像サイズが各色成分で等しくなるように倍率の設定を行う。なお、色変換処理部４による色空間変換処理は行わない。
【００４４】
入力色空間と出力色空間とが等しくない場合には、ＲＧＢからＹＣｂＣｒやその逆のように３成分画像を同じ３成分の異なる色空間に変換する場合や、ＣＭＹＫからＲＧＢやＹＣｂＣｒのように４成分から３成分の色空間に変換する場合には、上述のモード０の場合と同様に、画像入力部２から入力された画像に対して先に色変換処理部４により画像データの色空間を変換し、その後の色空間をもとに上記１）〜３）と同じ拡大処理を行う。制御部５は、この処理結果を例えば図示されていないシステム外部のディスプレイ装置やプリンタ装置などに対して出力する。
【００４５】
入力色空間がＲＧＢやＹＣｂＣｒのように３成分で、出力色空間がＣＭＹＫのように４成分の場合には、まず画像入力部２から入力された画像に対して、その色空間に応じて上記１）〜３）と同じ拡大処理を行い、その拡大された画像に対して色変換処理部４による画像データの色空間を変換して出力画像を得る。ここで色変換処理よりも拡大縮小処理を先に行ったのは、上述のモード「０」の場合と同じく、制御部５が、方式３を用いた場合の４成分画像と３成分画像の拡大処理時間の差が拡大前後の色変換処理時間の差より大きいと判断したからである。上述のように拡大縮小処理時間と色空間変換処理時間は倍率にも依存するので、倍率によっては色変換処理を先に行うと判断される場合もある。その判断はモード「０」の場合と同じく制御部５が行う。
【００４６】
この処理では、モード「０」が指定された場合と比べて、拡大縮小処理と色空間変換処理の処理順は変わっていないが、拡大処理がより高速な方式２や方式１との混合方式になっているため、全体の処理時間はモード「０」の場合と比べて高速になる。しかしながら画質については、視覚的に重要な成分がシャープに拡大されるのに対して、それ以外の成分はややぼけ気味に拡大されたりブロック状に拡大されたりするため、異なる色の境界部分では色にじみなどの現象が発生して画質はやや低下する。
【００４７】
次に制御部５に指示入力部６から選択指示情報として「２」が指示された場合（モード「２」）について、同様に説明する。まず画像記憶部１に格納された入力画像の属性情報（画像サイズ、色空間など）を画像入力部２から取得する。その結果、入力画像の色空間と要求されている出力色空間とが等しい場合には、拡縮処理部３に設けられている複数の拡縮手法の中から最も高速かつ画質の低い方式１を一つだけ選択して倍率設定を行い、画像入力部２で画像記憶部１中の入力画像を読み出しながら、選択した方式１の拡縮手法により拡大処理を行う。この時、入力画像が圧縮されている場合には、伸長処理を行いながら読み出しを行い、また色成分によって間引きされ解像度が異なる場合には拡大後の画像サイズが各色成分で等しくなるように倍率の設定を行う。
【００４８】
入力色空間と出力色空間とが等しくない場合には、上述のモード「０」やモード「１」の場合とは異なり、どの色空間への変換の場合でも色変換処理を拡大よりも先に行う。具体的には、画像入力部２から入力された画像データに対して色変換処理部４により色空間の変換処理を行い、色空間変換処理後の画像データに対して拡縮処理部３に設けられている複数の拡縮手法の中から最も高速かつ画質の低い方式１を一つだけ選択して倍率設定を行い、拡大処理を行う。次に制御部５は、この処理結果を例えば図示されていないシステム外部のプリンタなどに対して出力する。
【００４９】
ここでモード「０」、「１」と異なり、色変換処理が必要な場合に常に拡大処理より先に処理を行ったのは、高速な拡縮手法である方式１を用いたことによって、制御部５が、方式１を用いたときの４成分画像と３成分画像の拡大処理時間の差が拡大前後の色変換処理時間の差より小さいと判断したからである。画質については、低画質／高速な方式１を用いているため、モード「０」、「１」と比較して低下したものとなる。上述のように拡大縮小処理時間及び色空間変換処理時間は倍率にも依存するので、倍率によっては色変換処理を後に行うと判断される場合もある。その判断はモード「０」、「１」の場合と同じく制御部５が行う。
【００５０】
以上述べたように、画質／処理時間の選択に応じて、拡縮手法の選択や、色空間変換処理と拡大縮小処理の処理順の変更を行うことにより、ユーザの要求に応じた処理を実行することができる。もちろん上述の図６は制御部５による判断の一例であり、処理順序及びそれぞれの色成分に対して施す拡縮手法はこの例に限られない。
【００５１】
なお、ここでは説明を簡単にするために選択指示情報を「０」、「１」、「２」の３通りに絞って説明したが、例えばモード「１」において拡大方式として方式２のかわりに方式１を使うことで画質と処理時間が「１」と「２」の中間となるモードを設けることが可能である。また、拡縮処理部３にもっと多くの拡大処理モジュールを用意すれば、さらに細かい単位で画質と処理時間の兼ね合いを制御することが可能である。また、上述の説明では拡縮処理部３において主に拡大処理を行う場合について説明しているが、縮小処理を行う場合についても同様である。
【００５２】
さらに、制御部５が画像データに対する処理を行う前に拡大縮小処理時間及び色空間変換処理時間を予測演算するほか、例えば図６に示すようなテーブルを１つあるいはある程度の倍率範囲毎に予め設けておき、そのテーブルを参照することによって処理順序あるいはさらに拡縮手法の選択を行うように構成することもできる。
【００５３】
図７は、本発明の画像処理装置の第２の実施の形態を示すブロック図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。７は情報提示部である。情報提示部７は、操作者に情報を提示するものであり、この情報提示部７に提示された情報を参照しながら、操作者は指示入力部６から指示を行うことができる。特にこの実施の形態では、制御部５からの制御に従い、拡大縮小処理と色空間変換処理の処理順序や、拡縮処理部３に設けられている拡縮手法の選択との組み合わせによる処理時間と処理後の画質について、目安となる情報を提示する。処理時間及び画質は、入力画像サイズや拡大倍率、入出力色空間情報をもとに予測することができる。特に上述の拡縮手法の方式１から３のように画像の内容に依存しない拡縮手法の場合には、入力画像サイズと倍率からかなり正確に処理時間の予測値を求めることができる。また画質については、予め主観評価実験などにより各選択による出力画質のレベル付けをしておけば、そのレベル値を提示することが可能である。
【００５４】
このようなそれぞれのモードにおける処理時間及び画質などの情報の提示によって、操作者による指示入力部６からの指示を補助することができる。操作者は、提示された情報をもとに、指示入力部６から処理順序や拡縮手法の選択（モードの選択など）を行えばよい。
【００５５】
上述の第１の実施の形態において説明した例のようにモードが３つ程度と少ない場合には、操作者はモードを容易に選択することができる。しかし、モードが増えてゆくと、操作者にとって逆に選択に迷うケースも考えられる。このような場合には、この第２の実施の形態のように、それぞれのモードによってどの程度の処理時間でどの程度の画質が得られるかといった情報を、情報提示部７により操作者に提示することによって、操作者の選択を補助することができる。
【００５６】
図８は、本発明の画像処理装置の第３の実施の形態を示すブロック図である。図中、図１及び図７と同様の部分には同じ符号を付して説明を省略する。８はディスプレイ装置、９はプリンタ装置である。この第３の実施の形態では、出力デバイスとしてディスプレイ装置８及びプリンタ装置９を明示している。これらの出力デバイスの画質再現能力や解像度などの情報を制御部５において保持すれば、視覚的に再現できない無駄な高画質拡大処理を行わずに、より高速に処理を行うことが可能である。
【００５７】
例えば、ディスプレイ装置８は多値表示が可能であり、かつ、低解像度である。そのため、操作者が高倍率で見ることを意図した場合には画質差が視認されやすいので、例えば図６に示した例においてモード「１」が指示され、色空間がＹＣｂＣｒの画像データに対して拡大縮小処理を施す場合には、その指示に従ってＹ成分は方式３で、Ｃｂ，Ｃｒ成分は方式２で処理を行う。しかしプリンタ装置９については、スクリーン処理され、かつ、高解像度であるため詳細に見ることが少ない。従って、例えばＹ成分は方式３で、Ｃｂ，Ｃｒ成分は方式１で処理を行うことができる。このように、操作者には視認できない画質低下の範囲で、より高速な手法に自動的に切り替えることが可能である。
【００５８】
図９は、本発明の画像処理装置の機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。図中、２１はプログラム、２２はコンピュータ、３１は光磁気ディスク、３２は光ディスク、３３は磁気ディスク、３４はメモリ、４１は光磁気ディスク装置、４２は光ディスク装置、４３は磁気ディスク装置である。
【００５９】
上述の本発明の各実施の形態で説明した画像入力部２や拡縮処理部３の各拡縮手法や色変換処理部４や制御部５や指示入力部６の機能の一部または全部は、コンピュータにより実行可能なプログラム２１によっても実現することが可能である。その場合、そのプログラム２１およびそのプログラムが用いるデータなどは、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、光磁気ディスク３１，光ディスク３２（ＣＤやＤＶＤなどを含む）、磁気ディスク３３，メモリ３４（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。
【００６０】
これらの記憶媒体にプログラム２１を格納しておき、例えばコンピュータ２２の光磁気ディスク装置４１，光ディスク装置４２，磁気ディスク装置４３，あるいは図示しないメモリスロットにこれらの記憶媒体を装着することによって、コンピュータからプログラム２１を読み出し、本発明の画像処理装置の機能または画像処理方法を実行することができる。あるいは、予め記憶媒体をコンピュータ２２に装着しておき、例えばネットワークなどを介してプログラム２１をコンピュータ２２に転送し、記憶媒体にプログラム２１を格納して実行させてもよい。なお、画像データ格納部２は、コンピュータ２２内のメモリあるいは付属の磁気ディスク装置やその他の記憶媒体を適用することができる。
【００６１】
もちろん、本発明の一部の機能についてハードウェアによって構成することもできるし、あるいは、すべてをハードウェアで構成してもよい。また、図９に示したように１台のコンピュータによって実現するほか、例えばＬＡＮやインターネットなどを介して複数台のコンピュータに機能を分散して配置し、複数台のコンピュータが協働して本発明の画像処理装置の機能を実現するような構成であってもよい。
【００６２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、拡大縮小処理と色空間変換処理の処理順序を適切に制御し、またさらに複数の拡縮手法から適切な手法を選択して用いることによって、高速な処理が可能な画像処理装置を提供することができる。また、画質／処理時間に対する要求に応じた拡大縮小処理及び色空間変換処理を行うことができる。さらに、出力先の性能により過剰な高画質化処理を行うことなく、高速に処理を行うことが可能な画像処理を実現することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の画像処理装置の第１の実施の形態を示すブロック図である。
【図２】最近傍法による拡大処理の説明図である。
【図３】線形補間法による拡大処理の説明図である。
【図４】マルチエッジパターン法による拡大処理の説明図である。
【図５】拡大処理格納部３及び色変換処理部４における処理時間の関係の説明図である。
【図６】制御部５における拡縮処理部３及び色変換処理部４に対する動作制御の具体例の説明図である。
【図７】本発明の画像処理装置の第２の実施の形態を示すブロック図である。
【図８】本発明の画像処理装置の第３の実施の形態を示すブロック図である。
【図９】本発明の画像処理装置の機能をコンピュータプログラムで実現した場合におけるコンピュータプログラム及びそのコンピュータプログラムを格納した記憶媒体の一例の説明図である。
【符号の説明】
１…画像記憶部、２…画像入力部、３…拡縮処理部、４…色変換処理部、５…制御部、６…指示入力部、７…情報提示部、８…ディスプレイ装置、９…プリンタ装置、２１…プログラム、２２…コンピュータ、３１…光磁気ディスク、３２…光ディスク、３３…磁気ディスク、３４…メモリ、４１…光磁気ディスク装置、４２…光ディスク装置、４３…磁気ディスク装置。
【図１】
2004194050.tif 000003
【図２】
2004194050.tif 000004
【図３】
2004194050.tif 000005
【図４】
2004194050.tif 000006
【図５】
2004194050.tif 000007
【図６】
2004194050.tif 000008
【図７】
2004194050.tif 000009
【図８】
2004194050.tif 000010
【図９】
2004194050.tif 000011