(57)【要約】【課題】画像の出力サイズに応じて、出力される画像の画質と、画像に対する拡縮処理および画質補正処理の処理速度との両立を図る。【解決手段】プリンタ装置１は、出力画像サイズが既定値以下の場合（例えば、インデックス印刷）に、画質の面で劣るが、高速処理が可能な補間方式により画像拡縮処理を行い、出力画像サイズが既定値より大きい場合（例えば、通常の１枚印刷）に、処理速度の面で劣るが、高画質な補間方式により画像拡縮処理を行う。また、プリンタ装置１は、出力画像サイズが既定値以下の場合に、ノイズ抑制処理および鮮鋭度補正処理を省略して、処理の高速化を図る。【選択図】          図３
2004214771.tif 000002
【特許請求の範囲】
【請求項１】
ディジタル画像のサイズを、第１の手法で変更する第１の画像拡縮手段と、
ディジタル画像のサイズを、第２の手法で変更する第２の画像拡縮手段と、
ディジタル画像の出力サイズに応じて、前記第１の画像拡縮手段および前記第２の画像拡縮手段のいずれか一方を選択する制御手段と
を有する画像処理装置。
【請求項２】
前記第１の画像拡縮手段は、前記第２の画像拡縮手段に比べて、より高画質でディジタル画像のサイズを変更し、
前記制御手段は、ディジタル画像の出力サイズが既定値よりも大きい場合に、前記第１の画像拡縮手段を選択し、これ以外の場合に、前記第２の画像拡縮手段を選択する
請求項１に記載の画像処理装置。
【請求項３】
前記第２の画像拡縮手段は、前記第１の画像拡縮手段に比べて、より高速でディジタル画像のサイズを変更し、
前記制御手段は、ディジタル画像の出力サイズが既定値よりも大きい場合に、前記第１の画像拡縮手段を選択し、これ以外の場合に、前記第２の画像拡縮手段を選択する
請求項１または２に記載の画像処理装置。
【請求項４】
ディジタル画像に対して、画質補正処理を行う画質補正手段
をさらに有し、
前記制御手段は、ディジタル画像の出力サイズに応じて、前記画質補正手段による補正処理の内容を変更する
請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記制御手段は、ディジタル画像の出力サイズが既定値よりも大きい場合に、所定の画質で色補正処理および鮮鋭度補正処理を行い、これ以外の場合に、前記画質よりも低い画質で、色補正処理および鮮鋭度補正処理またはこれらのいずれかを行うよう、前記画質補正手段を制御する
請求項４に記載の画像処理装置。
【請求項６】
前記画質補正手段は、色補正処理、鮮鋭度補正処理、およびノイズ抑制処理を行い、
前記制御手段は、ディジタル画像の出力サイズが既定値よりも大きい場合に、色補正処理、鮮鋭度補正処理およびノイズ抑制処理を行い、これ以外の場合に、鮮鋭度補正処理およびノイズ抑制処理の少なくとも一方を禁止するよう、前記画質補正手段を制御する
請求項４または５に記載の画像処理装置。
【請求項７】
ディジタル画像を縮小した縮小画像、または、ディジタル画像の一部を切り出した切り出し画像に基づいて、補正処理のパラメータを設定するパラメータ設定手段
をさらに有し、
前記画質補正手段は、前記パラメータに応じて、色補正処理および鮮鋭度補正処理またはこれらのいずれかを行う
請求項４〜６のいずれかに記載の画像処理装置。
【請求項８】
ディジタル画像に付随する複数の付随情報の中から、このディジタル画像の出力サイズに応じた付随情報を読み出す読出し手段
をさらに有し、
前記画質補正手段は、前記読出し手段により読み出された付随情報に応じた画質補正処理を行う
請求項４〜７のいずれかに記載の画像処理装置。
【請求項９】
前記画像拡縮手段は、ディジタル画像における第１の方向、および、この第１の方向に直交する第２の方向について、それぞれ拡大または縮小の処理を行い、
前記制御手段は、前記画質補正手段による画質補正処理の対象となるディジタル画像の画素数が最小になる順序で、第１の方向の拡大または縮小処理、第２の方向の拡大または縮小処理、および、画質補正処理が行われるよう制御する
請求項４に記載の画像処理装置。
【請求項１０】
前記画像拡縮手段は、ノイズ抑制効果を有する補間係数に基づいて、ディジタル画像の縮小処理を行い、
前記制御手段は、ノイズ抑制効果を有する補間係数に基づいて縮小処理が行われる場合に、前記画質補正手段によるノイズ抑制処理を禁止する
請求項６に記載の画像処理装置。
【請求項１１】
前記画像拡縮手段は、鮮鋭度強調効果を有する補間係数に基づいて、ディジタル画像の拡大処理を行い、
前記制御手段は、鮮鋭度強調効果を有する補間係数に基づいて拡大処理が行われる場合に、前記画質補正手段による鮮鋭度補正処理を禁止する
請求項６に記載の画像処理装置。
【請求項１２】
ディジタル画像のサイズを、出力サイズに変更する画像拡縮手段と、
ディジタル画像について、画質補正処理を行う画質補正手段と、
ディジタル画像の出力サイズに応じて、前記画質補正手段による画質補正処理の内容を制御する制御手段と
を有する画像処理装置。
【請求項１３】
前記画質補正手段は、ディジタル画像に対して色補正を行い、
前記制御手段は、ディジタル画像の出力サイズに応じて、前記画質補正手段による色補正の内容を制御する
請求項１２に記載の画像処理装置。
【請求項１４】
前記画質補正手段は、ディジタル画像に対して鮮鋭度補正処理を行い、
前記制御手段は、ディジタル画像の出力サイズに応じて、前記画質補正手段による鮮鋭度補正処理の内容を制御する
請求項１２に記載の画像処理装置。
【請求項１５】
前記画質補正手段は、ディジタル画像に対してノイズ抑制処理を行い、
前記制御手段は、ディジタル画像の出力サイズに応じて、前記画質補正手段によるノイズ抑制処理の内容を制御する
請求項１２に記載の画像処理装置。
【請求項１６】
前記制御手段は、前記画像拡縮手段により変更されたディジタル画像のサイズが既定値よりも大きい場合に、これ以外の場合よりも高画質となるように前記画質補正手段を制御する
請求項１２に記載の画像処理装置。
【請求項１７】
ディジタル画像の出力サイズに応じて、第１の拡縮方式および第２の拡縮方式のいずれか一方を選択し、
選択された拡縮方式で、前記ディジタル画像のサイズを変更する
画像処理方法。
【請求項１８】
ディジタル画像の出力サイズに応じて、画質補正処理の内容を決定し、
決定された内容で、前記ディジタル画像に画像補正処理を行う
画像処理方法。
【請求項１９】
コンピュータを含む画像処理装置において、
ディジタル画像の出力サイズに応じて、第１の拡縮方式および第２の拡縮方式のいずれか一方を選択するステップと、
選択された拡縮方式で、前記ディジタル画像のサイズを変更するステップと
を前記画像処理装置のコンピュータに実行させるプログラム。
【請求項２０】
コンピュータを含む画像処理装置において、
ディジタル画像の出力サイズに応じて、画質補正処理の内容を決定するステップと、
決定された内容で、前記ディジタル画像に画質補正処理を行うステップと
を前記画像処理装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像の出力サイズに応じた画像処理を行う画像処理装置、画像処理方法、及びそのプログラムに関する。
【０００２】
【従来の技術】
様々なサイズを持った画像が流通し、さらにそれを様々なサイズで表示または印刷するためには、拡大・縮小処理が必須となる。また、ユーザが撮影した画像は、露出やピント、カラーバランスなどがくるっている場合があるため、画質補正処理を行う必要がある。
しかしながら、ディジタルカメラの画素数の向上により、複雑な画像解析などを必要とする画質補正処理は非常に負荷の重いものとなり、また折角高い画素数で撮影した画像をきれいに表示または印刷するためには拡大・縮小処理もそれなりに高画質な手法を使わねばならず、これらの要因からディジタル画像をきれいに表示または印刷するには、時間がかかるという問題が発生していた。
【０００３】
このような問題についての関連技術としては、編集処理の種類に応じて、編集処理（縮小および色変換等）の順序を交換して、処理対象の画素数を低減させる技術がある（例えば、特許文献１）。
また、出力画像サイズが入力画像サイズよりも小さい場合に縮小処理を先に行い、出力画像サイズが入力画像サイズよりも大きい場合には拡大処理を後で行うことにより処理メモリ量削減および処理速度向上を図った技術がある（例えば、特許文献２）。
【０００４】
【特許文献１】
特開平５−２０７２６６号公報
【特許文献２】
特開２００２−１９９２０８号公報
【０００５】
【発明が解決しようとする課題】
本発明は、上述した背景からなされたものであり、ディジタル画像の出力サイズに応じて、画像処理を施すことができる画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
［画像処理装置］
上記目的を達成するために、本発明にかかる画像処理装置は、ディジタル画像のサイズを、第１の手法で変更する第１の画像拡縮手段と、ディジタル画像のサイズを、第２の手法で変更する第２の画像拡縮手段と、ディジタル画像の出力サイズに応じて、前記第１の画像拡縮手段および前記第２の画像拡縮手段のいずれか一方を選択する制御手段とを有する。
【０００７】
好適には、前記第１の画像拡縮手段は、前記第２の画像拡縮手段よりも高画質でディジタル画像のサイズを変更し、前記制御手段は、ディジタル画像の出力サイズが既定値よりも大きい場合に、前記第１の画像拡縮手段を選択し、これ以外の場合に、前記第２の画像拡縮手段を選択する。
好適には、前記第２の画像拡縮手段は、前記第１の画像拡縮手段よりも高速でディジタル画像のサイズを変更し、前記制御手段は、ディジタル画像の出力サイズが既定値よりも大きい場合に、前記第１の画像拡縮手段を選択し、これ以外の場合に、前記第２の画像拡縮手段を選択する。
【０００８】
好適には、前記画像処理装置は、ディジタル画像に対して、画質補正処理を行う画質補正手段をさらに有し、前記制御手段は、ディジタル画像の出力サイズに応じて、前記画質補正手段による補正処理の内容を変更する。
【０００９】
好適には、前記制御手段は、ディジタル画像の出力サイズが既定値よりも大きい場合に、所定の画質で色補正処理および鮮鋭度補正処理を行い、これ以外の場合に、前記画質よりも低い画質で、色補正処理および鮮鋭度補正処理またはこれらのいずれかを行うよう、前記画質補正手段を制御する。
【００１０】
好適には、前記画質補正手段は、色補正処理、鮮鋭度補正処理、およびノイズ抑制処理を行い、前記制御手段は、ディジタル画像の出力サイズが既定値よりも大きい場合に、色補正処理、鮮鋭度補正処理およびノイズ抑制処理を行い、これ以外の場合に、鮮鋭度補正処理およびノイズ抑制処理の少なくとも一方を禁止するよう、前記画質補正手段を制御する。
【００１１】
好適には、前記画像処理装置は、ディジタル画像を縮小した縮小画像、または、ディジタル画像の一部を切り出した切り出し画像に基づいて、補正処理のパラメータを設定するパラメータ設定手段をさらに有し、前記画質補正手段は、前記パラメータに応じて、色補正処理および鮮鋭度補正処理またはこれらのいずれかを行う。
【００１２】
好適には、ディジタル画像に付随する複数の付随情報の中から、このディジタル画像の出力サイズに応じた付随情報を読み出す読出し手段をさらに有し、前記画質補正手段は、前記読出し手段により読み出された付随情報に応じた画質補正処理を行う。
【００１３】
好適には、前記画像拡縮手段は、ディジタル画像における第１の方向、および、この第１の方向に直交する第２の方向について、それぞれ拡大または縮小の処理を行い、前記制御手段は、前記画質補正手段による画質補正処理の対象となるディジタル画像の画素数が最小になる順序で、第１の方向の拡大または縮小処理、第２の方向の拡大または縮小処理、および、画質補正処理を行われるよう制御する。
【００１４】
好適には、前記画像拡縮手段は、ノイズ抑制効果を有する補間係数に基づいて、ディジタル画像の縮小処理を行い、前記制御手段は、ノイズ抑制効果を有する補間係数に基づいて縮小処理が行われる場合に、前記画質補正手段によるノイズ抑制処理を禁止する。
【００１５】
好適には、前記画像拡縮手段は、鮮鋭度強調効果を有する補間係数に基づいて、ディジタル画像の拡大処理を行い、前記制御手段は、鮮鋭度強調効果を有する補間係数に基づいて拡大処理が行われる場合に、前記画質補正手段による鮮鋭度補正処理を禁止する。
【００１６】
また、本発明にかかる画像処理装置は、ディジタル画像のサイズを変更する画像拡縮手段と、ディジタル画像について、画質補正処理を行う画質補正手段と、ディジタル画像の出力サイズに応じて、前記画質補正手段による画質補正処理の内容を制御する制御手段とを有する。
好適には、前記画質補正手段は、ディジタル画像に対して色補正を行い、前記制御手段は、ディジタル画像の出力サイズに応じて、前記画質補正手段による色補正の内容を制御する。
好適には、前記画質補正手段は、ディジタル画像に対して鮮鋭度補正処理を行い、前記制御手段は、ディジタル画像の出力サイズに応じて、前記画質補正手段による鮮鋭度補正処理の内容を制御する。
前記画質補正手段は、ディジタル画像に対してノイズ抑制処理を行い、前記制御手段は、ディジタル画像の出力サイズに応じて、前記画質補正手段によるノイズ抑制処理の内容を制御する。
好適には、前記制御手段は、前記画像拡縮手段により変更されたディジタル画像のサイズが既定値よりも大きい場合に、これ以外の場合よりも高画質になるように前記画質補正手段を制御する。
【００１７】
［画像処理方法］
また、本発明にかかる画像処理方法は、ディジタル画像の出力サイズに応じて、第１の拡縮方式および第２の拡縮方式のいずれか一方を選択し、選択された拡縮方式で、前記ディジタル画像のサイズを変更する。
【００１８】
また、本発明にかかる画像処理法方は、ディジタル画像の出力サイズに応じて、画質補正処理の内容を決定し、決定された内容で、前記ディジタル画像に画像補正処理を行う。
【００１９】
［プログラム］
また、本発明にかかるプログラムは、コンピュータを含む画像処理装置において、ディジタル画像の出力サイズに応じて、第１の拡縮方式および第２の拡縮方式のいずれか一方を選択するステップと、選択された拡縮方式で、前記ディジタル画像のサイズを変更するステップとを前記画像処理装置のコンピュータに実行させる。
【００２０】
また、本発明にかかるプログラムは、コンピュータを含む画像処理装置において、ディジタル画像の出力サイズに応じて、画質補正処理の内容を決定するステップと、決定された内容で、前記ディジタル画像に画質補正処理を行うステップとを前記画像処理装置のコンピュータに実行させる。
【００２１】
［用語］
出力サイズとは、ディジタル画像を出力する大きさであり、例えば、ディジタル画像１枚あたりの印刷サイズ、および、モニタ上の表示サイズなどである。
【００２２】
【発明の実施の形態】
［背景］
近年のディジタルカメラの普及や、写真プリントショップでの写真のディジタルＣＤ−ＲＯＭ作成サービスの登場などにより、ユーザが容易にディジタル画像データを入手できるようになり、さらに高画質なプリンタの家庭への普及やプリントショップ、コンビニエンスストアに設置された多機能カラー印刷システムなどの登場により、ユーザがこれらの環境を使ってディジタル画像を表示／印刷する機会が飛躍的に増大している。
このような環境では、様々なサイズを持った画像が流通し、さらにそれを様々なサイズで表示／印刷するため、このように機能を実現するためには拡大・縮小処理が必須となる。またユーザが撮影した画像は、露出やピント、カラーバランスなどがくるっていることが往々にしてあるため、写真プリント処理で行われているものと同様に、画質補正処理を行う必要がある。
しかしながら、ディジタルスチルカメラの画素数の向上により、特に複雑な画像解析などを必要とする画質補正処理は非常に負荷の重いものとなり、また折角高い画素数で撮影した画像をきれいに表示／印刷するためには拡大・縮小処理もそれなりに高画質な手法を使わねばならず、これらの要因からディジタル画像をきれいに表示／印刷するには、時間がかかるという問題が発生していた。
【００２３】
このような問題についての関連技術としては、例えば特開２０００−１９９２０８号公報に記載されたものがある。これは、入力画像の画素数が出力画像の画素数よりも大きい場合には、先に縮小処理を行った後に、画質補正処理を含む各種の処理を行うというものである。
特開２０００−１９９２０８号公報に記載された技術は、単純に出力画像サイズの方が小さい場合には縮小を先に行い、大きい場合には拡大を後で行うことにより処理メモリ量削減と処理速度向上を図ったものである。しかしながら、この拡縮の処理手法として最も一般的に用いられている最近傍法を用いた場合には、近年さらに高解像度化しているプリンタなどにＬ判などの大きめのサイズで印刷すると、拡大の場合には画素が単純に拡大されるために平坦部では同じ画素値からなるブロックの境界が目立ってゴツゴツとした感じとなり、またエッジ部では直線的なエッジが階段状になってジャギーとして視認されるために非常に画質の悪いものとなり、また縮小の場合にもジャギーが発生して画質を損ねてしまう。これを避けるために、線形補間法や双三次畳み込み法などの高画質な拡縮手法が提案されており、これらを用いて処理を行った場合には、画質は良好になることが期待される。しかしながら、例えば画像を小さく縮小して多くの画像を一枚の用紙にレイアウトしてプリントするインデックスプリントのような場合には、上記のような画質欠陥が殆ど分らないにも関わらず、無駄に高画質拡縮を行うために処理速度が低下するという欠点を持っている。
また、画質補正処理についても同様であり、出力画像サイズによっては画質の違いを視認できないにも関わらず、大きなサイズで出力する場合と同じ処理を行うという無駄により、処理速度を低下させていた。
このように、上記手法は、画像の画素数の増減のみに着目して拡縮処理と画質補正処理の順序を交換することで、より高速かつ省メモリな処理順を選択することを目的としていた。しかし前述のように、それにより生成される画像の視認され得る画質という点については考慮されていないため、画質の悪い画像を生成するか、または無駄に高画質な処理を行って処理速度を低下させていた。
【００２４】
本発明は以上のような問題点に鑑みてなされたものであり、出力画像サイズが十分に大きく、画質の違いを視認できる場合には、高画質の拡縮処理および高画質の画質補正処理を用い、出力画像サイズが小さく、画質の違いを視認できない場合には、高速の拡縮処理および高速の画質補正処理を用い、または、画質補正処理の一部を省略して用いることで、画質と処理速度の両立を図ることを目的とする。
【００２５】
［第１の実施形態］
次に、本発明の第１の実施形態について図面を用いて説明する。
図１は、本発明にかかる画像処理方法が適応されるプリンタ装置１のハードウェア構成を、その制御装置２を中心に例示する図である。
図１に示すように、プリンタ装置１は、制御装置２およびコピー装置本体１０から構成される。
制御装置２は、ＣＰＵ２０２およびメモリ２０４などを含む制御装置本体２０と、通信装置２２と、ＨＤＤ・ＣＤ装置などの記録装置２４と、ＬＣＤ表示装置あるいはＣＲＴ表示装置およびキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６とから構成される。
プリンタ装置１は、ディジタルスチルカメラまたはスキャナ等で取得された画像データを、ＵＳＢケーブルやＬＡＮケーブル等に接続された通信装置２２、または、リムーバブルメディア等を挿入可能な記録装置２４を介して取得し、入力された画像データの画素数と、画像の出力サイズとに応じて補間処理等の画像処理を行い、ＵＩ装置２６の表示装置上またはシート上に出力する。その際、プリンタ装置１は、画像の出力サイズに応じて、処理負荷または画像品質が異なる複数の補間処理方法の中から所定のものを選択して、補間処理を行う。
ここで、プリンタ装置１が選択する補間処理方法は、補間後の画像品質が異なる２以上の処理方法を含む。より好ましくは、上記補間処理方法は、補間処理の処理速度が異なる２以上の処理方法を含む。また、プリンタ装置１が選択する補間処理方法は、補間処理時に占有するメモリサイズ等の処理負荷が異なってもよい。
本実施形態のプリンタ装置１は、処理が低速ではあるが高画質を実現する高画質拡縮処理、および、処理結果が低画質ではあるが高速処理を実現する高速拡縮処理の中から選択する。
【００２６】
図２は、制御装置２（図１）により実行され、本発明にかかる画像処理方法を実現する画像処理プログラム５の構成を示す図である。なお、本実施形態では、制御装置２にインストールされた画像処理プログラム５として実現される形態を具体例として説明するが、画像処理プログラム５の一部または全部の機能が専用のハードウエアで構成されていてもよい。
図２に示すように、画像処理プログラム５は、画像入力部５１０、拡縮処理部５２０、画質補正処理部５３０、画像出力部５４０、ユーザインタフェース部（ＵＩ部）５５０および制御部５６０を有する。
また、拡縮処理部５２０は、高速拡縮処理部５２２および高画質拡縮処理部５２４を含み、画質補正処理部５３０は、ノイズ抑制処理部５３２、色補正処理部５３４および鮮鋭度補正処理部５３６を含む。
【００２７】
画像処理プログラム５において、画像入力部５１０は、通信装置２２または記録装置２４を介して外部から入力される画像データを取り込んで、ディジタル画像として画像データおよび付随情報の解釈を行う。
【００２８】
拡縮処理部５２０は、取り込まれたディジタル画像を、後述の画像出力部５４０で出力するサイズに拡大縮小処理する。本例の拡縮処理部５２０は、高速拡縮処理部５２２と、高画質画像処理部５２４とから構成される。
高速拡縮処理部５２２は、処理対象の画像を処理負荷の小さい高速な処理手法を使って拡縮処理する。より具体的には最近傍法や０次ホールド法などの、画質はあまり良くないが高速に処理可能な手法を使って拡縮処理を行う。
高画質拡縮処理部５２４は、高速拡縮処理部５２２による拡縮処理に比べて、処理負荷は大きいがより高画質な手法を用いて、処理対象の画像を拡縮処理する。より具体的には、高画質拡縮処理部５２４は、線形補間法、双３次畳み込み法、Ｂ−Ｓｐｌｉｎｅ補間法などの、処理速度は最近傍法などと比較して遅いが高画質な出力画像を得られる手法を使って拡縮処理を行う。
【００２９】
画質補正処理部５３０は、取り込まれたディジタル画像に対して、ノイズ抑制や色補正、鮮鋭度補正などの画質向上処理を行う。本例の画質補正処理部５３０は、ノイズ抑制処理部５３２と、色補正処理部５３４と、鮮鋭度補正処理部５３６とから構成される。
ノイズ抑制処理部５３２は、処理対象の画像を平滑化やエッジ保存平滑化などの手法を使って処理して、画像のざらつきを低減させてノイズを抑制する。
色補正処理部５３４は、例えば、処理対象の画像を解析して、カラーバランス、彩度およびコントラスト調整を行い、さらに、空または肌などの記憶色補正、フラッシュによる赤目補正などを行う。
鮮鋭度補正処理部５３６は、処理対象の画像を解析して、鮮鋭度が低い画像に対しては鮮鋭度を向上させるフィルタ処理などを行う。
【００３０】
画像出力部５４０は、拡縮処理部５２０や画質補正処理部５３０により処理されたディジタル画像データを外部に出力する。例えば、画像出力部５４０は、プリンタ装置本体１０のプリントエンジン（不図示）を制御して、ディジタル画像をシート上に印刷する。また、画像出力部５４０は、通信装置２２を介して、コンピュータ端末のモニタ上にディジタル画像を表示させる。
【００３１】
ＵＩ部５５０は、ＵＩ装置２６を制御して、画像入力部５１０から入力された画像データの出力サイズの指定、および、画質補正処理の指示などを、外部から受け付け、制御部５６０などに対して出力する。
【００３２】
制御部５６０は、拡縮処理部５２０および画質補正処理部５３０などの動作を制御する。例えば、制御部５１０は、画像出力部５４０により出力される画像データの出力サイズに応じて、拡縮処理の選択（高速拡縮処理または高画質拡縮処理）、および、画質補正処理の内容の選択（ノイズ補正、色補正処理および鮮鋭度補正処理の内容）を行う。
なお、制御部５６０は、インデックスプリント、インデックス表示、サムネイルプリントおよびサムネイル表示等のような１枚のシートまたは表示画面において複数の画像データを形成させる旨の指示を受け付けたか否かで、出力サイズを判断してもよい。
【００３３】
［全体動作］
図３は、プリンタ装置１（画像処理プログラム５）の第１の動作（Ｓ１０）を示すフローチャートである。
ステップ１００（Ｓ１００）において、ＵＩ部５５０が、ＵＩ装置２６を介して、入力される画像データの指定と、出力画像サイズ（以下、出力サイズ）に関する指示とを受け付けると、画像入力部５１０は、通信装置２２または記録装置２４を介して、指定されたディジタル画像を取得し、取得されたディジタル画像のサイズ（以下、入力サイズ）などの属性情報を取得する。
【００３４】
ステップ１０２（Ｓ１０２）において、制御部５６０は、ＵＩ部５５０からの指示に基づいて求められた出力サイズが、予め設定されている閾値Ｔｈよりも大きいかどうかを判断する。画像処理プログラム５は、出力サイズが閾値Ｔｈよりも大きい場合には、Ｓ１０４の処理に移行し、これ以外の場合には、Ｓ１１４の処理に移行する。
ここで、出力サイズとは、例えばディジタルカメラからの画像のように極端に縦長や横長の画像が入力されない場合には縦横の画素数を乗算した総画素数としてもよいし、そうでない場合には縦横それぞれに閾値を設けて縦横の画素数それぞれを閾値と比較して両方または一方を満足する場合に真（Ｙｅｓ）となるようにしてもよい。また、本例では、画像サイズを画素数で定義する形態を具体例として説明したが、本発明の目的は視認できるかどうかに応じて処理を切り替えるものであり、実際には出力先のデバイスの解像度によって画素数が同じでもサイズが異なることになる。そこで、閾値Ｔｈは、人間の視覚特性に応じて設定され、例えば、出力先のデバイス解像度に対応して設定される。
【００３５】
ステップ１０４（Ｓ１０４）において、制御部５６０は、出力サイズが画像入力部５１０から入力される入力サイズよりも大きいかどうかを判断する。画像処理プログラム５は、出力サイズが入力サイズよりも大きい場合には、Ｓ１０６の処理に移行し、これ以外の場合には、Ｓ１１０の処理に移行する。
なお、ここでは説明を簡単にするために、縦横ともにサイズを大きいか否かを判定するように記載したが、縦横で大小関係が異なる場合がある。本発明の目的の一つには画質補正処理はなるべく少ない画素数に対して行うことで高速化を図ることがあるので、もし縦横で大小関係が異なる場合には、まず縮小となる方向の処理を先に行って画素数を減らし、画質補正処理後に拡大となる方向の処理を行うように構成するものとする。また等倍となる場合についても記載を省略したが、等倍となる場合には拡縮処理は行われない。
【００３６】
ステップ１０６（Ｓ１０６）において、画像入力部５１０は、入力された画像データを画質補正処理部５３０に対して出力し、画質補正処理部５３０は、入力された画像データに対して全ての画質補正処理を行う。すなわち、ノイズ抑制処理部５３２が、画像データに対してノイズ抑制処理を行い、次いで、色補正処理部５３４が色補正処理を行い、最後に、鮮鋭度補正処理部５３６が、鮮鋭度補正処理を行う。
全ての画質補正処理が行われると、画質補正処理部５３０は、画像データを拡縮処理部５２０に対して出力する。
【００３７】
ステップ１０８（Ｓ１０８）において、拡縮処理部５２０は、画質補正処理部５３０から入力された画像データに対して、高画質拡大処理で画像データを出力サイズに拡大する。すなわち、制御部５６０の制御に応じて、高画質拡縮処理部５２４が、入力された画像データに対して高画質に拡大を行い、画像出力部５４０に対して出力する。
【００３８】
ステップ１１０（Ｓ１１０）において、画像入力部５１０は、入力された画像データを拡縮処理部５２０に対して出力し、拡縮処理部５２０は、高画質に画像データを出力サイズに縮小する。すなわち、制御部５６０が高画質拡縮処理を選択し、これに応じて、高画質拡縮処理部５２４が、入力された画像データに対して高画質に縮小を行い、画質補正処理部５３０に対して出力する。
【００３９】
ステップ１１２（Ｓ１１２）において、画質補正処理部５３０は、拡縮処理部５２０から入力された画像データに対して、全ての画質補正処理を行う。すなわち、ノイズ抑制処理部５３２、色補正処理部５３４および鮮鋭度補正処理部５３６が、それぞれ画像データに対して画質補正処理を施す。
全ての画質補正処理が行われると、画質補正処理部５３０は、画像データを画像出力部５４０に対して出力する。
【００４０】
ステップ１１４（Ｓ１１４）において、制御部５６０は、出力サイズが画像入力部５１０から入力される入力サイズよりも大きいかどうかを判断する。画像処理プログラム５は、出力サイズが入力サイズよりも大きい場合には、Ｓ１１６の処理に移行し、これ以外の場合には、S１２０の処理に移行する。
【００４１】
ステップ１１６（Ｓ１１６）において、画像入力部５１０は、入力された画像データを画質補正処理部５３０に対して出力する。画質補正処理部５３０は、制御部５６０により決定された処理内容で、画像データの画質補正処理を行い、拡縮処理部５２０に対して出力する。本例では、制御部５６０が色補正処理のみを行うように制御し、これに応じて、色補正処理部５３４のみが、入力された画像データに対して、色補正処理を施す。
これは、小さく表示または印刷される画像に対してノイズ抑制処理や鮮鋭度補正処理を行っても視認できないか、または殆ど目立たないが、カラーバランスのずれは画像全体に小さく表示または印刷された場合にも目立つためであり、上記閾値Ｔｈはこの条件を満たすように設定されている。
【００４２】
ステップ１１８（Ｓ１１８）において、拡縮処理部５２０は、入力された画像データに対して、高速拡大処理を施して、画像出力部５４０に対して出力する。本例では、制御部５６０が高速拡縮処理に行うよう制御し、これに応じて、高速拡縮処理部５２２が、画像データを高速に拡大し、出力サイズになるようにする。
高速拡縮処理部５２２での拡大処理は、高画質拡縮処理部５２４での拡大処理と比べて高速ではあるが画質が低い。しかしながら、上記のように、ここでの拡大後の画像は小さく表示または印刷されるため、拡縮処理の方式の違いによる画質差が視認できないか、または殆ど目立たない。また上記閾値Ｔｈは、この条件も満たすように設定されている。
【００４３】
ステップ１２０（Ｓ１２０）において、画像入力部５１０は、入力された画像データを拡縮処理部５２０に対して出力する。拡縮処理部５２０は、入力された画像データに対して、高速縮小処理を施して、画質補正処理部５３０に対して出力する。すなわち、制御部５６０が高速拡縮処理を行うよう制御し、これに応じて、高速拡縮処理部５２２が、画像データを高速に縮小して、出力サイズになるようにする。
【００４４】
ステップ１２２（Ｓ１２２）において、画質補正処理部５３０は、入力された画像データに対して、制御部５６０により決定された内容で画質補正処理を行い、画像出力部５４０に対して出力する。本例では、制御部５６０が、色補正処理のみを行うよう制御し、これに応じて、色補正処理部５３４のみが、入力された画像データに対して画質補正処理を行う。
【００４５】
ステップ１２２（Ｓ１２２）において、画像出力部５４０は、入力された画像データを外部に出力し、指定された大きさで表示または印刷などを行わせる。
【００４６】
以上説明したように、プリンタ装置１は、微細な画質の違いが視認できないまたは殆ど目立たない程度の画像サイズで表示または印刷する場合には、無駄な高画質処理を行うことなく、高速に処理を行い、かつ、画質の細かい部分が視認可能な十分大きな画像サイズで表示または印刷する場合には、高画質処理を行う。
なお、上記実施形態では説明を簡単にするために、出力サイズによる分類を２種類として説明したが、本発明はこれに限定されるものではない。例えば視覚的に目立つ程度に応じて分類の数を３つに増やし、拡縮処理の方式を、例えば最近傍法、線形補間法、双三次畳み込み法の３つを選択可能とし、画質補正では小さなサイズの時には色補正のみ、中程度以上のサイズの時には全ての補正を行うように構成するなど、より細かく制御することも可能である。
また、ここでは説明を簡単にするために、拡縮処理の方式を選択するための閾値と、画質補正処理の内容を変更するための閾値とが同じ値である場合を説明したが、本発明の目的は視認できないまたは殆ど目立たない処理を無駄に行わないことであるので、拡縮処理の方式の違いによる視覚的な差の識別と、画質補正処理の変更による視覚的な差の識別とで、その閾値が異なる場合には、それぞれに適した閾値を設けて別々に切り替えを行うように構成する。
【００４７】
［第２の実施形態］
次に、本発明の第２の実施形態を説明する。
画質補正処理では、補正処理のパラメータを入力画像の画質を解析して取得する必要があるが、その際に、処理対象の画像全体を解析の対象とすると解析処理に時間がかかり、全体の処理速度を低下させてしまう。そこで、解析処理には、画像を縮小処理して使用するか、または画像の一部を切り出して使用する形態を第２の実施形態として説明する。より具体的には、色補正処理には画像全体の色分布などのデータを取得する必要があるので、画像を縮小した縮小画像に基づいて解析処理を行う。また、鮮鋭度補正では、画像の中心付近に重要な被写体が存在し、それに対してピント合わせが行われている場合が多いので、画像の中心部分を切り出して解析処理を行う。
また、例えば、ディジタルカメラの標準画像フォーマットであるExif（Exchangeable image file format for digital still cameras）には、これらの処理を行う上での助けになる付随情報が格納されており、それらの情報を参照することで、上記補正処理のパラメータを変更したり、解析を行わずに強制的に決定したり、あるいは補正処理の一部または全部を行わないように設定することも可能である。第１の実施形態で述べたように、本発明では視覚的に（殆ど）認識できない場合には一部の補正処理を省略するが、そのような条件に一致する場合には、その省略される補正処理に影響を与える付随情報の読み出しも省略し、実行される補正処理に関連する付随情報のみの読み出しを行うことで、画像入力部５１０から入力される画像の付随情報の解釈処理を簡素化することも可能である。
以下、このような観点から第１の実施形態に変更を加えたものを、第２の実施形態として説明する。
【００４８】
図４は、第２の画質補正処理部６３０の構成を説明する図である。なお、図４における各構成のうち、図２で説明したものと実質的に同一なものには同一の符号が付されている。
図４に示すように、第２の実施形態における画質補正処理部６３０は、ノイズ抑制処理部５３２、色補正処理部５３４および鮮鋭度補正処理部５３６に加えて、付随情報読出し部６３２（読出し手段）、画像縮小部６３４、色補正解析部６３５（パラメータ設定手段）、画像切出し部６３６および鮮鋭度補正解析部６３８（パラメータ設定手段）を含む。
【００４９】
付随情報読出し部６３２は、制御部５６０により実行する旨が決定された補正処理に関して、これに対応する付随情報を画像入力部５１０から読み出す。制御部５６０がノイズ抑制処理を実行する旨を決定した場合、付随情報読出し部６３２は、ノイズ抑制処理に関連する付随情報を画像入力部５１０から読み出し、これによりノイズ抑制処理部５３２をバイパスするかどうかが決定される。なお、制御部５６０によりノイズ抑制処理を省略する旨が決定された場合には、付随情報読出し部６３２は、ノイズ抑制処理に関連する付随情報の読出しを省略し、画像データは、ノイズ抑制処理部５３２をバイパスして次の色補正処理部５３４および画像縮小部６３４に入力される。
【００５０】
画像縮小部６３４は、画像データが入力されると、縮小して色補正解析部６３５に対して出力する。
色補正解析部６３５は、画像縮小部６３４から入力された画像データを解析し、この解析結果と、付随情報読出し部６３２から入力される色補正処理に関連する付随情報とに基づいて、色補正処理の処理パラメータを決定し、色補正処理部５３４に対して出力される。
色補正処理部５３４は、色補正解析部６３５から入力された色補正処理の処理パラメータに応じて、縮小されていない元画像に対して色補正を行い、鮮鋭度補正処理部５３６および画像切出し部６３６に対して出力する。
【００５１】
画像切出し部６３６は、制御部５６０が鮮鋭度補正処理を実行する旨を決定した場合、色補正処理部５３４から入力された画像データの中心部分を切り出して、鮮鋭度補正解析部６３８に対して出力する。
鮮鋭度補正解析部６３８は、画像切出し部６３６から入力された中心部分の画像データを解析し、この解析結果と、付随情報読出し部６３２から入力される鮮鋭度補正処理に関連する付随情報とに基づいて、鮮鋭度補正処理の処理パラメータを決定し、鮮鋭度補正解析部６３８に対して出力する。
鮮鋭度補正処理部５３６は、鮮鋭度補正解析部６３８から入力された鮮鋭度補正処理の処理パラメータに応じて、色補正処理部５３４から入力された元画像に対して鮮鋭度補正処理を施し、画質補正処理部５３０の外部（画質補正処理部５３０または画像出力部５４０等）に出力する。なお、制御部５６０により鮮鋭度補正処理が実行されないと決定された場合には、付随情報読出し部６３２は、鮮鋭度補正処理に関連する付随情報の読出しを省略し、画像データは、鮮鋭度補正処理部５３６をバイパスして画質補正処理部５３０から出力される。
【００５２】
以上説明したように、本例の画質補正処理部６３０は、画質補正のパラメータ決定のための解析処理を、縮小画像や部分切り出し画像を用いて行うことにより、解析処理の速度向上を図る。さらに、画質補正処理部６３０は、処理対象画像に画質補正処理に関係する付随情報がある場合に、制御部５６０により実行されると決定された補正処理に関する付随情報のみを読み出すことにより、付随情報の取り扱いを簡略化して処理速度の向上を図ることができる。
【００５３】
［第３の実施形態］
次に、本発明の第３の実施形態を説明する。
本実施形態では、拡縮処理部５２０の処理方式を変更することにより、画質補正処理部５３０での処理負荷をより軽くして高速化を図ることができる。
以下、このような観点から第１の実施形態に変更を加えたものを、第３の実施形態として説明する。
【００５４】
図５は、第２の高画質拡縮処理部６２４の構成を説明する図である。
図５に示すように、高画質拡縮処理部６２４は、横方向拡縮処理部６２４ａ、縦方向拡縮処理部６２４ｂおよび補間係数生成部６２６を含む。
補間係数生成部６２６は、制御部５６０の制御に応じて、補間処理に用いられる補間係数を生成し、横方向拡縮処理部６２４ａおよび縦方向拡縮処理部６２４ｂに対して出力する。
横方向拡縮処理部６２４ａおよび縦方向拡縮処理部６２４ｂは、それぞれ独立に横方向（第１の方向）および縦方法（第２の方向）の拡縮処理を行う。
【００５５】
制御部５６０は、画像入力部５１０から入力された画像サイズと、画像出力部５４０から出力する画像サイズとに基づいて、画像の縦横それぞれの倍率を計算し、縮小が必要な場合には縮小処理を先に行うように高画質拡縮処理部６２４を制御する。具体的には、例えば横の拡縮倍率が０.８であり縦の拡縮倍率が１.１になった場合には、制御部５６０は、まず横方向拡縮処理部６２４ａを制御して、横方向を０.８倍に縮小させ、その後に画質補正処理部５３０を制御して補正処理を行わせ、その後に縦方向拡縮処理部６２４ｂを制御して、縦方向を１.１倍に拡大処理させて、画像出力部５４０から結果画像を出力させる。
このように、縦方向と横方向とを別々に処理可能なように構成することにより、画質補正処理部５３０での処理対象の画素数を最も少なくすることができ、より高速に処理が可能となる。
【００５６】
図６は、補間係数生成部が生成する補間係数の元となる補間関数の一例を示す。
図６に例示する補間関数ａは、双三次畳み込み法（Cubic Convolution法）として知られている高画質拡縮処理に使われる補間関数である。
補間係数生成部６２６は、この補間関数ａに基づいて、横方向拡縮処理部６２４ａおよび縦方向拡縮処理部６２４ｂがそれぞれの位置で参照画素に乗算する補間係数を、計算して、それぞれに供給する。
また、制御部５６０が、倍率が縮小方向であると判断し、かつ、画質補正処理部５３０においてノイズ抑制処理が必要と判断した場合には、補間関数ｂを用いて補間係数を生成する。補間関数ｂは、補間関数ａにおけるｆ（ｘ）軸方向の凹凸を平坦化したものである。補間関数ａに基づいて生成された補間係数は、若干の高域強調特性を持っているが、補間関数ｂに基づく補間係数は、高域減衰特性を持つようになり、ノイズ抑制処理と同様の効果を持たせることができる。そのため、画質補正処理中のノイズ抑制処理を省略することが可能となり、かつ補間関数を変更しても縮小処理の処理時間には影響がないので、全体の処理時間を高速化することができる。
また同様に、制御部５６０が、倍率が拡大方向であると判断し、かつ、画質補正処理部５３０において鮮鋭度補正処理が必要と判断した場合には、補間関数ｃを用いて、拡大に用いられる補間係数を生成する。補間関数ｃは、補間関数ａにおけるｆ（ｘ）軸方向の凹凸をより突出させたものである。この補間関数ｃに基づいて生成される補間係数は、補間関数ａに基づくものよりも高域強調特性が強いため、画像の鮮鋭度を上げることができ、結果として鮮鋭度補正処理と同様の効果を持たせることができる。そのため、画質補正処理中の鮮鋭度補正処理を省略することが可能となり、かつ補間関数を変更しても拡大処理の処理時間には影響がないので、全体の処理時間を高速化することができる。
【００５７】
また、倍率が縦横ともに縮小または拡大の場合には、補間係数生成部６２６は、ノイズ抑制処理部５３２または鮮鋭度補正処理部５３６で行われる高域減衰（ノイズ抑制）または高域強調（鮮鋭度強調）とほぼ同様の特性を持つように補間関数を設定し、設定された補間関数により求められる補間係数を横方向拡縮処理部６２４ａおよび縦方向拡縮処理部６２４ｂに供給することで、ノイズ抑制処理または鮮鋭度補正処理を省略して全体の処理を高速化することができる。
また、例えば、横が縮小で縦が拡大の場合には、横方向拡縮処理部６２４ａは、ノイズ抑制効果を含んだ縮小を行い、縦方向拡縮処理部６２４ｂは、鮮鋭度補正効果を含んだ拡大を行うことも可能であるが、この場合には縦方向のノイズ抑制効果ならびに横方向の鮮鋭度補正効果が足りないため、十分なノイズ抑制および鮮鋭度補正の効果を得ることが困難な場合がある。その場合には、ノイズ抑制処理部５３２が、縦方向のみのノイズ抑制処理を行い、鮮鋭度補正処理部５３６が、横方向のみの鮮鋭度補正処理を行うことで、全体として十分な効果を保ちながら、単方向だけの処理にすることで処理速度を向上させることができる。
【００５８】
以上説明したように、本実施形態の高画質拡縮処理部６２４は、拡縮処理を縦横独立に施すことが可能であるため、縦横の倍率が異なり拡大と縮小とが混在する場合においても、画質補正処理部５３０で処理対象となる画素数を最小にすることが可能となる。また、補間係数生成部６２６が拡縮に用いられる補間関数を変更することにより、プリンタ装置１は画質補正処理中のノイズ抑制処理または鮮鋭度補正処理の一部または全部を省略することが可能となり、画質補正の処理速度を高速化することができる。
【００５９】
以上、第１乃至第３の実施形態で説明したように、本発明によれば、出力画像サイズに応じて、画質の違いが視認できないかまたは殆ど目立たない場合には、無駄に高画質の処理を行わないように処理を構成することにより、高画質と高速処理とを両立させた画像処理装置を実現することができる。
さらに、画質補正処理において、補正パラメータを求める解析処理の際に処理対象画像をそのまま用いるのではなく、処理に応じて縮小または一部を切り出して解析し、さらに処理対象画像に付随情報が付加されている場合には、実行される処理に必要な付随情報のみを読み出して補正パラメータを決定することにより、画質補正の処理負荷をより軽くして高速化を実現することができる。
さらに、拡縮処理において、補間関数を変更することにより拡縮処理自体にノイズ抑制または鮮鋭度補正の効果を持たせてノイズ抑制処理または鮮鋭度補正処理の一部または全部を省略することを可能とし、画質補正の処理負荷をより軽くして高速化を実現することができる。
なお、上記実施形態では、本発明がプリンタ装置１に適用される形態を具体例として説明したが、これに限定されるものではなく、ディジタルスチルカメラ、スキャナ、コンピュータ端末、携帯電話、または、これらのいずれかを組み合わせたシステム等に適用されてもよい。
【００６０】
【発明の効果】
以上説明したように、本発明にかかる画像処理装置、画像処理方法、及びそのプログラムによれば、画像の出力サイズに対して必要十分な画像処理を施すことにより、画質と処理速度との最適なバランスで画像処理を行うことができる。
【図面の簡単な説明】
【図１】本発明にかかる画像処理方法が適応されるプリンタ装置１のハードウェア構成を、その制御装置２を中心に例示する図である。
【図２】制御装置２（図１）により実行され、本発明にかかる画像処理方法を実現する第１の画像処理プログラム５の構成を示す図である。
【図３】プリンタ装置１（画像処理プログラム５）の第１の動作（Ｓ１０）を示すフローチャートである。
【図４】第２の画質補正処理部６３０の構成を説明する図である。
【図５】第２の高画質拡縮処理部６２２の構成を説明する図である。
【図６】補間係数生成部６２６が生成する補間係数の元となる補間関数の一例を示す図である。
【符号の説明】
１・・・プリンタ装置
１０・・・プリンタ装置本体
２・・・制御装置
２０・・・制御装置本体
２０２・・・ＣＰＵ
２０４・・・メモリ
２２・・・通信装置
２４・・・記録装置
２４０・・・記録媒体
２６・・・ＵＩ装置
５・・・画像処理プログラム
５１０・・・画像入力部
５２０・・・拡縮処理部
５２２・・・高速拡縮処理部
５２４，６２４・・・高画質拡縮処理部
６２４ａ・・・横方向拡縮処理部
６２４ｂ・・・縦方向拡縮処理部
６２６・・・補間係数生成部
５３０，６３０・・・画質補正処理部
５３２・・・ノイズ抑制処理部
５３４・・・色補正処理部
５３６・・・鮮鋭度補正処理部
６３２・・・付随情報読出し部
６３４・・・画像縮小部
６３５・・・色補正解析部
６３６・・・画像切出し部
６３８・・・鮮鋭度補正解析部
５４０・・・画像出力部
５５０・・・ユーザインタフェース部
５６０・・・制御部
【図１】
2004214771.tif 000003
【図２】
2004214771.tif 000004
【図３】
2004214771.tif 000005
【図４】
2004214771.tif 000006
【図５】
2004214771.tif 000007
【図６】
2004214771.tif 000008