(57)【要約】【課題】自己相似性を利用して先鋭化を図る場合に、置換に用いる相似画像を適切に選択し、確実かつ十分に先鋭化を図ることができる手法を提供する。【解決手段】原画像中の局所領域画像に対して、置換するための候補画像を複数設定する候補設定手段と、局所領域画像に対する相似性及びサイズの比較結果に基づいて、候補画像の置換適合度合いを評価する評価手段と、各局所領域画像を、該局所領域画像に最も適合すると評価された候補画像と置換して、出力画像を生成する置換手段と、を備える。【選択図】  図３
2005005890.tif 000002
【特許請求の範囲】
【請求項１】
原画像中の局所領域画像に対して、置換するための候補画像を複数設定する候補設定手段と、
局所領域画像に対する相似性及びサイズの比較結果に基づいて、候補画像の置換適合度合いを評価する評価手段と、
各局所領域画像を、該局所領域画像に最も適合すると評価された候補画像と置換して、出力画像を生成する置換手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記候補設定手段は、
局所領域画像とのサイズ比較結果が所定の一定値を取るように仮候補画像を複数設定し、
局所領域画像に対する相似性に基づいて、仮候補画像の中から基準画像を選択し、
前記基準画像の位置において、局所領域画像とのサイズ比較結果が異なるように、候補画像を複数設定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記評価手段は、
前記相似性又は／及びサイズ比較結果の、適合度合いへ与える影響の程度を変更して、適合度合いを評価できるように構成されていることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
更に、画像のボケの程度を評価するボケ評価手段を備え、
前記評価手段は、ボケ評価手段によってボケの程度が大きいと評価された場合に、前記サイズ比較結果が与える適合度合いへの影響を相対的に高め、ボケ評価手段によってボケの程度が小さいと評価された場合に、前記相似性が与える適合度合いへの影響を相対的に高めることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記評価手段は、前記サイズ比較結果が与える適合度合いへの影響を相対的に高めて評価する第１のモードと、前記相似性が与える適合度合いへの影響を相対的に高める第２のモードとを選択可能に構成されていることを特徴とする請求項３又は４記載の画像処理装置。
【請求項６】
前記候補設定手段は、画像の状況に基づいて、各局所領域画像に対する置換の可否、局所領域画像のサイズ、置換候補画像の設定範囲の少なくともいずれかを制御することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記候補設定手段は、画像の自己相似性に基づいて前記制御を行なうことを特徴とする請求項６記載の画像処理装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の画像処理装置と、
前記出力画像に基づいて印刷媒体に画像を形成するプリンタ手段と、を備えることを特徴とするプリンタ。
【請求項９】
原画像中の局所領域画像に対して、置換するための候補画像を複数設定する候補設定工程と、
局所領域画像に対する相似性及びサイズの比較結果に基づいて、候補画像の置換適合度合いを評価する評価工程と、
各局所領域画像を、該局所領域画像に最も適合すると評価された候補画像と置換して、出力画像を生成する置換工程と、を備えることを特徴とする画像処理方法。
【請求項１０】
請求項９記載の画像処理方法をコンピュータで実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、自己相似性を利用して画像の先鋭化を図るための画像処理技術に関する。
【０００２】
【従来の技術】
従来より、自己相似性を利用して画像の先鋭化を図る手法が提案・開発されている（特許文献１〜４参照）。
【０００３】
かかる手法によれば、１）局所領域画像に対して置換するための候補画像を原画像中に設定する、２）局所領域画像と候補画像との相似度合い（相似性）を評価する、３）局所領域画像を、最も相似度合いが高いと評価された候補画像（相似画像）で置換する、という処理手順により、候補画像に含まれる高周波成分を局所領域画像の位置に導入し、先鋭化を図ることができる。
【０００４】
上記の従来手法では、例えば局所領域画像と候補画像との画像間距離（画素値の二乗平均など）に基づいて、両者の相似度合いを評価する構成が採用されている。
【０００５】
【特許文献１】特開２００２−１５２４９５号公報
【特許文献２】特開２００２−１６３４６８号公報
【特許文献３】特開２００２−１８５７７０号公報
【特許文献４】特開２００２−１９７４５５号公報
【発明が解決しようとする課題】
出願人の分析によれば、先鋭化の程度は、局所領域画像のサイズと相似画像のサイズの相対的関係に大きく依存すると考えられる。局所領域画像に比較して相似画像のサイズが大きいほど、すなわちサイズ比（＝局所領域画像のサイズ／相似画像のサイズ）が小さいほど、置換によってより高周波成分が導入される可能性が高まると考えられるからである。
【０００６】
一方、原画像が自己相似性を有する場合、原画像中には様々な画像サイズの相似性の高い画像が存在するが、これら相似性の高い画像は、理論的には画像サイズ（サイズ比）に関わらず、局所領域画像とのあいだで同程度の画像間距離を取ると考えられる。
【０００７】
そのため、画像間距離だけを基準として置換に用いる相似画像を選択する従来の構成では、必ずしもサイズ比の小さい相似画像が選択されるとは限らず、その結果、十分に高周波成分を導入できずに、先鋭化を図ることができないおそれがあることがわかった。
【０００８】
そこで、本発明は、上記問題を解決し、自己相似性を利用して先鋭化を図る場合に、置換に用いる相似画像を適切に選択し、確実かつ十分に先鋭化を図ることができる手法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の画像処理装置は、原画像中の局所領域画像に対して、置換するための候補画像を複数設定する候補設定手段と、局所領域画像に対する相似性及びサイズの比較結果に基づいて、候補画像の置換適合度合いを評価する評価手段と、各局所領域画像を、該局所領域画像に最も適合すると評価された候補画像と置換して、出力画像を生成する置換手段と、を備えることを特徴とする。かかる構成によれば、置換によって高周波成分が導入される可能性が高まり、確実かつ十分に先鋭化を図ることが可能となる。
【００１０】
好適には、前記候補設定手段は、局所領域画像とのサイズ比較結果が所定の一定値を取るように仮候補画像を複数設定し、局所領域画像に対する相似性に基づいて、仮候補画像の中から基準画像を選択し、前記基準画像の位置において、局所領域画像とのサイズ比較結果が異なるように、候補画像を複数設定することを特徴とする。かかる構成によれば、候補画像の設定数を大きく減らすことができ、その結果、相似性の評価に関わる計算回数を減らして高速に処理を実行することができる。
【００１１】
また好適には、前記評価手段は、前記相似性又は／及びサイズ比較結果の、適合度合いへ与える影響の程度を変更して、適合度合いを評価できるように構成されていることを特徴とする。この場合、更に、画像のボケの程度を評価するボケ評価手段を備え、前記評価手段は、ボケ評価手段によってボケの程度が大きいと評価された場合に、前記サイズ比較結果が与える適合度合いへの影響を相対的に高め、ボケ評価手段によってボケの程度が小さいと評価された場合に、前記相似性が与える適合度合いへの影響を相対的に高めることが望ましい。また、前記評価手段は、前記サイズ比較結果が与える適合度合いへの影響を相対的に高めて評価する第１のモードと、前記相似性が与える適合度合いへの影響を相対的に高める第２のモードとを選択可能に構成されていることが望ましい。かかる構成によれば、ボケ度やモードに応じて先鋭化を優先するのか画質の劣化抑制を優先するのかを柔軟に制御することができ、画像の状況に合わせて適切な先鋭化を図ることが可能となる。
【００１２】
また好適には、前記候補設定手段は、画像の状況に基づいて、各局所領域画像に対する置換の可否、局所領域画像のサイズ、置換候補画像の設定範囲の少なくともいずれかを制御することを特徴とする。この場合、前記候補設定手段は、画像の自己相似性に基づいて前記制御を行なうことが望ましい。かかる構成によれば、画像の状況に合わせて柔軟かつ適切な先鋭化を図ることが可能となる。
【００１３】
本発明のプリンタは、本発明の画像処理装置と、画像処理装置において生成される出力画像に基づいて印刷媒体に画像を形成するプリンタ手段と、を備えることを特徴とするプリンタ。
【００１４】
本発明の画像処理方法は、原画像中の局所領域画像に対して、置換するための候補画像を複数設定する候補設定工程と、局所領域画像に対する相似性及びサイズの比較結果に基づいて、候補画像の置換適合度合いを評価する評価工程と、各局所領域画像を、該局所領域画像に最も適合すると評価された候補画像と置換して、出力画像を生成する置換工程と、を備えることを特徴とする。
【００１５】
本発明の画像処理方法は、コンピュータにより実施することができるが、そのためのコンピュータプログラムは、ＣＤ−ＲＯＭ、磁気ディスク、半導体メモリ及び通信ネットワークなどの各種の媒体を通じてコンピュータにインストールまたはロードすることができる。また、コンピュータプログラムが、プリンタ用カードやプリンタ用オプションボードに記録されて流通する場合も含む。
【００１６】
【発明の実施の形態】
（第１の実施形態）
図面を参照して本発明の第１の実施形態を説明する。図１は、本実施形態のプリンタ１のハードウェア構成を表すブロック図である。
【００１７】
プリンタ１は、用紙をプリンタ内に供給する給紙機構１０、印字を行う印刷エンジン１１、及び用紙をプリンタ機外に排出する排紙機構１２等により構成される動力機構部２を備える。印刷エンジン１１は、紙送機構、キャリッジ機構、印刷ヘッドなどを含んで構成される。
【００１８】
これら動力機構部２を制御し印刷動作を行わせるのは、ＣＰＵ（プロセッサ）１３、ＲＯＭ１４、ＲＡＭ１５、ＬＣＤパネル及びＬＣＤコントローラ１６、ＰＣカードスロット及びＰＣカードコントローラ１７、ＵＳＢ等のインタフェース１８等からなるプリンタ制御部３である。ＣＰＵ１３は、内部バスを介して各手段１４〜１８にアクセス可能に構成されている。なお、動力機構部２が独立してＣＰＵを備えていてもよく、その場合は、動力機構部２のＣＰＵが、パラレルインタフェース等を介してＣＰＵ１３と通信を行い、印刷エンジン１１を制御して印刷動作を行わせることになる。
【００１９】
動力機構部２、プリンタ制御部３の構成・動作は原則として従来のプリンタ装置の構成・動作と同様である。例えば、本プリンタ１は、ホスト装置からインタフェース１８を介して印刷ジョブを受信し、又は、外部メモリからＰＣカードスロット等１７を介して／デジタルカメラ等の情報機器からインタフェース１８を介して画像データを直接読み込み、かかる印刷ジョブや画像データに基づいて動力機構部２を制御して印刷動作を行なわせる機能を備える。
【００２０】
ただし、本プリンタ１は、自己相似性を利用して画像を適切に先鋭化する画像処理機能を備えている点で、従来の構成と異なっている。
【００２１】
図２に、プリンタ制御部３における主要な機能構成図を示す。図に示すように、プリンタ制御部３は、パネルＩＦ手段２０、伸長手段２１、先鋭化手段２２、印刷制御手段２３等を備えて構成される。上記の各手段は、ＲＯＭ１４又はＲＡＭ１５に格納されるアプリケーションプログラムをＣＰＵ１３が実行することにより機能的に実現される。なお、プリンタ制御部３は、上記の各手段のほか、一般的なプリンタが備える画像処理（サイズ変換処理、ノイズ除去、シャープネスなど）手段を備えることができる。
【００２２】
パネルＩＦ手段２０は、ＬＣＤや操作キーなどから構成されるＬＣＤパネル及びＬＣＤコントローラ１６を介して、ユーザからプリンタ１に対するコマンドを受けつけるとともに、ユーザに対して印刷ステータス等を出力する。
【００２３】
伸長手段２１は、画像圧縮データに対して伸長処理を施し、画像データを復元する。伸長処理は圧縮方式に対応した周知の処理を用いることができる。例えば、画像圧縮データがＪＰＥＧ方式の圧縮データである場合、８×８ブロックごとに、ＡＣ成分についてＨｕｆｆｍａｎ符号の復号、ランレングス圧縮の復号を行い、ＤＣ成分と一緒に逆量子化を行って周波数分布を算出し、かかる周波数分布にインバースＤＣＴを行うことにより、画像データを復元する。
【００２４】
先鋭化手段２２は、画像データに対し、後述する自己相似性を利用した先鋭化処理を施す。
【００２５】
印刷制御手段２３は、従来のプリンタ装置と同様に、印刷ジョブの解析、印刷イメージの生成、印刷エンジン１１の制御等を実行する。
【００２６】
例えば、ホスト装置から送られてくる印刷ジョブに従い印刷を実行する場合、受信バッファから印刷データを順番に読み出し、これを解析してラスタ形式の画像データを生成する。印刷データが画像圧縮データを含む場合は、伸長手段２１を制御して、画像データの復元を行う。
【００２７】
また例えば、ホスト装置を介さずにプリンタ単体で印刷を実行する場合、ＰＣカードスロット等１７を介して外部メモリからＪＰＥＧファイル等の画像圧縮データを読み出し、伸長手段２１を制御して、画像データの復元を行う。
【００２８】
そして、かかる画像データに対し、先鋭化手段２２を制御して先鋭化処理を施し、また印刷動作において通常行われる所定の画像処理（例えば、色変換処理、誤差拡散法等のディザ処理など）を施して、印刷イメージを生成する。
【００２９】
そして、受信バッファから読み出した制御コマンド、又はパネルＩＦ手段２０を介して入力されたコマンド等に基づき、例えば印刷エンジン１１の紙送機構等を制御して印刷開始に必要な状態を整え、所定単位分（例えば１パス分）の印刷イメージを印刷エンジン１１に転送し、印刷エンジン１１を制御しながら印刷を実行する。
【００３０】
（先鋭化処理：第１実施例）
先鋭化手段２２は、処理対象の画像データ（以下、「原画像」と呼ぶ）に対して、自己相似性を利用した先鋭化処理を実行する。先鋭化処理は、候補設定処理、適合度合い評価処理、置換処理等を含んでおり、図２では、かかる各処理をそれぞれ機能手段としてとらえて図示している。
【００３１】
以下、図３に示すフローチャートを参照して、先鋭化処理の第１実施例について説明する。なお、各ステップは処理内容に矛盾を生じない範囲で任意に順番を変更して、又は並列に実行することができる。かかる点は他の処理フローにおいても同様とする。
【００３２】
最初に、先鋭化手段２２は、初期化処理を行なう（Ｓ１００）。初期化処理は、例えば、原画像における注目画素の位置を示すポインタ（ｘ、ｙ）に初期値（０，０）をセットする処理や、原画像と同サイズとなるように出力画像の記憶領域を確保し、各画素に０をセットする処理などを含む。
【００３３】
次に、先鋭化手段２２は、ポインタ（ｘ、ｙ）に基づいて注目画素を特定し、該注目画素に対応する局所領域画像を設定する（Ｓ１０１）。局所領域画像の形状、サイズ等は設計に応じて定めることができ、例えば注目画素を中心とするｎ×ｎ画素の正方領域画像とすることができる。
【００３４】
次に、候補設定手段３０は、前記設定された局所領域画像に対して、置換候補画像を複数設定する（Ｓ１０２）。
【００３５】
置換候補画像の設定は、置換候補画像の取得パラメータの値を設定することにより行うことができる。本実施形態では、このような取得パラメータとして、並行移動、回転、拡大・縮小といったアフィン変換のパラメータを採用するものとする。この場合、置換候補画像は、局所領域画像に対してアフィン変換を施して得られる画像の位置に、設定される（別言すれば、置換候補画像は、該置換候補画像にアフィン変換の逆変換を施した場合に局所領域画像と一致するように、設定される）。なお、置換候補画像の設定数（パラメータセットの設定数）、各パラメータについて設定可能な数値範囲は、設計に応じて定めることができる。
【００３６】
ここで、アフィン変換パラメータの拡大・縮小パラメータは、原則として局所領域画像が拡大されるようにパラメータ値を設定するものとする。高周波成分を導入するためには、局所領域画像よりも大きい画像と置換することが望ましいからである。そこで、以降では、拡大・縮小パラメータを拡大パラメータと呼ぶ。
【００３７】
次に、適合度合い評価手段３１は、前記設定された各置換候補画像について、それぞれの前記取得パラメータに基づいて局所領域画像に対する相似度合い（相似性）及びサイズの比較結果を求め、かかる相似度合い及びサイズ比較結果に基づいて、各置換候補画像の適合度合いを評価する（Ｓ１０３）。
【００３８】
相似度合いは、例えば画像間距離Ｎを用いて表わすことができる。
【００３９】
画像間距離Ｎは、局所領域画像に対して前記取得パラメータに基づいてアフィン変換を施して得られる画像と、置換候補画像との、対応する画素の画素値差分の平均値（又は差分の２乗平均）として求めることができる。又は、置換候補画像に対して前記取得パラメータに基づくアフィン変換の逆変換を施して得られる画像と、局所領域画像との、対応する画素の画素値差分の平均値（又は差分の２乗平均）として求めてもよい。
【００４０】
一方、サイズの比較結果としては、例えばサイズ比、サイズ差などを考えることができるが、本実施形態では、サイズ比Ｒを用いるものとする。
【００４１】
サイズ比Ｒは、例えば（局所領域画像のサイズ／置換候補画像のサイズ）として定義した場合、前記取得パラメータに含まれる拡大パラメータに基づいて、Ｒ＝（１／拡大パラメータ）により求めることができる。なお、ｘ方向（水平方向）、ｙ方向（垂直方向）の拡大パラメータ値が異なる場合、いずれか小さい方、いずれか大きい方、又は両方の平均値などに基づいてサイズ比Ｒを求めればよい。
【００４２】
画像間距離Ｎ、サイズ比Ｒを用いて適合度合いを評価する場合、画像間距離Ｎが小さいほど、またサイズ比Ｒが小さいほど（ただし、上記のように定義した場合）、置換に適合していると評価する。画像間距離Ｎが小さいほど相似していると考えられ、また、サイズ比Ｒが小さいほど置換により高周波成分が導入される可能性が高まり、置換する画像として好ましいと考えられるからである。
【００４３】
評価方法としては、例えばＰ＝ａ×Ｎ＋ｂ×Ｒ（ａ＞０、ｂ＞０）のように、画像間距離Ｎとサイズ比Ｒとの線形和として適合度Ｐを求め、適合度Ｐが小さいほど適合していると評価する方法を考えることができる。
【００４４】
また例えば、画像間距離Ｎが所定の閾値より小さくなることを条件とし、かかる条件を満たすもののうちサイズ比Ｒが小さいほど適合していると評価する方法や、サイズ比Ｒが所定の閾値より小さくなることを条件とし、かかる条件を満たすもののうち画像間距離Ｎが小さいほど適合していると評価する方法などを考えることもできる。
【００４５】
なお、上記の評価方法は例示であり、画像間距離Ｎが小さい場合に、またサイズ比Ｒが小さい場合に、評価が高くなる方法であれば、どのような評価方法であってもよい。
【００４６】
次に、置換手段３２は、各局所領域画像について、該局所領域画像に最も適合すると評価された置換候補画像（以下、「置換画像」と呼ぶ）を選択し、各局所領域画像をそれぞれ置換画像により置換する（具体的には、出力画像領域の該局所領域画像に対応する位置に、置換画像の画素値を加算する）ことにより、加算画像を生成する（Ｓ１０４）。
【００４７】
次に、先鋭化手段２２は、ポインタ（ｘ、ｙ）をラスタ方向に１つ進め（Ｓ１０５）、ポインタ（ｘ、ｙ）に基づいて全画素について処理が終了したかどうかを判断する（Ｓ１０６）。そして、終了していない場合はＳ１０１に戻り、そうでない場合はＳ１０７に進む。
【００４８】
最後に、先鋭化手段２２は、加算画像の各画素に対して、加算回数に基づいて平均値を求め、最終的な出力画像を生成する（Ｓ１０７）。
【００４９】
第１実施例によれば、各置換候補画像に対して、局所領域画像に対する相似度合いのみならず、局所領域画像とのサイズ比較結果にも基づいて、置換適合度合いを評価し、かかる評価が最も高い置換候補画像を選択して置換に用いる構成としているため、置換によって高周波成分が導入される可能性が高まり、確実かつ十分に先鋭化を図ることが可能となる。
【００５０】
（先鋭化処理：第２実施例）
以下、図４に示すフローチャートを参照して、先鋭化処理の第２実施例について説明する。
【００５１】
Ｓ２００、Ｓ２０１は、第１実施例におけるＳ１００、Ｓ１０１と同様である。
【００５２】
一方、候補設定手段３０は、前記設定された局所領域画像に対して、該局所領域画像に対するサイズ比較結果が所定の一定値を取るように、仮候補画像を複数設定する（Ｓ２０２）。仮換候補画像の設定は、第１実施例同様、アフィン変換パラメータの値を設定することにより行なうことができる。この場合、”サイズ比較結果が所定の一定値を取るように、仮候補画像を複数設定する”とは、並行移動、回転パラメータについては変化させる一方、拡大パラメータについては所定の一定値（固定値）を取るように設定して、仮候補画像を複数設定することを意味する
次に、候補設定手段３０は、各仮候補画像について、それぞれの前記取得パラメータに基づいて局所領域画像に対する相似度合いを求める（Ｓ２０３）。相似度合いは、第１実施例同様、例えば画像間距離Ｎによって表わすことができる。
【００５３】
次に、候補設定手段３０は、最も相似度合いが高い（例えば、画像間距離Ｎが小さい）仮候補画像を基準画像として選択する（Ｓ２０４）。
【００５４】
次に、候補設定手段３０は、前記選択した基準画像の位置において、局所領域画像に対するサイズ比較結果が異なるように、置換候補画像を複数設定する（Ｓ２０５）。前記取得パラメータがアフィン変換パラメータである場合、”局所領域画像に対するサイズ比較結果が異なるように、置換候補画像を複数設定する”とは、並行移動、回転パラメータに加えて、拡大パラメータについても変化させて、置換候補画像を複数設定することを意味する。
【００５５】
Ｓ２０６〜Ｓ２１０（適合度合い評価手段３１、置換手段３２等の動作）は、原則として、第１実施例におけるＳ１０３〜Ｓ１０７と同様である。
【００５６】
第２実施例によれば、第１実施例と同様の効果に加え、以下の効果を得ることができる。すなわち、１）拡大パラメータを固定して仮候補画像を設定する、２）仮候補画像の中から選択した基準画像に基づいて、拡大パラメータを変化させて置換候補画像を設定する、というように段階的に候補画像を設定する構成を採用しているため、並行移動、回転、拡大といった全ての取得パラメータについて変化させて候補画像を設定する場合に比較して、候補画像の設定数を大きく減らすことができ、その結果、相似度合い（画像間距離）の計算回数を減らして高速に先鋭化処理を実行することができる。
【００５７】
また、自己相似性を有する場合、拡大パラメータが相似度合いに与える影響は小さい（別言すれば、平行移動、回転パラメータが同じであれば、拡大パラメータが異なっていても、相似度合いが同程度になる場合がある）と考えられるため、本実施例のように、最初に拡大パラメータを固定した上で相似度合いに基づき候補画像を絞り込み、次に拡大パラメータを変化させた上で相似度合い及びサイズ比較結果に基づいて候補画像を絞り込む、という２段階で絞り込む構成を採用した場合でも、全ての取得パラメータを変化させた上で相似度合い及びサイズ比較結果に基づいて絞り込んだ場合とほぼ同様の絞り込み結果を得ることができ、その結果、相似度合いの高い候補画像を置換画像として選択することができる。
【００５８】
（先鋭化処理：第３実施例）
第３実施例における先鋭化処理は、候補設定処理、適合度合い評価処理、置換処理等に加え、更にボケ評価処理を含んでいる（図５参照）。
【００５９】
以下、図６に示すフローチャートを参照して、先鋭化処理の第３実施例について説明する。
【００６０】
Ｓ３００〜Ｓ３０２は、第１実施例におけるＳ１００〜Ｓ１０２と同様である。
【００６１】
一方、ボケ評価手段３３は、各局所領域画像について、それぞれボケ度を評価する（Ｓ３０３）。ボケ度は、例えば局所領域画像に対してラプラシアンオペレータ等を適用してエッジ強度を求め、かかるエッジ強度が大きいほどボケ度が小さいというように、評価することができる。
【００６２】
次に、適合度合い評価手段３１は、各置換候補画像に対して、対応する局所領域画像のボケ度に基づいて、サイズ比較結果又は／及び相似性の、適合度合いへ与える影響の程度を定める（Ｓ３０４）。
【００６３】
影響の程度を定める基準としては、１）ボケ度が大きいと評価された場合は、より先鋭化がなされるように、サイズ比較結果の影響を相対的に高める、２）ボケ度が小さいと評価された場合は、画質の劣化を抑制しつつ先鋭化がなされるように、相似度合いの影響を相対的に高める、といった基準を考えることができる。
【００６４】
一方、具体的な影響の程度の定め方は、適合度合いの評価方法に依存する。例えば、上述の適合度Ｐ＝ａ×Ｎ＋ｂ×Ｒに基づいて適合度合いを評価する方法を採用する場合を考える。
【００６５】
この場合、ｂがａに対して相対的に大きくなるように（すなわち、ａ／ｂが小さくなるように）ａ及びｂの値を変更すれば、画像間距離Ｎに対して相対的にサイズ比Ｒの大小が適合度Ｐに与える影響が大きくなる。また、ａがｂに対して相対的に大きくなるように（すなわち、ａ／ｂが大きくなるように）ａ及びｂの値を変更すれば、サイズ比Ｒに対して相対的に画像間距離Ｎの大小が適合度Ｐに与える影響が大きくなる。
【００６６】
そこで、適合度合い評価手段３１は、ボケ度が大きいと評価された場合は、基準として定めた所定のａ及びｂの値に比べて、ｂがａに対して相対的に大きくなるように、ａ及びｂの値を変更する。これにより、画像間距離が多少大きくなる場合でもサイズ比が小さい方が選択されやすくなり、より高周波成分を有する置換画像が選択され易くなって、先鋭化される可能性が高まる。
【００６７】
また、適合度合い評価手段３１は、ボケ度合いが小さいと評価された場合は、基準として定めた所定のａ及びｂの値に比べて、ａがｂに対して相対的に大きくなるように、ａ及びｂの値を変更する。これにより、サイズ比Ｒが多少大きくなる場合でも画像間距離Ｎが小さい方が選択されやすくなり、より相似度の高い画像が選択され易くなって、画質の劣化を抑制しつつ先鋭化できる可能性が高まる。
【００６８】
このような形態のほか、例えば上述の画像間距離Ｎ（又はサイズ比Ｒ）が所定の閾値より小さくなることを条件とし、かかる条件を満たすもののうちサイズ比Ｒ（又は画像間距離Ｎ）が小さいほど適合していると評価する方法を採用する場合であれば、画像間距離Ｎとサイズ比Ｒのいずれを前記条件として用いるか、前記条件における所定の閾値をどう設定するかによって、適合度合いに対する影響の程度を定めることもできる。例えば、サイズ比Ｒの影響の程度を大きくしたい場合は、サイズ比Ｒを前記条件に用いた上で、前記条件における所定の閾値を小さくするといった構成を考えることができる。
【００６９】
次に、適合度合い評価手段３１は、前記設定された各置換候補画像について、それぞれの前記取得パラメータに基づいて局所領域画像に対する相似度合い及びサイズの比較結果を求める。そして、Ｓ３０４で定めた影響の程度、及び前記求めた相似度合い及びサイズ比較結果に基づいて、各置換候補画像の適合度合いを評価する（Ｓ３０５）。なお、評価方法は、Ｓ３０４における処理内容と整合していることを前提に、原則として第１実施例と同様の方法を用いることができる。
【００７０】
Ｓ３０６〜Ｓ３０９（置換手段３２等の動作）は、原則として、第１実施例におけるＳ１０４〜Ｓ１０７と同様である。
【００７１】
第３実施例によれば、第１実施例と同様の効果に加え、以下の効果を得ることができる。すなわち、局所領域画像のボケ度に基づいて相似度合いやサイズ比較結果の適合度合いへの影響度を定める構成としているため、ボケ度に応じて先鋭化を優先するのか画質の劣化抑制を優先するのかを柔軟に制御することができ、画像の状況に合わせて適切な先鋭化を図ることが可能となる。
【００７２】
（その他）
本発明は上記実施形態に限定されることなく、種々に変形して適用することが可能である。
【００７３】
例えば、局所領域画像が設定する際に原画像をはみ出してしまう場合、１）そのような注目画素に対しては、はみ出し部分をカットして局所領域画像をダウンサイズする、２）そのような注目画素は置換対象とせず、出力画像の対応位置において該注目画素の画素値をそのまま採用する（又は加算画像の対応位置において該注目画素の画素値をそのまま加算する）、といった構成を取ることが考えられる。
【００７４】
また例えば、画像の状況に応じて、各局所領域画像に対する置換の可否、局所領域画像のサイズ、置換候補画像の設定範囲（例えば並行移動パラメータの値が取りうる範囲）等を制御できる構成であってもよい。例えば、先鋭化手段２２が更に自己相似性を評価する手段を備えるように構成し、注目画素近傍（又は／及び原画像）に対する自己相似性の評価結果に基づいて、置換の可否、局所領域画像のサイズ、置換候補画像の設定範囲を制御する構成を考えることができる。
【００７５】
具体的には、自己相似性が弱い場合には、置換を行なわないようにすることが考えられる。自己相似性が弱い場合、相似度合いの大きい置換候補画像を見つけられる可能性が低く、置換によって画質が損なわれる可能性が高いからである。また、自己相似性が強いほど、局所領域画像のサイズを小さく、又は／および置換候補画像の設定範囲を狭くすることが考えられる。自己相似性が高い場合、局所領域画像を小さく設定しても相似度合いの大きい置換候補画像を見つけられる可能性が高く、また注目画素の近傍において相似度合いの高い置換候補画像を見つけられる可能性が高いからである。
【００７６】
なお、自己相似性の評価方法としては、例えば注目画素を略中心とする所定サイズの部分画像についてエッジ強度を求め、該エッジ強度が高いほど該注目画素近傍は自己相似性が強いと評価する方法が考えられる。一般に、自己相似性とエッジ強度の間には正相関性があるからである。
【００７７】
また例えば、第３実施例における処理フローは、第１実施例の処理フローをベースに構成しているが、第２実施例のように段階的に候補画像を設定する構成としてもよい。
【００７８】
また例えば、第３実施では、局所領域画像ごとにボケ度を評価する構成としているが、原画像全体についてボケ度を評価し、該原画像のボケ度に基づいて全ての局所領域画像に対して一元的にサイズ比較結果等の適合度合いへ与える影響の程度を定める構成としてもよい。
【００７９】
また例えば、第３実施例において、局所領域画像等のボケ度に基づいて影響の程度を定める構成に代えて／加えて、より強く先鋭化するモード（サイズ比較結果の影響を相対的に高く設定するモード）と、画質劣化を抑制するモード（相似度合いの影響を相対的に低く設定するモード）とを選択可能に構成しておき、パネルＩＦ手段２０等を介してユーザから入力されたモード指示コマンドや、画像データ内の情報などに基づき、上記いずれかのモードを選択して先鋭化処理を実行する構成としてもよい。
【００８０】
また例えば、第３実施例において、ボケ度以外の情報（例えば、原画像サイズや撮影状況など）に基づいて、サイズ比較結果等の適合度合いへ与える影響の程度を定める構成としてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態におけるプリンタのハードウェア構成を示すブロック図である。
【図２】プリンタ制御部の機能構成図を示すブロック図である。
【図３】先鋭化処理の第１実施例における処理フローを示すフローチャートである。
【図４】先鋭化処理の第２実施例における処理フローを示すフローチャートである。
【図５】先鋭化処理の第３実施例に対応する、プリンタ制御部の機能構成図を示すブロック図である。
【図６】先鋭化処理の第３実施例における処理フローを示すフローチャートである。
【符号の説明】
１  プリンタ、２  動力機構部、３  プリンタ制御部、１０  給紙機構、１１印刷エンジン、１２  排紙機構、１３  ＣＰＵ、１４  ＲＯＭ、１５  ＲＡＭ、１６  ＬＣＤパネル及びＬＣＤコントローラ、１７  ＰＣカードスロット及びＰＣカードコントローラ、１８  インタフェース、２０  パネルＩＦ手段、２１伸長手段、２２  先鋭化手段、２３  印刷制御手段、３０  候補設定手段、３１  適合度合い評価手段、３２  置換手段、３３  ボケ評価手段
【図１】
2005005890.tif 000003
【図２】
2005005890.tif 000004
【図３】
2005005890.tif 000005
【図４】
2005005890.tif 000006
【図５】
2005005890.tif 000007
【図６】
2005005890.tif 000008