(57)【要約】      （修正有）【課題】解像度変換処理による鮮鋭性への影響を低減する出力装置を提供する。【解決手段】画像処理部１１０において、被写体を撮像することにより得られた写真画像の画像データの解像度変換を行い、写真画像中の撮影時の合焦面からの距離に関する情報と解像度変換の方法とに基づいて、コントラスト調整やシャープネス調整により、解像度変換が行われた画像データが表す画像の鮮鋭性を制御する。印刷またはディスプレイ表示等により、鮮鋭性の制御が行われた画像データを出力する。【選択図】図４
2019144606.tif 000002
【特許請求の範囲】
【請求項１】
写真画像の画像データを入力する入力手段と、
前記入力手段により入力された画像データの解像度変換を行う解像度変換手段と、
前記写真画像中の合焦面からの距離に関する情報と前記解像度変換とに基づいて、前記解像度変換手段により解像度変換が行われた画像データが表す画像の鮮鋭性を制御する制御手段と、
前記制御手段により鮮鋭性の制御が行われた画像データを出力する出力手段と、
を備えることを特徴とする出力装置。
【請求項２】
前記合焦面からの距離に関する情報は、デフォーカス量を含むことを特徴とする請求項１に記載の出力装置。
【請求項３】
前記制御手段は、前記解像度変換手段が解像度を高くする変換を行う場合、前記デフォーカス量が小さいほど、鮮鋭性の制御量を大きくすることを特徴とする請求項２に記載の出力装置。
【請求項４】
前記制御手段は、前記解像度変換手段が解像度を低くする変換を行う場合、前記デフォーカス量が大きいほど、鮮鋭性の制御量を大きくすることを特徴とする請求項２又は３に記載の出力装置。
【請求項５】
前記制御手段による鮮鋭性の制御が行われた画像データにおいて、合焦していると判定される第１の領域と合焦していないと判定される第２の領域との間の鮮鋭性の相対関係は、前記制御手段による鮮鋭性の制御が行われない画像データよりも、前記画像データにおける前記第１の領域と前記第２の領域との間の鮮鋭性の相対関係に近いことを特徴とする請求項１乃至４のいずれか１項に記載の出力装置。
【請求項６】
特定のデフォーカス量に対応し、複数の空間周波数に対応する複数のパターンを含む計測用チャートを出力条件に従って出力するチャート出力手段と、
前記チャート出力手段により出力された前記計測用チャートに基づいて、前記制御手段による鮮鋭性の制御量を取得する取得手段と、をさらに備え、
前記制御手段は、前記取得手段により取得された前記制御量を用いて、前記解像度変換手段により解像度変換が行われた画像データが表す画像の鮮鋭性を制御する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の出力装置。
【請求項７】
前記取得手段は、前記チャート出力手段により出力された前記計測用チャートからＭＴＦ特性を求め、当該ＭＴＦ特性に基づいて得られる鮮鋭性の復元量を、前記鮮鋭性の制御量として取得することを特徴とする請求項６に記載の出力装置。
【請求項８】
前記出力条件は、解像度変換に関する条件を含むことを特徴とする請求項６又は７に記載の出力装置。
【請求項９】
特定のデフォーカス量に対応し、複数の周波数に対応する複数のパターンを含む計測用チャートを記録媒体、インクの少なくともいずれかに関する条件に従って出力する第２のチャート出力手段と、
前記第２のチャート出力手段により出力された前記計測用チャートに基づいて、出力特性の補正量を取得する第２の取得手段と、
前記第２の取得手段により取得された前記出力特性の補正量を用いて、前記制御手段により鮮鋭性の制御が行われた画像データを補正することを特徴とする請求項６乃至８のいずれか１項に記載の出力装置。
【請求項１０】
前記制御手段による鮮鋭性の制御は、シャープネス処理、コントラスト処理、の少なくともいずれかを含むことを特徴とする請求項１乃至９のいずれか１項に記載の出力装置。
【請求項１１】
前記写真画像は被写体を撮像することにより得られたものであることを特徴とする請求項１乃至１０のいずれか１項に記載の出力装置。
【請求項１２】
前記合焦面は被写体を撮像する際の合焦面であることを特徴とする請求項１乃至１１のいずれか１項に記載の出力装置。
【請求項１３】
前記出力手段による出力は、印刷、表示の少なくともいずれかを含むことを特徴とする請求項１乃至１２のいずれか１項に記載の出力装置。
【請求項１４】
出力装置において実行される制御方法であって、
写真画像の画像データを入力する入力工程と、
前記入力工程において入力された画像データの解像度変換を行う解像度変換工程と、
前記写真画像中の合焦面からの距離に関する情報と前記解像度変換とに基づいて、前記解像度変換工程において解像度変換が行われた画像データが表す画像の鮮鋭性を制御する制御工程と、
前記制御工程において鮮鋭性の制御が行われた画像データを出力する出力工程と、
を有することを特徴とする制御方法。
【請求項１５】
請求項１乃至１３のいずれか１項に記載の出力装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を出力する出力装置、制御方法およびプログラムに関する。
【背景技術】
【０００２】
人間は目で見たものを立体的に知覚しており、これは脳が両眼の手がかりと単眼の手がかり、また運動視差等をもとに知覚していると考えられている。両眼の手がかりとしては、両眼での網膜像の差である網膜視差などがある。さらに、単眼の手がかりとしては、線遠近法や物体の大きさ、肌理の勾配、陰影、大気遠近やボケの効果等が挙げられる。これらの１つ以上の手がかりを利用して、人間は立体感つまり「もの」の奥行きや厚みや深さ、「もの」の前後関係を知覚している。
【０００３】
カメラなどで撮影され、表示、投影あるいは印刷された２次元画像を見る際には、ピントが合っている部分と、奥行きに応じてボケている部分のボケ方の差から画像の立体感を感じている。つまり、画像の合焦している（ピントがあっている）部分と、合焦していない（ボケている）部分の再現が立体感にとって重要となる。
【０００４】
一方、例えばレーザー距離計等で、撮影地点から対象物までの実距離を測定する方法、２台のカメラの視差情報から距離を計測する方法など、撮影時に被写体を含むシーンの距離情報を取得する方法も提案されている。特許文献１には、奥行き情報を利用した高画質化手法の技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２５１８３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
プリンタなどの出力装置を通して画像を出力する際、例えば入力画像データを記録媒体サイズ（プリントサイズ）に変倍する解像度変換処理により、出力画像の鮮鋭性が低下する。ディスプレイやプロジェクタでも同様に出力画像において画像の鮮鋭性が低下する。そのため、画像の合焦している（ピントがあっている）部分と、合焦していない（ボケている）部分の再現性が変化してしまい、人間が感じる画像の立体感が低下したり、あるいは変化したりする課題があった。特許文献１では、画像の各位置の奥行きを画像から推定して算出し、奥行きと画像処理方法とを対応付けして各位置の画像処理方法を効果的に適宜選択し、立体感の低下を防止しつつ高解像度化を図る処理が記載されている。
【０００７】
しかしながら、特許文献１では、入力画像自体の立体感を制御しているものの、画像再生時の解像度変換処理による鮮鋭性に影響する特性が考慮されていない。
【０００８】
本発明の目的は、このような従来の問題点を解決することにある。上記の点に鑑み、本発明は、解像度変換処理による鮮鋭性の影響を低減する出力装置、制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る出力装置は、写真画像の画像データを入力する入力手段と、前記入力手段により入力された画像データの解像度変換を行う解像度変換手段と、前記写真画像中の合焦面からの距離に関する情報と前記解像度変換とに基づいて、前記解像度変換手段により解像度変換が行われた画像データが表す画像の鮮鋭性を制御する制御手段と、前記制御手段により鮮鋭性の制御が行われた画像データを出力する出力手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、解像度変換処理による鮮鋭性の影響を低減することができる。
【図面の簡単な説明】
【００１１】
【図１】画像処理装置を適用したプリントシステムの全体構成を示す図。
【図２】撮影時の合焦面、像ずれ量とデフォーカス量の関係を説明するための図。
【図３】合焦面と物体との距離を算出する方法を説明するための図。
【図４】画像処理部の構成を示す図。
【図５】デフォーカスマップを説明するための図。
【図６】画像処理を示すフローチャート。
【図７】鮮鋭性の相対関係の変化を説明するための図。
【図８】鮮鋭性の相対関係の変化を説明するための図。
【図９】空間周波数と周波数特性復元量の関係を示す図。
【図１０】デフォーカス量と周波数特性復元量の関係を示す図。
【図１１】計測用チャートを示す図。
【図１２】周波数特性復元条件の作成処理を示すフローチャート。
【図１３】ＭＴＦ特性を示す図。
【図１４】デフォーカス量と周波数特性復元量の関係を示す図。
【図１５】画像処理部の構成を示す図。
【図１６】画像処理を示すフローチャート。
【図１７】ＭＴＦ特性を示す図。
【図１８】鮮鋭性の相対関係の変化を説明するための図。
【図１９】デフォーカス量と出力特性補正量の関係を示す図。
【図２０】出力特性補正量が異なる場合を説明するための図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
【００１３】
［第１の実施形態］
図１は、本実施形態における画像処理装置を適用したプリントシステムの全体構成を示す。本実施形態では、出力装置の一例として、画像処理装置であるインクジェットプリンタを適用した例を説明する。図１のプリントシステムは、パーソナルコンピュータ装置（ＰＣ）１０１（以下、「ＰＣ」ともいう）と出力装置１０２を含む。出力装置１０２は、ネットワークやＵＳＢまたはローカルバスなどのインタフェースを介してＰＣ１０１に接続されている。ＰＣ１０１は、出力装置１０２への印刷制御指示、必要な情報およびデータの転送などを実行する。記憶装置１０５には、ＯＳをはじめ、本実施形態のシステムプログラムや各種アプリケーションソフトウェアおよび各種処理に必要なパラメータデータを記憶管理している。記憶装置１０５は、例えば、ハードディスクやフラッシュＲＯＭで構成される。ＣＰＵ１０４は、記憶装置１０５に格納されたソフトウェアを実行するにあたり、作業メモリ１０７を用いて処理を実行する。ユーザインタフェースとなる操作部（以下、「ＵＩ」ともいう）１０６は、上記処理の実行に関して、ユーザによる入力の受付や、ユーザに対する表示に関する処理を行い、キーボードやポインティングデバイス等の入力機器やディスプレイ等の表示機器を含む。また、データ入出力装置１０８は、ＳＤカード等の外部記録媒体とのデータの入出力を行う。また、不図示の撮像装置をデータ入出力装置１０８やデータ転送部１０９へ直接接続し、外部記録媒体を介さずにデータの受け渡しを行ってもよい。
【００１４】
出力装置１０２は、データ転送部１０９、プリンタ制御部１１２、画像処理部１１０、印刷部１１１を含み、ＰＣ１０１から印刷データを受信する。本実施形態では、印刷データは、カメラ等の撮像装置で被写体を撮像することで得られる写真画像の入力画像データ、入力画像データに対応した撮影時の合焦面からの距離に相当する情報、画像処理パラメータとプリンタ制御データ、ユーザがＵＩ上で選択した印刷品位や記録媒体等の印刷情報データ、を含んで構成される。記録媒体とは例えば紙メディア等を指す。また、出力装置１０２は、ＣＰＵ１１３、記憶装置１１４、作業メモリ１１５を含む。出力装置１０２は、記憶装置１１４に記憶されたプログラムを作業メモリ１１５に読み出して実行することにより出力装置１０２を統括的に制御する。
【００１５】
撮影時の合焦面からの距離に相当する情報とは、デフォーカス量や像ずれ量、実際の合焦面から物体までの距離である。これらは、本実施形態ではカメラ等の撮像装置で生成されたデータとして説明するが、それに限られず、実際に距離を測定した情報から生成されたデータであってもよい。また、例えば、入力画像データのボケ量を解析した結果から生成されたデータや、他の撮影時のデータを併用したデータでもよい。
【００１６】
入力画像データや合焦面からの距離に相当する情報は、撮像装置内で生成されてもよいし、撮像装置に接続されたＰＣ１０１または出力装置１０２で生成されてもよい。また、合焦面からの距離に相当する情報を生成するための情報を撮像装置から取得し、撮像装置に接続されたＰＣ１０１や出力装置１０２内で合焦面からの距離に相当する情報を生成してもよい。また、撮像装置はＰＣ１０１に接続され、ＰＣ１０１を経由して合焦面からの距離に相当する情報を生成するための情報を取得した出力装置１０２で生成されてもよい。ここで、合焦面からの距離に相当する情報を生成するための情報とは、例えば、撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる対の画像などである。
【００１７】
データ転送部１０９は、ＰＣ１０１から送られてきた印刷データから、入力画像データと撮影時の合焦面からの距離に相当するデータと画像処理パラメータとを取り出して画像処理部１１０に送り、プリンタ制御データをプリンタ制御部１１２に送る。入力画像データは、ＰＣ１０１内で記憶装置１０５にプログラムとして記憶されている解像度変換処理によりユーザ設定された記録媒体のサイズに変倍されたデータである。また、解像度変換処理は、出力装置１０２の画像処理部１１０内で行われてもよい。また、本実施形態では、画像処理部１１０は、出力装置１０２内にあるが、ＰＣ１０１内に構成されてもよい。
【００１８】
また、画像処理パラメータやプリンタ制御データは、ＰＣ１０１中の記憶装置１０５や、不図示の出力装置１０２内の記憶装置（ハードディスクやＲＯＭ等）に記憶されてもよい。これらが、印刷データ内の印刷情報データに基づいて選択され、画像処理部１１０、プリンタ制御部１１２に送られる構成でもよい。プリンタ制御部１１２は、プリンタ制御データに従って印刷部１１１の動作を制御する。本実施形態では、印刷部１１１における印刷は、インクジェット記録方式により行われる。
【００１９】
図２は、撮影時の合焦面、像ずれ量とデフォーカス量の関係を説明するための図である。合焦面２０１は、撮像装置において像面（撮像面）２０３と平行でピントの合う平面である。また、デフォーカス量２０５は、撮像面とデフォーカスした撮像面位置２０４との差（予定結像面と実際の結像面との差）であり、ボケ量に比例している。デフォーカス量２０５は、撮像装置において、瞳分割型位相差検出方式やボケの異なる複数の画像を用いて検出される。例えば、画像の像ずれ量（視差量）２０６からデフォーカス量２０５が算出されてもよい。撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる一対の画素データに対して、データを相対的にずらしながら相関値を演算し、最も相関が高くなる像ずれ量２０６が視差量となる。さらに、算出した像ずれ量２０６に対して、撮像素子の画素ピッチとレンズに応じて決定される変換係数を用いて、被写体像面の予定結像面に対するデフォーカス量２０５を算出する。
【００２０】
また、ＤＦＤ（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ）方式でデフォーカス量が算出されてもよい。ＤＦＤ方式では、撮像光学系の撮影パラメータを制御することでボケの異なる複数の画像を取得し、複数の取得画像において、測定対象画素およびその周辺画素を用いて互いのボケの相関量を算出し、デフォーカス量を算出する。
【００２１】
次に、図３を用いて合焦面と物体との距離を算出する方法を説明する。図３では、距離３０１は合焦物体距離ＯＢＪ（０）であり、距離３０２は合焦像物体に対する撮像面距離Ｓ（０）である。また、距離３０３は物体距離ＯＢＪ（ｄｅｆ）であり、距離３０４は合焦面から物体までの距離である。レンズの公式により、下記の式（１）、（２）が成立するため、物体距離ＯＢＪ（ｄｅｆ）は下記の式（３）で算出することが可能である。
【００２２】
【数１】
2019144606.tif 000003
【００２３】
【数２】
2019144606.tif 000004
【００２４】
【数３】
2019144606.tif 000005
【００２５】
式（３）で算出した物体距離を合焦物体距離から減算することで、合焦面から物体までの距離３０４が算出される。上述した合焦面からの距離に相当する情報とは、合焦面からの距離に比例した情報である。そのため、合焦面からの距離に相当する情報としては、上述した像ずれ量２０６、デフォーカス量２０５、合焦面からの距離３０４のいずれでもよい。
【００２６】
次に、デフォーカスマップについて説明する。上述のデフォーカス量２０５を入力画像データ上の複数個所でマップ化したものがデフォーカスマップであり、図５（ａ）は、デフォーカスマップの一例を示している。本実施形態では、図５（ａ）に示すように、２つの立方体５０１、５０２を撮影した入力画像データに対するデフォーカスマップであり、入力画像データの各画素に対応するデフォーカス量２０５の情報を保持している。
【００２７】
図５（ｂ）は、デフォーカス量２０５と本実施形態で使用する各領域との対応を説明するための図である。図５（ｂ）でデフォーカス量２０５の値「０」が撮影時の合焦面に相当するデフォーカス量２０５であり、図５（ａ）の最も黒い部分（領域５０３）に対応する。デフォーカス量２０５の値「０」から離れるにつれて、図５（ａ）では白くなっていく。図５（ａ）のデフォーカスマップにおいて、デフォーカス量２０５の値「０」の領域が領域５０３に対応しており、ピントが合っている（合焦面）画像領域である。以下、領域５０３を合焦領域という。本実施形態では、領域５０３以外の領域を、デフォーカスマップ上で合焦面に対応しない領域として非合焦領域５０４とする。デフォーカス量ｄ１は、許容合焦領域５０５と非許容合焦領域５０６の境界の値である。さらに、デフォーカス量ｄ２は、デフォーカスマップに含まれる最大のデフォーカス量である。デフォーカス量ｄｘは、デフォーカス量ｄ１とｄ２の間の特定のデフォーカス量を表す。
【００２８】
また、本実施形態では、ピントが合っていると許容する領域を許容合焦領域５０５とする。許容合焦領域５０５は、被写界深度としてその範囲を定義してもよいし、被験者実験によって任意に定義してもよい。また、許容合焦領域５０５以外の領域を、許容合焦領域５０５ではない領域として非許容合焦領域５０６とする。図５（ｂ）では、横軸をデフォーカス量２０５としたが、合焦面からの距離に相当する情報である、上述の像ずれ量２０６や合焦面からの距離３０４であってもよい。また、本実施形態では、合焦領域５０３と許容合焦領域５０５を、合焦していると判定される領域と総称し、非合焦領域５０４と非許容合焦領域５０６を、合焦していないと判定される領域と総称する。
【００２９】
本実施形態における画像処理部１１０の構成を図４に示す。また、本実施形態における画像処理を図６のフローチャートを参照しながら説明する。画像処理部１１０は、入力画像データを取得し（Ｓ６０１）、撮影時の合焦面からの距離に相当する情報として上述のデフォーカスマップを取得する（Ｓ６０２）。次に、解像度変換部４０１は、出力画像データの画素数に応じて、入力画像データの画素数を変更する（Ｓ６０３）。解像度変換部４０１における入力画像データの画素数の変更には、一般的な画像拡大や縮小処理を用いる。例えば、注目画素の周辺の画素値を平均して画素を追加するバイリニア方式や、注目画素の周辺の画素値から補間した画素を追加するバイキュービック方式が挙げられるが、画像の再サンプリング方法であればこれらに限られない。解像度変換部４０１では、デフォーカスマップについても同様に出力画像データの画素数に応じて解像度変換を行う。
【００３０】
次に、周波数特性復元部４０２は、周波数特性復元条件４０３を取得し（Ｓ６０４）、Ｓ６０２で取得したデフォーカスマップに基づいて、解像度変換処理後の入力画像データに対して周波数特性の復元処理を行う（Ｓ６０５）。周波数特性復元部４０２における処理の詳細は後述する。また、周波数特性復元条件４０３は、出力装置１０２内の記憶装置（ハードディスクやＲＯＭ等）に記憶されている。
【００３１】
次に、出力画像生成部４０４は、周波数特性復元部４０２から出力される出力画像データ（ＲＧＢ）に対して、インクジェットプリンタの記録ヘッドで記録するためのデータを生成する（Ｓ６０６）。例えば、まず、デバイス非依存のＲＧＢデータをデバイス依存のＲＧＢデータに変換する色変換処理を実行し、デバイス依存のＲＧＢデータからインク色データに変換するインク色分解処理を実行する。さらに、記録装置の階調特性に線形的に対応づけられるように階調補正を行う階調補正処理、インク色データをインクドットのＯＮ／ＯＦＦの情報に変換するハーフトーン処理、記録ヘッドの各記録走査で記録される２値データを生成するマスクデータ変換処理等を実行する。いずれもインクジェットプリンタにおいては一般的な処理であるので、それらの詳細な説明は省略する。出力画像生成部４０４で生成された出力データは、印刷部１１１に送られ、記録媒体上に記録される（Ｓ６０７）。
【００３２】
［解像度変換後画像における立体感］
ここで、解像度変換後の出力画像の鮮鋭性に影響する解像度変換処理と、周波数特性の復元による立体感について説明する。人間は、カメラなどで撮影された２次元画像を見る際、合焦している（ピントが合っている）合焦領域を含む許容合焦領域と、合焦していない（ボケている）非許容合焦領域との間の鮮鋭感の差から画像の奥行き感や立体感を感じている。一方、プリンタなどの出力装置を通して画像を出力する場合、例えば入力画像データを記録媒体サイズ（プリントサイズ）に変倍する解像度変換処理によって、画像の鮮鋭性が低下する。ディスプレイやプロジェクタでも同様に、出力画像において画像の鮮鋭性が低下する。
【００３３】
このような解像度変換処理による入力画像の鮮鋭性の変化は、入力画像の、ピントが合っている許容合焦領域では大きく変化し、鮮鋭性の低い、即ちボケている非許容合焦領域では殆ど変化しない若しくは変化がない。つまり、許容合焦領域と非許容合焦領域との間で、鮮鋭性の変化量が異なる。そのため、入力画像において立体感に影響していた許容合焦領域と非許容合焦領域の鮮鋭性の相対関係が、出力画像で維持されなくなってしまう。
【００３４】
図７を参照しながらさらに説明する。なお、図７においては説明簡略化のため、合焦領域の画像の空間周波数特性と非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数特性とが同じ周波数にピークを持つ画像を例として説明する。また、本実施形態では、記録媒体サイズに変倍するために拡大処理を行ってプリンタで出力した際の特性を出力特性とする。ここでは、解像度変換処理において画像の拡大処理を実行した場合を例に挙げる。ボケによる立体感がある入力画像データにおいて、例えば、特定の空間周波数における入力画像データの合焦領域の鮮鋭性を示すコントラスト値Ｃ１と、非合焦領域の鮮鋭性を示すコントラスト値Ｃ２が図７（ａ）に示す関係であるとする。その場合、入力画像を解像度変換部４０１により拡大すると、図７（ｂ）に示すようにコントラスト値Ｃ１とＣ２は、Ｃ１’とＣ２’に変化する。
【００３５】
図７（ａ）と（ｂ）から明らかなように、解像度変換処理によって入力画像データの鮮鋭性の変化量が、合焦領域と非合焦領域で異なる。つまり、立体感に影響する鮮鋭性の差（コントラスト値Ｃ１’とＣ２’の関係７０２）が、入力画像データにおける鮮鋭性の差（コントラスト値Ｃ１とＣ２の関係７０１）より小さくなり、適切な立体感が得られない出力画像となってしまう。よって、前述のデフォーカス量２０５に相当する画像のボケの状態と出力画像の鮮鋭性に影響する解像度変換処理による周波数特性の変化とに基づいて、解像度変換処理後の画像の周波数特性を適切に復元し鮮鋭性を制御することで、立体感のある出力画像を得ることができる。
【００３６】
後述する周波数特性復元条件４０３に設定されるデフォーカス量２０５に応じた周波数特性復元量を用いて画像の鮮鋭性を適切に制御した出力画像における、上述の合焦領域と非合焦領域のコントラスト値の関係は、図７（ｃ）に示すようにそれぞれＣ１’’、Ｃ２’’となる。図７（ｃ）に示すように、本実施形態の周波数特性復元条件４０３に基づいて周波数特性復元処理を実行した出力画像での鮮鋭性の差（コントラスト値Ｃ１’’、Ｃ２’’の関係７０３）は、周波数特性復元処理を実行しない場合の鮮鋭性の差（コントラスト値Ｃ１’、Ｃ２’の関係７０２）に対して大きくなる。よって、入力画像における鮮鋭性の差（コントラスト値Ｃ１とＣ２の関係７０１）に近くなっているため、適切な立体感を得ることができる。
【００３７】
図７では、説明簡略化のため、合焦領域の画像の空間周波数と非合焦領域に含まれる特定のデフォーカス量２０５に対応する画像の空間周波数との２点に対するコントラストを比較した。これに限らず、合焦領域と非合焦領域の他のデフォーカス量２０５に対応する画像についても同様である。また、許容合焦領域に含まれる特定のデフォーカス量２０５に対応する画像と非許容合焦領域に含まれる特定のデフォーカス量２０５に対応する画像との２点においても同様である。
【００３８】
画像の鮮鋭性に影響する画像特性としてコントラスト値を取り上げたが、出力装置１０２の出力特性による合焦領域と非合焦領域の画像の鮮鋭性の変化については、鮮鋭度を示す空間周波数特性においても同じ関係が説明できる。
【００３９】
同様に、解像度変換処理において画像の縮小処理を実行した際の、合焦領域と非合焦領域のコントラストの関係を説明する。図８（ａ）は、入力画像について、特定の空間周波数における入力画像データの合焦領域の鮮鋭性を示すコントラスト値Ｃ１と、非合焦領域の鮮鋭性を示すコントラスト値Ｃ２の関係を示す図である。図８（ｂ）は、入力画像を解像度変換部４０１により縮小した場合の関係を示す図である。図８（ｃ）は、本実施形態における周波数特性復元処理を実行した場合の関係を示す図である。ボケによる立体感がある入力画像データでは、特定の空間周波数における入力画像データの合焦領域の鮮鋭性を示すコントラスト値Ｃ１と、非合焦領域の鮮鋭性を示すコントラスト値Ｃ２が図８（ａ）に示す関係となる。そして、入力画像を解像度変換部４０１により縮小すると、図８（ｂ）に示すように、コントラスト値Ｃ１とＣ２はＣ１’とＣ２’に変化し、適切な立体感が得られない出力画像となってしまう。
【００４０】
一方、後述の周波数特性復元条件４０３に設定したデフォーカス量２０５に応じた周波数特性復元量を用いて、鮮鋭性を適切に制御した出力画像における合焦領域と非合焦領域のコントラスト値の関係は、図８（ｃ）上のＣ１’’、Ｃ２’’となる。本実施形態の周波数特性復元条件４０３に基づいて周波数特性復元処理を実行した出力画像の鮮鋭性の差（コントラスト値Ｃ１’’、Ｃ２’’の関係８０３）は、周波数特性復元処理を実行しない場合の鮮鋭性の差（コントラスト値Ｃ１’とＣ２’の関係８０２）に対して大きくなる。つまり、より入力画像における鮮鋭性の差（コントラスト値Ｃ１とＣ２の関係８０１）に近くなり、縮小処理後の画像においても適切な立体感を得ることができる。
【００４１】
図８では、説明簡略化のため、合焦領域の画像の空間周波数と非合焦領域に含まれる特定のデフォーカス量２０５に対応する画像の空間周波数との２点に対するコントラストを比較した。これに限らず、合焦領域と非合焦領域の他のデフォーカス量２０５に対応する画像についても同様である。また、許容合焦領域に含まれる特定のデフォーカス量２０５に対応する画像と非許容合焦領域に含まれる特定のデフォーカス量２０５に対応する画像との２点においても同様である。
【００４２】
ここまで、解像度変換処理によって画像の周波数特性（鮮鋭性）の変換により入力画像に対して立体感が失われるが、合焦領域と非合焦領域の周波数特性を適切に復元することで、出力画像において適切な立体感が付与されることを説明した。周波数特性復元部４０２での周波数特性復元処理における、合焦領域と非合焦領域の復元量に着目すると、解像度変換処理が拡大処理である場合、図９（ａ）に示す関係となる。また、解像度変換処理が縮小処理である場合、合焦領域と非合焦領域の周波数特性復元量は図９（ｂ）に示す関係となる。
【００４３】
つまり、解像度変換部４０１により画素数を増やす解像度変換の場合は、合焦面を含む画像の許容合焦領域と非許容合焦領域とを比較すると、許容合焦領域の復元量が非許容合焦領域の空間周波数特性の復元量よりも大きい状態となる。さらに、解像度変換部４０１により画素数を減らす解像度変換の場合は、合焦面を含む画像の許容合焦領域と非許容合焦領域とを比較すると、許容合焦領域の復元量が非許容合焦領域の空間周波数特性の復元量よりも小さい状態となる。
【００４４】
［周波数特性復元処理］
周波数特性復元処理について説明する。周波数特性復元部４０２は、周波数特性復元条件４０３に設定されている制御パラメータにより、入力画像データの鮮鋭性に影響する空間周波数特性を制御する。周波数特性復元条件４０３では、各デフォーカス量２０５に対して周波数特性復元量が設定されている。
【００４５】
図１０は、周波数特性復元条件４０３に設定されているデフォーカス量２０５と鮮鋭性制御量の関係を示している。周波数特性復元条件４０３の作成方法については後述する。周波数特性復元部４０２は、解像度変換処理が画像の拡大処理である場合、処理対象画素の輝度情報に対して、同座標位置のデフォーカスマップのデフォーカス量２０５を参照しながら、周波数特性復元条件４０３に設定された鮮鋭性制御量を適用する。例えば、式（４）のLaplacian Of Gaussianフィルタやアンシャープマスクを用いてシャープネス処理を行う。式（５）に式（４）のLaplacian Of Gaussianフィルタを用いた際の入力画像データの輝度情報Ｉ（ｘ，ｙ）の変換式を示す。Ｏｕｔ（ｘ，ｙ）は立体感制処理後の画像データを示し、βは周波数特性復元条件４０３に設定されるデフォーカス量２０５に対する周波数特性復元量を示す。
【００４６】
【数４】
2019144606.tif 000006
【００４７】
【数５】
2019144606.tif 000007
【００４８】
図１０において、デフォーカス量ｄ＝０でのβ＝β１は、入力画像の合焦領域に対する鮮鋭性制御量（以下、単に制御量ともいう）を示す。また、デフォーカス量ｄ１は、図５（ｂ）に示す許容合焦領域５０５と非許容合焦領域５０６の境界の値である。さらに、デフォーカス量ｄ２は、デフォーカスマップに含まれる最大のデフォーカス量である。
【００４９】
出力画像において、出力装置１０２の出力特性を考慮した適切な立体感を得るためには、図１０（ａ）（ｂ）（ｃ）に示すように、入力画像内の合焦領域の画素に対する制御量が最も大きくなるように周波数特性復元条件４０３を設定する。さらに、非合焦領域の制御量は、デフォーカス量２０５が大きくなるほど制御量が小さくなるように、つまり単調減少となるように設定する。合焦面からの距離に相当する情報として画像のボケ量に比例するデフォーカス量２０５である場合は、図１０（ａ）のように、デフォーカス量と周波数特性復元量は非線形な関係となる。また、合焦面からの距離に相当する情報として像ずれ量２０６である場合は、図１０（ｂ）のように、線形な関係となる。また、図１０（ｃ）のように、非許容合焦領域について周波数特性復元量を０としても、前述のように許容合焦領域と非許容合焦領域の間の鮮鋭性の差は、入力画像における許容合焦領域と非許容合焦領域の間の鮮鋭性の差に近づくので、出力画像の立体感を得ることができる。
【００５０】
なお、シャープネス処理に使用するフィルタは、Laplacian Of Gaussianフィルタだけでなく、特定フィルタの強度を鮮鋭性制御量で調整したものでもよい。ここで、特定フィルタとは、例えば、出力装置の鮮鋭性の低下情報の逆特性を求めて作成されたフィルタである。
【００５１】
また、上記では、鮮鋭性を制御する処理としてシャープネス処理を例に説明したが、これはコントラスト処理でもよい。具体的には、図１０（ｄ）に示すように、合焦領域を含む許容合焦領域の入力画像データの各画素の輝度値のコントラストが高くなるように輝度変換を行う。輝度変換については、鮮鋭性制御量を係数とする変換式を用いる方法や、入力画像データの各画素の輝度値から生成したヒストグラムを均等化することでコントラストを高める方法等があるが、コントラストが制御できる方法であれば、これらに限られない。シャープネス処理とコントラスト処理のどちらも出力画像の鮮鋭性を制御することができるため、出力装置１０２の特性に応じて、どちらかの処理を選択する、あるいは２つの処理を組み合わせて実行してもよい。
【００５２】
一方、解像度変換処理が画像の縮小処理である場合、入力画像データの各画素の輝度情報に対して、同座標位置のデフォーカスマップのデフォーカス量を参照しながら、周波数特性復元条件４０３に設定された鮮鋭性制御量を適用して平滑化処理を行う。平滑化処理には例えば、式（６）に示すようなガウシアンフィルタなどを用いる。ここで、βは、周波数特性復元条件４０３に設定される、デフォーカス量２０５に対する周波数特性復元量である。
【００５３】
【数６】
2019144606.tif 000008
【００５４】
出力画像において適切な立体感が得るためには、図１４（ａ）（ｂ）（ｃ）に示すように、入力画像内の合焦領域の画素に対する制御量が最も小さくなるように周波数特性復元条件４０３を設定する。さらに、非合焦領域の制御量は、デフォーカス量２０５が大きくなるほど制御量が大きくなるように設定する。つまり、解像度変換処理後の画像の非合焦領域が合焦領域よりもボケるように制御する。
【００５５】
図１４において、デフォーカス量ｄ＝０でのβ＝β１は、入力画像の合焦領域に対する制御量を示す。またデフォーカス量ｄ１は、図５（ｂ）に示す許容合焦領域５０５と非許容合焦領域５０６の境界の値である。さらにデフォーカス量ｄ２は、デフォーカスマップに含まれる最大のデフォーカス量である。
【００５６】
合焦面からの距離に相当する情報として画像のボケ量に比例するデフォーカス量２０５である場合は、図１４（ａ）のように、デフォーカス量と周波数特性復元量は非線形な関係となる。また、合焦面からの距離に相当する情報として像ずれ量２０６である場合は、図１４（ｂ）のように、線形な関係となる。
【００５７】
また、図１４（ｃ）のように、許容合焦領域について周波数特性復元量を０としても、前述のように許容合焦領域と非許容合焦領域の間の鮮鋭性の差は、入力画像における許容合焦領域と非許容合焦領域の間の鮮鋭性の差に近づくので、出力画像の立体感を得ることができる。
【００５８】
なお、平滑化処理に使用するフィルタは、ガウシアンフィルタだけでなく、特定フィルタの強度を鮮鋭性制御量で調整したものでもよい。ここで、特定フィルタとは、例えば、出力画像の鮮鋭性の情報の逆特性を求めて作成されたフィルタである。
【００５９】
また、上記では鮮鋭性を制御する処理として平滑化処理を例に説明したが、これはコントラスト処理でもよい。具体的には、図１４（ｄ）に示すように、許容合焦領域の入力画像データの各画素の輝度値のコントラストがより高くなるように輝度変換を行う。輝度変換については鮮鋭性制御量を係数とする変換式を用いる方法等があるが、コントラストが制御できる方法であれば、これに限られない。平滑化処理とコントラスト処理のどちらも出力画像の鮮鋭性を制御することができるため、出力装置１０２の特性に応じて、どちらかの処理を選択する、あるいは２つの処理を組み合わせて実行してもよい。
【００６０】
［周波数特性復元条件］
周波数特性復元処理での周波数特性復元条件４０３の作成方法について説明する。周波数特性復元条件４０３に設定するパラメータは、例えば、図１１に示すような計測用チャートをプリンタやディスプレイ、プロジェクタ等の出力装置１０２で出力し、不図示の測定装置を用いて取得した出力装置１０２の出力画像の周波数特性（ＭＴＦ特性）から算出する。また、出力画像生成における各画像処理をＰＣ上でシミュレートして得られた画像から、出力装置１０２のＭＴＦ特性を算出する方法でもよい。
【００６１】
図１１に示すチャートは、ピントが合っている合焦面に対応する画像群１１０１、特定のデフォーカス量２０５における入力画像のボケ量に相当するボケで表現された複数の画像群１１０２を含んで構成されている。より詳細には、空間周波数の異なる複数の矩形パターンあるいは正弦波パターン、均一パターン１１０３、１１０４を含むチャートである。なお、図１１に示したものは、空間周波数の異なる複数の正弦波パターン１１０１、１１０２である。均一パターンは、正弦波パターン上の最大画素値と最小値の画素値とを含んで構成される。
【００６２】
周波数特性復元条件４０３の作成方法を図１２のフローチャートを参照しながら説明する。まず、図１１に示す計測用チャートを、解像度変換処理等、図６での出力装置１０２での出力条件に応じて出力する（チャート出力、Ｓ１２０１）。次に、出力装置１０２で出力した計測用チャートを不図示の測定装置を用いて測定し、ＭＴＦ特性算出に必要な情報を取得する（Ｓ１２０２）。正弦波パターンである場合、ＭＴＦ特性は、式（７）又は式（８）で算出する（Ｓ１２０３）。この値は、光学伝達関数の絶対値を示している。出力画像の平均明度が変化する場合は、式（８）を用いてもよい。式（７）や式（８）におけるＲ１、Ｒ２の値は反射率であるが、輝度や濃度やデバイスＲＧＢ値を用いてもよい。不図示の測定装置としては、出力装置１０２がプリンタである場合は、例えばスキャナやデジタルカメラ、顕微鏡を用いてもよく、ディスプレイやプロジェクタの場合は、デジタルカメラを用いてもよい。
【００６３】
【数７】
2019144606.tif 000009
【００６４】
【数８】
2019144606.tif 000010
【００６５】
また、矩形波パターンである場合、出力装置１０２のＭＴＦ特性は、式（７）または式（８）を適用することで得られるコントラスト伝達関数（ＣＴＦ）で表現される。また、ＣＴＦ値をコルトマン補正式で変換したＭＴＦ値を用いてもよい。
【００６６】
前述の方法により、計測用チャートに含まれる合焦面に対応する画像群１１０１および特定のデフォーカス量に対応する画像群１１０２それぞれの画像の周波数特性（ＭＴＦ特性）が取得される。
【００６７】
図１３に周波数特性の例を示す。図１３において、実線Ｄ０は合焦面に対応する画像群１１０１の特性を示し、点線Ｄ１は許容合焦領域に含まれるデフォーカス量２０５に対応する画像群の特性を示す。そして、破線Ｄ２は、非許容合焦領域に含まれるデフォーカス量２０５に対応する画像群の特性を示している。
【００６８】
これにより、デフォーカス量２０５ごとに、ＭＴＦ特性が取得できる。つまり、デフォーカス量毎の出力装置１０２の鮮鋭性に関する出力特性が得られる。一方、出力画像で適切な立体感を得るためには、周波数特性復元処理を適用しない場合と比較して、周波数特性復元処理を適用した際の出力画像の許容合焦領域と非許容合焦領域の間の鮮鋭性の差が、入力画像における許容合焦領域と非許容合焦領域の鮮鋭性の差に近づく必要がある。つまり、出力画像において許容合焦領域と非許容合焦領域の間の鮮鋭性の差を適切に制御するためには、デフォーカス量毎の出力装置１０２の鮮鋭性に影響する出力特性に応じて、鮮鋭性制御量を設定すればよい。例えば、特定の空間周波数における出力画像の合焦領域の鮮鋭性あるいは周波数特性を入力画像の鮮鋭性あるいは周波数特性に、鮮鋭化処理によって復元するように周波数特性復元量を設定する（Ｓ１２０４）。
【００６９】
同様に、非合焦領域に対してもデフォーカス量毎に得られるＭＴＦ特性から復元量を算出して周波数特性復元量とする。これにより、図１０および図１４に示すデフォーカス量２０５に対する鮮鋭性制御量が算出される。デフォーカス量と鮮鋭度の関係は、図１０および図１４に示すような、デフォーカス量２０５を入力として鮮鋭性制御量を出力とする関係式として設定する方法、ＬＵＴ方式でパラメータを選択して設定する方法等がある。また、これらに限られず、デフォーカス量２０５に対する鮮鋭性制御量を算出できるのであれば、他の方法が用いられてもよい。
【００７０】
また、周波数特性復元量は、ＭＴＦ特性を復元する値に限られない。周波数特性復元条件４０３に設定される合焦領域と非合焦領域における、デフォーカス量と周波数特性復元量に応じた鮮鋭化処理を行わない場合の鮮鋭性の差に対して、鮮鋭化処理を行った場合の鮮鋭性の差が大きくなることを満足すると、出力画像で適切な立体感を得られる。さらには、図１０に示す合焦面の制御量β１は、画像のＭＴＦ特性を０．８から１．２に復元するように設定すると、出力画像における合焦面の鮮鋭性が好ましい画像が得られる。
【００７１】
また、本実施形態では、周波数特性復元条件４０３としてデフォーカス量２０５と周波数特性復元量との関係を例に説明したが、合焦面からの距離に相当する情報である像ずれ量２０６もしくは合焦面と物体との距離３０４と、周波数特性復元量との関係を周波数特性復元条件４０３としてもよい。
【００７２】
以上のように、デフォーカス量２０５に応じた出力装置１０２の鮮鋭性に関する出力特性から導出される周波数特性復元条件４０３を設定する（Ｓ１２０５）。設定された周波数特性復元条件４０３により入力画像データを処理することで、出力画像の立体感を制御することが可能になる。
【００７３】
また、図６においては、Ｓ６０３で解像度変換処理を行うものとして説明しているが、解像度変換処理を行うか否かの判定処理をＳ６０３の前段で行うようにしてもよい。なお、その判定処理は、例えば、印刷情報データの内容に基づいて行われてもよい。そして、解像度変換処理を行うと判定された場合にはＳ６０３以降の処理を行い、解像度変換処理を行わないと判定された場合にはＳ６０３〜Ｓ６０５の処理を行わずに、Ｓ６０６で出力画像が生成される。
【００７４】
［第２の実施形態］
以下、第２の実施形態を、第１の実施形態と異なる点について説明する。図１５は本実施形態の画像処理部１１０の構成を示す図であり、図１６は画像処理を示すフローチャートである。本実施形態では、第１の実施形態の構成に加えて、出力特性補正部１５０４と出力特性補正条件１５０５を有する。解像度変換部１５０１、周波数特性復元部１５０２、周波数特性復元条件１５０３、出力画像生成部１５０６はそれぞれ、解像度変換部４０１、周波数特性復元部４０２、周波数特性復元条件４０３、出力画像生成部４０４に対応する。
【００７５】
本実施形態ではまず、画像処理部１１０は、入力画像データを取得し（Ｓ１６０１）、撮影時の合焦面からの距離に相当する情報として上述のデフォーカスマップを取得する（Ｓ１６０２）。次に、解像度変換部１５０１は、出力画像データの画素数に応じて、入力画像データの画素数を変更する（Ｓ１６０３）。解像度変換部１５０１における入力画像データの画素数の変更には、一般的な画像拡大や縮小処理を用いる。
【００７６】
次に、周波数特性復元部１５０２は、周波数特性復元条件１５０３を取得し（Ｓ１６０４）、Ｓ１６０２で取得したデフォーカスマップに基づいて、解像度変換処理後の入力画像データに対して周波数特性の復元処理を行う（Ｓ１６０５）。ここで、周波数特性復元条件１５０３は、出力装置１０２内の記憶装置（ハードディスクやＲＯＭ等）に記憶されている。次に、出力特性補正部１５０４は、出力特性補正条件１５０５に基づいて、周波数特性復元処理後の画像に対して補正処理を行う（Ｓ１６０６）。出力特性補正条件１５０５は、出力装置１０２内の記憶装置（ハードディスクやＲＯＭ等）に記憶されている。
【００７７】
出力画像生成部４０４は、出力特性補正部１５０４から出力される出力画像データ（ＲＧＢ）に対して、インクジェットプリンタの記録ヘッドで記録するためのデータを生成する（Ｓ１６０７）。出力画像生成部１５０６で生成された出力データは、印刷部１１１に送られ、記録媒体上に記録される（Ｓ１６０８）。出力特性補正部１５０４および出力特性補正条件１５０５の構成以外の構成については、第１の実施形態と同様であるので、その説明を省略する。
【００７８】
［出力画像における立体感］
出力装置から出力される画像の鮮鋭性に影響する出力特性と立体感について説明する。本実施形態で述べているプリンタなどの出力装置１０２により画像を出力すると、記録媒体やインク等によるインクの滲みやハーフトーニングなどの出力処理により画像の鮮鋭性が低下する。ディスプレイやプロジェクタでも同様に、出力画像において画像の鮮鋭性が低下する。図１７にプリンタによる画像の周波数特性（ＭＴＦ特性）の応答を示す。図１７に示すように、空間周波数が高くなるほど応答性が低下し、画像の鮮鋭性が低下する。
【００７９】
図１８に入力画像と出力画像における合焦領域と非合焦領域のコントラストの関係を示す。説明簡略化のため、合焦領域の画像の空間周波数特性と非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数特性とが同じ周波数にピークを持つ画像を例として説明する。
【００８０】
ボケによる立体感がある入力画像データにおいて、特定の空間周波数における入力画像データの合焦領域の鮮鋭性を示すコントラスト値Ｃ１と、非合焦領域の鮮鋭性を示すコントラスト値Ｃ２が、図１８（ａ）に示す関係となる。出力画像では、図１７のＭＴＦ特性が適用され、図１８（ｂ）に示すようにコントラスト値Ｃ１とＣ２は、Ｃ１’とＣ２’に変化する。
【００８１】
出力装置１０２の特性によって入力画像データの鮮鋭性の変化量が、合焦領域と非合焦領域で異なる。立体感に影響する鮮鋭性の差（コントラスト値Ｃ１’とＣ２’の関係１８０２）が、入力画像データにおける鮮鋭性の差（コントラスト値Ｃ１とＣ２の関係１８０１）より小さくなり、適切な立体感が得られない出力画像となる。よって、前述のデフォーカス量２０５に相当する画像のボケの状態と出力画像の鮮鋭性に影響する出力特性の変化に基づいて、画像の周波数特性を適切に復元し鮮鋭性を制御することで、立体感のある出力画像を得ることができる。
【００８２】
後述する出力特性補正条件１５０５に設定されるデフォーカス量２０５に応じた出力特性補正量を用いて画像の鮮鋭性を適切に制御した出力画像における、上述の合焦領域と非合焦領域のコントラスト値の関係は、図１８（ｃ）に示すようにそれぞれＣ１’’、Ｃ２’’となる。本実施形態の出力特性補正処理に基づいて補正処理をした出力画像の鮮鋭性の差（コントラスト値Ｃ１’’、Ｃ２’’の関係１８０３）は、処理をしない場合の鮮鋭性の差（コントラスト値Ｃ１’，Ｃ２’の関係１８０２）に対して大きくなる。よって、より入力画像における鮮鋭性の差（コントラスト値Ｃ１とＣ２の関係１８０１）に近くなり、適切な立体感を得ることができる。
【００８３】
図１８では、説明簡略化のため、合焦領域の画像の空間周波数と非合焦領域の特定のデフォーカス量２０５に対応する画像の空間周波数との２点に対するコントラストを比較したが、合焦領域と非合焦領域の他のデフォーカス量２０５に対応する画像についても同様である。また、許容合焦領域に含まれる特定のデフォーカス量２０５に対応する画像と非許容合焦領域に含まれる特定のデフォーカス量２０５に対応する画像との２点においても同様である。
【００８４】
画像の鮮鋭性に影響する画像特性としてコントラスト値を取り上げたが、出力装置１０２の出力特性による合焦領域と非合焦領域の画像の鮮鋭性の変化については、鮮鋭度を示す空間周波数特性においても同じ関係が説明できる。
【００８５】
ここまで、出力装置１０２の特性によって画像の周波数特性（鮮鋭性）の変換により入力画像に対して立体感が失われるが、合焦領域と非合焦領域の周波数特性を適切に復元することで、出力画像において適切な立体感が付与できることを説明した。出力特性補正部１５０４での出力特性補正処理における、合焦領域と非合焦領域の補正量に着目すると図１８（ｄ）に示す関係となる。つまり、合焦面を含む画像の合焦領域と非合焦領域を比較すると、合焦領域の補正量が非合焦領域の空間周波数特性の補正量よりも大きい状態となる。
【００８６】
本実施形態における、出力特性補正処理は、画像の鮮鋭性をデフォーカス量２０５に応じた出力装置１０２の鮮鋭性に関する出力特性から導出される出力特性補正処理条件１５０５により補正する。ここで、画像の鮮鋭性を制御する処理としては、第１の実施形態における周波数特性復元処理と同様に、シャープネス処理やコントラスト処理を行う。また、出力特性補正条件は、第１の実施形態における周波数特性復元条件４０３、１５０３の導出時と同様の手法により設定される。つまり、出力条件（例えば、記録媒体やインク等）毎に、図１１に示すチャートを出力して出力装置の特性（ＭＴＦ特性）を取得し、周波数特性復元条件４０３、１５０３と同様に補正条件を算出する。このような方法で算出した出力特性補正量は、図１９に示すような、デフォーカス量２０５に応じた出力特性補正量として設定される。
【００８７】
出力画像において適切な立体感を得るためには、図１９（ａ）（ｂ）（ｃ）に示すように、入力画像内の合焦領域の画素に対する制御量が最も大きくなるように出力特性補正量を設定する。さらに、非合焦領域の制御量はデフォーカス量が大きくなるほど補正量が小さくなるように設定するとよい。また、出力特性補正部１５０４においてコントラスト処理を実行する場合は、出力特性補正量は、図１９（ｄ）のようになる。合焦領域を含む許容合焦領域の入力画像データの各画素の輝度値のコントラストが高くなるように輝度変換を行う。輝度変換については、出力特性補正量を係数とする変換式を用いる方法や、入力画像データの各画素の輝度値から生成したヒストグラムを均等化することでコントラストを高める方法等があるが、コントラストが制御できれば、これらに限られない。シャープネス処理とコントラスト処理のどちらも出力画像の鮮鋭性を制御することができるため、出力装置１０２の特性に応じて、どちらかの処理を選択する、あるいは２つの処理を組み合わせて実行してもよい。
【００８８】
また、出力特性補正量は、図２０に示すように記録媒体の特性やインクの特性、記録媒体サイズによって異なる。これは、記録媒体やインク特性毎に、インクの滲み等による画像の鮮鋭性の低下の度合が異なるからである。図２０（ａ）の破線は、図１９（ａ）と異なる条件で出力した際のデフォーカス量２０５に対する出力特性補正量の線を示している。例えば、図２０（ａ）は、図１９（ａ）と比べてインクの滲みが大きい場合を示している。逆に図２０（ｂ）は、図１９（ａ）と比べてインクの滲みが小さい場合を示している。このように本実施形態では、デフォーカス量２０５に応じた出力装置１０２の鮮鋭性に関する出力特性から導出される出力特性補正条件１５０５を使用して、周波数特性復元処理後の画像に対して出力特性補正を行う。よって、解像度変換処理による立体感の変化と共に、出力装置１０２の特性に起因する立体感の変化も適切に補正できる。よって、撮影時の合焦面からの距離に相当する情報と出力装置１０２の鮮鋭度の再現特性に応じて、合焦領域と非合焦領域の鮮鋭度が適切に制御された出力画像が得られる。
【００８９】
また、図１６においては、Ｓ１６０３で解像度変換処理を行うものとして説明しているが、解像度変換処理を行うか否かの判定処理をＳ１６０３の前段で行うようにしてもよい。なお、その判定処理は、例えば、印刷情報データの内容に基づいて行われてもよい。そして、解像度変換処理を行うと判定された場合にはＳ１６０３以降の処理を行い、解像度変換処理を行わないと判定された場合にはＳ１６０３〜Ｓ１６０５の処理を行わずに、Ｓ１６０６で出力特性補正処理が行われる。
【００９０】
また、以上で説明した実施形態では、写真画像中の画像データとしてカメラ等の撮像装置で撮影したデータ、合焦面からの距離に相当する情報として撮影時のデフォーカス量を用いる形態を説明した。しかし、撮像して得られた写真画像を画像編集用のソフトウェアで編集して焦点位置の補正を行い、その際に合わせて画像中の領域毎のフォーカス量も変更することもある。その場合には、補正後の画像データと変更後のデフォーカス量を用いてもよい。また、撮像装置側でフォーカス量を取得せずに、撮像した画像を画像編集用のソフトウェアで解析し、その解析によりフォーカス量を取得するようにしてもよい。
また、これらに限らず、例えばモデリング、レンダリング、画像編集用のソフトウェア等で作成した写真画像のデータと、その画像データに対応するソフトウェアで作成された合焦面からの距離に相当する情報を使用することもできる。これらのソフトウェアでは、合焦面からの距離に相当する情報であるマップを用いて画像のボケ情報等を生成する場合がある。
【００９１】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９２】
１０２  出力装置：  １１３  ＣＰＵ：  １１４  記憶装置：  １１５  作業メモリ
【図１】
2019144606.tif 000011
【図２】
2019144606.tif 000012
【図３】
2019144606.tif 000013
【図４】
2019144606.tif 000014
【図５】
2019144606.tif 000015
【図６】
2019144606.tif 000016
【図７】
2019144606.tif 000017
【図８】
2019144606.tif 000018
【図９】
2019144606.tif 000019
【図１０】
2019144606.tif 000020
【図１１】
2019144606.tif 000021
【図１２】
2019144606.tif 000022
【図１３】
2019144606.tif 000023
【図１４】
2019144606.tif 000024
【図１５】
2019144606.tif 000025
【図１６】
2019144606.tif 000026
【図１７】
2019144606.tif 000027
【図１８】
2019144606.tif 000028
【図１９】
2019144606.tif 000029
【図２０】
2019144606.tif 000030