(57)【要約】【課題】２次元静止画における立体感はボケの効果、つまり画像の鮮鋭性によるところが大きいため、出力画像の鮮鋭性を適切に制御して画像を出力することが必要である。しかしながら、従来は、プリンタやディスプレイ等の出力装置による鮮鋭性に影響する出力特性が考慮されていないため入力画像の立体感に対し、出力画像の立体感が変化する。【解決手段】出力装置から出力される画像の鮮鋭性に影響する出力特性に基づいて、前記画像処理を実行するための画像処理条件を設定する。次に、被写体を撮像する際の合焦面からの距離に相当する情報と前記設定された画像処理条件とを用いて前記画像データを画像処理する。【選択図】  図６
2019146149.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像することにより得られた画像データを画像処理して出力装置に出力する画像処理装置であって、
前記出力装置から出力される画像の鮮鋭性に影響する出力特性に基づいて、前記画像処理を実行するための画像処理条件を設定する設定手段と、
前記被写体を撮像する際の合焦面からの距離に相当する情報と前記設定手段により設定された画像処理条件とを用いて前記画像データを画像処理する画像処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、前記合焦面からの距離に相当する情報として、前記画像データの各画素に対応するデフォーカス量、又は、前記合焦面から前記被写体までの距離、又は、視差量を用いることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記合焦面からの距離に相当する情報が大きくなるに従って画像の立体感を表す鮮鋭度が単調減少するように制御する画像処理を実行することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像処理手段は前記鮮鋭度を制御する画像処理として前記被写体の撮像の際に合焦領域を含む許容合焦領域において前記画像データが表す輝度値のコントラストが高くなるように輝度変換を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記設定手段は、
サンプル画像から得られた情報に基づいて、前記出力特性としてＭＴＦ特性を算出する算出手段と、
前記算出手段により算出されたＭＴＦ特性に基づいて、前記画像処理条件を導出する導出手段とを有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記サンプル画像は前記出力装置から出力させ、該出力されたサンプル画像を計測装置により計測することにより前記情報を取得することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記サンプル画像をシミュレートして生成し、該生成されたサンプル画像から前記情報を取得することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記サンプル画像は、合焦面に対応する周波数の異なる複数の画像と、予め定められたデフォーカス量をもった周波数の異なるた複数の画像とを含むことを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
前記画像処理装置は、パーソナルコンピュータ又は前記出力装置に含まれることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記出力装置は、インクを記録媒体に吐出して画像を記録するインクジェットプリンタであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
コンピュータを請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１２】
被写体を撮像することにより得られた画像データを画像処理して出力装置に出力する画像処理装置における画像処理方法であって、
前記出力装置から出力される画像の鮮鋭性に影響する出力特性に基づいて、前記画像処理を実行するための画像処理条件を設定する設定工程と、
前記被写体を撮像する際の合焦面からの距離に相当する情報と前記設定工程において設定された画像処理条件とを用いて前記画像データを画像処理する画像処理工程とを有する工程とを有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、プリンタに出力した画像の立体感を効果的に制御する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
人間は目で見たものを立体的に知覚しており、これは脳が両眼の手がかりと単眼の手がかり、また運動視差等をもとに知覚していると考えられている。両眼の手がかりとしては、両眼での網膜像の差である網膜視差などがある。さらに、単眼の手がかりとしては、線遠近法や物体の大きさ、肌理の勾配、陰影、大気遠近やボケの効果等が挙げられる。これらの１つ以上の手がかりを利用して、人間は立体感、つまり「もの」の奥行きや厚みや深さ、「もの」の前後関係を知覚しているのである。
【０００３】
またカメラなどで撮影され、表示、投影あるいは印刷された２次元画像を見る際には、ピントが合っている部分と、奥行きに応じてボケている部分のボケ方の差から画像の立体感を感じている。つまり、画像の合焦している（ピントがあっている）部分と、合焦していない（ボケている）部分の再現が立体感にとって重要となる。
【０００４】
一方、例えば、レーザ距離計等で、撮影地点から対象物までの実距離を測定する方法、２台のカメラの視差情報から距離を計測する方法など、一般的に撮影時に被写体を含むシーンの距離情報を取得する方法も提案され始めている。奥行き情報を利用した画像の高画質化手法としては、特許文献１に提案された技術がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２５１８３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら上記従来例では、プリンタなどを通して画像を出力すると、例えば、記録媒体やインクの滲みによる画像の鮮鋭性の低下や、入力画像データを記録媒体サイズ（プリントサイズ）に変倍する解像度変換処理により、出力画像の鮮鋭性が低下する。ディスプレイやプロジェクタでも同様に表示画像の鮮鋭性が低下する。そのため、画像の合焦している（ピントがあっている）部分と、合焦していない（ボケている）部分の再現性が変化してしまい、人間が感じる画像の立体感が低下したりあるいは変化したりするという問題がある。
【０００７】
特許文献１によれば、画像の各位置の奥行きを画像から推定して算出し、奥行きと画像処理方法とを対応付けして各位置の画像処理方法を効果的に適宜選択し、立体感の低下を防止しつつ高解像度化を図る処理を実行する。しかしながら特許文献１で用いる奥行き情報は、画像自体から推定算出した情報であるため、画像の特性や構図によっては正しく奥行を求めることができない場合がある。その結果、対象画像に適した処理を施すことができず、画像の立体感に違和感が生じることがある。
【０００８】
また、特許文献１では、入力画像自体の立体感は制御しているが、画像再生時の出力装置による鮮鋭性に影響する特性が考慮されていない。そのために、画像本来の立体感に対し、プリンタやディスプレイ等の出力装置で出力した画像において適した処理を施すことができずに立体感が低下あるいは変化する場合があった。
【０００９】
以上のように従来技術では、再生出力画像においては、人間が感じる画像の立体感が低下したりあるいは変化したりするという問題を解決するには至っていない。
【００１０】
本発明は上記従来例に鑑みてなされたもので、出力画像においても人間が感じる画像の立体感を適切に表現できるよう処理可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために本発明の画像処理装置は次のような構成からなる。
【００１２】
即ち、被写体を撮像することにより得られた画像データを画像処理して出力装置に出力する画像処理装置であって、前記出力装置から出力される画像の鮮鋭性に影響する出力特性に基づいて、前記画像処理を実行するための画像処理条件を設定する設定手段と、前記被写体を撮像する際の合焦面からの距離に相当する情報と前記設定手段により設定された画像処理条件とを用いて前記画像データを画像処理する画像処理手段とを有することを特徴とする。
【００１３】
また本発明を別の側面から見れば、コンピュータに上記構成の画像処理装置の各手段として機能させるためのプログラムを備える。
【００１４】
さらに本発明を別の側面から見れば、被写体を撮像することにより得られた画像データを画像処理して出力装置に出力する画像処理装置における画像処理方法であって、前記出力装置から出力される画像の鮮鋭性に影響する出力特性に基づいて、前記画像処理を実行するための画像処理条件を設定する設定工程と、前記被写体を撮像する際の合焦面からの距離に相当する情報と前記設定工程において設定された画像処理条件とを用いて前記画像データを画像処理する画像処理工程とを有する工程とを有することを特徴とする画像処理方法を備える。
【発明の効果】
【００１５】
本発明によれば、被写体の撮像時に合焦面からの距離に相当する情報に応じて、出力装置の鮮鋭性に影響する出力特性を考慮した画像処理条件で画像処理するので、出力画像においても立体感を適切に表現できるという効果がある。
【図面の簡単な説明】
【００１６】
【図１】本発明の代表的な実施例である画像処理システムの概略構成を示すブロック図である。
【図２】合焦面、像ずれ量とデフォーカス量の関係を示す図である。
【図３】撮像装置における合焦物体距離、合焦像物体に対する撮像面距離、物体距離、合焦面から物体までの距離の関係を示す図である。
【図４】デフォーカスマップと各領域を例示した図である。
【図５】画像処理部の構成を示すブロック図である。
【図６】画像処理の概要を示すフローチャートである。
【図７】特定のデフォーカス量における画像の合焦領域と非合焦領域の特定の周波数でのコントラストの関係を示す図である。
【図８】デフォーカス量と立体感制御量の関係を示す図である。
【図９】記録媒体や記録媒体サイズが異なる場合のデフォーカス量と立体感制御量の関係を示す図である。
【図１０】出力画像の周波数特性（ＭＴＦ特性）を算出するための計測用画像を示す図である。
【図１１】画像処理条件の作成処理を示すフローチャートである。
【図１２】合焦面および任意のデフォーカス量に対応する画素群の周波数特性（ＭＴＦ特性）を例示した図である。
【図１３】コントラストと空間周波数（サイクル／度）との関係を示す図である。
【発明を実施するための形態】
【００１７】
以下添付図面を参照して本発明の好適な実施例について、さらに具体的かつ詳細に説明する。なお、既に説明した部分には同一符号を付し重複説明を省略する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
【００１８】
なお、この明細書において、「記録」（「プリント」「印刷」という場合もある）とは、文字、図形等有意の情報を形成する場合のみならず、有意無意を問わない。また人間が視覚で知覚し得るように顕在化したものであるか否かを問わず、広く記録媒体上に画像、模様、パターン等を形成する、または媒体の加工を行う場合も表すものとする。
【００１９】
また、「記録媒体」（「シート」という場合もある）とは、一般的な記録装置で用いられる紙のみならず、広く、布、プラスチック・フィルム、金属板、ガラス、セラミックス、木材、皮革等、インクを受容可能なものも表すものとする。
【００２０】
さらに、「インク」（「液体」と言う場合もある）とは、上記「記録（プリント）」の定義と同様広く解釈されるべきものである。従って、記録媒体上に付与されることによって、画像、模様、パターン等の形成または記録媒体の加工、或いはインクの処理（例えば記録媒体に付与されるインク中の色剤の凝固または不溶化）に供され得る液体を表すものとする。
【００２１】
なお、以下の説明では、画像を出力する出力装置の一例としてインクジェットプリンタとして説明するが、電子写真方式を採用したレーザビームプリンタを用いても良い。
【００２２】
＜画像処理システムの概要（図１〜図４）＞
図１は本発明の代表的な実施例である画像処理装置を用いた画像処理システム（以下、システム）の全体構成を示すブロック図である。図１に示されているように、このシステムは、パーソナルコンピュータ装置（ＰＣ）１０１（以下、ＰＣ）と出力装置１０２とから構成されている。そして、ＰＣ１０１と出力装置１０２とは有線／無線ネットワークやＵＳＢまたはローカルバスなどのインタフェースで接続されている。
【００２３】
ＰＣ１０１は、出力装置１０２への印刷制御指示、必要な情報および画像データの転送などを行う。記憶装置１０５にはＯＳ、システムプログラムや各種アプリケーションおよび各種処理に必要なパラメータデータを記憶している。記憶装置１０５は、ハードディスク（ＨＤ）、半導体ディスク（ＳＳＤ）やフラッシュＲＯＭなどの書き換え可能な記憶媒体で構成される。ＣＰＵ１０４は、記憶装置１０５に格納されたソフトウェアを実行するにあたりＲＡＭなどの作業メモリ１０７を用いて処理を実行する。ユーザインタフェースとなる操作部（以下、ＵＩ）１０６は、上記処理の実行に関して、ユーザからの入力やユーザに対する表示に関する処理を行うために、キーボードやポインティングデバイス等の入力機器やディスプレイ等の表示機器を含む。また、データ入出力装置１０８は、ＳＤカード等の外部記憶媒体とのデータの入出力を行う。また、デジタルカメラなどの撮像装置（不図示）をデータ入出力装置１０８やデータ転送部１０９へ直接接続して外部記憶媒体を介さずにデータの受渡しを行ってもよい。
【００２４】
出力装置１０２は、データ転送部１０９、プリンタ制御部１１２、後述する画像処理部１１０、印刷部１１１から構成される。出力装置１０２にＰＣ１０１から印刷データが送信される。印刷データは、撮像装置で被写体を撮像することで得られる写真データの画像データを含む。印刷データは、その画像データと画像データに対応した撮影時の合焦面からの距離に相当する情報、記録媒体の固有データである画像処理パラメータ、プリンタ制御データ、ＵＩ上で選択した印刷品位や記録媒体等の印刷情報データで構成される。後述する撮影時の合焦面からの距離に相当する情報とは、デフォーカス量や像ずれ量、実際の合焦面から物体までの距離である。
【００２５】
ここでは、デジタルカメラ等の撮像装置で生成されたデータとして説明するが、それに限らず、実際に距離を測定した情報から生成されたデータであってもよい。また、例えば入力画像データのボケ量を解析した結果から生成されたデータおよびその他撮影時のデータを併用したデータでもよい。入力画像データや合焦面からの距離に相当する情報は、撮像装置内で生成されてもよいし、撮像装置に接続されたＰＣ１０１または出力装置１０２で生成されてもよい。
【００２６】
また、合焦面からの距離に相当する情報を生成するための情報を撮像装置から取得し、撮像装置に接続されたＰＣ１０１や出力装置１０２内で合焦面からの距離に相当する情報を生成してもよい。または、撮像装置はＰＣ１０１に接続され、ＰＣ１０１を経由して合焦面からの距離に相当する情報を生成するための情報を取得した出力装置１０２で生成されてもよい。ここで、合焦面からの距離に相当する情報を生成するための情報とは、例えば、撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる対の画像などである。
【００２７】
データ転送部１０９は、ＰＣ１０１から送信された印刷データから、入力画像データと撮影時の合焦面からの距離に相当するデータと画像処理パラメータを取り出して画像処理部１１０に転送し、プリンタ制御データをプリンタ制御部１１２に転送する。ここでの入力画像データは、ＰＣ１０１内で記憶装置１０５にプログラムとして記憶されている解像度変換処理によってユーザ設定した記録媒体のサイズに変倍されたデータである。また、解像度変換処理は、出力装置１０２内の画像処理部１１０内で同様に処理されてもよい。また、このシステムでは、画像処理部１１０は出力装置１０２内にあるとしているが、これをＰＣ１０１内に構成もよい。
【００２８】
また、画像処理パラメータやプリンタ制御データはＰＣ１０１中の記憶装置１０５や、出力装置１０２内のハードディスクやＲＯＭ等の記憶装置（不図示）に記憶されている。しかしながら、これらが、印刷データ内の印刷情報データをもとに選択され、画像処理部１１０とプリンタ制御部１１２に転送される構成でもよい。プリンタ制御部１１２はプリンタ制御データに従って印刷部１１１の動作を制御する。印刷部１１１では、インクジェット方式に従った記録ヘッドからインクと吐出して記録媒体に画像を形成して印刷を行う構成としている。
【００２９】
図２は被写体の撮影時の合焦面、像ずれ量とデフォーカス量の関係を説明するための図である。
【００３０】
図２において、合焦面２０１は撮像装置において像面（撮像面）２０３と平行でピントの合う平面のことである。また、デフォーカス量２０５は、像面２０３とデフォーカスした撮像面位置２０４との差（予定結像面と実際の結像面との差）であり、ボケ量に比例している。デフォーカス量２０５は、従来から瞳分割型位相差検出方式やボケの異なる複数の画像を用いてデフォーカス量を検出する撮像装置が知られている。
【００３１】
例えば、特開２００８−１５７５４号公報では、図２に示す画像の像ずれ量（視差量）２０６からデフォーカス量２０５を算出する方法が開示されている。撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる一対の画素データに対して、データを相対的にずらしながら相関値を演算し、最も相関が高くなる像ずれ量２０６が視差量となる。
【００３２】
さらに算出した像ずれ量２０６に対して、撮像素子の画素ピッチとレンズに応じて決定される変換係数を用いて被写体像面の予定結像面に対するデフォーカス量２０５を算出する。また、特開２０１３−２５３９６４号公報では、Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ（ＤＦＤ）方式でデフォーカス量を算出する方法が開示されている。ＤＦＤ方式は、撮像光学系の撮影パラメータを制御することでボケの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのボケの相関量を算出してデフォーカス量を算出する。
【００３３】
次に合焦面と被写体との距離を算出する方法について説明する。
【００３４】
図３は合焦面と被写体とレンズと像面との関係を示す図である。
【００３５】
図３において、レンズ２０２と合焦面２０１の距離（ＯＢＪ（０））と、レンズ２０２と像面２０３の距離（Ｓ（０））と、被写体３００とレンズ２０２の距離（ＯＢＪ（ｄｅｆ））と、合焦面２０１と被写体３００の距離Ｌと間にはレンズの公式が成立する。言い換えると、以下の式（１）、（２）が成立するため、物体距離ＯＢＪ（ｄｅｆ）は式（３）で算出することが可能である。即ち、
１／ＯＢＪ（０）＋１／Ｓ（０）＝１／ｆ……（１）
１／ＯＢＪ（ｄｅｆ）＋１／｛Ｓ（０）＋ｄｅｆ｝＝１／ｆ……（２）
ＯＢＪ（ｄｅｆ）＝
｛（Ｓ（０）＋ｄｅｆ）＊ｆ｝／｛（Ｓ（０）−ｄｅｆ）＊ｆ｝……（３）
である。ここで、ＯＢＪ（０）は合焦物体距離、Ｓ（０）は撮像面距離、ＯＢＪ（ｄｅｆ）は物体距離という。従って、式（３）で算出した物体距離ＯＢＪ（ｄｅｆ）を合焦物体距離ＯＢＪ（０）から引くことで、合焦面２０１から被写体３００までの距離Ｌを算出することが可能である。
【００３６】
上述した合焦面からの距離に相当する情報とは、合焦面からの距離に比例した情報である。そのため、合焦面からの距離に相当する情報としては、上述した像ずれ量２０６、デフォーカス量２０５、合焦面から被写体までの距離Ｌのいずれでもよい。
【００３７】
次にデフォーカスマップについて説明する。
【００３８】
図４はデフォーカスマップを説明する図である。
【００３９】
デフォーカスマップとは上述のデフォーカス量を入力画像上の複数個所でマップ化したものをいい、ここでは、図４（ａ）に示すような２つの立方体５０１、５０２を撮影して得られた画像データの各画素に対応するデフォーカス量の情報を保持している。また、図４（ｂ）は、デフォーカス量とここでの画像処理に使用する各領域を説明するための図である。
【００４０】
図４（ｂ）において、デフォーカス量０が撮影時の合焦面に相当するデフォーカス量であり、これは、図４（ａ）における最も黒い部分（領域５０３）が対応する。デフォーカス量０から離れるにつれて、図４（ａ）では白くなっていく。図４（ａ）に示すデフォーカスマップにおいて、デフォーカス量０の領域が領域５０３であり、ピントが合っている（合焦面）画像領域である。これを、図５（ｂ）の５０３でも示すように「合焦領域」という。
【００４１】
領域５０３以外の領域をここでは、デフォーカスマップ上で合焦面に対応しない領域として非合焦領域５０４とする。また、ピントが合っていると許容する領域を許容合焦領域５０５とする。許容合焦領域５０５以外の領域を、ここでは許容合焦領域５０５ではない領域として非許容合焦領域５０６とする。許容合焦領域５０５は、例えば、被写界深度と合焦面からの距離に相当する情報からその範囲を定義する。ピントが合う範囲である被写界深度は撮影時のレンズや絞り等の情報から決定されるので合焦面からの距離に相当する情報における被写界深度を許容合焦領域と定義することで、入力画像上の許容合焦領域はピントが合っているように見える。一方、入力画像の非許容合焦領域はボケているため、許容合焦領域と非許容合焦領域の鮮鋭性の差でも画像の立体感を感じる。
【００４２】
また、許容合焦領域を被験者実験によって任意に定義してもよい。鮮鋭性や立体感は人や環境によって感じ方が異なるため、ピントが合っていると許容する領域も人や環境によってその範囲はばらつくため、決められた条件下で被験者実験を実施し合焦面からの距離に相当する情報と許容合焦領域の関係を定義することができる。定義方法については後述するが、出力や表示によって入力画像の鮮鋭性が変化あるいは低下しない条件、あるいは出力装置の鮮鋭性に影響する出力特性が得られている状況で被験者実験を実施することがより好ましい。
【００４３】
図４（ｂ）では、横軸をデフォーカス量としたが、合焦面からの距離に相当する情報である、上述の像ずれ量や合焦面からの距離の情報でもよい。なお、図４（ｂ）において、ｄ０はデフォーカス量が０、つまり、合焦領域を示しており、ｄｘは非許容合焦領域におけるデフォーカス量を示している。
【００４４】
次に、以上の構成の画像処理システムにおいて、立体感をもたせた画像を記録媒体に印刷するための画像処理について説明する。
【００４５】
＜画像処理の概要（図５〜図６）＞
図５は画像処理部１１０の構成を示すブロック図である。
【００４６】
図５に示すように、画像処理部１１０は、立体感制御部４０１と出力画像生成部４０２とから構成される。立体感制御部４０１は、ＰＣ１０１から送信された画像データとデフォーカスマップと、ＰＣ１０１又は出力装置１０２に格納されている画像処理条件とを入力して画像に立体感を与える画像処理を実行する。また、出力画像生成部４０２では、立体感制御部４０１から出力される画像データ（ＲＧＢ）に基づいて、インクジェットプリンタの記録ヘッドからインクを吐出して画像を記録するために用いるデータを生成する。
【００４７】
図６は立体感をもたせるための画像処理を示すフローチャートである。
【００４８】
まず、ステップＳ６０１、Ｓ６０２では、画像処理部１１０は、画像データと被写体撮影時の合焦面からの距離に相当する情報として上述のデフォーカスマップとをそれぞれ、入力する。さらに、ステップＳ６０３では、立体感制御部４０１は、記憶装置１０５や、出力装置１０２内のハードディスクやＲＯＭ等の記憶装置（不図示）に記憶されている出力装置１０２の出力特性に基づいて定められた画像処理条件を入力する。ここでは、画像処理条件は印刷条件毎に記憶装置内に保持されており、上述の印刷情報データに応じて画像処理条件が選択され、立体感制御部４０１に入力されるものとする。
【００４９】
ステップＳ６０４では、入力画像データとデフォーカスマップ、出力装置１０２の出力特性に基づいて定められた画像処理条件によって、画像の立体感を制御する。なお、立体感制御部４０１における処理の詳細と、画像処理条件の詳細については後述する。
【００５０】
次に、ステップＳ６０５では、出力画像生成部４０２は、立体感制御部４０１から出力される画像データ（ＲＧＢ）に対して、インクジェット記録ヘッドからインクを吐出して画像を記録するために用いるデータを生成する。生成処理はデバイス非依存のＲＧＢデータをデバイス依存のＲＧＢデータに変換する色変換処理、デバイス依存のＲＧＢデータからインク色データに変換するインク色分解処理、記録装置の階調特性に線形的に対応づけるよう階調補正を行う階調補正処理を含む。さらに、インク色データをインクドットのＯＮ／ＯＦＦの情報である中間調処理、記録ヘッドの各記録走査で記録される２値データを生成するマスクデータ変換処理等が実行される。いずれもインクジェットプリンタにおいては一般的な処理であり、この実施例の根幹に関わる部分ではないため、詳細な説明は割愛する。
【００５１】
最後に、ステップＳ６０６では、出力画像生成部４０２で生成された出力データを印刷部１１１に転送し、その出力データに基づいて記録媒体上に画像を記録する。
【００５２】
＜出力装置における立体感＞
ここでは、出力装置１０２の鮮鋭性に影響する出力特性と立体感の制御について説明する。
【００５３】
人間は、カメラなどで撮影された２次元画像を見る際、合焦している（ピントが合っている）合焦領域を含む許容合焦領域と、合焦していない（ボケている）非許容合焦領域の鮮鋭感の差から画像の奥行き感や立体感を感じている。
【００５４】
一方、ここで述べているプリンタなどの出力装置を通して画像を出力すると、例えば、記録媒体やインクの滲みによる画像の鮮鋭性の低下や、入力画像データを記録媒体サイズ（プリントサイズ）に変倍する解像度変換処理により、画像の鮮鋭性が低下する。ディスプレイやプロジェクタでも同様に出力画像においては画像の鮮鋭性が低下する。
【００５５】
図１３はコントラストと空間周波数（サイクル／度）との関係を示す図である。
【００５６】
図１３（ａ）は、デフォーカス量が０（後述する図７でのｄ０）である合焦領域の入力特性を実線で、出力特性を破線で示している。同様に、図１３（ｂ）は、特定のデフォーカス量（後述する図７のｄｘ）の非合焦領域の入力特性を実線で、出力特性を破線で示している。後述する図７では解像度変換処理として拡大処理を行った例を示しているが、図１３では説明をわかり易くするため解像度変換処理を等倍処理としている。
【００５７】
図１３に示すように、出力装置の出力特性による入力画像の鮮鋭性の変化は、入力データとして鮮鋭性の高い（ピントが合っている）許容合焦領域では大きく変化し、入力データとして鮮鋭性の低い（ボケている）非許容合焦領域では殆ど変化しない。よって、各領域で鮮鋭性の変化の度合いが異なる。より詳細には、デフォーカス量毎に鮮鋭性の低下特性が異なることになる。そのため、入力画像に立体感に影響していた許容合焦領域と非許容合焦領域の鮮鋭性の関係が、出力画像で維持されない。
【００５８】
図７はコントラストと空間周波数（サイクル／度）との関係を示す図である。図７において、実線ｄ０はデフォーカス量が０、つまり、合焦領域におけるコントラストを示しており、点線ｄｘはデフォーカス量がｄｘ、つまり、非許容合焦領域におけるコントラストを示している。
【００５９】
なお、図７では、説明を簡略にするため、合焦領域の画像の空間周波数特性と非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数特性が同じ周波数にピークを持つ画像として扱う。ここでは、入力画像を記録媒体サイズに変倍するために拡大処理を行ってプリンタに出力することとする。図７に示す出力特性は、出力装置に起因する鮮鋭性の劣化要因が反映された出力特性であり、鮮鋭性の劣化要因は前述したように解像度変換処理や記録媒体やインクの滲み等である。また、ここでは、解像度変換処理として拡大処理を例に挙げているが、解像度変換処理は等倍処理・縮小処理でも問題ない。
【００６０】
ボケによる立体感がある入力画像では、特定の空間周波数における入力画像データの合焦領域の鮮鋭性を示すコントラスト値Ｃ１と、非合焦領域の鮮鋭性を示すコントラスト値Ｃ２が図７（ａ）に示す関係となる。この入力画像を拡大すると図７（ｂ）に示すようにコントラスト値Ｃ１とＣ２は、Ｃ１’とＣ２’に変化する。
【００６１】
図７（ａ）と図７（ｂ）から明らかなように、出力装置１０２の出力特性によって入力画像の鮮鋭性の変化量が、合焦領域と非合焦領域で異なる。そのため、立体感に影響する鮮鋭性の差７０２（コントラスト値Ｃ１’とＣ２’の差）が、入力画像における鮮鋭性の差７０１（コントラスト値Ｃ１とＣ２の差）より小さくなり、適切な立体感が得られない出力画像となる。従って、前述のデフォーカス量に相当する画像のボケの状態と出力装置１０２の鮮鋭性に影響する出力特性に基づいて、適切に鮮鋭性を制御することで、立体感のある出力画像を得ることができる。
【００６２】
後述する画像出力条件に設定される出力装置１０２の出力特性に基づいたデフォーカス量と立体感制御量の関係を用いて画像の鮮鋭性を適切に制御した出力画像では、合焦領域と非合焦領域のコントラスト値の関係は図７（ｃ）となる。図７（ｃ）で示すＣ１”は合焦領域のコントラスト値、Ｃ２”は非合焦領域のコントラスト値である。
【００６３】
図７（ｃ）に示すように、画像出力条件に基づいて立体感制御処理を実行した出力画像では、処理をしない場合の鮮鋭性の差７０２（コントラスト値Ｃ１’とＣ２’の差）に対して、鮮鋭性の差７０３（コントラスト値Ｃ１”とＣ２”の差）が大きくなる。
【００６４】
これにより、入力画像における鮮鋭性の差７０１（コントラスト値Ｃ１とＣ２の差７０１）に近くなっているため、適切な立体感を得ることができる。
【００６５】
図７では、説明を簡略にするため、合焦領域の画像の空間周波数と非合焦領域に含まれる特定のデフォーカス量に対応する画像の２点に対するコントラストを比較した。前述の関係は、合焦領域と非許容合焦領域の別のデフォーカス量に対応する画像についても成立する。また、許容合焦領域に含まれる特定のデフォーカス量に対応する画像と非許容合焦領域に含まれる特定のデフォーカス量に対応する２点においても前述の関係は成立する。
【００６６】
画像の鮮鋭性に影響する画像特性としてコントラスト値を取り上げたが、出力装置１０２の出力特性による合焦領域と非合焦領域の画像の鮮鋭性の変化については、鮮鋭度を示す空間周波数特性においても同じ関係が説明できることは自明である。
【００６７】
＜立体感制御処理（図８〜図９）＞
ここでは、立体感制御部４０１が実行する立体感制御処理について説明する。
【００６８】
立体感制御部４０１では、画像処理条件に設定されている鮮鋭性の制御パラメータにより入力画像データの鮮鋭性を制御する。画像処理条件には各デフォーカス量に対する立体感制御量が設定されている。
【００６９】
図８は画像処理条件に設定されているデフォーカス量と立体感制御量の関係を示す図である。なお、画像処理条件の作成方法については後述する。
【００７０】
立体感制御部４０１は、入力画像データの各画素の輝度情報に対して、処理対象画素のデフォーカスマップのデフォーカス量を参照しながら、画像処理条件に設定された立体感制御量を適用してシャープネス処理を行う。シャープネス処理では、例えば、Ｌａｐｌａｃｉａｎ  Ｏｆ  Ｇａｕｓｓｉａｎフィルタ（式（４））やアンシャープマスクを用いる。式（５）に式（４）に示すＬａｐｌａｃｉａｎ  Ｏｆ  Ｇａｕｓｓｉａｎフィルタを用いた際の入力画像データの輝度情報の変換式を示す。即ち、
ｈ（ｘ，ｙ）＝（ｘ2+ｙ2−２σ2）／（２πσ2 ）・
ｅｘｐ［−（ｘ2＋ｙ2）／（２σ2 ）］……（４）
Ｏｕｔ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−β×ｈ（ｘ，ｙ）×Ｉ（ｘ，ｙ） ……（５）
である。ここで、Ｏｕｔ（ｘ，ｙ）は立体感制御処理後の画像データ、βは画像処理条件に設定されるデフォーカス量に対する立体感制御量である。
【００７１】
図８において、デフォーカス量ｄ＝０でのβ＝β１は入力画像の合焦領域に対する制御量を示す。また、デフォーカス量ｄ１は図４（ｂ）に示す許容合焦領域と非許容合焦領域の境界の値である。さらに、デフォーカス量ｄ２はデフォーカスマップに含まれる最大のデフォーカス量である。
【００７２】
なお、図８では立体感制御量を示しているが、図１３に示したように、デフォーカス量ｄ＝０である合焦領域では、出力装置での出力による鮮鋭度の変化が大きいため、立体感制御量は大きな値をとる。一方で、デフォーカス量がｄ１より大きな値をとる非合焦領域では、鮮鋭度の変化が合焦領域と比較して小さいため、立体感制御量も合焦領域と比較して小さい値をとる。そのため、出力画像において、出力装置１０２の出力特性を考慮した適切な立体感を得るために、図８（ａ）〜図８（ｃ）に示すように、入力画像内の合焦領域の画素に対する立体感制御量が最も大きくなるように画像処理条件を設定する。さらに、非合焦領域の立体感制御量はデフォーカス量が大きくなるほど制御量が小さくなるように、つまり単調減少となるように設定するとよい。
【００７３】
合焦面からの距離に相当するデフォーカス量が画像のボケ量に対応する値である場合、図８（ａ）に示すように、デフォーカス量と立体感制御量は非線形な関係をもち、デフォーカス量が像ずれ量に対応する場合、図８（ｂ）に示すように、線形な関係をもつ。
【００７４】
一方、図８（ｃ）に示すように、非許容合焦領域について立体感制御量を０としても前述のように許容合焦領域と非許容合焦領域の鮮鋭性の差は入力画像における許容合焦領域と非許容合焦領域の鮮鋭性の差に近づき、出力画像の立体感を得ることは可能である。
【００７５】
上記の制御量は、記録媒体の特性やインクの特性、記録媒体サイズによって異なる。これは、記録媒体やインク特性毎に、インクの滲み等よる画像の鮮鋭性の低下の度合が異なるとともに、記録媒体サイズによって解像度変換処理の変倍率が異なるためである。
【００７６】
図９は記録媒体の特性やインクの特性、記録媒体サイズによって立体感制御量が異なることを示す図である。図９（ａ）と図９（ｂ）において、破線は図８（ａ）に示したのと同じ出力特性を示している。
【００７７】
さて、図９（ａ）における実線は、図８（ａ）と異なる条件で画像を出力した際のデフォーカス量に対する立体感制御量を示している。図９（ａ）が示す出力特性は、図８（ａ）のそれと比べて、例えば、インクの滲みが大きい、もしくは変倍率が大きいために立体感制御量が大きい場合を示している。これに対して、図９（ｂ）が示す出力特性は、図８（ａ）のそれと比べてインクの滲みが小さい、もしくは変倍率が小さいために立体感制御量が小さい場合を示している。
【００７８】
なお、シャープネス処理に使用するフィルタは、Ｌａｐｌａｃｉａｎ  Ｏｆ  Ｇａｕｓｓｉａｎフィルタだけに限定されるものではない。例えば、出力装置の鮮鋭性の低下情報の逆特性を求めて作成されたフィルタ（特定フィルタ）を用いてシャープネス処理を行って、鮮鋭性を調整制御しても良い。
【００７９】
また、以上の説明では、鮮鋭性を制御する処理としてシャープネス処理を例にしたが、これはコントラスト処理でもよい。具体的には、図８（ｄ）に示すように、合焦領域を含む許容合焦領域の入力画像データの各画素の輝度値のコントラストが高くなるように輝度変換を行う。輝度変換については立体感制御量を係数とする変換式を用いる方法や入力画像データの各画素の輝度値から生成したヒストグラムを均等化することでコントラストを高める方法等があるが、コントラストが制御できれば、もちろんこれに限らない。
【００８０】
シャープネス処理とコントラスト処理のどちらも処理も出力画像の鮮鋭性を制御することができるため、出力装置の特性に応じて、どちらかの処理を選択する、あるいは２つの処理を組み合わせて使用してもよい。
【００８１】
＜画像処理条件（図１０〜図１２）＞
ここでは、立体感制御処理での画像処理条件の作成方法について説明する。
【００８２】
図１０は計測用画像の例を示す図である。
【００８３】
画像処理条件として設定するパラメータは、例えば、図１０に示すような計測用画像をプリンタやディスプレイ、プロジェクタ等の出力装置で出力し、測定装置（不図示）を用いて取得した出力装置の出力画像の周波数特性（ＭＴＦ特性）から算出する。なお、測定装置を用いて出力画像を実測するのではなく、出力画像を生成する際における各画像処理をＰＣ上でシミュレートして得られた画像から出力装置のＭＴＦ特性を算出しても良い。
【００８４】
図１０に示すサンプル画像は、ピントが合っている合焦面に対応する画像群１００１、あるデフォーカス量における入力画像のボケ量に相当するボケで表現された複数の画像群１００２から構成されている。より詳細には、周波数の異なる複数の矩形パターンあるいは正弦波パターン、均一パターン１００３、１００４を含むチャートである。
【００８５】
なお、図１０に図示した例は、周波数の異なる複数の正弦波パターンからなる画像群１００１、１００２である。均一パターン１００３、１００４は夫々正弦波パターン上の最大画素値と最小値の画素値で構成される。
【００８６】
図１１は画像処理条件の作成方法を示すフローチャートである。
【００８７】
まず、ステップＳ１１０１では、出力装置１０２から図１０に示した計測用画像を出力する。次に、ステップＳ１１０２では、出力装置１０２で出力した計測用画像を測定装置を用いて測定し、ＭＴＦ特性算出に必要な情報を取得する。
【００８８】
計測用画像が図１０に示したような周波数の異なる正弦波パターンである場合、ステップＳ１１０３では、ＭＴＦ特性を式（６）或いは式（７）を用いて算出する。この値は、光学伝達関数の絶対値を意味する。出力画像の平均明度が変化する場合は式（７）を用いることが好ましい。式（６）と式（７）は以下の通りである。即ち、
ＭＴＦ（ｕ）＝｛Ｃ（ｕ）｝／Ｃ’……（６）
ｕ：正弦波の周波数
Ｃ（ｕ）＝｛Ｍａｘ（ｕ）−Ｍｉｎ（ｕ）｝／｛Ｍａｘ（ｕ）＋Ｍｉｎ（ｕ）｝
Ｃ’＝｛（Ｒ１−Ｒ２）｝／｛（Ｒ１＋Ｒ２）｝
Ｍａｘ（ｕ）：周波数で変化する正弦波パターンの最大反射率
Ｍｉｎ（ｕ）：周波数で変化する正弦波パターンの最小反射率
Ｒ１、Ｒ２：均一パターンの反射率（Ｒ１＞Ｒ２）
ＭＴＦ（ｕ）＝｛Ｍａｘ（ｕ）−Ｍｉｎ（ｕ）｝／｛Ｒ１−Ｒ２｝……（７）
である。なお、式（６）や（７）におけるＲ１、Ｒ２の値は反射率としたが、輝度や濃度やデバイスＲＧＢ値を用いてもよいことは言うまでもない。また、計測装置としては、出力装置がプリンタである場合は、例えば、スキャナやデジタルカメラ、顕微鏡であり、ディスプレイやプロジェクタの場合は、デジタルカメラを用いることができる。
【００８９】
また、計測用画像が矩形波パターンである場合、出力装置のＭＴＦ特性は、式（６）又は式（７）を適用することで得られるコントラスト伝達関数（ＣＴＦ）で表現される。あるいは、ＣＴＦ値をコルトマン補正式で変換したＭＴＦ値を用いてもよい。
【００９０】
以上説明した方法により、計測用画像に含まれる合焦面に対応する画像群１００１および任意のデフォーカス量に対応する画像群１００２夫々の画像の周波数特性（ＭＴＦ特性）が取得される。
【００９１】
図１２は周波数特性の例を示す図である。
【００９２】
図１２において、実線（Ｄ０）は合焦面に対応する画像群１００１の特性、点線（Ｄ１）は許容合焦領域に含まれるデフォーカス量に対応する画像群の特性、破線（Ｄ２）は非許容合焦領域に含まれるデフォーカス量に対応する画像群の特性を示している。
【００９３】
これにより、デフォーカス量ごとに、ＭＴＦ特性が取得できる。つまり、デフォーカス量毎の出力装置の鮮鋭性に関する出力特性が得られる。
【００９４】
一方、出力画像で適切な立体感を得るためには、立体感制御処理を適用しない場合と比較して、これを適用した際の出力画像の許容合焦領域と非許容合焦領域の鮮鋭性の差が、入力画像における許容合焦領域と非許容合焦領域の鮮鋭性の差に近づく必要がある。言い換えると、出力画像において許容合焦領域と非許容合焦領域の鮮鋭性の差を適切に制御するためには、デフォーカス量毎の出力装置の鮮鋭性に影響する出力特性に応じて立体感制御量を設定することが必要である。
【００９５】
具体的には、ステップＳ１１０４において、特定周波数における出力画像の合焦領域の鮮鋭性あるいは周波数特性を入力画像の鮮鋭性あるいは周波数特性に鮮鋭化処理によって復元するように立体感制御量を設定する。同様に非合焦領域に対してもデフォーカス量毎に得られるＭＴＦ特性から復元量を算出し立体感制御量とする。これにより、図８に示すデフォーカス量に対する立体感制御量が算出される。
【００９６】
デフォーカス量と鮮鋭度の関係は、図８に示したデフォーカス量を入力として立体感制御量を出力とする関係式として設定する方法、ＬＵＴ方式でパラメータを選択して設定する方法等がある。
【００９７】
もちろんこれに限らず、デフォーカス量に対する立体感制御量を算出できるのであれば、どのような方法でもよい。また、立体感制御量はＭＴＦ特性を復元する値に限らない。画像処理条件に設定される出力装置１０２の出力特性に基づいたデフォーカス量と鮮鋭化制御量に応じた鮮鋭化処理をしない場合の鮮鋭性の差に対して、処理を行った場合の鮮鋭性の差が大きくなることを満足すると、出力画像で適切な立体感を得られる。さらには、図８に示す合焦面の制御量β１は、画像のＭＴＦ特性を０．８から１．２に復元するように設定すると、出力画像における合焦面の鮮鋭性が好ましい画像が得られる。
【００９８】
最後に、ステップＳ１１０５では、上述のように、デフォーカス量に応じた出力装置１０２の鮮鋭性に関する出力特性から導出される画像処理条件を設定する。
【００９９】
従って以上説明した実施例に従えば、入力画像データに対して設定された画像処理条件に基づいてデフォーカスマップを用いて画像処理することで、出力画像の立体感を制御することができる。
【０１００】
ここで、図１０に示した計測画像を利用して、許容合焦領域を定義する方法について説明する。計測画像（図１０）には、合焦面に対応する画像とあるデフォーカス量における入力画像のボケ量に相当するボケで表現された複数の画像群が含まれる。このため、この画像群を出力装置で表示あるいは出力し、被験者に合焦面に対応する画像と比較して鮮鋭性の差が小さい（ピントが合っている）と感じる別の画像群を選択させることで、許容合焦領域を定義するデフォーカス量を決定することができる。
【０１０１】
表示装置や出力物により被験者実験を実施する場合には、出力装置による鮮鋭性の低下や変化を考慮する必要がある。被験者が見る画像は鮮鋭性の変化や低下をキャンセルしたあるいは軽減したものでなければ、許容合焦領域を好適に定義することができない。そのため、好ましくは鮮鋭性の低下や変化の少ない出力装置を使用するか前述のＭＴＦ特性から逆フィルタ等を作成して鮮鋭性の変化や低下をキャンセルしたあるいは軽減したものを表示する。
【０１０２】
また、許容合焦領域を定義する別の方法として、次のようにもできる。まず、各画像群の周波数特性に人間の視覚特性（ＶＴＦ）やコントラスト感度関数を適用して各画像群の鮮鋭性を算出する。そして、合焦面に対応する画像とあるデフォーカス量における入力画像のボケ量に相当するボケで表現された複数の画像群の鮮鋭性の差から許容合焦領域を定義するのである。この場合、前述の鮮鋭性の差が任意の閾値以下になる画像群を作成したデフォーカス量で許容合焦領域を定義する。任意の閾値については、例えば、合焦面に対応する画像に対しての応答特性を１とした場合、その差が０．８以上になるように定義する。
【０１０３】
なお、以上説明した実施例では、画像処理条件としてデフォーカス量と立体感制御量の関係を例に説明したが、合焦面からの距離に相当する情報である像ずれ量もしくは合焦面と被写体との距離と立体感制御量の関係を画像処理条件としてもよい。
【０１０４】
また、以上説明した実施例では、写真画像の画像データとしてカメラ等の撮像装置で撮影したデータ、合焦面からの距離に相当する情報として撮影時のデフォーカス量を用いる形態を説明した。しかし、撮像して得られた写真画像を画像編集用のソフトウェアで編集して焦点位置の補正を行い、その際に合わせて画像中の領域毎のフォーカス量も変更することもある。その場合には、補正後の画像データと変更後のデフォーカス量を用いてもよい。また、撮像装置側でフォーカス量を取得せずに、撮像した画像を画像編集用のソフトウェアで解析し、その解析によりフォーカス量を取得するようにしてもよい。
また、これらに限らず、例えばモデリング、レンダリング、画像編集用のソフトウェア等で作成した写真画像のデータと、その画像データに対応するソフトで作成された合焦面からの距離に相当する情報を使用することもできる。これらのソフトウェアでは、合焦面からの距離に相当する情報であるマップを用いて画像のボケ情報等を生成する場合がある。
【０１０５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０６】
１０１  パーソナルコンピュータ装置（ホスト装置）、１０２  出力装置（プリンタ）、
１１０  画像処理部、１１１  印刷部、２０１  合焦面、２０２  レンズ、
２０３  像面、３０１  被写体、４０１  立体感制御部、４０２  出力画像生成部
【図１】
2019146149.tif 000003
【図２】
2019146149.tif 000004
【図３】
2019146149.tif 000005
【図４】
2019146149.tif 000006
【図５】
2019146149.tif 000007
【図６】
2019146149.tif 000008
【図７】
2019146149.tif 000009
【図８】
2019146149.tif 000010
【図９】
2019146149.tif 000011
【図１０】
2019146149.tif 000012
【図１１】
2019146149.tif 000013
【図１２】
2019146149.tif 000014
【図１３】
2019146149.tif 000015