(57)【要約】【課題】合焦面からの距離に相当する情報を利用する画像処理で、意図した効果が得られない場合、例えば、編集済の画像データを用いて記録装置で画像を印刷する場合、記録装置側の劣化補正を適切に行えず、立体感のある画像が得られないという問題がある。【解決手段】被写体を撮像することにより得られた画像データを編集し、編集済の画像データを出力装置に出力する画像処理装置において以下の処理を行う。即ち、前記被写体を撮像した際に得られる編集前の画像データに対応する撮像の際の合焦面からの距離に相当する情報を取得する。次に、前記編集済の画像データと前記取得された前記編集前の画像データに対応する合焦面からの距離に相当する情報に基づいて、前記編集済の画像データに対応する合焦面からの距離に相当する情報を生成する。【選択図】  図６
2020010146.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像することにより得られた画像データを編集し、編集済の画像データを出力装置に出力する画像処理装置であって、
前記被写体を撮像した際に得られる編集前の画像データに対応する撮像の際の合焦面からの距離に相当する情報を取得する取得手段と、
前記編集済の画像データと前記編集前の画像データに対応する合焦面からの距離に相当する情報に基づいて、前記編集済の画像データに対応する合焦面からの距離に相当する情報を生成する生成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記出力装置から出力される画像の鮮鋭性に影響する出力特性に基づいて、画像処理を実行するための画像処理条件を設定する設定手段と、
前記生成手段により生成された前記編集済の画像データに対応する合焦面からの距離に相当する情報と前記設定手段により設定された画像処理条件とを用いて前記編集後の画像データを画像処理する画像処理手段とをさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合焦面からの距離に相当する情報として、前記画像データの各画素に対応するデフォーカス量、又は、前記合焦面から前記被写体までの距離、又は、視差量を用いることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像処理条件は前記合焦面からの距離に相当する情報に対する立体感制御量を含み、
前記画像処理手段は立体感制御処理を含むことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記合焦面からの距離に相当する情報が大きくなるに従って画像の立体感を表す鮮鋭度が単調減少するように制御する画像処理を実行することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像処理手段は前記鮮鋭度を制御する画像処理として前記被写体の撮像の際に合焦領域を含む許容合焦領域において前記画像データが表す輝度値のコントラストが高くなるように輝度変換を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記生成手段は、
前記編集済の画像データに基づいて、前記編集済の画像データが表す画像を複数の領域に分割する分割手段と、
前記分割手段により分割された複数の領域ごとに、該領域の合焦面からの距離に相当する情報を算出する算出手段とを含むことを特徴とする請求項３乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記算出手段は、前記領域に含まれる複数の画素それぞれの合焦面からの距離に相当する情報の中央値を前記領域の合焦面からの距離に相当する情報とすることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記取得手段はさらに前記合焦面からの距離に相当する情報に対する信頼度を表す信頼度情報を取得し、
前記算出手段は、前記信頼度情報に基づいて、前記領域の合焦面からの距離に相当する情報が信頼できるかどうかを判断することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、パーソナルコンピュータ又は前記出力装置に含まれることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記出力装置は、インクを記録媒体に吐出して画像を記録するインクジェットプリンタであることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
コンピュータを請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１３】
被写体を撮像することにより得られた画像データを編集し、編集済の画像データを出力装置に出力する画像処理装置における画像処理方法であって、
前記被写体を撮像した際に得られる編集前の画像データに対応する撮像の際の合焦面からの距離に相当する情報を取得する取得工程と、
前記編集済の画像データと前記取得工程において取得された前記編集前の画像データに対応する合焦面からの距離に相当する情報に基づいて、前記編集済の画像データに対応する合焦面からの距離に相当する情報を生成する生成工程とを有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、プリンタに出力した画像の立体感を効果的に制御する画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
人間は目で見たものを立体的に知覚しており、これは脳が両眼の手がかりと単眼の手がかり、また運動視差等をもとに知覚していると考えられている。両眼の手がかりとしては、両眼での網膜像の差である網膜視差などがある。さらに、単眼の手がかりとしては、線遠近法や物体の大きさ、肌理の勾配、陰影、大気遠近やボケの効果等が挙げられる。これらの１つ以上の手がかりを利用して、人間は立体感、つまり「もの」の奥行きや厚みや深さ、「もの」の前後関係を知覚しているのである。
【０００３】
またカメラなどの撮像装置で撮影され、表示、投影あるいは印刷された２次元画像を見る際には、ピントが合っている部分と、奥行きに応じてボケている部分のボケ方の差から画像の立体感を感じている。つまり、画像の合焦している（ピントがあっている）部分と、合焦していない（ボケている）部分の再現が立体感にとって重要となる。
【０００４】
特許文献１は、カメラから得られた深度マップの品質をノイズがあるピクセル値の形態と補間された「フライング・ピクセル」値の形態とのうちの少なくともいずれかであり得る欠陥ピクセルを検出することにより向上させる方法を提案している。このように、撮像装置の視差情報や２台の撮像装置の視差情報から得られた合焦面からの距離に相当する情報（深度値やデフォーカス量）は、様々な画像処理に活用されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第６１４３７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
さて、撮像装置から得られた視差情報や２台の撮像装置から得られた視差情報、また、その視差情報を特許文献１に開示の方法で品質を向上した深度マップ等の合焦面からの距離に相当する情報は、撮像された画像データに一対で対応する情報である。そのため、その画像データが編集された場合、編集済の画像データと合焦面からの距離に相当する情報の対応関係が崩れてしまう。
【０００７】
その結果、合焦面からの距離に相当する情報を利用する画像処理で、意図した処理効果が得られない場合があるという問題があった。例えば、編集済の画像データを用いて記録装置（プリンタ）で画像を印刷する場合、記録装置側の劣化補正を適切に行えず、立体感のある画像が得られないという問題があった。
【０００８】
本発明は上記従来例に鑑みてなされたもので、撮像した画像に画像処理を施した編集済の画像データであっても人間が感じる画像の立体感を適切に表現できるよう処理可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明の画像処理装置は次のような構成からなる。
【００１０】
即ち、被写体を撮像することにより得られた画像データを編集し、編集済の画像データを出力装置に出力する画像処理装置であって、前記被写体を撮像した際に得られる編集前の画像データに対応する撮像の際の合焦面からの距離に相当する情報を取得する取得手段と、前記編集済の画像データと前記編集前の画像データに対応する合焦面からの距離に相当する情報に基づいて、前記編集済の画像データに対応する合焦面からの距離に相当する情報を生成する生成手段とを有することを特徴とする。
【００１１】
また本発明を別の側面から見れば、コンピュータに上記構成の画像処理装置の各手段として機能させるためのプログラムを備える。
【００１２】
さらに本発明を別の側面から見れば、被写体を撮像することにより得られた画像データを編集し、編集済の画像データを出力装置に出力する画像処理装置における画像処理方法であって、前記被写体を撮像した際に得られる編集前の画像データに対応する撮像の際の合焦面からの距離に相当する情報を取得する取得工程と、前記編集済の画像データと前記取得工程において取得された前記編集前の画像データに対応する合焦面からの距離に相当する情報に基づいて、前記編集済の画像データに対応する合焦面からの距離に相当する情報を生成する生成工程とを有することを特徴とする画像処理方法を備える。
【発明の効果】
【００１３】
本発明によれば、撮像した画像に画像処理を施した編集済の画像データであっても人間が感じる画像の立体感を適切に表現できるよう処理することができるという効果がある。
【図面の簡単な説明】
【００１４】
【図１】本発明の代表的な実施例である画像処理システムの概略構成を示すブロック図である。
【図２】合焦面、像ずれ量とデフォーカス量の関係を示す図である。
【図３】撮像装置における合焦物体距離、合焦像物体に対する撮像面距離、物体距離、合焦面から物体までの距離の関係を示す図である。
【図４】デフォーカスマップを説明する図である。
【図５】画像処理部の構成とその画像処理の概要を示す図である。
【図６】デフォーカスマップ再生成処理の詳細を示すフローチャートである。
【図７】特定のデフォーカス量における画像の合焦領域と非合焦領域の特定の周波数でのコントラストの関係を示す図である。
【図８】デフォーカス量と立体感制御量の関係を示す図である。
【図９】記録媒体や記録媒体サイズが異なる場合のデフォーカス量と立体感制御量の関係を示す図である。
【図１０】出力画像の周波数特性（ＭＴＦ特性）を算出するための計測用画像を示す図である。
【図１１】画像処理条件の作成処理を示すフローチャートである。
【図１２】合焦面および任意のデフォーカス量に対応する画素群の周波数特性（ＭＴＦ特性）を例示した図である。
【発明を実施するための形態】
【００１５】
以下添付図面を参照して本発明の好適な実施例について、さらに具体的かつ詳細に説明する。なお、既に説明した部分には同一符号を付し重複説明を省略する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
【００１６】
なお、この明細書において、「記録」（「プリント」「印刷」という場合もある）とは、文字、図形等有意の情報を形成する場合のみならず、有意無意を問わない。また人間が視覚で知覚し得るように顕在化したものであるか否かを問わず、広く記録媒体上に画像、模様、パターン等を形成する、または媒体の加工を行う場合も表すものとする。
【００１７】
また、「記録媒体」（「シート」という場合もある）とは、一般的な記録装置で用いられる紙のみならず、広く、布、プラスチック・フィルム、金属板、ガラス、セラミックス、木材、皮革等、インクを受容可能なものも表すものとする。
【００１８】
さらに、「インク」（「液体」と言う場合もある）とは、上記「記録（プリント）」の定義と同様広く解釈されるべきものである。従って、記録媒体上に付与されることによって、画像、模様、パターン等の形成または記録媒体の加工、或いはインクの処理（例えば記録媒体に付与されるインク中の色剤の凝固または不溶化）に供され得る液体を表すものとする。
【００１９】
なお、以下の説明では、画像を出力する出力装置の一例としてインクジェットプリンタとして説明するが、電子写真方式を採用したレーザビームプリンタやインクリボンに塗布されたインクを加熱して昇華し記録に用いる昇華型プリンタを用いても良い。
【００２０】
＜画像処理システムの概要（図１〜図４）＞
図１は本発明の代表的な実施例である画像処理装置を用いた画像処理システム（以下、システム）の全体構成を示すブロック図である。図１に示されているように、このシステムは、パーソナルコンピュータ装置（ＰＣ）１０１（以下、ＰＣ）と出力装置１０２とから構成されている。そして、ＰＣ１０１と出力装置１０２とは有線／無線ネットワークやＵＳＢまたはローカルバスなどのインタフェースで接続されている。
【００２１】
ＰＣ１０１は、出力装置１０２への印刷制御指示、必要な情報および画像データの転送などを行う。記憶装置１０５にはＯＳ、システムプログラムや各種アプリケーションおよび各種処理に必要なパラメータデータを記憶している。記憶装置１０５は、ハードディスク（ＨＤ）、半導体ディスク（ＳＳＤ）やフラッシュＲＯＭなどの書き換え可能な記憶媒体で構成される。ＣＰＵ１０４は、記憶装置１０５に格納されたソフトウェアを実行するにあたりＲＡＭなどの作業メモリ１０７を用いて処理を実行する。ユーザインタフェースとなる操作部（以下、ＵＩ）１０６は、上記処理の実行に関して、ユーザからの入力やユーザに対する表示に関する処理を行うために、キーボードやポインティングデバイス等の入力機器やディスプレイ等の表示機器を含む。また、データ入出力装置１０８は、ＳＤカード等の外部記憶媒体とのデータの入出力を行う。また、デジタルカメラなどの撮像装置（不図示）をデータ入出力装置１０８やデータ転送部１０９へ直接接続して外部記憶媒体を介さずにデータの受渡しを行ってもよい。
【００２２】
出力装置１０２は、データ転送部１０９、プリンタ制御部１１２、後述する画像処理部１１０、印刷部１１１から構成される。出力装置１０２にＰＣ１０１から印刷データが送信される。
【００２３】
印刷データは、
（１）撮像装置で被写体を撮像することで得られる写真データの画像データと、
（２）その画像データと画像データに対応した撮影時の合焦面からの距離に相当する情報と、
（３）記録媒体の固有データである画像処理パラメータ、プリンタ制御データと、
（４）ＵＩ上で選択した印刷品位や記録媒体等の印刷情報データと
で構成される。後述する撮影時の合焦面からの距離に相当する情報とは、デフォーカス量や像ずれ量、実際の合焦面から物体までの距離である。
【００２４】
ここでは、デジタルカメラ等の撮像装置で生成されたデータとして説明するが、それに限らず、実際に距離を測定した情報から生成されたデータであってもよい。また、例えば入力画像データのボケ量を解析した結果から生成されたデータおよびその他撮影時のデータを併用したデータでもよい。入力画像データや合焦面からの距離に相当する情報は、撮像装置内で生成されてもよいし、撮像装置に接続されたＰＣ１０１または出力装置１０２で生成されてもよい。
【００２５】
また、合焦面からの距離に相当する情報を生成するための情報を撮像装置から取得し、撮像装置に接続されたＰＣ１０１や出力装置１０２内で合焦面からの距離に相当する情報を生成してもよい。または、撮像装置はＰＣ１０１に接続され、ＰＣ１０１を経由して合焦面からの距離に相当する情報を生成するための情報を取得した出力装置１０２で生成されてもよい。ここで、合焦面からの距離に相当する情報を生成するための情報とは、例えば、撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる対の画像などである。
【００２６】
データ転送部１０９は、ＰＣ１０１から送信された印刷データから、入力画像データと撮影時の合焦面からの距離に相当するデータと画像処理パラメータを取り出して画像処理部１１０に転送し、プリンタ制御データをプリンタ制御部１１２に転送する。ここでの入力画像データは、ＰＣ１０１内で記憶装置１０５にプログラムとして記憶されている解像度変換処理によってユーザ設定した記録媒体のサイズに変倍されたデータである。また、解像度変換処理は、出力装置１０２内の画像処理部１１０内で同様に処理されてもよい。また、このシステムでは、画像処理部１１０は出力装置１０２内にあるとしているが、これをＰＣ１０１内に構成もよい。
【００２７】
また、画像処理パラメータやプリンタ制御データはＰＣ１０１中の記憶装置１０５や、出力装置１０２内のハードディスクやＲＯＭ等の記憶装置（不図示）に記憶されている。しかしながら、これらが、印刷データ内の印刷情報データをもとに選択され、画像処理部１１０とプリンタ制御部１１２に転送される構成でもよい。プリンタ制御部１１２はプリンタ制御データに従って印刷部１１１の動作を制御する。印刷部１１１では、インクジェット方式に従った記録ヘッドからインクと吐出して記録媒体に画像を形成して印刷を行う構成としている。
【００２８】
図２は被写体の撮影時の合焦面、像ずれ量とデフォーカス量の関係を説明するための図である。
【００２９】
図２において、合焦面２０１は撮像装置において像面（撮像面）２０３と平行でピントの合う平面のことである。また、デフォーカス量２０５は、像面２０３とデフォーカスした撮像面位置２０４との差（予定結像面と実際の結像面との差）であり、ボケ量に比例している。デフォーカス量２０５は、従来から瞳分割型位相差検出方式やボケの異なる複数の画像を用いてデフォーカス量を検出する撮像装置が知られている。
【００３０】
例えば、特開２００８−１５７５４号公報では、図２に示す画像の像ずれ量（視差量）２０６からデフォーカス量２０５を算出する方法が開示されている。撮影レンズの射出瞳の異なる領域を通過した光をそれぞれ光電変換して得られる一対の画素データに対して、データを相対的にずらしながら相関値を演算し、最も相関が高くなる像ずれ量２０６が視差量となる。
【００３１】
さらに算出した像ずれ量２０６に対して、撮像素子の画素ピッチとレンズに応じて決定される変換係数を用いて被写体像面の予定結像面に対するデフォーカス量２０５を算出する。また、特開２０１３−２５３９６４号公報では、Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ（ＤＦＤ）方式でデフォーカス量を算出する方法が開示されている。ＤＦＤ方式は、撮像光学系の撮影パラメータを制御することでボケの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのボケの相関量を算出してデフォーカス量を算出する。
【００３２】
次に合焦面と被写体との距離を算出する方法について説明する。
【００３３】
図３は合焦面と被写体とレンズと像面との関係を示す図である。
【００３４】
図３において、レンズ２０２と合焦面２０１の距離（ＯＢＪ（０））と、レンズ２０２と像面２０３の距離（Ｓ（０））と、被写体３００とレンズ２０２の距離（ＯＢＪ（ｄｅｆ））と、合焦面２０１と被写体３００の距離Ｌと間にはレンズの公式が成立する。言い換えると、以下の式（１）、（２）が成立するため、物体距離ＯＢＪ（ｄｅｆ）は式（３）で算出することが可能である。即ち、
１／ＯＢＪ（０）＋１／Ｓ（０）＝１／ｆ……（１）
１／ＯＢＪ（ｄｅｆ）＋１／｛Ｓ（０）＋ｄｅｆ｝＝１／ｆ……（２）
ＯＢＪ（ｄｅｆ）＝
｛（Ｓ（０）＋ｄｅｆ）＊ｆ｝／｛（Ｓ（０）−ｄｅｆ）＊ｆ｝……（３）
である。ここで、ＯＢＪ（０）は合焦物体距離、Ｓ（０）は撮像面距離、ＯＢＪ（ｄｅｆ）は物体距離という。従って、式（３）で算出した物体距離ＯＢＪ（ｄｅｆ）を合焦物体距離ＯＢＪ（０）から引くことで、合焦面２０１から被写体３００までの距離Ｌを算出することが可能である。
【００３５】
上述した合焦面からの距離に相当する情報とは、合焦面からの距離に比例した情報である。そのため、合焦面からの距離に相当する情報としては、上述した像ずれ量２０６、デフォーカス量２０５、合焦面から被写体までの距離Ｌのいずれでもよい。
【００３６】
次にデフォーカスマップについて説明する。
【００３７】
図４はデフォーカスマップを説明する図である。
【００３８】
デフォーカスマップとは上述のデフォーカス量を入力画像上の複数個所でマップ化したものをいい、ここでは、入力画像データの各画素に対応するデフォーカス量の情報を保持している。また、図４は、デフォーカス量とここでの画像処理に使用する各領域を説明するための図である。
【００３９】
図４において、デフォーカス量０が撮影時の合焦面に相当するデフォーカス量であり、これは、デフォーカス量０の領域が領域５０３であり、ピントが合っている（合焦面）画像領域である。これを「合焦領域」という。
【００４０】
領域５０３以外の領域をここでは、デフォーカスマップ上で合焦面に対応しない領域として非合焦領域５０４とする。また、ピントが合っていると許容する領域を許容合焦領域５０５とする。許容合焦領域５０５は、被写界深度としてその範囲を定義してもよいし、被験者実験によって任意に定義してもよい。許容合焦領域５０５以外の領域を、ここでは許容合焦領域５０５ではない領域として非許容合焦領域５０６とする。図４では、横軸をデフォーカス量としたが、合焦面からの距離に相当する情報である、上述の像ずれ量や合焦面からの距離の情報でもよい。なお、図４において、ｄ０はデフォーカス量が０、即ち、合焦領域を示しており、ｄｘは非許容合焦領域におけるデフォーカス量を示している。
【００４１】
次に、以上の構成の画像処理システムにおいて、立体感をもたせた画像を記録媒体に印刷するための画像処理について説明する。
【００４２】
＜画像処理の説明（図５〜図６）＞
図５は画像処理部の構成とその画像処理の概要を示す図である。ここで、図５（ａ）は画像処理部１１０の詳細な構成を示すブロック図であり、図５（ｂ）は画像処理の概要を示すフローチャートである。
【００４３】
ここでは、合焦面からの距離に相当する情報として、デフォーカス情報を例にして説明する。また、デフォーカスマップは、デジタルカメラなどの撮像装置において瞳分割型位相差検出方式で算出される。
【００４４】
画像取得部１００１は、ステップＳ５０１において、撮像された画像データから編集された画像データを取得する。編集された画像データとは、画像編集ソフト等の編集・加工された画像データであり、編集・加工とはコントラストや明るさ・鮮鋭性等の画質調整である。ここでの編集後の画像データとは、コントラスト調整を実施して、コントラストを低下させた画像データとする。
【００４５】
このため、編集前の画像データで対応するデフォーカスマップで合焦面の領域ではコントラストが高かった領域が、編集後の画像データでは同領域のコントラストが低下しており、画像としては合焦面からずれた状態（よりボケた状態）となっている。そこで、この例では、編集後の画像データを用いて、デフォーカス情報を修正する。
【００４６】
デフォーカスマップ取得部１００２は、ステップＳ５０２において、上記の編集前の画像データで対応するデフォーカスマップを取得する。デフォーカスマップスコア算出部１００３は、画像取得部１００１で取得された上述の編集後の画像データを取得する。
【００４７】
次にステップＳ５０３ではデフォーカスマップを再生成する。
【００４８】
図６はステップＳ５０３におけるデフォーカスマップ再生成処理の詳細を示すフローチャートである。以下、図６を参照してデフォーカスマップ再生成について説明する。
【００４９】
まず、ステップＳ６００では、信頼度情報を取得する。信頼度情報は、デフォーカス情報と同様に外部から取得され、デフォーカス情報が正確に取得されているかどうかを示す情報である。ここで、信頼度情報は、信頼できるかできないかを示す１ビットの情報、即ち、１→信頼できる、０→信頼できないを示す情報でも良い。または、信頼度情報を、例えば、２５６段階で表現可能な８ビットの信頼度合の情報と信頼度情報の閾値の組み合わせとして取得してもよい。信頼度合の情報と閾値を取得する場合は、例えば、その閾値より大きい値がデフォーカス情報として信頼できる画素と判断する。また、信頼度情報が取得されない場合には、デフォーカスマップの全画素の情報が信頼できると判断してもよい。
【００５０】
次にステップＳ６０１では、デフォーカスマップを領域分割するための、領域分割の初期点の位置を設定する。これは、マップ上に初期点の位置を均等に設定してもよいし、ランダムに設定してもよい。さらに、ステップＳ６０２では、ステップＳ６０１において得られた領域分割初期点に基づいて、領域分割を行う。
【００５１】
領域分割の手法には、以下の文献に示される方法などがある。その文献とは、
Achanta, et al., 
IEEE Transactions on Pattern Analysis and Machine Intelligence 2012, 
"SLIC Superpixels Compared to State of the Art Superpixel Methods"
である。また、単純に矩形形状に分割してもよい。この実施例では、領域分割の手法は特に限定せず、公知の技術に基づいて領域分割を行うものとする。
【００５２】
ステップＳ６０３では、領域ごとに、その領域を代表するデフォーカス量を算出する。領域を代表するデフォーカス量は、領域内デフォーカス量の中央値とする。ただし、領域内のデフォーカス量の分散が、予め定められた所定の閾値を超える場合、また信頼度情報から信頼できない画素と判定された場合、領域毎のデフォーカス量を不定値（エラー）とする。
【００５３】
ステップＳ６０４では、領域間の類似度（Ｓｉｍｉｌａｒｉｔｙ）を算出する。領域間の類似度は、例えば、隣接する領域間のヒストグラムインターセクションによって、式（４）のように算出することができる。即ち、
Ｓｉｍｉｌａｒｉｔｙ（ｌ，ｍ）＝
Σi=0NB-1min{histl(i),histm(i)})
／Σi=0NB-1histl(i)              if  defm≠error
＝０          else    ……（４）
である。ここで、ｌ、ｍは、各領域のインデックスを表し、領域ｍと領域ｌは隣接している。histlは領域ｌのヒストグラムを、histmは領域ｍのヒストグラムを、ＮＢはヒストグラムのビン数である。ヒストグラムは予め加工後の画像データと領域分割結果から作成する。また、デフォーカス量がエラーとされた領域との類似度は０とする。
【００５４】
さらにステップＳ６０５では、領域ごとに算出されたデフォーカスの値を、領域間類似度（式（５））に基づいて伝播する。即ち、
ｄｅｆl＝
Σm=0NS-1Ｓｉｍｉｌａｒｉｔｙ（ｌ，ｍ）・ｄｅｆm
／Σm=0NS-1Ｓｉｍｉｌａｒｉｔｙ（ｌ，ｍ）    ……（５）
である。
【００５５】
なお、上記類似度の算出は、隣接した領域間で計算したが、必ずしも隣接した領域でなくともよく、類似度を領域間の距離や色に応じた値に基づいて計算してもよい。また、同じ領域に対するデフォーカス量の伝播は一回でなく、複数回繰り返してもよい。複数回繰り返すことにより、ステップＳ６０３においてエラーとされた領域ごとのデフォーカス量を推定しやすくなる。
【００５６】
最後にステップＳ６０６では、エッジ整形を行う。エッジ整形とは、ステップＳ６０５において得られたデフォーカスマップ中のエッジを、入力画像のエッジと一致させる処理である。編集後の画像データでは、例えば、大きく画像調整を行った結果、画像のエッジが消失している場合があるためである。
【００５７】
エッジ整形するための具体的な方法としては、以下の文献に示されるエッジ保存型フィルタを用いて行えばよい。その文献とは、
Min et al., 
IEEE Transactions on Image Processing, vol. 23, issue 12, pp. 5638-5653, 2014
“Fast Global Smoothing Based on Weighted Least Squares”や、
Kopf et al., ACM Transactions on Graphics, "Joint  Bilateral  Upsampling"
である。このように、エッジ整形そのものは公知の技術であるため、その説明はここでは省略する。従って、デフォーカスマップ中のエッジを入力画像のエッジと一致させようとする処理であれば、エッジ整形を行う手法は上記手法に限定されるものではない。
【００５８】
領域分割処理において、加工後の画像データがコントラスト調整によりコントラストが低下する方向に調整されていた場合、画像中のエッジのコントラストも低下する。このため、加工前の画像データ（入力されたデフォーカスマップに対応した画像データ）の領域分割数よりも、加工後の画像データの領域分割数が少なくなることがある。その結果、画像としてコントラストが低下している場合、１領域あたりの面積が大きくなり、合焦しているデフォーカス量と合焦していないデフォーカス量の中央値がとられることによって、領域としてデフォーカス量が合焦点から外れる方向に調整される。
【００５９】
その後、算出された領域間類似度に基づいて領域毎のデフォーカス値を伝搬した後に、エッジ整形を行う結果、再生成したデフォーカスマップのエッジの位置が編集後の画像データのエッジの位置と一致させることができる。従って、編集された画像データとの対応関係が回復したデフォーカス情報を生成することができる。
【００６０】
以上のような処理によりステップＳ５０３におけるデフォーカスマップ再生成を実行した後、図５（ｂ）によれば、ステップＳ５０４〜Ｓ５０７の処理を実行する。
【００６１】
ステップＳ５０４では画像処理条件を取得し、ステップＳ５０５では入力画像データの各画素の輝度情報に対して、処理対象画素のデフォーカスマップのデフォーカス量を参照しながら、画像処理条件に設定された立体感制御処理を実行する。なお、これらの詳細については後述する。
【００６２】
次に、ステップＳ５０６では、プリンタ制御部１１２は、立体感制御部１００５から出力される画像データ（ＲＧＢ）に対して、インクジェット記録ヘッドからインクを吐出して画像を記録するために用いるデータを生成する。生成処理はデバイス非依存のＲＧＢデータをデバイス依存のＲＧＢデータに変換する色変換処理、デバイス依存のＲＧＢデータからインク色データに変換するインク色分解処理、記録装置の階調特性に線形的に対応づけるよう階調補正を行う階調補正処理を含む。さらに、インク色データをインクドットのＯＮ／ＯＦＦの情報である中間調処理、記録ヘッドの各記録走査で記録される２値データを生成するマスクデータ変換処理等が実行される。いずれもインクジェットプリンタにおいては一般的な処理であり、この実施例の根幹に関わる部分ではないため、詳細な説明は割愛する。
【００６３】
最後に、ステップＳ５０７では、プリンタ制御部１１２で生成された出力画像データを印刷部１１１に転送し、その出力画像データに基づいて記録媒体上に画像を記録する。
【００６４】
＜出力装置における立体感＞
ここでは、出力装置１０２の鮮鋭性に影響する出力特性と立体感の制御について説明する。
【００６５】
人間は、カメラなどで撮影された２次元画像を見る際、合焦している（ピントが合っている）合焦領域を含む許容合焦領域と、合焦していない（ボケている）非許容合焦領域の鮮鋭感の差から画像の奥行き感や立体感を感じている。
【００６６】
一方、ここで述べているプリンタなどの出力装置を通して画像を出力すると、例えば、記録媒体やインクの滲みによる画像の鮮鋭性の低下や、入力画像データを記録媒体サイズ（プリントサイズ）に変倍する解像度変換処理により、画像の鮮鋭性が低下する。ディスプレイやプロジェクタでも同様に出力画像においては画像の鮮鋭性が低下する。
【００６７】
このような出力装置の出力特性による入力画像の鮮鋭性の変化は、入力データとして鮮鋭性の高い（ピントが合っている）許容合焦領域では大きく変化し、入力データとして鮮鋭性の低い（ボケている）非許容合焦領域では殆ど変化しない。よって、各領域で鮮鋭性の変化の度合いが異なる。より詳細には、デフォーカス量毎に鮮鋭性の低下特性が異なることになる。そのため、入力画像に立体感に影響していた許容合焦領域と非許容合焦領域の鮮鋭性の関係が、出力画像で維持されない。
【００６８】
図７はコントラストと空間周波数（サイクル／度）との関係を示す図である。図７において、実線ｄ０はデフォーカス量が０、つまり、合焦領域におけるコントラストを示しており、点線ｄｘはデフォーカス量がｄｘ、つまり、非許容合焦領域におけるコントラストを示している。
【００６９】
なお、図７では、説明を簡略にするため、合焦領域の画像の空間周波数特性と非合焦領域に含まれる特定のデフォーカス量に対応する画像の空間周波数特性が同じ周波数にピークを持つ画像として扱う。ここでは、入力画像を記録媒体サイズに変倍するために拡大処理を行ってプリンタに出力した際の特性を出力特性とする。また、ここでは、解像度変換処理として拡大処理を例に挙げて許容合焦領域と非許容合焦領域の鮮鋭性の関係を説明しているが、解像度変換処理が等倍処理・縮小処理でも問題ない。そして、記録媒体やインクの滲みによる画像の鮮鋭性も考えれば、図７のような出力特性となる場合がある。
【００７０】
ボケによる立体感がある入力画像では、特定の空間周波数における入力画像データの合焦領域の鮮鋭性を示すコントラスト値Ｃ１と、非合焦領域の鮮鋭性を示すコントラスト値Ｃ２が図７（ａ）に示す関係となる。この入力画像を拡大すると図７（ｂ）に示すようにコントラスト値Ｃ１とＣ２は、Ｃ１’とＣ２’に変化する。
【００７１】
図７（ａ）と図７（ｂ）から明らかなように、出力装置１０２の出力特性によって入力画像の鮮鋭性の変化量が、合焦領域と非合焦領域で異なる。そのため、立体感に影響する鮮鋭性の差７０２（コントラスト値Ｃ１’とＣ２’の差）が、入力画像における鮮鋭性の差７０１（コントラスト値Ｃ１とＣ２の差）より小さくなり、適切な立体感が得られない出力画像となる。従って、前述のデフォーカス量に相当する画像のボケの状態と出力装置１０２の鮮鋭性に影響する出力特性に基づいて、適切に鮮鋭性を制御することで、立体感のある出力画像を得ることができる。
【００７２】
後述する画像処理条件に設定される出力装置１０２の出力特性に基づいたデフォーカス量と立体感制御量の関係を用いて画像の鮮鋭性を適切に制御した出力画像では、合焦領域と非合焦領域のコントラスト値の関係は図７（ｃ）となる。図７（ｃ）で示すＣ１”は合焦領域のコントラスト値、Ｃ２”は非合焦領域のコントラスト値である。
【００７３】
図７（ｃ）に示すように、画像処理条件に基づいて立体感制御処理を実行した出力画像では、処理をしない場合の鮮鋭性の差７０２（コントラスト値Ｃ１’とＣ２’の差）に対して、鮮鋭性の差７０３（コントラスト値Ｃ１”とＣ２”の差）が大きくなる。
【００７４】
これにより、入力画像における鮮鋭性の差７０１（コントラスト値Ｃ１とＣ２の差７０１）に近くなっているため、適切な立体感を得ることができる。
【００７５】
図７では、説明を簡略にするため、合焦領域の画像の空間周波数と非合焦領域に含まれる特定のデフォーカス量に対応する画像の２点に対するコントラストを比較した。前述の関係は、合焦領域と非許容合焦領域の別のデフォーカス量に対応する画像についても成立する。また、許容合焦領域に含まれる特定のデフォーカス量に対応する画像と非許容合焦領域に含まれる特定のデフォーカス量に対応する２点においても前述の関係は成立する。
【００７６】
画像の鮮鋭性に影響する画像特性としてコントラスト値を取り上げたが、出力装置１０２の出力特性による合焦領域と非合焦領域の画像の鮮鋭性の変化については、鮮鋭度を示す空間周波数特性においても同じ関係が説明できることは自明である。
【００７７】
＜立体感制御処理（図８〜図９）＞
ここでは、立体感制御部１００５が実行する立体感制御処理について説明する。
【００７８】
立体感制御部１００５では、画像処理条件保持部１００６に設定されている鮮鋭性の制御パラメータにより入力画像データの鮮鋭性を制御する。画像処理条件保持部１００６には各デフォーカス量に対する立体感制御量が設定されている。
【００７９】
図８は画像処理条件に設定されているデフォーカス量と立体感制御量の関係を示す図である。なお、画像処理条件の作成方法については後述する。
【００８０】
立体感制御部１００５は、ステップＳ５０４において画像処理条件保持部１００６に保持されている画像処理条件を取得する。次に、ステップＳ５０５において、入力画像データの各画素の輝度情報に対して、処理対象画素のデフォーカスマップのデフォーカス量を参照しながら、画像処理条件に設定された立体感制御量を適用して鮮鋭化処理を行う。鮮鋭化処理では、例えば、Ｌａｐｌａｃｉａｎ  Ｏｆ  Ｇａｕｓｓｉａｎフィルタ（式（６））を用いる。即ち、
ｈ（ｉ，ｊ，ｄｅｆ’）＝
β（ｄｅｆ’）（ｉ2+ｊ2−２σ2）／（２πσ（ｄｅｆ’）2 ）・
ｅｘｐ［−（ｉ2＋ｊ2）／（２σ（ｄｅｆ’）2 ）］……（６）
である。なお、σ、βは立体感制御量に関するフィルタパラメータであり、それぞれ、デフォーカス量に応じた値が設定される。σ、βは予めＬＵＴ方式でパラメータを設定してもよいし、デフォーカス量に対する関係式を用いて計算してもよい。
【００８１】
式（７）に式（６）に示すＬａｐｌａｃｉａｎ  Ｏｆ  Ｇａｕｓｓｉａｎフィルタを用いた際の鮮鋭化処理を示す。即ち、
Ｏｕｔ＝Ｉ−ｈ＊Ｉ ……（７）
である。ここで、Ｉは入力画像、Ｏｕｔは鮮鋭化処理後の画像であり、＊は畳み込み演算を表す。
【００８２】
図８において、デフォーカス量ｄ＝０でのβ＝β１は入力画像の合焦領域に対する制御量を示す。また、デフォーカス量ｄ１は図４に示す許容合焦領域と非許容合焦領域の境界の値である。さらに、デフォーカス量ｄ２はデフォーカスマップに含まれる最大のデフォーカス量である。
【００８３】
出力画像において、出力装置１０２の出力特性を考慮した適切な立体感を得るために、図８（ａ）〜図８（ｃ）に示すように、入力画像内の合焦領域の画素に対する立体感制御量が最も大きくなるように画像処理条件を設定する。さらに、非合焦領域の立体感制御量はデフォーカス量が大きくなるほど制御量が小さくなるように、つまり単調減少となるように設定するとよい。
【００８４】
合焦面からの距離に相当するデフォーカス量が画像のボケ量に対応する値である場合、図８（ａ）に示すように、デフォーカス量と立体感制御量は非線形な関係をもち、デフォーカス量が像ずれ量に対応する場合、図８（ｂ）に示すように、線形な関係をもつ。
【００８５】
一方、図８（ｃ）に示すように、非許容合焦領域について立体感制御量を０としても前述のように許容合焦領域と非許容合焦領域の鮮鋭性の差は入力画像における許容合焦領域と非許容合焦領域の鮮鋭性の差に近づき、出力画像の立体感を得ることは可能である。
【００８６】
上記の制御量は、記録媒体の特性やインクの特性、記録媒体サイズによって異なる。これは、記録媒体やインク特性毎に、インクの滲み等よる画像の鮮鋭性の低下の度合が異なるとともに、記録媒体サイズによって解像度変換処理の変倍率が異なるためである。
【００８７】
図９は記録媒体の特性やインクの特性、記録媒体サイズによって立体感制御量が異なることを示す図である。図９（ａ）と図９（ｂ）において、破線は図８（ａ）に示したのと同じ出力特性を示している。
【００８８】
さて、図９（ａ）における実線は、図８（ａ）と異なる条件で画像を出力した際のデフォーカス量に対する立体感制御量を示している。図９（ａ）が示す出力特性は、図８（ａ）のそれと比べて、例えば、インクの滲みが大きい、もしくは変倍率が大きいために立体感制御量が大きい場合を示している。これに対して、図９（ｂ）が示す出力特性は、図８（ａ）のそれと比べてインクの滲みが小さい、もしくは変倍率が小さいために立体感制御量が小さい場合を示している。
【００８９】
なお、シャープネス処理に使用するフィルタは、Ｌａｐｌａｃｉａｎ  Ｏｆ  Ｇａｕｓｓｉａｎフィルタだけに限定されるものではない。例えば、出力装置の鮮鋭性の低下情報の逆特性を求めて作成されたフィルタ（特定フィルタ）を用いてシャープネス処理を行って、鮮鋭性を調整制御しても良い。
【００９０】
また、以上の説明では、鮮鋭性を制御する処理としてシャープネス処理を例にしたが、これはコントラスト処理でもよい。具体的には、図８（ｄ）に示すように、合焦領域を含む許容合焦領域の入力画像データの各画素の輝度値のコントラストが高くなるように輝度変換を行う。輝度変換については立体感制御量を係数とする変換式を用いる方法や入力画像データの各画素の輝度値から生成したヒストグラムを均等化することでコントラストを高める方法等があるが、コントラストが制御できれば、もちろんこれに限らない。
【００９１】
シャープネス処理とコントラスト処理のどちらも処理も出力画像の鮮鋭性を制御することができるため、出力装置の特性に応じて、どちらかの処理を選択する、あるいは２つの処理を組み合わせて使用してもよい。
【００９２】
＜画像処理条件（図１０〜図１２）＞
ここでは、画像処理条件保持部１００６で保持される画像処理条件の作成方法について説明する。
【００９３】
図１０は計測用画像の例を示す図である。
【００９４】
画像処理条件として設定するパラメータは、例えば、図１０に示すような計測用画像をプリンタやディスプレイ、プロジェクタ等の出力装置で出力し、測定装置（不図示）を用いて取得した出力装置の出力画像の周波数特性（ＭＴＦ特性）から算出する。なお、測定装置を用いて出力画像を実測するのではなく、出力画像を生成する際における各画像処理をＰＣ上でシミュレートして得られた画像から出力装置のＭＴＦ特性を算出しても良い。
【００９５】
図１０に示すサンプル画像は、ピントが合っている合焦面に対応する画像群１００１、あるデフォーカス量における入力画像のボケ量に相当するボケで表現された複数の画像群１００２から構成されている。より詳細には、周波数の異なる複数の矩形パターンあるいは正弦波パターン、均一パターン１００３、１００４を含むチャートである。
【００９６】
なお、図１０に図示した例は、周波数の異なる複数の正弦波パターンからなる画像群１００１、１００２である。均一パターン１００３、１００４は夫々正弦波パターン上の最大画素値と最小値の画素値で構成される。
【００９７】
図１１は画像処理条件の作成方法を示すフローチャートである。
【００９８】
まず、ステップＳ１１０１では、出力装置１０２から図１０に示した計測用画像を出力する。次に、ステップＳ１１０２では、出力装置１０２で出力した計測用画像を測定装置を用いて測定し、ＭＴＦ特性算出に必要な情報を取得する。
【００９９】
計測用画像が図１０に示したような周波数の異なる正弦波パターンである場合、ステップＳ１１０３では、ＭＴＦ特性を式（８）或いは式（９）を用いて算出する。この値は、光学伝達関数の絶対値を意味する。出力画像の平均明度が変化する場合は式（９）を用いることが好ましい。式（８）と式（９）は以下の通りである。即ち、
ＭＴＦ（ｕ）＝｛Ｃ（ｕ）｝／Ｃ’……（８）
ｕ：正弦波の周波数
Ｃ（ｕ）＝｛Ｍａｘ（ｕ）−Ｍｉｎ（ｕ）｝／｛Ｍａｘ（ｕ）＋Ｍｉｎ（ｕ）｝
Ｃ’＝｛（Ｒ１−Ｒ２）｝／｛（Ｒ１＋Ｒ２）｝
Ｍａｘ（ｕ）：周波数で変化する正弦波パターンの最大反射率
Ｍｉｎ（ｕ）：周波数で変化する正弦波パターンの最小反射率
Ｒ１、Ｒ２：均一パターンの反射率（Ｒ１＞Ｒ２）
ＭＴＦ（ｕ）＝｛Ｍａｘ（ｕ）−Ｍｉｎ（ｕ）｝／｛Ｒ１−Ｒ２｝……（９）
である。なお、式（８）や（９）におけるＲ１、Ｒ２の値は反射率としたが、輝度や濃度やデバイスＲＧＢ値を用いてもよいことは言うまでもない。また、計測装置としては、出力装置がプリンタである場合は、例えば、スキャナやデジタルカメラ、顕微鏡であり、ディスプレイやプロジェクタの場合は、デジタルカメラを用いることができる。
【０１００】
また、計測用画像が矩形波パターンである場合、出力装置のＭＴＦ特性は、式（８）又は式（９）を適用することで得られるコントラスト伝達関数（ＣＴＦ）で表現される。あるいは、ＣＴＦ値をコルトマン補正式で変換したＭＴＦ値を用いてもよい。
【０１０１】
以上説明した方法により、計測用画像に含まれる合焦面に対応する画像群１００１および任意のデフォーカス量に対応する画像群１００２夫々の画像の周波数特性（ＭＴＦ特性）が取得される。
【０１０２】
図１２は周波数特性の例を示す図である。
【０１０３】
図１２において、実線（Ｄ０）は合焦面に対応する画像群１００１の特性、点線（Ｄ１）は許容合焦領域に含まれるデフォーカス量に対応する画像群の特性、破線（Ｄ２）は非許容合焦領域に含まれるデフォーカス量に対応する画像群の特性を示している。
【０１０４】
これにより、デフォーカス量ごとに、ＭＴＦ特性が取得できる。つまり、デフォーカス量毎の出力装置の鮮鋭性に関する出力特性が得られる。
【０１０５】
一方、出力画像で適切な立体感を得るためには、立体感制御処理を適用しない場合と比較して、これを適用した際の出力画像の許容合焦領域と非許容合焦領域の鮮鋭性の差が、入力画像における許容合焦領域と非許容合焦領域の鮮鋭性の差に近づく必要がある。言い換えると、出力画像において許容合焦領域と非許容合焦領域の鮮鋭性の差を適切に制御するためには、デフォーカス量毎の出力装置の鮮鋭性に影響する出力特性に応じて立体感制御量を設定することが必要である。
【０１０６】
具体的には、ステップＳ１１０４において、特定周波数における出力画像の合焦領域の鮮鋭性あるいは周波数特性を入力画像の鮮鋭性あるいは周波数特性に鮮鋭化処理によって復元するように立体感制御量を設定する。同様に非合焦領域に対してもデフォーカス量毎に得られるＭＴＦ特性から復元量を算出し立体感制御量とする。これにより、図８に示すデフォーカス量に対する立体感制御量が算出される。
【０１０７】
デフォーカス量と鮮鋭度の関係は、図８に示したデフォーカス量を入力として立体感制御量を出力とする関係式として設定する方法、ＬＵＴ方式でパラメータを選択して設定する方法等がある。
【０１０８】
もちろんこれに限らず、デフォーカス量に対する立体感制御量を算出できるのであれば、どのような方法でもよい。
【０１０９】
また、立体感制御量はＭＴＦ特性を復元する値に限らない。画像処理条件に設定される出力装置１０２の出力特性に基づいたデフォーカス量と鮮鋭化制御量に応じた鮮鋭化処理をしない場合の鮮鋭性の差に対して、処理を行った場合の鮮鋭性の差が大きくなることを満足すると、出力画像で適切な立体感を得られる。さらには、図８に示す合焦面の制御量β１は、画像のＭＴＦ特性を０．８から１．２に復元するように設定すると、出力画像における合焦面の鮮鋭性が好ましい画像が得られる。
【０１１０】
最後に、ステップＳ１１０５では、上述のように、デフォーカス量に応じた出力装置１０２の鮮鋭性に関する出力特性から導出される画像処理条件を設定する。この設定された画像処理条件により入力画像データを処理することで出力画像の立体感を制御することが可能になる。
【０１１１】
従って以上説明した実施例に従えば、入力画像から求められるデフォーカスマップのスコアを用いてデフォーカスマップを再生成することにより、編集済画像データとの対応関係が回復した合焦面からの距離に相当する情報を生成することができる。これにより、出力画像に本来の奥行感や立体感を回復することができる。
【０１１２】
なお、この実施例に従って生成された合焦面からの距離に相当する情報は、立体感制御だけでなく、以下に示すような他の処理にも応用可能である。
【０１１３】
［被写体認識］
この実施例に従って生成された合焦面からの距離に相当する情報を画像中の被写体認識に用いる。被写体の深度を用いて認識を行う例としては、特開２０１４−１７９０７号公報などに詳述されている。この実施例に従って生成された合焦面からの距離に相当する情報を被写体認識に用いることにより、編集済の画像データに関しても被写体認識の精度が向上する。
【０１１４】
［３次元ポリゴンモデル生成］
この実施例に従って生成された合焦面からの情報を３次元ポリゴンモデルの生成に用いる。深度を利用して３次元ポリゴンモデルを生成する例としては、特開２０１７−１５７２０８号公報などに詳述されている。この実施例に従って生成された合焦面からの距離に相当する情報を用いることにより、編集済の画像データに対応した３次元ポリゴンモデルの精度が向上する。
【０１１５】
［被写体抽出］
この実施例に従って生成された合焦面からの距離に相当する情報を被写体抽出に用いる。深度を利用して、画像から被写体を抽出する例としては、特開２０１５−１６２７３０号公報などに詳述されている。この実施例に従って生成された合焦面からの距離に相当する情報を被写体認識に用いることにより、編集済の画像データに対する被写体抽出の精度が向上する。
【０１１６】
［エフェクト処理］
この実施例に従って生成された合焦面からの距離に相当する情報を、画像のエフェクト処理に用いる。深度を利用して、画像にエフェクトを施す例としては、特開２０１３−１１８４６８号公報などに詳述されている。この実施例に従って生成された合焦面からの距離に相当する情報を被写体認識に用いることにより、編集済の画像データに対する深度情報の不正確さによって発生するエフェクト処理時の疑似輪郭などのアーティファクトを軽減することができる。
【０１１７】
また、本発明が適用可能な例は上記に限らない。合焦面からの距離に相当する情報を用いる例であれば、何でもよい。
【０１１８】
なお、以上説明した実施例では、画像処理条件としてデフォーカス量と立体感制御量の関係を例に説明したが、合焦面からの距離に相当する情報である像ずれ量もしくは合焦面と被写体との距離と立体感制御量の関係を画像処理条件としてもよい。
【０１１９】
また、以上説明した実施例では、写真画像の画像データとしてカメラ等の撮像装置で撮影したデータから編集されたデータ、合焦面からの距離に相当する情報として撮影時のデフォーカス量を用いる形態を説明した。しかし、これらに限らず、例えば、モデリング、レンダリング、画像編集用のソフトウェア等で作成した写真画像のデータから編集されたデータと、その画像データに対応するソフトで作成された合焦面からの距離に相当する情報を使用することもできる。これらのソフトウェアでは、合焦面からの距離に相当する情報であるマップを用いて画像のボケ情報等を生成する場合がある。
【０１２０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１２１】
１０１  パーソナルコンピュータ装置（ホスト装置）、１０２  出力装置（プリンタ）、
１１０  画像処理部、１１１  印刷部、２０１  合焦面、２０２  レンズ、
２０３  像面、３０１  被写体、１００５  立体感制御部、
１００６  画像処理条件保持部
【図１】
2020010146.tif 000003
【図２】
2020010146.tif 000004
【図３】
2020010146.tif 000005
【図４】
2020010146.tif 000006
【図５】
2020010146.tif 000007
【図６】
2020010146.tif 000008
【図７】
2020010146.tif 000009
【図８】
2020010146.tif 000010
【図９】
2020010146.tif 000011
【図１０】
2020010146.tif 000012
【図１１】
2020010146.tif 000013
【図１２】
2020010146.tif 000014