(57)【特許請求の範囲】
【請求項１】
入力画像データのエッジ点の位置及びエッジの方向を検出するエッジ検出手段と、
前記入力画像データを微分し、前記入力画像データの輝度勾配を算出する微分手段と、
前記エッジ検出手段によって検出されたエッジ点について、前記入力画像データと前記エッジの方向とに基づいて、ボケの状態を表すボケ関数に含まれる推定ボケパラメータとエッジの局所コントラストとを推定するボケ推定手段と、
前記エッジ検出手段によって検出されたエッジ点について、前記入力画像データの輝度勾配と、前記エッジの方向と、前記エッジの局所コントラストとに基づいて、前記推定ボケパラメータを所望のボケパラメータに置換したボケ置換後の輝度勾配を生成するボケ置換手段と、
前記ボケ置換後の輝度勾配に基づいて、出力画像データを再構成する画像再構成手段と
を具備するボケ変換装置。
【請求項２】
入力画像データのエッジ点の位置及びエッジの方向を検出するエッジ検出手段と、
前記入力画像データを微分し、前記入力画像データの輝度勾配を算出する微分手段と、
前記エッジ検出手段によって検出されたエッジ点について、前記エッジの方向と前記入力画像データの輝度勾配とに基づいて、ボケの状態を表すボケ関数に含まれる推定ボケパラメータとエッジの局所コントラストとを推定するボケ推定手段と、
前記エッジ検出手段によって検出されたエッジ点について、前記入力画像データの輝度勾配と、前記エッジの方向と、前記エッジの局所コントラストとに基づいて、前記推定ボケパラメータを所望のボケパラメータに置換したボケ置換後の輝度勾配を生成するボケ置換手段と、
前記ボケ置換後の輝度勾配に基づいて、出力画像データを再構成する画像再構成手段と
を具備するボケ変換装置。
【請求項３】
入力画像データのエッジ点の位置、エッジの方向、ぼかされた入力画像のデータの輝度勾配を検出するエッジ検出手段と、
前記入力画像データを微分し、前記入力画像データの輝度勾配を算出する微分手段と、
前記エッジ検出手段によって検出されたエッジ点について、前記エッジの方向と前記ぼかされた入力画像データの輝度勾配とに基づいて、ボケの状態を表すボケ関数に含まれる前記ぼかされた入力画像データについてのボケパラメータを求め、このボケパラメータから前記入力画像データについての推定ボケパラメータを求めるとともに、エッジの局所コントラストを推定するボケ推定手段と、
前記エッジ検出手段によって検出されたエッジ点について、前記入力画像データの輝度勾配と、前記エッジの方向と、前記エッジの局所コントラストとに基づいて、前記推定ボケパラメータを所望のボケパラメータに置換したボケ置換後の輝度勾配を生成するボケ置換手段と、
前記ボケ置換後の輝度勾配に基づいて、出力画像データを再構成する画像再構成手段と
を具備するボケ変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データにおけるボケの状態を変更するボケ変換装置に関する。
【背景技術】
【０００２】
一枚の画像データを、ボケフィルタと鮮明な画像データとに分離するblind deconvolutionと呼ばれる技術がある。
【０００３】
このblind deconvolutionでは、鮮明な元画像データにボケフィルタをかけた結果が入力画像データであるとするモデルに基づいて、入力画像データのみから元画像データとボケフィルタとが推定される。特許文献１（米国特許第６１５４５７４号明細書）では、ボケが画像データ全体で一様な場合のblind deconvolutionに関する技術が開示されている。
【０００４】
また、特許文献２（米国特許第６９２８１８２号明細書）では、１枚の画像データから検出されたエッジの周りでボケを推定し、エッジの片側から反対側へ輝度値を移動させることによるエッジ先鋭化に利用する技術が開示されている。
【特許文献１】米国特許第６１５４５７４号明細書
【特許文献２】米国特許第６９２８１８２号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１の技術では、ボケが画像データ全体で一様であることを条件としている。このため、上記特許文献１の技術を、例えば、異なる物体が奥行き方向に並んでおり、焦点ボケが大きく変化するような内容の画像データに適用することは困難である。
【０００６】
上記特許文献２の技術においても目的は先鋭化のみであり、一枚の画像データからボケ方が変更された画像データを生成することまでは検討されていない。
【０００７】
本発明は、以上のような実情に鑑みてなされたもので、一枚の画像データについてボケ方が一様でなく、ボケが大きく変化するような場合であってもこのボケを任意に変化させることが可能なボケ変換装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本願発明の一態様に係るボケ変換装置は、入力画像データのエッジ点の位置及びエッジの方向を検出するエッジ検出手段と、入力画像データを微分し、入力画像データの輝度勾配を算出する微分手段と、エッジ検出手段によって検出されたエッジ点について、入力画像データとエッジの方向とに基づいて、ボケの状態を表すボケ関数に含まれる推定ボケパラメータとエッジの局所コントラストとを推定するボケ推定手段と、エッジ検出手段によって検出されたエッジ点について、入力画像データの輝度勾配と、エッジの方向と、エッジの局所コントラストとに基づいて、推定ボケパラメータを所望のボケパラメータに置換したボケ置換後の輝度勾配を生成するボケ置換手段と、ボケ置換後の輝度勾配に基づいて、出力画像データを再構成する画像再構成手段とを具備する。
【発明の効果】
【０００９】
本発明においては、一枚の画像データに含まれるボケを任意に変化させた画像データを生成することができる。本発明のボケ変換は、ボケ方が一様でなく、ボケが大きく変化するような場合であっても適用することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照しながら本発明の実施の形態について説明する。なお、下記の各図において同様の部分については同様の符号を付して説明を省略する。
【００１１】
（第１の実施の形態）
本実施の形態においては、一枚の画像データを入力し、この画像データ内の一部のボケ状態を変更し、ボケ方が入力した画像データと異なる画像データを出力するボケ変換装置について説明する。このボケ変換装置のボケ変換方法を用いた場合、例えば手前の物体にピントが合い、奥の物体がボケている画像データから、奥の物体にピントが合い、手前の物体がボケた画像データを生成することができる。
【００１２】
図１は、本実施の形態に係るボケ変換装置の構成の一例を示すブロック図である。
【００１３】
ボケ変換装置１は、画像データの加工・編集などのような画像処理装置である。画像データからエッジを検出し、エッジ周辺のボケを推定し、異なるボケに置き換えた画像データを再構成する。ボケ変換装置１によるボケの置き換えは、画像データを微分した輝度勾配に対して行われる。これにより、ボケ変換装置１の計算を簡単化し、処理が高速化される。
【００１４】
画像データとしては、例えば、デジタルカメラで撮影された写真データ、スキャナで読み込んだデータなどが用いられる。
【００１５】
ボケ変換装置１は、記憶装置２ａ〜２ｇ、エッジ検出部３、微分部４、ボケ推定部５、ボケ置換部６、画像再構成部７を具備する。
【００１６】
エッジ検出部３は、記憶装置２ａに記憶されている入力画像データＩ（ｘ，ｙ）を読み出し、入力画像データのエッジ検出計算を実行し、エッジと判定された画素（エッジ点）の座標（ａi，ｂi）と、この座標（ａi，ｂi）におけるエッジの方向又は法線ベクトルｎiを記憶装置２ｂに記憶する。ここで、ｉは、エッジ点の番号である。エッジの検出方法は、既存の方法を適用できる。
【００１７】
微分部４は、記憶装置２ａに記憶されている入力画像データＩ（ｘ，ｙ）を読み出し、入力画像データＩ（ｘ，ｙ）をｘ方向（水平方向）及びｙ方向（垂直方向）に微分し、入力画像データの輝度勾配ｇｒａｄ（Ｉ）＝（∂Ｉ／∂ｘ，∂Ｉ／∂ｙ）を記憶装置２ｃに記憶する。
【００１８】
入力画像データＩ（ｘ，ｙ）は、実際には、離散データＩi,j（ｉ＝０，１，…，Ｗ−１；ｊ＝０，１，…，Ｈ−１；Ｗ：画像の幅；Ｈ：画像の高さ）で表現されている。離散データに対する微分法としては、例えばSobelフィルタを使用する手法など、様々な手法を用いることができる。
【００１９】
例えば、下記の（１）式、及び（２）式により、∂Ｉ／∂ｘ及び∂Ｉ／∂ｙは演算される。
【００２０】
∂Ｉ／∂ｘ＝（Ｉi+1,j-1−Ii-1,j-1＋２Ｉi+1,j−２Ｉi-1,j＋Ｉi+1,j+1−Ｉi-1,j+1）／８  …（１）
∂Ｉ／∂ｙ＝（Ｉi-1,j+1−Ii-1,j-1＋２Ｉi,j+1−２Ｉi,j-1＋Ｉi+1,j+1−Ｉi+1,j-1）／８  …（２）
ボケ推定部５は、記憶装置２ａに記憶されている入力画像データと、記憶装置２ｂに記憶されているエッジ位置及びエッジ方向とを読み出し、各エッジ点について、エッジ点の周辺の入力画像データの値に基づいてボケを推定し、ボケ推定結果であるボケパラメータと局所コントラストとを記憶装置２ｄに記憶する。
【００２１】
このボケ推定部５によるボケ推定方法を以下に説明する。
【００２２】
入力画像データのボケは、ボケに関するパラメータｐを持つボケ関数ｇ（ｘ，ｙ；ｐ）でモデル化される。ボケに関するパラメータが複数ある場合、ｐはベクトルである。
【００２３】
このボケ関数ｇによって、下記の（３）式及び（４）式に示すようなステップエッジがぼかされた場合を考える。なお、（３）式においてｈ0はエッジの一方側の輝度であり、（４）式においてｈ1はエッジの他方側の輝度である。
【００２４】
ｈ（ｘ，ｙ）＝ｈ0  （ｘ＜０の場合）  …（３）
ｈ（ｘ，ｙ）＝ｈ1  （ｘ＞０の場合）  …（４）
以下においては、簡略化のためにステップエッジがｙ軸に沿っている場合について説明するが、他の一般的な場合についても、注目しているエッジ点を原点とし、エッジの方向にｙ軸をとり、エッジと垂直な方向にｘ軸をとることにより、同様の手法を用いることができる。
【００２５】
ステップエッジがぼかされた場合の輝度分布は、下記の（５）式で表される。
【００２６】
ｆ（ｘ，ｙ；ｈ0，ｈ1，ｐ）＝ｈ（ｘ，ｙ）＊ｇ（ｘ，ｙ；ｐ）  …（５）
ここで“*”は二次元の畳み込み(convolution)である。例えばボケを、ボケ半径rというパラメータをひとつ持つ下記（６）式のガウシアン（gaussian）でモデル化すると、下記（７）式となる。
【００２７】
Ｇ（ｘ，ｙ；ｒ）＝ｅｘｐ｛−（ｘ2＋ｙ2）／（２ｒ2）｝／（２πｒ2）  …（６）
ｆ（ｘ，ｙ；ｈ0，ｈ1，ｒ）＝（ｈ1−ｈ0）ｅｒｆ｛ｘ／（ｒ√２）｝／２＋（ｈ1＋ｈ0）／２  …（７）
ここでｅｒｆ（ｘ）はエラー関数（error function）を表す。上述のようにｙ軸に沿ったエッジを考えると、fは（７）式のようにｙに非依存な関数になる。
【００２８】
図２にステップエッジのｙ＝０での断面ｈ（ｘ，０）の例、図３にボケ関数のｙ＝０での断面ｇ（ｘ，０；ｒ）の例、図４にボケたエッジのｙ＝０での断面ｆ（ｘ，０；ｈ0，ｈ1，ｒ）の例を示す。
【００２９】
ボケの推定は、（５）式がエッジ点（ａi，ｂi）周辺の入力画像データの輝度分布Ｉ（ｘ＋ａi，ｙ＋ｂi）と近くなるようなｈ0、ｈ1、ｐを求めることによって行う。
【００３０】
このボケ推定では、最小二乗フィッティングを行う。最小二乗フィッティングはエッジの法線ｎi方向について一次元で行えばよい。上記のｙ軸に沿ったエッジの場合、ｙ＝０としてｆ（ｘ，０；ｈ0，ｈ1，ｐ）とＩ（ｘ＋ａi，ｂi）をｘ方向についてフィッティングする。
【００３１】
そして、ボケ推定部５は、各エッジ点において推定したボケパラメータｐ、局所コントラストｃ（エッジの両側の輝度差（ｈ1−ｈ0））を記憶装置２ｄに記憶する。
【００３２】
ボケ置換部６は、記憶装置２ｂに記憶されているエッジ位置及びエッジ方向、記憶装置２ｃに記憶されている入力画像データの輝度勾配ｇｒａｄ（Ｉ）＝（∂Ｉ／∂ｘ，∂Ｉ／∂ｙ）、記憶装置２ｄに記憶されているボケパラメータ及び局所コントラスト、記憶装置２ｅに記憶されている所望のボケパラメータを読み出す。
【００３３】
そして、ボケ置換部６は、各エッジ点において推定されたボケを、所望のボケパラメータに対応するボケに置換し、ボケ置換後の輝度勾配を記憶装置２ｆに記憶する。
【００３４】
ここで、所望のボケパラメータとは、ボケ変換後になってほしいボケの状態を表し、具体的には、ボケ置換及び画像再構成後に得られる出力画像データのボケパラメータｑである。ボケ置換は、入力画像データの輝度勾配ｇｒａｄ（Ｉ）に対して行われる。以下においては、簡略化のために、上記の場合と同様にエッジがｙ軸に沿っている場合を例として説明する。
【００３５】
上記（５）式をｘについて微分すると下記（８）式が得られる。
【００３６】
∂ｆ／∂ｘ＝∂ｈ／∂ｘ＊ｇ（ｘ，ｙ；ｐ）＝（ｈ1−ｈ0）δ（ｘ）＊ｇ（ｘ，ｙ；ｐ）＝ｃ∫ｇ（ｘ，ｙ；ｐ）ｄｙ  …（８）
ここで、δ（ｘ）はディラック（Dirac）のデルタ関数である。この（８）式は、ボケたエッジの微分が、ｃ倍したボケ関数をエッジに沿って積分したものであることを示している。すなわち、一次元の場合で図示して言えば、図２のステップエッジに図３のボケ関数をかけて得られた図４のボケたエッジを微分すると、図３のボケ関数をｃ倍したものが得られることに相当する。したがって、入力画像データの輝度勾配について、エッジに沿ってボケパラメータｐのボケ関数を引き、代わりに所望のボケパラメータｑのボケ関数を足せば、下記（９）式に示すボケ置換後の輝度勾配が得られると考えられる。
【００３７】
∂ｆ’／∂ｘ＝ｃ∫ｇ（ｘ，ｙ；ｑ）ｄｙ  …（９）
この（９）式のｆ’は、上記（８）式と比較して、ボケパラメータｑでぼかされたエッジを表すことが分かる。
【００３８】
図５は、本実施の形態におけるボケ置換及び画像再構成の概念の一例を示すグラフであり、一次元の場合を例として図示している。
【００３９】
まず、入力画像データのエッジ点についてボケパラメータｐが求められ、このボケパラメータｐがボケパラメータｑに置換され、ボケパラメータｑによって再構成された出力画像データが作成される。
【００４０】
本実施の形態に係るボケ置換を実施するため、ボケ置換部６は、以下の（１０）式によって全てのエッジ点（ａi，ｂi）について、ボケパラメータｐiをボケパラメータｑiに置換した結果であるボケ置換後の輝度勾配（Ｉx’，Ｉy’）を計算し、記憶装置２ｆに記憶する。
【００４１】
（Ｉx’，Ｉy’）＝ｇｒａｄ（Ｉ）＋Σｃi｛ｇ（ｘ−ａi，ｙ−ｂi；ｑi）−ｇ（ｘ−ａi，ｙ−ｂi；ｐi）｝ｎi  …（１０）
この（１０）式において、ｃiは、エッジ点（ａi，ｂi）における局所コントラストであり、ｎiは、正規化されたエッジ法線である。
【００４２】
画像再構成部７は、記憶装置２ｆに記憶されているボケ置換後の輝度勾配（Ｉx’，Ｉy’）を読み出し、このボケ置換後の輝度勾配（Ｉx’，Ｉy’）を与える出力画像データＩ’を作成し、記憶装置２ｇに記憶する。
【００４３】
すなわち、画像再構成部７は、下記の（１１）式、（１２）式のような関係式を満たす出力画像データI’を計算する。
【００４４】
∂Ｉ’／∂ｘ＝Ｉx’  …（１１）
∂Ｉ’／∂ｙ＝Ｉy’  …（１２）
この（１１）式、（１２）式を満たす出力画像データI’は、誤差の二乗平均を最小化することで、下記の（１３）式を解くことで求まる。
【００４５】
（∂2／∂ｘ2＋∂2／∂ｙ2）Ｉ’＝∂Ｉx’／∂ｘ＋∂Ｉy’／∂ｙ  …（１３）
この（１３）式は、Poisson方程式であり、このPoisson方程式を離散化した線形方程式は、Jacobi法、Gauss-Seidel法、Conjugate Gradient法などの疎行列の反復解法が適用できるほか、離散フーリエ変換による対角化、マルチグリッド法などで高速に解くことができる。
【００４６】
本実施の形態においては、ボケ方を変更しているだけなので、解は、入力画像データＩとよく似ていると予想される。したがって、反復法で解く場合には、入力画像データを初期近似値とすることにより、収束が早まることが期待できる。
【００４７】
図６は、本実施の形態に係るボケ変換装置１の処理の一例を示すフローチャートである。
【００４８】
ステップＳ１において、エッジ検出部３は、入力画像データＩ（ｘ，ｙ）に基づいて、入力画像データＩ（ｘ，ｙ）のエッジ点の位置とエッジ方向を検出する。
【００４９】
ステップＳ２において、ボケ推定部５は、入力画像データＩ（ｘ，ｙ）と、入力画像データＩ（ｘ，ｙ）のエッジ点の位置とエッジ方向とに基づいて、各エッジ点について、ボケパラメータｐを推定し、局所コントラストｃを求める。
【００５０】
ステップＳ３において、微分部４は、入力画像データＩ（ｘ，ｙ）をｘ方向（水平方向）及びｙ方向（垂直方向）に微分し、入力画像データＩ（ｘ，ｙ）の輝度勾配ｇｒａｄ（Ｉ）＝（∂Ｉ／∂ｘ，∂Ｉ／∂ｙ）を求める。
【００５１】
なお、ステップＳ３は、ステップＳ１及びステップＳ２の前に実行されてもよく、ステップＳ１及びステップＳ２と並列に実行されてもよく、ステップＳ１及びステップＳ２の後に実行されてもよい。
【００５２】
ステップＳ４において、ボケ置換部６は、各エッジ点について、推定されたボケパラメータｐで表されるボケを、所望ボケパラメータに対応するボケに置換し、ボケ置換後の輝度勾配を求める。
【００５３】
ステップＳ５において、画像再構成部７は、ボケ置換後の輝度勾配から出力画像データＩ’を作成する。
【００５４】
以下において、上記のような本実施の形態に係るボケ変換の概要を、一次元の場合を例として図７〜９を用いて説明する。
【００５５】
図７は、一次元の場合のエッジとボケ関数との関係の一例を示す図である。
【００５６】
この図７において、ステップエッジｈ（ｘ）がぼかされることにより、入力画像データのボケたエッジｆ（ｘ）となるとする。ボケたエッジｆ（ｘ）は、ステップエッジｈ（ｘ）とボケの状態を表すボケ関数ｇ（ｘ）との畳み込み演算により得られる。
【００５７】
すなわち、以下の（１４）式が得られる。
【００５８】
ｆ（ｘ）＝ｈ（ｘ）＊ｇ（ｘ）  …（１４）
この（１４）式の両辺を微分すると、下記の（１５）式が得られる。
【００５９】
ｄｆ／ｄｘ＝ｄｈ／ｄｘ＊ｇ（ｘ）＝ｃδ（ｘ）＊ｇ（ｘ）＝ｃｇ（ｘ）  …（１５）
この結果、ボケたエッジｆ（ｘ）を微分することにより、ボケ関数ｇ（ｘ）を求めることができることになる。すなわち、ボケは、入力画像データのエッジ周辺の輝度勾配の分布から推定できる。
【００６０】
そこで、本実施の形態に係るボケ変換は、まず、入力画像データに対する微分によりエッジ位置を検出する。以後のボケ推定及びボケ置換は、各エッジ点に対して局所的に処理が行われる。
【００６１】
ここでは、ボケは例えばガウシアン状であると仮定し、ガウシアンを用いてボケ推定を行う。
【００６２】
図８は、あるエッジ点について、エッジ方向と垂直な方向の微分の分布（輝度勾配）に、ガウシアンをフィッティングしたボケ推定結果の例を示す図である。ガウシアンの標準偏差が、ボケ半径に対応する。
【００６３】
次に、ボケ推定結果を所望のボケに置換するボケ置換を行う。
【００６４】
図９は、一次元の場合について、あるエッジ点ｘ＝ａ周辺の輝度勾配について、推定されたボケを、所望のボケに置換した結果の例を示す図である。
【００６５】
ボケ置換後の輝度勾配ｇｒａｄ（Ｉ’）と、置換前の輝度勾配ｇｒａｄ（Ｉ）と、推定されたボケ半径ｒと、推定された局所コントラストｃと、所望のボケ半径ｓとの関係は、下記（１６）式で表される。この（１６）式を演算することにより、ボケの置換が行われる。
【００６６】
ｇｒａｄ（Ｉ’）＝ｇｒａｄ（Ｉ）−ｃＧ（ｘ−ａ；ｒ）＋ｃＧ（ｘ−ａ；ｓ）  …（１６）
ここで、Ｇ（ｘ；ｒ）は標準偏差ｒの一次元のガウシアンである。
【００６７】
ボケ置換後は、上述した（１１）〜（１３）式を用いて、画像再構成が行われる。
【００６８】
以上説明した本実施の形態に係るボケ変換装置１は、エッジ検出部３によって入力画像データからエッジの位置及び方向を検出し、微分部４によって入力画像データを微分して輝度勾配を計算し、ボケ推定部５によって各エッジ位置において、入力画像データとエッジ方向とに基づいてボケパラメータとエッジの局所コントラストを推定する。
【００６９】
そして、ボケ変換装置１は、ボケ置換部６によって、各エッジ位置において入力画像データの輝度勾配とエッジ方向と推定した局所コントラストとに基づいて推定されたボケパラメータを、所望のボケパラメータに置換した輝度勾配を生成し、画像再構成部７によって、所望のボケパラメータに置換した輝度勾配から出力画像データを生成する。
【００７０】
これにより、入力画像データのボケを任意かつ局所的に変更した出力画像データを生成することができる。
【００７１】
本実施の形態では、一枚の入力画像データからボケ方の異なる出力画像データを任意に生成することができる。すなわち、通常の二次元画像データを一つ入力して容易にデータ内のボケを変換することができ、画像データ入力のために特殊な装置等を用意する必要はない。
【００７２】
本実施の形態においては、ボケ推定部５とボケ置換部６とにおいてボケを関数でモデル化するため、ボケをいくつかのパラメータで簡潔に表現できる。本実施の形態では、ボケ関数としてガウシアンを用いている。このように数学的によい性質を持つ関数を使うことにより、解析を容易に行うことができる。本実施の形態のように、ボケ半径をボケパラメータとして用いることにより、ボケをひとつのパラメータで簡潔に表現できる。
【００７３】
本実施の形態においては、ボケ推定部５において入力画像データとボケ関数によってぼかされたステップエッジとがフィッティングされ、ボケが推定される。これにより、ボケ推定の問題を、関数とデータとのフィッティングの問題に簡単化することができる。
【００７４】
本実施の形態に係るボケ置換部６においては、入力画像データの輝度勾配に、ボケ関数を加減算することによりボケ置換を行っている。このため、ボケ置換の演算処理を容易化できる。
【００７５】
本実施の形態では、入力画像データのエッジの周辺で局所的にボケを推定してボケを置換するため、入力画像データに含まれているボケ及び出力画像データに望まれるボケは、画像全体で一様ではなく画像上の位置によって異なっていてもよい。
【００７６】
本実施の形態に係る画像再構成部７においては、入力画像データを初期近似解とする反復法を適用して画像再構成が行われ、出力画像データが生成される。すなわち、本実施の形態における画像再構成処理においては、高速な解法を用いることができ、また適切な初期近似解が与えられる。このため、本実施の形態では、処理が容易で計算量を少なくすることができ、処理速度を高速化できる。
【００７７】
本実施の形態に係るボケ推定部５とボケ置換部６においては、入力画像データから検出されたエッジの周辺について、局所的にボケ推定処理とボケ置換処理が行われるため、計算を容易化かつ高速化することができる。
【００７８】
本実施の形態では、入力画像データＩ（ｘ，ｙ）の輝度勾配ｇｒａｄ（Ｉ）に変更を加える形式でボケが置換される。このため、ボケの影響を受けていない領域については、入力画像データと同じデータを出力することができ、余分な画質改変を行うことがなく、画質の劣化も生じにくい。
【００７９】
（第２の実施の形態）
本実施の形態においては、上記第１の実施の形態の変形例について説明する。
【００８０】
上記第１の実施の形態におけるボケ推定部５は、入力画像データを読み込んでいるが、本実施の形態におけるボケ推定部は、入力画像データに代えて、入力画像データの輝度勾配を読み込み、ボケパラメータと局所コントラストとを求める場合について説明する。
【００８１】
図１０は、本実施の形態に係るボケ変換装置の構成の一例を示すブロック図である。
【００８２】
上記第１の実施の形態に係るボケ変換装置１のボケ推定部５は、上記の（５）式を入力画像データの輝度分布Ｉにフィッティングした。これに対して、本実施の形態に係るボケ変換装置８のボケ推定部９は、上記（５）式と入力画像データの輝度分布Ｉとの双方の微分結果を用いてボケ推定を行う。
【００８３】
本実施の形態に係るボケ推定部９は、入力画像データの代わりに微分部４によって求められた入力画像データの輝度勾配を入力し、この入力画像データの輝度勾配とボケ関数とをフィッティングすることにより、ボケを推定する。
【００８４】
すなわち、ボケ推定部９は、上記（５）の微分結果である（８）式を、入力画像データの輝度勾配の大きさ｜ｇｒａｄ（Ｉ）｜にフィッティングし、ボケパラメータｐと局所コントラストｃを求める。
【００８５】
微分することにより、定数部の情報が失われるが、エッジの両端の輝度値ｈ0，ｈ1そのものは、以降の処理で用いる必要がなく、エッジの両端の輝度値ｈ0，ｈ1の差ｃのみがあればよいため、問題ない。
【００８６】
ボケを、上記（６）式のガウシアンでモデル化した場合、上記（８）式は、下記（１７）式のようになる。
【００８７】
∂ｆ／∂ｘ＝ｃ∫Ｇ（ｘ，ｙ；ｒ）ｄｙ＝ｃ・ｅｘｐ｛−ｘ2／（２ｒ2）｝／（ｒ√（２π））  …（１７）
以上説明した本実施の形態においては、上記（８）式を、入力画像データの輝度勾配ｇｒａｄ（Ｉ）にフィッティングすることにより、上記第１の実施の形態の場合よりもフィッティングのパラメータを一つ減らすことができる。したがって、本実施の形態においては、フィッティングのための計算量を少なくすることができ、処理を容易化することができ、フィッティングの安定性を増すことができる。
【００８８】
（第３の実施の形態）
本実施の形態においては、上記第１又は第２の実施の形態の変形例について説明する。
【００８９】
上記第１の実施の形態に係るボケ変換装置１のボケ推定部５は、入力画像データを読み込んでいる。また、上記第２の実施の形態に係るボケ変換装置１のボケ推定部９は、微分部４によって求められた入力画像データの輝度勾配を読み込んでいる。
【００９０】
これに代えて、本実施の形態に係るボケ変換装置のエッジ検出部は、エッジ位置及び方向に加えて、ぼかされた入力画像データの輝度勾配を求め、本実施の形態に係るボケ変換装置のボケ推定部は、エッジ検出部によって求められたエッジ位置、エッジの方向、ぼかされた入力画像データの輝度勾配を読み込み、ボケパラメータと局所コントラストとを求める。
【００９１】
図１１は、本実施の形態に係るボケ変換装置の構成の一例を示すブロック図である。
【００９２】
ボケ変換装置１０のエッジ検出部１１は、Cannyのエッジ検出方式などの手法を用いて、入力画像データのエッジ位置、エッジ方向を記憶装置２ｂに記憶するとともに、ぼかされた入力画像データの輝度勾配を作成し、記憶装置２ｈに記憶する。
【００９３】
ぼかされた入力画像データの輝度勾配は、下記の（１８）式に示すように、入力画像データにGaussian derivativeフィルタをかけることで得られる。
【００９４】
ｇｒａｄ（Ｉ）＝（∂Ｇ（ｘ、ｙ；ｓ）／∂ｘ＊Ｉ（ｘ，ｙ），∂Ｇ（ｘ、ｙ；ｓ）／∂ｙ＊Ｉ（ｘ，ｙ））  …（１８）
ボケ推定部１２によって、ぼかされた入力画像データの輝度勾配に（８）式をフィッティングしてボケの推定を行う場合においては、入力画像データを標準偏差ｓのガウシアンフィルタによってぼかされた画像データに対してボケの推定を行っていることになる。このため、ボケ推定部１２では、入力画像データの実際のボケより大きなボケが推定される。
【００９５】
すなわち、本実施の形態において、ボケ推定部１２によって求められたボケパラメータがｐの場合、このぼかされた入力画像データのボケパラメータｐと入力画像データの実際のボケパラメータｔとの間には、下記の（１９）式の関係が成り立つ。
【００９６】
ｇ（ｘ，ｙ；ｐ）＝ｇ（ｘ，ｙ；ｔ）＊Ｇ（ｘ，ｙ；ｓ）  …（１９）
本実施の形態におけるボケ推定部１２は、上記（１９）式によりｔを求めてボケパラメータの最終的な推定値とする。
【００９７】
ボケ関数ｇを、ガウシアンＧでモデル化すると、上記（１９）式は下記（２０）式となる。
【００９８】
ｐ2＝ｔ2＋ｓ2  …（２０）
なお、エッジ検出部１１において局所的に上記（１８）式のｓを変化させるエッジ検出法を用いた場合には、ｓの値を上記（１９）式にも同様に反映させる必要がある。
【００９９】
以上説明したように、本実施の形態においては、ボケ推定部１２が、入力画像データに代えて、エッジ検出部１１によって生成されたぼかされた入力画像データの輝度勾配を用いてボケ推定を行う。このように、入力画像データの輝度勾配を適切にぼかした後にボケ推定を行うことにより、入力画像データに含まれているノイズの影響を軽減することができ、ボケ推定の信頼性を向上させることができる。ぼかされた入力画像データの輝度勾配は、エッジ検出部１１がエッジ検出のために生成するものをボケ推定部１２で再利用するので、追加の計算コストはかからない。
【０１００】
（第４の実施の形態）
本実施の形態においては、上記第１乃至第３の実施の形態の変形例について説明する。以下においては、上記第１の実施の形態に係るボケ変換装置１を変形した場合について説明するが、他の実施の形態に係るボケ変換装置８，１０を変形する場合も同様である。
【０１０１】
図１２は、本実施の形態に係るボケ変換装置の構成の一例を示すブロック図である。
【０１０２】
上記第１の実施の形態においては、所望のボケパラメータが記憶装置２ｅに記憶されているが、例えばこの所望のボケパラメータは外部から入力される。
【０１０３】
これに対して、本実施の形態に係るボケ変換装置１３においては、所望のカメラパラメータを入力し、この所望のカメラパラメータを記憶装置２ｉに記憶し、パラメータ変換部１４が記憶装置２ｉに記憶されている所望のカメラパラメータを読み込んで所望のボケパラメータを作成し、記憶装置２ｅに記憶する。
【０１０４】
パラメータ変換部１４は、記憶装置２ｄに記憶されている推定されたボケパラメータと、記憶装置２ｉに記憶されている所望のカメラパラメータとを読み出し、推定されたボケパラメータと所望のカメラパラメータとに基づいて、新規の所望のボケパラメータを算出し、所望のボケパラメータを記憶装置２ｅに記憶する。
【０１０５】
本実施の形態においては、単純な薄レンズ（thin lens）モデルを考える。
【０１０６】
カメラパラメータは焦点距離Ｆ、ｆナンバー（f-number）ｆ、レンズと撮像面（image plane）との間の距離ｖの３つであるとする。ボケパラメータは、ボケ半径ｒとする。
【０１０７】
焦点距離Ｆ、ｆナンバーｆ、レンズと撮像面（image plane）との間の距離ｖ、ボケ半径ｒと、対象物体までの距離Ｄとの関係は、下記の（２１）式で表される。
【０１０８】
Ｄ＝Ｆｖ／（ｖ−Ｆ−ｒｆ）  …（２１）
よって、初期のカメラパラメータをＦ0，ｆ0，ｖ0とすると、推定したボケ半径ｒ0から距離Ｄが下記（２２）式、（２３）式により算出される。
【０１０９】
Ｄ＝Ｆ0ｖ0／（ｖ0−Ｆ0−ｔｆ0）  …（２２）
｜ｔ｜＝ｒ0  …（２３）
上記（２２）式において、ボケ半径ｔは符号つきの値であり、焦点が合いｔ＝０となる距離Ｄ0＝Ｆ0ｖ0／（ｖ0−Ｆ0）を境に、Ｄ＜Ｄ0のときｔ＜０、Ｄ＞Ｄ0のときｔ＞０となる関係がある。
【０１１０】
ボケ半径の推定値は、通常絶対値｜ｔ｜＝ｒ0で与えられるため、ｔ＝ｒ0とするか、ｔ＝−ｒ0とするかによって算出される距離Ｄには自由度がある。この選択にはより高位の情報が必要であり、例えばシーン中の物体が全てＤ＞Ｄ0であることが既知であればｔ＝ｒ0とする。または、ユーザがｔ＝ｒ0とするかｔ＝−ｒ0とするかを選択するとしてもよい。
【０１１１】
上記（２２）式により算出された距離Ｄを、上記（２１）式をｒについて解いた下記の（２４）式に代入することで、所望のカメラパラメータＦ，ｆ，ｖに対するボケ半径（所望ボケパラメータ）ｒを得ることができる。
【０１１２】
ｒ＝ｖＦ／ｆ（１／Ｆ−１／ｖ−１／Ｄ）  …（２４）
以上説明した本実施の形態に係るボケ変換装置１３においては、パラメータ変換部１４が具備されており、入力された所望のカメラパラメータが自動で所望のボケパラメータに変換され、ボケ置換部６はこの所望のボケパラメータを入力する。
【０１１３】
したがって、本実施の形態では、画像処理の観点から定義される所望のボケパラメータを直接入力しなくても、物理的・光学的な観点から定義されるカメラパラメータを入力することができ、このカメラパラメータから所望のボケパラメータが求められ、ボケ置換が行われる。したがって、ボケ置換を直感的で制御しやすくすることができる。
【０１１４】
また、本実施の形態において、カメラパラメータとしては、薄レンズモデルにおける焦点距離、ｆナンバー、レンズと撮影面との距離が用いられている。これにより、カメラパラメータからボケパラメータへの変換計算を容易化できる。
【０１１５】
（第５の実施の形態）
本実施の形態においては、上記第１乃至第５の実施の形態の変形例であり、入力画像データがカラー画像データの場合について説明する。以下においては、上記第３の実施の形態に係るボケ変換装置１０を変形した場合について説明するが、他の実施の形態に係るボケ変換装置１，８，１３を変形する場合も同様である。なお、本実施の形態においては、カラー画像データである入力画像データのコンポーネント数が３の場合について説明するが、このコンポーネントの数は自由に変更可能である。
【０１１６】
図１３は、本実施の形態に係るボケ変換装置の構成の一例を示すブロック図である。
【０１１７】
本実施の形態に係るボケ変換装置１５の記憶装置２ａに記憶されている入力画像データは、例えばＲＧＢなどのように、複数のコンポーネントを含む。
【０１１８】
エッジ検出部１６は、複数のコンポーネントに対応したエッジ検出法を用い、エッジ位置及びエッジ方向を記憶装置２ｂに記憶する。
【０１１９】
また、本実施の形態において、エッジ検出部１６は、コンポーネントｊごとに、上記（１８）式を用いてぼかされた輝度勾配ｇｒａｄ（Ｉj）を計算し、下記の（２５）式で表すように、各画素において輝度勾配の大きさ（magnitude）が最大となるコンポーネントｋを選択して一つのぼかされた輝度勾配（Ｉx，Ｉy）を構成し、記憶装置２ｈに記憶する。
【０１２０】
（Ｉx，Ｉy）＝ｇｒａｄ（Ｉk）  ｓ．ｔ．  ｜ｇｒａｄ（Ｉk）｜＝ｍａｘ｛｜ｇｒａｄ（Ｉj）｜｝  ｆｏｒ  ｅａｃｈ  （ｘ，ｙ）  …（２５）
エッジ検出部１６におけるエッジ検出法としては、例えばCumaniのエッジ検出法を用いることができる。
【０１２１】
本実施の形態に係るエッジ検出部１６及びボケ推定部１２については、ぼかされた輝度勾配を一つに合成する点を除き、上記各実施の形態で説明したエッジ検出部及びボケ推定部と同様である。
【０１２２】
輝度勾配を一つにまとめることの妥当性は、色収差が無視できる範囲において画像データのボケは光の波長に依存しないことから確保される。
【０１２３】
微分部１７は、記憶装置２ａに記憶されている入力画像データを読み出し、入力画像データに含まれている各コンポーネントの輝度勾配を求め、各コンポーネントの輝度勾配を記憶装置２ｃに記憶する。
【０１２４】
ボケ置換部１８は、記憶装置２ｂに記憶されているエッジ位置及び方向、記憶装置２ｃに記憶されている入力画像データの各コンポーネントの輝度勾配、記憶装置２ｄに記憶されているボケパラメータ及び局所コントラスト、記憶装置２ｅに記憶されている所望のボケパラメータを読み出す。
【０１２５】
本実施の形態に係るボケ置換部１８は、上記（１０）式の局所コントラストｃiを下記の（２６）式、（２７）式に変更した数式を用いる。
【０１２６】
エッジ点ｉにおいて、ｃiは、上記（２５）式に示すように、コンポーネントｋに対して推定した値であるため、他のコンポーネントｊについては輝度勾配の比に応じてスケーリングする。すなわち、本実施の形態において、コンポーネントｊに対する局所コントラストｃi,jは下記の（２６）式、（２７）式のようになる。
【０１２７】
ｃi,j＝ｃi  ｆｏｒ  ｊ＝ｋ  …（２６）
ｃi,j＝ｃi｜ｇｒａｄ（Ｉj）｜／｜ｇｒａｄ（Ｉk）｜  ｆｏｒ  ｊ≠ｋ  …（２７）
そして、ボケ変換部１８は、ボケ置換後の各コンポーネントの輝度勾配を記憶装置２ｆに記憶し、画像再構成部１９は、コンポーネントごとの画像再構成データを含む出力画像データを記憶装置２ｇに記憶する。
【０１２８】
以上説明した本実施の形態において、微分部１７、ボケ置換部１８、画像再構成部１９は、カラー画像データである入力画像データのコンポーネントごとに処理を実行し、エッジ検出部１６は、複数のコンポーネントからひとつのぼかされた入力画像データの輝度勾配を求める。
【０１２９】
本実施の形態においては、カラー画像データに対しても、局所的なボケ変換を行うことができる。また、本実施の形態においては、コンポーネント数に関係なくエッジ検出とボケ推定を一回の動作で行うことができるため、各コンポーネントをそれぞれ独立に扱う場合より計算量を少なくすることができ、処理の高速化を図ることができる。
【０１３０】
（第６の実施の形態）
本実施の形態においては、上記第１乃至第５の実施の形態の変形例であり、入力画像データに対して前処理を実行し、画像再構成部で再構成された画像データに対して後処理を実行することにより、ボケ変換の精度を高めるボケ変換装置について説明する。以下においては、上記第５の実施の形態に係るボケ変換装置１５を変形した場合について説明するが、他の実施の形態に係るボケ変換装置１，８，１０，１３を変形する場合も同様である。
【０１３１】
図１４は、本実施の形態に係るボケ変換装置の構成の一例を示すブロック図である。
【０１３２】
本実施の形態に係るボケ変換装置２０においては、記憶装置２ｊ〜２ｌと、分離部２１と、合成部２２とを具備する。
【０１３３】
分離部２１は、記憶装置２ａに記憶されている入力画像データに含まれている各コンポーネントＩjを読み出す。そして、分離部２１は、下記（２８）式の関係に基づいて、各コンポーネントＩjを、陰影画像データ（shading image）Ｓと反射率画像データ（reflectance image）Ｒjに分離し、反射率画像データＲjを記憶装置２ｋに記憶するとともに、陰影画像データＳを記憶装置２ｊに記憶する。ここで、ｊはコンポーネント番号である。
【０１３４】
Ｉj（ｘ，ｙ）＝Ｓ（ｘ，ｙ）Ｒj（ｘ，ｙ）  …（２８）
陰影画像データとは、シーンの照明条件によって変化する要素のデータであり、光の当たる角度によって物体の明るさが変わって見える効果や、光が物体に遮られてできる影などを表す。入力画像データからこの陰影画像データを取り除いた反射率画像データは、物質固有の「色」に相当する。この分離方法として、各種既存の技術を用いることができる。
【０１３５】
本実施の形態においては、この反射率画像データに対して、上記第５の実施の形態と同様のボケ推定、ボケ置換、画像再構成が行われる。
【０１３６】
合成部２２は、下記（２９）式の関係に基づいて、画像再構成部１９によって記憶装置２ｇに記憶された出力画像データＲ’jと、記憶装置２ｊに記憶されている陰影画像データＳとを乗算して合成後の出力画像データＩ’jを作成し、記憶装置２ｌに記憶する。
【０１３７】
Ｉ’j（ｘ，ｙ）＝Ｓ（ｘ，ｙ）Ｒ’j（ｘ，ｙ）  …（２８）
以上説明した本実施の形態に係るボケ変換装置２０は、分離部２１と合成部２２とを具備する。分離部２１は、入力画像データを陰影画像データと反射率画像データとに分離し、上記第５の実施の形態のボケ変換手法を反射率画像データに対して適用する。合成部２２は、出力画像データと陰影画像データとを合成して、合成後の出力画像データを作成する。
【０１３８】
このような本実施の形態では、入力画像データから照明条件に起因する輝度変化を除去することで、ボケ推定の精度を向上させることができる。本実施の形態においては、例えば、曲面状の物体表面や半影の縁で観測されるゆるやかな輝度変化が、誤って大きなボケと推定されることを防止することができる。
【０１３９】
上記各実施の形態において、各構成要素は同様の動作を実現可能であれば配置を変更させてもよく、また各構成要素を自由に組み合わせてもよく、各構成要素を自由に分割してもよく、いくつかの構成要素を削除してもよい。すなわち、本実施の形態については、上記の構成そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、各記憶装置はそれぞれ自由に組み合わせてもよい。
【０１４０】
上記各実施の形態に係るボケ変換装置１，８，１０，１３，１５，２０における各処理部は、例えばプログラムによって制御されるプロセッサにより実現されるとしてもよい。プロセッサを上記各実施の形態に係るボケ変換装置１，８，１０，１３，１５，２０の各処理部として機能させるためのプログラムは、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記憶媒体に書き込んで、プロセッサを持つコンピュータに適用可能である。また、プログラムは、通信媒体により伝送してコンピュータに適用することも可能である。コンピュータは、プログラムを読み込み、このプログラムによって動作が制御されることにより、ボケ変換装置１，８，１０，１３，１５，２０としての機能を実現する。プログラムは、複数のコンピュータに分散して配置され、複数のコンピュータ間で互いに連携しつつ処理が実行されるとしてもよい。
【０１４１】
（第７の実施の形態）
本実施の形態においては、上記第１乃至第６の実施の形態で説明したボケ変換の適用例について説明する。
【０１４２】
第１の適用例として、上記のボケ変換は、画像レタッチソフトウェア及びデジタルカメラ付属ソフトウェアに適用可能である。同様に、上記のボケ変換は、画像レタッチソフトウェア及びデジタルカメラ付属ソフトウェアを支援するハードウェアに対しても適用可能である。
【０１４３】
ユーザは、自分で撮影した写真データの修正・編集に、上記のボケ変換を用いることができる。具体的には、例えばピントがずれていたため直したい場合に用いることができる。特に、撮影時に意識的に焦点深度を浅く撮った写真データであるため、全体をくっきりさせずに、焦点深度を保ったままピント位置をずらしたいというような場合にも、上記ボケ変換を用いることができる。
【０１４４】
また、ユーザは、Ｗｅｂ又は雑誌に掲載する商品画像データの修正・編集に、上記のボケ変換を用いることができる。例えば、いくつかの写真データから好みの写真データを選択し、Ｗｅｂ又は雑誌に掲載するための様々な加工を行ったが、バランスを考えると選択した写真データのボケ方を修正したくなる場合がある。このような場合においても、写真データの選択から加工をやり直すのではなく、加工中のデータに対して上記のボケ変換を実行することで、ボケ方を修正可能である。
【０１４５】
また、ユーザは、ポスターや広告などでスピード感を表すために、局所的にボケを加えたい場合、上記のボケ変換を用いることができる。
【０１４６】
また、人物又は動物など動的な対象について、貴重な瞬間をとらえた写真を撮影できたが一部のボケを修正したい場合、カメラ設定を変えて取り直すのではなく、この貴重な写真を修正することができる。
【０１４７】
また、肖像写真について、撮影時の証明条件の誤りなどで影がはっきりしすぎていて写真の用途にそぐわないような場合に、この影をぼかしてやわらかい状態とすることができる。
【０１４８】
また、歴史上の人物の写真などのように、１枚しかない写真から異なる設定で撮ったような写真を作成することができる。
【０１４９】
第２の適用例として、上記のボケ変換は、カメラ設定を変更して撮影した状態を、ソフトウェア的に実現する場合に適用可能である。例えば、デジタルカメラＬＳＩ又はデジタルカメラＬＳＩの制御ソフトウェアに用いることができる。
【０１５０】
例えば、オートフォーカス精度を落としてデジタルカメラのコストを下げ、オートフォーカス精度を落としたことによりピントが少しずれた場合に、上記のボケ変換によりボケを調整することができる。
【０１５１】
また、デジタルカメラのレンズが固定の場合であっても、上記のボケ変換を行うことにより、レンズを交換したような効果を得ることができる。
【０１５２】
さらに、カメラの機構による制約を受けないカメラパラメータの変更ができる。例えば、しぼりを機械的に変えて焦点深度を変えた場合、光量が変わる。光量をシャッタースピードで補償すると動きのぶれが加わる。しかしながら、上記のボケ変換を行うことにより、しぼりもシャッタースピードも変えることなく、焦点深度を変えることができる。
【０１５３】
第３の適用例として、上記のボケ変換は、ゲーム機器ＬＳＩ又はゲーム機器ＬＳＩ上で動くソフトウェアに用いることができる。
【０１５４】
例えば、実写素材に対して、シーン中のある物から別の物に焦点が移る効果を実現する場合に、このように焦点の移る動画を流す代わりに、上記ボケ変換により、１枚の画像のボケの位置を移動させることで焦点が移る効果を実現でき、データ長を減少させることができる。
【０１５５】
また、単純なＣＧ画像は、全体がはっきりしていて人工的な感じが強くなる。しかしながら、上記ボケ変換を適用することで、ＣＧ画像をぼやかして（焦点ボケ、動きボケを加えて）自然な画像とすることができる。
【図面の簡単な説明】
【０１５６】
【図１】本発明の第１の実施の形態に係るボケ変換装置の構成の一例を示すブロック図。
【図２】ステップエッジのｙ＝０での断面ｈ（ｘ，０）の例を示すグラフ。
【図３】ボケ関数のｙ＝０での断面ｇ（ｘ，０；ｒ）の例を示すグラフ。
【図４】ボケたエッジのｙ＝０での断面ｆ（ｘ，０；ｈ0，ｈ1，ｒ）の例を示すグラフ。
【図５】第１の実施の形態におけるボケ置換及び画像データの再構成の概念の一例を示すグラフ。
【図６】第１の実施の形態に係るボケ変換装置の処理の一例を示すフローチャート。
【図７】一次元の場合のエッジとボケ関数との関係の一例を示す図。
【図８】あるエッジ点について、エッジ方向と垂直な方向の微分の分布（輝度勾配）に、ガウシアンをフィッティングしたボケ推定結果の例を示す図。
【図９】一次元の場合について、あるエッジ点周辺の輝度勾配について、推定されたボケを、所望のボケに置換した結果の例を示す図。
【図１０】本発明の第２の実施の形態に係るボケ変換装置の構成の一例を示すブロック図。
【図１１】本発明の第３の実施の形態に係るボケ変換装置の構成の一例を示すブロック図。
【図１２】本発明の第４の実施の形態に係るボケ変換装置の構成の一例を示すブロック図。
【図１３】本発明の第５の実施の形態に係るボケ変換装置の構成の一例を示すブロック図。
【図１４】本発明の第６の実施の形態に係るボケ変換装置の構成の一例を示すブロック図。
【符号の説明】
【０１５７】
１，８，１０，１３，１５，２０…画像変換装置、２ａ〜２ｌ…記憶装置、３，１１，１６…エッジ検出部、４，１７…微分部、５，９，１２…ボケ推定部、６，１８…ボケ置換部、７，１９…画像再構成部、１４…パラメータ変換部、２１…分離部、２２…合成部
【図１】
0004585456.tif 000002
【図２】
0004585456.tif 000003
【図３】
0004585456.tif 000004
【図４】
0004585456.tif 000005
【図５】
0004585456.tif 000006
【図６】
0004585456.tif 000007
【図７】
0004585456.tif 000008
【図８】
0004585456.tif 000009
【図９】
0004585456.tif 000010
【図１０】
0004585456.tif 000011
【図１１】
0004585456.tif 000012
【図１２】
0004585456.tif 000013
【図１３】
0004585456.tif 000014
【図１４】
0004585456.tif 000015