"入力画像を複数の小領域画像に分割する小領域分割部と、前記小領域画像のPSFを推定する局所PSF推定部と、推定された前記PSFの形状を識別し、類似性の高いPSF形状の小領域画像が同一グループに属するように、前記小領域画像を分類するPSF形状識別部と、同一グループに分類され、かつ隣接する前記小領域画像をグループ毎に統合することで、各グループに分離された被写体画像を得る小領域統合部と、を具備する被写体分離装置。前記小領域分割部は、前記複数の小領域画像が互いにオーバーラップするように、前記入力画像を分割する、請求項1に記載の被写体分離装置。小領域画像のPSFを、自身の小領域画像を用いて推定するか、あるいは、周辺の小領域画像のPSFを用いて推定するかを、当該小領域画像のPSFの信頼性に基づいて選択するPSF選択部を、さらに具備する、請求項1に記載の被写体分離装置。小領域画像の分類を、自身の小領域画像のPSF推定結果を用いて行うか、あるいは、周辺の小領域画像の分類結果を用いて行うかを、当該小領域画像のPSFの信頼性に基づいて選択する分類選択部を、さらに具備する、請求項1に記載の被写体分離装置。請求項1から請求項4のいずれか一項に記載の被写体分離装置と、前記被写体分離装置によって分離された各被写体画像を用いて、各被写体画像のPSFを推定する被写体PSF推定部と、前記被写体PSF推定部によって推定されたPSFと、前記被写体画像と、を用いて、前記被写体画像の劣化を補正した復元画像を得る画像復元部と、を具備する画像復元装置。前記被写体PSF推定部は、MAP法によってPSF推定するものであり、初期値として、前記局所PSF推定部で既に推定されているPSFを流用する、請求項5に記載の画像復元装置。請求項1から請求項4のいずれか一項に記載の被写体分離装置と、前記被写体分離装置によって分離された前記被写体画像と、前記局所PSF推定部で既に推定されているPSFと、を用いて、前記被写体画像の劣化を補正した復元画像を得る画像復元部と、を具備する画像復元装置。入力画像を複数の小領域に分割するステップと、前記小領域毎にPSFを推定するステップと、推定された前記小領域毎のPSFの形状を識別し、類似性の高いPSF形状の小領域が同一グループに属するように、前記小領域を分類するステップと、同一グループに分類された隣接小領域をグループ毎に統合することで、各グループに分離された被写体画像を得るステップと、を含む被写体分離方法。入力画像を複数の小領域に分割するステップと、前記小領域毎にPSFを推定するステップと、推定された前記小領域毎のPSFの形状を識別し、類似性の高いPSF形状の小領域が同一グループに属するように、前記小領域を分類するステップと、同一グループに分類された隣接小領域をグループ毎に統合することで、各グループに分離された被写体画像を得るステップと、前記分離された各被写体画像を用いて、各被写体画像のPSFを推定するステップと、前記推定された被写体画像のPSFと、前記被写体画像と、を用いて、前記被写体画像の劣化を補正した復元画像を得るステップと、を含む画像復元方法。入力画像を複数の小領域に分割するステップと、前記小領域毎にPSFを推定するステップと、推定された前記小領域毎のPSFの形状を識別し、類似性の高いPSF形状の小領域が同一グループに属するように、前記小領域を分類するステップと、同一グループに分類された隣接小領域をグループ毎に統合することで、各グループに分離された被写体画像を得るステップと、前記被写体画像と、前記推定されたPSFと、を用いて、前記被写体画像の劣化を補正した復元画像を得るステップと、を含む画像復元方法。ところで、特許文献1で開示されている技術においては、基準領域を徐々に拡げていくことでPSFを推定しているので、画像全体を俯瞰したPSF推定を行う点で不十分であると考えられる。また、基準領域の設定の仕方に応じて、PSF推定のための計算量が不要に増加したり、計算量を抑えるとPSFの推定精度が低下すると考えられる。つまり、限られたハードウェア資源で、かつ、高速に画像復元を行おうとすると、画像復元の精度が低下するおそれがある。本発明は、以上の点を考慮してなされたものであり、画像内にボケ方が異なる複数の被写体が存在する場合であっても、比較的少ない計算量で、各被写体画像のボケを修復して鮮鋭な画像を得ることができる画像復元装置、画像復元方法、及び、それに用いて好適な被写体分離装置、被写体分離方法を提供することを目的とする。本発明の被写体分離装置の一つの態様は、入力画像を複数の小領域画像に分割する小領域分割部と、前記小領域画像のPSFを推定する局所PSF推定部と、推定された前記PSFの形状を識別し、類似性の高いPSF形状の小領域画像が同一グループに属するように、前記小領域画像を分類するPSF形状識別部と、同一グループに分類され、かつ隣接する前記小領域画像をグループ毎に統合することで、各グループに分離された被写体画像を得る小領域統合部と、を具備する。本発明の画像復元装置の一つの態様は、前記被写体分離装置と、前記被写体分離装置によって分離された各被写体画像を用いて、各被写体画像のPSFを推定する被写体PSF推定部と、前記被写体PSF推定部によって推定されたPSFと、前記被写体画像と、を用いて、前記被写体画像の劣化を補正した復元画像を得る画像復元部と、を具備する。本発明によれば、画像内にボケ方が異なる複数の被写体が存在する場合であっても、比較的少ない計算量で、各被写体画像のボケを修復して鮮鋭な画像を得ることができる画像復元装置、画像復元方法、及び、それに用いて好適な被写体分離装置、被写体分離方法を実現できる。また、本発明の被写体分離装置及び方法によれば、複数のカメラや付加的な装置距離センサ等を用いることなく、入力画像1枚のみから、被写体の遠近分離や動いている被写体の分離が可能となる。以下、本発明の実施の形態について図面を参照して詳細に説明する。[1]被写体分離装置の構成I図1に、本実施の形態の被写体分離装置の構成を示す。被写体分離装置100は、小領域分割部101に入力画像S10を入力する。小領域分割部101は、小領域アドレス生成部102及び小領域画像データ読出部103を有する。小領域アドレス生成部102は、各小領域のアドレスを生成し、順次出力する。小領域画像データ読出部103は、入力画像S10を格納するメモリを有しており、小領域アドレス生成部102で生成されたアドレスに基づく画像を読み出すことにより、1枚の入力画像S10を複数の小領域画像S11に分割して出力する。図2に、小領域分割部101による画像分割の様子を示す。図中の点線で区切られた各領域が分割された小領域である。小領域分割部101により得られた小領域画像S11は、局所PSFPointSpreadFunction;点拡がり関数推定部104に入力される。局所PSF推定部104は、小領域画像毎にPSFを推定する。図3は、局所PSF推定部104によって行われる局所PSF推定の説明に供する図である。図3Aは局所PSF推定の処理手順を示す。図3Aに示すように、局所PSF推定部104は、小領域画像S11が入力されるとステップST10で処理を開始し、ステップST11で、推定するPSFと復元画像とを初期化する。ステップST12ではPSFの最適解を探索し、ステップST13では復元画像の最適解を探索する。続く、ステップST14では最適解が収束したか否か判断し、収束した場合にはステップST14;YES、ステップST15で局所PSF推定処理を終了する。最適解が収束しない場合にはステップST14;NO、ステップST12に戻って、最適解が収束するまで、ステップST12-ST13-ST14の処理を繰り返す。局所PSF推定部104は、図3Aの処理を各小領域画像に対して行う。図3BはPSF推定結果推定されたPSFの形状の一例を示す。図中の円は、大きいほどボケが大きい領域であることを示す。線状の棒は、移動を示す。具体的には、横棒は、その領域の被写体が水平移動したことを示し、縦棒は、垂直移動したことを示す。ここで、PSF、及びPSF形状について、簡単に説明しておく。先ず、図4を用いて、PSFについて説明する。図4Aは、理想的な点光源像点像をPSF関数fに入力して得られる出力像を示す。関数fを規定するPSFとして、出力像が用いられる。図4Bは、実際の画像をPSF関数fに入力して得られる出力画像を示す。関数fのPSFの画像信号と入力画像信号とを畳み込み演算することで、関数fを通してボケる出力画像を生成できる。次に、図5を用いて、PSF形状について説明する。PSFの形状とは、PSF画像内の個々の信号について信号レベルが一定以上の画素のみを抽出した際に、当該画素群が画像平面上に形成する図形である。図5Aは、ボケている画像のPSF形状の例を示し、図5Bは、水平方向に動いている被写体像のPSF形状の例を示す。図1に戻って、被写体分離装置100の構成の説明を続ける。PSF形状識別部105は、推定された小領域毎のPSFの形状を識別し、類似性の高いPSF形状の小領域が同一グループに属するように、小領域を分類する。PSF形状識別部105は、分類結果に基づいて、各小領域の情報に分類符号を紐付けして小領域分類符号S13として出力する。小領域統合部106は、同一グループに分類された隣接小領域を統合する。そして、小領域統合部106は、同一グループに分類され統合した小領域は同一の被写体画像であると判断し、統合された被写体領域アドレスS14を出力する。つまり、小領域統合部106は、同一の被写体であると判断した領域のアドレスを同一被写体のアドレスであることが分かる形で、被写体領域アドレスS14として出力する。被写体選択部107は、復元処理補正処理と言ってもよいの対象となる被写体を選択し、その被写体を形成する領域のアドレスを、注目被写体領域アドレスS15として出力する。なお、選択される被写体は、例えばユーザによって指定された被写体である。また、選択される被写体は、所定の順番で順次選択されたものであってもよい。被写体領域画像データ読出部108は、入力画像S10を格納するメモリを有しており、注目被写体領域アドレスに基づく画像を読み出すことにより、被写体画像S16を出力する。図6に、被写体分離装置100によって分離された、被写体画像の例を示す。近景Nの小領域同士のPSF形状は似通っており、遠景Fの小領域同士のPSF形状は似通っており、動き部mの小領域同士のPSF形状は似通っている。一方、近景Nと、遠景Fと、動き部mとの間では、PSF形状は大きく異なる。その結果、PSF形状識別部105及び小領域統合部106によって、図中の点線を境界にグループ分けする分類が行われ、同一グループ内の小領域は統合される。これにより、ボケ方の違いを基に被写体を的確に分離できる。このように、本実施の形態の被写体分離装置100によれば、入力画像S10を複数の小領域画像S11に分割する小領域分割部101と、小領域毎にPSFを推定する局所PSF推定部104と、推定された小領域毎の局所推定PSFS12の形状を識別し、類似性の高いPSF形状の小領域が同一グループに属するように、局所推定PSFS12を分類するPSF形状識別部105と、同一グループに分類された隣接小領域を統合する小領域統合部106と、を有することにより、似通ったボケ方をしている被写体画像を、的確に分離することができる。この結果、複数のカメラや付加的な装置距離センサ等を用いることなしに、入力画像1枚のみから、被写体の遠近分離や、動いている被写体の分離が可能となる。また、被写体分離装置100は、その分離を比較的少ない演算量で行うことができる。[2]被写体分離装置の構成II図1との対応部分に同一符号を付して示す図7に、被写体分離装置の別の構成例を示す。図7の被写体分離装置200は、図1の被写体分離装置100と比較して、小領域分割部201の構成が異なる。被写体分離装置200の小領域分割部201は、小領域アドレス拡幅部202を有する。小領域アドレス拡幅部202は、小領域アドレス生成部102からのアドレスを用いて、小領域を拡幅するためのアドレスを生成する。具体的には、図8に示すように、互いにオーバーラップした小領域を形成する。このようにすることで、単純な格子分割よりも小領域内のサンプル数が増えるので、局所PSF推定部104における局所PSF推定の性能が向上する。この結果、最終的な被写体の分離も、より的確に行うことができるようになる。[3]被写体分離装置の構成III図1との対応部分に同一符号を付して示す図9に、被写体分離装置の別の構成例を示す。被写体分離装置300は、PSF推定の信頼性が低そうな小領域のPSFは、隣接小領域で推定したPSFを位置合わせし補間することで、求めるようになっている。PSF推定可否判定部301は、各小領域画像S11がPSF推定の信頼性が低くなりそうな小領域であるか否か判定する。PSF推定可否判定部301は、PSFの信頼性の指標として、i飽和画素の数、又は、ii輝度勾配、等に基づいてPSF推定の可否を判定する。具体的には、PSF推定可否判定部301は、飽和画素の数が閾値以上である場合や、輝度勾配がほぼゼロの場合には、その小領域は平坦で特徴がないPSF推定の信頼性は低いと判定し、その小領域を用いて推定したPSF推定は使わないと判定する。隣接PSF取得部302は、各小領域について、隣接する小領域の局所推定PSFS12を取得する。PSF位置合わせ部303は、隣接する小領域の局所推定PSFS12の重心位置を合わせる。PSF補間部304は、位置合わせされたPSFを用いて、例えばそれらの平均を求めることにより、補間対象である小領域のPSFを求める。図10に、隣接PSF取得部302、PSF位置合わせ部303及びPSF補間部304による処理のイメージを示す。図中の実線の小領域が補間対象の小領域である。図中の矢印で示すように、補間対象の小領域に隣接する小領域のPSFが取得され、位置合わせされる。そして、位置合わせされたPSFを用いて補間対象の小領域のPSFが求められる。局所PSF選択部305は、PSF推定可否判定部301によってPSF推定を行うと判定された小領域つまり平坦でない小領域については、局所PSF推定部104で推定されたPSFをそのまま出力する。これに対して、局所PSF選択部305は、PSF推定可否判定部301によってPSF推定を行わないと判定された小領域つまり平坦な小領域については、局所PSF推定部104で推定されたPSFに代えて、PSF補間部304で求められたPSFを出力する。このように、被写体分離装置300は、小領域画像のPSFを、自身の小領域画像を用いて求めるか、あるいは、周辺の小領域画像で求められたPSFを用いて求めるかを、小領域画像の平坦度に基づいて選択する。これにより、小領域を統合して抽出する被写体領域に、欠損が発生するのを防止できる。[4]被写体分離装置の構成IV図1及び図9との対応部分に同一符号を付して示す図11に、被写体分離装置の別の構成例を示す。被写体分離装置400は、PSF推定の信頼性が低そうな小領域については、隣接小領域の分類結果を基に当該小領域の分類を決定するようになっている。隣接分類符号取得部401は、各小領域について、隣接する小領域の分類符号を取得する。分類符号補間部402は、隣接する小領域の分類符号を用いて、補間対象である小領域の分類符号を求める。どのように補間するかについては、例えば隣接する小領域の分類符号の中で最も多い分類符号を補間分類符号として選択すればよい。分類符号選択部403は、PSF推定可否判定部301によってPSF推定を行うと判定された小領域つまりPSFの信頼性が高い小領域については、PSF形状識別部105で得られた分類符号をそのまま出力する。これに対して、分類符号選択部403は、PSF推定可否判定部301によってPSF推定を行わないと判定された小領域つまりPSFの信頼性が低い小領域については、PSF形状識別部105で得られた分類符号に代えて、分類符号補間部402で求められた分類符号を出力する。このように、被写体分離装置400は、小領域の分類を、自身の小領域画像のPSF推定結果を用いて行うか、あるいは、周辺の小領域の分類結果を用いて行うかを、小領域画像のPSFの信頼性に基づいて選択する。これにより、被写体分離装置300と同様に、小領域を統合して抽出する被写体領域に、欠損が発生するのを防止できる。[5]画像復元装置の構成I図12に、画像復元装置の構成を示す。画像復元装置500は、被写体分離装置100図1と、被写体PSF推定部510と、劣化画像復元部520と、を有する。なお、被写体分離装置100図1に代えて、被写体分離装置200図7、300図9又は400図11を用いてもよい。上述したように、被写体分離装置100、200、300、400は、同程度のボケを有する小領域を集めて統合して構成した被写体画像S16を出力する。よって、被写体PSF推定部510には、被写体分離装置100から、同程度のボケを有する小領域が集まって構成された被写体画像S16が入力される。被写体PSF推定部510は、PSF推定アルゴリズムを用いて、被写体のPSFを求める。このPSF推定アルゴリズムは、既知のものを用いればよい。ここでは、その概要を簡単に説明する。PSF推定アルゴリズムは、自然画像ボケのないものとPSFとについて一般的に成り立つ統計的性質を用いて、ボケのある入力画像観測データを生成し得る元画像未知数PSF未知数の組み合わせの中で、最も尤もらしい両者をそれぞれ推定画像推定PSFとする。先ず、鮮鋭な画像Lとするについて仮定を置くと共に、PSFKとするについて仮定を置く。ここで鮮鋭な画像については、事前分布pLとして表現され、Lの輝度勾配分布がガウシアンまたはこれに類するものに従うと仮定されることが多い。また、PSFについては、事前分布pKとして表現され、Kの要素が非負でありスパースな分布となると仮定されることが多い。被写体PSF推定部510は、このような仮定の下、以下の手順で処理を行う。ステップ1;LとKの初期値を設定する。Lの初期値として入力画像Bとするを、Kの初期値としてデルタカーネル中心のみ1、それ以外は0の値をとるPSF又は単純形状水平又は垂直線分のPSFを、それぞれ設定することが多い。ステップ2;Lを定数、Kを未知数として、方程式B=L×KNをMAP法によりKについて解く。事後分布pL,K|Bを最大化するL,Kを、pL,pK,pB|L,Kを用いて確率統計的に求める。ステップ3;導出したKを定数、Lを未知数として、上記方程式を同様にLについて解く。ステップ4;導出したK,Lがそれぞれ収束するまで、上記ステップ2~3を繰り返す。収束したKが推定PSFである。被写体PSF推定部510において、PSF復元画像初期化部511は、ステップ1を行うことで、被写体推定PSFと被写体推定復元画像とを得る。PSF最適解導出部512は、ステップ2を行う。また、復元画像最適解導出部513は、ステップ3を行う。推定結果収束判定部514は、ステップ4を行う。このようにして、推定結果収束判定部514から、推定された被写体PSFS20が出力される。劣化画像復元部520は、被写体PSFS20と被写体画像S16とを用いて、復元画像S21を得る。具体的には、復元画像復元部520は、劣化した被写体画像S16に対して被写体PSFS20の逆畳み込み演算を施すことで、鮮鋭な画像である復元画像S21を得る。このように、画像復元装置500は、被写体分離装置100図1、200図7、300図9又は400図11を有し、この被写体分離装置100、200、300又は400によって、似通ったボケ方をしている小領域を的確に集めて形成された被写体画像S16を基に、被写体PSFS20を求め復元画像S21を得る。これにより、画像内にボケ方が異なる複数の被写体が存在する場合であっても、各被写体のボケを修復して鮮鋭な画像を得ることができる。[6]画像復元装置の構成II図12との対応部分に同一符号を付して示す図13に、画像復元装置の別の構成例を示す。画像復元装置600は、被写体PSF推定部510で用いるPSFの初期値として、既に被写体分離装置100又は200、300、400で求めているPSFを流用するようになっている。これにより、被写体PSF推定部510での処理の高速化及び収束の安定化を図ることができる。画像復元装置600において、被写体領域内局所PSF取得部601は、既に局所PSF推定部104で求められている局所推定PSFS12のうち、注目被写体領域に相当するPSFを集める取得する。PSF位置合わせ部602は、集めた各PSFの重心の位置を合わせる。PSFフィルタ部603は、例えば平均化フィルタであり、注目被写体についての代表PSF被写体局所代表PSFS30を得る。この代表PSFS30は、被写体PSF推定部510のPSF復元画像初期化部511に入力される。PSF復元画像初期化部511は、入力された代表PSFS30をPSFの初期値として設定する。このようにすることで、上述したように、デルタカーネル又は単純形状のPSFを初期値として設定する場合と比較して、収束までの演算量繰り返し回数が少なくなることが期待され、かつ、収束の安定化が期待される。[7]画像復元装置の構成III図13との対応部分に同一符号を付して示す図14に、画像復元装置の別の構成例を示す。画像復元装置700は、図13の画像復元装置600と比較して、被写体PSF推定部510が省略され、劣化画像復元部520において、PSFフィルタ部603から出力される被写体局所代表PSFS30を用いて画像復元処理を行うようになっている。これにより、画像復元装置700においては、画像復元装置600と比較して、MAP法によるPSF推定を行わないので、画像復元に用いられるPSFの精度は低下するが、MAP法を行う回路被写体PSF推定部510が不要なので、構成を簡単化できる。[8]実施の形態の効果以上説明したように、本実施の形態の被写体分離装置100、200、300、400によれば、似通ったボケ方をしている被写体画像S16を、的確に分離することができる。この結果、複数のカメラや付加的な装置距離センサ等を用いることなしに、入力画像1枚のみから、被写体の遠近分離や、動いている被写体の分離が可能となる。また、被写体分離装置100、200、300、400は、その分離を比較的少ない演算量で行うことができる。また、本実施の形態の画像復元装置500、600、700は、被写体分離装置100、200、300又は400を有し、似通ったボケ方をしている小領域を的確に集めて形成された被写体画像S16を基に、被写体PSFS20を求め復元画像S21を得るので、画像内にボケ方が異なる複数の被写体が存在する場合であっても、各被写体のボケを修復して鮮鋭な画像を得ることができる。なお、上述の実施の形態の被写体分離装置100、200、300、400、及び、画像復元装置500、600、700は、メモリCPUを含むパソコン等のコンピュータによって構成することができる。そして、上記装置を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをCPUが読み出して実行処理することで実現できる。"