(57)【要約】【課題】簡便な手法により前景を抽出出来る画像処理装置及び画像処理方法を提供すること。【解決手段】同一の対象に関する複数の画像データの各々におけるぼけの状態を推定する推定部１１と、前記推定部１１における推定結果に基づいて、各々の前記画像データにおいて背景となる領域と前景となる領域とを分割する分割部１２と、前記分割部１１における分割結果３１に応じて、各々の前記画像データにおける前景を抽出する抽出部１６とを具備し、各々の前記画像データは、前記背景に比べて前記前景に焦点の合った画像である。【選択図】図２
2009111921.tif 000002
【特許請求の範囲】
【請求項１】
同一の対象に関する複数の画像データの各々におけるぼけの状態を推定する推定部と、
前記推定部における推定結果に基づいて、各々の前記画像データにおいて背景となる領域と前景となる領域とを分割する分割部と、
前記分割部における分割結果に応じて、各々の前記画像データにおける前景を抽出する抽出部と
を具備し、各々の前記画像データは、前記背景に比べて前記前景に焦点の合った画像である
ことを特徴とする画像処理装置。
【請求項２】
同一の対象に関する複数の画像データの各々におけるぼけの状態を推定する推定部と、
前記推定部における推定結果に基づいて、各々の前記画像データにおいて、背景となる第１領域とそれ以外の第２領域とを分ける分割部と、
前記画像データ間において、互いに対応する画素の位置関係を把握する位置あわせ部と、
前記分割部における分割結果と、前記位置あわせ部において把握された前記位置関係に応じて、各々の前記画像データにおける前景を抽出する抽出部と
を具備し、各々の前記画像データは、前記背景に比べて前記前景に焦点の合った画像であり、
前記分割部は、前記推定結果においてぼけていると推定された領域を前記背景とみなし、
前記位置あわせ部は、前記第１領域同士、及び前記第２領域同士で位置あわせを行う
ことを特徴とする画像処理装置。
【請求項３】
前記抽出部は、前記画像データに含まれる各画素について、前記前景の色が占める割合と、前記背景の色が占める割合とを算出する
ことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記推定部は、各々の前記画像データにつき、前記ぼけを除去したぼけ除去画像データを生成し、
前記位置合わせ部は、前記ぼけ除去画像データ間で前記位置関係を把握する
ことを特徴とする請求項２記載の画像処理装置。
【請求項５】
複数の第１画像データを受け取るステップと、
受け取った複数の前記第１画像データの各々に含まれる複数の領域につき、複数のプロセッサがそれぞれぼけの状態を推定するステップと、
前記プロセッサが、前記ぼけの状態に基づいて、前記第１画像データの各々を、背景となる領域と前景となる領域とに分割するステップと、
前記プロセッサが、各々の前記第１画像データについて前記前景を抽出するステップと、
前記プロセッサが、前記第１画像データと異なる第２画像データに前記前景を合成するステップと
を具備し、各々の前記第１画像データは、前記背景に比べて前記前景に焦点の合った画像である
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置及び画像処理方法に関するもので、例えば画像に含まれる前景を抽出する方法に関するものである。
【背景技術】
【０００２】
従来から、画像における前景領域を抽出する技術が研究されている。本技術は例えば、カメラで撮影した画像において、背景を取り除いて俳優のみを切り出し、切り出した俳優の画像を別の背景に合成する等の目的で使用されている。
【０００３】
映画産業で使用されている標準的な前景抽出法は、背景を例えば青一色とし、前景物体の色には青が含まれないことを仮定して前景部を抽出するというものである（例えば特許文献１、２参照）。また、異なる２色（例えば青と緑）の背景の前でそれぞれ撮影した２枚の画像を使用することで、前景物体の色には特定の色が含まれないという仮定を取り除く方法も提案されている（例えば特許文献３参照）。しかし、これらの手法であると、撮影場所がスタジオなど背景の制御が容易な環境に限られ、また抽出精度を向上させることが困難であった。
【０００４】
この点、撮影した画像の各画素が前景か背景のいずれかであるという二値判別問題と考えることで、問題を大きく単純化する手法がある。しかし本手法であると、頭髪や毛皮などのシルエットの複雑な物体や、半透明部分のある物体を撮影した場合、前景が一部欠けてしまったり、元の背景色まで含んだ前景色を抽出したりする問題がある。特許文献４に開示の技術では、抽出した前景にフィルタをかけるなどしてこの問題を軽減しているが、本質的な解決とはなっていない。
【０００５】
更に、何らかのユーザインタフェースによっておおまかな前景部と背景部の情報を使用者が提供することにより、前景部を抽出する方法も多く提案されている（例えば特許文献５〜７参照）。しかし、これらの手法であると、使用者がインターフェースに習熟しなければならず、また情報を入力する手間がかかるという問題がある。そして一般的に、入力作業は試行錯誤になることが多い。
【０００６】
そこで、背景が未知の状態で、人間の介入なしに自動で前景を抽出するために、同じ物体を撮影する画像の枚数を増やす手法が提案されている（例えば特許文献３、８、９、及び非特許文献１〜３参照）。しかし、これらの手法では、多数のカメラを用意すると共に、カメラの較正を行う等、非常に精密な機材が必要とされる。
【特許文献１】米国特許６，５２５，７４１号明細書
【特許文献２】米国特許３，５９５，９８７号明細書
【特許文献３】米国特許６，３０１，３８２号明細書
【特許文献４】米国特許７，０２４，０５４号明細書
【特許文献５】米国特許６，７２１，４４６号明細書
【特許文献６】米国特許６，２８８，７０３号明細書
【特許文献７】米国特許６，１３４，３４６号明細書
【特許文献８】米国特許６，９０３，７３８号明細書
【特許文献９】米国特許７，２０６，０００号明細書
【非特許文献１】McGuire、Matusik、Pfister、Hughes、Durand著、“Defocus video matting”、ACM Trans. Graphics 24(3)、page 567-576、2005年
【非特許文献２】McGuire、Matusik、Yerazunis著、“Practical, real-time studio matting using dual imagers”、Eurographics Symposium on Rendering、page 235-244、2006年
【非特許文献３】Joshi、Matusik、Avidan著、“Natural video matting using camera arrays”、ACM Trans. Graphics 25(3)、page 779-786、2006年
【発明の開示】
【発明が解決しようとする課題】
【０００７】
この発明は、簡便な手法により前景を抽出出来る画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【０００８】
この発明の一態様に係る画像処理装置は、同一の対象に関する複数の画像データの各々におけるぼけの状態を推定する推定部と、前記推定部における推定結果に基づいて、各々の前記画像データにおいて背景となる領域と前景となる領域とを分割する分割部と、前記分割部における分割結果に応じて、各々の前記画像データにおける前景を抽出する抽出部とを具備し、各々の前記画像データは、前記背景に比べて前記前景に焦点の合った画像である。
【０００９】
この発明の一態様に係る画像処理方法は、複数の第１画像データを受け取るステップと、受け取った複数の前記第１画像データの各々に含まれる複数の領域につき、複数のプロセッサがそれぞれぼけの状態を推定するステップと、前記プロセッサが、前記ぼけの状態に基づいて、前記第１画像データの各々を、背景となる領域と前景となる領域とに分割するステップと、前記プロセッサが、各々の前記第１画像データについて前記前景を抽出するステップと、前記プロセッサが、前記第１画像データと異なる第２画像データに前記前景を合成するステップとを具備し、各々の前記第１画像データは、前記背景に比べて前記前景に焦点の合った画像である。
【発明の効果】
【００１０】
この発明によれば、簡便な手法により前景を抽出出来る画像処理装置及び画像処理方法を提供できる。
【発明を実施するための最良の形態】
【００１１】
以下、この発明の実施形態を図面を参照して説明する。この説明に際し、全図にわたり、共通する部分には共通する参照符号を付す。
【００１２】
［第１の実施形態］
この発明の第１の実施形態に係る画像処理装置及び画像処理方法について、図１を用いて説明する。図１は、本実施形態に係る画像処理システムのブロック図である。
【００１３】
図示するように画像処理システム１は、複数のカメラ２及び画像処理装置３を備えている。カメラ２の各々は、対象物体を撮影し、得られた画像データを画像処理装置３へ出力する。カメラ２は、同一の対象物体を異なる角度から撮影する。その際、対象物体たる前景に焦点を合わせ、その背景に関しては焦点をずらして撮影する。対象物体は、対象物体のカメラ２からの奥行きが、背景の奥行きに比べて十分近くなるよう配置される。またカメラ２は、それぞれが撮影する前景の形状が、実質的に同一となるように撮影する。言い換えれば、あるカメラ２は対象物体を正面から撮影し、別のカメラ２は後ろから撮影し、更に別のカメラ２は横から撮影する、といった撮影の仕方はしない。すなわち、全てのカメラ２が対象物体を同一方向（または略同一方向）から撮影する。従って、各カメラ２における視点間の変異は、シーンの奥行き方向に対してほぼ垂直となる。すると、前景と背景との間に奥行きの差があるため、異なる視点で撮影すると、背景に対して前景物体が移動したような複数枚の画像データが得られる。また、背景は前景よりもぼけてさえいれば良く、その程度は問題とならない。
【００１４】
画像処理装置３は、前景抽出部１０及び画像合成部２０を備えている。前景抽出部１０は、カメラ２から与えられた複数の画像データを用いて、撮影された画像における前景を抽出する。また画像合成部２０は、前景抽出部１０で抽出された前景を、別の背景画像と合成し、合成画像データを生成する。
【００１５】
＜画像処理装置３の構成＞  
次に、上記画像処理装置３の詳細について、図２を用いて説明する。図２は、画像処理装置３の構成を示すブロック図である。
【００１６】
まず、前景抽出部１０の構成につき説明する。図示するように前景抽出部１０は、ぼけ推定部１１、領域分割部１２、背景対応点計算部１３、前景対応点計算部１４、前背景色推定部１５、及びα値推定部１６を備えている。
【００１７】
ぼけ推定部１１は、カメラ２で撮影された複数の画像データを入力画像として受け取る。そして入力画像の各々における、ぼけの度合いを推定する。この推定により、各入力画像において、いずれの領域がどれだけぼけているか、という情報が得られる。この情報を、以下ぼけ量３０と呼ぶ。
【００１８】
領域分割部１２は、ぼけ推定部１１で得られたぼけ量３０に基づいて、各入力画像に対応するトライマップ（trimap）３１を作成する。トライマップとは、入力画像を、明確に前景となる領域、明確に背景となる領域、及び前景であるか背景であるかが不明な領域、の３つの領域に分割した画像である。領域分割部１２は、入力画像内におけるぼけの度合いから、上記３つの領域を推定する。
【００１９】
背景対応点計算部１３は、背景について、複数の入力画像間における位置あわせを行う。つまり、一方の入力画像における背景のある点（画素）が、他方の入力画像における背景のいずれの点（画素）に対応するかを把握し、その移動量を背景ワープ関数３２として得る。
【００２０】
前景対応点計算部１４は、前景について背景対応点計算部１３と同様の処理を行う。すなわち、前景について、複数の入力画像間における位置あわせを行う。つまり、一方の入力画像における前景のある点（画素）が、他方の入力画像における前景のいずれの点（画素）に対応するかを把握し、その移動量を前景ワープ関数３３として得る。
【００２１】
前背景色推定部１５は、背景対応点計算部１３で得られた背景ワープ関数３２、前景対応点計算部１４で得られた前景ワープ関数３３、入力画像、及びα値（後述する）に基づき、各入力画像における背景色３４と前景色３５とを推定する。
【００２２】
α値推定部１６は、各入力画像についてのα値を推定して、マスク画像３６を得る。α値とは、ある座標における前景色と背景色との混合割合を示し、［０、１］の範囲の値を取るスカラー値である。例えばαが“０”である領域は背景のみが見えており、前景が存在しないことを意味する。逆にαが“１”である領域は前景のみが見えており、背景が前景によって完全に遮蔽されていることを意味する。このα値を入力画像全体につき求めて得られる画像がマスク画像である。なお、入力画像の各点におけるα値が求まれば十分であり、マスク画像という画像自体を作成する必要は必ずしも無い。α値推定部１６は、まず領域分割部１２で得られたトライマップ３１に基づいて、α値の初期値を得る。その後は、前景対応点計算部１４で得られた前景ワープ関数３３、並びに前背景色推定部１５で得られた背景色３４及び前景色３５を用いて、α値を推定する。
【００２３】
次に、画像合成部２０の構成について説明する。図示するように画像合成部２０は、メモリ２１及び合成部２２を備えている。
【００２４】
メモリ２１は、新背景４０を保持する。新背景４０とは、入力画像とは異なる、新たな背景となる画像データのことである。
【００２５】
合成部２２は、α値推定部１６で得られたマスク画像３６（α値）、前景色３５、及び新背景４０を用いて、入力画像における前景と、新背景４０とを合成する。これにより、入力画像における背景が新背景４０に置き換えられた合成画像４１が得られる。
【００２６】
＜画像処理装置３の動作＞  
＜＜前景抽出の概念について＞＞  
まず、本実施形態に係る画像処理装置３における前景抽出の大まかな概念について、以下説明する。
【００２７】
前景抽出、あるいはマッティング(matting)においては、入力画像Ｉは、前景色Ｆ（図２で説明した前景色３５）と背景色Ｂ（図２で説明した背景色３４）の線形混合（linear blending)によって生成された結果であるとして、以下の式が仮定される。  
【数１】
2009111921.tif 000003
【００２８】
ここでxは画像上の座標（画素の位置）を表す二次元ベクトルである。従って、Ｉ(x)などの表記は、入力画像Ｉの点xにおける値を表し、グレースケールであればＩ(x)はスカラー値、ＲＧＢ画像であればＩ(x)は三次元ベクトルとなる。前景色Ｆ及び背景色Ｂについても同様である。従ってαもxの関数となり、その値はα(x)として表される。前述の通り、α(x)は座標xにおける前景色Ｆ(x)と背景色Ｂ(x)との混合割合を示す。従って、α(x)が０の画素は背景のみが見えており、α(x)が１の画素は前景のみが見えている。またα(x)が中間の値（０＜α(x)＜１）をとる場合は、注目画素において前景が背景の一部を遮蔽していることを意味する。この部分的な遮蔽が起こるのには２つの原因がある。１つは、画素の中を前景と背景の境界線（前景物体の輪郭）が通っており、前景色と背景色が同じ画素に寄与する場合である。もう１つは、前景物体が半透明であるため、背景色が透けて見える場合である。αはこの２つの効果を統合的に表しており、前景抽出においてはこの２つの効果を区別しない。このα(x)を、前景マスクあるいはマット（matte）と呼ぶ。
【００２９】
前景抽出の目的は、与えられた入力画像Ｉ(x)から、マットα(x)、前景色Ｆ(x)、及び背景色Ｂ(x)を求めることである。これが達成されれば、新たな背景Ｂ’(x)に前景部を合成した画像Ｉ’(x)は以下の式で得られる。  
【数２】
2009111921.tif 000004
【００３０】
前景抽出問題は、式(1)のみでは、求めたい値の数に対して制約が過少であり、解が無数に存在する。特にＲＧＢ画像の場合には、各画素xについて制約式の数は３本（三次元ベクトルなので）の式(1)であるのに対し、未知数はα、Ｆ、Ｂの７つである（Ｆ、Ｂはそれぞれ三次元ベクトル）。そこで本実施形態では、複数枚の画像と画像のぼけを利用することで、解空間を大幅に狭める。
【００３１】
＜＜画像処理方法の流れについて＞＞  
次に、上記概念に基づく画像処理方法の流れについて、図３を用いて説明する。図３は、本実施形態に係る画像処理装置３における、入力画像から合成画像４１を得るための処理を示すフローチャートである。
【００３２】
図示するように、まず画像処理装置３は、背景をぼかし且つ異なる角度から対象物体を撮影することにより得られた複数の画像データを、入力画像として受け取る（ステップＳ１０）。
【００３３】
すると、ぼけ推定部１１が複数の入力画像につき、ぼけを推定する。これにより、各入力画像の各画素の周辺が、どの程度ぼけているかを示すぼけ量３０が得られる（ステップＳ１１）。
【００３４】
次に領域分割部１２が複数の入力画像につき、ぼけ量３０を用いて領域分割を行い、trimapを得る（ステップＳ１２）。すなわち、領域分割部１２は、各入力画像における各画素を、「確実に背景である領域」、「確実に前景である領域」、及び「不明な領域」の３領域のいずれかに分類する。
【００３５】
次にα値推定部１６が、ステップＳ１２で得られたトライマップ３１から、α値の初期値を推定する（ステップＳ１３）。これにより、マスク画像３６が得られる。
【００３６】
次に、背景対応点計算部１３及び前景対応点計算部１４が、マスク画像と入力画像とを用いて、複数の入力画像間における対応位置関係を計算する（ステップＳ１４）。すなわち、入力画像から２枚を選んでペアを作った際の、各ペアについて、前景領域と背景領域との間の対応点をそれぞれ計算する。言い換えれば、一方の入力画像において確実に背景である領域における画素が、他方の入力画像において確実に背景である領域におけるいずれの画素に対応するのかを計算する。前景も同様であり、一方の入力画像において確実に前景である領域における画素が、他方の入力画像において確実に前景である領域におけるいずれの画素に対応するのかを計算する。なお、ステップＳ１３の処理を行った段階では、「確実に前景である領域」が無い場合がある。本実施形態では、このような場合について以下詳細に説明し、ステップＳ１３において「確実に前景である領域」を求める方法については、第３の実施形態において説明する。入力画像の撮影条件から、前景と背景とで、物体の移動量が異なるので、前景対応点と背景対応点との２つを計算する。この計算結果から、一方の入力画像における画素が、他方の入力画像においてどれだけ移動しているかを示す前景ワープ関数３３及び背景ワープ関数３２が得られる（ステップＳ１５）。
【００３７】
次に、前背景色推定部１５が、現在得られている前景ワープ関数３３、背景ワープ関数３２、及びマスク画像に基づいて、各入力画像における前景色３５と背景色３４とを推定する（ステップＳ１６）。
【００３８】
次にα値推定部１６が、ステップＳ１６で得られた前景色と背景色、及びステップＳ１５で得られた前景ワープ関数とに基づいて、各入力画像におけるα値を推定し、マスク画像３６を得る（ステップＳ１７）。すなわち、それまでに得られたα値を更新する。
【００３９】
引き続きα値推定部１６は、α値が収束したか否かを判定する（ステップＳ１８）。つまり、ステップＳ１７におけるα値の更新の前後で、α値の変化量が十分に小さいか否かを判定する。そして、変化量が大きければ、α値は未だ収束していないと判断し（ステップＳ１９、ＮＯ）、ステップＳ１４に戻る。逆に変化量が十分に小さければ、α値は収束したと判断し（ステップＳ１９、ＹＥＳ）、ステップＳ２０に進む。
【００４０】
ステップＳ２０において合成部２２は、得られた前景色とマスク画像とを用いて、入力画像の前景と、新背景４０とを合成する。これにより、合成画像４１が得られる。
【００４１】
＜＜各ステップの詳細について＞＞  
次に、図３における各ステップの詳細について説明する。以下、Ｍ（Ｍは２以上の自然数）枚の入力画像のそれぞれを、入力画像Ｉi(x)と呼ぶことにする（ｉは０〜（Ｍ−１）のいずれか）。
【００４２】
（ステップＳ１１：ぼけ推定）  
まず、ステップＳ１１におけるぼけ推定について説明する。入力画像Ｉi(x)は、前景に焦点を合わせ且つ背景をぼかして撮影されたものであるので、背景部Ｂi(x)のみがぼけていると考えられる。そしてカメラのレンズによるぼけは、カメラの開口部の形状に相似なぼけ関数ｈ(x; r)による畳み込みでモデル化できる。rはぼけ関数のサイズを表し、ぼけ量３０に相当する。よって、ぼけを含まない背景色をＣi(x)とすると、式(1)は下式のように書き換えられる。  
【数３】
2009111921.tif 000005
【００４３】
ここで“*”は畳み込みを表す。式(3)は、ぼけ量が背景の全領域で一定であることを仮定した式であるが、ぼけ量が変化していてもそれがスムーズであれば、局所的には式(3)でモデル化できる。本実施形態では背景が十分遠い状態で撮影するので、ぼけ量の変化はスムーズであると考えてよい。
【００４４】
なお、画像にぼけている領域とぼけていない領域があることと、ぼけ量が一様でない可能性があることから、非一様なぼけ推定をする必要がある。しかし、画素１点だけでは、ぼけは判断できない。そこで、各画素xの周りに小さな窓（通常は正方形）を設定し、その窓に対して一様なぼけを仮定した推定を行う。この様子を図４に示す。
【００４５】
図４は入力画像の模式図であり、ぼけ推定の際に設定される窓を示す図である。図示するように、着目している画素（図４ではx = x1, x2, x3を示す）を中心に、所定の面積を有する窓ＷＮＤ（図４ではＷＮＤ１、ＷＮＤ２、ＷＮＤ３を示す）を設定する。ぼけ推定の手法には、例えば局所フーリエ変換(local Fourier transform)による方法等が使用出来る。
【００４６】
式(3)に示されるように、窓の中で一様なぼけｈ(x; r)が仮定できるためには、窓の中が全てα=１（全て背景）でなければならない（図４における窓ＷＮＤ１）。ぼけ推定法は、窓内の画像の周波数成分にぼけ関数ｈ(x; r)が及ぼした影響を抽出する。よって、窓ＷＮＤ３のようにαが変化し、前景の影響が含まれる場合には、ぼけ関数の効果が隠蔽されてしまう。従って、窓ＷＮＤ３の領域は、全て前景部である窓ＷＮＤ２の領域と同様に、ぼけが無いと推定されることになる。
【００４７】
（ステップＳ１２：領域分割）  
次に、ステップＳ１２の領域分割について説明する。
【００４８】
領域分割部１２は、ぼけ推定によりぼけがあると推定された領域を、「確実に背景である領域」に分類する。ぼけ推定で説明したように、窓がα＞０の領域に重なる点ではぼけが無いと判断される。従って、「確実に背景である領域」は、前景物体から窓のサイズ分離れた控えめな見積もりとなる。この様子を図５に示す。
【００４９】
図５は、入力画像の模式図であり、領域分割を行った結果について示しており、斜線を付した領域が確実に背景となる領域である。図示するように、確実に背景となる領域の端部は、前景物体の輪郭部分から、ほぼ窓のサイズだけ離れている。
【００５０】
また領域分割部１２は、「確実に背景」以外の領域を「不明な領域」とする。従って図５では、斜線を付していない領域の全てが「不明な領域」となる。このようにして、図５に示すようなトライマップが得られる。なお「トライマップ」とは、３つの領域を含む画像のことであるが、この時点では「確実に前景である領域」が存在しないため、「確実に背景である領域」と「不明な領域」との２つの領域のみが存在する。「確実に前景となる領域」は、以後のステップＳ１４以降の処理における反復計算によって現れる。
【００５１】
ステップＳ１２の具体例について、図６及び図７を用いて説明する。図６は入力画像Ｉ１（i=1）、Ｉ２（i=2）の模式図であり、図７は入力画像Ｉ１、Ｉ２のトライマップを示す模式図である。
【００５２】
図６に示すように、例えば山を背景に家の写真を２つの位置から撮影したとする。この際、前景である家には焦点が合っており、背景である山、雲、空はぼけている。すると、図６から得られるトライマップは図７のようになる。すなわち、家の輪郭から、ぼけ推定時に使用した窓サイズだけ拡がった領域が「不明な領域」とされ、その他の領域は「確実に背景（斜線を付した領域）」とされる。図７では家の周囲を除いて全面的に「確実に背景」領域が設定された状態を模式的に示したが、背景に模様（テクスチャ）がないなどの原因でボケ推定ができず、「不明」として残る領域が存在する可能性がある。
【００５３】
（ステップＳ１３：α値初期値の推定）  
次にステップＳ１３の、α値の初期値の推定について説明する。
【００５４】
α値推定部１６は、ステップＳ１２で得られたトライマップを用いて、α値の初期値を生成する。α値推定部１６は、「確実に背景となる領域」についてはα＝０とし、「不明な領域」についてはα＝０．５とする。その結果得られるマスク画像を図８に示す。図８は、図７に示すトライマップから得られたマスク画像の模式図である。図示するように、家の輪郭から、ぼけ推定時に使用した窓サイズだけ拡がった領域はα＝０．５とされ、その他の領域はα＝０．０「確実に背景（斜線を付した領域）」とされる。
【００５５】
（ステップＳ１４、Ｓ１５：対応点計算とワープ関数算出）  
次に、ステップＳ１４の対応点計算について説明する。以下、入力画像のペアを、それぞれＩi、Ｉjと呼ぶことにする。前述の通り、いずれもxの関数である。
【００５６】
ステップＳ１４では、各入力画像のペアＩi、Ｉjに含まれる前景色Ｆi、Ｆjのペアと、背景色Ｂi、Ｂjのペアそれぞれについて、入力画像Ｉi上の座標xが対応する入力画像Ｉj上の座標Ｖij(x)とＷij(x)を計算する。本計算は、前景については前景対応点計算部１４が行い、背景については背景対応点計算部１３が行う。Ｖij(x)は、前景Ｆiを前景Ｆjに一致するように変形するときのワープ関数（前景ワープ関数３３）であると考えることができる。またＷij(x)は、背景Ｂiを背景Ｂjに一致するよう変形させるワープ関数（背景ワープ関数３２）と考えることが出来る。従って、下記の関係が成立する。  
【数４】
2009111921.tif 000006
【００５７】
【数５】
2009111921.tif 000007
【００５８】
ＩjからＩi方向へのワープ関数Ｖji、Ｗjiも同様に定義できる。
【００５９】
この様子を図９の具体例を用いて説明する。図９は、入力画像Ｉ１(i=1)、Ｉ２（j=2）の模式図であり、前景と背景との対応関係を求める様子を示している。図示するように、例えば入力画像Ｉ１において前景である家のある点x1が、入力画像Ｉ２のいずれの点に対応するかを計算する。この際、画素x1は、前景ワープ関数Ｖ１２により算出される画素Ｖ１２(x1)に対応することとなる。背景についても同様である。図示するように、例えば入力画像Ｉ１において背景である山のある点x0が、入力画像Ｉ２のいずれの点に対応するかを計算する。この際、画素x0は、背景ワープ関数Ｗ１２により算出される画素Ｗ１２(x0)に対応する。
【００６０】
まず、背景ワープ関数Ｗijの求め方を説明する。これにはオプティカル・フロー法を用い、下式Ｅoを最小化するＷijを求める。  
【数６】
2009111921.tif 000008
【００６１】
(6)式の第一項は、式(5)を極力満たすようにすることを意味する。しかし、色が似ているという情報だけでは対応点の候補が多くありうるので、第二項によりＷijがスムーズであるという制約を課す。ここでＮ(x)は画素xの近傍の画素の集合を表す。例えば隣接する上下左右の４近傍、または斜めも含めた８近傍とする。第二項を小さくすることは、Ｗij(x)の値がxの近傍yにおける値Ｗij(y)と比較して差が小さい、すなわちスムーズであることを意味する。λoはスムーズさの制約の強さを調節するパラメータである。背景が十分遠いため、ワープ関数は非常にスムーズであると考えられるので、λoは大きくとってよい。これにより解をより安定に求めることができる。
【００６２】
式(6)では背景Ｂi、Ｂjが既知であることを仮定した。しかし、実際に与えられるのは入力画像Ｉi、Ｉjのみである。そこで、式(6)を以下のように変形し、入力画像のペアＩi、Ｉjに対して適用できるようにし、入力画像中の背景の割合に応じた重み付けをする。
【数７】
2009111921.tif 000009
【００６３】
新たに導入したＳ(α)は、α＝０、すなわち背景のとき１とされる。またαがある閾値より大きくなると、前景の割合が大きいために背景の対応点計算に用いることはできないとして、０とされる。すなわち、重み付け関数である。
【００６４】
重み付け関数Ｓ（α）の一例を図１０に示す。図示するように、関数Ｓ（α）は、α＝０で最大値の１を取り、αが大きくなるにつれて低下する。これにより、入力画像Ｉi上の点xとＩj上の対応点Ｗij(x)の両方において背景の割合が高いときのみ、式(5)が考慮されることになる。但し、求める変数ＷijがＳ(α)の中にもＳ(αj(Ｗij(x)))として現れることで、式(7)を一度に最小化するのが難しくなる場合がある。このような場合は、Ｓ(αj(Ｗij(x)))を現在のＷij(x)の見積もりで固定すれば良い。これにより、式(6)と同様、従来のオプティカル・フロー法で解くことができる。解が求まったら、Ｓ(αj(Ｗij(x)))を更新して繰り返し、収束させる。
【００６５】
次に、前景ワープ関数Ｖij(x)の求め方を説明する。ステップＳ１２の領域分割の時点で「確実に前景」領域が得られている場合（前述の通り、このケースは第３の実施形態で発生する状況であり、本実施形態ではこの段階では「確実に前景となる領域」は得られない）、及びステップＳ１９までの処理を一度乃至複数回行うことによりα値の大きい領域が得られている場合は、上記背景ワープ関数と同様の求め方ができる。ただし、重み付け関数はＳ(α)の代わりに、前景であるほど重みの大きい関数Ｔ(α)を使用する。重み付け関数Ｔ（α）の一例を図１１に示す。図示するように関数Ｔ（α）は、αが大きくなるにつれて増大し、α＝１で最大値の１を取る。
【００６６】
ステップＳ１２の時点で「確実に前景となる領域」が得られていない場合は、次のようにする。図５を用いて説明したように、「不明である領域」は、前景物体をおよそぼけ推定窓サイズ分の間を開けて囲っている。よって、Ｉiにおける「不明な領域」からＩjにおける「不明な領域」への移動量を求めれば、前景ワープ関数の大まかな見積もりが得られる。
【００６７】
更に、入力画像Ｉi、Ｉjに、低周波成分を除去するハイパス・フィルターをかけて背景の影響を低減しても良い。そのためには、例えば図１２に示す重み付け関数Ｔ’（α）を使用しても良い。図示するように関数Ｔ’（α）は、関数Ｔ（α）に比べて、αの値が小さい場合であっても、重みを０にしない関数である。
【００６８】
なお、α値の大きい領域が得られている場合にも、ハイパス・フィルターをかけることはできる。しかし、この場合には、前景の低周波成分を無視するので、対応点計算の精度が落ちる可能性がある。そこで、次のような二段階処理を行う。まず、入力画像Ｉi、Ｉjそのままで、重み付け関数Ｔ（α）を用いてＶijを求める。次に、Ｔ(α(x))＞０となるような、前景の割合が高い領域のＶij(x)を固定する。そして、残りの領域について、ハイパス・フィルターをかけたＩi、Ｉjに対して、重み付け関数Ｔ’（α）を用いてＶijを更新する。
【００６９】
（ステップＳ１６：前背景色推定）  
次に、ステップＳ１６の前背景色推定について説明する。本処理は、前背景色推定部１５によって行われる。
【００７０】
前背景色推定部１５は、前景及び背景の対応点情報（ワープ関数）Ｖij、Ｗijと、各画像のα値の見積もりαi(x)から、各画像の前景色Ｆiと背景色Ｂiを推定する。具体的には、以下の式Ｅcを最小化するＦi、Ｂi(i = ０、１、…（Ｍ−１）)を求める。  
【数８】
2009111921.tif 000010
【００７１】
【数９】
2009111921.tif 000011
【００７２】
式(8)は、最小化するコスト関数Ｅcが、i番目の画像についてのコスト関数Ｅc,iの和になっており、全画像について最適化することを表している。式(9)の第一項は、マッティング式(1)がi番目の画像について満たされるようにすることを意味する。この項の重み付けは、パラメータλmによって行う。第二項および第三項は、ＦiおよびＢiがスムーズであることを要求する。全体のスムーズさの調整はパラメータλfとλbによって行い、局所的なスムーズさの調整はＵf,iとＵb,iによって行う。局所的なスムーズさの調整は、例えば下式を用いる。  
【数１０】
2009111921.tif 000012
【００７３】
式(10)は、αの変化が大きい領域、つまり前景から背景への遷移部では、前景・背景色ともに変化が小さいと考えられることに基づいた式である。
【００７４】
式(9)の第四項と第五項は、前景と背景がそれぞれ対応点間で色が似ていることを要求する。注目しているi番目の画像について、i番目を除く全ての画像jに対応点があるので、それらを総和している。これらの項の影響力はパラメータκfとκbによって行う。
【００７５】
式(9)において、求める変数（未知数）は、トライマップの「不明」領域におけるＦi(x)とＢi(x)である。「確実に前景」領域ではＦi(x) = Ｉi(x)と固定し、Ｂi(x)は未定義とする。「確実に背景」領域ではＢi(x) = Ｉi(x)と固定し、Ｆi(x)は未定義とする。第四項と第五項で対応点Ｖij(x)またはＷij(x)が画像外の座標になる場合と、未定義の前景・背景色を参照してしまう場合は、その項を式に含めないものとする。
【００７６】
現在のα値が、ステップＳ１３で得られた初期値である段階では、まだα値の見積もりに信頼性がない。この場合は、λmを小さくしてαの含まれる式の効果を下げる。また、スムーズ制約の局所重み付けに、例えばＵf,i(x, y) = Ｕb,i(x, y) = １のような、αの現れない式を用いる。より簡単には、式(8)を使わず、前景色は「確実に前景」領域の色から他の領域の色を補間し、背景色は「確実に背景」領域の色から他の領域の色を補間してもよい。「確実に前景」領域が無い場合は、前景色は入力画像そのもので初期化する。
【００７７】
式(8)は未知数であるＦi(x), Ｂi(x)に関して二次なので、最小二乗法(least-squares method)で解くことができる。より解空間を狭めるために、０≦Ｆi(x)、Ｂi(x)≦１なる制約を課して、式(8)を最小化することもできる。その場合は二次計画法(quadratic programming)を用いればよい。
【００７８】
さらに解空間を狭めたい場合、各画素xにおいてＦi(x)とＢi(x)のペアの取りうる値が、xの周囲からサンプリングしたＫ個（Ｋは１以上の自然数）の離散的な色のペア｛Ｆi,k(x), Ｂi,k(x)} (k = ０、１、…（Ｋ−１）)のみであるとして式(8)を最小化することもできる。i番目の画像の画素xのための前景色をサンプリングする対象領域は、i番目の画像の座標xの周囲の「確実に前景」領域と、j(≠i)番目の画像の座標Ｖij(x)の周囲で「確実に前景」領域である。背景色をサンプリングする対象領域は、i番目の画像の座標xの周囲の「確実に背景」領域と、j (≠i)番目の画像の座標Ｗij(x)の周囲で「確実に背景」領域である。この様子を図１３に示す。図１３は、入力画像Ｉ１、Ｉ２のトライマップの模式図である。
【００７９】
図示するように、入力画像Ｉ１の画素x1のための前景色をサンプリングする対象領域は、入力画像Ｉ１の座標x1の周囲の「確実に前景」領域と、入力画像Ｉ２の前景対応点Ｖij(x)の周囲で「確実に前景」領域である。またx1の背景色をサンプリングする対象領域は、入力画像Ｉ１の座標x1の周囲の「確実に背景」領域と、入力画像Ｉ２の座標Ｗij(x)の周囲で「確実に背景」領域である。
【００８０】
前背景色サンプルをそれぞれ適当な個数とったら、前景色と背景色を組み合わせてペアを作り、そのうちの重要度の高い上位Ｋ個のペアをとる。そして、{Ｆi(x), Ｂi(x)}の取りうる値の範囲がそのＫ個のペアであるとして、式(8)を最小化する。すなわち、各画素xは、Ｋ個の状態のみを取りうるものとする。このような条件の最適化には確率伝播法(belief propagation)を用いればよい。
【００８１】
なお、ペアの重要度には以下のようなもの、またそれらの組み合わせが考えられる。  
・サンプリング点との距離Ｇd  
・線形混合モデルへの適合度Ｇb  
サンプリング点との距離による重要度は、前景サンプル点xfおよび背景サンプル点xbが、それぞれ注目点xに近いほどそれらのサンプルが重要であるとするものであり、以下の式で表すことができる。  
【数１１】
2009111921.tif 000013
【００８２】
ただし  Ｄf = |x − xf|           (xfが画像i上の点)
Ｄf = |Ｖij(x) − xf|     (xfが画像j上の点)
Ｄb = |x − xb|           (xbが画像i上の点)
Ｄb = |Ｗij(x) − xb|     (xbが画像j上の点)
線形混合モデルへの適合度による重要度は、前景サンプル色Ｆ、背景サンプル色Ｂ、注目画素の色Ｉi(x)から推定されるα値（これをα*と呼ぶ）が、マッティングの式(1)をよく満たすほどそれらのサンプルが重要であるとするもので、以下の式で表すことができる。
【数１２】
2009111921.tif 000014
【００８３】
ただし、α* = (Ｉi(x) − B)・(F − B) / |F − B|2である。また、“・”はベクトルの内積を表す。
【００８４】
（ステップＳ１７：α値の推定）  
次に、ステップＳ１７におけるα値の推定処理について説明する。本処理は、α値推定部１６において行われる。
【００８５】
α値推定部１６は、前景の対応点情報（ワープ関数）Ｖijと、各画像の前背景色の見積もりＦi、Ｂiから、各画像のマットαiを推定する。具体的には、以下の式Ｅaを最小化するαi (i = ０、１、…（Ｍ−１）)を求める。  
【数１３】
2009111921.tif 000015
【００８６】
【数１４】
2009111921.tif 000016
【００８７】
式(13)は、最小化すべきコスト関数Ｅaが、i番目の画像についてのコスト関数Ｅa,iの和になっており、全画像について最適化することを表している。式(14)の第一項はマッティング式(1)がi番目の画像について満たされるようにすることを意味する。第二項はαiがスムーズであることを要求する。全体のスムーズさの調整はパラメータλaによって行い、局所的なスムーズさの調整はＵa,iによって行う。局所的なスムーズさの調整は、例えば下式を用いる。
【数１５】
2009111921.tif 000017
【００８８】
式(13)は、入力画像の変化が小さい領域では、α値も変化が小さいと考えられることに基づいた式である。
【００８９】
また、背景がボケていることを利用して、入力画像の変化が隣接画素間で小さくても、その変化が周囲とは異なる変化であれば、重みを下げるように式(15)を変形した下式も考えられる。
【数１６】
2009111921.tif 000018
【００９０】
ただし sigmoid(t) = 1 / (1 + exp{−σt}) はシグモイド関数、z = y − x、ωはオフセットパラメータ、σはスケールパラメータである。ボケている背景においては画像の変化がスムーズであるので、隣接画素 x と y との間の画像の差 Ii(x) − Ii(y) に対して、より離れた画素 x-z と y+z との間の画像の差 Ii(x-z) − Ii(y+z) の比がある一定値ω（およそ2程度）以上をとることが期待される。これが満たされないところは、前景と背景の境界部である可能性があるとして、シグモイド関数によりスムーズさの制約を軽減する。
【００９１】
式(14)の第三項は、α値が前景の対応点間で値が近いことを要求する。注目しているi番目の画像について、i番目を除く全ての画像jに対応点があるので、それらを総和している。これらの項の影響力はパラメータκaによって行う。
【００９２】
式(14)の第四項は、何らかの情報により、画素xが前景である可能性が高いことが分かっている場合に有効である。重みＲf,i(x)を大きく設定しておくことで、αの推定値を１に近づく方向に偏らせることができる。第四項の全体的な影響力はパラメータγfで調節する。第五項は逆に、画素xが背景である可能性が高いことが分かっているときに重みＲb,i(x)を大きくすることで、αの推定値を０に近づく方向に偏らせることができる。第五項の全体的な影響力はパラメータγbで調節する。
【００９３】
例えば、もし前景物体の色が背景の色に比べて明るいことが事前に分かっているなら、画素xの輝度が高いときにＲf,i(x)を大きくし、輝度が低いときにＲb,i(x)を大きくする。これにより。推定精度が向上する可能性がある。また、前景対応点を囲むある一定範囲において複数の入力画像が似ていれば、そこは前景である可能性が高いと考えられるので、以下のような式が考えられる。このことは、背景についても同様である。Ｒf,i(x)及びＲb,i(x)は、次式で与えられる。  
【数１７】
2009111921.tif 000019
【００９４】
【数１８】
2009111921.tif 000020
【００９５】
但し、Ｌは原点を中心とした適当なサイズの円または正方形に含まれる点の集合である。
【００９６】
式(14)において、求める変数（未知数）は、トライマップの「不明」領域におけるαi(x)である。「確実に前景」領域ではαi(x) = １と固定し、「確実に背景」領域ではαi(x) = ０と固定する。第三項で対応点Ｖij(x)が画像外の座標になる場合は、その項を式に含めないものとする。
【００９７】
式(13)は、未知数であるαi(x)に関して二次なので、最小二乗法(least-squares method)で解くことができる。より解空間を狭めるために、０≦αi(x)≦１という制約を課して、式(13)を最小化することもできる。その場合は二次計画法(quadratic programming)を用いればよい。
【００９８】
α値の推定は、前背景色推定と合わせて、式(8)と式(13)を統合した式（Ｅc + Ｅa）を最小化していると考えることもできる。Ｆi、Ｂi、及びαiについて同時にこれを最適化しようとすると、二次式ではなくなるので最小二乗法や二次計画法は使用できないが、勾配降下法(gradient descent)などを用いて最適化することができる。
【００９９】
（ステップＳ１８、Ｓ１９：α値の収束判定）  
次に、ステップＳ１８におけるα値の収束判定について説明する。本処理は、α値推定部１６において行われる。
【０１００】
α値推定部１６は、α値推定によるα値の更新量が十分小さければ、収束したと判断する。更新前のα値をαi(x) (i = ０、１、…（Ｍ−１）)、更新後をα+ i(x)とすると、ある閾値θに対して以下の式が満たされたとき収束したとする。  
【数１９】
2009111921.tif 000021
【０１０１】
式(19)は、全画像の全ての点において、更新前と後でαの値の変化が小さいことを意味する。
【０１０２】
α値が収束していない場合は、ステップＳ１４の対応点計算に戻る。このとき、トライマップを次のようにして更新する。更新後のα値が十分１に近いと推定された点、すなわち微小なεに対してα+ i(x)＞（１−ε）となったxを新たに「確実に前景」領域に含める。更新後のα値が十分０に近いと推定された点、すなわちα+ i(x)＜εとなったxを新たに「確実に背景」領域に含める。
【０１０３】
以上により、複数の入力画像についてのα値が求まり、それぞれにつきマスク画像３６が得られる。図６に示した入力画像Ｉ１、Ｉ２についてのマスク画像を図１４に示す。図示するように、前景たる家の部分はα＝１．０となり、その他の領域はα＝０．０となる。なお図１４では、家の輪郭がはっきりとしている場合を示している。従って、０＜α＜１の領域が存在しないが、これはあくまで説明の簡単化のためである。
【０１０４】
（ステップＳ２０：新背景との合成）  
次に、ステップＳ２０における合成処理について説明する。
【０１０５】
ステップＳ２０の合成処理は、合成部２２において行われる。合成部２２は、メモリ２１から新背景４０を読み出し、新たな背景色Ｂ’(x)を得る。そして、式(22)で求めた前景色Ｆ(x)とマットα(x)、並びに新たな背景色Ｂ’(x)を、式(2)に代入することで、合成画像Ｉ’(x)を得る。この様子を図１５に示す。
【０１０６】
図１５は、新背景４０と入力画像Ｉ１の前景とを合成する様子を示す模式図である。図示するように、例えば新背景４０は、月面から見た地球の画像であったとする。これに入力画像Ｉ１の前景を合成することで、図示するように入力画像Ｉ１における家が、月面にあるような合成画像が得られる。勿論、入力画像Ｉ２における前景を用いても良い。
【０１０７】
＜効果＞  
上記のように、この発明の第１の実施形態に係る画像処理装置及び画像処理方法であると、下記（１）の効果が得られる。
【０１０８】
（１）簡便な手法により、画像データから前景を抽出出来る。  
本実施形態に係る方法であると、前景抽出にあたり、複数枚の画像データを用いている。この画像データとしては、同一の対象物体に対して焦点をあわせ、且つ対象物体の背景について焦点をずらして撮影された画像データを用いている。そして、各画像データにつき、ぼけの度合いを推定することにより、α値の初期値を推定している。
【０１０９】
すなわち、前景たる対象物体と背景との間のぼけの差を推定することで、前景を抽出している。従って、撮影に使用するカメラには較正は不要となり、非常に簡便な撮影環境で、高精度な前景抽出が可能となる。また、頭髪や毛皮などシルエットの複雑な物体や、半透明部分のある物体を抽出する際に特に効果がある。このような場合にの例について、図１６（ａ）、（ｂ）、図１７（ａ）、（ｂ）、及び図１８を用いて説明する。
【０１１０】
図１６（ａ）、（ｂ）は、同一の前景を左側及び右側から撮影した写真である。図１７（ａ）は、図１６（ａ）に対応する最終的なマスク画像であり、図１７（ｂ）は図１７（ａ）のマスク画像により抽出される前景色画像である。そして図１８は、図１７（ｂ）の前景色を、図１７（ａ）のマスク画像を用いて新たな背景に合成した合成画像である。図１６（ａ）、（ｂ）に示すように、前景物体が例えばひつじ（ぬいぐるみ）であったとする。すると、前景の輪郭はひつじの毛によって、前景と背景とが混合した領域となる。従来の方法であると、このような複雑な輪郭を有する物体の抽出は非常に困難であった。しかし、本実施形態に係る方法であると、ぼけを抽出してα値を推定するため、図１７（ａ）、（ｂ）に示すように、前景を高精度に抽出出来る。
【０１１１】
以上のように、この発明の第１の実施形態であると、未較正のカメラによって撮影された複数の画像から、複雑な物体であっても高精度に抽出出来る。その際には、背景技術で説明したような人手による情報入力も不要である。従って、非常に簡便な手法により、物体を抽出出来る。
【０１１２】
［第２の実施形態］  
次に、この発明の第２の実施形態に係る画像処理装置及び画像処理方法について説明する。本実施形態は、上記第１の実施形態において、複数の入力画像について得られた前景につき補間を行うことによって、中間的な視点から見た前景を得るものである。以下では、第１の実施形態と異なる点についてのみ説明する。
【０１１３】
＜画像処理装置３の構成＞  
図１９は、本実施形態に係る画像処理装置３のブロック図である。図示するように、本実施形態に係る画像処理装置３は、第１の実施形態で説明した図２の構成において、更に前景補間部２３を備えている。
【０１１４】
前景補間部２３は、前景ワープ関数３３、前景色３５、及びマスク画像３６を用いて、前景色補間画像４２及びα値補間画像４３を得る。前景色補間画像４２及びα値補間画像４３は、複数の前景物体についての複数の視点の、中間的な位置から前景物体（以下これを中間的な前景、と呼ぶことがある）を見たときの前景色及びα値である。
【０１１５】
そして合成部２２は、マスク画像３６及び前景色３５を直接使用するのでは無く、前景補間部２３で得られた前景色補間画像４２とα値補間画像４３とを用いて、中間的な前景と新背景４０との合成を行う。
【０１１６】
＜画像処理装置３の動作＞  
次に、上記概念に基づく画像処理方法の流れについて、図２０を用いて説明する。図２０は、本実施形態に係る画像処理装置３における、入力画像から合成画像４１を得るための処理を示すフローチャートである。
【０１１７】
図示するように、第１の実施形態で説明したステップＳ１０〜Ｓ１８の後、α値が収束した場合（ステップＳ１９、ＹＥＳ）、ステップＳ２１の処理を行う。ステップＳ２１では、前景補間部２３において、前景色補間画像４２とα値補間画像４３の算出が行われる。その後、合成部２２において、中間的な前景と新背景４０との合成が行われる（ステップＳ２２）。
【０１１８】
（ステップＳ２１：前景補間）  
次に、上記ステップＳ２１における前景補間処理の詳細について説明する。前景補間は、前景補間部２３において行われる。
【０１１９】
前景補間部２３は、ステップＳ１０〜Ｓ１８で求まった複数の前景色Ｆi(x)とマットαi(x)を補間して、中間的な前景情報Ｆ(x)とα(x)を作る。i番目の画像の寄与率をβiとすると（Σi {βi} = １）、前景補間部２３はまず各画像のワープ関数３３をこの寄与率の重みで補間する。  
【数２０】
2009111921.tif 000022
【０１２０】
但し、自身へのワープは恒等変換Ｖii(x) = xとする。次に、この補間されたワープ関数Ｖi(x)を用いて、Ｆi(x)とαi(x)をワープする。この処理には、以下のようにＶi(x)の逆関数Ｖi-1(x)を用いる。  
【数２１】
2009111921.tif 000023
【０１２１】
最後に、ワープされた前景情報を、寄与率に従って混合して補間された前景情報を得る。
【数２２】
2009111921.tif 000024
【０１２２】
図１に示す画像処理システム１では、複数の入力画像は複数の視点と対応する。すると、入力画像Ｆiの視点iにおける三次元座標をＸiとすると、式(22)に示される前景情報は、下記視点Ｘから見た前景に相当する。
【数２３】
2009111921.tif 000025
【０１２３】
以上により、補間された前景色Ｆ(x)及び補間されたα値α(x)が得られる。
【０１２４】
＜効果＞
以上のように、この発明の第２の実施形態に係る画像処理装置及び画像処理方法であると、第１の実施形態で説明した（１）の効果に加えて、下記（２）の効果が得られる。
【０１２５】
（２）任意の視点から見た新たな前景を得ることが出来る。  
本実施形態に係る構成であると、画像処理装置３は前景補間部２３を備えている。そして前景補間部２３は、複数の入力画像につき前背景色推定部１５で得られた複数の前景に基づいて、任意の視点から見た前景の前景色（前景色補間画像４２）と、それに対応したα値（α値補間画像４３）を算出している。従って、任意の視点から見た前景を得ることが出来る。すなわち、入力画像には無い新たな前景を抽出出来る。
【０１２６】
この様子を、図２１に示す。図２１は、２枚の入力画像から抽出した前景を用いて、新たな前景を算出する様子を示す模式図である。図示するように、２枚の入力画像は前述の図６と同様であり、入力画像Ｉ１は前景たる家を、図面を記載した紙面の左側から撮影した画像であり、入力画像Ｉ２は右側から撮影したものである。この２つの家の画像から、前景補間部２３は、例えば正面から見た家の画像を得ることが出来る。
【０１２７】
［第３の実施形態］  
次に、この発明の第３の実施形態に係る画像処理装置及び画像処理方法について説明する。本実施形態は、上記第１、第２の実施形態において、トライマップを得る際にユーザによって確実に前景となる領域に関する情報を与えるものである。以下では、上記第１、第２の実施形態と異なる点についてのみ説明する。
【０１２８】
本実施形態に係る構成であると、領域分割部１２は、混合領域の背景領域からの上限距離ｄ１を保持する。この情報は、例えばユーザによって予め与えられた情報である。上限距離ｄ１について、図２２を用いて説明する。図２２は、ある前景物体を撮影した入力画像に関するトライマップである。
【０１２９】
図示するように、入力画像によっては、確実に背景となる領域の端部から、少なくとも一定の距離だけ離れた領域が確実に前景となる場合がある。つまり、確実に背景となる領域の端部から、上記一定の距離までの領域が、０＜α＜１となる。これが混合領域である。そして、上記確実に前景となる領域があることをユーザが知っている場合がある。このような場合に、上記一定の距離ｄ１をユーザが画像処理装置３に与え、領域分割部１２が一定の距離ｄ１を保持する。
【０１３０】
そして領域分割部１２は、第１の実施形態で説明した方法により、確実に背景となる領域を求めた後、その領域から上記距離ｄ１だけ「不明な領域」の内側の領域を、確実に前景となる領域とする。そして、確実に背景となる領域と、確実に前景となる領域との間の領域を、不明な領域とする。そして領域分割部１２は、図１３におけるステップＳ１３の処理において、「確実に背景となる領域」につきα＝０とし、「確実に前景となる領域」につきα＝１とし、「不明な領域」につきα＝０．５とする。
【０１３１】
また、本手法を用いれば、複数回繰り返されるステップＳ１４、Ｓ１５の最初のステップにおいて、既に「確実に前景となる領域」が得られている。従って、第１の実施形態で説明したように、前景ワープ関数を背景ワープ関数と同様に求めることが出来る。更に、重み付け関数には関数Ｔ（α）が使用出来る。
【０１３２】
＜効果＞  
本実施形態に係る手法であると、上記第１、第２の実施形態で説明した（１）、（２）の効果に加えて、下記（３）の効果が得られる。
【０１３３】
（３）前景抽出に関する処理速度を向上出来る。  
本実施形態であると、ぼけ推定の後、領域分割部１２は確実に前景となる領域を把握出来る。従って、α値の初期値の段階で、画像全体に占める「不明な領域」の割合は非常に少なくなる。従って、前背景色推定部１５やα値推定部１６の負荷を軽減し、前景抽出速度を向上出来る。
【０１３４】
［第４の実施形態］  
次に、この発明の第４の実施形態に係る画像処理装置及び画像処理方法について説明する。本実施形態は、上記第１乃至第３の実施形態における、ぼけ推定方法の詳細に関するものである。以下では、第１乃至第３の実施形態と異なる点についてのみ説明する。
【０１３５】
本実施形態においてぼけ推定部１１は、入力画像についてそれぞれ異なるボケ除去を行う、また、入力画像の画像内容に応じて領域分割を行い、各領域について局所的なボケ推定を行う。そして、各領域について適正なボケ除去の行われた画像を統合する。図２３は、本実施形態に係るぼけ推定部１１のブロック図である。
【０１３６】
図示するように、ぼけ推定部１１は、ＰＳＦモデル記憶装置１０３、逆畳み込み部１０４、ボケ除去画像記憶装置１０５、局所ボケパラメータ推定部１０６、局所推定ボケパラメータ記憶装置１０７、画像統合部１０８、復元画像記憶装置１０９を備える。なお、本実施形態におけるぼけパラメータが、上記実施形態で説明したぼけ量３０に相当する。
【０１３７】
ＰＳＦモデル記憶装置１０３は、ぼけの状態をモデル化したＰＳＦ（ぼけ関数）１０３ａと、このＰＳＦ３ａに適用される複数段階のぼけパラメータ３ｂとを記憶する。ＰＳＦ１０３ａは、上記第１の実施形態で説明したぼけ関数ｈ(x; r)に相当する。
【０１３８】
逆畳み込み部１０４は、複数の段階について、入力画像から、その段階に対応するぼけパラメータ１０３ｂを適用したＰＳＦ１０３ａで表されるぼけを除去したぼけ除去画像データ１５１〜１５ｎを生成し、生成された各段階に対応するぼけ除去画像データ１５１〜１５ｎをぼけ除去画像記憶装置１０５に記憶する。
【０１３９】
局所ぼけパラメータ推定部１０６は、入力画像を読み出し、局所ぼけパラメータ推定部１０６の領域分割部１６１は、例えば色の変化などのような画像の内容に基づいて、入力画像を複数の領域に分割する。
【０１４０】
局所ぼけパラメータ推定部１０６は、各段階に対応するぼけ除去画像データ１５１〜１５ｎを読み出し、局所ぼけパラメータ推定部１０６の局所ぼけ推定部１６２は、各領域について、各段階のぼけ除去画像データ１５１〜１５ｎから領域内で所定の適正条件を満たすデータを選択し、各領域について選択されたデータを特定するための局所推定ぼけパラメータ１０７ａを推定する。
【０１４１】
そして、局所ぼけパラメータ推定部１０６は、各領域について推定された局所推定ぼけパラメータ１０７ａを、局所推定ぼけパラメータ記憶装置１０７に記憶する。この局所推定ぼけパラメータが、上記実施形態で説明した、各窓におけるぼけ量３０に相当する。
【０１４２】
画像統合部１０８は、各段階のぼけ除去画像データ１５１〜１５ｎと、各領域の局所推定ぼけパラメータ１０７ａとを読み出す。そして各領域について、その領域に対して推定された局所推定ぼけパラメータ１０７ａに対応するぼけ除去画像データ１０７ａの該当領域データを抽出し、抽出された各領域の該当領域データを組み合わせて復元画像データ１０９ａを生成し、復元画像データ１０９ａを出力画像記憶装置１０９に記憶する。
【０１４３】
以下に、ぼけ推定部１１の構成の詳細について説明する。  
逆畳み込み部１０４は、パラメータ変化部１４１及び逆畳み込み処理部１４２を具備する。さらに、逆畳み込み処理部１４２は、微分部１４３、微分領域逆畳み込み処理部１４４、及び積分部１４５を具備する。逆畳み込み部１０４は、ぼけが一様であると仮定して、入力画像に対して逆畳み込みを行う。ＰＳＦ１０３ａは、ぼけの大きさについてパラメータ化されている。逆畳み込み部１０４のパラメータ変化部１４１は、ぼけパラメータ１０３ｂにしたがって、ＰＳＦ１０３ａのパラメータrを、例えばr＝０．５、１．０、１．５、２．０、…などのように、段階的に変化させる。
【０１４４】
逆畳み込み部１０４は、r＝０．５のぼけパラメータを適用したＰＳＦ１０３ａを用いて逆畳み込みを行った結果を示すぼけ除去画像データ、r＝１．０のぼけパラメータを適用したＰＳＦ１０３ａを用いて逆畳み込みを行った結果を示すぼけ除去画像データ、…というように、各ぼけパラメータに対応するぼけ除去画像データ１５１〜１５ｎを生成する。
【０１４５】
ぼけの大きさについてパラメータ化されたＰＳＦ１０３ａとしては様々な関数が用いられる。ぼけパラメータを標準偏差rとしたガウシアン分布は、ＭＲＩ（Magnetic Resonance Imaging）やＣＴ（Computed Tomography）など多くの分野におけるＰＳＦのモデルとなり得る。
【０１４６】
式(24)は、ぼけパラメータを標準偏差rとしたガウシアン分布である。なお、以下では上記実施形態で説明した画素の座標x（２次元ベクトル）を、（x, y）座標として表現する。  
【数２４】
2009111921.tif 000026
【０１４７】
式(24)は、一般化して周波数領域で式(25)のように表される。
【数２５】
2009111921.tif 000027
【０１４８】
ここで、Ｆ［ｈ］はＰＳＦ ｆのフーリエ変換であり、光学伝達関数（ＯＴＦ：Optical Transfer Function）と呼ばれる。
【０１４９】
ξ，ηは、空間周波数である。ｂ＝１とすると、式(25)は式(24)に相当する。ｂ＝５／６の場合は大気乱流によるＰＳＦ、ｂ＝１／２はＸ線の散乱によるＰＳＦ／ＯＴＦのモデルとなる。
【０１５０】
また、カメラなどのレンズによる焦点ぼけの場合、ぼけ半径をぼけパラメータとして式(26)のようにＰＳＦを表すことができる。
【数２６】
2009111921.tif 000028
【０１５１】
また、ｒをある基本ＰＳＦ  ｑ（ｘ，ｙ）を拡大縮小するスケーリングパラメータとすることで、任意のＰＳＦを定義することができる。
【数２７】
2009111921.tif 000029
【０１５２】
基本ＰＳＦは例えばキャリブレーションによって得られる。
【０１５３】
逆畳み込み処理部１４２における逆畳み込みの処理においては、式(28)のような画像データの劣化モデルが用いられる。
【数２８】
2009111921.tif 000030
【０１５４】
ただし、ｇ，ｆ，ｎはそれぞれ入力画像、元の鮮明な画像データ、ノイズであり、離散化された画素値を辞書順に並べてベクトル表記している。
【０１５５】
ＨはＰＳＦ  ｈ（x, y; r）による二次元畳み込みを表す行列である。逆畳み込みとは、入力画像ｇとぼけ行列Ｈが与えられて元画像データｆを推定することに相当し、不良設定問題であることが知られている。単純に｜ｇ−Ｈｆ｜２を最小化する最小二乗問題として解くと、例え正確なぼけ行列Ｈを使用していても結果の画像データにおいてノイズが拡大される。
【０１５６】
このノイズの拡大を解決するためには、元画像データｆについての事前知識が必要となる。事前知識として、自然画像データの輝度勾配の分布は一般に図２４の実線のようになることを用いる。この自然画像データの輝度勾配の分布は、一般によく使用されるガウシアン分布（破線）よりも頂点が狭く、裾野が広い。この自然画像データの輝度勾配の分布は、例えば、一般化ラプラシアン分布として、式(29)のようにモデル化できる。
【数２９】
2009111921.tif 000031
【０１５７】
この式(29)の分布を微分係数事前分布と呼ぶ。この事前知識は、輝度勾配、すなわち微分係数に適用されるので、式(29)を微分して画像劣化モデルを式(30)及び式(31)のように変形する。
【数３０】
2009111921.tif 000032
【０１５８】
【数３１】
2009111921.tif 000033
【０１５９】
ここで、添え字のｘ，ｙは、それぞれの方向の微分を表す。ｎx及びｎyは微分領域におけるノイズを表し、元の画像領域におけるノイズｎとは一般に異なる。
【０１６０】
ｇxとｇyは、劣化画像データｇを微分すれば得られる。
【０１６１】
式(30)及び式(31)から、それぞれ元画像データのｘ微分の推定値ｆ^xとｙ微分の推定値ｆ^yとが得られる。ｘ微分の推定値ｆ^xとｙ微分の推定値ｆ^yを積分して、元画像データの推定値ｆ^が得られる。積分は式(32)のポワッソン方程式を解けばよい。
【数３２】
2009111921.tif 000034
【０１６２】
逆畳み込み処理部４２は、図２５に示す処理を実行する。
【０１６３】
すなわち、逆畳み込み処理部４２の微分部１４３は、入力画像をｘ方向に微分する処理１１０ａ、入力画像をｙ方向に微分する処理１１０ｂを実行する。
【０１６４】
次に、逆畳み込み処理部４２の微分領域逆畳み込み処理部１４４は、入力画像のｘ方向微分に逆畳み込みを実行する処理１１０ｃ、入力画像のｙ方向微分に逆畳み込みを実行する処理１１０ｄを実行する。この処理１１０ｃ、１１０ｄは、パラメータ変化部１４１によって得られる段階的なぼけパラメータ１０３ｂ、ＰＳＦ１０３ａ、記憶装置１１１に記憶されている微分係数事前分布１１１ａに基づいて、段階的に実行される。微分領域逆畳み込み処理部１４４は、この逆畳み込み処理の結果として得られる画像データが、微分係数事前分布１１１ａ（画像の微分係数の統計分布）に従うように促す（微分係数事前分布１１１ａに極力従うような制約を課す）。
【０１６５】
そして、逆畳み込み処理部１４２の積分部１４２は、入力画像のｘ方向微分に逆畳み込みを行った結果と、入力画像のｙ方向微分に逆畳み込みを行った結果とを積分し、ぼけパラメータ１０３ｂの各段階のぼけ除去画像データ１５１〜１５ｎを得る処理１１０ｅを実行する。
【０１６６】
逆畳み込みの処理は、微分した状態での画像の劣化モデル式(30)、(31)についての逆畳み込みを表す。
【０１６７】
式(30)と式(31)とは同様に扱えるので、以降では式(30)の逆畳み込みについて説明し、式(31)の逆畳み込みについては説明を省略する。
【０１６８】
ノイズｎ’xを分散σ２のガウシアンノイズと仮定すると、劣化画像データ２ａのｘ微分ｇxが与えられた上での元画像データのｘ微分ｆxの条件付き確率は式(33)のようになる。
【数３３】
2009111921.tif 000035
【０１６９】
ここで、ｐ（．）は引数となる変数の確率密度関数、ｆx,iは、元画像データのｘ微分ｆxのｉ番目の画素値である。また、微分係数事前分布は画素毎に適用できることを仮定している。
【０１７０】
式(33)を最大化するｆxを推定値とするＭＡＰ推定（Maximum A Posteriori estimate）を考えると、最大値の位置は対数（ｌｎ）をとっても不変であるため、式(34)が得られる。
【数３４】
2009111921.tif 000036
【０１７１】
式(34)は、微分係数事前分布ｐ（ｆx,i）が一般的によく使用されるガウシアン分布であれば、線形方程式に帰着される。しかし、ガウシアン分布は画像データのいたるところを平滑化する効果を持ち、ぼけを除去して鮮明な画像データを復元するにはそぐわない場合がある。そこで、本実施の形態においては上記図２４の実線で示す分布を用いる。
【０１７２】
この上記図２４の実線を用いることにより、式(34)は、非線形な最適化問題となる。本実施の形態では、上記図２４の実線を、ＥＭ(Expectation Maximization)法により反復的な線形方程式に変形して処理を高速化する。
【０１７３】
以下に、ＥＭ法を微分画像データに適用する場合について説明する。まず、微分係数事前分布ｐ（ｆx,i）を、平均が０で分散が異なるガウシアンの重ね合わせとして表す。すなわち、式(35)において、ｐ（ｆx,i｜ｚi）を平均０分散ｚiのガウシアン、ｐ（ｚi）は分散ｚiの確率分布とする。
【数３５】
2009111921.tif 000037
【０１７４】
｛ｚi｝を欠けた（観測不能な）データとみなしてＥＭ法を適用すると、式(34)は式((36)のような反復的な推定値の更新式になる。ｎ回目の反復におけるｆxの推定値をｆ（ｎ）xとする。
【数３６】
2009111921.tif 000038
【０１７５】
Ｅ（ｎ）i［．］はｉ番目の微分係数に対する分散ｚiの確率分布ｐ（ｚi｜ｆ（ｎ）x,i）に基づく期待値を表す。式(36)の第２項はｐ（ｆx,i｜ｚi）がガウシアンであることから、式(37)のようになる。
【数３７】
2009111921.tif 000039
【０１７６】
ただし、
【数３８】
2009111921.tif 000040
【０１７７】
である。式(38)は、例えば、式(29)に示した微分係数の事前分布モデルを用いた場合、具体的には、式(39)のようになる。
【数３９】
2009111921.tif 000041
【０１７８】
これにより式(36)は、ｆxに関して二次式になり、式(40)の線型方程式をｆxについて解くことで最大化できる。
【数４０】
2009111921.tif 000042
【０１７９】
ここで、Ｄ（ｎ）は、式(37)に示すＥ（ｎ）i［１／ｚi］を対角成分とする対角行列である。ＨTは、ぼけ行列Ｈの転置を表す。
【０１８０】
上記図２５における入力画像の微分画像データに対する逆畳み込み処理１０ｃ，１０ｄの処理の一例を、図２６に示す。すなわち、ｎ回目の反復において、微分領域逆畳み込み処理部１４４は、現在の推定ぼけ除去微分画像データｆ(n)xに基づき、式(38)により計算される対角成分を持つ行列Ｄ（ｎ）を計算し、線形方程式(40)の係数（σ２Ｄ（ｎ）＋ＨＴＨ）及びＨＴｇxを計算する（ステップＳ１）。
【０１８１】
次に、微分領域逆畳み込み処理部１４４は、式(40)の線型方程式を解く（ステップＳ２）。
【０１８２】
同様に、新たな推定ぼけ除去微分画像データｆ（ｎ＋１）xについても、ステップＳ１，Ｓ２が実行される。
【０１８３】
微分領域逆畳み込み処理部１４４は、上記の処理を、初期の推定ぼけ除去微分画像データｆ（０）xから始めて推定値の変化が所定値より小さくなるまで繰り返し、最終的な推定値をぼけ除去微分画像データとして出力する（ステップＳ３）。
【０１８４】
線型方程式の解法には例えば共役勾配法や二次定常反復法を用いることができる。解法中の主な処理はぼけ行列Ｈおよびその転置ＨＴとベクトルとの積の計算である。このぼけ行列Ｈおよびその転置ＨＴとベクトルとの積の計算は高速フーリエ変換を用いて高速に行うことができる。
【０１８５】
初期推定微分画像データｆ（０）xとしては、最も単純には、入力画像の微分データｇxを用いる。
【０１８６】
ノイズの分散σ２は劣化画像データの微分データｇxから見積もることができる。また、σ２を式（１７）における事前分布項の重み付け係数とみなして任意の値を設定してもよい。σ２の値が大きいほど復元画像データのノイズが軽減されるが、大きすぎると復元画像データが不鮮明なものとなる。σ２の初期値を大きくしておき、逆畳み込み計算の反復とともに減少させていく方法が、ノイズ軽減と鮮明さの両立に有効である。
【０１８７】
上記のような微分領域逆畳み込み処理部１４４による逆畳み込みの処理については、各画素が１要素のグレースケール画像の場合について説明している。カラー画像に対して逆畳み込みを行う場合には、要素数だけ同様の処理を繰り返すことで適用可能である。
【０１８８】
画像処理装置１では、逆畳み込み部１０４による処理の一方で、局所ぼけパラメータ推定部１０６により、各座標（ｘ，ｙ）における局所推定ぼけパラメータ１０７ａであるr(x, y)が得られる。
【０１８９】
図２７に、局所ぼけパラメータ推定部７ａの処理の一例を示す。ステップＴ１において、局所ぼけパラメータ推定部１０６は、入力画像を、画像内容に応じて複数の領域に分割する。この領域が、窓である。
【０１９０】
ステップＴ２において、局所ぼけパラメータ推定部１０６は、複数のぼけ除去画像データ１５１〜１５ｎに基づいて、各領域について、ぼけ除去結果の良好さの指標となる値（発散度）を求める。ここで、発散度は、後述するように、ノイズや周期的パターンが現れることを指し、ぼけ除去結果の一般的な自然画像からの逸脱の程度を表すとしている。すなわち、本実施の形態では、各領域について、発散度の状態によりぼけ除去が適正条件を満たすか否かの判断が実行される。
【０１９１】
ステップＴ３において、局所ぼけパラメータ推定部１０６は、発散度に基づいて、各領域について、ぼけ除去結果の良いぼけパラメータを推定（選択）する。
【０１９２】
ステップＴ４において、局所ぼけパラメータ推定部１０６は、各領域について推定されたぼけパラメータに基づいて、ぼけパラメータの推定されていない領域に対するぼけパラメータの補間や、領域間でのぼけパラメータのスムージングなどの後処理を実行する。
【０１９３】
この局所ぼけパラメータ推定部６の処理において、入力画像は、色の似た画素をまとめるなどにより領域に分割されるとしてもよい。図２８は、画像データの内容に応じて領域分割を行った結果の一例を示している。なお、入力画像を領域に分割する方法は、任意であり、例えば単純な矩形分割でもよい。画像の内容に応じた分割をすることで、ぼけパラメータの推定精度を向上させることができる。領域の形状は制限されない。領域が小さすぎるところは画素数が少なく十分なサンプルが取れないので周りの領域と併合させてもよく、その領域は推定対象外としてもよい。大きすぎる領域については推定の局所性が低くなるため、適当に細分してもよい。細長い形状の領域、画素値の変化が微小な領域、画素値が飽和した領域などは除外することで推定の信頼性を向上させてもよい。
【０１９４】
分割された領域をＡjとし、入力画像全体の領域をＩとすると、式(41)及び式(42)が成り立つ。
【数４１】
2009111921.tif 000043
【０１９５】
【数４２】
2009111921.tif 000044
【０１９６】
各領域Ａjにおいて、その領域内ではぼけパラメータが一定であるとみなしてぼけ推定を行う。本実施の形態では、複数のぼけ除去画像データ１５１〜１５ｎから、その領域内で最も良い復元結果となるぼけ除去画像データに対応するぼけパラメータを推定する。例えば、ぼけパラメータr＝０．５、１．０、１．５、２．０、…で逆畳み込みをした複数のぼけ除去画像データ１５１〜１５ｎがあり、注目領域での真のぼけパラメータがr＝１．６であった場合、複数のぼけ除去画像データ１５１〜１５ｎのうち注目領域についてはr＝１．５で逆畳み込みをしたぼけ除去画像データが最も良い復元結果を与えると考えられる。よって、復元結果の良さが判定できれば、この例では注目領域でのぼけパラメータをr＝１．５と推定することができる。ぼけパラメータの推定値は事前に準備した段階的なぼけパラメータのいずれかになるので、必要な精度に応じてぼけパラメータ群を用意する必要がある。
【０１９７】
復元結果の良さの基準として、画像データの発散度を考える。なお、発散とは、元画像データにはない周期性を持ったパターンや乱雑なノイズがぼけ除去画像データに現れることを意味する。発散度とは、元画像データにはない周期性を持ったパターンや乱雑なノイズの程度の大きさを表し、ぼけ除去画像データをｆ^とすると、以下の式(43)〜(46)のような指標で評価できる。
【数４３】
2009111921.tif 000045
【０１９８】
【数４４】
2009111921.tif 000046
【０１９９】
【数４５】
2009111921.tif 000047
【０２００】
【数４６】
2009111921.tif 000048
【０２０１】
ここで、ｆ^xx及びｆ^yyはぼけ除去画像データのそれぞれｘとｙに関する２階微分である。δ（．）は引数が真のとき１、偽のとき０を返す関数、［θmin，θmax］は画素値の取りうる範囲である。
【０２０２】
真のぼけパラメータがｒtであるときに、ぼけパラメータrで逆畳み込みをした場合、ぼけ除去画像データはｒ≦ｒtの間において発散の程度が比較的小さい。しかしながら、ｒ＞ｒtになると、rの増加にしたがって急激に発散度が増す性質がある。この理由を以下に説明する。
【０２０３】
ぼけパラメータrが大きいほど、そのときのＰＳＦによってぼかされた画像データは高周波成分が減衰する。
【０２０４】
例えば、式(24)のＰＳＦの周波数領域におけるグラフは式(25)においてｂ＝１とすると得られる。図２９は、この式(25)においてｂ＝１とした場合のグラフを簡単のため一次元で図示した例である。図示するように、ぼけパラメータｒが大きくなるにつれ、高周波成分の減衰はより大きくなることが分かる。逆畳み込みは、この減衰した周波数成分を増幅する処理に相当する。よって、ぼけパラメータが大きいほど小さい周波数成分をも大きく増幅することになる。
【０２０５】
したがって、ｒ＜ｒtのときは、真のぼけパラメータｒtによる減衰の程度よりも逆畳み込みによる増幅の程度の方が弱いため、ぼけ除去画像データは、元画像データに比べて高周波成分が未だ小さい。
【０２０６】
逆に、ｒ＞ｒtのときは、真のぼけパラメータｒtによる減衰の程度よりも逆畳み込みによる増幅の程度の方が強いため、ぼけ除去画像データは元画像データに比べて高周波成分が大きくなり、発散する。
【０２０７】
ｒ＝ｒtのときは理想的にはフィルタはいたるところ１となって元画像データが復元される。実際にはノイズの影響があるためｒ≦ｒtであってもノイズも一緒に増幅されてしまい、ある程度の発散が起こるが、ノイズが画像の内容より十分小さい場合には、ｒ＞ｒtのときの発散のしかたに比べれば十分小さい。
【０２０８】
説明を簡単化するために、元画像データｆがぼけパラメータｒtのガウシアンでぼかされた画像データを、ぼけパラメータrのガウシアンで逆畳み込みをすることを考え、ノイズを無視して単純な逆フィルタを用いると式(47)の関係を得る。
【数４７】
2009111921.tif 000049
【０２０９】
式(47)においてexp｛−(ｒt２−ｒ２)（ξ２＋η２）｝を元画像データｆに対する周波数領域でのフィルタと考えると、このフィルタのグラフはやはりηを無視して一次元の場合で示すとrとｒt の大小関係によって図３０のようになる。ｒ＞ｒtのときのぼけ除去画像データの高周波成分が、元画像データに対して過剰に増幅されることが分かる。この議論は、式(25)においてｂ＝１とした場合について行っているが、ｂの値が１ではない場合も同様である。
【０２１０】
式(26)の焦点ぼけのＰＳＦを用いる場合について以下に説明する。簡単化のために一次元の場合と仮定すると、式(48)が得られる。
【数４８】
2009111921.tif 000050
【０２１１】
このｈ（ｘ）の周波数変換は式(49)で与えられる。
【数４９】
2009111921.tif 000051
【０２１２】
この式(49)は、図３１に示すグラフになり、高周波数成分が減衰するのみではなく、ξ＝ｍπ／ｒ（ｍ＝±１，±２，…）において、周期的に周波数を０にするフィルタになる。このため、式(24)及び式(25)のＰＳＦとは異なり、低周波部においても逆畳み込みによる過剰な増幅が起こる。
【０２１３】
上記と同様に、元画像データｆがぼけパラメータｒtの焦点ぼけでぼかされた画像データを、ぼけパラメータｒの焦点ぼけで逆畳み込みをすることを考える。この場合、単純な逆フィルタでは分母が０になるため、微小な値εを加えた擬似逆フィルタを用いると、式(50)の関係が得られる。
【数５０】
2009111921.tif 000052
【０２１４】
式(50)における、式(49)の値が０になる点ξ＝ｍπ／ｒでの値は、式(51)で与えられる。
【数５１】
2009111921.tif 000053
【０２１５】
微小な値εで除算しているため、該当周波数成分は大きく拡大されることになる。画像データは通常低周波成分を多く含むため、特に、ｍ＝±１のξ＝±π／ｒの成分が大きく発散する。
【０２１６】
ｍ＝１のときの式(51)の値をぼけパラメータｒの関数としてグラフを描くと、図３２のようになる。ｒ＞ｒtのときのぼけ除去画像データの該当周波成分が、元画像データに対して過剰に増幅されることが理解できる。
【０２１７】
以上より、式(24)及び式(25)のＰＳＦと式(26)のＰＳＦとでは、逆畳み込みを行った場合の画像データの発散の仕方が異なるが、いずれも真のぼけパラメータｒtより大きなぼけバラメータで逆畳み込みを行った場合に発散度が大きくなる。一般のＰＳＦについても多くの場合に同様の状態となる。よって、上記の図２７のように、まず、各領域Ａjにおいて、ぼけパラメータrで逆畳み込みをした複数のぼけ除去画像データに対して発散度ｖj(r)を算出する。
【０２１８】
本実施の形態では、逆畳み込み部１０４によって得られたぼけ除去画像データ１５１〜１５ｎを用いるとしているが、擬似逆フィルタ(pseudo-inverse filter)などを用いた単純な逆畳み込み法により別途生成されるとしてもよい。ぼけパラメータ推定のために必要なぼけ除去画像データは画質が良い必要はなく、適正と判断されるぼけ除去画像データがある程度発散していても構わない。
【０２１９】
次に、各領域において、画像が大きく発散し始める直前のぼけ除去画像データを、最も良い復元結果として選択する。すなわち、ｖj（ｒ）が急激に増加し始める直前のrをこの領域でのぼけパラメータの推定値とする。
【０２２０】
図３３に、発散度とぼけパラメータとの関係の一例を示す。急激な増加点の特定は、例えばｖj（０）、すなわち入力画像自体の発散度を基準としたしきい値を考え、このしきい値を越えないｖｊ（ｒ）を与える最大のrを選べばよい。発散度を領域の面積で正規化し、しきい値を設定する方法も有効である。あるいは、例えば、ｖj（ｒ）のｒに関する２階微分の最大点を選択してもよい。
【０２２１】
ｖj（ｒ）にスムージングをかけ、ノイズの影響を抑えてパラメータを推定することで、ノイズの影響を抑えて判定精度を向上させることができる場合がある。また、あるｒ＝ｒ0の近傍でｒ＜ｒ0のときのｖj（ｒ）の値と、ｒ＞ｒ0のときの値それぞれに直線をフィッティングし、その２直線の角度が最大となるようなｒ0を選ぶとしてもよい。
【０２２２】
以上の処理により、各領域Ａjについてぼけパラメータｒjが得られたため、各領域Ａjについてぼけパラメータｒjをつなぎ合わせれば局所推定ぼけパラメータr(x, y)が得られる。
【０２２３】
上記の図２７の後処理としては、推定値の穴埋めと領域間のスムージングなどのような付加的な処理が行われる。まず、領域分割したときに、領域が小さすぎるなどで推定対象外とした領域や、領域内の画像値の変化が微小であったため発散度の変化が小さく、信頼できる推定ができなかった領域の推定値を周囲の領域に基づいて埋める。例えば、式(52)のラプラシアン方程式を、推定値のない領域Ａjについて解く。
【数５２】
2009111921.tif 000054
【０２２４】
そして、領域の境界でぼけパラメータが大きく異なると最終的な復元画像データに不連続が見える可能性があるため、局所推定ぼけパラメータr(x, y)にスムージングが施される。
【０２２５】
また、式(53)の方程式を画像領域Ｉ全体でr(x, y)について解いて、穴埋めとスムージングを同時に行うとしてもよい。
【数５３】
2009111921.tif 000055
【０２２６】
ただし、（ｘ，ｙ）∈Ａjについて、領域Ａjにぼけパラメータの推定値がある場合にλ（ｘ，ｙ）＝λcとし、ｅ（ｘ，ｙ）＝ｒjとし、推定値がない場合にλ（ｘ，ｙ）＝０とし、ｅ（ｘ，ｙ）＝０とする。定数λcはぼけパラメータr(x, y)をどれだけ各領域での推定値ｅ（ｘ，ｙ）に適合させるかを表す正数で、λcが小さいとラプラシアンによるスムージングの効果が相対的に大きくなる。
【０２２７】
画像統合部１０８は、逆畳み込み部１０４によって生成された複数のぼけ除去画像データ１５１〜１５ｎを、局所ぼけパラメータ推定部１０６によって推定されたぼけパラメータ７ａのｒ（ｘ，ｙ）に基づいて統合する。各座標（ｘ，ｙ）について、その周辺はぼけパラメータｒ（ｘ，ｙ）でぼけているわけであるから、段階的に変化させたぼけパラメータの中からｒ（ｘ，ｙ）に最も近いぼけパラメータｒ1及びｒ2を選び（ｒ1≦ｒ（ｘ，ｙ）≦ｒ2）、パラメータｒ1，ｒ2で逆畳み込みをしたぼけ除去画像データｆ^1，ｆ^2を用いて統合画像データｆ^を式(54)のように補間する。
【数５４】
2009111921.tif 000056
【０２２８】
以上の手法を各入力画像に適用することで、各入力画像についてのぼけ量３０（ぼけパラメータ）を得ることが出来る。
【０２２９】
＜効果＞  
本実施形態に係る手法であると、上記第１乃至第３の実施形態で説明した（１）乃至（３）の効果に加えて、下記（４）の効果が得られる。
【０２３０】
（４）前景の抽出精度を向上出来る（その１）。  
本実施形態に係るぼけ推定手法であると、ぼけの推定精度を向上出来る。その結果、前景の抽出精度を向上出来る。本効果につき、ぼけの推定精度に関して、以下説明する。
【０２３１】
本実施形態に係る手法であると、局所的にぼけ推定が行われる。よって、ぼけの大きさが事前に得られている必要がない。よって、ぼけの大きさは入力画像において一様でなくてもよく、入力画像のぼけが比較的大きく変化する場合にも、ぼけの除去又はぼけの状態の変換を行うことができる。
【０２３２】
また、本実施形態では、局所的なぼけ推定のための領域分割の形状が制限されない。したがって、画像データの画像内容にそったぼけ推定を行うことができ、推定の局所性と精度を向上させることができる。
【０２３３】
更に本実施形態では、入力画像に対してＰＳＦを用いて複数の段階でぼけ除去を行い、複数のぼけ除去画像データ１５１〜１５ｎに基づいて各領域について適切なデータを統合し、復元画像データ１０９ａを作成する。これにより、非一様なぼけの除去は、一様なＰＳＦによる画像データの逆畳み込みを複数行う処理により実行することができ、効率がよく、ノイズを拡大しにくい逆畳み込み法を用いることができる。
【０２３４】
本実施の形態において、ＰＳＦはぼけの大きさについてパラメータ化されていればよく、様々な種類のＰＳＦモデルを用いることができる。
【０２３５】
また、本実施形態において、逆畳み込みの処理は、入力画像を微分した輝度勾配に対して実行され、入力画像の輝度勾配に対する事前分布が適用される。これにより、質の良いぼけ除去画像データを高速に得ることができる。
【０２３６】
なお、本実施形態において、逆畳み込み部１０４は、微分領域逆畳み込み処理部１４４において、入力画像の微分画像データに逆畳み込みを適用し、当該逆畳み込みにおいて微分係数事前分布に応じたぼけの除去を行って第１の逆畳み込みデータを生成する。更に逆畳み込み部１０４は、入力画像に対して単純な擬似逆フィルタを用いるなどして、微分係数事前分布に依存しないぼけの除去を行って、第２の逆畳み込みデータを生成するとしてもよい。この場合、積分部１４５は、第１の逆畳み込みデータを積分して第１のぼけ除去画像データを生成する。第２の逆畳み込みデータはは元から微分されていないので、積分せずにそのまま第２のぼけ除去画像データとなる。そして、局所ぼけパラメータ推定部１０６は、第２のぼけ除去画像データに基づいて、局所推定ぼけパラメータ１０７ａを生成し、画像統合部１０８は、局所推定ぼけパラメータ１０７ａに基づいて、各領域に対して第１のぼけ除去画像データの統合処理を実行し、復元画像データ１０９ａを生成する。
【０２３７】
［第５の実施形態］  
次に、この発明の第５の実施形態に係る画像処理装置及び画像処理方法について説明する。本実施形態は、上記第４の実施形態において、前景及び背景の位置あわせ（対応点計算）に、ぼけ推定部１１で得られた復元画像データ１０９ａを用いるものである。以下では、上記実施形態と異なる点についてのみ説明する。
【０２３８】
図３４は、本実施形態に係る前景抽出部１０のブロック図である。図示するように、背景対応点計算部１３及び前景対応点計算部１４は、入力画像の代わりにぼけの無い入力画像３７を用いて位置あわせを行う。ぼけの無い入力画像３７は、ぼけ推定部の画像統合部１０８で得られた復元画像データ１０９ａである。その他の構成及び動作は、第１乃至第４の実施形態と同様であるので、説明は省略する。
【０２３９】
＜効果＞
本実施形態に係る画像処理装置及び画像処理方法であると、上記第１乃至第４の実施形態で説明した（１）乃至（４）の効果に加えて、下記（５）の効果が得られる。
【０２４０】
（５）前景の抽出精度を向上出来る（その２）。  
本実施形態に係る構成であると、ぼけの無い入力画像３７を用いて背景及び前景についての位置あわせを行っている。これによれば、位置あわせの精度を向上でき、その結果として、前景の抽出精度を向上出来る。
【０２４１】
［第６の実施形態］  
次に、この発明の第６の実施形態に係る画像処理装置及び画像処理方法について説明する。本実施形態は、上記第４の実施形態と異なる手法によりぼけ推定を行うものであり、特開２００７−２０１５３３号公報に開示の手法を用いるものである。
【０２４２】
図３５は、本実施形態に係るぼけ推定部１１のブロック図である。図示するようにぼけ推定部１１は、エッジ検出部２００、記憶装置２１０、及び推定部２２０を備えている。
【０２４３】
エッジ検出部２００は、入力画像Ｉ（ｘ，ｙ）を読み出し、入力画像のエッジ検出計算を実行し、エッジと判定された画素（エッジ点）の座標（ａi，ｂi）と、この座標（ａi，ｂi）におけるエッジの方向又は法線ベクトルｎiを記憶装置２１０に記憶する。ここで、ｉは、エッジ点の番号である。エッジの検出方法は、既存の方法を適用できる。
【０２４４】
推定部２２０は、入力画像と、記憶装置２１０に記憶されているエッジ位置及びエッジ方向とを読み出し、各エッジ点について、エッジ点の周辺の入力画像データの値に基づいてぼけを推定し、ぼけ推定結果であるぼけパラメータを出力する。このぼけパラメータが、上記実施形態で説明したぼけ量３０である。
【０２４５】
次に、推定部２２０におけるぼけ推定方法について説明する。入力画像のぼけは、前述のぼけ関数ｈ（ｘ，ｙ；ｒ）でモデル化される。ｒがぼけパラメータ、すなわちぼけ量３０である。
【０２４６】
このぼけ関数ｈによって、下記の式(55)及び式(56)に示すようなステップエッジがぼかされた場合を考える。なお、式(55)においてg0はエッジの一方側の輝度であり、(56)式においてg1はエッジの他方側の輝度である。
【数５５】
2009111921.tif 000057
【０２４７】
【数５６】
2009111921.tif 000058
【０２４８】
以下においては、簡略化のためにステップエッジがｙ軸に沿っている場合について説明するが、他の一般的な場合についても、注目しているエッジ点を原点とし、エッジの方向にｙ軸をとり、エッジと垂直な方向にｘ軸をとることにより、同様の手法を用いることができる。
【０２４９】
ステップエッジがぼかされた場合の輝度分布は、下記の(57)式で表される。
【数５７】
2009111921.tif 000059
【０２５０】
ここで“*”は二次元の畳み込み(convolution)である。例えばぼけを、ぼけ半径ｒというパラメータをひとつ持つ下記(24)式のガウシアン（gaussian）でモデル化すると、下記(58)式となる。
【数５８】
2009111921.tif 000060
【０２５１】
ここでｅｒｆ（ｘ）はエラー関数（error function）を表す。上述のようにｙ軸に沿ったエッジを考えると、fは(58)式のようにｙに非依存な関数になる。
【０２５２】
図３６にステップエッジのｙ＝０での断面ｇ（ｘ，０）の例、図３７にぼけ関数のｙ＝０での断面ｈ（ｘ，０；ｒ）の例、図３８にぼけたエッジのｙ＝０での断面ｆ（ｘ，０；ｇ０，ｇ１，ｒ）の例を示す。
【０２５３】
ぼけの推定は、(57)式がエッジ点（ａi，ｂi）周辺の入力画像データの輝度分布Ｉ（ｘ＋ａi，ｙ＋ｂi）と近くなるようなｇ０，ｇ１、ｒを求めることによって行う。このぼけ推定では、最小二乗フィッティングを行う。最小二乗フィッティングはエッジの法線ｎi方向について一次元で行えばよい。上記のｙ軸に沿ったエッジの場合、ｙ＝０としてｆ（ｘ，０；ｇ０，ｇ１，ｒ）とＩ（ｘ＋ａi，ｂi）をｘ方向についてフィッティングする。  
以上のようにして、推定部は、各エッジ点におけるぼけパラメータｒを算出する。
【０２５４】
＜効果＞  
本実施形態に係る手法であると、上記第１乃至第３の実施形態で説明した（１）乃至（３）の効果に加えて、下記（６）の効果が得られる。
【０２５５】
（６）前景の抽出精度を向上出来る（その３）。  
本実施形態に係る手法であると、推定部１０５は、入力画像と、ぼけ関数とによってぼかされたステップエッジとをフィッティングし、これに基づいて、ぼけを推定する。これにより、ぼけ推定の問題を、関数とデータとのフィッティングの問題に簡単化することができる。従って、ぼけ推定部１１における負荷を軽減し、また前景の抽出精度を向上出来る。
【０２５６】
［第７の実施形態］  
次に、この発明の第７の実施形態に係る画像処理装置及び画像処理方法について説明する。本実施形態は、上記第１乃至第６の実施形態において、入力画像として動画を使用するものである。その他の点に関しては、上記第１乃至第６の実施形態と同様であるので、説明は省略する。
【０２５７】
図３９は、本実施形態に係る画像処理システム１のブロック図である。図示するように、第１の実施形態で説明した図１の構成とは、カメラ２をビデオカメラ４に置き換えた点である。そしてビデオカメラ４は、撮影した動画データを画像処理装置３へ出力する。
【０２５８】
ビデオカメラ４は、第１の実施形態と同様に、対象物体に焦点を合わせ、その背景に関しては焦点をずらして撮影する。ビデオカメラ４が較正されている必要はない。また、背景が前景に対して十分遠いという条件が保たれれば、前景物体が移動しても良いし、また前景に対して背景が移り変わるような場合であっても良い。すなわち、第１の実施形態と異なるのは、第１の実施形態が同時刻における複数視点からの複数の画像データを得るのに対し、本実施形態は複数時刻における同一視点からの複数の画像データを得る、という点である。
【０２５９】
動画データは、時間軸に沿った複数の静止画（これをフレームと呼ぶ）の集合である。この様子を、図４０に示す。図４０は動画の模式図であり、時間と共に複数のフレームが得られる様子を示している。
【０２６０】
画像処理装置３は、ビデオカメラ４から動画データを受け取ると、例えば内部に備えた動画受信部（図示せず）が、いずれのフレームを入力画像として使用するかを決定する。例えば、動画データの最初の２枚のフレームを入力画像として使用する場合には、図４０に示すように、それぞれのフレームを入力画像Ｆ１(x)、Ｆ２(x)として、前景抽出部１０へ出力する。
【０２６１】
なお、入力画像として選択出来るフレームは、前述の通り、次の条件を満たす必要がある。このことは、第１乃至第６の実施形態と同様である。  
（Ａ）前景物体が実質的に同じ形を維持したまま、背景に対して動いた画像列になっていること。  
（Ｂ）前景物体に焦点があっており、背景がぼけていること。  
条件（Ａ）は、シーンが静止していれば、ビデオカメラ４をシーンの奥行き方向に対してほぼ垂直な平面内で移動しながら撮影すれば満たされる。このことは、第１の実施形態においてカメラ２を１台として、そのカメラ２が移動しつつ撮影を行うことと等価である。前景物体が動く場合は、ビデオカメラ４が固定であっても条件（Ａ）は満たされる。但し、前景は実質的に同じ形状を維持していなければならないので、例えば前景物体が１８０度後ろを向いてしまうような動きをする場合には、動画データを、実質的に同じ形状を維持しているとみなせる程度に分割して扱う必要がある。
【０２６２】
また、本実施形態では、複数の画像は複数の時刻と対応する。従って、画像iの時刻をtiとすると、第２の実施形態で説明した式(22)に示される前景情報は、下記の式(59)で表される時刻に観測される前景に相当する。
【数５９】
2009111921.tif 000061
【０２６３】
上記のように、カメラ２の代わりにビデオカメラ４を使用し、動画に含まれる複数のフレームを入力画像として使用しても良い。また、動画から前景を抽出する場合において、ユーザによって前景情報を与える第３の実施形態を適用した場合であっても、第３の実施形態で説明したように、ユーザが与えるべき情報は距離ｄ１のみである。従って、動画を扱う場合であっても、簡便な手法により、高精度に前景を抽出出来る。
【０２６４】
［第８の実施形態］  
次に、この発明の第８の実施形態に係る画像処理装置及び画像処理方法について説明する。本実施形態は、上記第１乃至第７の実施形態で説明した画像処理方法を、複数のプロセッサを備えたプロセッサシステムによって実現するものである。
【０２６５】
図４１は、本実施形態に係るプロセッサシステムのブロック図である。図示するようにプロセッサシステム３００は、第１プロセッサ３１０、複数の第２プロセッサ３２０、第１デコーダ３３０、第２デコーダ３４０、ＤＭＡ（direct memory access）コントローラ３５０、メモリ３６０、メインメモリ３７０、インターフェース３８０、及びメモリコントローラ３９０を備えている。
【０２６６】
第１プロセッサ３１０は、当該システム３００における主たる制御を司る。第２プロセッサ３２０は、第１プロセッサ３２０の制御に従って演算を行う。第２プロセッサ３２０の各々は、制御部３２１、演算部３２２、及びメモリ３２３を備えている。
【０２６７】
第１デコーダ３３０は、外部から入力されたＭＰＥＧ（Moving Picture Experts Group）形式の動画データをデコードする。第２デコーダ３４０は、外部から入力されたＨ．２６４形式の動画データをデコードする。ＤＭＡコントローラ３５０は、システム３００内に含まれるメモリ間のデータ転送を司る。
【０２６８】
メモリ３６０は、フラッシュメモリ等の不揮発性半導体メモリであり、制御プログラム３６１、ぼけ推定プログラム３６２、トライマップ作成プログラム３６３、α値推定プログラム３６４、位置あわせプログラム３６５、色推定プログラム３６６、合成画像作成プログラム３６７、及び新背景４０を保持している。プログラム３６１〜３６７については後述する。
【０２６９】
メインメモリ３７０は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリであり、第１プロセッサ３１０の作業領域となるメモリである。インターフェース３８０は、システム３００と外部との接続を司る。従って、例えばユーザによる命令等は、インターフェース３８０を介してシステム３００に与えられる。メモリコントローラ３９０は、システム３００と外部とのデータの授受を司る。従って、例えばカメラ２やビデオカメラ４から与えられるデータは、メモリコントローラ３９０の制御に従って、メモリ３６０に書き込まれる。
【０２７０】
次に、上記システム３００による前景抽出・画像合成方法について、図４２のフローチャートを用いて説明する。なお、基本的な前景抽出方法及び画像合成方法は、上記第１乃至第７の実施形態と同様である。以下では、上記第１乃至第７の実施形態で説明した各処理ステップが、システム３００内において如何にして実行されるのかについて説明する。
【０２７１】
まず、メモリコントローラ３９０が入力画像を外部から受け取って、入力画像をメモリ３６０に格納する（ステップＳ３０）。第１乃至第６の実施形態であれば、入力画像はカメラ２から与えられる静止画であり、第７の実施形態であれば入力画像はビデオカメラ４から与えられる動画である。また入力画像は、すでにＭＰＥＧ形式やＨ．２６４形式にエンコードされたものであっても良い。この場合には、第１デコーダ３３０または第２デコーダ３４０が入力画像をデコードする。
【０２７２】
次に第１プロセッサ３１０が、メモリ３６０から入力画像と制御プログラム３６１とをメインメモリ３７０に読み出し、制御プログラム３６１を実行する（ステップＳ３１）。制御プログラム３６１は、前景抽出及び画像合成を行うための主たる処理の流れに関するプログラムである。この制御プログラム３６１が実行されることにより、前景抽出及び画像合成の処理が開始される。
【０２７３】
制御プログラム３６１に従って第１プロセッサ３１０は、まずぼけ推定処理を開始する（ステップＳ３２）。ぼけ推定処理にあたって第１プロセッサ３１０は、例えば図４で説明した窓ＷＮＤを設定する。引き続き第１プロセッサ３１０は複数の第２プロセッサ３２０に対して、各窓ＷＮＤについてのぼけ推定を命令する（ステップＳ３３）。
【０２７４】
すると、各々の第２プロセッサ３２０の制御部３２１は、メモリ３６０からぼけ推定プログラム３６２をメモリ３２３に読み出す。そして制御部３２１はぼけ推定プログラム３６２を実行して、演算部３２２に対して演算を行わせる。この結果、第２プロセッサ３２０は、自身が担当する窓ＷＮＤに関するぼけ量３０を得る（ステップＳ３４）。本処理は、第１の実施形態で説明したステップＳ１１の処理であり、その具体的な方法は、第４、第６の実施形態で説明した内容である。ぼけ推定プログラム３６１は、上記方法を実行するためのプログラムである。
【０２７５】
次に第１プロセッサ３１０は、トライマップ作成プログラム３６３をメインメモリ３７０に読み出す。そして、ステップＳ３４において各第２プロセッサ３２０で得られたぼけ量３０に基づいて、トライマップ作成プログラム３６３を実行することで、トライマップ３１を得る（ステップＳ３５）。トライマップ作成プログラム３６３は、第１の実施形態で説明したステップＳ１２を実行するためのプログラムである。勿論、第１プロセッサ３１０だけでなく、第２プロセッサ３２０がその一部の処理を担っても良い。
【０２７６】
引き続き第１プロセッサ３１０は、α値推定プログラム３６４をメインメモリ３７０に読み出す。そして、ステップＳ３５において得られたトライマップ３１を用いてα値推定プログラム３６４を実行することで、α値の初期値を得る（ステップＳ３６）。α値推定プログラム３６４は、第１の実施形態で説明したステップＳ１３、Ｓ１７、Ｓ１８を実行するためのプログラムである。勿論、第１プロセッサ３１０だけでなく、第２プロセッサ３２０がその一部の処理を担っても良い。
【０２７７】
次に制御プログラム３６１に従って第１プロセッサ３１０は、対応点計算とワープ関数の算出処理を開始する（ステップＳ３７）。本処理にあたって第１プロセッサ３１０は、例えば図９で説明したように、対応を取るべき画素ｘを、複数の第２プロセッサ３２０に割り当てる（ステップＳ３８）。
【０２７８】
すると、各々の第２プロセッサ３２０の制御部３２１は、メモリ３６０から位置あわせプログラム３６５をメモリ３２３に読み出す。そして制御部３２１は位置あわせプログラム３６５を実行して、演算部３２２に対して演算を行わせる。この結果、第２プロセッサ３２０は、自身が担当する画素ｘに関するワープ関数３２、３３を得る（ステップＳ３９）。本処理は、第１の実施形態で説明したステップＳ１４、Ｓ１５の処理であり、位置あわせプログラム３６５は、本処理を実行するためのプログラムである。例えば図９において、ある第２プロセッサ３２０が画素x0を担当するとすると、第２プロセッサ３２０は入力画像Ｉ１(x)における画素x0が入力画像Ｉ２(x)におけるいずれの画素に対応するのかを計算し、ワープ関数Ｗ１２(x0)を得る。
【０２７９】
引き続き第１プロセッサ３１０は制御プログラム３６１に従って、前背景色の推定処理を開始する（ステップＳ４０）。本処理にあたって第１プロセッサ３１０は、前景色及び背景色を算出すべき画素の各々を、第２プロセッサ３２０に対して割り当てる（ステップＳ４１）。
【０２８０】
すると、各々の第２プロセッサ３２０の制御部３２１は、メモリ３６０から色推定プログラム３６６をメモリ３２３に読み出す。そして制御部３２１は色推定プログラム３６６を実行して、演算部３２２に対して演算を行わせる。この結果、第２プロセッサ３２０は、自身が担当する画素ｘに関する前景色３５（Ｆi）及び背景色３４（Ｂi）を得る（ステップＳ４２）。本処理は、第１の実施形態で説明したステップＳ１６の処理であり、色推定プログラム３６６は、本処理を実行するためのプログラムである。
【０２８１】
次に第１プロセッサ３１０は、α値推定プログラム３６４をメインメモリ３７０に読み出す。そして、ステップＳ４２において得られた前景色３５と背景色３４とを用いてα値推定プログラム３６４を実行することで、α値を更新すると共に、α値の収束判断を行う（ステップＳ４３）。本処理は、上記第１の実施形態で説明したステップＳ１７〜Ｓ１９の処理に対応する。勿論、第１プロセッサ３１０だけでなく、第２プロセッサ３２０が本処理の一部を担っても良い。
【０２８２】
第１プロセッサ３１０は、α値が収束したと判断すると、メモリ３６０から合成画像作成プログラム３６７及び新背景４０をメインメモリ３７０に読み出す。そして、ステップＳ４２において得られた前景色３５と、ステップＳ４３で得られたα値を用いて、入力画像の前景と新背景４０とを合成する（ステップＳ４４）。本処理は、上記第１の実施形態で説明したステップＳ２０の処理に対応する。勿論、第１プロセッサ３１０だけでなく、第２プロセッサ３２０が本処理の一部を担っても良い。
【０２８３】
以上のように、複数のプロセッサ３１０を有するプロセッサシステム３００によって、上記第１乃至第６の実施形態で説明した画像処理方法を実現しても良い。この場合、第１プロセッサ３１０及び第２プロセッサ３２０が、図２、図１９及び図３４で説明した前景抽出部１０及び画像合成部２０として機能する。
【０２８４】
以上のように、この発明の第１乃至第８の実施形態に係る画像処理装置及び画像処理方法であると、前景に焦点を合わせ、且つ背景をぼかして撮影された複数の画像を用いて、各画像におけるぼけ具合を推定している。そして、このぼけ具合に応じてα値を推定している。従って、特殊な撮影環境を必要とせずに、高精度な前景抽出が可能となる。
【０２８５】
また、複数の入力画像の対応点計算を、背景となる領域同士、及び前景となる領域同士で行っている。そして、不明な領域については、背景となる領域及び前景となる領域の値から推測する。つまり、対応関係が確実に取れる領域につきマッチング（matching）を行い、その後、対応関係が不明な領域についての見積もりを行う。そして、その結果により、一方の入力画像の不明な領域における画素が、他方の入力画像のいずれの画素に対応しているかを把握出来る。更に、その結果に基づいてα値を推定している。
【０２８６】
従って、従来のステレオマッチング等に比べて、高精度に対応関係を取ることができ、その結果として、前景抽出精度が向上する。
【０２８７】
なお、上記第１の実施形態では、複数のカメラ２を備えた画像処理システム１を例に説明した。しかし、カメラ２は１台のみであっても良い。すなわち、対象物体が静止している場合には、撮影者が移動することによって、複数視点からの画像が得られる。また、対象物体が移動している場合には、撮影者が移動することなく、複数視点からの画像が得られる。
【０２８８】
また、複数の入力画像間において、前景はその少なくとも一部が同じであれば良い。しかし、対応点計算の精度を上げるためには、前景は入力画像間でほぼ同じであることが好ましいが、例え多くの部分で一致しなかったとしても、上記実施形態を適用することは可能である。
【０２８９】
また、システム１自体がカメラ２またはビデオカメラ４を有している必要は無い。つまり、例えばネットワーク等を介して、入力画像となる画像データが画像処理装置３に与えられる場合であっても良い。
【０２９０】
なお、上記第１の実施形態において、入力画像によっては、ステップＳ１３で得られたマスク画像を最終的なマスク画像として用いても良い。この場合には、ステップＳ１４〜Ｓ２０の処理は省略される。また、ステップＳ１４〜Ｓ２０を省略するシステムであれば、前景抽出部１０はぼけ推定部１１、領域分割部１２、及びα値推定部１６のみさえ備えていれば十分である。
【０２９１】
なお、本願発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出されうる。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出されうる。
【図面の簡単な説明】
【０２９２】
【図１】この発明の第１の実施形態に係る画像処理システムのブロック図。
【図２】この発明の第１の実施形態に係る画像処理装置のブロック図。
【図３】この発明の第１の実施形態に係る画像処理方法のフローチャート。
【図４】入力画像の模式図であり、この発明の第１の実施形態に係る画像処理方法におけるぼけ推定の様子を示す図。
【図５】入力画像の模式図であり、この発明の第１の実施形態に係る画像処理方法におけるぼけ推定の様子を示す図。
【図６】入力画像の模式図。
【図７】この発明の第１の実施形態に係る画像処理方法により得られるトライマップの模式図。
【図８】この発明の第１の実施形態に係る画像処理方法により得られるマスク画像の模式図。
【図９】入力画像の模式図であり、この発明の第１の実施形態に係る画像処理方法における位置あわせの様子を示す図。
【図１０】この発明の第１の実施形態に係る画像処理方法で使用する重み付け関数のグラフ。
【図１１】この発明の第１の実施形態に係る画像処理方法で使用する重み付け関数のグラフ。
【図１２】この発明の第１の実施形態に係る画像処理方法で使用する重み付け関数のグラフ。
【図１３】この発明の第１の実施形態に係る画像処理方法により得られるマスク画像の模式図であり、色推定の様子を示す図。
【図１４】この発明の第１の実施形態に係る画像処理方法により得られるマスク画像の模式図。
【図１５】この発明の第１の実施形態に係る画像処理方法における画像合成の様子を示す模式図。
【図１６】図面に代わる写真であって、この発明の第１の実施形態に係る画像処理方法に使用する入力画像であり（ａ）図は左側、（ｂ）図は右側から撮影した写真。
【図１７】図面に代わる写真であって、（ａ）図はこの発明の第１の実施形態に係る画像処理方法で得られたマスク画像であり、（ｂ）図は前景色画像。
【図１８】図面に代わる写真であって、この発明の第１の実施形態に係る画像処理方法で得られた合成画像。
【図１９】この発明の第２の実施形態に係る画像処理装置のブロック図。
【図２０】この発明の第２の実施形態に係る画像処理方法のフローチャート。
【図２１】この発明の第２の実施形態に係る画像処理方法における、前景補間の様子を示す模式図。
【図２２】この発明の第３の実施形態に係る画像処理方法により得られるトライマップの模式図。
【図２３】この発明の第４の実施形態に係るぼけ推定部のブロック図。
【図２４】自然画像データの微分係数の分布の一例と、比較対象のためのガウシアン分布とを示すグラフ。
【図２５】この発明の第４の実施形態に係る逆畳み込み部の処理の一例を示すブロック図。
【図２６】この発明の第４の実施形態に係る逆畳み込み部により実行される逆畳み込み処理の一例を示すフローチャート。
【図２７】この発明の第４の実施形態に係る局所ボケパラメータ推定部の処理の一例を示すフローチャート。
【図２８】この発明の第４の実施形態における領域分割の結果の一例を示す図。
【図２９】この発明の第４の実施形態に係る画像処理方法で使用するフィルタ応答値を示すグラフ。
【図３０】この発明の第４の実施形態に係る画像処理方法で使用するフィルタ応答値を示すグラフ。
【図３１】この発明の第４の実施形態に係る画像処理方法で使用するフィルタ応答値を示すグラフ。
【図３２】この発明の第４の実施形態に係る画像処理方法で得られる復元画像周波数成分を示すグラフ。
【図３３】この発明の第４の実施形態に係る画像処理方法で得られる発散度を示すグラフ。
【図３４】この発明の第５の実施形態に係る前景抽出部のブロック図。
【図３５】この発明の第６の実施形態に係るぼけ推定部のブロック図。
【図３６】ステップエッジのｙ＝０での断面ｇ（ｘ，０）の例を示すグラフ。
【図３７】この発明の第６の実施形態におけるボケ関数のｙ＝０での断面ｈ（ｘ，０；ｒ）の例を示すグラフ。
【図３８】ボケたエッジのｙ＝０での断面ｆ（ｘ，０；ｇ０，ｇ１，ｒ）の例を示すグラフ。
【図３９】この発明の第７の実施形態に係る画像処理システムのブロック図。
【図４０】動画の構造を示す概念図。
【図４１】この発明の第８の実施形態に係るプロセッサシステムのブロック図。
【図４２】この発明の第８の実施形態に係るプロセッサシステムによる、画像処理方法のフローチャート。
【符号の説明】
【０２９３】
１…画像処理システム、２…カメラ、３…画像処理装置、４…ビデオカメラ、１０…前景抽出部、１１…ぼけ推定部、１２…領域分割部、１３…背景対応点計算部、１４…前景対応点計算部、１５…前背景色推定部、１６…α値推定部、２０…画像合成部、２１、３６０…メモリ、２２…合成部、２３…前景補間部、３０…ぼけ量、３１…トライマップ、３２…背景ワープ関数、３３…前景ワープ関数、３４…背景色、３５…前景色、３６…マスク画像、４０…新背景、４１…合成画像、４２…前景色補間画像、４３…α値補間画像、１０３…ＰＳＦモデル記憶装置、１０４…逆畳み込み部、１０５…ボケ除去画像記憶装置、１０６…局所ボケパラメータ推定部、１０７…局所推定ボケパラメータ記憶装置、１０８…画像統合部、１０９…復元画像記憶装置、１４１…パラメータ変化部、１４２…逆畳み込み処理部、１４３…微分部、１４４…微分領域逆畳み込み部、１４５…積分部、１６１…領域分割部、１６２…局所ぼけ推定部、２００…エッジ検出部、２１０…記憶装置、２２０…推定部、３００…プロセッサシステム、３１０…第１プロセッサ、３２０…第２プロセッサ、３３０…第１デコーダ、３４０…第２デコーダ、３５０…ＤＭＡコントローラ、３６１…制御プログラム、３６２…ぼけ推定プログラム、３６３…トライマップ作成プログラム、３６４…α値推定プログラム、３６５…位置あわせプログラム、３６６…色推定プログラム、３６７…合成画像作成プログラム、３７０…メインメモリ、３８０…インターフェース、３９０…メモリコントローラ
【図１】
2009111921.tif 000062
【図２】
2009111921.tif 000063
【図３】
2009111921.tif 000064
【図４】
2009111921.tif 000065
【図５】
2009111921.tif 000066
【図６】
2009111921.tif 000067
【図７】
2009111921.tif 000068
【図８】
2009111921.tif 000069
【図９】
2009111921.tif 000070
【図１０】
2009111921.tif 000071
【図１１】
2009111921.tif 000072
【図１２】
2009111921.tif 000073
【図１３】
2009111921.tif 000074
【図１４】
2009111921.tif 000075
【図１５】
2009111921.tif 000076
【図１６】
2009111921.tif 000077
【図１７】
2009111921.tif 000078
【図１８】
2009111921.tif 000079
【図１９】
2009111921.tif 000080
【図２０】
2009111921.tif 000081
【図２１】
2009111921.tif 000082
【図２２】
2009111921.tif 000083
【図２３】
2009111921.tif 000084
【図２４】
2009111921.tif 000085
【図２５】
2009111921.tif 000086
【図２６】
2009111921.tif 000087
【図２７】
2009111921.tif 000088
【図２８】
2009111921.tif 000089
【図２９】
2009111921.tif 000090
【図３０】
2009111921.tif 000091
【図３１】
2009111921.tif 000092
【図３２】
2009111921.tif 000093
【図３３】
2009111921.tif 000094
【図３４】
2009111921.tif 000095
【図３５】
2009111921.tif 000096
【図３６】
2009111921.tif 000097
【図３７】
2009111921.tif 000098
【図３８】
2009111921.tif 000099
【図３９】
2009111921.tif 000100
【図４０】
2009111921.tif 000101
【図４１】
2009111921.tif 000102
【図４２】
2009111921.tif 000103