(57)【要約】【課題】簡便な手法によりシーンの奥行き推定または前景抽出可能な画像処理方法を提供すること。【解決手段】赤色光、緑色光、及び青色光をそれぞれ透過する第１乃至第３フィルタ領域２０〜２２を有するフィルタ３を介して、対象物体をカメラ２により撮影するステップＳ１０と、撮影して得られた画像データを、赤色、緑色、及び青色成分に分離するステップＳ１１と、前記赤色、緑色、及び青色成分のそれぞれにおける画素の対応関係を、三次元色空間における線型色モデルからの画素値のずれを基準に判断するステップＳ１３と、前記赤色、緑色、及び青色成分において対応する各画素の位置ずれ量に応じて、各画素の奥行きを求めるステップＳ１４、Ｓ１５と、前記奥行きの大きさに応じて、前記画像データを加工するステップとを具備する。【選択図】図３
2009276294.tif 000002
【特許請求の範囲】
【請求項１】
赤色光を透過する第１フィルタ領域と、緑色光を透過する第２フィルタ領域と、青色光を透過する第３フィルタ領域とを有するフィルタを介して、対象物体をカメラにより撮影するステップと、
前記カメラにより撮影して得られた画像データを、赤色成分、緑色成分、及び青色成分に分離するステップと、
前記赤色成分、緑色成分、及び青色成分のそれぞれにおける画素の対応関係を、三次元色空間における線型色モデルからの、前記赤色成分、緑色成分、及び青色成分における画素値のずれを基準に判断するステップと、
前記赤色成分、緑色成分、及び青色成分において対応する各画素の位置ずれ量に応じて、前記画像データにおける各画素の奥行きを求めるステップと、
前記奥行きの大きさに応じて、前記画像データを加工するステップと
を具備することを特徴とする画像処理方法。
【請求項２】
前記画像データを加工するステップは、前記奥行きの大きさに応じて前記画像データを、背景となる領域と前景となる領域とに分割するステップと、
前記画像データを背景となる領域と前景となる領域とに分割した結果に応じて、前記画像データから前記前景を抽出するステップと
を備えることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記画像データにおける各画素と、前記赤色成分、緑色成分、及び青色成分における各画素との対応関係は、三次元色空間における線型色モデルからの、前記赤色成分、緑色成分、及び青色成分における画素値のずれを基準に判断され、
前記画像データを、背景となる領域と前景となる領域とに分割するステップは、前記画像データを、前記線型色モデルからの前記位置ずれ量の大きさの閾値を基準にして、前記背景となる領域と、前記前景となる領域と、前記背景であるか前記前景であるか不明な領域とに分割するステップと、
前記不明な領域を前記背景であると仮定して、前記三次元色空間における線型色モデルからの画素値のずれを算出するステップと、
前記不明な領域を前記前景であると仮定して、前記三次元色空間における線型色モデルからの画素値のずれを算出するステップと、
前記不明な領域を背景及び前景と仮定して求めた前記ずれに基づいて、前記不明な領域における前記前景の割合と前記背景の割合とを決定するステップと
を備えることを特徴とする請求項２記載の画像処理方法。
【請求項４】
前記赤色成分、緑色成分、及び青色成分における各画素の対応関係を判断するステップは、
前記赤色成分、緑色成分、及び青色成分において、第１座標から座標をずらして得られる複数の第２座標に位置する前記画素とその周囲の画素とを含む点集合から得られる主軸と、前記点集合に含まれる前記画素の画素値との誤差を、前記三次元色空間において前記第２座標毎に算出するステップと、
前記誤差を最小とする前記第２座標を求めるステップと
を備え、前記赤色成分、緑色成分、及び青色成分において、前記誤差を最小とする前記前記第２座標における画素が互いに対応し、
前記画素の位置ずれ量は、前記誤差を最小とする前記画素の前記第２座標と、前記第１座標とのずれ量に対応する
ことを特徴とする請求項１または３記載の画像処理方法。
【請求項５】
前記前景の割合と前記背景の割合とを決定するステップは、
前記前景の割合から計算される前景色画像について、前記不明な領域を前記前景であると仮定したときの、前記三次元色空間における線型色モデルからの画素値のずれが小さくなり、且つ
前記背景の割合から計算される背景色画像について、前記不明な領域を前記背景であると仮定したときの、前記三次元色空間における線型色モデルからの画素値のずれが小さくなるように、
前記前景の割合と前記背景の割合とを決定する
ことを特徴とする請求項３記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理方法に関するもので、例えばシーン（scene）の奥行きを推定する方法およびシーンの前景を抽出する方法に関する。
【背景技術】
【０００２】
従来から、シーンの奥行きを推定する方法については種々、知られている。例えば、プロジェクタなどで光のパターンを変えて、撮影対象を複数枚撮影する方法や、カメラをずらしながら、若しくは複数台のカメラを使って複数の視点から撮影する方法などである。しかし、これらの方法であると、撮影装置が大規模化し、コストも高く、また設置に手間がかかるという問題があった。
【０００３】
そこで、１台のカメラで撮影した１枚の画像を用いて奥行きを推定する方法も提案されている（例えば、非特許文献１参照）。本方法は、カメラにマイクロレンズアレイを装着することにより、実質的に複数の視点から撮影するものである。しかしながら、本方法であるとカメラの加工が大変複雑になる。更には、１枚の画像中に複数枚の画像を含めるため、各画像の解像度が悪化する、という問題があった。
【０００４】
また、色フィルタを用いてシーンの奥行きを推定する方法も提案されている（例えば、非特許文献２、３参照）。非特許文献２の手法であると、異なる波長帯で記録した画像間の輝度差を補償するには不十分であり、精度の低い結果しか得られない。更に非特許文献３の手法であると、局所ウィンドウ内で輝度の総和を一致させるスケーリングを行っている。しかし、本手法ではフラッシュで撮影対象物体に斑点模様を投射して強いエッジが密に画像に含まれることを仮定していた。従って、特殊なフラッシュが必要となるのみならず、画像編集を行うには同じシーンを、フラッシュをたくことなく再度撮影する必要があった。
【０００５】
シーンの前景を抽出する方法については、従来は単一色の背景の前で撮影するなど特殊な撮影環境を前提としてきた。一般的な環境で撮影した画像から複雑な輪郭の前景物体を抽出するには、人手による作業が不可欠であった。そこで、複数台のカメラを使って複数の視点もしくは複数の異なる撮影条件で撮影する方法が提案されている（例えば、非特許文献４、５参照）。しかし、これらの方法であると、撮影装置が大規模化し、コストも高く、また設置に手間がかかるという問題があった。
【非特許文献１】E.H.Adelson、J.Y.A.Wang著、"Single lens stereo with a plenoptic camera,"、Trans. PAMI (Pattern Analysis and Machine Intelligence)、Vol.14、No.2、pp.99-106、1992年
【非特許文献２】Y.Amari、E.H.Adelson著、“Single-eye range estimation by using displaced apertures with color filters”、Proc. Int. Conf. Industrial Electronics, Control, Instrumentation and Automation、vol.3、1588-1592、1992年
【非特許文献３】I-C.Chang、C.-L.Huang、W.-J.Hsueh、H.-C.Lin、C.-C.Chen、Y.-H.Yeh著、“A novel 3-D hand-held camera based on tri-aperture lens”、Proc. SPIE 4925、655-662、2002年
【非特許文献４】N.Joshi、W.Matusik、S.Avidan著、“Natural video matting using camera arrays”、Trans. Graphics、Vol.25、No.3、pp.779-786、2006年
【非特許文献５】M.McGuire、W.Matusik、H.Pfister、J.F.Hughes、F.Durand著、“Defocus video matting”、Trans. Graphics、Vol.24、No.3、pp.567-576、2005年
【発明の開示】
【発明が解決しようとする課題】
【０００６】
この発明は、簡便な手法によりシーンの奥行き推定、または前景抽出可能な画像処理方法を提供する。
【課題を解決するための手段】
【０００７】
この発明の一態様に係る画像処理方法は、赤色光を透過する第１フィルタ領域と、緑色光を透過する第２フィルタ領域と、青色光を透過する第３フィルタ領域とを有するフィルタを介して、対象物体をカメラにより撮影するステップと、前記カメラにより撮影して得られた画像データを、赤色成分、緑色成分、及び青色成分に分離するステップと、前記赤色成分、緑色成分、及び青色成分のそれぞれにおける画素の対応関係を、三次元色空間における線型色モデルからの、前記赤色成分、緑色成分、及び青色成分における画素値のずれを基準に判断するステップと、前記赤色成分、緑色成分、及び青色成分において対応する各画素の位置ずれ量に応じて、前記画像データにおける各画素の奥行きを求めるステップと、前記奥行きの大きさに応じて、前記画像データを加工するステップとを具備する。
【発明の効果】
【０００８】
この発明によれば、簡便な手法によりシーンの奥行き推定、または前景抽出可能な画像処理方法を提供できる。
【発明を実施するための最良の形態】
【０００９】
以下、この発明の実施形態を、図面を参照して説明する。この説明に際し、全図にわたり、共通する部分には共通する参照符号を付す。
【００１０】
［第１の実施形態］  
この発明の第１の実施形態に係る画像処理方法について、図１を用いて説明する。図１は、本実施形態に係る画像処理システムのブロック図である。
【００１１】
図示するように画像処理システム１は、カメラ２、フィルタ３、及び画像処理装置４を備えている。カメラ２は、フィルタ３を介して対象物体を撮影し、得られた画像データを画像処理装置４へ出力する。
【００１２】
画像処理装置４は、奥行き算出部１０、前景抽出部１１、及び画像合成部１２を備えている。奥行き算出部１０は、カメラ２から与えられる画像データを用いて、撮影された画像における奥行きを算出する。前景抽出部１１は、奥行き算出部１０で算出された奥行きの大きさに基づいて、撮影された画像における前景を抽出する。画像合成部１２は、前景抽出部１１で抽出された前景を、別の背景画像と合成して合成画像データを生成する等、種々の画像加工を行う。
【００１３】
フィルタ３について図２を用いて説明する。図２はフィルタ３の構成を示す外観図であり、カメラ２の撮像面と平行な面を正面から見た様子を示している。図示するようにフィルタ３は、カメラ２の撮像面と平行な面内において、赤色成分のみを透過させるフィルタ領域２０（以下、赤色フィルタ２０と呼ぶ）、緑色成分のみを透過させるフィルタ領域２１（以下、緑色フィルタ２１と呼ぶ）、及び青色成分のみを透過させるフィルタ領域２２（以下青色フィルタ２２と呼ぶ）を有している。本実施形態に係るフィルタ３では、赤色フィルタ２０、緑色フィルタ２１、及び青色フィルタ２２は合同（congruence）の関係にある。また、レンズの光学中心（絞りの中心）に対応する位置から各フィルタ２０〜２２の中心への変位は、撮像面におけるＸ軸（撮像面における左右方向）とＹ軸（撮像面における上下方向）に沿って位置する。
【００１４】
カメラ２は、このようなフィルタ３を用いて撮像対象を撮影し、フィルタ３はカメラの例えば絞りの部分に設けられる。図３は、カメラ２のレンズ部分の外観図である。図示するように、カメラ２の絞りの部分にフィルタ３が配置され、光はフィルタ３を介して、カメラ２の撮像面に入射する。なお、図１ではフィルタ３がカメラ２の外側に配置されているように記載されているが、フィルタ３はカメラ２のレンズ内部に配置されることが望ましい。
【００１５】
次に、上記奥行き算出部１０、前景抽出部１１、及び画像合成部１２の詳細について説明する。
【００１６】
＜奥行き算出部１０について＞  
図４は、カメラ２及び奥行き算出部１０の動作を示すフローチャートである。以下、各ステップについて説明する。
【００１７】
（ステップＳ１０）  
まずカメラ２が、フィルタ３を用いて対象物体を撮影する。そしてカメラ２は、撮影して得られた画像データを奥行き算出部１０へ出力する。
【００１８】
（ステップＳ１１）  
次に奥行き算出部１０は、画像データを赤色成分（Ｒ成分）、緑色成分（Ｇ成分）、及び青色成分（Ｂ成分）に分解する。図２に示すフィルタ３を用いて撮影した画像（ＲＧＢ画像）と、この画像のＲ成分、Ｇ成分、及びＢ成分の画像（以下、それぞれＲ画像、Ｇ画像、及びＢ画像と呼ぶことがある）とを、図５に示す。
【００１９】
図示するように、焦点の合った前景物体（図５では犬のぬいぐるみ）よりも遠い背景のＲ成分は、仮想的な中央視点の画像、言い換えれば、色ずれの無い仮想的なＲＧＢ画像（以下、リファレンス画像と呼ぶ）に対して右方向にずれ、Ｇ成分は上方向にずれ、Ｂ成分は左方向にずれる。なお、図２と図３はレンズの外から見た図であるので、撮影された画像におけるずれの左右方向は逆になる。
【００２０】
以上のように、各成分の背景がリファレンス画像に対してずれる原理について、図６及び図７を用いて説明する。図６及び図７は、撮影対象（前景物体及び背景）、カメラ２、及びフィルタ３の模式図であり、カメラ２に入射する光の光軸に沿った方向を示している。また図６は、焦点が合った前景物体上のある点を観測している様子を示し、図７は焦点の合っていない背景上のある点を観測している様子を示している。また、図６及び図７では説明の簡単化のため、フィルタ３が赤色フィルタ２０及び緑色フィルタ２１のみを有し、フィルタ３において光軸に対して下側が赤色フィルタ２０であり、上側が緑色フィルタ２１である場合を仮定する。
【００２１】
図６に示すように、焦点の合った前景物体を観測している場合、赤色フィルタ２０を透過した光と、緑色フィルタ２１を透過した光とは、共に撮像面の同じ点に収束する。他方、図７に示すように、焦点の合っていない背景を観測している場合、赤色フィルタ２０を透過した光と、緑色フィルタ２１を透過した光とは、互いに反対方向にずれて、且つ焦点ボケを伴って、撮像面で観測される。
【００２２】
上記のずれについて、図８を用いて簡略化して説明する。図８は、リファレンス画像、Ｒ画像、Ｇ画像、及びＢ画像の模式図である。
【００２３】
図２に示すフィルタ３を用いた場合、図示するように、リファレンス画像（シーン（scene））において座標（x,y）の一点は、Ｒ画像においては右方向にずれ、Ｇ画像においては上方向にずれ、Ｂ画像においては左方向にずれる。そして、このずれ量ｄは三成分で等しい。つまり、リファレンス画像の（x,y）の対応点の座標は、Ｒ画像では（x+d,y）、Ｇ画像では（x,y-d）、Ｂ画像では（x-d,y）となる。そして、ずれ量ｄは奥行きＤに依存する。すると、理想的な薄レンズ（thin lens）においては、下記（１）式の関係が成立する。  
１／Ｄ＝１／Ｆ−(１＋ｄ／Ａ)／ｖ          …（１）  
但し、Ｆはレンズの焦点距離、Ａはレンズの中心からフィルタ２０〜２２の中心までの変位量（図２参照）、ｖはレンズと撮像面との距離である。（１）式において、ずれ量ｄは撮像面上の長さの単位（ｍｍなど）で表した値であるが、以降の説明では画素の個数の単位（pixel）で表した値として扱うこととする。
【００２４】
上式においてｄ＝０であると、その点は焦点が合っており、且つその奥行きはＤ＝１／（１／Ｆ−１／ｖ）である。ｄ＝０の際の奥行きＤを、以下Ｄ０と呼ぶ。またｄ＞０の場合には、｜ｄ｜が大きいほど、その点は、奥行きがＤ０である点よりも遠い位置にあることとなり、その際の奥行きＤは、Ｄ＞Ｄ０となる。逆にｄ＜０の場合には、｜ｄ｜が大きいほど、その点は、奥行きがＤ０である点よりも近い位置にあることとなり、その際の奥行きＤは、Ｄ＜Ｄ０となる。この場合、ｄ＞０の場合とずれ方向は逆になり、Ｒ成分は左方向、Ｇ成分は下方向、Ｂ成分は右方向にずれる。
【００２５】
奥行き算出部１０は、ＲＧＢ画像から以上のようなＲ画像、Ｇ画像、及びＢ画像を分離した後、引き続き色変換を行う。以下、この色変換について説明する。
【００２６】
３つのフィルタ２０〜２２の透過光には、波長の重なりがないことが理想である。しかし現実的には、ある範囲の波長の光が２つ以上のフィルタを透過することがあり得る。また、色フィルタの特性とカメラの撮像面の赤色Ｒ、緑色Ｇ、及び青色Ｂの感度も、一般には異なる。よって、撮像面で赤色成分として記録される光は、必ずしも赤色フィルタ２０を透過した光だけとは限らず、例えば緑色フィルタ２１の透過光も含まれる場合がある。その対策として、撮影した画像のＲ成分、Ｇ成分、及びＢ成分をそのまま使用するのでなく、変換をかけることで、三成分間の相互作用を最小化する。
【００２７】
すなわち、Ｒ画像、Ｇ画像、及びＢ画像において、記録された生データをそれぞれＨr(x,y)、Ｈg(x,y)、Ｈb(x,y)とすると、下式（２）を適用する。  
(Ｉr(x,y),Ｉg(x,y),Ｉb(x,y))Ｔ＝Ｍ（Ｈr(x,y),Ｈg(x,y),Ｈb(x,y)）Ｔ    …（２）  
なお、Ｔは転置(transpose)を示し、Ｍは色変換行列であり、以下（３）式で定義される。  
Ｍ＝（Ｋr,Ｋg,Ｋb）−1             …（３）  
上式において、−１は逆行列を示す。またＫrは、白い物体を赤色フィルタ２０のみで観測した際に得られる生データの（Ｒ、Ｇ、Ｂ）成分を示すベクトルであり、Ｋgは、白い物体を緑フィルタ２１のみで観測した際に得られる生データの（Ｒ、Ｇ、Ｂ）成分を示すベクトルであり、Ｋbは、白い物体を青色フィルタ２２のみで観測した際に得られる生データの（Ｒ、Ｇ、Ｂ）成分を示すベクトルである。
【００２８】
以上のようにして色変換を行って得たＲ画像、Ｇ画像、及びＢ画像を用いて、奥行き算出部１０は、ステップＳ１２〜Ｓ１５の処理により奥行きＤを算出する。
【００２９】
（奥行きＤの算出方法の基本的考え方）  
まず、奥行きＤを算出するための基本的な考え方について説明する。上記で説明したように、得られたＲ画像、Ｇ画像、及びＢ画像は、三視点のステレオ画像となる。そして図８を用いて説明したように、リファレンス画像における座標（x,y）の点が、Ｒ画像、Ｇ画像、及びＢ画像において観測される際のずれ量ｄを求めれば、（１）式により奥行きＤが分かる。そこで、ずれ量をｄとした際の、Ｒ画像の値（画素値）Ｉr(x+d,y)、Ｇ画像の値Ｉg(x,y-d)、及びＢ画像の値Ｉb(x-d,y)が、シーン中の同一の点を観測したものであるかどうかを、何らかの指標を用いて評価することになる。
【００３０】
既存のステレオマッチング手法で使用される指標は、画素値の差に基づくもので、例えば下記（４）式を使用する。  
ｅｄｉｆｆ(x,y;d)＝Σ（ｓ，ｔ）∈ｗ（ｘ，ｙ）|Ｉr(s+d,t)−Ｉg(s,t-d)|2     …（４）  
ここでｅｄｉｆｆ(x,y;d)は、（x,y）におけるずれ量をｄとした際の相違（dissimilarity）であり、これが小さいほど対応点である確度が高いとみなす。ｗ(x,y)は、（x,y）を中心とする局所ウィンドウであり、（s,t）はｗ(x,y)内における座標である。一点のみの評価では信頼性が低いので近傍画素を含めて考えることが一般的である。
【００３１】
しかし、Ｒ画像、Ｇ画像、及びＢ画像は、観測波長が互いに異なる。従って、シーンの同一点を観測していても、三成分で画素値は一致しない。よって、（４）式の指標では対応点を正しく推定することが困難な場合もあり得る。そこで本実施形態では、各色成分の画像間の相関を利用して対応点の相違を評価する。
【００３２】
本実施形態では、色のずれていない通常の自然画像においては、局所的に見れば画素値の分布が（Ｒ，Ｇ，Ｂ）三次元色空間で直線状になる、という性質を利用する（これを線型色モデル、と呼ぶ）。すなわち、色ずれしていない画像Ｊの任意の点(x,y)の周りの点の集合{(Ｊr(s,t),Ｊg(s,t),Ｊb(s,t))|(s,t) ∈w(x,y))}を考えると、その分布は図９に示すように直線状になることが多い。図９は（Ｒ，Ｇ，Ｂ）三次元色空間において、ｗ(x,y)内の各座標における画素値をプロットしたグラフである。他方、色ずれしている場合には、上記関係は成り立たない。すなわち、画素値の分布は直線状とならない。
【００３３】
そこで本実施形態では、色ずれ量をｄと仮定した際に、図８に示すように仮定された対応点Ｉr(x+d,y)、Ｉg(x,y-d)、及びＩb(x-d,y)の周りの点の集合Ｐ＝{(Ｉr(s+d,t),Ｉg(s,t-d),Ｉb(s-d,t))|(s,t) ∈ｗ(x,y)}を考えて、直線を当てはめる（図９の直線ｌ）。そして、当てはめた直線から各点までの距離（図９の距離ｒ）の二乗平均を、この直線モデルからの誤差ｅｌｉｎｅ(x,y;d)と考える。
【００３４】
直線ｌとしては、上記点集合Ｐの主軸（principal axis）を取る。これには、まずＰの共分散行列Ｓを以下の式（５）ように計算する。  
Ｓ００＝var(Ｉr)＝Σ(Ｉr(s+d,t)−avg(Ｉr))2／Ｎ  
Ｓ１１＝var(Ｉg)＝Σ(Ｉg(s,t-d)−avg(Ｉg))2／Ｎ  
Ｓ２２＝var(Ｉb)＝Σ(Ｉb(s-d,t)−avg(Ｉb))2／Ｎ  
Ｓ０１＝Ｓ１０＝cov(Ｉr,Ｉg)＝Σ(Ｉr(s+d,t)−avg(Ｉr)) (Ｉg(s,t-d)−avg(Ｉg))／Ｎ  
Ｓ０２＝Ｓ２０＝cov(Ｉb,Ｉr)＝Σ(Ｉb(s-d,t)−avg(Ｉb)) (Ｉr(s+d,t)−avg(Ｉr))／Ｎ  
Ｓ１２＝Ｓ２１＝cov(Ｉg,Ｉb)＝Σ(Ｉg(s,t-d)−avg(Ｉg)) (Ｉb(s-d,t)−avg(Ｉb))／Ｎ  
…（５）  
但し、Ｓijは（３×３）行列Ｓの(i,j)成分であり、Ｎは集合Ｐに含まれる点の数である。また、var(Ｉr)、var(Ｉg)、及びvar(Ｉb)は各成分の分散であり、cov(Ｉr,Ｉg)、cov(Ｉg,Ｉb)、及びcov(Ｉb,Ｉr)は２成分間の共分散である。更に、avg(Ｉr)、avg(Ｉg)、及びavg(Ｉb)は各成分の平均値であり、次の（６）式で表される。  
avg(Ｉr)＝ΣＩr(s+d,t)／Ｎ  
avg(Ｉg)＝ΣＩg(s,t-d)／Ｎ                …（６）  
avg(Ｉb)＝ΣＩb(s-d,t)／Ｎ
すると、集合Ｐの主軸ｌは、共分散行列Ｓの最大固有値λｍａｘに対する固有ベクトルである。すなわち、下記（７）式の関係が満たされる。  
λｍａｘl＝Ｓl                              …（７）  
最大固有値と固有ベクトルは、べき乗法（Power method）により求めることができる。これを用いて、線型色モデルからの誤差ｅｌｉｎｅ(x,y;d)は次の（８）式で求められる。  
ｅｌｉｎｅ(x,y;d)＝Ｓ００＋Ｓ１１＋Ｓ２２−λｍａｘ    …（８）  
この誤差ｅｌｉｎｅ(x,y;d)が大きければ、「色ずれ量がｄである」という仮定が誤りである可能性が高いことになる。そしてｅｌｉｎｅ(x,y;d)が小さくなるｄが、真の色ずれ量であると推定することができる。ｅｌｉｎｅ(x,y;d)が小さいとは、色が合っている（ずれていない）ことを示唆する。別の表現をすれば、色のずれた画像を、ずれを戻してみて、色が合うかどうかを調べていることになる。
【００３５】
以上の方法により、観測波長の異なる画像間での相違の指標を作成出来る。そして、本指標を用いて既存のステレオマッチング法を使用することにより、奥行きＤを算出する。以下、具体的な処理ステップについて説明する。
【００３６】
（ステップＳ１２）  
まず奥行き算出部１０は、複数の色ずれ量ｄを仮定し、仮定した色ずれ量を戻すことにより、複数の画像を作成する。すなわち、リファレンス画像における座標（x,y）について、複数のずれ量ｄを仮定して、このずれ量を戻した複数の画像（これを候補画像と呼ぶ）を得る。図１０は、リファレンス画像の座標（x,y）につき、ｄ＝−１０、−９、…−１、０、１、…９、１０を仮定した場合において、候補画像を得る様子を示す模式図である。図中では、リファレンス画像におけるｘ＝ｘ１、ｙ＝ｙ１の座標の画素と、これに対応する対応点との関係を示している。
【００３７】
図示するように、例えばｄ＝１０を仮定すると、Ｒ画像におけるリファレンス画像の座標（x,y）の対応点は、右方向に１０画素だけずれていると仮定したことになる。またＧ画像における対応点は上方向に１０画素だけずれ、Ｂ画像における対応点は左方向に１０画素だけずれていると仮定したことになる。
【００３８】
そこで、これらのずれを戻して候補画像を作成する。つまり、Ｒ画像を左方向に１０画素ずらし、Ｇ画像を下方向に１０画素ずらし、Ｂ画像を右方向へ１０画素ずらし、これらを重ね合わせた結果が、ｄ＝１０の場合の候補画像となる。従って、候補画像の座標（x,y）の画素値のＲ成分は、Ｒ画像の座標（x1+10,y）における画素値となり、候補画像の座標(x,y)の画素値のＧ成分は、Ｇ画像の座標（x1,y1+10）における画素値となり、候補画像の座標(x, y)の画素値のＢ成分は、Ｂ画像の座標（x1-10,y）における画素値となる。
【００３９】
以下同様にして、ｄ＝−１０〜＋１０までの２１枚の候補画像を作成する。
【００４０】
（ステップＳ１３）  
次に奥行き算出部１０は、上記ステップＳ１２で得られた２１枚の候補画像につき、線型色モデルからの誤差ｅｌｉｎｅ(x,y;d)を、全画素について算出する。図１１は、いずれかのｄを仮定した候補画像の一つを示す模式図であり、座標（x1,y1）に対応する画素について、線型色モデルからの誤差ｅｌｉｎｅ(x,y;d)を求める際の様子を示している。
【００４１】
図示するように、各候補画像において、座標（x1,y1）を含み、且つこれに近傍する複数の画素を含む局所ウィンドウｗ(x1,y1)を仮定する。図１１の例であると、局所ウィンドウｗ(x1,y1)は、９つの画素Ｐ０〜Ｐ８を含む。
【００４２】
そして各候補画像において、上記（５）〜（７）式を用いて直線ｌを求める。更に、候補画像毎に、（Ｒ，Ｇ，Ｂ）三次元色空間において、直線ｌと画素Ｐ０〜Ｐ８におけるＲ、Ｇ、Ｂの画素値をプロットして、線型色モデルからの誤差ｅｌｉｎｅ(x,y;d)を算出する。誤差ｅｌｉｎｅ(x,y;d)は、上記（８）式により求められる。例えば、座標（x1,y1）における局所ウィンドウ内の画素色の（Ｒ，Ｇ，Ｂ）三次元色空間中の分布が図１２のようであったとする。図１２は、座標（x1,y1）における局所ウィンドウ内の画素色の（Ｒ，Ｇ，Ｂ）三次元色空間中の分布を示すグラフであり、例えばｄ＝３の場合に誤差ｅｌｉｎｅ(x1,y1;d)が最小であったとする。
【００４３】
（ステップＳ１４）  
次に奥行き算出部１０は、ステップＳ１３で得られた誤差ｅｌｉｎｅ(x,y;d)に基づいて、各画素につき正しい色ずれ量ｄを推定する。この推定処理は、各画素において最も誤差ｅｌｉｎｅ(x,y;d)を小さくするｄを選択すれば良い。つまり図１２の例の場合には、座標（x1,y1）における正しい色ずれ量ｄ(x1,y1)は３画素である。そして上記推定処理は、リファレンス画像の全画素について実行される。
【００４４】
本処理により、リファレンス画像の全画素について、最終的な色ずれ量ｄ(x,y)が決定する。図１３は、図５に示すＲＧＢ画像に対する色ずれ量ｄ(x,y)を示す図である。図中において、色の明るい領域ほど色ずれ量ｄ(x,y)が大きい。図１３に示すように、焦点の合った前景物体（図５に示す犬のぬいぐるみ）に対応する領域では色ずれ量ｄ(x,y)は小さく、その背景ほど大きい。
【００４５】
なおステップＳ１４においては、各局所ウィンドウで独立に色ずれ量ｄ(x,y)を推定するとノイズの影響を受けやすいため、グラフカット法などにより近傍画素間の推定値のスムーズさも考慮して推定を行う。その結果を図１４に示す。
【００４６】
（ステップＳ１５）  
次に奥行き算出部１０は、ステップＳ１４で決定した色ずれ量ｄ(x,y)に応じて、奥行きＤ(x,y)を決定する。色ずれ量ｄ(x,y)がゼロであれば、その画素は焦点の合った前景物体に対応し、前述の通り奥行きＤ＝Ｄ０である。他方、ｄ＞０の場合には｜ｄ｜が大きいほどＤ＞Ｄ０となり、逆にｄ＜０の場合には｜ｄ｜が大きいほどＤ＜Ｄ０となる。
【００４７】
本ステップにおいて得られる奥行きＤ(x,y)の分布は、図１４と同様になる。
【００４８】
以上の結果、ステップＳ１０で撮影された画像についての奥行きＤ(x,y)が算出される。
【００４９】
＜前景抽出部１１について＞  
次に、前景抽出部１１の詳細について図１５を用いて説明する。図１５は、前景抽出部１１の動作を示すフローチャートである。前景抽出部１１は、図１５に示すステップＳ２０〜Ｓ２５の処理を行うことにより、カメラ２で撮影された画像から前景を抽出する。この際、ステップＳ２１、Ｓ２２、及びＳ２４をｎ回（ｎは自然数）にわたって繰り返すことで、前景抽出精度を向上させる。以下、各ステップについて説明する。
【００５０】
（ステップＳ２０）  
前景抽出部１１はまず、奥行き算出部１０で求められた色ずれ量ｄ(x,y)（または奥行きＤ(x,y)）を用いて、トライマップ（trimap）を作成する。トライマップとは、画像を、明確に前景となる領域、明確に背景となる領域、及び前景であるか背景であるかが不明な領域、の３つの領域に分割した画像である。
【００５１】
トライマップの作成にあたり前景抽出部１１は、各座標における色ずれ量ｄ(x,y)を、所定の閾値ｄthと比較することにより、前景領域と背景領域とに二分割する。すなわち、例えばｄ＞ｄthである領域を背景領域とし、ｄ≦ｄthである領域を前景領域とする。ｄ＝ｄthである領域を不明な領域としても良い。次に前景抽出部１１は、上記求められた二領域の境界部分を拡げることで、これを前景であるか背景であるか不明な領域とする。
【００５２】
以上により、「確実に前景」領域ΩＦ、「確実に背景」領域ΩＢ、及び「不明」領域ΩＵの三領域に塗り分けられたトライマップが完成する。図１６は、図５に示すＲＧＢ画像から得たトライマップを示している。
【００５３】
（ステップＳ２１）  
次に前景抽出部１１は、マット（matte）を抽出する。前記抽出は、入力画像Ｉ(x,y)が前景色Ｆ(x,y)と背景色Ｂ(x,y)との線型混合（linear blending）であるとするモデルにおける、前景色と背景色との混合率α(x,y)を各座標で求める問題である。この混合率αが、マットと呼ばれる。上記モデルにおいては、次の（９）式が仮定される。  
Ｉr(x,y)＝α(x,y)・Ｆr(x,y)＋(１−α(x,y))・Ｂr(x,y)  
Ｉg(x,y)＝α(x,y)・Ｆg(x,y)＋(１−α(x,y))・Ｂg(x,y)       …（９）  
Ｉb(x,y)＝α(x,y)・Ｆb(x,y)＋(１−α(x,y))・Ｂb(x,y)  
但し、αは［０，１］の値を取り、α＝０は完全に背景であり、α＝１は完全に前景であることを示す。言い換えれば、α＝０の領域では背景のみが見えており、α＝１の領域では前景のみが見えている。また、αが中間の値（０＜α＜１）をとる場合は、注目画素において前景が背景の一部を遮蔽していることを意味する。
【００５４】
上記（９）式において、カメラ２で撮影された画像データの画素数をＭ（Ｍは自然数）とすると、各画素において上記Ｉr(x,y)、Ｉg(x,y)、及びＩb(x,y)を求める必要があるので、３Ｍ個のＩ(x,y)に対して未知数はα、Ｆr、Ｆg、Ｆb、Ｂr、Ｂg、Ｂbの７Ｍ個であり、解が無数に存在する。
【００５５】
そこで本実施形態では、トライマップの「確実に前景」領域ΩＦ及び「確実に背景」領域ΩＢとから、「不明」領域ΩＵのマットα(x,y)を補間し、更に前景色Ｆ(x,y)及び背景色Ｂ(x,y)が、前記奥行き推定で推定した色ずれ量に合致するように解に修正を加える。ただし、７Ｍ個の変数について一度に解を求めようとすると、式が大規模かつ複雑になるので、下記（１０）式に示すαに関する二次式を最小化するαを求める。  
αｎ＋１(x,y)＝arg min { Σ（ｘ，ｙ）ＶｎＦ(x,y)・(１−α(x,y))２ 
＋Σ（ｘ，ｙ）ＶｎＢ(x,y)・(α(x,y))２ 
＋Σ（ｘ，ｙ）Σ（ｓ，ｔ）∈ｚ（ｘ，ｙ）Ｗ(x,y;s,t)・(α(x,y)−α(s,t))２}  
…（１０）  
但し、ｎはステップＳ２１、Ｓ２２、及びＳ２４の反復回数、  
ＶｎＦ(x,y)は、（x,y）におけるｎ回目の前景の確度、  
ＶｎＢ(x,y)は、（x,y）におけるｎ回目の背景の確度、  
ｚ(x,y)は、（x,y）を中心とする局所ウィンドウ、
（s,t）は、ｚ(x,y)に含まれる座標、  
Ｗ(x,y;s,t)は、（x,y）と（s,t）間のスムーズさの重み、及び  
arg minは、arg min{E(x)}において、E(x)の最小値を与えるxを求めること、（１０）式においては、arg min以降のかっこ内の演算結果を最小とするαを求めること、  
を示す。  
なお、ｚ(x,y)で表される局所ウィンドウは、（４）式においてｗ(x,y)で表される局所ウィンドウとサイズが異なっても良い。ＶｎＦ(x,y)及びＶｎＢ(x,y)の詳細については後述するが、それぞれ前景及び背景がどれだけ正しいかを示し、ＶｎＦ(x,y)が大きいほどα(x,y)は１に偏り、ＶｎＢ(x,y)が大きいほどα(x,y)は０に偏る。
【００５６】
但し、ステップＳ２０でトライマップを作成した直後におけるα（初期値α０）を求める際には、ＶｎＦ(x,y)＝ＶｎＢ(x,y)＝０として（１０）式を解く。そして、（１０）式を解いて得た現在のマットの推定値αｎ(x,y)からＶｎＦ(x,y)及びＶｎＢ(x,y)を求め、以後、（１０）式を最小化して更新されたマットαｎ＋１(x,y)を得る。
【００５７】
なお、Ｗ(x,y;s,t)は反復に依存せず固定値とされ、入力画像Ｉ(x,y)から下記（１１）式を用いて求める。  
Ｗ(x,y;s,t) ＝ exp(−|Ｉ(x,y)−Ｉ(s,t)|2／２σ２)   …（１１）  
但し、σはスケールパラメータである。この重みは、入力画像の色が(x,y)と(s,t)で似ているとき増し、色が異なるほど小さくなる。これにより「確実に前景」領域と「確実に背景」領域からのマットの補間が、色の似ている領域でよりスムーズになる。トライマップの「確実に前景」領域はα(x,y)＝１、「確実に背景」領域はα(x,y)＝０であり、これらは（１０）式の制約条件となる。
【００５８】
（ステップＳ２２）  
次に前景抽出部１１は、ＶｎＦ(x,y)及びＶｎＢ(x,y)を求めるにあたって、まずステップＳ２１で得られたマットの推定値αｎ(x,y)に基づいて、前景色の推定値Ｆｎ(x,y)と背景色の推定値Ｂｎ(x,y)を求める。
【００５９】
すなわち、ステップＳ２１で得られたαｎ(x,y)に基づいて、色を復元する。そこで前景抽出部１１は、下記（１２）式で表されるＦとＢに関する二次式を最小化することで、Ｆｎ(x,y)とＢｎ(x,y)とを求める。  
Ｆｎ(x,y),Ｂｎ(x,y)＝arg min{Σ（ｘ，ｙ）|Ｉ(x,y)−α(x,y)・Ｆ(x,y)−（１−α(x,y))・Ｂ(x,y)|２ 
＋βΣ（ｘ，ｙ）Σ（ｓ，ｔ）∈ｚ（ｘ，ｙ）(Ｆ(x,y)−Ｆ(s,t))２ 
＋βΣ（ｘ，ｙ）Σ（ｓ，ｔ）∈ｚ（ｘ，ｙ）(Ｂ(x,y)−Ｂ(s,t))２}      …（１２）  
（１２）式において、第一項目は式（９）を満たすようなＦ、Ｂであるという制約であり、第二項目はＦのスムーズさ、第三項目はＢのスムーズさに関する制約である。βはスムーズさの影響を調整するパラメータである。また、（１２）式におけるarg minは、arg min以降のかっこ内の演算結果を最小とするＦ、Ｂを求めることを意味する。
【００６０】
以上により、座標(x,y)における前景色Ｆ（推定値Ｆｎ(x,y)）及び背景色Ｂ（推定値Ｂｎ(x,y)）が求められる。
【００６１】
（ステップＳ２３）  
引き続き前景抽出部１１は、ステップＳ２０で得られたトライマップに基づいて、色ずれ量の補間を行う。
【００６２】
本処理は、トライマップの「不明」領域ΩＵを「確実に前景」領域ΩＦ及び「確実に背景」領域ΩＢとみなした場合の、それぞれにおける不明領域ΩＵの色ずれ量を算出するものである。
【００６３】
すなわち、まず「確実に背景」領域から「不明」領域へ、ステップＳ１４で得られた推定色ずれ量ｄを伝播させる。これは「不明」領域の各点において、その「確実に背景」領域中の最も近い点の値をコピーすることにより行うことが出来る。これにより得られた、「不明」領域の各点における推定色ずれ量ｄ(x,y)を、背景色ずれ量ｄＢ(x,y)と呼ぶことにする。この結果得られた「確実に背景」領域と「不明」領域における色ずれ量ｄは、図１７に示すようになる。図１７は、図５に示すＲＧＢ画像における色ずれ量ｄを示す図である。
【００６４】
また同様にして、「確実に前景」領域から「不明」領域へ、ステップＳ１４で得られた推定色ずれ量を伝播させる。これも、「不明」領域の各点において、「確実に前景」領域中の最も近い点の値をコピーすることにより行うことが出来る。これにより得られた、「不明」領域の各点における推定色ずれ量ｄ(x,y)を、前景色ずれ量ｄＦ(x,y)と呼ぶことにする。この結果得られた「確実に前景」領域と「不明」領域における色ずれ量ｄは、図１８に示すようになる。図１８は、図５に示すＲＧＢ画像における色ずれ量ｄを示す図である。
【００６５】
上記の処理の結果、前景色ずれ量ｄF(x,y)及び背景色ずれ量ｄB(x,y)は、次の（１３）式で表される。  
ｄＦ(x,y)＝ｄ(u,v) s.t. (u,v)  
＝arg min{(x−u)2＋(y−v)２|(u,v)∈ΩＦ}  
ｄＢ(x,y)＝ｄ(u,v) s.t. (u,v)  
＝arg min{(x−u)２＋(y−v)２|(u,v)∈ΩＢ}     …（１３）  
なお、（u,v）は、「確実に前景」領域、及び「確実に背景」領域内の座標である。以上の結果、「不明」領域の各点（x,y）は、そこが前景であるとしたときの色ずれ量ｄＦ(x,y)と、背景であるとしたときの色ずれ量ｄＢ(x,y)の、２つの色ずれ量を持つことになる。
【００６６】
（ステップＳ２４）  
ステップＳ２２及びＳ２３の後、前景抽出部１１は、ステップＳ２３で得られた前景色ずれ量ｄＦ(x,y)及び背景色ずれ量ｄＢ(x,y)を用いて、ステップＳ２２で得られた前景色の推定値Ｆｎ(x,y)と背景色の推定値Ｂｎ(x,y)の信頼性を求める。
【００６７】
本処理にあたり前景抽出部１１は、まず推定された前景色Ｆｎ(x,y)の相対誤差ＥＦ(x,y)、及び背景色Ｂｎ(x,y)の相対誤差ＥＢ(x,y)を、下記（１４）式を用いて計算する。  
ＥｎＦ(x,y)＝ｅｎＦ(x,y,dＦ(x,y))−ｅｎＦ(x,y,dＢ(x,y))  
ＥｎＢ(x,y)＝ｅｎＢ(x,y,dＢ(x,y))−ｅｎＢ(x,y,dＦ(x,y))    …（１４）  
奥行き算出部１０では、線型色モデルに対する入力画像Ｉの誤差ｅｌｉｎｅ(x,y;d)を計算した。しかし前景抽出部１１では、線型色モデルに対する前景色Ｆｎの誤差と、背景色Ｂｎの誤差とを、それぞれ計算する。従って、上記ｅｎＦ(x,y;d)及びｅｎＢ(x,y;d)はそれぞれ、線型色モデルに対する前景色Ｆｎ及び背景色Ｂｎの誤差を示す。
【００６８】
まず、前景色の相対誤差ＥＦについて説明する。ある点（x,y）において、推定された前景色Ｆｎ(x,y)が正しい（信頼性が高い）場合には、前景色ずれ量ｄＦ(x,y)を適用して画像の色ずれを相殺したときに、線型色モデル誤差ｅｎＦ(x,y;dＦ(x,y))が小さくなる。逆に、背景色ずれ量ｄＢ(x,y)を適用して画像の色ずれを相殺すると、誤った色ずれ量で復元するために色ずれは修正されず、線型色モデル誤差ｅｎＦ(x,y;dＢ(x,y))は大きくなる。よって、前景色が期待通りの色のずれ方をしていれば、ＥｎＦ(x,y)＜０となる。ＥｎＦ(x,y)＞０となったときは、その前景色の推定値Ｆｎ(x,y)は、どちらかといえば背景色ずれ量によって説明のつく色ずれをしていることになり、(x,y)の周辺で、背景色を誤って前景色として抽出してしまった可能性が高い。
【００６９】
背景色の相対誤差ＥｎＢも同様である。推定背景色Ｂｎ(x,y)が背景色ずれ量によってよく説明されるときは、推定が正しいと考えられる。逆に、推定背景色Ｂｎ(x,y)が前景色ずれ量によってよく説明されるときは、前景色を誤って背景に取り込んでしまったと考えられる。
【００７０】
そして前景抽出部１１は、上記指標ＥｎＦ(x,y)及びＥｎＢ(x,y)を用いて、（１０）式における前景の確度ＶｎＦ(x,y)と背景の確度ＶｎＢ(x,y)とを、下記（１５）式を用いて求める。  
ＶｎＦ(x,y)＝max{ηαｎ(x,y)＋γ(ＥｎＢ(x,y)−ＥｎＦ(x,y)),０}  
ＶｎＢ(x,y)＝max{η(１−αｎ(x,y))＋γ(ＥｎＦ(x,y)−ＥｎＢ(x,y)),０}       …（１５）  
但し、ηは（１０）式において現在のマットの推定値αｎ(x,y)を維持する項の影響力を調整するパラメータ、γは（１０）式における色ずれ項の影響力を調整するパラメータである。
【００７１】
（１５）式により、背景相対誤差が前景相対誤差より大きい場合、誤って前景色が背景色側に入っている（すなわちα(x,y)が大きいべきであるときに小さい）と見なして、α(x,y)を現在の値αｎ(x,y)より１に偏らせる。また、前景相対誤差が背景相対誤差より大きい場合、α(x,y)を現在の値αｎ(x,y)より０に偏らせる。
【００７２】
以上の具体例を、図１９及び図２０を用いて説明する。説明の簡単のため、現在のマットの推定値が至るところ0.5、すなわちαｎ(x,y) = 0.5である場合を考える。すると、図式（１２）によって得られる推定背景色Ｂｎ(x,y)は図１９のようになり、推定前景色Ｆｎ(x,y)は図２０のようになる。図１９と図２０の不明領域は共に、図５に示すＲＧＢ画像に似た色の画像となる。
【００７３】
まず、不明領域における座標（x2,y2）に着目したとする。この座標は、実際には背景である。すると、推定された背景色Ｂｎ(x2,y2)の誤差ｅｎＢ(x2,y2;dＢ(x2,y2))は、誤差ｅｎＢ(x2,y2;dF(x2,y2))よりも小さくなる。従ってＥｎＢ(x2,y2)＜０となる。また、推定された前景色Ｆｎ(x,y)の誤差ｅｎＦ(x2,y2;dＦ(x2,y2))は、誤差ｅｎＦ(x2,y2;dＢ(x2,y2))よりも大きくなる。従ってＥｎＦ(x2,y2)＞０となる。よって、座標（x2,y2）では、ＶｎＦ(x2,y2)＜ηαｎ(x2,y2)、ＶｎＢ(x2,y2)＞η(１−αｎ(x2,y2))となる。この結果、（１０）式においてαｎ＋１(x2,y2)は、αｎ(x2,y2)より小さくなり、背景であることを示す０に近づくことが分かる。
【００７４】
次に、不明領域における座標（x3,y3）に着目したとする。この座標は、実際には前景である。すると、推定された前景色Ｆｎ(x3,y3)の誤差ｅｎＦ(x3,y3;dＦ(x3,y3))は、誤差ｅｎＦ(x3,y3;dＢ(x3,y3))よりも小さくなる。従ってＥｎＦ(x3,y3)＜０となる。また、推定された背景色Ｂｎ(x,y)の誤差ｅｎＢ(x3,y3;dＢ(x3,y3))は、誤差ｅｎＢ(x3,y3;dＦ(x3,y3))よりも大きくなる。従ってＥｎＢ(x2,y2)＞０となる。よって、座標（x3,y3）では、ＶｎＦ(x3,y3)＞ηαｎ(x3,y3)、ＶｎＢ(x3,y3)＜η(１−αｎ(x3,y3))となる。この結果、（１０）式においてαｎ＋１(x3,y3)は、αｎ(x3,y3)より大きくなり、前景であることを示す１に近づくことが分かる。
【００７５】
そして、上記の背景相対誤差及び前景相対誤差が収束すれば（ステップＳ２５、ＹＥＳ）、前景抽出部１１はαの算出を完了する。つまり、ＲＧＢ画像の全画素についてのαが決定する。これは、上記誤差が閾値以下となるか、またはステップＳ２１、Ｓ２２、及びＳ２４の反復回数が所定回数に達したか否かによって判断しても良い。収束しない場合には（ステップＳ２５、ＮＯ）、再度、ステップＳ２１に戻り、上記動作を繰り返す。
【００７６】
前景抽出部１１で算出したα（x,y）により得られる画像が、図２１に示すマスク画像すなわちマットである。図中において、色の黒い領域が背景（α＝０）、白い領域が前景（α＝１）、灰色の領域が背景と前景とが混じった領域（０＜α＜１）である。この結果、前景抽出部１１はＲＧＢ画像における前景のみを抽出することが可能となる。
【００７７】
＜画像合成部１２について＞  
次に、画像合成部１２の詳細について説明する。画像合成部１２は、奥行き算出部１０で得られた奥行きＤ(x,y)と、前景抽出部１１で得られたマットα(x,y)とを用いて、種々の画像加工を行う。以下、画像合成部１２の行う種々の画像加工について説明する。
【００７８】
（背景合成）  
画像合成部１２は、例えば抽出した前景と新たな背景とを合成する。すなわち画像合成部１２は、自身が保持する新たな背景色Ｂ’(x,y)を読み出し、背景色のＲＧＢ成分をそれぞれ（９）式におけるＢr(x,y)、Ｂg(x,y)、及びＢb(x,y)に代入する。その結果、合成画像Ｉ’(x)を得る。この様子を図２２に示す。図２２は、新背景と入力画像Ｉの前景とを合成する様子を示す画像である。図示するように、図５に示すＲＧＢ画像における前景（犬のぬいぐるみ）が、新背景と合成される。
【００７９】
（焦点ぼけ補正）
奥行き算出部１０で得られた色ずれ量ｄ(x,y)は、そのまま座標（x,y）における焦点ぼけの量に対応する。従って画像合成部１２は、図２に示すフィルタ領域２０〜２２の各正方形の一辺の長さがｄ(x,y)・√２であるようなぼけ関数を用いて、ぼけを除去出来る。
【００８０】
また、上記ぼけを除去した画像を、異なるぼけ方にぼかすことで、ぼけの程度を変更することができる。この際、推定した色ずれ量を相殺するようにＲ画像、Ｇ画像、及びＢ画像をずらすことにより、焦点の合っていない領域についても色ずれのない画像にすることができる。
【００８１】
（三次元画像構成）
また、奥行き算出部１０において奥行きＤ(x,y)が求められているため、視点の変えた画像を得ることも出来る。
【００８２】
＜効果＞  
上記のように、この発明の第１の実施形態に係る画像処理方法であると、従来に比べてより簡便な手法によりシーンの奥行きを推定出来る。
【００８３】
まず、本実施形態に係る方法であると、カメラの絞りにＲＧＢの三色のフィルタを配置して、シーンを撮影する。これにより、１つのシーンに対して実質的に３つの視点から撮影した画像が得られる。本手法は、フィルタを配置して撮影するだけで良く、撮像部分等に何らの改良も必要無い。従って、１つのＲＧＢ画像から、複数視点から見た複数の画像を簡単に得ることができる。
【００８４】
更に、背景技術で説明した非特許文献１に開示された手法に比べて、カメラの解像度を無駄にせずに済む。すなわち、非特許文献１記載の手法であると、撮像部にマイクロレンズアレイを配置し、個々のマイクロレンズに複数の画素が対応するようにし、各マイクロレンズが複数の方向から入射する光を屈折して個別の画素に記録させる。従って、例えば４視点からの画像を得ようとした場合には、各視点で得られる個々の画像において有効な画素数は、全画素数の１／４となり、カメラの解像度の１／４となる。
【００８５】
しかし、本実施形態に係る手法であると、複数視点について得られる各画像は、カメラのＲＧＢに対応する画素の全てを利用出来る。従って、カメラが本質的に有するＲＧＢに対応する解像度を有効に利用出来る。
【００８６】
また本実施形態では、得られたＲ画像、Ｇ画像、及びＢ画像について、仮定した色ずれ量ｄに対する線型色モデルとの誤差ｅｌｉｎｅ(x,y;d)を求めている。従って、この誤差を指標としてステレオマッチング法を使用し、色ずれ量ｄ(x, y)を求め、そこからＲＧＢ画像の奥行きＤを求めることが出来る。
【００８７】
そして、前景物体に焦点を合わせて撮影すれば、上記色ずれ量に基づいて、推定した奥行きから背景を分離して、前景を抽出することが出来る。この際、色ずれ量を考慮して前景色と背景色との混合率αを求めている。
【００８８】
より具体的には、色ずれ量ｄに基づいてトライマップを作成した後、「不明」領域についてのαを算出する際に、その領域が前景であると仮定した際の線型色モデルに対する誤差と、背景であると仮定した際の線型色モデルに対する誤差を計算する。これにより、当該領域がどれだけ前景に近い色であるか、またはどれだけ背景に近い色であるかを推定している。これにより、高精度な前景抽出が可能となる。このことは、頭髪や毛皮など、複雑で不明確な輪郭を有する物体や、半透明部分のある物体を抽出する際に特に効果がある。
【００８９】
また、推定した色ずれ量ｄは、焦点ぼけの大きさと一致する。従って、この色ずれ量ｄのサイズのぼけ関数を用いてＲＧＢ画像に逆畳み込みをすることで、ぼけを除去した鮮明な画像を復元出来る。また、得られた鮮明な画像を奥行きＤ(x, y)に基づいてぼかすことで、焦点深度の変更や焦点の合った奥行きの変更などの効果を持つ、ぼけの程度を変えた画像を作成することも出来る。
【００９０】
［第２の実施形態］  
次に、この発明の第２の実施形態に係る画像処理方法について説明する。本実施形態は、上記第１の実施形態で説明した、ステレオマッチング法を用いる際の指標に関するものである。以下では、第１の実施形態と異なる点についてのみ説明する。
【００９１】
上記第１の実施形態では、（８）式に示すｅｌｉｎｅ(x,y;d)をステレオマッチング法の指標として用いている。しかし、ｅｌｉｎｅ(x,y;d)の代わりに下記を指標として用いても良い。
【００９２】
（別の指標の例１）  
ＲＧＢの三次元色空間中の直線ｌ（図９参照）は、ＲＧ平面、ＧＢ平面、及びＢＲ平面に射影しても直線である。そこで、ある２つの色成分間の線型関係の指標となる相関係数（correlation coefficient）を考える。Ｒ成分とＧ成分との間の相関関数をＣrg、Ｇ成分とＢ成分との間の相関関数をＣgb、及びＢ成分とＲ成分との間の相関関数をＣbrと呼ぶと、これらは下記（１６）式で表される。  
Ｃrg＝cov(Ｉr,Ｉg)／√(var(Ｉr) var(Ｉg))
Ｃgb＝cov(Ｉg,Ｉb)／√(var(Ｉg) var(Ｉb))         …（１６）  
Ｃbr＝cov(Ｉb,Ｉr)／√(var(Ｉb) var(Ｉr))
なお、−１≦Ｃrg≦１、−１≦Ｃgb≦１、−１≦Ｃbr≦１である。そして、｜Ｃrg｜が大きいほどＲ成分とＧ成分との間に線型関係があることを意味する。Ｃgb及びＣbrも同様であり、｜Ｃgb｜が大きいほどＧ成分とＢ成分との間に線型関係があることを意味し、｜Ｃbr｜が大きいほどＢ成分とＲ成分との間に線型関係があることを意味する。
【００９３】
この結果、下記（１７）式で表される指標ｅｃｏｒｒが得られる。  
ｅｃｏｒｒ(x,y;d)＝１−(Ｃ2rg＋Ｃ2gb＋Ｃ2br)／３        …（１７）  
すなわち、ｅｌｉｎｅ(x,y;d)の代わりにｅｃｏｒｒ(x,y;d)を指標として用いても良い。
【００９４】
（別の指標の例２）  
また、ある色成分が残りの２成分の線型結合で書けると考えて、下記（１８）式のモデルを考えることが出来る。  
Ｉg(s,t-d)＝ｃｒ・Ｉr(s+d,t)＋ｃｂ・Ｉb(s-d,t)＋ｃｃ  …（１８）  
ここでｃｒ、ｃｂ、ｃｃは、Ｇ成分とＲ成分との間の線型係数、Ｇ成分とＢ成分との間の線型係数、及びＧ成分の定数部である。これらの線型係数は、局所ウィンドウ内で最小二乗法を解いて求めることが可能である。
【００９５】
この結果、下記（１９）式で表される指標ｅｃｏｍｂ(x,y;d)が得られる。  
ｅｃｏｍｂ(x,y;d)＝Σ（ｓ，ｔ）∈ｗ（ｘ，ｙ）｜Ｉg(s,t-d)−ｃｒ・Ｉr(s+d,t)−ｃｂ・Ｉb(s-d,t)−ｃｃ｜２                         …（１９）  
すなわち、ｅｌｉｎｅ(x,y;d)の代わりにｅｃｏｍｂ(x,y;d)を指標として用いても良い。
【００９６】
（別の指標の例３）  
また、局所ウィンドウ内の画素色の共分散行列Ｓの最大固有値λｍａｘだけでなく、残りの２つの固有値λｍｉｄ, λｍｉｎも考えて、下記（２０）式で表される指標ｅｄｅｔ(x,y;d)を考えてもよい。  
ｅｄｅｔ(x,y;d)＝λｍａｘλｍｉｄλｍｉｎ／Ｓ００Ｓ１１Ｓ２２        …（２０）  
行列の性質からλｍａｘ＋λｍｉｄ＋λｍｉｎ＝Ｓ００＋Ｓ１１＋Ｓ２２であるので、ｅｄｅｔ(x,y;d)が小さくなるのはλｍａｘが他の固有値より大きいときであり、それは分布が直線的であることを意味する。
【００９７】
すなわち、ｅｌｉｎｅ(x,y;d)の代わりにｅｄｅｔ(x,y;d)を指標として用いても良い。行列の性質からλｍａｘλｍｉｄλｍｉｎは共分散行列Ｓの行列式det(Ｓ)に等しいので、固有値を直接求めなくてもｅｄｅｔ(x,y;d)は計算できる。
【００９８】
＜効果＞  
以上のように、第１の実施形態で説明したｅｌｉｎｅ(x,y;d)は、ｅｃｏｒｒ(x,y;d)やｅｃｏｍｂ(x,y;d)、またはｅｄｅｔ(x,y;d)に置き換えて考えることが出来る。これらの指標を用いれば、第１の実施形態において（７）式で説明した固有値の計算が不要となる。従って、画像処理装置４における計算量を削減出来る。
【００９９】
なお、ｅｌｉｎｅ、ｅｃｏｒｒ、ｅｃｏｍｂ、ｅｄｅｔのいずれの指標も、色成分間に線型関係があることを利用している。そして、局所ウィンドウ内の画素値の総和、各色成分の二乗の総和、二成分の積の総和を計算する必要がある。この計算は、summed area table（別名integral image）を用いてテーブルを参照することにより、高速化できる。
【０１００】
［第３の実施形態］  
次に、この発明の第３の実施形態に係る画像処理方法について説明する。本実施形態は、上記第１、第２の実施形態におけるフィルタ３の別の例に関するものである。以下では、第１、第２の実施形態と異なる点についてのみ説明する。
【０１０１】
第１の実施形態で説明した図２に示すフィルタ３であると、３つの領域２０〜２２は、形状が合同であり、且つ変位がＸ軸及びＹ軸に沿っている。本構成であると、画像処理における計算が容易となる。しかし、フィルタ３の構成は図２に限られず、種々の構成を適用出来る。図２３は、フィルタ３の構成を示す外観図であり、カメラ２の撮像面と平行な面を正面から見た様子を示している。また、図２３において、Ｒ、Ｇ、Ｂ、Ｙ、Ｃ、Ｍ、Ｗの文字を付していない領域は、光を透過しない領域である。
【０１０２】
まず、図２３（ａ）に示すように、３つの領域２０〜２２の変位がＸ軸及びＹ軸に沿っていなくても良い。図２３（ａ）の例であると、レンズの中心から各領域２０〜２２の中心への軸は、互いに１２０°だけずれている。図２３（ａ）の場合、Ｒ成分は左下方向へずれ、Ｇ成分は上方向へずれ、Ｂ成分は右下方向へずれる。また、領域２０〜２２の形状も矩形では無く、例えば六角形としても良い。本構成であると、変位がＸ軸及びＹ軸に沿わないため、画像処理において画素のリサンプリングが必要になる。しかし、図２に示す構成に比べて、フィルタ３を透過する光の量が多いので、ＳＮＲ（signal to noise ratio）の向上が図れる。
【０１０３】
また図２３（ｂ）に示すように、領域２０〜２２を水平方向へ配置しても良い。図２３（ｂ）の例であると、Ｒ成分は左方向へずれ、Ｂ成分は右方向へずれるが、Ｇ成分はずれない。すなわち、各領域２０〜２２の変位量が異なれば、成分のずれ量もそれに比例して異なる。
【０１０４】
更に図２３（ｄ）に示すように、三波長の透過領域を重ねてもよい。この場合、領域２０（Ｒフィルタ）と領域２１（Ｇフィルタ）とが重なる領域は、黄色（Ｙの文字を付した領域であり、Ｒ成分もＧ成分も透過する）のフィルタとして機能する。また、領域２１（Ｇフィルタ）と領域２２（Ｂフィルタ）とが重なる領域は、シアン（Ｃの文字を付した領域であり、Ｇ成分もＢ成分も透過する）のフィルタとして機能する。更に、領域２２（Ｇフィルタ）と領域２０（Ｒフィルタ）とが重なる領域は、マゼンタ（Ｍの文字を付した領域であり、Ｇ成分もＲ成分も透過する）のフィルタとして機能する。従って、図２３（ａ）に比べて更に光の透過量は増加する。しかし、各領域を重ねた分だけ変位量は減少するため、奥行きの推定精度は図２３（ａ）の方が優れている。なお、領域２０〜２２が重なる領域（Ｗの文字を付した領域）は、ＲＧＢ全ての光を透過する。
【０１０５】
図２３（ｄ）の考え方とは逆に、光の透過量を減らす代わりに変位量を最大化すると、図２３（ｆ）のようになる。すなわち領域２０〜２２を、互いに接することなく、且つレンズ外周部分に接するように配置する。つまり、レンズの中心と、領域２０〜２２の中心との間の距離を大きくすることで、変位量を大きく出来る。
【０１０６】
また図２３（ｇ）に示すように、領域２０〜２２の中に、光を透過しない領域（図２３（ｇ）において、黒四角印の領域）を設けても良い。すなわち、フィルタ中に模様を入れることで、領域２０〜２２の形状を複雑にしても良い。この場合、光を透過しない領域を設けない場合に比べて透過量は減少するが、焦点ぼけの周波数特性が良くなる。従って、ぼけの除去がしやすくなる効果がある。
【０１０７】
以上説明したフィルタ３であると、光の三成分を透過する領域２０〜２２の形状が合同であった。これは、焦点ぼけを作るぼけ関数（ＰＳＦ：point-spread function）がフィルタの形状で決まるからであり、３つの領域２０〜２２の形状を合同にしておけば、シーンの各点の焦点ぼけは奥行きにのみ依存し、Ｒ成分、Ｇ成分及びＢ成分で同じになるからである。
【０１０８】
しかし、例えば図２３（ｃ）に示すように、領域２０〜２２の形状が異なっている場合であっても良い。この場合でも、変位が十分に異なれば色成分はずれて観測される。よって、ぼけ関数の違いをフィルタリングで低減することができれば、上記第１、第２の実施形態で説明した処理を適用することができる。すなわち、例えばハイパスフィルター（high pass filter）を用いて高周波成分を取り出せば、ぼけ方の違いを低減できる。但し、領域２０〜２２の形状が同じである方が、観測画像を直接利用出来るので、精度は向上する。
【０１０９】
また、図２３（ｅ）に示すように、領域２０〜２２はレンズの中心に関して同心円状に配置されても良い。この場合、変位量はＲ成分、Ｇ成分、及びＢ成分ともゼロである。しかし形状が異なるので、色ずれ量の代わりにぼけ量の大きさ（ずれ量に比例）を利用することが出来る。
【０１１０】
以上のように、この発明の第１乃至第３の実施形態に係る画像処理方法であると、赤色光を透過する第１フィルタ領域２０と、緑色光を透過する第２フィルタ領域２１と、青色光を透過する第３フィルタ領域２２とを有するフィルタ３を介して、対象物体をカメラ２により撮影している。そして、カメラ２により撮影して得られた画像データを、赤色成分（Ｒ画像）、緑色成分（Ｇ画像）、及び青色成分（Ｂ画像）に分離し、これらの赤色成分、緑色成分、及び青色成分を用いて画像処理を行っている。これにより、カメラ２に対してフィルタ３を設ける以外の工夫を必要とせずに、簡便な手法により３視点の画像が得られる。
【０１１１】
また、三次元色空間における線型色モデルに対する、上記３視点の画像における画素値のずれを指標として、ステレオマッチングを行っている。これにより、赤色成分、緑色成分、及び青色成分のそれぞれにおける各画素の対応関係を把握出来、また互いの位置のずれ量（色ずれ量）に応じて、各画素の奥行きを求めることが出来る。
【０１１２】
更に、上記ずれ量に応じてトライマップを作成した後、不明な領域を背景及び前景であると仮定した際の、線型色モデルからの画素値のずれを算出している。そして、ずれ量に基づいて、不明な領域における前景の割合と背景の割合とを決定している。これにより、高精度な前景抽出が可能となる。
【０１１３】
なお、上記実施形態で説明したカメラ２はビデオカメラであっても良い。すなわち、動画の各フレームについて、上記第１、第２の実施形態で説明した処理を行っても良い。また、システム１自体がカメラ２を有している必要は無い。つまり、例えばネットワーク等を介して、入力画像となる画像データが画像処理装置４に与えられる場合であっても良い。
【０１１４】
また、上記説明した奥行き算出部１０、前景抽出部１１、及び画像合成部１２は、ハードウェアで実現されても良いしソフトウェアで実現されても良い。つまり、奥行き算出部１０及び前景抽出部１１に関しては、図４及び図１５で説明した処理が実現出来れば良い。すなわち、ハードウェアで実現する場合には、奥行き算出部１０を、色変換部、候補画像生成部、誤差算出部、色ずれ量推定部、奥行き算出部を含むように構成し、これらのユニットに対してステップＳ１１〜Ｓ１５の処理をそれぞれ行わせれば良い。また前景抽出部１１を、トライマップ作成部、マット抽出部、色復元部、補間部、誤算算出部を含むように構成し、これらのユニットに対してステップＳ２０〜Ｓ２４の処理をそれぞれ行わせれば良い。更に、ソフトウェアで実現する場合には、例えばパーソナルコンピュータを、上記奥行き算出部１０、前景抽出部１１、及び画像合成部１２として機能させるようにすれば良い。
【０１１５】
なお、本願発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出されうる。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出されうる。
【図面の簡単な説明】
【０１１６】
【図１】この発明の第１の実施形態に係る画像処理システムのブロック図。
【図２】この発明の第１の実施形態に係るフィルタの概念図。
【図３】この発明の第１の実施形態に係るカメラのレンズ部分の模式図。
【図４】この発明の第１の実施形態に係る画像処理方法のフローチャート。
【図５】図面に代わる写真であって、カメラで撮影した写真と、それに対応するＲＧＢ成分を抽出した画像。
【図６】この発明の第１の実施形態に係るカメラで前景物体を撮影する様子を示す模式図。
【図７】この発明の第１の実施形態に係るカメラで背景を撮影する様子を示す模式図。
【図８】この発明の第１の実施形態に係る画像処理方法において、リファレンス画像とＲ画像、Ｇ画像、及びＢ画像との関係を示す模式図。
【図９】この発明の第１の実施形態に係る画像処理方法で得られる、ＲＧＢ色空間中の色分布を示すグラフ。
【図１０】この発明の第１の実施形態に係る画像処理方法において、候補画像を作成する様子を示す模式図。
【図１１】この発明の第１の実施形態に係る画像処理方法により得られた候補画像の模式図。
【図１２】この発明の第１の実施形態に係る画像処理方法で得られる、ＲＧＢ色空間中の色分布を示すグラフ。
【図１３】この発明の第１の実施形態に係る画像処理方法で得られる色ずれ量を示す画像。
【図１４】この発明の第１の実施形態に係る画像処理方法で得られる色ずれ量を示す画像。
【図１５】この発明の第１の実施形態に係る画像処理方法のフローチャート。
【図１６】この発明の第１の実施形態に係る画像処理方法で得られるトライマップ。
【図１７】この発明の第１の実施形態に係る画像処理方法で得られる色ずれ量を示す画像。
【図１８】この発明の第１の実施形態に係る画像処理方法で得られる色ずれ量を示す画像。
【図１９】この発明の第１の実施形態に係る画像処理方法で途中結果として得られる背景色の例を示す画像。
【図２０】この発明の第１の実施形態に係る画像処理方法で途中結果として得られる前景色の例を示す画像。
【図２１】図面に代わる写真であって、この発明の第１の実施形態に係る画像処理方法で得られるマスク画像。
【図２２】図面に代わる写真であって、この発明の第１の実施形態に係る画像処理方法により得られる合成画像。
【図２３】この発明の第３の実施形態に係るフィルタの模式図。
【符号の説明】
【０１１７】
１…画像処理システム、２…カメラ、、３…フィルタ、４…画像処理装置、１０…奥行き算出部、１１…前景抽出部、１２…画像合成部、２０…赤色フィルタ、２１…緑色フィルタ、２２…青色フィルタ
【図１】
2009276294.tif 000003
【図２】
2009276294.tif 000004
【図３】
2009276294.tif 000005
【図４】
2009276294.tif 000006
【図５】
2009276294.tif 000007
【図６】
2009276294.tif 000008
【図７】
2009276294.tif 000009
【図８】
2009276294.tif 000010
【図９】
2009276294.tif 000011
【図１０】
2009276294.tif 000012
【図１１】
2009276294.tif 000013
【図１２】
2009276294.tif 000014
【図１３】
2009276294.tif 000015
【図１４】
2009276294.tif 000016
【図１５】
2009276294.tif 000017
【図１６】
2009276294.tif 000018
【図１７】
2009276294.tif 000019
【図１８】
2009276294.tif 000020
【図１９】
2009276294.tif 000021
【図２０】
2009276294.tif 000022
【図２１】
2009276294.tif 000023
【図２２】
2009276294.tif 000024
【図２３】
2009276294.tif 000025