(57)【要約】  被写体のデジタル画像において改良された前景／背景分離を提供する方法が開示される。当該方法は、デジタル画像内の前景または背景の１つとして暫定的に定義された１つ以上の領域を含む第１のマップを提供することと、デジタル画像の関心領域に対応する対象の輪郭を提供することとを備える。暫定的に定義された領域は、その領域のいずれかが輪郭領域と交差しているか決定するために、対象の輪郭と比較される。マップにおける１つ以上の領域の定義は、比較に基づき変更される。【選択図】図２
2009536417.tif 000002
【特許請求の範囲】
【請求項１】
被写体のデジタル画像において前景／背景分離を提供する方法であって、
それぞれが共通の特性を備える1つ以上のピクセルを有する主デジタル画像内の1つ以上の領域を含む第１のマップを提供することと、
前記主デジタル画像の関心領域に対応する対象の輪郭を提供することと、
前記1つ以上の領域のいずれかが前記輪郭の領域と交差しているか決定するために、前記1つ以上の領域と前記対象の輪郭とを比較することと、
前記比較に基づき前記領域の1つ以上を前景領域として指定することと、を備える方法。
【請求項２】
前記第１のマップの提供処理は、画像のそれぞれの領域を前景または背景として暫定的に定義することを含み、前記１つ以上の領域は暫定的に前景と定義された少なくとも1つの領域を含む請求項１に記載の方法。
【請求項３】
前記決定処理は、
前景領域を前記対象の輪郭と比較すること、対象の輪郭と実質的に交差していない前景領域に応じて、前記前景領域の指定を背景領域に変更することとを備える請求項２に記載の方法。
【請求項４】
前記第１のマップの提供処理は、実質上同じ被写体の２つ以上の画像の比較に基づく請求項１に記載の方法。
【請求項５】
比較される前記２つ以上の画像のうちの1つ以上は前記主デジタル画像の低解像度バージョンである請求項４に記載の方法。
【請求項６】
比較される前記２つ以上の画像のうちの1つは前記主デジタル画像を備える請求項４に記載の方法。
【請求項７】
比較される前記２つ以上の画像を調整することをさらに備える請求項４に記載の方法。
【請求項８】
比較される前記２つ以上の画像の解像度をマッチングすることをさらに備える請求項４に記載の方法。
【請求項９】
比較される前記２つ以上の画像のうちの少なくとも1つは前記主画像が取得される直前または直後に取得される請求項４に記載の方法。
【請求項１０】
前記第１のマップの提供処理は、
それぞれが異なる焦点の名目上同じ被写体の2つ以上の画像を提供することと、
前記主デジタル画像のピクセルが前景または背景のどちらであるか示す焦点マップの深度を画像から演算することと、
前記焦点マップをぼかすことと、
前記ぼかされたマップに閾値を適用して、領域が前景または背景のどちらであるか示す中間焦点マップとすることと、
第１のマップの提供のために前記中間焦点マップ内に領域をフィリング（filling）することと、を備える請求項１に記載の方法。
【請求項１１】
前記第１のマップの提供処理は、
それぞれが異なる焦点の名目上同じ被写体の2つ以上の画像を提供することと、
第1のマップの提供のために当該領域が前景または背景であるか決定するために、前記画像中の対応する領域の高頻度係数を比較することと、を備える請求項１に記載の方法。
【請求項１２】
第１のマップの提供処理は、
異なる露出レベルの名目上同じ被写体の２つ以上の画像を提供することと、
第１のマップの提供のために当該領域が前景または背景であるか決定するために、画像中の対応する領域の輝度レベルを比較することと、を備える請求項１に記載の方法。
【請求項１３】
デジタル画像取得デバイスにおいて実行可能であり、前記主デジタル画像の内容に応じて前記対象の輪郭を選択するように前記デバイスが設定される請求項１に記載の方法。
【請求項１４】
デジタル画像取得デバイスにおいて実行可能であり、ポートレートモードにおいて実行されるように前記デバイスが設定され、前記対象の輪郭は人物の外形を含む請求項１に記載の方法。
【請求項１５】
前記外形がユーザ選択可能な多数の外形のうちの1つを含む請求項１４に記載の方法。
【請求項１６】
前記外形が前記主デジタル画像の内容に基づき複数の外形から自動的に選択される請求項１４に記載の方法。
【請求項１７】
前記主デジタル画像に対応する前記第１のマップを受信するように設定された汎用コンピュータにおいて実行可能である請求項１に記載の方法。
【請求項１８】
前記主デジタル画像に対応する名目上同じ被写体の1つ以上の付加的な画像を受信するように設定された汎用コンピュータにおいて実行可能であり、前記1つ以上の付加的な画像と前記主デジタル画像とのいずれかの組み合わせから前記第１のマップを演算するように設定される請求項１に記載の方法。
【請求項１９】
前記対象の輪郭の提供処理は、
前記画像の顔を含む少なくとも1つの領域を決定することと、
前記主画像内の前記少なくとも1つの顔の方向を決定することと、
前記方向に従って前記主画像中の少なくとも1つの顔領域および前記顔領域より下の関連領域を含むように対象の輪郭を定義することとを備える請求項１に記載の方法。
【請求項２０】
前記第１のマップの提供処理は、
主デジタル画像内の少なくとも1つの領域について、前記領域内の複数の区別可能な色のピークを有する色分布を決定するために色空間について分析することと、
前記領域をピクセルの色の前記色のピークに対する近似に基づいて分割することとを備える請求項１９に記載の方法。
【請求項２１】
前記比較処理は、
前記対象の輪郭と交差するそれぞれの領域について参照反射特性（reference reflectance characteristic）を演算することと、
前記対象の輪郭と交差しないそれぞれの領域について反射特性を演算することと、
交差していない領域の反射特性と、交差していない領域に色について対応する領域の参照反射特性とを比較することとを備え、
前記指定処理は、交差していない領域の反射特性が前記参照反射特性の閾値内にあると決定されたとき、交差していない領域を前景と指定する請求項２０に記載の方法。
【請求項２２】
名目上同じ被写体についての第２の画像を提供することと、
前記主画像と前記第２の画像における対応領域の間の輝度レベルの違いに応じて反射特性を演算することとを備える請求項２１に記載の方法。
【請求項２３】
前記主画像は、画像ストリームのうちの1つであり、
前記主画像の顔を含む少なくとも1つの領域を決定する処理は、
前記主画像の前に取得されたストリームのうちの少なくとも1つの画像中の顔を検出することと、
前記主画像中の前記顔の領域を決定するために、前記画像ストリームを通して、前記顔を追跡することとを備える請求項１９に記載の方法。
【請求項２４】
被写体のデジタル画像における前景／背景分離を提供する方法であって、
主画像内の前景または背景の１つであると暫定的に定義された1つ以上の領域を含む第１のマップを提供することと、
領域のピクセル内の輝度分布を決定するために１つ以上の前記領域を分析することと、
1つ以上の区別可能な輝度ピークを有する領域の輝度分布に応じて、輝度ピークに対するピクセル輝度の近似に基づき、前記領域を1つ以上のサブ領域に分割することと、
前記分割に基づき、前記マップにおける前記サブ領域の指定を変更することとを備える方法。
【請求項２５】
主デジタル画像の関心領域に対応した対象の輪郭を提供することと、
前記第１のマップの前記領域または前記サブ領域のいずれかが前記輪郭領域と交差しているか決定するために、前記１つ以上の暫定的に定義された領域を対象の輪郭と比較することと、
前記比較に基づき、前記マップにおける1つ以上の領域またはサブ領域の指定を変更することをさらに備える請求項２４に記載の方法。
【請求項２６】
前記第１のマップの提供処理は、
デジタル画像の少なくともいくつかの領域を、領域内の複数の区別可能な色のピークを有する色分布を決定するために、色空間について分析することと、
ピクセルの色の当該色のピークに対する近似に基づいて前記領域を分割することとを備える請求項２４に記載の方法。
【請求項２７】
前記分析された領域は、第１のマップにおいて前景として暫定的に定義されている請求項２６に記載の方法。
【請求項２８】
前記デジタル画像はＬＡＢ空間において提供され、前記色空間はピクセルの[a, b]値を備えるとともに、輝度はピクセルのＬ値を備える請求項２６に記載の方法。
【請求項２９】
被写体のデジタル画像において前景／背景分離を提供する方法であって、
主デジタル画像を取得することと、
前記主画像内の顔を含む少なくとも1つの領域を決定することと、
前記主画像内の前記少なくとも1つの顔の方向を決定することと、
前記方向に応じて、前記画像中の前記少なくとも1つの顔領域および前記顔領域の下の関連領域を含む前景領域を定義することとを備える方法。
【請求項３０】
被写体のデジタル画像において前景／背景分離を提供する装置であって、
プロセッサと、
主デジタル画像を取得することと、
それぞれが共通の特性を備える1つ以上のピクセルを有し、前記主デジタル画像内の前景または背景の1つとして暫定的に定義された1つ以上の領域を含む第１のマップを提供することと、
前記主デジタル画像の関心領域に対応する対象の輪郭を提供することと、
前記領域のいずれかが前記輪郭の領域と交差しているか決定するために、前記1つ以上の暫定的に定義された領域の少なくともいくつかと前記対象の輪郭とを比較することと、
前記比較に基づき、前記マップにおける1つ以上の前記領域についての前景領域であるとの指定を変更することとを備える方法を前記装置に実行させるよう前記プロセッサを制御するようにプログラムされた1つ以上のプロセッサ読み取り可能な記憶媒体とを備える装置。
【請求項３１】
被写体のデジタル画像において前景／背景分離を提供する装置であって、
プロセッサと、
主デジタル画像を取得することと、
前記主デジタル画像内の前景または背景の1つとして暫定的に定義された1つ以上の領域を含む第１のマップを提供することと、
領域のピクセル内の輝度分布を決定するために１つ以上の前記領域を分析することと、
1つ以上の区別可能な輝度ピークを有する領域の前記輝度分布に応じて、輝度ピークに対するピクセル輝度の近似に基づき、前記領域を1つ以上のサブ領域に分割することと、
前記分割に基づき、前記マップにおける少なくとも1つの前記サブ領域の指定を変更することとを備える方法を前記装置に実行させるよう前記プロセッサを制御するようにプログラムされた1つ以上のプロセッサ読み取り可能な記憶媒体とを備える装置。
【請求項３２】
被写体のデジタル画像において前景／背景分離を提供する装置であって、
プロセッサと、
主デジタル画像を取得することと、
前記主画像の顔を含む少なくとも1つの領域を決定することと、
前記顔の方向を決定することと、
前記方向に応じて、前記画像中の前記少なくとも1つの顔領域および前記顔領域の下の関連領域を含む前景領域を定義することとを備える方法を前記装置に実行させるよう前記プロセッサを制御するようにプログラムされた1つ以上のプロセッサ読み取り可能な記憶媒体とを備える装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像における、改良された前景／背景分離のための方法および装置を提供する。
【背景技術】
【０００２】
フォーカスマップは、例えば参照によって組込まれるMasahiro WatanabeおよびShree K. Nayarによる“Rational Filters for Passive Depth from Defocus”（1995）に開示されている、Depth from Defocus（ＤＦＤ）アルゴリズムを使用して構築されることがある。根本概念は、同じ背景の2つの画像から与えられた背景の深度マップを理論上計算することが可能であるというものである。理想的には、DFDマップの計算のために、テレセントリックレンズが使用され、また、焦点だけが2つの画像取得間に変化する。これは通常の既存のデジタルカメラには該当しない。
【０００３】
背景から前景を分離するための他の方法が、参照によって組み込まれる米国特許出願公開第2006/0285754号明細書(本出願と同じ譲受人に承継される)で開示されている。ここでは、被写体のフラッシュ画像とノンフラッシュ画像の間の露出レベルの違いが、前景／背景マップを提供するために使用される。フラッシュ／ノンフラッシュに基づく技術に関するdepth from defocusを使用することの主な利点は、被写体の照度がdepth from defocusに依存しておらず、したがって、屋外やより明るい被写体について有効となり得る。
【０００４】
背景から前景を分離するためのさらなる方法は、参照によって組み込まれる米国特許出願60/773,714および11/573,713に開示されている。ここでは、異なる焦点距離で撮像された被写体の画像の対応領域間の高周波数係数の違いが、前景／背景マップの提供のために使用される。また、この場合、前景／背景マップは被写体の照度に依存しておらず、したがって当該技術は屋外やより明るい被写体について役に立ち得る。
【０００５】
いずれの場合も、上記の方法や他の方法によってつくられた前景／背景マップは、実際、正確に機能しない場合がある。そのため、デジタル画像における前景／背景分離の改善された方法が提供されることが所望されている。
【発明の開示】
【課題を解決するための手段】
【０００６】
当該出願は、２００６年５月３日に出願された米国仮特許出願６０／７４６３６３、および２００７年５月３日に出願された米国特許出願１１／７４４，０２０に基づく優先権を主張するものである。
【０００７】
被写体(scene)のデジタル画像において、前景／背景分離を提供する方法を提供する。主デジタル画像内の1つ以上の領域を含む第１のマップが提供される。各領域は共通の特性を有する1つ以上のピクセルを有する。主デジタル画像の関心領域（region of interest）に対応した対象の輪郭（subject profile）が提供される。1つ以上の領域は、それらのうち幾つかが輪郭領域と交差しているか決定するために、対象の輪郭と比較される。1つ以上の領域は、当該比較に基づいて前景領域として指定される。
【０００８】
第１のマップの提供処理は、画像のそれぞれの領域を前景または背景として暫定的に定義することを含むようにしてもよい。1つ以上の領域は、暫定的に前景として定義された領域を含む。
【０００９】
決定処理は、前景領域を対象の輪郭と比較することを含むようにしてもよい。対象の輪郭と実質的に交差していない前景領域に応じて、前記前景領域の指定は背景領域に変更される。
【００１０】
第１のマップの提供処理は、名目上同じ被写体についての２つ以上の画像の比較に基づくようにしてもよい。比較される画像のうち1つ以上は、主画像の低解像度バージョンを含むようにしてもよい。比較される画像のうち1つ以上は、主デジタル画像を含むようにしてもよい。比較された2つ以上の画像は、解像度について、調整されたり、および／またはマッチングされるようにしてもよい。比較される画像のうち1つ以上は、主デジタル画像が取得される直前または直後に取得されるようにしてもよい。
【００１１】
前記第１のマップの提供処理は、それぞれが異なる焦点の、名目上被写体の2つ以上の画像を提供することを含むようにしてもよい。当該方法は、主デジタル画像のピクセルが前景または背景のどちらであるか示す焦点マップの深度を画像から演算することを含むようにしてもよい。当該焦点マップはぼかされるようにしてもよい。当該方法は、ぼかされたマップに閾値を適用（thresholding）して、領域が前景または背景のどちらであるか示す中間焦点マップとすることを含むようにしてもよい。前記中間焦点マップ内の領域は、第１のマップを提供するためにフィリング（filling）されるようにしてもよい。
【００１２】
第１のマップの提供処理は、それぞれが異なる焦点の、名目上被写体の2つ以上の画像を提供することを含むようにしてもよい。画像中の対応する領域の高頻度係数は、第1のマップの提供のために当該領域が前景または背景であるか決定するために、比較されるようにしてもよい。
【００１３】
第１のマップの提供処理は、異なる露出レベルの、名目上被写体の２つ以上の画像を提供することを含むようにしてもよい。画像中の対応する領域の輝度レベルは、第１のマップの提供のために当該領域が前景または背景であるか決定するために、比較されるようにしてもよい。
【００１４】
ここに記載された方法のいずれかは、対象の輪郭が主デジタル画像の内容に応じて選択されるように設定されたデジタル画像取得デバイス、および／またはポートレートモードにおいて実行されるように設定可能であり、対象の輪郭が人物の外形（outline）を含む当該デバイスにおいて実行されるようにしてもよい。当該外形は、ユーザが選択可能な多数の外形のうちの1つを含むようにしてもよく、および／または主デジタル画像の内容に基づいて複数の外形から自動的に選択されるようにしてもよい。
【００１５】
ここに記載された方法のいずれかは、主デジタル画像に関連する第１のマップを受信（receive）するように設定された、および／またはデジタル主画像に対応する名目上被写体の1つ以上の付加的な画像を受信するように設定可能である、および／または付加的な画像および主デジタル画像の1つ以上の組み合わせから第１のマップを演算するように設定可能である汎用コンピュータにおいて実行されるようにしてもよい。
【００１６】
対象の輪郭の提供処理は、画像の顔を含む少なくとも1つの領域を決定することを含むようにしてもよい。顔の方向が決定されるようにしてもよい。対象の輪郭は、方向に応じて、主画像中の顔および顔より下の各領域を含むように定義されるようにしてもよい。
【００１７】
第１のマップの提供処理は、主デジタル画像内の少なくとも1つの領域を、領域内の色分布を決定するために、色空間について分析することを含むようにしてもよい。当該色分布は、複数の区別可能な色のピーク（distinct color peak）を有するようにしてもよい。当該領域は、ピクセルの色の当該色のピークに対する近似(proximity)に基づいて分割されるようにしてもよい。
【００１８】
比較処理は、前記対象の輪郭と交差するそれぞれの領域について参照反射特性（reference reflectance characteristic）を演算することと、対象の輪郭と交差しないそれぞれの領域について反射特性を演算することとを含むようにしてもよい。交差しない領域の反射特性は、交差していない領域に色について対応する領域の参照反射特性と比較されるようにしてもよい。交差していない領域は、交差していない領域の反射特性が参照反射特性の閾値内にあると決定されたとき、前景と指定されるようにしてもよい。
【００１９】
名目上被写体の第２の画像が提供されるようにしてもよい。反射特性は、主画像と第２の画像における対応領域の間の輝度レベルの違いに応じて演算されるようにしてもよい。
【００２０】
主画像は、画像ストリームの中の1つであるようにしてもよい。主画像の少なくとも1つの領域を決定する処理は、ストリームにおける主画像の前に取得された少なくとも1つの画像中の顔を検出することを含む。主画像中の顔領域を決定するために、顔は、画像ストリームを通して追跡（track）されるようにしてもよい。
【００２１】
被写体のデジタル画像において、前景／背景分離を提供するさらなる方法が提供される。主画像内の暫定的に前景または背景の１つであると定義された1つ以上の領域を含む第１のマップが提供される。当該1つ以上の領域は、領域のピクセル内の輝度分布を決定するために分析されるようにしてもよい。1つ以上の区別可能な輝度ピークを有する領域の輝度分布に応じて、当該領域は、輝度ピークに対するピクセル輝度の近似に基づき、1つ以上のサブ領域に分割されるようにしてもよい。当該方法は、当該分割に基づき、前記マップにおける1つ以上のサブ領域の指定を変更することをさらに含む。
【００２２】
当該方法は、主デジタル画像の関心領域に対応した対象の輪郭を提供することを含むようにしてもよい。暫定的に定義された少なくとも1つの領域は、当該領域が輪郭領域と交差しているか決定するために、対象の輪郭と比較されるようにしてもよい。当該方法は、前記マップにおいて、当該比較に基づき、1つ以上の領域またはサブ領域の指定を変更することをさらに含む。
【００２３】
第１のマップの提供処理は、デジタル画像内の1つ以上の領域を、領域内の色分布を決定するために、色空間について分析することを含むようにしてもよい。当該色分布は、複数の区別可能な色のピークを有するようにしてもよい。当該領域は、ピクセルの色の当該色のピークに対する近似に基づいて分割されるようにしてもよい。分析された領域は、第１のマップ内で前景として暫定的に定義されるようにしてもよい。デジタル画像はＬＡＢ空間において与えられるようにしてもよく、色空間はピクセルの[a, b]値を含むようにしてもよく、輝度はピクセルのＬ値を含むようにしてもよい。
【００２４】
被写体のデジタル画像において、さらなる改良された前景／背景分離方法が提供される。主デジタル画像が取得されるようにしてもよい。前記主画像の少なくとも1つの領域は顔を含んで決定され、また、顔の方向が決定される。前景領域は顔を含む画像において定義され、また、方向に応じて、顔より下の各領域もまた、定義される。
【００２５】
被写体のデジタル画像において、改良された前景／背景分離を提供する装置が提供される。当該装置は、プロセッサと、ここの上または下に記載した方法のいずれかを実行するよう当該装置を制御するようにプロセッサをプログラムするための1つ以上のプロセッサ読み取り可能な記憶媒体を含む。
【発明を実施するための最良の形態】
【００２６】
図面を参照して、本発明の実施形態について説明する。
【００２７】
本発明は、デジタル画像の前景／背景分離が必要であるとされる場合に用いられる。そのようにすることが必要とされる理由は多々あるが、特に、前景または背景の1つが、他の前景または背景から分離されて後処理される必要がある場合に有効であるからである。例えば、赤目検出および修正においては、画像全体にわたって行うよりも、前景領域についてのみ赤目不具合の検出および／または修正を行うことが、コンピュータ上、より有効である。また、画像の背景領域についてのみぼけの適用が所望されることがある。さらに、前景を背景から分離されてより効果的なのは、画像の後処理において、より好ましい結果が得られることである。
【００２８】
好ましい実施形態において、改善された前景／背景分離が、デジタルカメラ画像処理ソフトウェア、ハードウェア、またはファームウェアにて実行される。当該分離は画像取得時に行われるようにすることができる。また、背景処理では、カメラの待機時の間に、または、画像後処理ソフトウェアを用いたユーザの指示に応じておこなわれる。なお、当該発明がオフラインである、汎用コンピュータにて作動する画像処理ソフトウェアにおいても同じく実行され得ることは理解されるだろう。
【００２９】
どのような場合においても、好適な実施形態においては、ユーザの操作するカメラは、例えば、ポートレートモードや、付加的に、ポートレートモードの典型的なタイプ、例えば、クローズアップ、中間撮影（mid-shot）、全長またはグループを選択する。ポートレートモードにおいて、カメラはその後、主画像を取得するか、または、通常主画像の被写体の一連のプレビューまたはポストビュー画像のうちの1つを取得する。一般的に言って、これらプレビューまたはポストビュー画像は主画像よりも解像度が低い。上で概説したように、画像取得後の幾つかの時点において、画像処理ソフトウェアは、主画像またはプレビュー／ポストビュー画像のうちの1つのいずれかについて、最初の前景／背景マップを演算する。
【００３０】
好ましい実施形態では、最初のマップは、ＤＦＤマップとすることができる。しかしながら、本発明は上に概説した他の最初の前景／背景マップのいずれの形式にも適用されることが可能である。当該実施形態では、分離処理は、最初のマップから、最終的な前景／背景マップを提供し、前景領域は、画像の対象を含み、必要とされるさらなる画像処理にて使用され得る。
【００３１】
図１Ａは、対象（人物）１０を含む被写体の焦点画像を示す。また、図１Ｂはそれから得られたＤＦＤマップである。当該ＤＦＤマップは、一般的に、多数の問題点を有している。
対象に隣接したシャッター１２のような物体があり、深度は異なるが、焦点が合っているように見える（これは通常であるが、望ましくない）。そのため、前景の物体として誤って分類されている。
ＤＦＤマップはノイズがとても多く、すなわち平滑（smooth）とは言えない。
【００３２】
図２に、最終的な前景／背景マップを提供するためのＤＦＤマップの前景／背景分離処理を示す。
【００３３】
例えば図１Ｂに示したような最初のＤＦＤマップ２０は、ステップ２２にて、ガウシアンカーネルを用いて、まず平滑化またはぼかされる。図１ＢのＤＦＤマップは、白色領域が前景と、また、黒色領域が背景と分類される２進形式である。平滑化／ぼかしにより、当該マップでは、前景領域は概してより明るくなる傾向があり、背景領域は概してより暗くなる傾向がある。
【００３４】
ステップ２２からの平滑化された連続した値の画像について、ステップ２４にて閾値が適用される。これにより、最初のＤＦＤマップ２０よりもより大きく、より平滑な連続した領域を一般に有する２進マップが提供される。
【００３５】
ステップ２４で得られた２進マップの領域は、その後、ステップ２６にて、より大きな領域内の小さな領域を除去するために、フィリングされる。図１Ａの最初の画像について、図１Ｃに示す最初の前景／背景マップが生成される。ここで、前景は白色で、また、背景は黒色で示される。当該マップにおいては、前景の対象の領域１４と背景である領域１６とは明確に区別することはできないことが理解されるであろう。
【００３６】
図１Ｃの画像において背景として分類されたピクセルは、ステップ２８におけるさらなる処理から除外され、画像の残った領域は暫定的な前景領域とみなされる。
【００３７】
画像の残りの部分は、ステップ３０において適した技術を使用し、色により分離される。好ましい実施形態においては、D. Comaniciu & P. Meer, "Mean Shift: A Robust Approach toward Feature Space Analysis" IEEE Trans Pattern Analysis Machine Intell., Vol. 24, No. 5, 603-619, 2002に基づく“mean shift”アルゴリズムが採用される。一般に、これらの技術は色空間における個々のピークを識別することと、これらのピークに対する近似に応じて画像をラベル化された領域に分離することとを含む。
【００３８】
一方、当該技術は、計算上の複雑性のために、ＲＧＢスペースにおいて実行されるようにしてもよく、好ましい実施形態は、前景領域１４、１６ピクセルのＬＡＢ空間バージョンからの[a, b]パラメータで動作するようにしてもよい。このため、ＲＧＢスペースにおいて取得された画像については、前景領域の候補であるピクセルのみが、ＬＡＢ空間に変換される必要がある。いずれの場合にも、注目すべきは、当該[a, b]に基づく分類は、輝度（Ｌ in LAB space）独立である。当該分離は図３Ａに示すようなマップを生成し、３０（a）．．．３０（f）などの異なる陰影の領域が、一般に、与えられた[a, b]カラーコンビネーションの領域を表す。
【００３９】
本発明による前景／背景分離の第１の改良においては、取得画像に対応するポートレートテンプレートが提供される（図３Ｂ）。当該テンプレートは、対象の輪郭３２を含む。特定の輪郭の実寸（exact size）は、対象の予測された大きさに応じ、取得画像の焦点距離に従って変化されるようにすることができる。図３Ｂに示した輪郭３２は対象の中間撮影であるが、外形は、対象の予測されたポーズに従って変化されるようにしてもよい。これは手動でユーザにより、適したポートレートモードを選択することにより、入力されることができ、また、場合によっては画像処理ソフトウェアにより入力されることが想定される。その上、輪郭は顔写真の外形または体全体の外形であってもよく、複数のポーズのうちの1つでも、グループポートレートにおけるグループの外形であってもよい。
【００４０】
いずれの場合にも、ステップ３０において提供される色分割は、輪郭３２と明らかに重なる色領域のみを保持するために、輪郭３２と組み合わされる。さらに、図３Ａに示すように、とりわけ、領域３０（ｂ）、（ｃ）および（e）は前景マップから除去され、一方で、とりわけ、領域３０（a）、（ｄ）および（e）は保持される。最終的な前景領域の組み合わせは、図３Ｃで影を付けて示している部分であり、最終的な背景領域は黒色で示している。しかしながら、図３Ｄから理解されるように、領域３０（a）のサブ領域３０（ｇ）のような幾つかの領域は、そうであるかもしれないが、正確に分離されていない。
【００４１】
サブ領域３０（ｇ）（１）および３０（ｇ）（２）について、それらは同様の[a, b]を有しているようであり、特性は、前景領域として分類される領域３０（a）に含まれている。しかしながら、サブ領域３０（ｇ）（２）は、背景領域として分類されるのがより適している。
【００４２】
また、前景の部分が様々な理由により（誤って）前景マップから除去されていることがあることも認められている。例えば、図３Ｄにおいて、対象の右手は、ポートレート輪郭３２と重なっていないことにより、前景マップから除去されてしまっている。
【００４３】
図４を参照して、ステップ２２−３４の分離の他の例を説明する。図４Ａは焦点画像を示しており、図４Ｂは画像のＤＦＤマップである。図４Ｃはステップ３０の色分離後の分離されたマップを示している。図４Ｄは、画像について選択されたポートレートテンプレート３２と明らかに重なっていない４０（a）, (b)のような領域が除去された後の最終的な前景／背景マップを示す。
【００４４】
この場合、色分離は対象の髪をバルコニーの端部、領域４０（ｃ）と分離しておらず、当該バルコニーの端部は最終的なマップにおいて誤って前景領域に含まれている。
【００４５】
さらなる例として、図５Ａは対象の焦点画像を示しており、図５Ｂはステップ３０の色分離後であるが、前景領域と輪郭３２を組み合わせる前の前景／背景マップである。
当該段階においては、２つの分離アーティファクトを見ることができる：対象のＴシャツ５０と後ろのテレビ５２は単一の領域に分離される；また、同様に、対象の顔半分と髪５４は単一の領域に統合される。（偶然である）後者の不具合は、髪も顔も最終的な前景マップに含まれるため、最終的な結果に影響を与えないであろう。一方、Ｔシャツ５０をテレビ５２と分離しない場合、後者は（誤りである）前景マップ中に残り続ける。
【００４６】
本発明による前景／背景分離の第２の改良においては、前景領域は、ステップ３６において、輝度に基づき分析される。当該ステップは、付加的に、独立して、またはステップ３４の後に実行されるようにすることができる。好ましい実施形態において、当該分析は前景領域１４、１６ピクセルのＬＡＢ空間バージョンで再び実行され、以下に詳細に説明するように、ピクセルのＬ値のみを有効に使用することができる。
【００４７】
ステップ３６において、関心画像の領域中のピクセルの明暗度は、領域の輝度分布が単峰性または二峰性であるか決定するために分析される。言い換えれば、画像の領域内の異なる輝度のサブ領域について単峰性または２峰性の閾値化を適用することにより、困難な画像について前景／背景領域に良好に分離できるのを可能とする。
【００４８】
図５の場合、Ｔシャツ／テレビ５０／５２、および髪／顔のペア５４は輝度が大きく異なる。ステップ３６において、分離された前景領域それぞれについて輝度ヒストグラムが演算される。図６はＴシャツ／テレビ５０／５２を備える領域＃１；髪／顔５４を備える領域＃２；および典型的な単峰性分布を示す領域３の輝度ヒストグラムを示している。図６から理解されるように、さらに分離された領域（すなわち領域＃１および２）の輝度ヒストグラムは、２峰性であり、他（領域＃３）はそうではない。
【００４９】
ある領域について複数の峰を有するヒストグラム（multi-modal histograms）が見つかる場合があり、それは当該領域が２つ以上の領域に分割されることを示していることを注記しておく。しかしながら、そのような分布の例は非常に稀である。
【００５０】
輝度について２峰性分布を示すような与えられた領域はさらに分離され、与えられたヒストグラムを単峰性または２峰性のいずれかに適切に分類するのに有効である。図６に示すように、好ましい実施形態においては、当該分類は、
（i）アーティファクトを少なくするためにヒストグラムをぼかす／平滑化することと、
（ii）ヒストグラム中において最大輝度６０を検出することと、
（iii）図６Ａの最大座標の周囲の所定の幅間隔６２を除去することと（最大の誤検出を避けるため）、
（iv）次の最大６４を検出することと、
（ｖ）２つの最大のそれぞれから、モード検出過程が、関連モード、図６Ｂの各最大周辺のベル形状分布６６を検出するために実行される。
(vi-a)両方がヒストグラムの明確な部分を含むモードを検出した場合（すなわち、それぞれが、関心領域由来のピクセルの２０％以上を含む輝度レベルの間隔に及ぶ場合）、ヒストグラムは２峰性と決定され、２つの最大の間の間隔における最小値６８が、当該領域を２つのサブ領域に分割するために閾値として使用される。そうでなければ、ヒストグラムは単峰性であるとして、変更は行われない。
【００５１】
図５Ｃは最終的な分離の結果を示しており、Tシャツ／テレビのペアと髪／顔のペアの修正された分離を理解することができる。単峰性とみなされた領域は変更は行われない。
【００５２】
本発明を用いることにより、難しい画像、すなわち背景が対象に非常に接近している画像でさえも、より多くの焦点対象が背景から正確に分離され得る。背景の部分が前景から分離できなかった場合またはその逆の場合、アーティファクトは大きくなりにくく、最終的なマップは画像のさらなる後処理のためにより有効である。
【００５３】
実用上の多くの問題が存在し、発明を実装する場合に考慮される必要がある。
【００５４】
最初のマップがDFDマップから得られた場合、焦点画像と焦点外画像の間のスケーリングファクターが分かっていることが必要となるだろう。自動的に計算することはできないため、これは画像取得においてカメラ配置（camera configuration）から取得可能であることが必要である。取得画像の既知の焦点距離から導き出すことができ、そのため、カメラプロデューサ（camera producer）により、取得画像を用いて提供可能である。
【００５５】
最初のマップがDFDマップから得られた場合、２つの画像が取得される間の時間に応じて、画像間に幾つかの変化が生じている場合があることも知られている。対象が背景と比較して明確に動く場合や、カメラの移動によりすべての被写体が変化する場合がある。そのため、DFDマップを生成する前に、画像間の適切な調整を実行されることが好ましい。
【００５６】
前に示したように、本発明は最大解像度の画像またはプレビュー画像やポストビュー画像のようなその画像のサブサンプルバージョンのいずれかを用いて実行されることができる。事実上、後者については、カメラプロデューサがフル解像度DFDマップを提供するための２倍の最大解像度の画像取得（double full resolution image acquisition）は適用できないと決定することが必要となる場合がある。にもかかわらず、前景／背景マッピングのための最大解像度およびプレビュー／ポストビューを備えるペア、または複数のプレビュー／複数のポストビューのペアを使用することは計算上の効果の観点から十分であり、また、好ましい。
【００５７】
DFDマップを演算するために被写体のフラッシュ画像とノンフラッシュ画像とを混合（mix）することは適当ではないことが理解されている。主画像がフラッシュ、ノンフラッシュプレビューおよびポストビュー画像とともに取得される場合が、主画像に対して解像度が異なる場合に前景／背景マップを提供するために好適に用いられる。
【００５８】
本発明のさらなる態様において、デジタル画像において前景−背景分離のさらなる改良された分離方法が提供される。
【００５９】
図１から図６の実施形態において、ポートレート輪郭３２は画像の色分離の比較のためにデータベースに格納される。
【００６０】
しかしながら、画像中の1つ以上の顔の位置および方向を検出し、顔の領域、関連する領域を加えることにより、他の輪郭が提供されるようにすることができる。このとき、加えられる顔の領域、関連領域には、顔の方向により示された顔領域の下の列（column）が含まれるようにするのが好ましい。前述のとおり、顔の領域および関連する列は、前景のピクセルのみに含まれることが想定される。
【００６１】
当該輪郭が図１から図６の輪郭３２の代わりに使用される場合、当該推定された前景列にて得られる情報は、以下に詳細に説明する、前景および背景への改良された画像分離を提供するために使用されるようにすることもできる。
【００６２】
図７に示すように、当該実施形態のフロー図が提供される。
【００６３】
７００において画像が取得される。前述したように、画像は、プレビュー画像、ポストビュー画像、または主取得画像のダウンサンプルバージョンを含むようにしてもよい。
【００６４】
顔が取得画像で検出されるか、または取得画像を含む画像ストリームの前の画像において顔が検出された場合、顔領域は取得画像７１０内の顔の位置とその方向を決定するために追跡される。検出された顔の追跡と同様に、位置と方向の検出は、２００６年８月１１日に出願の米国特許出願６０／７４６，３６３の開示に基づいて実行されることが好ましい。
【００６５】
検出／追跡された顔の方向は、顔の方向における顔の下の領域を決定するために使用され、組み合わされた顔領域と関連する領域は、７２０において、前景ピクセルのみを含むと想定される輪郭テンプレートを提供する。
【００６６】
図８に示すように、図５Ａの画像に関連する取得画像１０は、対象、および領域８０内に存在し、検出および／または追跡される対象の顔を含む。顔の方向が与えられると、顔領域８０に結合し、顔領域８０の下部から画像の端部まで延びる領域８２が定義される。
【００６７】
領域８２には多くの分離される物体（object）が内部に存在したり、交差している。例えば、これらは対象のシャツ（A）と結合している領域、対象の首や顔の右側（B）、対象の顔の左側（C）および対象の髪（D）である。
【００６８】
これらの物体は、ステップ７３０において、Color Wizard、エッジ検出のような色物体検出技術、または図１から図６の実施形態のものを含む（これらに限定されるものではない）カラーまたはグレーレベル画像に適用される他の領域分離技術により、分離されることが好ましい。本実施形態において、ステップ７３０において識別され領域８２内に存在している、または交差している物体A．．．Dは、前景の物体７４０として（少なくとも領域８２に交差していさえすれば）指定される。
【００６９】
領域８２と交差する前景の物体は、物体の輝度分布が上述したように単峰性または２峰性であるか決定するために、ステップ７５０において輝度分析がさらに行われることが好ましい。領域８２と交差する物体内の異なる輝度のサブ物体に対して単峰性または２峰性の閾値化を適用することは、より良好な前景／背景の対象の分離を可能とする。そのため、予め前景として識別された対象は、前景の物体として識別されるサブ物体と、背景の物体として識別されるサブ物体とを含む。
【００７０】
また、当該分析は前景の物体のピクセルがLAB空間バージョンにおいて実行されるようにすることが好ましく、ピクセルのL値のみが有利に用いられる。
【００７１】
ステップ７４０、また付加的にステップ７５０において領域８２内に存在しないまたは交差していないと識別された領域（またはサブ領域）が７６０において、背景の物体として指定される。このようにして、画像は、前景の物体と背景の物体とに分離される。
【００７２】
本発明の当該実施形態において、前景／背景分離は領域８２を含む画像の限定された一部についてのみ実行されている。本発明のさらなる他の態様においては、全デジタル画像のさらに改良された前景背景分離方法が提供される。
【００７３】
図９に、本実施形態のフロー図を示す。
【００７４】
名目上同じ画像である第１の画像および第２の画像が９００、９０５にて取得される。上述したように、これらの画像は、プレビュー画像やポストビュー画像であってもよく、また、主取得画像のダウンサンプルバージョンを含むようにしてもよい。この実施形態について、画像間の露出レベルの違いを提供するために、画像の1つはフラッシュを用いて撮像され、他の画像はフラッシュを用いないで撮像される。
【００７５】
当該画像は調整され（不図示）、ステップ９００から９５０（図７のステップ７００から７５０に関連する）において画像中で識別された物体の分離は、ステップ９０５において取得された画像の分離に対応するものと想定される。
【００７６】
ステップ９４０／９５０において前景の物体が色によって識別された場合、それぞれの物体は多数の特定の色特性、例えばLAB空間における同様のAB値、のうちの1つを有する多数のピクセルを有する。
【００７７】
図９の実施形態は、前景の物体の色の組み合わせは、同じ色の組み合わせを有する前景の物体の予測された挙動（behavior）を示す関連する平均反射特性ｋを有するという想定（assumption）に基づくものである。そのため、画像中の物体の平均反射特性ｋを同じ色の組み合わせを有する識別された前景の物体の平均反射特性ｋと比較することにより、その物体が前景または背景として識別される。
【００７８】
当該実施形態において、顔の検出／追跡が実行された取得画像は、以下の式に従い調整された画像中の各物体の平均反射特性を決定するために、当該被写体の第２の画像と比較される。
【式１】
【００７９】
2009536417.tif 000003
【００８０】
Lflashはフラッシュ画像中の物体の輝度でありLNon-Flashはノンフラッシュ画像中の関連する物体の輝度である。ｋの値＞０である場合、物体は光を反射しており、また、ｋの値＜０である場合、物体は光を反射しておらず、干渉やノイズにより起こることがある。
【００８１】
ラベル化されていない各物体、すなわち領域８２と交差していなかったり内部に存在しない物体であって前景として識別された物体と同じ色の組み合わせを有してる物体について、その平均反射特性ｋがその関連する前景の物体に由来する閾値Kthとステップ９７０において比較される。例えば、図８Ａにおいて、閾値Kthは各物体A．．．Dついて平均反射特性ｋの７０％として演算され、反射特性ｋは各ラベル化されていない物体ごとに演算される。各ラベル化されていない物体の反射特性ｋはラベル化されていない物体と色において関連するAからDの物体のいずれか1つの閾値Kthと比較される。
【００８２】
また、本実施形態において、ラベル化されていない物体が関連する前景の物体のおよそ７０％よりも大きな平均反射特性を有している場合、９８０で前景領域として識別される。そうでなければ、９９０で背景の物体として識別される。
【００８３】
ラベル化されていない物体が前景と識別された物体のいずれかの色の組み合わせに対応しない色の組み合わせを有するピクセルを含む場合、その色の物体の閾値Kthはほとんど同じ色の組み合わせを有している前景と識別された物体、例えば物体A．．．Dの反射特性の関数に応じて推定される。
【００８４】
図７および図９の実施形態において、区分と交差する物体またはサブ物体のすべては前景の物体とみなされる。これらの実施形態の他の態様として、ステップ９４０／９５０において識別された領域８２と交差する前景の物体は、それらの平均反射特性ｋに基づくさらなる輝度分析がさらに行われる。
【００８５】
領域８２内で物体と完全に交差する各サブ領域は前景の物体としてみなされる。ここで、領域８２の外側に存在している当該物体の各ピクセルについて反射特性が演算される。領域８２から脱する場合、サブ領域に隣接する対象のピクセルは、ピクセルごとに、領域８２のサブ領域の物体の反射特性と比較される。また、ピクセル値が反射特性の閾値ｋの割合、およそ７０％以上である場合、前景のピクセルとみなされる。したがってサブ領域は、物体のすべてのピクセルが前景とみなされるまで、または増加するサブ領域に隣接するすべてのピクセルが背景と分類されるまで、増加される。増加される領域内の平滑化および全体のフィリングは、前景／背景マップが確定される前に続いて行われるようにしてもよい。
【図面の簡単な説明】
【００８６】
【図１Ａ】対象の焦点画像を示す図である。
【図１Ｂ】画像のDFDマップを示す図である。
【図１Ｃ】本発明の好ましい実施形態に従う部分的に処理された図１BのDFDマップである。
【図２】本発明の好ましい実施形態に従う改良された前景／背景分離の方法のフロー図である。
【図３Ａ】図１Cの画像の前景領域の第１の色分離がされたバージョンを示す図である。
【図３Ｂ】対象の輪郭を示す図である。
【図３Ｃ】本発明の実施形態に従い、図３Bの輪郭を図３Aの領域に組み合わせた結果を示す図である。
【図３Ｄ】図３Cの画像の識別された前景領域についての画像情報を示す図である。
【図４Ａ】対象の別の焦点画像を示す図である。
【図４Ｂ】画像のDFDマップを示す図である。
【図４Ｃ】画像の前景領域の第１の色分離がされたバージョンを示す図である。
【図４Ｄ】本発明の実施形態に従い、輪郭を図４Cの領域に組み合わせた結果を示す図である。
【図５Ａ】対象の別の焦点画像を示す図である。
【図５Ｂ】画像の前景領域の第１の色分離がされたバージョンを示す図である。
【図５Ｃ】本発明の実施形態に従って処理された画像の前景領域のさらに改良された色分離がされたバージョンを示す図である。
【図６Ａ】図５Aにおいて識別された領域の輝度ヒストグラムを示す図である。
【図６Ｂ】図５Aにおいて識別された領域の輝度ヒストグラムを示す図である。
【図６Ｃ】図５Aにおいて識別された領域の輝度ヒストグラムを示す図である。
【図７】デジタル画像における前景背景分離のための他の分離方法を説明するフロー図である。
【図８】図７の方法に基づいて処理された画像内の識別された領域を示す図である。
【図９】デジタル画像における前景背景分離のためのさらなる他の分離方法を説明するフロー図である。
【図１Ａ】
2009536417.tif 000004
【図１Ｂ】
2009536417.tif 000005
【図１Ｃ】
2009536417.tif 000006
【図２】
2009536417.tif 000007
【図３Ａ】
2009536417.tif 000008
【図３Ｂ】
2009536417.tif 000009
【図３Ｃ】
2009536417.tif 000010
【図３Ｄ】
2009536417.tif 000011
【図４Ａ】
2009536417.tif 000012
【図４Ｂ】
2009536417.tif 000013
【図４Ｃ】
2009536417.tif 000014
【図４Ｄ】
2009536417.tif 000015
【図５Ａ】
2009536417.tif 000016
【図５Ｂ】
2009536417.tif 000017
【図５Ｃ】
2009536417.tif 000018
【図６Ａ】
2009536417.tif 000019
【図６Ｂ】
2009536417.tif 000020
【図６Ｃ】
2009536417.tif 000021
【図７】
2009536417.tif 000022
【図８】
2009536417.tif 000023
【図９】
2009536417.tif 000024
【国際調査報告】
2009536417.tif 000025
2009536417.tif 000026
2009536417.tif 000027