(57)【要約】  画像処理装置は、第１のタイプのセンサと、第２のタイプのセンサと、制御回路とを含む。前記制御回路は、前記第１のタイプのセンサから、一連のカラー画像フレームのうちの入力カラー画像フレームと、前記第２のタイプのセンサから、対応する入力深度画像とを受け取る。前記制御回路は、前記入力カラー画像フレームに対する関心オブジェクトの第１の前景マスクを生成する。その後、前記制御回路は、前記生成された第１の前景マスク内の第１の画素の組を、誤って分類された画像画素として検出する。前記制御回路は、シーンの背景カラー画像及び背景深度画像を更新する。前記制御回路は、前記シーンの更新された前記背景カラー画像及び前記背景深度画像に少なくとも基づいて、前記入力カラー画像フレームから前記関心オブジェクトを正確に抽出する。【選択図】図４Ａ、図４Ｂ
2021521543.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
シーンの一連のカラー画像フレームを取り込むように構成される第１のタイプのセンサと、
前記一連のカラー画像フレームのうちの対応する各カラー画像フレームについて深度画像を取り込むように構成される第２のタイプのセンサと、
制御回路であって、前記制御回路は、
前記第１のタイプのセンサから、前記一連のカラー画像フレームのうちの入力カラー画像フレームと、前記第２のタイプのセンサから、前記入力カラー画像フレームに対する対応する入力深度画像とを受け取り、
前記入力カラー画像フレームに対する前記入力深度画像及び前記シーンの背景深度画像、及び前記入力カラー画像フレームと前記シーンの背景カラー画像との間の差分を用いて、前記入力カラー画像フレームに対する関心オブジェクトの第１の前景マスクを生成し、
前記一連のカラー画像フレームのうちの前記入力カラー画像フレーム内の人体の一部の形状に少なくとも基づいて、前記入力カラー画像フレーム内の前記関心オブジェクトの第２の前景マスクを生成し、
前記関心オブジェクトの前記生成された第１の前景マスクと前記生成された第２の前景マスクとの間の差分の２値化によって、前記生成された第１の前景マスク内の第１の画素の組を、誤って分類された画像画素として検出し、前記検出された第１の画素の組は、前記生成された第１の前景マスク内の前景画素として誤って分類されている複数の背景画素であり、
前記検出された第１の画素の組の各画素の色成分、深度成分及び空間位置を用いて、前記シーンの前記背景カラー画像及び前記背景深度画像を更新し、
前記シーンの更新された前記背景カラー画像及び前記背景深度画像に少なくとも基づいて、前記入力カラー画像フレームから前記関心オブジェクトを抽出する、
ように構成される、制御回路と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記制御回路は、更に、前記入力カラー画像フレームを前景領域と背景領域とに分類するように構成され、前記背景領域は、前記背景カラー画像にマップされ、前記前景領域は、前記生成された第１の前景マスクにマップされることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記制御回路は、更に、第１の２値化された差分マップを生成するように構成され、前記第１の２値化された差分マップは、前記入力カラー画像の複数の画素の各画素と前記背景カラー画像の複数の画素のうちの対応する画素との間の複数の差分値を含むことを特徴とする、請求項１に記載の画像処理装置。
【請求項４】
前記制御回路は、更に、前記生成された第１の２値化された差分マップの第１の差分値の組を決定するように構成され、前記第１の差分値の組は、規定の閾値よりも大きく、前記制御回路は、前記決定された第１の差分値の組を、前記入力カラー画像フレームの第１の領域の組にマップするように構成され、前記第１の前景マスクは、前記入力カラー画像フレームの前記マップされた第１の領域の組に更に基づいて生成されることを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
前記制御回路は、更に、第２の２値化された差分マップを生成するように構成され、前記第２の２値化された差分マップは、前記第１の前景マスクの複数の画素の各画素と前記第２の前景マスクの複数の画素のうちの対応する画素との間の複数の差分値を含み、前記制御回路は、前記第２の２値化された差分マップに基づいて、前記入力カラー画像フレームの前記第１の画素の組を、誤って分類された画像画素として検出するように構成されることを特徴とする、請求項１に記載の画像処理装置。
【請求項６】
前記制御回路は、更に、前記検出された第１の画素の組の各々の空間位置に基づいて、前記第１の前景マスクの前記検出された第１の画素の組を、前記入力カラー画像フレームの第１の画素の組にマップするように構成され、前記入力カラー画像フレームの前記第１の画素の組の各画素は、色成分を含むことを特徴とする、請求項５に記載の画像処理装置。
【請求項７】
前記制御回路は、更に、前記入力カラー画像フレームの前記第１の画素の組のうちの対応する画素の前記色成分に基づいて、前記背景カラー画像の前記第１の画素の組の各画素を更新するように構成され、前記シーンの前記背景カラー画像は、前記背景カラー画像の前記第１の画素の組の各画素の前記更新に更に基づいて更新されることを特徴とする、請求項６に記載の画像処理装置。
【請求項８】
前記制御回路は、更に、前記検出された第１の画素の組の各々の空間位置に基づいて、前記第１の前景マスクの前記検出された第１の画素の組を、前記入力深度画像の第１の画素の組でマップするように構成され、前記入力深度画像の前記第１の画素の組の各々は、深度成分を含むことを特徴とする、請求項１に記載の画像処理装置。
【請求項９】
前記制御回路は、更に、前記入力深度画像の前記第１の画素の組のうちの対応する画素の前記深度成分に基づいて、前記シーンの前記背景深度画像の前記第１の画素の組の各画素を更新するように構成され、前記シーンの前記背景深度画像は、前記シーンの前記背景深度画像の前記第１の画素の組の前記更新に更に基づいて更新されることを特徴とする、請求項８に記載の画像処理装置。
【請求項１０】
前記制御回路は、更に、前記一連のカラー画像フレームのうちの第１の画像フレームの組における前記関心オブジェクトの第１の前景マスクの組を生成するように構成されることを特徴とする、請求項１に記載の画像処理装置。
【請求項１１】
前記制御回路は、更に、前記一連のカラー画像フレームの各カラー画像フレーム内の人体の一部の形状に少なくとも基づいて、前記生成された第１の前景マスクの組の各々について、複数の誤って分類された画像画素を検出するように構成され、前記複数の誤って分類された画像画素は、前景画素として誤って分類されている背景画素であることを特徴とする、請求項１０に記載の画像処理装置。
【請求項１２】
前記制御回路は、更に、前記生成された第１の前景マスクの組の各々の前記複数の誤って分類された画素の前記検出に基づいて、前記シーンの前記背景カラー画像及び前記背景深度画像を周期的又は連続的に更新するように構成され、周期的又は連続的に更新された前記シーンの前記背景カラー画像及び前記背景深度画像は、前記一連のカラー画像フレームのうちの前記入力カラー画像フレーム及び後続の画像フレームからの前記関心オブジェクトのリアルタイム又は近リアルタイムセグメンテーションに用いられることを特徴とする、請求項１１に記載の画像処理装置。
【請求項１３】
方法であって、
第１のタイプのセンサと、第２のタイプのセンサと、制御回路とを備える画像処理装置において、
前記第１のタイプのセンサによって、シーンの一連のカラー画像フレームを取り込むステップと、
前記第２のタイプのセンサによって、前記一連のカラー画像フレームのうちの対応する各カラー画像フレームについて深度画像を取り込むステップと、
前記制御回路によって、前記第１のタイプのセンサから、前記一連のカラー画像フレームのうちの入力カラー画像フレームと、前記第２のタイプのセンサから、前記入力カラー画像フレームに対する対応する入力深度画像とを受け取るステップと、
前記制御回路によって、前記入力カラー画像フレームに対する前記入力深度画像及び前記シーンの背景深度画像、及び前記入力カラー画像フレームと前記シーンの背景カラー画像との間の差分を用いて、前記入力カラー画像フレームに対する関心オブジェクトの第１の前景マスクを生成するステップと、
前記制御回路によって、前記一連のカラー画像フレームのうちの前記入力カラー画像フレーム内の人体の一部の形状に少なくとも基づいて、前記入力カラー画像フレーム内の前記関心オブジェクトの第２の前景マスクを生成するステップと、
前記制御回路によって、前記関心オブジェクトの前記生成された第１の前景マスクと前記生成された第２の前景マスクとの間の差分の２値化によって、前記生成された第１の前景マスク内の第１の画素の組を、誤って分類された画像画素として検出するステップであって、前記検出された第１の画素の組は、前記生成された第１の前景マスク内の前景画素として誤って分類されている複数の背景画素である、ステップと、
前記制御回路によって、前記検出された第１の画素の組の各画素の色成分、深度成分及び空間位置を用いて、前記シーンの前記背景カラー画像及び前記背景深度画像を更新するステップと、
前記制御回路によって、前記シーンの更新された前記背景カラー画像及び前記背景深度画像に少なくとも基づいて、前記入力カラー画像フレームから前記関心オブジェクトを抽出するステップと、
を含むことを特徴とする方法。
【請求項１４】
更に、前記制御回路によって、前記入力カラー画像フレームを前景領域と背景領域とに分類するステップを含み、前記背景領域は、前記背景カラー画像にマップされ、前記前景領域は、前記生成された第１の前景マスクにマップされることを特徴とする、請求項１３に記載の方法。
【請求項１５】
更に、前記制御回路によって、第１の２値化された差分マップを生成するステップを含み、前記第１の２値化された差分マップは、前記入力カラー画像の複数の画素の各画素と前記背景カラー画像の複数の画素のうちの対応する画素との間の複数の差分値を含むことを特徴とする、請求項１３に記載の方法。
【請求項１６】
更に、前記制御回路によって、規定の閾値よりも大きい、前記生成された第１の２値化された差分マップの第１の差分値の組を決定するステップと、前記制御回路によって、前記決定された第１の差分値の組を、前記入力カラー画像フレームの第１の領域の組にマップするステップとを含み、前記第１の前景マスクは、前記入力カラー画像フレームの前記マップされた第１の領域の組に更に基づいて生成されることを特徴とする、請求項１５に記載の方法。
【請求項１７】
更に、前記制御回路によって、第２の２値化された差分マップを生成するステップであって、前記第２の２値化された差分マップは、前記第１の前景マスクの複数の画素の各画素と前記第２の前景マスクの複数の画素のうちの対応する画素との間の複数の差分値を含む、ステップと、前記制御回路によって、前記第２の２値化された差分マップに基づいて、前記入力カラー画像フレームの前記第１の画素の組を、誤って分類された画像画素として検出するステップとを含むことを特徴とする、請求項１５に記載の方法。
【請求項１８】
更に、前記制御回路によって、前記検出された第１の画素の組の各々の空間位置に基づいて、前記第１の前景マスクの前記検出された第１の画素の組を、前記入力カラー画像フレームの第１の画素の組にマップするステップを含み、前記入力カラー画像フレームの前記第１の画素の組の各画素は、色成分を含むことを特徴とする、請求項１７に記載の方法。
【請求項１９】
更に、前記制御回路によって、前記入力カラー画像フレームの前記第１の画素の組のうちの対応する画素の前記色成分に基づいて、前記背景カラー画像の前記第１の画素の組の各画素を更新するステップを含み、前記シーンの前記背景カラー画像は、前記背景カラー画像の前記第１の画素の組の各画素の前記更新に更に基づいて更新されることを特徴とする、請求項１８に記載の方法。
【請求項２０】
更に、前記制御回路によって、前記検出された第１の画素の組の各々の空間位置に基づいて、前記第１の前景マスクの前記検出された第１の画素の組を、前記入力深度画像の第１の画素の組でマップするステップを含み、前記入力深度画像の前記第１の画素の組の各々は、深度成分を含むことを特徴とする、請求項１３に記載の方法。
【請求項２１】
更に、前記制御回路によって、前記入力深度画像の前記第１の画素の組のうちの対応する画素の前記深度成分に基づいて、前記シーンの前記背景深度画像の前記第１の画素の組の各画素を更新するステップを含み、前記シーンの前記背景深度画像は、前記シーンの前記背景深度画像の前記第１の画素の組の前記更新に更に基づいて更新されることを特徴とする、請求項２０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照／引用による組み入れ〕
[0001]  なし
【０００２】
[0002]  本開示の様々な実施形態は、画像処理、コンピュータビジョン及びカメラ技術に関する。具体的には、本開示の様々な実施形態は、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための画像処理装置及び方法に関する。
【背景技術】
【０００３】
[0003]  最近の画像処理、コンピュータビジョン及びカメラ技術の分野の開発は、オブジェクトセグメンテーションなどの様々な画像処理システム及び技術の進歩をもたらしている。従来のオブジェクトセグメンテーション装置は、異なるオブジェクトセグメンテーション技術に基づいて、シーンの画像から関心オブジェクト（例えば人体又は人間の顔）をセグメント化することができる。このようなオブジェクトセグメンテーション技術の例は、圧縮ベース、色ベース、深度ベース又はヒストグラムベースのオブジェクトセグメンテーション技術を含むことができるが、これらに限定されるわけではない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
[0004]  現在、特有の色ベースのセグメンテーション法では、取り込んだ画像から所定の静止した背景画像を減算することに基づいて、関心オブジェクトをセグメント化することができる。しかしながら、所定の静止した背景画像を生成するために、従来のオブジェクトセグメンテーション装置は、関心オブジェクトがシーン内に存在しないとき、シーンの一連の画像を取り込むことが必要であり、これは、望ましくない可能性がある。シーンの所定の静止した背景画像は、取り込まれた一連の画像から生成することができる。背景画像減算法は、更に、静止したカメラを用いて、シーンから一連の画像を取り込む必要がある可能性がある。
【０００５】
[0005]  別の深度ベースの方法では、従来のオブジェクトセグメンテーション装置は、深度センサによって取り込むことができる深度画像を用いることによって、関心オブジェクトをセグメント化することができる。深度センサが、無効な深度値を含むノイズが多い深度画像を取り込む場合、従来のオブジェクトセグメンテーション装置は、取り込まれた画像から関心オブジェクトを誤って且つ不正確にセグメント化する可能性がある。
【０００６】
[0006]  当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的方法の更なる制限及び不利点が明らかになるであろう。
【課題を解決するための手段】
【０００７】
[0007]  少なくとも１つの図に実質的に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲に更に完全に示す、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための画像処理装置及び方法を提供することができる。
【０００８】
[0008]  全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
【図面の簡単な説明】
【０００９】
【図１】本開示の実施形態による、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための画像処理装置のためのネットワーク環境を示すブロック図である。
【図２】本開示の実施形態による、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための例示的な画像処理装置を示すブロック図である。
【図３Ａ】本開示の実施形態による、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための図１の画像処理装置の例示的な動作を示す図である。
【図３Ｂ】本開示の実施形態による、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための図１の画像処理装置の例示的な動作を示す図である。
【図４Ａ】本開示の実施形態による、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための例示的な方法を示すフローチャートである。
【図４Ｂ】本開示の実施形態による、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための例示的な方法を示すフローチャートである。
【図４Ｃ】本開示の実施形態による、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【００１０】
[0013]  背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための画像処理装置及び方法では、様々な実装を見出すことができる。本開示の例示的な態様は、第１のタイプのセンサと、第２のタイプのセンサと、制御回路とを含むことができる画像処理装置を含むことができる。前記第１のタイプのセンサは、シーンの一連のカラー画像フレームを取り込むように構成することができる。前記第２のタイプのセンサは、前記一連のカラー画像フレームのうちの対応する各カラー画像フレームについて深度画像を取り込むように構成することができる。前記制御回路は、前記第１のタイプのセンサから、前記一連のカラー画像フレームのうちの入力カラー画像フレームと、前記第２のタイプのセンサから、前記入力カラー画像フレームに対する対応する入力深度画像とを受け取るように構成することができる。
【００１１】
[0014]  ある実施形態によれば、前記制御回路は、前記入力カラー画像フレームに対する関心オブジェクトの第１の前景マスクを生成するように構成することができる。前記制御回路は、前記入力カラー画像フレームに対する前記入力深度画像及び前記シーンの背景深度画像を用いて、前記第１の前景マスクを生成するように構成することができる。前記制御回路は、前記入力カラー画像フレームと前記シーンの背景カラー画像との間の差分に更に基づいて、前記第１の前景マスクを生成するように構成することができる。前記制御回路は、更に、前記一連のカラー画像フレームのうちの前記入力カラー画像フレーム内の人体の一部の形状に少なくとも基づいて、前記入力カラー画像フレーム内の前記関心オブジェクトの第２の前景マスクを生成するように構成することができる。前記制御回路は、前記関心オブジェクトの前記生成された第１の前景マスクと前記生成された第２の前景マスクとの間の差分の２値化によって、前記生成された第１の前景マスク内の第１の画素の組を、誤って分類された画像画素として検出するように構成することができる。前記検出された第１の画素の組は、前記生成された第１の前景マスク内の前景画素として誤って分類されている可能性がある複数の背景画素とすることができる。前記制御回路は、前記検出された第１の画素の組の各画素の色成分、深度成分及び空間位置を用いて、前記シーンの前記背景カラー画像及び前記背景深度画像を更新するように構成することができる。
【００１２】
[0015]  ある実施形態によれば、前記制御回路は、前記シーンの更新された前記背景カラー画像及び前記背景深度画像に少なくとも基づいて、前記入力カラー画像フレームから前記関心オブジェクトを抽出するように構成することができる。前記制御回路は、前記入力カラー画像フレームを前景領域と背景領域とに分類するように構成することができる。前記背景領域は、前記背景カラー画像にマップすることができる。前記前景領域は、前記生成された第１の前景マスクにマップすることができる。前記制御回路は、第１の２値化された差分マップを生成するように構成することができ、前記第１の２値化された差分マップは、前記入力カラー画像の複数の画素の各画素と前記背景カラー画像の複数の画素のうちの対応する画素との間の複数の差分値を含む。
【００１３】
[0016]  ある実施形態によれば、前記制御回路は、前記生成された第１の２値化された差分マップの第１の差分値の組を決定するように構成することができ、前記第１の差分値の組は、規定の閾値よりも大きい。前記制御回路は、前記決定された第１の差分値の組を、前記入力カラー画像フレームの第１の領域の組にマップするように構成することができる。前記第１の前景マスクは、前記入力カラー画像フレームの前記マップされた第１の領域の組に更に基づいて生成される。前記制御回路は、第２の２値化された差分マップを生成するように構成することができ、前記第２の２値化された差分マップは、前記第１の前景マスクの複数の画素の各画素と前記第２の前景マスクの複数の画素のうちの対応する画素との間の複数の差分値を含む。前記制御回路は、更に、第２の２値化された差分マップを生成するように構成され、前記第２の２値化された差分マップは、前記第１の前景マスクの複数の画素の各画素と前記第２の前景マスクの複数の画素のうちの対応する画素との間の複数の差分値を含む。
【００１４】
[0017]  ある実施形態によれば、前記制御回路は、更に、第２の２値化された差分マップを生成するように構成され、前記第２の２値化された差分マップは、前記第１の前景マスクの複数の画素の各画素と前記第２の前景マスクの複数の画素のうちの対応する画素との間の複数の差分値を含む。前記制御回路は、前記第２の２値化された差分マップに基づいて、前記入力カラー画像フレームの前記第１の画素の組を、誤って分類された画像画素として検出するように構成することができる。前記制御回路は、前記検出された第１の画素の組の各々の空間位置に基づいて、前記第１の前景マスクの前記検出された第１の画素の組を、前記入力カラー画像フレームの第１の画素の組にマップするように構成することができる。前記入力カラー画像フレームの前記第１の画素の組の各画素は、色成分を含むことができる。
【００１５】
[0018]  ある実施形態によれば、前記制御回路は、前記入力カラー画像フレームの前記第１の画素の組のうちの対応する画素の前記色成分に基づいて、前記背景カラー画像の前記第１の画素の組の各画素を更新するように構成することができる。前記シーンの前記背景カラー画像は、前記背景カラー画像の前記第１の画素の組の各画素の前記更新に更に基づいて更新することができる。前記制御回路は、前記検出された第１の画素の組の各々の空間位置に基づいて、前記第１の前景マスクの前記検出された第１の画素の組を、前記入力深度画像の第１の画素の組でマップするように構成することができる。前記入力深度画像の前記第１の画素の組の各々は、深度成分を含む。前記制御回路は、前記入力深度画像の前記第１の画素の組のうちの対応する画素の前記深度成分に基づいて、前記シーンの前記背景深度画像の前記第１の画素の組の各画素を更新するように構成することができる。前記シーンの前記背景深度画像は、前記シーンの前記背景深度画像の前記第１の画素の組の前記更新に更に基づいて更新することができる。前記制御回路は、前記一連のカラー画像フレームのうちの第１の画像フレームの組における前記関心オブジェクトの第１の前景マスクの組を生成するように構成することができる。
【００１６】
[0019]  ある実施形態によれば、前記制御回路は、前記一連のカラー画像フレームの各カラー画像フレーム内の人体の一部の形状に少なくとも基づいて、前記生成された第１の前景マスクの組の各々について、複数の誤って分類された画像画素を検出するように構成することができる。前記複数の誤って分類された画像画素は、前景画素として誤って分類されている背景画素である。前記制御回路は、前記生成された第１の前景マスクの組の各々の前記複数の誤って分類された画素の検出に基づいて、前記シーンの前記背景カラー画像及び前記背景深度画像を周期的又は連続的に更新するように構成することができる。周期的又は連続的に更新された前記シーンの前記背景カラー画像及び前記背景深度画像は、前記一連のカラー画像フレームのうちの前記入力カラー画像フレーム及び後続の画像フレームからの前記関心オブジェクトの正確なリアルタイム又は近リアルタイムセグメンテーションに用いることができる。
【００１７】
[0020]  図１は、本開示の実施形態による、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための画像処理のためのネットワーク環境を示すブロック図である。図１を参照すると、ネットワーク環境１００が示されている。ネットワーク環境１００は、画像処理装置１０２を含むことができる。画像処理装置１０２は、複数のセンサ（第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６など）を備えることができる。ある実施形態によれば、第１のタイプのセンサ１０４は、画像センサとすることができ、第２のタイプのセンサ１０６は、深度センサとすることができる。複数のセンサは、画像処理装置１０２の視野１０８から、複数のカラー画像及び複数の深度画像を取り込むように構成することができる。視野１０８は、関心オブジェクト（例えば人体又は人体の一部）を含むシーン１１０を含むことができる。シーン１１０は、更に、他の複数の生物又は無生物オブジェクト、例えばコンピュータ、動物、テーブル、椅子、木等を含むことができる。
【００１８】
[0021]  画像処理装置１０２は、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６から複数のカラー画像及び複数の深度画像を受け取るように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。画像処理装置１０２は、更に、シーン１１０の複数のカラー画像及び複数の深度画像から、関心オブジェクトをセグメント化するように構成することができる。画像処理装置１０２の機能は、高速コンピュータ装置又はカメラなどのポータブル装置、アプリケーションサーバ又はグラフィック又はビデオ処理サーバなどの非ポータブル装置に実装することができる。画像処理装置１０２の例としては、以下に限定されるわけではないが、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、仮想現実装置、ゲーム機、モバイル装置、又はハードウェアビデオプレーヤを挙げることができる。画像処理装置１０２の他の例としては、以下に限定されるわけではないが、テレビ、家庭用娯楽システム、拡張現実装置、スマートジュエリー（例えばスマートウォッチ）を挙げることができる。
【００１９】
[0022]  第１のタイプのセンサ１０４は、シーン１１０から複数のカラー画像を取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含む画像センサとすることができる。複数のカラー画像の例としては、以下に限定されるわけではないが、Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｅｒｓ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ（ＪＰＥＧ）画像、Ｔａｇｇｅｄ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ（ＴＩＦＦ）画像、又は生画像ファイルを挙げることができる。第１のタイプのセンサ１０４は、好適な光学器械、例えば、シーン１１０及び／又はシーン１１０内の特定の関心オブジェクトに焦点を合わせることができるフォーカスレンズを有することができる。第１のタイプのセンサ１０４の実装の例としては、以下に限定されるわけではないが、半導体電荷結合素子（ＣＣＤ）ベースの画像センサ、相補型金属酸化膜半導体（ＣＭＯＳ）ベースの画像センサ、Ｎ型金属酸化膜半導体ベースの画像センサ、フラットパネル検出器、又は他の画像センサを挙げることができる。
【００２０】
[0023]  第２のタイプのセンサ１０６は、シーン１１０から複数の深度画像を取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含む深度センサとすることができる。複数の深度画像の各々は、それぞれの深度画像が第２のタイプのセンサ１０６によって取り込まれることができる様々な時点で、シーン１１０内の様々なオブジェクトに関連する深度情報を含むことができる。第２のタイプのセンサ１０６の実装の例としては、以下に限定されるわけではないが、立体三角測量ベースの深度センサ、構造化照明３次元（３Ｄ）スキャナベースの深度センサ、又は符号化開口ベースの深度センサ、又は第１のタイプのセンサ１０４と同期して動作するように較正される他の深度センサを挙げることができる。
【００２１】
[0024]  ある実施形態によれば、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６は、シーン１１０の複数のカラー画像及び複数の深度画像を同時に取り込むように構成することができる。いくつかのシナリオでは、画像処理装置１０２のユーザは、シーン１１０の一連のカラー画像フレーム１１２を取り込むことを望むことがある。このようなシナリオでは、ユーザは、画像処理装置１０２を、シーン１１０の方に向けることができる。画像処理装置１０２が、画像取り込みボタン又はユーザインターフェイス（ＵＩ）制御部を有するカメラである場合、ユーザは、画像取り込みボタン又はＵＩ制御部を押して、一連のカラー画像フレーム１１２の取り込みを開始することができる。
【００２２】
[0025]  いくつかの実施形態では、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６は、画像処理装置１０２内に組み込まれていないことがある。このような場合、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６は、様々な有線及び無線通信プロトコルを介して、画像処理装置１０２と通信可能に結合することができる。このような有線及び無線通信プロトコルの例としては、以下に限定されるわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、Ｂｌｕｅｔｏｏｔｈプロトコル、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＥＤＧＥ、ＩＥＥＥ  ８０２．１１、ＩＥＥＥ  ８０２．１１ｂ、ＩＥＥＥ  ８０２．１１ｇ、ＩＥＥＥ  ８０２．１１ｎ、ＩＥＥＥ  ８０２．１１ｘ及び／又は他の任意のＩＥＥＥ  ８０２．１１プロトコル、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、又はこれらの組み合わせ又は変形例の少なくとも１つを含むことができる。
【００２３】
[0026]  第１のタイプのセンサ１０４は、動作時にシーン１１０の一連のカラー画像フレーム１１２を取り込むように構成することができる。一連のカラー画像フレーム１１２は、フラッシュビデオ、オーディオ・ビデオ・インターリーブド（ＡＶＩ）ビデオ、及びＭｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ（ＭＰＥＧ）ビデオ等などのビデオとすることができる。取り込まれた一連のカラー画像フレーム１１２は、シーン１１０の複数のオブジェクトを含むことができる。取り込まれた一連のカラー画像フレーム１１２は、更に、関心オブジェクトを含むことができる。第１のタイプのセンサ１０４は、一連のカラー画像フレーム１１２を画像処理装置１０２に送信するように構成することができる。一連のカラー画像フレーム１１２は、入力カラー画像フレーム１１６を含むことができる。
【００２４】
[0027]  第２のタイプのセンサ１０６は、一連のカラー画像フレーム１１２のうちの対応する各カラー画像フレームについて深度画像を取り込むように構成することができる。第２のタイプのセンサ１０６は、第１のタイプのセンサ１０４によるそれぞれのカラー画像フレームの取り込みと同時に、一連のカラー画像フレーム１１２の各カラー画像フレームについて深度画像を取り込むように構成することができる。換言すれば、第２のタイプのセンサ１０６は、シーン１１０の一連の深度画像１１４を取り込むように構成することができる。一連の深度画像１１４の各々は、一連のカラー画像フレーム１１２の異なるカラー画像フレームに対応することができる。一連のカラー画像フレーム１１２の各カラー画像フレームの深度画像は、それぞれの深度画像が取り込まれるときの対応する時点で、シーン１１０に関連する深度情報を含むことができる。第２のタイプのセンサ１０６は、一連の深度画像１１４を画像処理装置１０２に送信するように構成することができる。一連の深度画像１１４は、入力カラー画像フレーム１１６の入力深度画像１１８を含むことができる。
【００２５】
[0028]  ある実施形態によれば、画像処理装置１０２は、第１のタイプのセンサ１０４から一連のカラー画像フレーム１１２を受け取るように構成することができる。換言すれば、画像処理装置１０２は、第１のタイプのセンサ１０４から入力カラー画像フレーム１１６を受け取るように構成することができる。画像処理装置１０２は、一連のカラー画像フレーム１１２に基づいて、シーン１１０の背景カラー画像１２０を生成するように構成することができる。例えば、画像処理装置１０２は、一連のカラー画像フレーム１１２のうちの第１のカラー画像フレームの組に基づいて、背景カラー画像１２０を生成するように構成することができる。
【００２６】
[0029]  いくつかのシナリオでは、画像処理装置１０２は、フレーム差分技術を用いることによって、第１のカラー画像フレームの組から背景カラー画像１２０を生成するように構成することができる。他のシナリオでは、画像処理装置１０２は、平均フィルタ技術を用いることによって、第１のカラー画像フレームの組から背景カラー画像１２０を生成するように構成することができる。生成された背景カラー画像１２０は、シーン１１０内に関心オブジェクトが存在しない可能性がある時点で、シーン１１０の画像に対応することができる。換言すれば、生成された背景カラー画像１２０は、関心オブジェクトが無い、シーン１１０の複数の特徴（例えばオブジェクト、影、及びカラー領域）などの特定のオブジェクト又は領域を含むことができる。生成された背景カラー画像１２０は、不正確である可能性があり、シーン１１０内に存在する第１の特徴の組を欠いている可能性がある。第１の特徴の組は、シーン１１０の一部とすることができるが、関心オブジェクトを含まなくてもよい（又はその一部ではなくてもよい）。関心オブジェクトが人である場合、第１の特徴の組は、シーン１１０内の関心オブジェクトによって保持される１又は２以上の無生物オブジェクト（例えばハンドバッグ又はラップトップ）を含むことができる。これは、不正確な背景及び前景推定を招く可能性がある。
【００２７】
[0030]  ある実施形態によれば、画像処理装置１０２は、第２のタイプのセンサ１０６から一連の深度画像１１４を受け取るように構成することができる。換言すれば、画像処理装置１０２は、第２のタイプのセンサ１０６から入力深度画像１１８を受け取るように構成することができる。画像処理装置１０２は、一連の深度画像１１４に基づいて、シーン１１０の背景深度画像１２２を生成するように構成することができる。画像処理装置１０２は、一連の深度画像１１４のうちの第１の深度画像の組に基づいて、背景深度画像１２２を生成するように構成することができる。
【００２８】
[0031]  いくつかのシナリオでは、画像処理装置１０２は、第１の深度画像の組に対してフレーム差分技術を用いることによって、背景深度画像１２２を生成するように構成することができる。他のシナリオでは、画像処理装置１０２は、第１の深度画像の組に対して平均フィルタ技術を用いることによって、第１の深度画像の組から背景深度画像１２２を生成するように構成することができる。ある実施形態によれば、生成された背景深度画像１２２は、シーン１１０内に関心オブジェクトが存在しない可能性があるとき、シーン１１０の深度画像に対応することができる。換言すれば、生成された背景深度画像１２２は、関心オブジェクトの深度情報を除いて、シーン１１０の複数の特徴（例えばオブジェクト、影、及び陰）の深度情報を含むことができる。生成された背景深度画像１２２は、シーン１１０の第１の特徴の組のうちの１又は２以上の特徴について深度情報を欠いている可能性がある。説明したような第１の特徴の組は、関心オブジェクトを除いて、シーン１１０の一部とすることができる。
【００２９】
[0032]  ある実施形態によれば、画像処理装置１０２は、入力カラー画像フレーム１１６及び背景カラー画像１２０に基づいて、第１の２値化された差分マップを生成するように構成することができる。第１の２値化された差分マップは、入力カラー画像フレーム１１６の複数の画素の各画素と背景カラー画像１２０の複数の画素のうちの対応する画素との間の複数の差分値を含むことができる。入力カラー画像フレーム１１６の第１の画素と背景カラー画像１２０の第２の画素との間の第１の差分値は、第１の画素の第１の画素値と第２の画素の第２の画素値との間の第１の差分を含むことができる。複数の差分値の各々は、第１の２値化された差分マップにおける異なる空間位置を有することができる。
【００３０】
[0033]  ある実施形態によれば、画像処理装置１０２は、生成された第１の２値化された差分マップの複数の差分値のうちの第１の差分値の組を決定するように構成することができ、第１の差分値の組は、規定の閾値よりも大きい。画像処理装置１０２は、第１の差分値の組の各々の空間位置に基づいて、第１の２値化された差分マップの決定された第１の差分値の組を、入力カラー画像フレーム１１６の第１の領域の組にマップするように構成することができる。入力カラー画像フレーム１１６の第１の領域の組は、入力カラー画像フレーム１１６内の関心オブジェクトに対応することができる。
【００３１】
[0034]  ある実施形態によれば、画像処理装置１０２は、入力カラー画像フレーム１１６に対する関心オブジェクトの第１の前景マスクを生成するように構成することができる。画像処理装置１０２は、第１の２値化された差分マップの第１の差分値の組にマップすることができる入力カラー画像フレーム１１６の第１の領域の組に基づいて、第１の前景マスクを生成するように構成することができる。第１の前景マスクは、入力カラー画像フレーム１１６に対する入力深度画像１１８及びシーン１１０の背景深度画像１２２に更に基づいて生成することができる。生成された第１の前景マスクは、入力カラー画像フレーム１１６内の関心オブジェクトを表すことができる。換言すれば、生成された第１の前景マスクは、入力カラー画像フレーム１１６内の関心オブジェクトの空間位置、サイズ及び形状を示すことができる。しかしながら、生成された第１の前景マスクは、不正確である可能性がある。例えば、生成された第１の前景マスクは、シーン１１０の異なるオブジェクトからの第２の特徴の組（例えば、望ましくないオブジェクト、影、又は陰）などの特定のアーチファクトを含む可能性がある。このようなアーチファクトは、シーン１１０の一部であり、関心オブジェクトの一部ではない可能性がある。生成された第１の前景マスクの第２の特徴の組などのアーチファクトは、入力カラー画像フレーム１１６の背景領域の１又は２以上の部分に対応することができ、これは、画像処理装置１０２によって、前景画素として誤って分類されている可能性がある。
【００３２】
[0035]  ある実施形態によれば、画像処理装置１０２は、入力カラー画像フレーム１１６内の人体の一部の形状を検出するように構成することができる。いくつかのシナリオでは、画像処理装置１０２は、人体検出技術及び／又は顔検出技術を用いることによって、入力カラー画像フレーム１１６内の人体の一部の形状を検出するように構成することができる。いくつかのシナリオでは、画像処理装置１０２は、人工ニューラルネットワーク（ＡＮＮ）を用いることによって、入力カラー画像フレーム１１６内の人体の一部の形状を検出するように構成することができる。画像処理装置１０２は、検出された入力カラー画像フレーム１１６内の人体の一部の形状を、入力カラー画像フレーム１１６の第２の領域の組にマップするように構成することができる。入力カラー画像フレーム１１６の第２の領域の組は、入力カラー画像フレーム１１６内の関心オブジェクトを表すことができる。
【００３３】
[0036]  ある実施形態によれば、画像処理装置１０２は、入力カラー画像フレーム１１６の識別された第２の領域の組に基づいて、入力カラー画像フレーム１１６内の関心オブジェクトの第２の前景マスクを生成するように構成することができる。換言すれば、画像処理装置１０２は、一連のカラー画像フレーム１１２のうちの入力カラー画像フレーム１１６内の人体の一部の形状に少なくとも基づいて、第２の前景マスクを生成するように構成することができる。第２の前景マスクは、入力深度画像１１８に更に基づいて生成することができる。
【００３４】
[0037]  ある実施形態によれば、画像処理装置１０２は、第１の前景マスクと第２の前景マスクとの間の第２の２値化された差分マップを生成するように構成することができる。第２の２値化された差分マップは、第１の前景マスクの複数の画素の各画素と第２の前景マスクの複数の画素のうちの対応する画素との間の複数の差分値を含むことができる。第１の前景マスクの第１の画素と第２の前景マスクの第２の画素との間の第１の差分値は、第１の前景マスクの第１の画素の第１の画素値と第２の前景マスクの第２の画素の第２の画素値との間の差分とすることができる。
【００３５】
[0038]  ある実施形態によれば、画像処理装置１０２は、生成された第２の２値化された差分マップに基づいて、生成された第１の前景マスク内の第１の画素の組を、誤って分類された画像画素として検出するように構成することができる。検出された第１の画素の組は、画像処理装置１０２によって、生成された第１の前景マスク内の前景画素として誤って分類されている可能性がある複数の背景画素とすることができる。生成された第１の前景マスクの検出された第１の画素の組は、シーン１１０の特徴のようなアーチファクトに対応することができ、これは、関心オブジェクトの一部ではない可能性がある。検出された第１の画素の組の各々は、第１の前景マスク内の色成分、深度成分及び空間位置を含むことができる。
【００３６】
[0039]  ある実施形態によれば、画像処理装置１０２は、第１の前景マスクの検出された第１の画素の組を、入力カラー画像フレーム１１６の第１の画素の組にマップするように構成することができる。画像処理装置１０２は、第１の前景マスクの検出された第１の画素の組を、入力カラー画像フレーム１１６の第１の画素の組にマップするように構成することができる。検出された第１の画素の組は、第１の前景マスクの検出された第１の画素の組の各々の空間位置と、入力カラー画像フレーム１１６の第１の画素の組の各々の空間位置との間の対応に基づいてマップすることができる。入力カラー画像フレーム１１６の第１の画素の組は、生成された背景カラー画像１２０内に存在しない可能性があるシーン１１０の第１の特徴の組に対応することができる。
【００３７】
[0040]  ある実施形態によれば、画像処理装置１０２は、入力カラー画像フレーム１１６の第１の画素の組のうちの対応する画素の色成分に基づいて、背景カラー画像１２０の第１の画素の組の各画素を更新するように構成することができる。例えば、画像処理装置１０２は、入力カラー画像フレーム１１６の第１の画素の組の各々の画素値を、背景カラー画像１２０の第１の画素の組のうちの対応する画素にコピーするように構成することができる。換言すれば、画像処理装置１０２は、シーン１１０のアーチファクト又は第１の特徴の組を含むように、背景カラー画像１２０を更新するように構成することができる。
【００３８】
[0041]  ある実施形態によれば、画像処理装置１０２は、第１の前景マスクの検出された第１の画素の組を、入力深度画像１１８の第１の画素の組にマップするように構成することができる。検出された第１の画素の組は、第１の前景マスクの検出された第１の画素の組の各々の空間位置と、入力深度画像１１８の第１の画素の組の各々の空間位置との間の対応に基づいてマップすることができる。入力カラー画像フレーム１１６の第１の画素の組は、背景深度画像１２２内に存在しない可能性があるシーン１１０の第１の特徴の組の深度情報に対応することができる。
【００３９】
[0042]  ある実施形態によれば、画像処理装置１０２は、入力深度画像１１８の第１の画素の組のうちの対応する画素の深度成分に基づいて、背景深度画像１２２の第１の画素の組の各画素を更新するように構成することができる。例えば、画像処理装置１０２は、入力深度画像１１８の第１の画素の組の各々の画素値を、背景深度画像１２２の第１の画素の組のうちの対応する画素にコピーするように構成することができる。換言すれば、画像処理装置１０２は、更新された背景深度画像１２２がシーン１１０の第１の特徴の組の深度情報を含むように、背景深度画像１２２を更新するように構成することができる。換言すれば、画像処理装置１０２は、第１の前景マスクの検出された第１の画素の組の各画素の色成分、深度成分及び空間位置を用いることによって、シーン１１０の背景カラー画像１２０及び背景深度画像１２２を更新するように構成することができる。
【００４０】
[0043]  ある実施形態によれば、画像処理装置１０２は、シーン１１０の更新された背景カラー画像１２０及び背景深度画像１２２を少なくとも用いることによって、入力カラー画像フレーム１１６から関心オブジェクトを抽出するように構成することができる。例えば、画像処理装置１０２は、入力カラー画像フレーム１１６から更新された背景カラー画像１２０を減算することによって、関心オブジェクトを抽出するように構成することができる。画像処理装置１０２は、更に、一連のカラー画像フレーム１１２のうちの第１のカラー画像フレームの組における関心オブジェクトの第１の前景マスクの組を生成するように構成することができる。画像処理装置１０２は、更に、生成された第１の前景マスクの組の各々について、複数の誤って分類された画像画素を検出するように構成することができる。画像処理装置１０２は、更に、生成された第１の前景マスクの組の各々の複数の誤って分類された画素の検出に基づいて、シーン１１０の背景カラー画像１２０及び背景深度画像１２２を周期的又は非周期的に更新するように構成することができる。
【００４１】
[0044]  ある実施形態によれば、画像処理装置１０２は、更に、シーン１１０の背景カラー画像１２０及び背景深度画像１２２を周期的又は連続的に更新するように構成することができる。画像処理装置１０２は、更に、一連のカラー画像フレーム１１２のうちの入力カラー画像フレーム１１６及び後続の画像フレームからの関心オブジェクトのリアルタイム又は近リアルタイムセグメンテーションを実行するように構成することができる。関心オブジェクトのセグメンテーションは、更新された（連続的又は周期的に更新された）シーン１１０の背景カラー画像１２０及び背景深度画像１２２を用いることによって、実行することができる。
【００４２】
[0045]  図２は、本開示の実施形態による、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための例示的な画像処理装置を示すブロック図である。図２の説明は、図１の要素に関連して行う。図２を参照すると、画像処理装置１０２は、制御回路２０２を含むことができる。制御回路２０２は、プロセッサ２０４と、前景マスク生成器２０６及び背景補正回路２０８などの１又は２以上の専用処理ユニットとを含むことができる。画像処理装置１０２は、更に、メモリ２１０と、ネットワークインターフェイス２１２と、Ｉ／Ｏ装置２１４などの１又は２以上の入力／出力（Ｉ／Ｏ）装置とを含むことができる。画像処理装置１０２は、更に、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６を含むことができる。
【００４３】
[0046]  プロセッサ２０４は、背景カラー画像１２０及び背景深度画像１２２を生成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。プロセッサ２０４は、入力カラー画像フレーム１１６と背景カラー画像１２０との間の第１の２値化された差分マップを生成するように構成することができる。プロセッサ２０４は、更に、第１の前景マスクと第２の前景マスクとの間の第２の２値化された差分マップを生成するように構成することができる。プロセッサ２０４は、第１の前景マスクの第１の画素の組を、誤って分類された画素として検出するように構成することができる。プロセッサ２０４は、前景マスク生成器２０６、背景補正回路２０８、メモリ２１０、ネットワークインターフェイス２１２、及びＩ／Ｏ装置２１４に通信可能に結合することができる。プロセッサ２０４は、本技術分野で公知のいくつかのプロセッサ技術に基づいて実装することができる。プロセッサ２０４の実装の例は、Ｘ８６ベースのプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他の制御回路とすることができる。
【００４４】
[0047]  前景マスク生成器２０６は、一連のカラー画像フレーム１１２から関心オブジェクトの第１の前景マスクを生成するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。前景マスク生成器２０６は、更に、一連のカラー画像フレーム１１２のうちの入力カラー画像フレーム１１６内の人体の一部の形状に基づいて、入力カラー画像フレーム１１６内の関心オブジェクトの第２の前景マスクを生成するように構成することができる。前景マスク生成器２０６の実装の例は、Ｘ８６ベースのプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他の制御回路とすることができる。
【００４５】
[0048]  背景補正回路２０８は、第１の前景マスクの検出された第１の画素の組の各画素の色成分を用いて、シーン１１０の背景カラー画像１２０を更新するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。背景補正回路２０８は、更に、第１の前景マスクの検出された第１の画素の組の各画素の深度成分を用いて、シーン１１０の背景深度画像１２２を更新するように構成することができる。背景補正回路２０８の実装の例は、Ｘ８６ベースのプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他の制御回路とすることができる。
【００４６】
[0049]  メモリ２１０は、プロセッサ２０４、前景マスク生成器２０６及び背景補正回路２０８が実行可能な機械語及び／又は命令セットを記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。メモリ２１０は、第１のタイプのセンサ１０４から受け取った一連のカラー画像フレーム１１２を記憶するように構成することができる。メモリ２１０は、更に、第２のタイプのセンサ１０６から受け取った一連の深度画像１１４を記憶するように構成することができる。メモリ２１０の実装の例としては、以下に限定されるわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。
【００４７】
[0050]  ネットワークインターフェイス２１２は、コンピュータ、スマートフォン及びサーバなどの複数の電子装置に接続して通信するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２１２は、無線通信をサポートする既知の技術を実装することができる。ネットワークインターフェイス２１２としては、以下に限定されるわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ・デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード及び／又はローカルバッファを挙げることができる。ネットワークインターフェイス２１２は、インターネット、イントラネット、及び／又は、セルラー電話ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、パーソナルエリアネットワーク及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークとオフライン及びオンライン無線通信を介して通信することができる。無線通信は、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ  ８０２．１１、ＩＥＥＥ  ８０２．１１ｂ、ＩＥＥＥ  ８０２．１１ｇ、ＩＥＥＥ  ８０２．１１ｎ及び／又は他の任意のＩＥＥＥ  ８０２．１１プロトコルなど）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、モノのインターネット（Ｉｏｔ）技術、マシン型通信（ＭＴＣ）技術、電子メールプロトコル、インスタントメッセージング及び／又はショートメッセージサービス（ＳＭＳ）などの複数の通信規格、通信プロトコル及び通信技術のいずれかを使用することができる。
【００４８】
[0051]  Ｉ／Ｏ装置２１４は、１又は２以上のユーザから入力を受け取るように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｉ／Ｏ装置２１４は、更に、１又は２以上のユーザに出力を提供するように構成することができる。Ｉ／Ｏ装置２１４は、プロセッサ２０４と通信できる様々な入出力装置を含むことができる。入力装置の例としては、以下に限定されるわけではないが、タッチ画面、物理的入力ボタン、ジョイスティック、マイク及び／又はドッキングステーションを挙げることができる。出力装置の例としては、以下に限定されるわけではないが、内蔵ディスプレイ画面、タッチ画面式ディスプレイ及び／又はスピーカを挙げることができる。
【００４９】
[0052]  図３Ａは、本開示の実施形態による、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための図１の画像処理装置の例示的な動作を示す。図３Ａの説明は、図１及び図２の要素に関連して行う。
【００５０】
[0053]  ３０２において、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６から、それぞれ、入力カラー画像フレーム３０４（入力カラー画像フレーム１１６（図１）など）及び入力深度画像３０８（入力深度画像１１８（図１）など）を受け取ることができる。入力カラー画像フレーム３０４は、第１のタイプのセンサ１０４によって取り込むことができる一連のカラー画像フレーム（一連のカラー画像フレーム１１２（図１）など）のうちの１つとすることができる。入力カラー画像フレーム３０４は、入力カラー画像フレーム３０４内に入力カラー画像フレーム３０４の第１の領域３０６として表される人体の一部を含むことができる。第１の領域３０６は、複数の画素を含むことができる。入力カラー画像フレーム３０４の第１の領域３０６の複数の画素の各々は、色成分及び空間位置を有することができる。入力深度画像３０８は、第２のタイプのセンサ１０６によって取り込まれる一連の深度画像（一連の深度画像１１４（図１）など）のうちの１つとすることができる。
【００５１】
[0054]  ３１０において、背景カラー画像３１２Ａ（背景カラー画像１２０（図１）など）及び背景深度画像３１４Ａ（背景深度画像１２２（図１）など）を生成することができる。プロセッサ２０４は、受け取った一連のカラー画像フレームに基づいて、背景カラー画像３１２Ａを生成するように構成することができる。プロセッサ２０４は、受け取った一連の深度画像に基づいて、背景深度画像３１４Ａを生成するように構成することができる。
【００５２】
[0055]  ３１６において、入力カラー画像フレーム３０４、入力深度画像３０８、背景カラー画像３１２Ａ及び背景深度画像３１４Ａに基づいて、第１の２値化された差分マップを生成することができる。前景マスク生成器２０６は、第１の２値化された差分マップを生成するように構成することができる。第１の２値化された差分マップは、入力カラー画像フレーム３０４の複数の画素の各画素と背景カラー画像３１２Ａの複数の画素のうちの対応する画素との間の複数の差分値を含むことができる。第１の２値化された差分マップは、更に、入力深度画像３０８と背景深度画像３１４Ａとの間の複数の差分値を含むことができる。前景マスク生成器２０６は、第１の２値化された差分マップの複数の差分値のうちの第１の差分値の組を決定するように構成することができ、第１の差分値の組は、第１の閾値よりも大きなものとすることができる。前景マスク生成器２０６は、更に、決定された第１の差分値の組を、入力カラー画像フレーム３０４の第１の領域の組にマップするように構成することができる。
【００５３】
[0056]  ３１８において、３１６の第１の２値化された差分マップによって、入力カラー画像フレーム３０４から第１の前景マスクを生成することができる。前景マスク生成器２０６は、入力カラー画像フレーム３０４から第１の前景マスクを生成するように構成することができる。
【００５４】
[0057]  ３２０において、入力カラー画像フレーム３０４内の人体の一部の形状の存在に基づいて、第２の前景マスクを生成することができる。入力カラー画像フレーム３０４内の人体の一部の形状に基づいて、第１の前景マスクを更新して、第２の前景マスクを取得する。前景マスク生成器２０６は、顔検出技術及び人体検出技術の一方に基づいて、人体の一部の形状を検出するように構成することができる。
【００５５】
[0058]  ３２２において、生成された第１の前景マスク及び生成された第２の前景マスクに基づいて、第２の２値化された差分マップを生成することができる。プロセッサ２０４は、第２の２値化された差分マップを生成するように構成することができる。第２の２値化された差分マップは、生成された第１の前景マスクの複数の画素の各画素と生成された第２の前景マスクの複数の画素のうちの対応する画素との間の複数の差分値を含むことができる。プロセッサ２０４は、更に、第２の２値化された差分マップの複数の差分値のうちの第１の非ゼロの差分値の組を、第１の前景マスクの第１の画素の組にマップするように構成することができる。
【００５６】
[0059]  ３２４において、第１の前景マスクの第１の画素の組を、誤って分類された画素であると検出することができる。背景補正回路２０８は、第１の前景マスクの第１の画素の組を、誤って分類された画素として検出するように構成することができる。第１の前景マスクの検出された第１の画素の組は、前景マスク生成器２０６によって前景画素として誤って分類されている可能性がある背景画素とすることができる。
【００５７】
[0060]  ３２６において、背景カラー画像３１２Ａ及び背景深度画像３１４Ａを、更新された背景カラー画像３１２Ｂ及び更新された背景深度画像３１４Ｂに更新することができる。背景補正回路２０８は、第１の前景マスクの検出された第１の画素の組に基づいて、更新された背景カラー画像３１２Ｂ及び更新された背景深度画像３１４Ｂを生成するように構成することができる。
【００５８】
[0061]  図３Ｂは、本開示の実施形態による、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための図１の画像処理装置の例示的な動作を示す。図３Ｂの説明は、図１、図２及び図３Ａの要素に関連して行う。
【００５９】
[0062]  ３２８において、入力カラー画像フレーム３０４から更新された背景カラー画像３１２Ｂを減算して、第１の差分画像を生成することができる。プロセッサ２０４は、入力カラー画像フレーム３０４から更新された背景カラー画像３１２Ｂを減算するように構成することができる。プロセッサ２０４は、更に、入力深度画像３０８から更新された背景深度画像３１４Ｂを減算して、第２の差分画像を生成するように構成することができる。
【００６０】
[0063]  ３３０において、第１の差分画像及び第２の差分画像を用いて、入力カラー画像フレーム３０４から関心オブジェクト（人体の一部など）を抽出することができる。プロセッサ２０４は、入力カラー画像フレーム３０４から関心オブジェクトを抽出するように構成することができる。
【００６１】
[0064]  図４Ａ、図４Ｂ及び図４Ｃは、本開示の実施形態による、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための例示的な方法を示すフローチャートを共同で示す。図４Ａ、図４Ｂ及び図４Ｃを参照すると、フローチャート４００が示されている。フローチャート４００の説明は、図１、図２、図３Ａ及び図３Ｂに関連して行う。方法は、４０２から開始する。１又は２以上の動作（４０４及び４０６など）は、並列処理によって１又は２以上の他の動作（４０８及び４１０など）と同時に実行することができる。したがって、制御は、４０４及び４０８に同時に進むことができる。
【００６２】
[0065]  ４０４において、シーン１１０から一連のカラー画像フレーム１１２を取り込むことができる。第１のタイプのセンサ１０４は、図１で説明したように、一連のカラー画像フレーム１１２を取り込むように構成することができる。一連のカラー画像フレーム１１２は、ビデオとすることができる。
【００６３】
[0066]  ４０６において、一連のカラー画像フレーム１１２に基づいて、シーン１１０の背景カラー画像１２０を生成することができる。プロセッサ２０４は、図１で説明したように、一連のカラー画像フレーム１１２に基づいて、背景カラー画像１２０を生成するように構成することができる。
【００６４】
[0067]  ４０８において、一連のカラー画像フレーム１１２の各カラー画像フレームについて、深度画像を取り込むことができる。第２のタイプのセンサ１０６は、図１で説明したように、一連のカラー画像フレーム１１２の各々について深度画像を取り込むように構成することができる。一連のカラー画像フレーム１１２の各カラー画像フレームの深度画像は、それぞれのカラー画像フレームに関連する深度情報を含む。換言すれば、第２のタイプのセンサ１０６は、一連の深度画像１１４を取り込むことができる。深度画像の複数の画素の各々は、対応する深度画像内の深度成分及び空間位置を含むことができる。
【００６５】
[0068]  ４１０において、一連のカラー画像フレーム１１２の各々の深度画像に基づいて、シーン１１０の背景深度画像１２２を生成することができる。プロセッサ２０４は、一連の深度画像１１４から背景深度画像１２２を生成するように構成することができる。換言すれば、プロセッサ２０４は、一連の深度画像１１４に基づいて、シーン１１０の背景深度画像１２２を生成するように構成することができる。
【００６６】
[0069]  ４１２において、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６から、それぞれ、入力カラー画像フレーム１１６及び入力深度画像１１８を受け取ることができる。プロセッサ２０４は、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６から、それぞれ、入力カラー画像フレーム１１６及び入力深度画像１１８を受け取るように構成することができる。
【００６７】
[0070]  ４１４において、入力カラー画像フレーム１１６及び背景カラー画像１２０に基づいて、第１の２値化された差分マップを生成することができる。プロセッサ２０４は、第１の２値化された差分マップを生成するように構成することができる。第１の２値化された差分マップは、入力カラー画像フレーム１１６の複数の画素の各画素と背景カラー画像１２０の複数の画素のうちの対応する画素との間の複数の差分値を含むことができる。入力カラー画像フレーム１１６の第１の画素と背景カラー画像１２０の第２の画素との間の第１の差分値は、第１の画素の第１の画素値と第２の画素の第２の画素値との間の差分とすることができる。
【００６８】
[0071]  ４１６において、生成された第１の２値化された差分マップの複数の差分値から、第１の差分値の組を選択することができる。プロセッサ２０４は、第１の差分値の組を選択するように構成することができる。いくつかのシナリオでは、プロセッサ２０４は、生成された第１の２値化された差分マップの複数の差分値から、第１の差分値の組をランダムに選択するように構成することができる。
【００６９】
[0072]  ４１８において、生成された第１の２値化された差分マップの第１の差分値の組の各々が閾値よりも大きいかどうかを決定することができる。第１の差分値の組の各々が閾値よりも小さい場合、制御は４１６に進むことができる。第１の差分値の組の各々が閾値よりも大きい場合、制御は４２０に進むことができる。プロセッサ２０４は、第１の差分値の組の各々を、入力カラー画像フレーム１１６の第１の領域の組のうちの異なる領域にマップするように構成することができる。
【００７０】
[0073]  ４２０において、入力カラー画像フレーム１１６の関心オブジェクトに対して、第１の前景マスクを生成することができる。前景マスク生成器２０６は、入力カラー画像フレーム１１６、入力深度画像１１８、背景カラー画像１２０及び背景深度画像１２２に基づいて、第１の前景マスクを生成するように構成することができる。第１の前景マスクは、入力カラー画像フレーム１１６とシーン１１０の背景カラー画像１２０との間の差分に更に基づいて生成することができる。第１の前景マスクは、入力カラー画像フレーム１１６のマップされた第１の領域の組に更に基づいて生成することができる。
【００７１】
[0074]  ４２２において、入力カラー画像フレーム１１６内で、少なくとも人体の一部の形状を検出することができる。前景マスク生成器２０６は、人体検出技術及び顔検出技術の一方を用いて、人体の一部の形状を検出するように構成することができる。
【００７２】
[0075]  ４２４において、一連のカラー画像フレーム１１２のうちの入力カラー画像フレーム１１６内の人体の一部の形状に少なくとも基づいて、関心オブジェクトの第２の前景マスクを生成することができる。前景マスク生成器２０６は、第１の前景マスクの更新によって、第２の前景マスクを生成するように構成することができる。第２の前景マスクは、図１で説明したように、入力深度画像１１８に更に基づいて生成することができる。
【００７３】
[0076]  ４２６において、第２の２値化された差分マップを生成することができる。プロセッサ２０４は、第１の前景マスクと第２の前景マスクとの間の差分に基づいて、第２の２値化された差分マップを生成するように構成することができる。第２の２値化された差分マップは、第１の前景マスクの複数の画素の各画素と第２の前景マスクの複数の画素のうちの対応する画素との間の複数の差分値を含む。
【００７４】
[0077]  ４２８において、生成された第１の前景マスクの第１の画素の組を、誤って分類された画素として検出することができる。プロセッサ２０４は、関心オブジェクトの生成された第１の前景マスクと生成された第２の前景マスクとの間の差分の２値化によって、第１の画素の組を、誤って分類された画素として検出するように構成することができる。検出された第１の画素の組の各々は、空間位置、色成分及び深度成分を有することができる。検出された第１の画素の組は、生成された第１の前景マスク内の前景画素として誤って分類されている可能性がある複数の背景画素とすることができる。１又は２以上の動作（４３０、４３２及び４３４など）は、並列処理によって１又は２以上の他の動作（４３６、４３８及び４４０など）と同時に実行することができる。したがって、制御は、４３２及び４３６に同時に進むことができる。
【００７５】
[0078]  ４３０において、検出された第１の画素の組の各々の空間位置に基づいて、第１の前景マスクの検出された第１の画素の組を、入力カラー画像フレーム１１６の第１の画素の組にマップすることができる。プロセッサ２０４は、図１、図２及び図３で説明したように、第１の前景マスクの検出された第１の画素の組を、入力カラー画像フレーム１１６の第１の画素の組にマップするように構成することができる。
【００７６】
[0079]  ４３２において、入力カラー画像フレーム１１６の検出された第１の画素の組のうちの対応する画素の色成分に基づいて、背景カラー画像１２０の第１の画素の組の各画素を更新することができる。背景補正回路２０８は、図２及び図３で説明したように、背景カラー画像１２０の第１の画素の組を更新するように構成することができる。
【００７７】
[0080]  ４３４において、第１の前景マスクの検出された第１の画素の組の各画素の色成分、深度成分及び空間位置を用いて、シーン１１０の背景カラー画像１２０を更新することができる。背景補正回路２０８は、図１で説明したように、背景カラー画像１２０の第１の画素の組の更新に基づいて、シーン１１０の背景カラー画像を更新するように構成することができる。
【００７８】
[0081]  ４３６において、検出された第１の画素の組の各々の空間位置に基づいて、第１の前景マスクの検出された第１の画素の組を、入力深度画像１１８の第１の画素の組にマップすることができる。プロセッサ２０４は、図１、図２及び図３で説明したように、第１の前景マスクの検出された第１の画素の組を、入力深度画像１１８の第１の画素の組でマップするように構成することができる。
【００７９】
[0082]  ４３８において、入力深度画像１１８の第１の画素の組のうちの対応する画素の深度成分に基づいて、背景深度画像１２２の第１の画素の組の各画素を更新することができる。背景補正回路２０８は、背景深度画像１２２の第１の画素の組を更新するように構成することができる。例えば、背景補正回路２０８は、入力深度画像１１８の第１の画素の組の各画素の深度成分を、背景深度画像１２２の第１の画素の組のうちの対応する画素にコピーするように構成することができる。
【００８０】
[0083]  ４４０において、第１の前景マスクの検出された第１の画素の組の各画素の色成分、深度成分及び空間位置を用いて、シーン１１０の背景深度画像１２２を更新することができる。背景補正回路２０８は、背景深度画像１２２の第１の画素の組の更新に基づいて、シーン１１０の背景カラー画像１２０を更新するように構成することができる。
【００８１】
[0084]  ４４２において、シーン１１０の更新された背景カラー画像１２０及び更新された背景深度画像１２２に基づいて、入力カラー画像フレーム１１６から関心オブジェクトを抽出することができる。プロセッサ２０４は、入力カラー画像フレーム１１６から関心オブジェクトを抽出するように構成することができる。制御は、４４４に進んで終了する。
【００８２】
[0085]  現在、従来のオブジェクトセグメンテーション装置は、色ベースのセグメンテーション法及び深度ベースのオブジェクトセグメンテーション法などのオブジェクトセグメンテーション法の組に基づいて、（シーンから取り込むことができる）第１の画像から関心オブジェクト（例えば人体又は人間の顔）をセグメント化するように構成することができる。色ベースのセグメンテーション法では、第１の画像から所定の静止した背景画像を減算することに基づいて、関心オブジェクトをセグメント化することができる。しかしながら、所定の静止した背景画像を生成するために、従来のオブジェクトセグメンテーション装置は、関心オブジェクトがシーン内に存在しないとき、静止したカメラを用いて、シーンの一連の画像を取り込むことが必要である。所定の静止した背景画像は、一連の画像から生成することができる。一連の画像が誤って取り込まれる場合、所定の静止した背景画像は、誤って生成される可能性がある。したがって、従来のオブジェクトセグメンテーション装置は、関心オブジェクトを不正確に及び／又は誤ってセグメント化する可能性がある。また、色ベースのセグメンテーション法は、面倒であると考えられる。
【００８３】
[0086]  深度ベースの方法では、従来のオブジェクトセグメンテーション装置は、深度センサによって取り込むことができる深度画像を用いることによって、関心オブジェクトをセグメント化することができる。深度センサが、ノイズが多く無効な深度値を含む深度画像を取り込む場合、関心オブジェクトは、不正確にセグメント化される可能性がある。
【００８４】
[0087]  本開示の実施形態によれば、画像処理装置が開示される。画像処理装置（画像処理装置１０２（図１）など）は、第１のタイプのセンサ（第１のタイプのセンサ１０４（図１）など）と、第２のタイプのセンサ（第２のタイプのセンサ１０６（図１）など）と、制御回路（制御回路２０２（図２）など）とを備える。第１のタイプのセンサ１０４は、シーン（シーン１１０（図１）など）の一連のカラー画像フレーム（例えば、一連のカラー画像フレーム１１２（図１））を取り込むように構成することができる。第２のタイプのセンサ１０６は、一連のカラー画像フレーム１１２のうちの対応する各カラー画像フレームについて深度画像を取り込むように構成することができる。制御回路２０２は、入力カラー画像（入力カラー画像フレーム１１６（図１）など）と、入力深度画像（入力深度画像１１８（図１）など）とを受け取るように構成することができる。
【００８５】
[0088]  制御回路２０２は、入力カラー画像フレーム１１６に対する入力深度画像１１８及びシーン１１０の背景深度画像（背景深度画像１２２（図１）など）、及び入力カラー画像フレーム１１６とシーン１１０の背景カラー画像（背景カラー画像１２０（図１）など）との間の差分を用いて、入力カラー画像フレーム１１６に対する関心オブジェクトの第１の前景マスクを生成するように構成することができる。制御回路２０２は、一連のカラー画像フレーム１１２のうちの入力カラー画像フレーム１１６内の人体の一部の形状に少なくとも基づいて、入力カラー画像フレーム１１６内の関心オブジェクトの第２の前景マスクを生成するように構成することができる。制御回路２０２は、関心オブジェクトの生成された第１の前景マスクと生成された第２の前景マスクとの間の差分の２値化によって、生成された第１の前景マスク内の第１の画素の組を、誤って分類された画像画素として検出するように構成することができる。検出された第１の画素の組は、生成された第１の前景マスク内の前景画素として誤って分類されている複数の背景画素である。制御回路２０２は、検出された第１の画素の組の各画素の色成分、深度成分及び空間位置を用いて、シーン１１０の背景カラー画像１２０及び背景深度画像１２２を更新するように構成することができる。制御回路２０２は、シーン１１０の更新された背景カラー画像１２０及び背景深度画像１２２に少なくとも基づいて、入力カラー画像フレーム１１６から関心オブジェクトを抽出するように構成することができる。
【００８６】
[0089]  したがって、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのために、開示した画像処理装置１０２は、有利なことに、新しい背景補正ベースの方法を提供して、背景カラー画像１２０及び背景深度画像１２２のエラーを軽減する。ある実施形態によれば、制御回路２０２は、まず、第１の前景マスクを生成する。次に、制御回路２０２は、第１の前景マスク内の第１の画素の組を、誤って分類された画素として正確に検出する。第１の画素の組は、複数の前景画素として誤って分類された複数の背景画素とすることができる。第１の前景マスクの第１の画素の組を誤って分類された画素として検出することについては、図１、図２、図３Ａ、図３Ｂ、図４Ａ、図４Ｂ及び図４Ｃで説明した。制御回路２０２は、第１の前景マスクの第１の画素の組の色成分、深度成分及び空間位置に基づいて、背景カラー画像１２０及び背景深度画像１２２を連続的に更新するように構成することができる。制御回路２０２は、連続的に更新された背景カラー画像及び更新された背景深度画像を用いて、入力カラー画像フレーム１１６から関心オブジェクトを正確に抽出するように構成することができる。
【００８７】
[0090]  従来の技術では、更新及び／又は補正されていない可能性がある背景カラー画像を用いて、第１の画像から関心オブジェクトを抽出することがある。背景カラー画像が誤っている場合、関心オブジェクトは、誤って抽出される可能性がある。対照的に、開示した画像処理装置１０２の制御回路２０２は、生成された第１の前景マスク内の誤って分類された画素の検出に基づいて、背景カラー画像１２０及び背景深度画像１２２を更新及び／又は補正することができる。（従来のシステムのように）背景カラー画像を更新及び／又は補正することなく、背景カラー画像１２０を用いる代わりに、開示した画像処理装置１０２の背景補正回路２０８などの１又は２以上の専用ハードウェアが、オブジェクトセグメンテーションの前に背景カラー画像１２０を更新する。背景補正回路２０８は、更に、オブジェクトセグメンテーションの前に背景カラー画像１２０及び背景深度画像１２２を更新することによって、従来のシステムよりも向上した精度で入力カラー画像フレーム１１６から関心オブジェクトを効率的且つ効果的に抽出する能力を、画像処理装置１０２にもたらす。
【００８８】
[0091]  本開示の様々な実施形態は、背景画像及び背景深度補正による一連のカラー画像フレームにおけるオブジェクトセグメンテーションのための画像処理装置を動作させるための、機械及び／又はコンピュータが実行できる命令セットを記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。この命令セットは、機械及び／又はコンピュータに、シーンの一連のカラー画像フレームの取り込みを含む動作を実行させることができる。第２のタイプのセンサによって、一連のカラー画像フレームのうちの対応する各カラー画像フレームについて深度画像を取り込むことができる。制御回路によって、第１のタイプのセンサから、一連のカラー画像フレームのうちの入力カラー画像フレームを受け取ることができる。制御回路によって、第２のタイプのセンサから、入力カラー画像フレームに対する対応する入力深度画像を受け取ることができる。
【００８９】
[0092]  入力カラー画像フレームに対する入力深度画像及びシーンの背景深度画像を用いて、入力カラー画像フレームに対する関心オブジェクトの第１の前景マスクを生成することができる。一連のカラー画像フレームのうちの入力カラー画像フレーム内の人体の一部の形状に少なくとも基づいて、入力カラー画像フレーム内の関心オブジェクトの第２の前景マスクを生成することができる。関心オブジェクトの生成された第１の前景マスクと生成された第２の前景マスクとの間の差分の２値化によって、生成された第１の前景マスク内の第１の画素の組を、誤って分類された画像画素として検出することができる。検出された第１の画素の組の各画素の色成分、深度成分及び空間位置を用いて、シーンの背景カラー画像及び背景深度画像を更新することができる。シーンの更新された背景カラー画像及び背景深度画像に少なくとも基づいて、入力カラー画像フレームから関心オブジェクトを抽出することができる。
【００９０】
[0093]  本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。
【００９１】
[0094]  本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
【００９２】
[0095]  いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することができると理解するであろう。また、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は内容を適合させるための多くの変更を行うこともできる。したがって、本開示は、開示した特定の実施形態に限定されるものではなく、特許請求の範囲に該当する全ての実施形態を含むことが意図されている。
【符号の説明】
【００９３】
１００  ネットワーク環境
１０２  画像処理装置
１０４  第１のタイプのセンサ
１０６  第２のタイプのセンサ
１０８  視野
１１０  シーン
１１２  一連のカラー画像フレーム
１１４  一連の深度画像
１１６  入力カラー画像フレーム
１１８  入力深度画像
１２０  背景カラー画像
１２２  背景深度画像
２０２  制御回路
２０４  プロセッサ
２０６  前景マスク生成器
２０８  背景補正回路
２１０  メモリ
２１２  ネットワークインターフェイス
２１４  Ｉ／Ｏ装置
【図１】
2021521543.tif 000003
【図２】
2021521543.tif 000004
【図３Ａ】
2021521543.tif 000005
【図３Ｂ】
2021521543.tif 000006
【図４Ａ】
2021521543.tif 000007
【図４Ｂ】
2021521543.tif 000008
【図４Ｃ】
2021521543.tif 000009
【国際調査報告】
2021521543.tif 000010
2021521543.tif 000011
2021521543.tif 000012