(57)【要約】  画像処理装置が、第１のタイプのセンサと、第２のタイプのセンサと、制御回路とを含む。制御回路は、以前のカラー画像フレーム内の関心オブジェクトの第１の前景マスクを受け取り、現在のカラー画像フレーム内の関心オブジェクトの第２の前景マスクを第１の画像解像度でさらに推定する。さらに、制御回路は、第２の前景マスクを第２の画像解像度にアップサンプリングして、現在のカラー画像フレーム内の少なくとも１つの関心領域を選択する。その後、制御回路は、アップサンプリングされた第２の前景マスクを、選択された関心領域内の少なくとも１つのピクセルのカーネル密度ベースの推定に基づいて生成された期待値パラメータによってアップスケーリングする。アップスケーリングされた第２の前景マスクは、推定された第２の前景マスクに対するアップサンプリングによって生じる前景マスクエラーを最小限しか示さない。【選択図】      図４Ａ、図４Ｂ
2021521542.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
現在のカラー画像フレーム及び以前の現在のカラー画像フレームを含む一連のカラー画像フレームを取り込むように構成された第１のタイプのセンサと、
制御回路と、
を備え、前記制御回路は、
前記以前のカラー画像フレーム内の関心オブジェクトの第１の前景マスクを受け取り、
前記第１の前景マスクと、前記現在のカラー画像フレーム内の少なくとも人体の一部の形状とに基づいて、前記現在のカラー画像フレーム内の前記関心オブジェクトの第２の前景マスクを第１の画像解像度で推定し、
前記現在のカラー画像フレームの前記推定された第２の前景マスクを前記第１の画像解像度から第２の画像解像度にアップサンプリングし、前記アップサンプリングされた第２の前景マスクが、未知のマスク値を有する少なくとも１つのピクセルを含み、
前記アップサンプリングされた第２の前景マスクの前記少なくとも１つのピクセルの空間的位置に基づいて、前記現在のカラー画像フレーム内の少なくとも１つの関心領域を選択し、
前記現在のカラー画像フレームの前記選択された少なくとも１つの関心領域内の前記少なくとも１つのピクセルのカーネル密度ベースの推定に基づいて生成された期待値パラメータによって、前記アップサンプリングされた第２の前景マスクをアップスケーリングして、前記アップスケーリングされた第２の前景マスクが、前記推定された第２の前景マスクに対する前記アップサンプリングによって生じる前景マスクエラーを最小限しか示さないようにする、
ように構成される、
ことを特徴とする画像処理装置。
【請求項２】
前記制御回路は、前記現在のカラー画像フレームを前景領域及び背景領域に分類するようにさらに構成され、前記前景領域は、推定された第２の前景マスクにマッピングされる、
請求項１に記載の画像処理装置。
【請求項３】
前記現在のカラー画像フレーム及び前記以前のカラー画像フレームの深度情報を取り込むように構成された第２のタイプのセンサをさらに備え、前記第２のタイプのセンサは、前記一連のカラー画像フレームに取り込まれたシーンの一連の深度画像を取り込むようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項４】
前記制御回路は、前記第１のタイプのセンサから前記一連のカラー画像フレームを受け取り、前記第２のタイプのセンサから前記一連の深度画像を受け取るようにさらに構成される、
請求項３に記載の画像処理装置。
【請求項５】
前記制御回路は、前記第２の前景マスク内の複数のピクセルと前記現在のカラー画像フレーム内の複数のピクセルとの間の一致に基づいて前記第２の前景マスクを前記第１の画像解像度から前記第２の画像解像度にアップサンプリングするようにさらに構成され、前記第１の画像解像度は、前記第２の画像解像度よりも粗い、
請求項１に記載の画像処理装置。
【請求項６】
前記制御回路は、前記選択された少なくとも１つの関心領域の各ピクセルの色成分、深度成分及び空間的位置と、前記以前のカラー画像フレームの前記第１の前景マスクの対応するピクセルの色成分、深度成分及び空間的位置とに基づいて、前記選択された少なくとも１つの関心領域内の少なくとも１つのピクセルの前記期待値パラメータを推定するようにさらに構成され、前記期待値パラメータは、前記選択された少なくとも１つの関心領域の複数のピクセルの複数の共分散パラメータにさらに基づいて推定される、
請求項１に記載の画像処理装置。
【請求項７】
前記選択された関心領域は、前景ピクセルセット及び背景ピクセルセットを含み、前記制御回路は、前記選択された関心領域内の前記前景ピクセルセットの各ピクセルの色成分、深度成分及び空間的位置に基づいて、前記選択された関心領域の第１の共分散パラメータセットを推定するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項８】
前記制御回路は、前記選択された関心領域内の前記背景ピクセルセットの各ピクセルの色成分、深度成分及び空間的位置に基づいて、前記選択された関心領域の第２の共分散パラメータセットを推定するようにさらに構成される、
請求項７に記載の画像処理装置。
【請求項９】
前記選択された少なくとも１つの関心領域の前記複数のピクセルの前記複数の共分散パラメータは、前記選択された少なくとも１つの関心領域の前記推定された第１の共分散パラメータセット及び前記推定された第２の共分散パラメータセットを含む、
請求項７に記載の画像処理装置。
【請求項１０】
前記制御回路は、前記推定された第２の前景マスクの少なくとも１つのピクセルの前記推定される期待値パラメータが閾値を上回ることを第１の基準として決定するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項１１】
前記制御回路は、前記第１の基準に基づいて、前記少なくとも１つのピクセルを前景ピクセル及び背景ピクセルの一方として分類するようにさらに構成される、
請求項１０に記載の画像処理装置。
【請求項１２】
前記制御回路は、前記現在のカラー画像フレームの前記アップスケーリングされた第２の前景マスクに基づいて、前記現在のカラー画像フレームから前記関心オブジェクトを抽出するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項１３】
方法であって、
第１のタイプのセンサ、第２のタイプのセンサ及び制御回路を備えた画像処理装置において、
前記第１のタイプのセンサが、現在のカラー画像フレーム及び以前の現在のカラー画像フレームを含む一連のカラー画像フレームを取り込むステップと、
前記制御回路が、前記以前のカラー画像フレーム内の関心オブジェクトの第１の前景マスクを受け取るステップと、
前記制御回路が、前記第１の前景マスクと、前記現在のカラー画像フレーム内の少なくとも人体の一部の形状とに基づいて、前記現在のカラー画像フレーム内の前記関心オブジェクトの第２の前景マスクを第１の画像解像度で推定するステップと、
前記制御回路が、前記現在のカラー画像フレームの前記推定された第２の前景マスクを前記第１の画像解像度から第２の画像解像度にアップサンプリングし、前記アップサンプリングされた第２の前景マスクが、未知のマスク値を有する少なくとも１つのピクセルを含むステップと、
前記制御回路が、前記アップサンプリングされた第２の前景マスクの前記少なくとも１つのピクセルの空間的位置に基づいて、前記現在のカラー画像フレーム内の少なくとも１つの関心領域を選択するステップと、
前記制御回路が、前記現在のカラー画像フレームの前記選択された少なくとも１つの関心領域内の前記少なくとも１つのピクセルのカーネル密度ベースの推定に基づいて生成された期待値パラメータによって、前記アップサンプリングされた第２の前景マスクをアップスケーリングして、前記アップスケーリングされた第２の前景マスクが、前記推定された第２の前景マスクに対するアップサンプリングによって生じる前景マスクエラーを最小限しか示さないようにするステップと、
を含むことを特徴とする方法。
【請求項１４】
前記制御回路が、前記現在のカラー画像フレームを前景領域及び背景領域に分類するステップをさらに含み、前記前景領域は、前記推定された第２の前景マスクにマッピングされる、
請求項１３に記載の方法。
【請求項１５】
前記第２のタイプのセンサが、前記現在のカラー画像フレーム及び前記以前のカラー画像フレームの深度情報を取り込むステップをさらに含む、
請求項１３に記載の方法。
【請求項１６】
前記第２のタイプのセンサが、前記一連のカラー画像フレームに取り込まれたシーンの一連の深度画像を取り込むステップをさらに含む、
請求項１３に記載の方法。
【請求項１７】
前記制御回路が、前記第２の前景マスク内の複数のピクセルと前記現在のカラー画像フレーム内の複数のピクセルとの間の一致に基づいて、前記第２の前景マスクを前記第１の画像解像度から前記第２の画像解像度にアップサンプリングするステップをさらに含み、前記第１の画像解像度は、前記第２の画像解像度よりも粗い、
請求項１３に記載の方法。
【請求項１８】
前記制御回路が、前記選択された少なくとも１つの関心領域の各ピクセルの色成分、深度成分及び空間的位置と、前記以前のカラー画像フレームの前記第１の前景マスクの対応するピクセルの色成分、深度成分及び空間的位置とに基づいて、前記選択された少なくとも１つの関心領域内の少なくとも１つのピクセルの前記期待値パラメータを推定するステップをさらに含み、前記期待値パラメータは、前記選択された少なくとも１つの関心領域の複数のピクセルの複数の共分散パラメータにさらに基づいて推定される、
請求項１３に記載の方法。
【請求項１９】
前記制御回路が、前記選択された関心領域内の前記前景ピクセルセットの各ピクセルの色成分、深度成分及び空間的位置に基づいて、前記選択された少なくとも１つの関心領域の第１の共分散パラメータセットを推定するステップをさらに含み、前記選択された関心領域は、前景ピクセルセット及び背景ピクセルセットを含む、
請求項１３に記載の方法。
【請求項２０】
前記制御回路が、前記推定された第２の前景マスクの前記少なくとも１つのピクセルの前記推定される期待値パラメータが閾値を上回るかどうかに基づく第１の基準を決定するステップをさらに含む、
請求項１３に記載の方法。
【請求項２１】
前記制御回路が、前記第１の基準に基づいて、前記少なくとも１つのピクセルを前景ピクセル及び背景ピクセルの一方として分類するステップをさらに含む、
請求項２０に記載の方法。
【請求項２２】
前記制御回路が、前記現在のカラー画像フレームの前記アップスケーリングされた第２の前景マスクに基づいて、前記現在のカラー画像フレームから前記関心オブジェクトを抽出するステップをさらに含む、
請求項１３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照／引用による組み入れ〕
なし
【０００２】
本開示の様々な実施形態は、ビデオ処理における画像セグメンテーションに関する。具体的には、本開示の様々な実施形態は、適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための画像処理装置及び方法に関する。
【背景技術】
【０００３】
最近の画像処理分野の発展は、様々な画像セグメンテーション技術の進歩をもたらした。このような技術では、異なる統計的及び／又は確率的画像特徴ベース法に基づいて、特定の画像から（人間の体又は人間の顔などの）関心オブジェクトを容易に分割することができる。１つのこのような手法では、特定の画像から関心オブジェクトの前景マスクを推定することに基づくオブジェクトセグメンテーションを行うことができる。いずれかのオブジェクトを分割するための鍵は、推定される前景マスク内のピクセルを前景ピクセル及び背景ピクセルとして分類するための適切な境界条件を決定することにあると考えられる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、１つの解決法では、取り込み画像から所定の完全に静的な背景（ＢＧ）画像を減算処理する。所定の静的ＢＧ画像は、オブジェクトセグメンテーションプロセスの最初に背景シーンの複数の連続画像に基づいてこのような連続画像の平均を取ることによって生成することができる。減算処理された画像の残りのピクセルに前景ピクセルとしてラベル付けする。しかしながら、これらの前景ピクセルは、誤って決定された前景ピクセルを含むことがある。例えば、所定の静的ＢＧ画像の生成時に、シーン内に（ユーザを含む）移動オブジェクトが存在したり、或いは当初の位置からカメラがずれてしまったりすることもある。このようなエラーは、別の静的ＢＧ画像の反復生成を引き起こすことがある。別の解決法では、深度情報を利用して前景ピクセルを識別することができる。しかしながら、ほとんどの深度マップセンサにノイズが存在する結果、前景ピクセルの決定に深度情報を信頼できない場合がある。このようなノイズは、深度情報に基づいて取得される識別された前景領域の境界にむらを引き起こすことがある。また、このようなノイズの多い深度情報は、前景領域内に望ましくない間隙又は穴を生じさせることもある。
【０００５】
当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法のさらなる限界及び不利点が明らかになるであろう。
【課題を解決するための手段】
【０００６】
少なくとも１つの図に実質的に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示すような、適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための画像処理装置及び方法を提供する。
【０００７】
全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
【図面の簡単な説明】
【０００８】
【図１】本開示の実施形態による、適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための画像処理装置のネットワーク環境を示すブロック図である。
【図２】本開示の実施形態による、適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための例示的な画像処理装置を示すブロック図である。
【図３Ａ】本開示の実施形態による、適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための図１の画像処理装置の例示的な動作を示す図である。
【図３Ｂ】本開示の実施形態による、適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための図１の画像処理装置の例示的な動作を示す図である。
【図４Ａ】本開示の実施形態による、適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための例示的な方法を示すフローチャートである。
【図４Ｂ】本開示の実施形態による、適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【０００９】
開示する適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための画像処理装置では、後述する実装を見出すことができる。本開示の例示的な態様は、第１のタイプのセンサと、第２のタイプのセンサと、制御回路とを含むことができる画像処理装置を含むことができる。第１のタイプのセンサは、現在のカラー画像フレーム及び以前のカラー画像フレームを含むことができる一連のカラー画像フレームを取り込むように構成することができる。最初に、制御回路を、以前のカラー画像フレーム内の関心オブジェクトの第１の前景マスクを受け取るように構成することができる。その後、制御回路を、現在のカラー画像フレーム内の関心オブジェクトの第２の前景マスクを第１の画像解像度で推定するように構成することができる。第２の前景マスクは、第１の前景マスクと、現在のカラー画像フレーム内の少なくとも人体の一部の形状とに基づいて推定することができる。制御回路は、現在のカラー画像フレームの推定された第２の前景マスクを第１の画像解像度から第２の画像解像度にアップサンプリングするようにさらに構成することができる。アップサンプリングされた第２の前景マスクは、未知のマスク値を有する少なくとも１つのピクセルを含むことができる。制御回路は、アップサンプリングされた第２の前景マスクの少なくとも１つのピクセルの空間的位置に基づいて、現在のカラー画像フレーム内の少なくとも１つの関心領域を選択するようにさらに構成することができる。アップサンプリングされた第２の前景マスクは、現在のカラー画像フレームの選択された少なくとも１つの関心領域内の少なくとも１つのピクセルのカーネル密度ベースの推定に基づいて生成された期待値パラメータ（ｅｘｐｅｃｔａｔｉｏｎ  ｐａｒａｍｅｔｅｒ）によってさらにアップスケーリングすることができる。アップスケーリングされた第２の前景マスクは、推定された第２の前景マスクに対するアップサンプリングによって生じ得る前景マスクエラーを最小限しか示さないことができる。
【００１０】
ある実施形態によれば、第２のタイプのセンサは、現在のカラー画像フレーム及び以前のカラー画像フレームの深度情報を取り込むように構成することができる。第２のタイプのセンサは、一連のカラー画像フレームに取り込まれたシーンの一連の深度画像を取り込むようにさらに構成することができる。一連のカラー画像フレーム及び一連の深度画像は、第１のタイプのセンサ及び第２のタイプのセンサからそれぞれ受け取ることができる。
【００１１】
ある実施形態によれば、制御回路は、第２の前景マスク内の複数のピクセルと現在のカラー画像フレーム内の複数のピクセルとの間の一致に基づいて、第２の前景マスクを第１の画像解像度から第２の画像解像度にアップサンプリングするようにさらに構成することができる。第１の画像解像度は、第２の画像解像度よりも粗いものとすることができる。
【００１２】
ある実施形態によれば、制御回路は、選択された少なくとも１つの関心領域内の少なくとも１つのピクセルの期待値パラメータを推定するようにさらに構成することができる。このような期待値パラメータの推定は、選択された少なくとも１つの関心領域の各ピクセルの色成分、深度成分及び空間的位置に基づくことができる。このような推定は、以前のカラー画像フレームの第１の前景マスクの対応するピクセルの色成分、深度成分及び空間的位置にさらに基づくことができる。期待値パラメータは、選択された少なくとも１つの関心領域の複数のピクセルの複数の共分散パラメータにさらに基づいて推定することができる。選択された関心領域は、前景ピクセルセット及び背景ピクセルセットを含むことができる。制御回路は、選択された関心領域内の前景ピクセルセットの各ピクセルの色成分、深度成分及び空間的位置に基づいて、選択された関心領域の第１の共分散パラメータセットを推定するようにさらに構成することができる。
【００１３】
ある実施形態によれば、制御回路は、選択された関心領域の第２の共分散パラメータセットを推定するようにさらに構成することができる。このような第２の共分散パラメータセットの推定は、選択された関心領域内の背景ピクセルセットの各ピクセルの色成分、深度成分及び空間的位置に基づいて行うことができる。選択された少なくとも１つの関心領域の複数のピクセルの複数の共分散パラメータは、選択された少なくとも１つの関心領域の推定された第１の共分散パラメータセット及び推定された第２の共分散パラメータセットを含む。
【００１４】
ある実施形態によれば、制御回路は、推定された第２の前景マスク内の少なくとも１つのピクセルの推定される期待値パラメータが閾値よりも大きいことを第１の基準として決定するようにさらに構成することができる。少なくとも１つのピクセルは、決定された第１の基準に基づいて、前景ピクセル及び背景ピクセルの一方としてさらに分類することができる。
【００１５】
ある実施形態によれば、制御回路は、現在のカラー画像フレームを前景領域及び背景領域に分類するようにさらに構成することができる。前景領域は、推定された第２の前景マスクにマッピングすることができる。制御回路は、現在のカラー画像フレームのアップスケーリングされた第２の前景マスクに基づいて、現在のカラー画像フレームから関心オブジェクトを抽出するようにさらに構成することができる。
【００１６】
図１は、本開示の実施形態による、適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための画像処理のネットワーク環境を示すブロック図である。図１にはネットワーク環境１００を示す。ネットワーク環境１００は、画像処理装置１０２を含むことができる。画像処理装置１０２は、（第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６などの）複数のセンサを含むことができる。ある実施形態によれば、第１のタイプのセンサ１０４はイメージセンサとすることができ、第２のタイプのセンサ１０６は深度センサとすることができる。複数のセンサは、画像処理装置１０２の視野１０８内のシーン１１０の複数のカラー画像及び複数の深度画像を取り込むように構成することができる。視野１０８は、例えば人間などの関心オブジェクトと、例えばコンピュータ、動物、テーブル、椅子及び木などの他の複数のオブジェクトとを含むシーン１１０を含むことができる。
【００１７】
画像処理装置１０２は、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６からシーン１１０の複数のカラー画像及び複数の深度画像を受け取るように構成できる好適なロジック、回路及びインターフェイスを含むことができる。画像処理装置１０２は、複数のカラー画像フレーム内の関心オブジェクトの前景マスクを推定するようにさらに構成することができる。画像処理装置１０２の機能は、例えばスマートフォン、ラップトップ、タブレット及びカメラなどの通信装置上に局所的に実装することができる。或いは、これらの機能は、例えばアプリケーションサーバ、メディアサーバ、又は特定用途向けグラフィックプロセッシングユニット（ＧＰＵ）対応ワークステーションなどの通信装置上に遠隔的に実装することもできる。画像処理装置１０２の例としては、以下に限定するわけではないが、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートフォン、ポータブル音楽プレーヤ、ゲーム機、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤを挙げることができる。画像処理装置１０２の他の例としては、以下に限定するわけではないが、テレビ、家庭用娯楽システム、拡張現実装置、仮想現実装置、（例えば、スマートウォッチ用の）スマートウェアラブル装置、又は他のいずれかの好適なコンピュータ装置を挙げることができる。
【００１８】
第１のタイプのセンサ１０４はイメージセンサとすることができる。第１のタイプのセンサ１０４は、シーン１１０から複数のカラー画像を取り込むように構成できる好適なロジック、回路及びインターフェイスを含むことができる。複数のカラー画像の例としては、以下に限定するわけではないが、Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｅｒｓ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ（ＪＰＥＧ）画像、Ｔａｇｇｅｄ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ（ＴＩＦＦ）画像、又は未加工の画像ファイルを挙げることができる。第１のタイプのセンサ１０４は、シーン１１０に合焦できる、及び／又はシーン１１０内の特定の関心オブジェクトを第１のタイプのセンサ１０４上に合焦させることができる集束レンズなどの好適な光学機器を有することができる。第１のタイプのセンサ１０４は、第１のタイプのセンサ１０４が取り込むことができるシーン１１０を構成するように、及び／又はこのようなシーン１１０に合焦するように構成できるファインダを含むことができる。第１のタイプのセンサ１０４は、取り込まれた複数の画像をローカルバッファ、メモリ及び／又はサーバに記憶するように構成することができる。第１のタイプのセンサ１０４の実装例としては、以下に限定するわけではないが、半導体電荷結合素子（ＣＣＤ）ベースのイメージセンサ、相補型金属酸化膜半導体（ＣＭＯＳ）ベースのイメージセンサ、Ｎ型金属酸化膜半導体ベースのイメージセンサ、フラットパネル検出器、又はその他のイメージセンサを挙げることができる。
【００１９】
第２のタイプのセンサ１０６は深度センサとすることができる。第２のタイプのセンサ１０６は、シーン１１０から複数の深度画像を取り込むように構成できる好適なロジック、回路及びインターフェイスを含むことができる。複数の深度画像の各々は、第２のタイプのセンサ１０６がそれぞれの深度画像を取り込むことができる様々な時点におけるシーン１１０内の様々なオブジェクトに関連する深度情報を含むことができる。第２のタイプのセンサ１０６の実装例としては、以下に限定するわけではないが、立体三角測量ベースの深度センサ、構造化照明３次元（３Ｄ）スキャナベースの深度センサ、又は符号化開口ベースの深度センサを挙げることができる。
【００２０】
いくつかの実施形態では、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６を、画像処理装置１０２の周辺に存在し得るネットワークプラットフォーム上に実装することができる。このような例では、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６を、様々な有線及び無線通信プロトコルを介して画像処理装置１０２に通信可能に結合することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、Ｂｌｕｅｔｏｏｔｈプロトコル、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ、ＩＥＥＥ８０２．１１ｘ及び／又は他のいずれかのＩＥＥＥ８０２．１１プロトコル、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、或いはこれらの組み合わせ又は変種のうちの少なくとも１つを挙げることができる。
【００２１】
動作中、第１のタイプのセンサ１０４は、その視野１０８内のシーン１１０の一連のカラー画像フレーム１１２を取り込むように構成することができる。いくつかの例では、一連のカラー画像フレーム１１２を、フラッシュビデオ、オーディオビデオインタリーブ（ＡＶＩ）ビデオ及び動画専門家集団（ＭＰＥＧ）ビデオなどのビデオとすることができる。取り込まれた一連のカラー画像フレーム１１２は、シーン１１０の複数のオブジェクトを含むことができる。取り込まれた一連のカラー画像フレーム１１２は、関心オブジェクトをさらに含むことができる。関心オブジェクトは、取り込まれた一連のカラー画像フレーム１１２の以前のカラー画像フレーム１１６に対して現在のカラー画像フレーム１１４内の同じ位置に、ただし異なる配向又は姿勢で存在し得るオブジェクトとすることができる。ある実施形態によれば、一連のカラー画像フレーム１１２は、一連のカラー画像フレーム１１２から分割すべき関心オブジェクトを含むことができる。関心オブジェクトは、移動オブジェクト、一定期間にわたってその形状を変化させる変形オブジェクト、又は取り込まれた一連のカラー画像フレーム１１２内の同じ位置に、ただし異なる時間インスタンスに異なる配向で存在するオブジェクトとすることができる。
【００２２】
関心オブジェクトの例としては、以下に限定するわけではないが、人間オブジェクト、動物、或いは車両又はスポーツアイテムなどの非人間又は無生物オブジェクトを挙げることができる。取り込まれた一連のカラー画像フレーム１１２は、第１のタイプのセンサ１０４が第１の時点に取り込むことができる現在のカラー画像フレーム１１４を含むことができる。取り込まれた一連のカラー画像フレーム１１２は、第１のタイプのセンサ１０４が第２の時点に取り込むことができる以前のカラー画像フレーム１１６をさらに含むことができる。一連のカラー画像フレーム１１２の各々は、それぞれが色成分及びカラー画像フレーム内の空間的位置を含むことができるような複数のピクセルを含むことができる。第１のタイプのセンサ１０４は、一連のカラー画像フレーム１１２を画像処理装置１０２に送信するように構成することができる。
【００２３】
第２のタイプのセンサ１０６は、一連のカラー画像フレーム１１２の各対応するカラー画像フレームの深度画像を取り込むように構成することができる。第２のタイプのセンサ１０６は、第１のタイプのセンサ１０４がそれぞれのカラー画像フレームを取り込むと同時に一連のカラー画像フレーム１１２の各カラー画像フレームの深度画像を取り込むように構成することができる。換言すれば、第２のタイプのセンサ１０６は、シーン１１０から一連の深度画像を取り込むように構成することができる。一連の深度画像の各々は、一連のカラー画像フレーム１１２の異なるカラー画像フレームに対応することができる。一連のカラー画像フレーム１１２の各カラー画像フレームの深度画像は、それぞれのカラー画像フレームが取り込まれた時点のシーン１１０に関連する深度情報を含むことができる。一連の深度画像の各々は、それぞれが深度成分及び深度画像内の空間的位置を含むことができるような複数のピクセルを含むことができる。第２のタイプのセンサ１０６は、一連の深度画像を画像処理装置１０２に送信するように構成することができる。一連の深度画像は、現在のカラー画像フレーム１１４の現在の深度画像を含むことができる。
【００２４】
画像処理装置１０２は、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６からそれぞれ一連のカラー画像フレーム１１２及び一連の深度画像を受け取るように構成することができる。画像処理装置１０２は、以前のカラー画像フレーム１１６内の関心オブジェクトの第１の前景マスク１１８を受け取るように構成することができる。いくつかのシナリオでは、画像処理装置１０２を、通信ネットワーク（図示せず）を介してサーバ（図示せず）から第１の前景マスク１１８を受け取るように構成することができる。他のシナリオでは、画像処理装置１０２を、画像処理装置１０２のメモリ（図示せず）に予め記憶しておくことができる複数の前景マスクから第１の前景マスク１１８を受け取るように構成することができる。受け取られた以前のカラー画像フレーム１１６の関心オブジェクトの第１の前景マスク１１８は、以前のカラー画像フレーム１１６内の人間などの１又は２以上のオブジェクトに対応することができる。第１の前景マスク１１８は、それぞれが色成分、深度成分及び第１の前景マスク１１８内の空間的位置を含むことができるような複数のピクセルを含むことができる。
【００２５】
ある実施形態によれば、画像処理装置１０２は、現在のカラー画像フレーム１１４内の関心オブジェクトの第２の前景マスク１２０を第１の画像解像度で推定するように構成することができる。第１の画像解像度は、現在のカラー画像フレーム１１４の画像解像度よりも粗いものとすることができる。例えば、現在のカラー画像フレーム１１４の画像解像度が１２メガピクセルである場合、第２の前景マスク１２０の第１の画像解像度は、６メガピクセル、２メガピクセル又は１メガピクセルとすることができる。
【００２６】
関心オブジェクトの前景マスクを現在のカラー画像フレーム１１４の画像解像度で推定する従来の一般的な手法とは対照的に、画像処理装置１０２は、第２の前景マスク１２０を（第１の画像解像度などの）さらに粗い画像解像度で推定するように構成することができる。画像処理装置１０２は、現在のカラー画像フレーム１１４の画像解像度で前景マスクを推定する従来のオブジェクトセグメンテーション法に比べて、処理する必要がある画像ピクセルの数が少なくて済むという利点を有する。画像処理装置１０２は、受け取られた第１の前景マスク１１８と、現在のカラー画像フレーム１１４内の少なくとも人体の一部の形状とに基づいて第２の前景マスク１２０を推定するように構成することができる。
【００２７】
いくつかのシナリオでは、画像処理装置１０２を、受け取られた第１の前景マスク１１８と以前のカラー画像フレーム１１６とに基づいて第２の前景マスク１２０を推定するように構成することができる。例えば、画像処理装置１０２は、現在のカラー画像フレーム１１４内の関心オブジェクトの以前のカラー画像フレーム１１６に対する動き及び／又はその方向を検出するように構成することができる。現在のカラー画像フレーム１１４内の関心オブジェクトの以前のカラー画像フレーム１１６に対する動き及び／又はその方向は、以前のカラー画像フレーム１１６及び現在のカラー画像フレーム１１４上で第１の前景マスク１１８に対して平均値シフト法を使用することによって導出することができる。画像処理装置１０２は、現在のカラー画像フレーム１１４内の関心オブジェクトの以前のカラー画像フレーム１１６に対する動き及び／又はその方向の検出に基づいて第２の前景マスク１２０を推定するように構成することができる。
【００２８】
他のシナリオでは、画像処理装置１０２を、現在のカラー画像フレーム１１４内の少なくとも人体の一部の形状の検出に基づいて第２の前景マスク１２０を推定するように構成することができる。例えば、画像処理装置１０２は、現在のカラー画像フレーム１１４内の顔、人体、人間のジェスチャ、形状及び／又はエッジの検出に基づいて第２の前景マスク１２０を推定するように構成することができる。画像処理装置１０２は、顔認識法及び／又は人体認識法を使用して顔及び／又は人体を検出するように構成することができる。
【００２９】
ある実施形態によれば、画像処理装置１０２は、推定された第２の前景マスク１２０に基づいて、現在のカラー画像フレーム１１４を前景領域及び背景領域に分類するように構成することができる。前景領域は複数の前景ピクセルを含むことができ、背景領域は複数の背景ピクセルを含むことができる。現在のカラー画像フレーム１１４の前景領域は、推定された第２の前景マスク１２０にマッピングすることができる。
【００３０】
ある実施形態によれば、画像処理装置１０２は、推定された第２の前景マスク１２０を第１の画像解像度から第２の画像解像度にアップサンプリングするように構成することができる。第２の画像解像度は、第１の画像解像度よりも微細なものとすることができる。いくつかのシナリオでは、第２の画像解像度が、現在のカラー画像フレーム１１４の画像解像度に相当することができる。画像処理装置１０２は、最近隣補間法などの補間ベースのアップサンプリング法に基づいて第２の前景マスク１２０を第１の画像解像度から第２の画像解像度にアップサンプリングするように構成することができる。
【００３１】
最近隣補間法によれば、画像処理装置１０２は、第２の前景マスク１２０内の複数のピクセルと現在のカラー画像フレーム１１４内の複数のピクセルとの間の一致に基づいて第２の前景マスク１２０をアップサンプリングするように構成することができる。例えば、画像処理装置１０２は、アップサンプリングされた第２の前景マスク１２０の各ピクセルと現在のカラー画像フレーム１１４の各ピクセルとの一致に基づいて、アップサンプリングされた第２の前景マスク１２０の各ピクセルのマスク値を推定するように構成することができる。しかしながら、画像処理装置１０２は、アップサンプリングされた第２の前景マスク１２０の第１のピクセルセットのマスク値を推定できないこともある。アップサンプリングされた第２の前景マスク１２０の第１のピクセルセットは、複数の未知のマスク値を有することができる。アップサンプリングされた第２の前景マスク１２０は、未知のマスク値を有する少なくとも１つのピクセルを含むことができる。
【００３２】
画像処理装置１０２が、第２の前景マスク１２０を第１の画像解像度で誤って推定した場合、推定された第２の前景マスク１２０はノイズが多く、第１の画像解像度での複数のエラーを有することがある。このような場合、ノイズの多い誤った第２の前景マスク１２０を画像処理装置１０２が第２の画像解像度にアップサンプリングすると、アップサンプリングされた第２の前景マスク１２０の複数のエラーが悪化することがある。複数の未知のマスク値を有することができるアップサンプリングされた第２の前景マスク１２０の第１のピクセルセットは、アップサンプリングされた第２の前景マスク１２０の複数のエラーを示すことができる。
【００３３】
ある実施形態によれば、画像処理装置１０２は、アップサンプリングされた第２の前景マスク１２０からの未知のマスク値を有する少なくとも１つのピクセルに基づいて、現在のカラー画像フレーム１１４内の関心領域を選択するようにさらに構成することができる。関心領域は、アップサンプリングされた第２の前景マスク１２０のピクセルと現在のカラー画像フレーム１１４のピクセルとの空間的一致にさらに基づいて選択することができる。現在のカラー画像フレーム１１４の選択された関心領域は、現在のカラー画像フレーム１１４のアップサンプリングされた第２の前景マスク１２０からの未知のマスク値に関連する少なくとも１つのピクセルを含むことができる。いくつかのシナリオでは、選択された関心領域が、現在のカラー画像フレーム１１４の少なくとも１つのピクセルを中心にすることができる。
【００３４】
ある実施形態によれば、選択された関心領域は、現在のカラー画像フレーム１１４の第１のピクセルセットを含むことができる。選択された関心領域の第１のピクセルセットは、前景ピクセルセット及び背景ピクセルセットを含むことができる。前景ピクセルセットは、現在のカラー画像フレーム１１４の前景領域に対応することができる。背景ピクセルセットは、現在のカラー画像フレーム１１４の背景領域に対応することができる。選択された関心領域の第１のピクセルセットの各々は、色成分、深度成分、及び選択された関心領域内の空間的位置を含むことができる。画像処理装置１０２は、選択された関心領域の各第１のピクセルセットの複数の共分散パラメータを推定するように構成することができる。第１のピクセルセットの複数の共分散パラメータの推定については、例えば図２及び図４においてさらに詳細に説明する。
【００３５】
ある実施形態によれば、画像処理装置１０２は、アップサンプリングされた第２の前景マスク１２０内の未知のマスク値を有する少なくとも１つのピクセルの期待値パラメータを推定するように構成することができる。期待値パラメータは、未知のマスク値を有する少なくとも１つのピクセルが前景ピクセルであり得る確率を示すことができる。少なくとも１つのピクセルが前景ピクセルであり得る場合、この少なくとも１つのピクセルは「１」のマスク値を有することができる。少なくとも第１のピクセルが背景ピクセルであり得る場合、少なくとも１つのピクセルは「０」のマスク値を有することができる。
【００３６】
画像処理装置１０２は、第２の前景マスク１２０の少なくとも１つのピクセルの期待値パラメータを推定するように構成することができる。
【００３７】
このような期待値パラメータの推定は、カーネル密度ベースの推定法に基づいて行うことができる。期待値パラメータの推定は、選択された関心領域の第１のピクセルセットの各ピクセルの色成分、深度成分及び空間的位置に基づいて決定できる因子を含むことができる。選択された関心領域の第１のピクセルセットは、以前のカラー画像フレーム１１６の第１の前景マスク１１８の第１のピクセルセットに空間的に対応することができる。画像処理装置１０２は、以前のカラー画像フレームの第１の前景マスク１１８の第１のピクセルセットの各ピクセルの色成分、深度成分及び空間的位置と、現在のカラー画像フレーム１１４の少なくとも１つのピクセルの推定された複数の共分散パラメータとに基づいて期待値パラメータを推定するように構成することができる。アップサンプリングされた第２の前景マスクの少なくとも１つのピクセルの期待値パラメータの推定については、例えば図２において詳細に説明する。
【００３８】
ある実施形態によれば、画像処理装置１０２は、アップサンプリングされた第２の前景マスク１２０内の少なくとも１つのピクセルの期待値パラメータが閾値よりも大きいかどうかに基づく第１の基準を決定するように構成することができる。いくつかのシナリオでは、この閾値を「０．５」などの小数（ｆｒａｃｔｉｏｎａｌ  ｎｕｍｅｒａｌ）とすることができる。少なくとも１つの第１のピクセルの推定される期待値パラメータが閾値よりも大きい場合には、第１の前景ピクセルセット内の特定のピクセルを、第１の基準に基づいて前景ピクセルとして分類することができる。少なくとも１つのピクセルの推定される期待値パラメータが閾値未満であるその他の場合には、第１の前景ピクセルセット内の特定のピクセルを、第１の基準に基づいて背景ピクセルとして分類することができる。
【００３９】
ある実施形態によれば、画像処理装置１０２は、アップサンプリングされた第２の前景マスクを期待値パラメータによってアップスケーリングするようにさらに構成することができる。期待値パラメータは、現在のカラー画像フレーム内の選択された少なくとも１つの関心領域内の少なくとも１つのピクセルのカーネル密度ベースの推定に基づいて生成することができる。アップスケーリングされた第２の前景マスクは、推定された第２の前景マスクに対するアップサンプリングによって生じ得る前景マスクエラーを最小限しか示さないことができるという利点を有する。前景マスクエラーは、現在のカラー画像フレーム内の異なるピクセルを前景マスクのピクセルと背景領域のピクセルとに分類する上での偏差に関連することができる。アップスケーリングされた第２の前景マスクでは、最初に推定された第２の前景マスクに対してこのような偏差を最小化することができ、これによって第２の前景領域のアップサンプリングに起因するエラーの補償を最小化することができる。第１の前景ピクセルセットのピクセルが前景ピクセルとして分類された場合、画像処理装置１０２は、少なくとも１つのピクセルを「１」のマスク値でアップスケーリングすることができる。第１の前景ピクセルセットのピクセルが背景ピクセルとして分類された場合、画像処理装置１０２は、少なくとも１つのピクセルに「０」のマスク値を割り当てることができる。
【００４０】
ある実施形態によれば、画像処理装置１０２は、関心オブジェクトのアップスケーリングされた第２の前景マスク１２０を使用して、現在のカラー画像フレーム１１４から関心オブジェクトを抽出するように構成することができる。いくつかのシナリオでは、画像処理装置１０２を、背景画像減算（ｂａｃｋｇｒｏｕｎｄ  ｉｍａｇｅ  ｓｕｂｔｒａｃｔｉｏｎ）によって現在のカラー画像フレーム１１４から関心オブジェクトを抽出するように構成することができる。
【００４１】
従来の手法とは対照的に、画像処理装置１０２は、アップサンプリングされた第２の前景マスク１２０をアップスケーリングして、アップサンプリングされた第２の前景マスク１２０内に存在し得る複数のエラーを低減するように構成することができる。画像処理装置１０２は、アップサンプリングされた第２の前景マスク１２０内の複数のエラーを低減するエラー低減能力を有することができる。画像処理装置１０２は、画像処理装置１０２が複数のエラーを低減できたアップスケーリングされた第２の前景マスク１２０を使用して現在のカラー画像フレーム１１４から関心オブジェクトを抽出するように構成できるという利点を有する。従って、画像処理装置１０２は、従来のオブジェクトセグメンテーション装置と比べてさらに高い精度で関心オブジェクトを抽出するように構成することができる。
【００４２】
図２は、本開示の実施形態による、適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための例示的な画像処理装置を示すブロック図である。図２の説明は、図１の要素に関連して行う。図２を参照すると、画像処理装置１０２は、制御回路２０２を含むことができる。制御回路２０２は、プロセッサ２０４と、前景マスク生成器２０６及び適応的マスクアップサンプラ２０８などの１又は２以上の専用処理装置とを含むことができる。画像処理装置１０２は、メモリ２１０と、ネットワークインターフェイス２１２と、Ｉ／Ｏ装置２１４などの１又は２以上の入力／出力（Ｉ／Ｏ）装置とをさらに含むことができる。画像処理装置１０２は、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６をさらに含むことができる。
【００４３】
プロセッサ２０４は、アップサンプリングされた第２の前景マスク１２０をアップスケーリングするように構成できる好適なロジック、回路及びインターフェイスを含むことができる。プロセッサ２０４は、アップサンプリングされた第２の前景マスク１２０の未知のマスク値を有する少なくとも１つのピクセルの期待値パラメータを推定するようにさらに構成することができる。プロセッサ２０４は、前景マスク生成器２０６、適応的マスクアップサンプラ２０８、メモリ２１０、ネットワークインターフェイス２１２、及びＩ／Ｏ装置２１４に通信可能に結合することができる。プロセッサ２０４は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。プロセッサ２０４の実装例は、ｘ８６ベースのプロセッサ、グラフィックプロセッシングユニット（ＧＰＵ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央演算装置（ＣＰＵ）、及び／又はその他の制御回路とすることができる。
【００４４】
前景マスク生成器２０６は、現在のカラー画像フレーム１１４内の関心オブジェクトの第２の前景マスク１２０を第１の画像解像度で推定するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。プロセッサ２０４は、前景マスク生成器２０６を利用して、受け取られた第１の前景マスク１１８と、一連のカラー画像フレーム１１２のうちの現在のカラー画像フレーム１１４における人体の一部の形状の検出とに基づいて第２の前景マスク１２０を推定することができる。前景マスク生成器２０６の実装例は、ｘ８６ベースのプロセッサ、ＧＰＵ、ＲＩＳＣプロセッサ、ＡＳＩＣプロセッサ、ＣＩＳＣプロセッサ、マイクロコントローラ、ＣＰＵ、及び／又はその他の制御回路とすることができる。
【００４５】
適応的マスクアップサンプラ２０８は、推定された第２の前景マスク１２０を第１の画像解像度から第２の画像解像度にアップサンプリングするように構成できる好適なロジック、回路及びインターフェイスを含むことができる。プロセッサ２０４は、適応的マスクアップサンプラ２０８を利用して、推定された第２の前景マスク１２０を補間法（例えば、最近隣（ＮＮ）ベースの補間法）に基づいて第１の画像解像度から第２の画像解像度にアップサンプリングすることができる。適応的マスクアップサンプラ２０８の実装例は、ｘ８６ベースのプロセッサ、ＧＰＵ、ＲＩＳＣプロセッサ、ＡＳＩＣプロセッサ、ＣＩＳＣプロセッサ、マイクロコントローラ、ＣＰＵ、及び／又はその他の制御回路とすることができる。
【００４６】
メモリ２１０は、プロセッサ２０４、前景マスク生成器２０６及び適応的マスクアップサンプラ２０８が実行できる機械コード及び／又は命令セットを記憶するように構成することができる好適なロジック、回路及びインターフェイスを含むことができる。メモリ２１０は、第１のタイプのセンサ１０４から受け取られた一連のカラー画像フレーム１１２を記憶するように構成することができる。メモリ２１０は、第２のタイプのセンサ１０６から受け取られた一連の深度画像を記憶するようにさらに構成することができる。メモリ２１０の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能でプログラム可能なリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。
【００４７】
ネットワークインターフェイス２１２は、コンピュータ、スマートフォン及びサーバなどの複数の電子装置に接続してこれらと通信するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ネットワークインターフェイス２１２は、異なるネットワーク装置及び／又は回路間の有線又は無線通信をサポートする既知の技術を実装することができる。ネットワークインターフェイス２１２は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ−デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができる。
【００４８】
ネットワークインターフェイス２１２は、インターネット、イントラネット、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、パーソナルエリアネットワーク及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークとオフライン及びオンライン無線通信を介して通信することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーション（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、ＬＴＥ、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、（ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ、ＩＥＥＥ８０２．１１ｎ及び／又はその他のいずれかのＩＥＥＥ８０２．１１プロトコルなどの）ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）、ボイスオーバインターネットプロトコル（ＶｏＩＰ）、ＷＩ−ＭＡＸ、モノのインターネット（ＩｏＴ）技術、機械型通信（ＭＴＣ）技術、電子メール用プロトコル、インスタントメッセージング、及び／又はショートメッセージサービス（ＳＭＳ）などの複数の通信標準、プロトコル及び技術のうちのいずれかを使用することができる。
【００４９】
Ｉ／Ｏ装置２１４は、１又は２以上のユーザから入力を受け取るように構成できる好適なロジック、回路及びインターフェイスを含むことができる。Ｉ／Ｏ装置２１４は、Ｉ／Ｏ装置２１４を介して受け取られた入力に基づいて１又は２以上のユーザに出力を提供するようにさらに構成することができる。Ｉ／Ｏ装置２１４は、プロセッサ２０４と通信できる様々な入力及び出力装置を含むことができる。入力装置の例としては、以下に限定するわけではないが、タッチ画面、物理的入力ボタン、ジョイスティック、マイク、及び／又はドッキングステーションを挙げることができる。出力装置の例としては、以下に限定するわけではないが、内蔵ディスプレイ画面、タッチ画面ディスプレイ、及び／又はスピーカを挙げることができる。
【００５０】
動作時には、第１のタイプのセンサ１０４及び第２のタイプのセンサ１０６が、ネットワークインターフェイス２１２及びＩ／Ｏ装置２１４の少なくとも一方を介して制御信号を受け取ることができる。制御信号は、第１のタイプのセンサ１０４がその視野内のシーンの現在のカラー画像フレーム及び以前のカラー画像フレームを含む一連のカラー画像フレームを取り込むための命令を含むことができる。制御信号は、第２のタイプのセンサ１０６がその視野内のシーンの複数の深度画像を取り込むための命令をさらに含むことができる。第１のタイプのセンサ１０４の動作は、カラー画像フレーム内の前景情報と取り込まれた深度画像内の深度情報とが一致できるように、第２のタイプのセンサ１０６の動作と同期することができる。
【００５１】
制御信号は、通信バスの組を介して制御回路２０２にさらに提供することができる。制御回路は、プロセッサ２０４を利用して、一連のカラー画像フレームからの前景マスクの抽出に関連する異なる命令を実行することができる。プロセッサ２０４は、メモリ２１０を利用して、第１のタイプのセンサ１０４によって取り込まれた一連のカラー画像フレームにおける以前のカラー画像フレーム内の関心オブジェクトの第１の前景マスクを受け取って記憶するように構成することができる。その後、プロセッサ２０４は、前景マスク生成器２０６を利用して、現在のカラー画像フレーム内の関心オブジェクトの第２の前景マスクを第１の画像解像度で推定するようにさらに構成することができる。このような推定は、第１の前景マスクと、現在のカラー画像フレーム内の少なくとも人体の一部の形状とに基づいて行うことができる。
【００５２】
前景マスクのアップサンプリング
プロセッサ２０４は、現在のカラー画像フレームの推定された第２の前景マスクを第１の画像解像度から第２の画像解像度にアップサンプリングするようにさらに構成することができる。例えば、取り込まれたカラー画像フレームの画像解像度は、「１１５２×８６４ピクセル」とすることができる。同様に、推定された第２の前景マスクの画像解像度は、「４：３」の一定のアスペクト比の「３８４×２８８ピクセル」とすることができる。アップサンプリングされた第２の前景マスクは、「１１５２×８６４ピクセル」の画像解像度を有することができ、すなわち第２の前景マスクは「３」倍アップサンプリングされる。ある実施形態によれば、推定された第２の前景マスクは、最近隣ベースの補間法などの統計的手法に基づいてアップサンプリングすることができる。
【００５３】
アップサンプリングされた第２の前景マスクは、未知のマスク値を有する少なくとも１つのピクセルをさらに含むことができる。未知のマスク値の推定は、一連のカラー画像フレームにおける各取り込まれたカラー画像フレーム内の背景領域から前景領域を正確に推定するために必要となり得る。
【００５４】
前景マスクのアップスケーリング
プロセッサ２０４は、適応的アップスケーリング及び平滑化法を利用して未知のマスク値を推定し、未知のマスク値に関連するピクセルを前景ピクセル及び背景ピクセルに正確に分類することができる。未知のマスク値を確認するための極めて重要な決定境界を提供できる統計的及びその他の機械学習法を使用することによって、正確な推定からの偏差をさらに最小化することができる。このような技術は、現在のカラー画像フレームの関心領域内で識別されたピクセルに対して実行することができる。従って、プロセッサ２０４は、アップサンプリングされた第２の前景マスクの少なくとも１つのピクセルの空間的位置に基づいて、現在のカラー画像フレーム内の少なくとも１つの関心領域を選択するように構成することができる。選択された少なくとも１つの関心領域内の少なくとも１つのピクセルの未知のマスク値は、期待値パラメータの推定に基づいてさらに行う（ｄｏｎｅ）ことができる。
【００５５】
ある実施形態によれば、プロセッサ２０４は、（第２の前景マスク１２０の）未知のマスク値を有する少なくとも１つのピクセルの期待値パラメータを推定するように構成することができる。期待値パラメータは、「Ｋ」によって表すことができるカーネル密度推定関数に基づいて推定することができる。カーネル密度推定関数「Ｋ」は、前景ピクセルセット及び背景ピクセルセットについて計算することができる。前景ピクセルセットのカーネル密度推定関数「Ｋ」は、「ＫCFG」として表すことができる。前景ピクセルセットのカーネル密度推定関数「Ｋ」は、「ＫCBG」として表すことができる。前景ピクセルセットのカーネル密度推定関数「ＫCFG」は、以下のような方程式（１）によって表すことができる。
【数１】
2021521542.tif 000003
（１）
【００５６】
カーネル密度推定関数「ＫCFG」は、アップサンプリングされた第２の前景マスクの期待値パラメータを推定するためにさらに利用することができる。少なくとも１つのピクセルの期待値パラメータは、「Ｅ｛ｍ｝」によって表すことができ、ここでの「ｍ」は、関心領域内のピクセルのインデックスを表すことができる。期待値パラメータ「Ｅ｛ｍ｝」は、選択された少なくとも１つの関心領域の各ピクセルの色成分、深度成分及び空間的位置と、以前のカラー画像フレーム１１６の第１の前景マスク１１８の対応するピクセルの色成分、深度成分及び空間的位置とに基づいてさらに推定することができる。期待値パラメータ「Ｅ｛ｍ｝」は、選択された少なくとも１つの関心領域の複数のピクセルの推定された複数の共分散パラメータにさらに基づいて推定することができる。期待値パラメータ「Ｅ｛ｍ｝」は、以下のような方程式（２）によって表すことができる。
【数２】
2021521542.tif 000004
（２）
式中、「Ｘi」は、選択された少なくとも１つの関心領域の各ピクセルの色成分、深度成分及び空間的位置に対応し、
「Ｘj」は、選択された少なくとも１つの関心領域の各ピクセルに対応する第１の前景マスク１１８の各ピクセルの色成分、深度成分及び空間的位置に対応し、
「Ｋ」は、カーネル密度推定関数係数に対応する。
【００５７】
第１の項「Ｘi」は、選択された少なくとも１つの関心領域の各ピクセルの色成分、深度成分及び空間的位置を示すことができる。選択された少なくとも１つの関心領域のそれぞれのピクセルは、「ｉ」によって表すことができる。第１の項「Ｘi」は、選択された少なくとも１つの関心領域の各ピクセルの色成分、深度成分及び空間的位置を含む第１の行列によって表すことができる。第１の行列では、第１の項「Ｒi」が、選択された少なくとも１つの関心領域のそれぞれのピクセルの赤色成分を示すことができる。第２の項「Ｂi」は、選択された少なくとも１つの関心領域のそれぞれのピクセルの青色成分を示すことができる。第３の項「Ｇi」は、選択された少なくとも１つの関心領域のそれぞれのピクセルの緑色成分を示すことができる。第４の項「Ｄi」は、選択された少なくとも１つの関心領域のそれぞれのピクセルの深度成分を示すことができる。第５の項「ｘi」は、選択された少なくとも１つの関心領域のそれぞれのピクセルの空間的位置（「Ｘ」座標）を示すことができる。第６の項「ｙi」は、選択された少なくとも１つの関心領域のそれぞれのピクセルの空間的位置（「Ｙ」座標）を示すことができる。第１の項「Ｘi」は、以下のような数学的方程式（３）によって表すことができる１次元行列とすることができる。
【数３】
2021521542.tif 000005
（３）
【００５８】
プロセッサ２０４は、現在のカラー画像フレームの選択された少なくとも１つの関心領域内の少なくとも１つのピクセルのカーネル密度ベースの（方程式（１）によって与えられるような）推定関数「ＫCFG」に基づいて生成された（方程式（２）によって与えられるような）期待値パラメータ「Ｅ｛ｍ｝」によって、アップサンプリングされた第２の前景マスクをアップスケーリングするように構成することができる。アップスケーリングされた第２の前景マスクは、推定された第２の前景マスクに対するアップサンプリングによって生じ得る前景マスクエラーを最小限しか示さないことができる。ある実施形態によれば、プロセッサ２０４は、特定倍数のアップサンプリングされた第２の前景マスクを達成するために、アップスケーリング動作を複数回実行するように構成することができ、例えば「２」倍のアップサンプリングからは、アップサンプリングされた前景マスクに対するアップスケーリング動作の二重反復に基づいて「４」倍のアップサンプリングを取得することができる。
【００５９】
前景マスクの平滑化
アップスケーリングされた前景マスクは、選択された関心領域内のカラーピクセル値の分散を示す共分散行列によって平滑化することができる。ある実施形態によれば、プロセッサ２０４は、選択された関心領域の前景ピクセルセットの各ピクセルの色成分、深度成分及び空間的位置に基づいて、選択された関心領域の第１の共分散パラメータセットを推定するようにさらに構成することができる。いくつかのシナリオでは、プロセッサ２０４を、選択された関心領域内の各前景ピクセルセットの色成分、深度成分及び空間的位置の各々の正味分散（ｎｅｔ  ｖａｒｉａｎｃｅ）を計算するようにさらに構成することができる。このようなシナリオでは、計算された正味分散に基づいて第１の共分散パラメータセットを計算することができる。
【００６０】
第１の共分散パラメータセットが第１の共分散平滑化行列（ｃｏｖａｒｉａｎｃｅ  ｓｍｏｏｔｈｉｎｇ  ｍａｔｒｉｘ）「ＣFG」として表される場合、この第１の共分散平滑化行列「ＣFG」は、複数の行列要素を含むことができる。複数の行列要素の例としては、赤色分散パラメータ
2021521542.tif 000006
、青色分散パラメータ
2021521542.tif 000007
、緑色分散パラメータ
2021521542.tif 000008
、深度分散パラメータ
2021521542.tif 000009
、「Ｘ」座標分散パラメータ
2021521542.tif 000010
、及び「Ｙ」座標分散パラメータ
2021521542.tif 000011
を挙げることができる。赤色分散パラメータ
2021521542.tif 000012
、青色分散パラメータ
2021521542.tif 000013
及び緑色分散パラメータ
2021521542.tif 000014
は、選択された関心領域全体にわたる、選択された関心領域の前景ピクセルセットの（赤色成分、青色成分及び緑色成分などの）色成分の分散を示すことができる。深度分散パラメータ
2021521542.tif 000015
は、選択された関心領域全体にわたる、選択された関心領域の前景ピクセルセットの深度成分の分散を示すことができる。「Ｘ」座標分散パラメータ
2021521542.tif 000016
及び「Ｙ」座標分散パラメータ
2021521542.tif 000017
は、選択された関心領域の前景ピクセルセットの空間的位置の分散を示すことができる。第１の共分散平滑化行列「ＣFG」は、以下のような方程式（４）によって表すことができる。
【数４】
2021521542.tif 000018
（４）
【００６１】
ある実施形態によれば、プロセッサ２０４は、選択された関心領域の背景ピクセルセットの各ピクセルの色成分、深度成分及び空間的位置に基づいて、選択された関心領域の第２の共分散パラメータセットを推定するように構成することができる。いくつかのシナリオでは、プロセッサ２０４を、各背景ピクセルセットの色成分、深度成分及び空間的位置の各々の正味分散を計算するように構成することができる。このようなシナリオでは、計算された正味分散に基づいて第２の共分散パラメータセットを計算することができる。
【００６２】
第２の共分散パラメータセットが第２の共分散平滑化行列「ＣBG」として表される場合、この第２の共分散平滑化行列「ＣBG」は、複数の行列要素を含むことができる。複数の行列要素の例としては、赤色分散パラメータ
2021521542.tif 000019
、青色分散パラメータ
2021521542.tif 000020
、緑色分散パラメータ
2021521542.tif 000021
、深度分散パラメータ
2021521542.tif 000022
、「Ｘ」座標分散パラメータ
2021521542.tif 000023
、及び「Ｙ」座標分散パラメータ
2021521542.tif 000024
を挙げることができる。赤色分散パラメータ
2021521542.tif 000025
、青色分散パラメータ
2021521542.tif 000026
及び緑色分散パラメータ
2021521542.tif 000027
は、選択された関心領域全体にわたる、選択された関心領域の背景ピクセルセットの（赤色成分、青色成分及び緑色成分などの）色成分の分散を示すことができる。深度分散パラメータ
2021521542.tif 000028
は、選択された関心領域全体にわたる、選択された関心領域の背景ピクセルセットの深度成分の分散を示すことができる。「Ｘ」座標分散パラメータ
2021521542.tif 000029
及び「Ｙ」座標分散パラメータ
2021521542.tif 000030
は、選択された関心領域の背景ピクセルセットの空間的位置の分散を示すことができる。第２の共分散平滑化行列「ＣBG」は、以下のような方程式（５）で表すことができる。
【数５】
2021521542.tif 000031
（５）
アップスケーリングされた前景マスクは、（方程式（４）によって示すような）第１の共分散平滑化行列及び（方程式（５）によって示すような）第２の共分散平滑化行列によって平滑化することができる。
【００６３】
図１で説明したような画像処理装置１０２によって実行される機能及び／又は動作は、プロセッサ２０４及び／又は適応的マスクアップサンプラ２０８が実行することができる。プロセッサ２０４及び適応的マスクアップサンプラ２０８によって実行される他の動作については、例えば図３Ａ及び図３Ｂにおいてさらに詳細に説明する。
【００６４】
図３Ａに、本開示の実施形態による、適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための図１の画像処理装置の例示的な動作を示す。図３Ａの説明は、図１及び図２の要素に関連して行う。
【００６５】
３０２において、画像処理装置１０２は、（以前のカラー画像フレーム１１６（図１）などの）以前のカラー画像フレームを受け取ることができる。いくつかのシナリオでは、プロセッサ２０４を、ネットワークインターフェイス２１２を使用して通信ネットワーク（図示せず）を介してサーバ（図示せず）から以前のカラー画像フレームを受け取るように構成することができる。プロセッサ２０４は、第１のタイプのセンサ１０４から（現在のカラー画像フレーム１１４（図１）などの）現在のカラー画像フレームを受け取るように構成することができる。
【００６６】
３０４において、画像処理装置１０２は、以前のカラー画像フレーム内の関心オブジェクトの（第１の前景マスク１１８（図１）などの）第１の前景マスクを受け取ることができる。いくつかのシナリオでは、プロセッサ２０４を、ネットワークインターフェイス２１２を使用して通信ネットワーク（図示せず）を介してサーバ（図示せず）から第１の前景マスクを受け取るように構成することができる。受け取られた以前のカラー画像フレームの関心オブジェクトの第１の前景マスクは、以前のカラー画像フレーム内の人間及び玩具などの１又は２以上のオブジェクトに対応することができる。
【００６７】
３０６において、画像処理装置１０２は、現在のカラー画像フレーム内の関心オブジェクトの（第２の前景マスク１２０（図１）などの）第２の前景マスクを推定することができる。プロセッサ２０４は、前景マスク生成器２０６を利用して、現在のカラー画像フレーム内の関心オブジェクトの第２の前景マスクを第１の画像解像度で推定することができる。第１の画像解像度は、現在のカラー画像フレームの画像解像度よりも粗いものとすることができる。
【００６８】
３０８において、推定された第２の前景マスクを第１の画像解像度から第２の画像解像度にアップサンプリングすることができる。プロセッサ２０４は、推定された第２の前景マスクを、図１で説明したように第１の画像解像度から第２の画像解像度にアップサンプリングするように構成することができる。アップサンプリングされた第２の前景マスクは、例えば未知のマスク値を有する第１のピクセル３１０などの複数のエラーを含むことができる。
【００６９】
３１２において、未知のマスク値を有する第１のピクセル３１０と現在のカラー画像フレームの第１のピクセル３１４との間の一致に基づいて、現在のカラー画像フレーム内の第１の関心領域３１６Ａを選択することができる。プロセッサ２０４は、第２の前景マスクの第１のピクセル３１０と現在のカラー画像フレームの第１のピクセル３１４との間の空間的一致に基づいて、現在のカラー画像フレーム内の第１の関心領域３１６Ａを選択するように構成することができる。選択された第１の関心領域３１６Ａは、以前のカラー画像フレーム内の第２の関心領域３１６Ｂ及び第１の前景マスクの第３の関心領域３１６Ｃに対応することができる。
【００７０】
３１８において、第２の前景マスクの第１のピクセル３１０の期待値パラメータを推定することができる。プロセッサ２０４は、適応的マスクアップサンプラ２０８を利用して、選択された第１の関心領域３１６Ａの各ピクセルの色成分、深度成分及び空間的位置と、第２の関心領域３１６Ｂ及び／又は第３の関心領域３１６Ｃの対応するピクセルの色成分、深度成分及び空間的位置とに基づいて期待値パラメータを推定することができる。プロセッサ２０４は、適応的マスクアップサンプラ２０８を利用して、選択された第１の関心領域３１６Ａの複数のピクセルの複数の共分散パラメータにさらに基づいて期待値パラメータを推定することができる。プロセッサ２０４は、適応的マスクアップサンプラ２０８を利用して、推定される期待値パラメータに基づいて、第１のピクセル３１０を前景ピクセル及び背景ピクセルの一方として分類することができる。
【００７１】
３２０において、第２の前景マスクの第１のピクセル３１０の推定される期待値パラメータに基づいて、第２の前景マスクをアップスケーリングすることができる。第１の前景ピクセルセットの第１のピクセル３１０が前景ピクセルとして分類された場合、プロセッサ２０４は、適応的マスクアップサンプラ２０８を利用して、少なくとも第１のピクセル３１０を「１」のマスク値でアップスケーリングすることができる。第１の前景ピクセルセットの第１のピクセルが背景ピクセルとして分類された場合、プロセッサ２０４は、適応的マスクアップサンプラ２０８を利用して、少なくとも第１のピクセル３１０に「０」のマスク値を割り当てることができる。
【００７２】
図３Ｂに、本開示の実施形態による、現在のカラー画像フレーム内の関心領域を示す。図３Ｂの説明は、図１、図２及び図３Ａの要素に関連して行う。図３Ｂには、第１の関心領域３１６Ａを示す。第１の関心領域３１６Ａは、（第１のピクセル「Ｐ１」、第２のピクセル「Ｐ２」、第３のピクセル「Ｐ３」、第４のピクセル「Ｐ４」、第５のピクセル「Ｐ５」、第６のピクセル「Ｐ６」、第７のピクセル「Ｐ７」、第８のピクセル「Ｐ８」、第９のピクセル「Ｐ９」、第１０のピクセル「Ｐ１０」、第１１のピクセル「Ｐ１１」、第１２のピクセル「Ｐ１２」、第１３のピクセル「Ｐ１３」、第１４のピクセル「Ｐ１４」、第１５のピクセル「Ｐ１５」及び第１６のピクセル「Ｐ１６」などの）複数のピクセルを含む。複数のピクセルは、前景ピクセルセット及び背景ピクセルセットを含むことができる。背景ピクセルセットは、第１のピクセル「Ｐ１」、第２のピクセル「Ｐ２」、第３のピクセル「Ｐ３」、第５のピクセル「Ｐ５」、第６のピクセル「Ｐ６」、第７のピクセル「Ｐ７」、第９のピクセル「Ｐ９」、第１０のピクセル「Ｐ１０」、及び第１３のピクセル「Ｐ１３」を含むことができる。前景ピクセルセットは、第４のピクセル「Ｐ４」、第８のピクセル「Ｐ８」、第１１のピクセル「Ｐ１１」、第１２のピクセル「Ｐ１２」、第１４のピクセル「Ｐ１４」、第１５のピクセル「Ｐ１５」、及び第１６のピクセル「Ｐ１６」を含むことができる。
【００７３】
図４Ａ及び図４Ｂに、本開示の実施形態による、適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための例示的な方法を示すフローチャートをまとめて示す。図４Ａには、フローチャート４００を示す。フローチャート４００の説明は、図１、図２、図３Ａ及び図３Ｂに関連して行う。方法は４０２から開始する。（４０４などの）第１の動作は、並列処理によって（４０６などの）第２の動作と同時に実行することができる。従って、制御は、４０４及び４０６に同時に進むことができる。
【００７４】
４０４において、シーン１１０の一連のカラー画像フレーム１１２を取り込むことができる。第１のタイプのセンサ１０４は、シーン１１０から一連のカラー画像フレーム１１２を取り込むように構成することができる。一連のカラー画像フレーム１１２は、図１で説明したようなフラッシュビデオ、オーディオビデオインタリーブ（ＡＶＩ）ビデオ及び動画専門家集団（ＭＰＥＧ）ビデオなどのビデオとすることができる。取り込まれた一連のカラー画像フレーム１１２は、シーン１１０の複数のオブジェクトを含むことができる。
【００７５】
４０６において、一連のカラー画像フレーム１１２の各対応するカラー画像フレームの深度画像を取り込むことができる。第２のタイプのセンサ１０６は、一連のカラー画像フレーム１１２の各対応するカラー画像フレームの深度画像を取り込むように構成することができる。第２のタイプのセンサ１０６は、第１のタイプのセンサ１０４によるそれぞれのカラー画像フレームの取り込みと同時に一連のカラー画像フレーム１１２の各カラー画像フレームの深度画像を取り込むように構成することができる。
【００７６】
４０８において、第１のタイプのセンサ１０４から以前のカラー画像フレーム１１６及び現在のカラー画像フレーム１１４を受け取ることができる。プロセッサ２０４は、第１のタイプのセンサ１０４から以前のカラー画像フレーム１１６及び現在のカラー画像フレーム１１４を受け取るように構成することができる。換言すれば、画像処理装置１０２は、第１のタイプのセンサ１０４から現在のカラー画像フレーム１１４を受け取るように構成することができる。画像処理装置１０２は、第２のタイプのセンサ１０６から一連の深度画像を受け取るように構成することができる。
【００７７】
４１０において、以前のカラー画像フレーム１１６内の関心オブジェクトの第１の前景マスク１１８を受け取ることができる。いくつかのシナリオでは、画像処理装置１０２を、通信ネットワーク（図示せず）を介してサーバ（図示せず）から第１の前景マスク１１８を受け取るように構成することができる。他のシナリオでは、画像処理装置１０２を、画像処理装置１０２のメモリ２１０に記憶することができる複数の前景マスクから第１の前景マスク１１８を受け取るように構成することができる。受け取られた以前のカラー画像フレーム１１６の関心オブジェクトの第１の前景マスク１１８は、以前のカラー画像フレーム１１６内の人間及び玩具などの１又は２以上のオブジェクトに対応することができる。
【００７８】
４１２において、現在のカラー画像フレーム１１４内の関心オブジェクトの第２の前景マスク１２０を第１の画像解像度で推定することができる。プロセッサ２０４は、前景マスク生成器２０６を利用して、現在のカラー画像フレーム１１４内の関心オブジェクトの第２の前景マスク１２０を第１の画像解像度で推定することができる。図１で説明したように、第１の画像解像度は、現在のカラー画像フレーム１１４の画像解像度よりも粗いものとすることができる。
【００７９】
４１４において、第２の前景マスク１２０を第１の画像解像度から第２の画像解像度にアップサンプリングすることができる。図１で説明したように、プロセッサ２０４は、第２の前景マスク１２０の複数のピクセルと現在のカラー画像フレーム１１４の複数のピクセルとの間の一致に基づいて第２の前景マスク１２０をアップサンプリングするように構成することができる。第２の前景マスク１２０は、未知のマスク値を有する少なくとも第１のピクセルを含むことができる。
【００８０】
４１６において、現在のカラー画像フレーム１１４の関心領域を選択することができる。プロセッサ２０４は、アップサンプリングされた第２の前景マスク１２０の少なくとも未知のマスク値を有する第１のピクセルに基づいて、現在のカラー画像フレーム１１４内の関心領域を選択するように構成することができる。プロセッサ２０４は、アップサンプリングされた第２の前景マスク１２０のピクセルと、現在のカラー画像フレーム１１４のピクセルとの空間的一致に基づいて関心領域を選択するように構成することができる。現在のカラー画像フレーム１１４の選択された関心領域は、現在のカラー画像フレーム１１４の少なくとも１つのピクセルを含むことができる。関心領域は、現在のカラー画像フレーム１１４の前景ピクセルセット及び背景ピクセルセットを含むことができる。いくつかのシナリオでは、選択された関心領域が、現在のカラー画像フレーム１１４の第１のピクセルを中心にすることができる。（４１８などの）第１の動作は、並列処理によって（４２０などの）第２の動作と同時に実行することができる。従って、制御は、４１８及び４２０に同時に進むことができる。
【００８１】
４１８において、選択された関心領域の第１の共分散パラメータセットを推定することができる。プロセッサ２０４は、選択された関心領域の前景ピクセルセットの各ピクセルの色成分、深度成分及び空間的位置に基づいて、選択された関心領域の第１の共分散パラメータセットを推定するように構成することができる。
【００８２】
４２０において、選択された関心領域の第２の共分散パラメータセットを推定することができる。プロセッサ２０４は、選択された関心領域の背景ピクセルセットの各ピクセルの色成分、深度成分及び空間的位置に基づいて、選択された関心領域の第２の共分散パラメータセットを推定するように構成することができる。
【００８３】
４２２において、未知のマスク値を有する少なくとも第１のピクセルの期待値パラメータを推定することができる。プロセッサ２０４は、適応的マスクアップサンプラ２０８を利用して、選択された関心領域の第１のピクセルセットの各ピクセルの色成分、深度成分及び空間的位置に基づいて、第２の前景マスク１２０の少なくとも１つのピクセルの期待値パラメータを推定することができる。選択された関心領域の第１のピクセルセットは、以前のカラー画像フレーム１１６の第１の前景マスク１１８の第１のピクセルセットに空間的に対応することができる。画像処理装置１０２は、以前のカラー画像フレーム１１６の第１の前景マスク１１８の第１のピクセルセットの各ピクセルの色成分、深度成分及び空間的位置と、現在のカラー画像フレーム１１４の少なくとも１つのピクセルの推定された複数の共分散パラメータとにさらに基づいて期待値パラメータを推定するように構成することができる。
【００８４】
４２４において、推定された第２の前景マスク１２０の１つのピクセルが閾値を上回ることができるかどうかを第１の基準として決定することができる。いくつかのシナリオでは、この閾値を「０．５」などの小数とすることができる。少なくとも１つのピクセルの推定される期待値パラメータが閾値を上回る場合、制御は４２６に進むことができる。少なくとも１つのピクセルの推定される期待値パラメータが閾値未満であるその他の場合、制御は４２８に進むことができる。
【００８５】
４２６において、第１の基準に基づいて、未知のマスク値を有する少なくとも１つのピクセルを前景ピクセルとして分類することができる。プロセッサ２０４は、適応的マスクアップサンプラ２０８を利用して、第１の基準に基づいて少なくとも１つのピクセルを前景ピクセルとして分類することができる。
【００８６】
４２８において、第１の基準に基づいて、未知のマスク値を有する少なくとも１つのピクセルを背景ピクセルとして分類することができる。プロセッサ２０４は、適応的マスクアップサンプラ２０８を利用して、第１の基準に基づいて少なくとも１つのピクセルを背景ピクセルとして分類することができる。
【００８７】
４３０において、アップサンプリングされた第２の前景マスク１２０を、第２の前景マスク１２０の少なくとも１つのピクセルの推定される期待値パラメータによってアップスケーリングすることができる。プロセッサ２０４は、適応的マスクアップサンプラ２０８を利用して、関心オブジェクトのアップサンプリングされた第２の前景マスク１２０を、アップサンプリングされた第２の前景マスク１２０の少なくとも１つのピクセルの推定される期待値パラメータによってアップスケーリングすることができる。第１の前景ピクセルセットのピクセルが前景ピクセルとして分類された場合、画像処理装置１０２は、第２の前景マスク１２０の少なくとも１つのピクセルを「１」のマスク値でアップスケーリングすることができる。第１の前景ピクセルセットのピクセルが背景ピクセルとして分類された場合、画像処理装置１０２は、第２の前景マスク１２０の少なくとも１つのピクセルを「０」のマスク値でアップスケーリングすることができる。
【００８８】
４３２において、関心オブジェクトのアップスケーリングされてアップサンプリングされた第２の前景マスク１２０に基づいて、現在のカラー画像フレームから関心オブジェクトを抽出することができる。プロセッサ２０４は、適応的マスクアップサンプラ２０８を利用して、現在のカラー画像フレーム１１４内の関心オブジェクトのアップスケーリングされた第２の前景マスク１２０を使用して現在のカラー画像フレーム１１４から関心オブジェクトを抽出することができる。制御は、終了４３４に進むことができる。
【００８９】
ある実施形態によれば、（画像処理装置１０２（図１）などの）画像処理装置は、（第１のタイプのセンサ１０４（図１）などの）第１のタイプのセンサと、（第２のタイプのセンサ１０６（図１）などの）第２のタイプのセンサと、（制御回路２０２（図２）などの）制御回路とを含むことができる。第１のタイプのセンサ１０４は、現在のカラー画像フレーム（例えば、現在のカラー画像フレーム１１４（図１））及び以前のカラー画像フレーム（例えば、以前のカラー画像フレーム１１６（図１））を含む一連のカラー画像フレーム（例えば、一連のカラー画像フレーム１１２（図１））を取り込むように構成することができる。制御回路２０２は、以前のカラー画像フレーム１１６内の関心オブジェクトの第１の前景マスク（例えば、第１の前景マスク１１８（図１））を受け取るように構成することができる。制御回路２０２は、第１の前景マスク１１８と、現在のカラー画像フレーム１１４内の少なくとも人体の一部の形状とに基づいて、現在のカラー画像フレーム内の関心オブジェクトの第２の前景マスク（例えば、第２の前景マスク１２０（図２））を第１の画像解像度で推定するように構成することができる。
【００９０】
ある実施形態によれば、制御回路は、第２の前景マスクの複数のピクセルと、現在のカラー画像フレームの複数のピクセルとの間の一致に基づいて、第２の前景マスクを第２の画像解像度にアップサンプリングするように構成することができる。アップサンプリングされた第２の前景マスクは、少なくとも未知のマスク値を有する第１のピクセルを含む。制御回路は、アップサンプリングされた第２の前景マスクの少なくとも１つのピクセルの空間的位置に基づいて、現在のカラー画像フレーム内の少なくとも１つの関心領域を選択するように構成することができる。制御回路は、選択された少なくとも１つの関心領域の各ピクセルの色成分、深度成分及び空間的位置と、以前のカラー画像フレームの第１の前景マスクの対応するピクセルの色成分、深度成分及び空間的位置とに基づくとともに、選択された少なくとも１つの関心領域の複数のピクセルの複数の共分散パラメータにさらに基づいて、少なくとも１つのピクセルの期待値パラメータを推定するように構成することができる。制御回路は、関心オブジェクトのアップサンプリングされた第２の前景マスクに基づいて、アップサンプリングされた第２の前景マスクを少なくとも１つのピクセルの推定される期待値パラメータによってアップスケーリングして、現在のカラー画像フレームから関心オブジェクトを抽出するように構成することができる。
【００９１】
本開示の様々な実施形態は、適応的前景マスクアップサンプリングに基づく一連のカラー画像フレームのオブジェクトセグメンテーションのための画像処理装置を動作させるための、機械及び／又はコンピュータが実行できる命令セットを記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。この命令セットは、現在のカラー画像フレーム及び以前の現在のカラー画像フレームを含む一連のカラー画像フレームを第１のタイプのセンサが取り込むことを含むステップを機械及び／又はコンピュータに実行させることができる。これらの動作は、以前のカラー画像フレーム内の関心オブジェクトの第１の前景マスクを受け取り、第１の前景マスクと、現在のカラー画像フレーム内の少なくとも人体の一部の形状とに基づいて、現在のカラー画像フレーム内の関心オブジェクトの第２の前景マスクを第１の画像解像度で推定することをさらに含むことができる。
【００９２】
これらの動作は、第２の前景マスクの複数のピクセルと現在のカラー画像フレームの複数のピクセルとの間の一致に基づいて、第２の前景マスクを第２の画像解像度にアップサンプリングすることをさらに含むことができる。現在のカラー画像フレーム内の少なくとも１つの関心領域は、アップサンプリングされた第２の前景マスクの少なくとも１つのピクセルの空間的位置に基づいて選択することができる。さらに、選択された少なくとも１つの関心領域の各ピクセルの色成分、深度成分及び空間的位置と、以前のカラー画像フレームの第１の前景マスクの対応するピクセルの色成分、深度成分及び空間的位置とに基づくとともに、選択された少なくとも１つの関心領域の複数のピクセルの複数の共分散パラメータにさらに基づいて、少なくとも１つのピクセルの期待値パラメータを推定することができる。アップサンプリングされた第２の前景マスクを、少なくとも１つのピクセルの推定される期待値パラメータによってアップスケーリングして、関心オブジェクトのアップサンプリングされた第２の前景マスクに基づいて現在のカラー画像フレームから関心オブジェクトを抽出することができる。
【００９３】
本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアとの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。
【００９４】
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
【００９５】
いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。
【図１】
2021521542.tif 000032
【図２】
2021521542.tif 000033
【図３Ａ】
2021521542.tif 000034
【図３Ｂ】
2021521542.tif 000035
【図４Ａ】
2021521542.tif 000036
【図４Ｂ】
2021521542.tif 000037
【国際調査報告】
2021521542.tif 000038
2021521542.tif 000039