(57)【要約】【課題】一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理装置及び方法の様々な態様を開示する。【解決手段】画像処理装置は、一連の画像フレーム内の各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割するように構成される。第１の画像フレームと第２の画像フレームとの間の非ゼロの時間導関数によって第１の動作状態にある多関節オブジェクトを検出する。第１の画像フレームの第１のスーパーピクセルの組の第１の接続性グラフを構築する。第２の画像フレームの第２のスーパーピクセルの組の第２の接続性グラフも構築する。第１の接続性グラフ及び第２の接続性グラフに基づいて、多関節オブジェクトの少なくとも一部が静止している第２の動作状態にある多関節オブジェクトの完全なオブジェクトマスクを生成する。【選択図】なし【特許請求の範囲】
【請求項１】
画像処理装置であって、
少なくとも１つの画像プロセッサを備え、該画像プロセッサは、
一連の画像フレームにおける各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割し、
前記一連の画像フレームにおける第１の画像フレームと該第１の画像フレームに後続する第２の画像フレームとの間の非ゼロの時間導関数によって第１の動作状態にある多関節オブジェクトを検出し、
前記第１の画像フレームの第１のスーパーピクセルの組の第１の接続性グラフを構築し、
前記第２の画像フレームの第２のスーパーピクセルの組の第２の接続性グラフを構築し、
前記第１の接続性グラフ及び前記第２の接続性グラフに基づいて、前記多関節オブジェクトの少なくとも一部が静止している第２の動作状態にある前記多関節オブジェクトの完全なオブジェクトマスクを生成する、
ように構成される、
ことを特徴とする画像処理装置。
【請求項２】
前記少なくとも１つの画像プロセッサは、前記完全なオブジェクトマスクの前記生成のために前記第２の画像フレームの前記第２の接続性グラフを前記第１の画像フレームの前記第１の接続性グラフと比較するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項３】
前記少なくとも１つの画像プロセッサは、前記第１の画像フレーム及び前記第２の画像フレームを含む３つの連続する画像フレームから、少なくとも前記非ゼロの時間導関数を含む時間導関数マップを計算するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項４】
前記少なくとも１つの画像プロセッサは、前記異なる分割領域のうちの１つの分割領域に対応する前記スーパーピクセルにおける前記非ゼロの時間導関数の存在に基づいて、前記完全なオブジェクトマスクに全体として含まれる前記第１のスーパーピクセルの組又は前記第２のスーパーピクセルの組のスーパーピクセルを前記非ゼロの時間導関数に関連付けるようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項５】
前記少なくとも１つの画像プロセッサは、前記スーパーピクセルと前記非ゼロの時間導関数との関連性に基づいて、前記第１のスーパーピクセルの組又は前記第２のスーパーピクセルの組のスーパーピクセルを移動物として分類するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項６】
前記少なくとも１つの画像プロセッサは、前記スーパーピクセルの前記第１の画像フレームにおける移動物としての以前の分類と、前記第２の画像フレームにおける前記非ゼロの時間導関数の不在とに基づいて、前記第２のスーパーピクセルの組におけるスーパーピクセルの分類を前記多関節オブジェクトに属する移動スーパーピクセルとして更新するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項７】
前記少なくとも１つの画像プロセッサは、前記第２のスーパーピクセルの組のスーパーピクセルを第１の小領域と第２の小領域とに分割するようにさらに構成され、前記スーパーピクセルは、前記多関節オブジェクトに属する前記第１の小領域における第１の画素数と、静止背景に属する前記第２の小領域における第２の画素数とを含む、
請求項１に記載の画像処理装置。
【請求項８】
前記少なくとも１つの画像プロセッサは、前記スーパーピクセルの前記第１の小領域及び前記第２の小領域への前記分割のために前記スーパーピクセルの分割パラメータを更新するようにさらに構成され、前記第１の小領域における前記第１の画素数は閾値数よりも少ない、
請求項７に記載の画像処理装置。
【請求項９】
前記少なくとも１つの画像プロセッサは、前記スーパーピクセルの前記分割のために、前記第２の画像フレームにおける静止物として分類された前記第２のスーパーピクセルの組のスーパーピクセルが以前に前記非ゼロの時間導関数に関連付けられていたかどうかをチェックするようにさらに構成される、
請求項７に記載の画像処理装置。
【請求項１０】
前記少なくとも１つの画像プロセッサは、前記第２の画像フレームにおける前記多関節オブジェクトの現在の外観を反映するように、前記第１の接続性グラフを前記多関節オブジェクトの各部分の前記第２の接続性グラフで更新するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項１１】
前記少なくとも１つの画像プロセッサは、時間導関数マップと前記第１の接続性グラフと前記第２の接続性グラフとの組み合わせに基づいて、前記一連の画像フレームにおける前記多関節オブジェクトの動作状態とは無関係に前記多関節オブジェクトの各部分を追跡するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項１２】
前記少なくとも１つの画像プロセッサは、前記第１の接続性グラフと前記第２の接続性グラフとの比較に基づいて、前記完全なオブジェクトマスクの前記生成のために前記一連の画像フレームの前記第２の画像フレームにおける前記多関節オブジェクトの消失部分を復元するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項１３】
一連の画像フレームにおけるオブジェクト追跡方法であって、
少なくとも１つの画像プロセッサを備えた画像処理装置おいて、
前記少なくとも１つの画像プロセッサが、一連の画像フレームにおける各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割するステップと、
前記少なくとも１つの画像プロセッサが、前記一連の画像フレームにおける第１の画像フレームと該第１の画像フレームに後続する第２の画像フレームとの間の非ゼロの時間導関数によって第１の動作状態にある多関節オブジェクトを検出するステップと、
前記少なくとも１つの画像プロセッサが、前記第１の画像フレームの第１のスーパーピクセルの組の第１の接続性グラフを構築するステップと、
前記少なくとも１つの画像プロセッサが、前記第２の画像フレームの第２のスーパーピクセルの組の第２の接続性グラフを構築するステップと、
前記少なくとも１つの画像プロセッサが、前記第１の接続性グラフ及び前記第２の接続性グラフに基づいて、前記多関節オブジェクトの少なくとも一部が静止している第２の動作状態にある前記多関節オブジェクトの完全なオブジェクトマスクを生成するステップと、
を含むことを特徴とする方法。
【請求項１４】
前記少なくとも１つの画像プロセッサが、前記完全なオブジェクトマスクの前記生成のために前記第２の画像フレームの前記第２の接続性グラフを前記第１の画像フレームの前記第１の接続性グラフと比較するステップをさらに含む、
請求項１３に記載の方法。
【請求項１５】
前記少なくとも１つの画像プロセッサが、前記第１の画像フレーム及び前記第２の画像フレームを含む３つの連続する画像フレームから、少なくとも前記非ゼロの時間導関数を含む時間導関数マップを計算するステップをさらに含む、
請求項１３に記載の方法。
【請求項１６】
前記少なくとも１つの画像プロセッサが、前記異なる分割領域のうちの１つの分割領域に対応する前記スーパーピクセルにおける前記非ゼロの時間導関数の存在に基づいて、前記完全なオブジェクトマスクに全体として含まれる前記第１のスーパーピクセルの組及び前記第２のスーパーピクセルの組のスーパーピクセルを前記非ゼロの時間導関数に関連付けるステップをさらに含む、
請求項１３に記載の方法。
【請求項１７】
前記少なくとも１つの画像プロセッサが、前記スーパーピクセルと前記非ゼロの時間導関数との関連性に基づいて、前記第１のスーパーピクセルの組及び前記第２のスーパーピクセルの組のスーパーピクセルを移動物として分類するステップをさらに含む、
請求項１３に記載の方法。
【請求項１８】
前記少なくとも１つの画像プロセッサが、前記スーパーピクセルの前記第１の画像フレームにおける移動物としての以前の分類と、前記第２の画像フレームにおける前記非ゼロの時間導関数の不在とに基づいて、前記第２のスーパーピクセルの組におけるスーパーピクセルの分類を前記多関節オブジェクトに属するオブジェクトスーパーピクセルとして更新するステップをさらに含む、
請求項１３に記載の方法。
【請求項１９】
前記少なくとも１つの画像プロセッサが、前記第２のスーパーピクセルの組のスーパーピクセルを第１の小領域と第２の小領域とに分割するステップをさらに含み、前記スーパーピクセルは、前記多関節オブジェクトに属する前記第１の小領域における第１の画素数と、静止背景に属する前記第２の小領域における第２の画素数とを含む、
請求項１３に記載の方法。
【請求項２０】
前記少なくとも１つの画像プロセッサが、前記スーパーピクセルの前記第１の小領域及び前記第２の小領域への前記分割のために前記スーパーピクセルの分割パラメータを更新ステップをさらに含み、前記第１の小領域における前記第１の画素数は閾値数よりも少ない、
請求項１９に記載の方法。
【請求項２１】
前記少なくとも１つの画像プロセッサが、前記スーパーピクセルの前記分割のために、前記第２の画像フレームにおける静止物として分類された前記第２のスーパーピクセルの組のスーパーピクセルが以前に前記非ゼロの時間導関数に関連付けられていたかどうかをチェックするステップをさらに含む、
請求項１９に記載の方法。
【請求項２２】
前記少なくとも１つの画像プロセッサが、前記第２の画像フレームにおける前記多関節オブジェクトの現在の外観を反映するように、前記第１の接続性グラフを前記多関節オブジェクトの各部分の前記第２の接続性グラフで更新するステップをさらに含む、
請求項１３に記載の方法。
【請求項２３】
前記少なくとも１つの画像プロセッサが、時間導関数マップと前記第１の接続性グラフと前記第２の接続性グラフとの組み合わせに基づいて、前記一連の画像フレームにおける前記多関節オブジェクトの動作状態とは無関係に前記多関節オブジェクトの各部分を追跡するステップをさらに含む、
請求項１３に記載の方法。
【請求項２４】
前記少なくとも１つの画像プロセッサが、前記第１の接続性グラフと前記第２の接続性グラフとの比較に基づいて、前記完全なオブジェクトマスクの前記生成のために前記一連の画像フレームの前記第２の画像フレームにおける前記多関節オブジェクトの消失部分を復元するステップをさらに含む、
請求項１３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照／引用による組み入れ〕
無し。
【０００２】
本開示の様々な実施形態は、一連の画像フレームにおけるオブジェクト追跡技術に関する。具体的には、本開示の様々な実施形態は、一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理装置及び方法に関する。
【背景技術】
【０００３】
最近のビデオ監視システムの分野、ロボット工学及び自動車産業分野におけるマシンビジョンシステム、及び消費者向け電子（ＣＥ）装置の進歩は、画像処理技術の急速な技術開発に因るところが大きい。オブジェクト追跡のための技術は様々なものが知られているが、これらのほとんどは、通常はビデオの一連の画像フレームにおけるオブジェクトの質量中心からのオブジェクトの平均的な動きを発見することに焦点を当てたものである。例えば人間などの多関節オブジェクトの場合には、その幾何学的形状が一定ではなく動くにつれて変化するので、オブジェクト追跡の複雑性が増す。多関節オブジェクトとは、関節を通じて取り付けられて相対的に動くことができる部分を有するオブジェクトのことである。多関節オブジェクトは変形しがちでもあり、例えば多関節オブジェクトの２つの部分が一連の画像フレーム内で時間と共に融合又は分離することもある。通常、現在の技術は、多関節オブジェクトの全ての可動部を認識しようと試みることなく多関節オブジェクトの平均的な動きを発見しようと試みるものである。さらに、前景オブジェクトを特定して分割する一般的方法は、新たに取り込んだ画像から静的な背景画像を減算するものである。この減算によって時間導関数がもたらされ、減算後の残りの画素に前景オブジェクトとしてラベル付けすることができる。しかしながら、シナリオによっては、時間導関数を用いて多関節オブジェクトを追跡しようと試みた時にフェードアウトの問題に遭遇する。例えば、多関節オブジェクト又はそのいくつかの部分は突然動きを止めることがある。動きを止めた多関節オブジェクト又は部分は、一連の画像フレームに時間導関数を部分的にしか又は全く残さず、従って多関節オブジェクトが徐々に消滅又はフェードアウトしてしまう。従って、このようなシナリオでは、前景の多関節オブジェクトを正確に表現することが困難になり得る。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的方法のさらなる制限及び不利点が明らかになるであろう。
【課題を解決するための手段】
【０００５】
少なくとも１つの図に実質的に示し、及び／又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示す、一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理装置及び方法を提供する。
【０００６】
全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
【図面の簡単な説明】
【０００７】
【図１Ａ】本開示の実施形態による、一連の画像フレームにおける多関節オブジェクトを追跡して保持するための例示的なネットワーク環境を示すブロック図である。
【図１Ｂ】本開示の実施形態による、一連の画像フレームのうちの１つの画像フレームのシーンを図１Ａの画像処理装置によって色空間において分割する例示的な分割を示す図である。
【図２】本開示の実施形態による例示的な画像処理装置を示すブロック図である。
【図３Ａ】本開示の実施形態による、開示する一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理装置及び方法を実装する第１の例示的なシナリオを示す図である。
【図３Ｂ】本開示の実施形態による、開示する一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理装置及び方法を実装する第１の例示的なシナリオを示す図である。
【図３Ｃ】本開示の実施形態による、開示する一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理装置及び方法を実装する第２の例示的なシナリオを示す図である。
【図４Ａ】本開示の実施形態による、一連の画像フレームにおける多関節オブジェクトを追跡して保持する例示的な方法を示すフローチャートである。
【図４Ｂ】本開示の実施形態による、一連の画像フレームにおける多関節オブジェクトを追跡して保持する例示的な方法を示すフローチャートである。
【図４Ｃ】本開示の実施形態による、一連の画像フレームにおける多関節オブジェクトを追跡して保持する例示的な方法を示すフローチャートである。
【発明を実施するための形態】
【０００８】
開示する一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理装置及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、一連の画像フレーム内の各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割できる画像処理装置を含むことができる。第１の画像フレームと第２の画像フレームとの間の非ゼロの時間導関数によって、第１の動作状態にある多関節オブジェクトを検出することができる。第２の画像フレームは、一連の画像フレームにおいて第１の画像フレームに後続することができる。画像処理装置は、第１の画像フレームの第１のスーパーピクセルの組の第１の接続性グラフを構築するように構成することができる。画像処理装置は、第２の画像フレームの第２のスーパーピクセルの組の第２の接続性グラフを構築するようにさらに構成することができる。画像処理装置は、第１の接続性グラフ及び第２の接続性グラフに基づいて、第２の動作状態にある多関節オブジェクトの完全なオブジェクトマスクを生成するようにさらに構成することができる。第２の動作状態では、多関節オブジェクトの少なくとも一部が静止することができる。
【０００９】
ある実施形態によれば、画像処理装置は、完全なオブジェクトマスクの生成のために第２の画像フレームの第２の接続性グラフと第１の画像フレームの第１の接続性グラフとを比較するように構成することができる。画像処理装置は、第１の画像フレーム及び第２の画像フレームを含む３つの連続する画像フレームから時間導関数マップを計算するように構成することもできる。時間導関数マップは、少なくとも非ゼロの時間導関数を含むことができる。
【００１０】
ある実施形態によれば、画像処理装置は、第１のスーパーピクセルの組及び第２のスーパーピクセルの組のスーパーピクセルを非ゼロの時間導関数に関連付けるように構成することができる。この関連付けは、異なる分割領域のうちの１つの分割領域に対応するスーパーピクセル内に非ゼロの時間導関数が存在することに基づいて行うことができる。完全なオブジェクトマスクは、非ゼロの時間導関数に関連付けられたスーパーピクセルを全体として含むことができる。画像処理装置は、スーパーピクセルと非ゼロの時間導関数との関連性に基づいて、第１のスーパーピクセルの組及び第２のスーパーピクセルの組におけるスーパーピクセルを移動物として分類するように構成することができる。
【００１１】
ある実施形態によれば、画像処理装置は、第２のスーパーピクセルの組におけるスーパーピクセルの分類を多関節オブジェクトに属するオブジェクトスーパーピクセルとして更新するように構成することができる。スーパーピクセルの分類は、たとえ第２の画像フレームに非ゼロの時間導関数が存在しない場合でも、第１の画像フレームにおける移動物として分類された以前のスーパーピクセルの分類に基づいて更新することができる。ある実施形態によれば、第２のスーパーピクセルの組のスーパーピクセルは、第１の小領域と第２の小領域とに分割することができる。分割されたスーパーピクセルは、多関節オブジェクトに属する第１の小領域における第１の画素数と、静止背景に属する第２の小領域における第２の画素数とを含むことができる。第１の小領域における第１の画素数は、閾値数未満とすることができる。画像処理装置は、スーパーピクセルの分割のために、第２の画像フレームにおける静止物として分類された第２のスーパーピクセルの組のスーパーピクセルが以前に非ゼロの時間導関数に関連付けられていたかどうかをチェックするように構成することができる。画像処理装置は、スーパーピクセルの第１の小領域及び第２の小領域への分割のためにスーパーピクセルの分割パラメータを更新するように構成することができる。
【００１２】
ある実施形態によれば、画像処理装置は、第２の画像フレームにおける多関節オブジェクトの現在の外観を反映するように、第１の接続性グラフを多関節オブジェクトの各部分の第２の接続性グラフで更新するように構成することができる。多関節オブジェクトの各部分は、時間導関数マップと第１の接続性グラフ及び第２の接続性グラフとの組み合わせに基づいて、一連の画像フレームにおける多関節オブジェクトの動作状態とは無関係に追跡することができる。画像処理装置は、完全なオブジェクトマスクの生成のために一連の画像フレームの第２の画像フレームにおける多関節オブジェクトの消失部分を復元するように構成することができる。多関節オブジェクトの消失部分は、第１の接続性グラフと第２の接続性グラフとの比較に基づいて復元することができる。
【００１３】
図１Ａは、本開示の実施形態による、一連の画像フレームにおける多関節オブジェクトを追跡して保持するための例示的なネットワーク環境を示すブロック図である。図１Ａにはネットワーク環境１００を示す。ネットワーク環境１００は、画像処理装置１０２と、画像取り込み回路１０４と、サーバ１０６と、通信ネットワーク１０８とを含むことができる。画像取り込み回路１０４は、一連の画像フレーム１１０を取り込むことができる。一連の画像フレーム１１０は、多関節オブジェクト１１２を含むことができる。画像取り込み回路１０４は、画像処理装置１０２に通信可能に結合された内蔵カメラ又は外部カメラを意味することができる。画像処理装置１０２及びサーバ１０６は、通信ネットワーク１０８を介して互いに通信可能に結合することができる。
【００１４】
画像処理装置１０２は、オブジェクトの異なる動作状態とは無関係に一連の画像フレーム１１０を処理して多関節オブジェクト１１２などのオブジェクトを追跡するように構成できる好適な回路、インターフェイス及び／又はコードを含むことができる。オブジェクトは、時間導関数マップとスーパーピクセルの接続性グラフとの組み合わせに基づいて正確に追跡することができる。画像処理装置１０２は、一連の画像フレーム１１０内で検出できる多関節オブジェクト１１２をリアルタイム又は近リアルタイムで動的に分割するように構成することができる。画像処理装置１０２の例としては、以下に限定するわけではないが、デジタルカメラ、カムコーダ、ヘッドマウント装置（ＨＭＤ）、監視装置、スマートホン、スマートメガネ、タブレット、拡張現実ベースの装置、コンピュータ装置、及び／又はその他の消費者電子（ＣＥ）装置を挙げることができる。
【００１５】
画像取り込み回路１０４は、一連の画像フレーム１１０を取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。画像取り込み回路１０４は、一連の画像フレーム１１０の取り込みを可能にできる画像感知回路を含むことができる。画像取り込み回路１０４は、自機が取り込んだシーンの構成及び／又は焦点合わせを行うように構成できるファインダを含むことができる。画像取り込み回路１０４は、取り込まれた一連の画像フレーム１１０をローカルバッファ、メモリ及び／又はサーバ１０６に記憶するように構成することができる。
【００１６】
サーバ１０６は、画像処理装置１０２によって取り込まれた一連の画像フレーム１１０を記憶するように構成できる好適な回路、インターフェイス及び／又はコードを含むことができる。サーバ１０６の例としては、以下に限定するわけではないが、データベースサーバ、ファイルサーバ、アプリケーションサーバ、クラウドサーバ、ウェブサーバ、又はこれらの組み合わせを挙げることができる。
【００１７】
通信ネットワーク１０８は、画像処理装置１０２とサーバ１０６とが通信可能に結合できるようにする通信媒体を含むことができる。通信ネットワーク１０８の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、無線フィデリティ（Ｗｉ−Ｆｉ）ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１０８に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ  ８０２．１１、ライトフィデリティ（Ｌｉ−Ｆｉ）、８０２．１６、ＩＥＥＥ  ８０２．１１ｓ、ＩＥＥＥ  ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、又はＢｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）通信プロトコル、これらの変形例及び／又は組み合わせを含むことができる。
【００１８】
一連の画像フレーム１１０は、画像取り込み回路１０４が見て取り込んだシーンのビデオを意味することができる。一連の画像フレーム１１０は、多関節オブジェクト１１２などの１又は２以上のオブジェクトを含むことができる。多関節オブジェクト１１２は、関節を通じて取り付けられて相対的に動くことができる部分を有するオブジェクトを意味する。多関節オブジェクト１１２は、突然動きを止めることがある移動オブジェクトとすることができ、或いは多関節オブジェクト１１２のいくつかの部分は、一連の画像フレーム１１０の取り込み中に一定期間にわたって動きを止めることがある。また、多関節オブジェクト１１２は、時間と共に形を変形させるオブジェクト、或いは取り込まれた一連の画像フレーム１１０において異なる時点で同じ位置に存在するが異なる配向を取るオブジェクトとすることもできる。多関節オブジェクト１１２の例としては、以下に限定するわけではないが、人間オブジェクト、動物、又はロボットなどの非人間又は無生物多関節オブジェクトを挙げることができる。
【００１９】
画像取り込み回路１０４は、動作時に一連の画像フレーム１１０を取り込むように構成することができる。取り込まれた一連の画像フレーム１１０は、多関節オブジェクト１１２などの１又は２以上のオブジェクトと静止背景とを含むことができる。画像処理装置１０２は、画像取り込み回路１０４から一連の画像フレーム１１０を受け取ることができる。画像処理装置１０２は、一連の画像フレーム１１０内の各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割するように構成することができる。この分割は、一連の画像フレーム１１０の各画像フレーム内のシーンをＲＧＢ色空間などの色空間において分割するシーン分割を意味する。図１Ｂにシーン分割の例を示す。
【００２０】
図１Ｂは、本開示の実施形態による、一連の画像フレームのうちの１つの画像フレームのシーンを図１Ａの画像処理装置によって色空間において分割する例示的な分割を示す図である。図１Ｂには、画像取り込み回路１０４によって取り込まれた一連の画像フレーム１１０のうちの１つの画像フレームの拡大図を示す。一連の画像フレーム１１０は、第１の画像フレーム１１０ａ、第２の画像フレーム１１０ｂ、第３の画像フレーム１１０ｃ及び第ｎの画像フレーム１１０ｎなどの連続する画像フレームを含むことができる。一連の画像フレーム１１０の第１の画像フレーム１１０ａのシーン１１４ａと、第１の画像フレーム１１０ａにおける第１のスーパーピクセルの組１１６ａとを示す。
【００２１】
第１のスーパーピクセルの組１１６ａは、シーン１１４ａなどのソースシーンをシーン分割した結果である異なる分割領域に対応する。各スーパーピクセルは、輝度又は色などの同一又は同様の画像特性を有する一群の画素を含むデジタル画像の多角形分割領域（例えば、一連の画像フレーム１１０の各画像フレーム）とすることができる。従って、第１の画像フレーム１１０ａのシーン１１４ａなどのソースシーン全体は、スーパーピクセルの集合（すなわち、第１のスーパーピクセルの組１１６ａ）とみなすことができる。各スーパーピクセルは、擬似色で表すことができる（図１Ｂでは、異なる擬似色を異なるパターンで示す）。一連の画像フレーム１１０の第２の画像フレーム１１０ｂ及び第３の画像フレーム１１０ｃなどの各連続する画像フレーム内のシーンを色空間において分割する場合、同じ分割領域又はスーパーピクセルは、一連の画像フレーム１１０にわたって同じ擬似色を特徴とすることができる。
【００２２】
ある実施形態によれば、画像処理装置１０２は、一連の画像フレーム１１０のうちの２つの連続する画像フレームから時間導関数マップなどの時間導関数を計算するように構成することができる。例えば、第１の画像フレーム１１０ａ及び第２の画像フレーム１１０ｂは、画素が黒色と白色などの２つの可能な値を有することができる２値画像に変換することができる。第１の画像フレーム１１０ａの画素値から第２の画像フレーム１１０ｂの画素値を減算して変位した画素を発見することができる。一連の画像フレーム１１０において背景は動かないので、変位した画素は、多関節オブジェクト１１２などの移動オブジェクトの画素に対応することができる。画像処理装置１０２は、第１の画像フレーム１１０ａと第２の画像フレーム１１０ｂとの間の非ゼロの時間導関数によって第１の動作状態にある多関節オブジェクト１１２を検出するように構成することができる。第２の画像フレーム１１０ｂは、一連の画像フレーム１１０において第１の画像フレーム１１０ａに後続する。
【００２３】
ある実施形態によれば、画像処理装置１０２は、３つの連続するフレームを利用して時間導関数を計算するように構成することができる。３連続フレームを使用すると、ＲＧＢカメラなどの画像取り込み回路１０４に由来し得るノイズを大幅に低減することができる。シナリオによっては、画像取り込み回路１０４が一瞬揺れることによって被写体ぶれ又はスミアリングが生じることがある。このような場合、時間導関数の計算に３連続フレームを使用することによって、たとえ多関節オブジェクトが高速で動いた場合でもスミアリングを低減することができる。いくつかの実施形態では、画像取り込み回路１０４（すなわち、カメラ）の全体的な動きを時間導関数から減算することによって、時間導関数の振動ノイズを排除することができる。時間導関数を使用すると、多関節オブジェクト１１２などのオブジェクトをその動きによって認識することができる。多関節オブジェクト１１２などのオブジェクトはその外観に関わらず追跡することができ、すなわちオブジェクトに関する事前知識は不要である。通常、オブジェクトの動きには多くの画素が関与しており、従ってたとえオブジェクトが１画素動いた場合であっても時間導関数を用いてオブジェクトの動きを認識することができる。
【００２４】
従来の方法では、時間導関数の使用のみによって多関節オブジェクト１１２などのオブジェクトを追跡しようと試みた時にフェードアウトの問題に遭遇する。例えば、多関節オブジェクト１１２又はそのいくつかの部分は、突然動きを止めることがある。換言すれば、多関節オブジェクト１１２の動作状態が第１の動作状態から第２の動作状態に変化することがある。第１の動作状態は、多関節オブジェクト１１２又はその全ての部分が動いている時の多関節オブジェクト１１２の動作状態に対応する。第２の動作状態は、多関節オブジェクト１１２又はそのいくつかの部分が動かなくなった（すなわち、動きを止めた）時の多関節オブジェクト１１２の変化した動作状態に対応する。時間導関数の使用のみによって多関節オブジェクト１１２の追跡を行った場合、動きを止めた多関節オブジェクト１１２又は部分は一連の画像フレーム１１０に時間導関数を部分的にしか又は全く残さず、従って追跡中に多関節オブジェクト１１２が徐々に消滅又はフェードアウトしてしまうことがある。
【００２５】
画像処理装置１０２は、従来の一般的な動きに基づく追跡及びオブジェクト分割法とは対照的に、計算された時間導関数マップと独立したシーン分割マップとの組み合わせに基づいて、一連の画像フレーム１１０における多関節オブジェクト１１２の動作状態とは無関係に多関節オブジェクト１１２各部分を追跡するように構成することができる。時間導関数マップは、動きに基づくオブジェクト検出、及び非ゼロの時間導関数と各スーパーピクセルとの関連付けに使用することができる。シーン分割マップは、各分割領域（すなわち、スーパーピクセル）と隣接する分割領域との相関を導出できる（第１のスーパーピクセルの組１１６ａなどの）異なる分割領域を示すことができる。シーン分割マップにおける異なる分割領域の接続性グラフなどの接続性パターンを利用して、一連の画像フレーム１１０における多関節オブジェクト１１２の各部分のロバストな追跡を行うことができる。例えば、画像処理装置１０２は、第１の画像フレーム１１０ａの第１のスーパーピクセルの組１１６ａの第１の接続性グラフを構築するように構成することができる。同様に、画像処理装置１０２は、第２の画像フレーム１１０ｂの第２のスーパーピクセルの組の第２の接続性グラフを構築するように構成することもできる。第２のスーパーピクセルの組の例は、図３Ａに図示し説明するような画像フレーム３０２のスーパーピクセルの組３１０ａとすることができる。
【００２６】
ある実施形態によれば、画像処理装置１０２は、第２のスーパーピクセルの組のスーパーピクセルを非ゼロの時間導関数に関連付けるように構成することができる。この関連付けは、異なる分割領域のうちの１つの分割領域に対応するスーパーピクセルにおける非ゼロの時間導関数の存在に基づいて行うことができる。スーパーピクセルなどの分割領域が非ゼロの時間導関数を含む場合には、その分割領域が全体として（すなわち、全体的に）多関節オブジェクト１１２のオブジェクトマスクに含まれる。第２のスーパーピクセルの組におけるスーパーピクセルは、スーパーピクセルと非ゼロの時間導関数との関連性に基づいて移動物として分類することができる。いくつかの実施形態では、画像処理装置１０２を、計算された非ゼロの時間導関数に基づいて移動物として分類された第２のスーパーピクセルの組のスーパーピクセルから多関節オブジェクト１１２の初期オブジェクト境界を生成するように構成することができる。多関節オブジェクト１１２が第１の動作状態にある場合、多関節オブジェクト１１２の初期オブジェクト境界は完全なものとなり得る。一方で、多関節オブジェクト１１２が、動きを止めた多関節オブジェクト１１２又は部分が時間導関数を部分的にしか又は全く残さない第２の動作状態にある場合、多関節オブジェクト１１２の初期オブジェクト境界は完全なものでないこともある。
【００２７】
この時、画像処理装置１０２は、第２の画像フレーム１１０ｂの構築された第２の接続性グラフを第１の画像フレーム１１０ａの第１の接続性グラフと比較するように構成することができる。たとえ一連の画像フレーム１１０において多関節オブジェクト１１２のいくつかの部分（又はパーツ）が動かなくなった場合であっても、接続性グラフ（又は接続性パターン）解析に基づいて依然としてこのような静止部分を識別し、従って保持することができる。画像処理装置１０２は、第２のスーパーピクセルの組におけるスーパーピクセルの分類を、多関節オブジェクト１１２に属する移動中のスーパーピクセルとして更新するように構成することができる。スーパーピクセルの分類は、第１の画像フレーム１１０ａ、又は第１の画像フレーム１１０ａに先行し得る画像フレーム（図示せず）内で移動物として分類された以前のスーパーピクセルの分類に基づいて更新することができる。
【００２８】
画像処理装置１０２は、第１の接続性グラフと第２の接続性グラフとの比較に基づいて、一連の画像フレーム１１０のうちの第２の画像フレーム１１０ｂにおける多関節オブジェクト１１２の消失部分を復元するように構成することができる。多関節オブジェクト１１２の初期オブジェクト境界を更新し、消失したオブジェクト境界が存在する場合には、第１の接続性グラフと第２の接続性グラフとの比較に基づいてこのオブジェクト境界を修正することができる。画像処理装置１０２は、第１の接続性グラフと第２の接続性グラフとの比較に基づいて、第２の動作状態にある多関節オブジェクト１１２の完全なオブジェクトマスクを生成するように構成することができる。第２の動作状態では、多関節オブジェクト１１２の少なくとも一部が静止することができる。その後、画像処理装置１０２は、取り込まれた一連の画像フレーム１１０のうちの第２の画像フレーム１１０ｂ及び後続の画像フレーム内の検出された多関節オブジェクト１１２をリアルタイム又は近リアルタイムで動的に分割することができる。画像処理装置１０２は、第２の画像フレーム１１０ｂ及び後続の画像フレーム内の分割された多関節オブジェクト１１２を、通信ネットワーク１０８を介してサーバ１０６に通信するようにさらに構成することができる。サーバ１０６は、分割された多関節オブジェクト１１２を記憶するように構成することができる。
【００２９】
図２は、本開示の実施形態による例示的な画像処理装置を示すブロック図である。図２の説明は、図１Ａ及び図１Ｂの要素に関連して行う。図２には画像処理装置１０２を示す。画像処理装置１０２は、画像プロセッサ２０２などの１又は２以上の回路と、メモリ２０４と、オブジェクト分割プロセッサ２０６と、Ｉ／Ｏ装置２０８と、ネットワークインターフェイス２１０とを含むことができる。Ｉ／Ｏ装置２０８は、画像取り込み回路１０４及びディスプレイ２０８Ａを含むことができる。１つの例では、画像取り込み回路１０４を画像処理装置１０２の内蔵ユニットとして示す。画像プロセッサ２０２は、メモリ２０４、オブジェクト分割プロセッサ２０６、Ｉ／Ｏ装置２０８、ネットワークインターフェイス２１０及び画像取り込み回路１０４に通信可能に結合することができる。ネットワークインターフェイス２１０は、通信ネットワーク１０８を介したサーバ１０６との通信を容易にすることができる。
【００３０】
画像プロセッサ２０２は、一連の画像フレーム１１０の各画像フレームにおけるシーンを異なるスーパーピクセルに対応する異なる分割領域に分割するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。異なるスーパーピクセルに対応する異なる分割領域は、幾何学的形状、色又は輝度が異なることができる。多関節オブジェクト１１２の異なる（パーツ又はセグメントとも呼ばれる）部分の追跡は、多関節オブジェクト１１２の各部分（又はセグメント）を定めるスーパーピクセルの接続性グラフを構築することによって行うことができる。画像プロセッサ２０２は、構築されたスーパーピクセルの接続性グラフを利用して、隣接する部分（又はセグメント）及びその画像特性（例えば、色、質感又は幾何学的形状）を識別することができる。接続性グラフは、一連の画像フレーム１１０における多関節オブジェクト１１２などの移動オブジェクトの現在の外観を反映するそれぞれの新たなフレームで更新することができる。画像プロセッサ２０２は、メモリ２０４に記憶された命令セットを実行するように構成することができる。画像プロセッサ２０２は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。画像プロセッサ２０２の例は、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）、ハードウェアプロセッサ、中央処理装置（ＣＰＵ）、及び／又はその他のプロセッサ又は制御回路とすることができる。
【００３１】
メモリ２０４は、画像プロセッサ２０２が実行できる命令セットを記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。画像プロセッサ２０２は、一連の画像フレーム１１０のうちの処理済みの画像フレームにおいて移動物として分類されたスーパーピクセルに関連する関連情報をメモリ２０４に記憶することができる。メモリ２０４は、オペレーティングシステム及び関連するアプリケーションを記憶するように構成することができる。メモリ２０４の例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＣＰＵキャッシュ及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。
【００３２】
オブジェクト分割プロセッサ２０６は、画像プロセッサ２０２によって生成された完全なオブジェクトマスクに基づいて、一連の画像フレーム１１０内の多関節オブジェクト１１２をリアルタイム、近リアルタイム又は低遅延時間で分割するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。オブジェクト分割プロセッサ２０６は、分割されたオブジェクトをメモリ２０４に記憶するようにさらに構成することができる。オブジェクト分割プロセッサ２０６は、（コプロセッサなどの）別個のプロセッサ、又は画像処理装置１０２内の回路として実装することができる。オブジェクト分割プロセッサ２０６及び画像プロセッサ２０２は、オブジェクト分割プロセッサ２０６及び画像プロセッサ２０２の機能を実行する統合プロセッサ又はプロセッサ群として実装することもできる。
【００３３】
Ｉ／Ｏ装置２０８は、入力を受け取ってユーザに出力を提供するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｉ／Ｏ装置２０８は、画像プロセッサ２０２と通信するように構成できる様々な入出力装置を含むことができる。入力装置の例としては、以下に限定するわけではないが、タッチ画面、キーボード、マウス、ジョイスティック、マイク、及び／又は画像取り込み回路１０４を挙げることができる。出力装置の例としては、限定するわけではないが、ディスプレイ２０８Ａ及び／又はスピーカを挙げることができる。
【００３４】
ディスプレイ２０８Ａは、一連の画像フレーム１１０を描画するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ある実施形態によれば、ディスプレイ２０８Ａは、ユーザからの入力を受け取ることができる。このようなシナリオでは、ディスプレイ２０８Ａを、ユーザによる入力の提供を可能にするタッチ画面とすることができる。タッチ画面は、抵抗性タッチ画面、容量性タッチ画面、又は熱タッチ画面のうちの少なくとも１つに対応することができる。ある実施形態によれば、ディスプレイ２０８Ａは、仮想キーパッド、スタイラス、ジェスチャ式入力、及び／又はタッチ式入力を通じて入力を受け取ることができる。ディスプレイ２０８Ａは、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、及び／又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、及び／又はその他のディスプレイのうちの少なくとも１つなどの複数の既知の技術を通じて実現することができる。ある実施形態によれば、ディスプレイ２０８Ａは、スマートメガネ装置のディスプレイ画面、シースルーディスプレイ、投射型ディスプレイ、エレクトロクロミックディスプレイ、及び／又は透明ディスプレイを意味することができる。シースルーディスプレイは、透明ディスプレイ又は半透明ディスプレイとすることができる。ある実施形態によれば、シースルーディスプレイ及び／又は投射型ディスプレイは、分割されたオブジェクトがユーザなどのユーザの目から所定の距離の空中に浮かんでいるという視覚的錯覚を引き起こすことによってユーザ体験を強化することができる。
【００３５】
ネットワークインターフェイス２１０は、通信ネットワーク１０８を介した画像処理装置１０２とサーバ１０６との間の通信を容易にするように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２１０は、画像処理装置１０２と通信ネットワーク１０８との有線又は無線通信をサポートする様々な既知の技術を用いて実装することができる。ネットワークインターフェイス２１０は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ−デコーダ（ＣＯＤＥＣ）チップセット、加入者アイデンティティモジュール（ＳＩＭ）カード及び／又はローカルバッファを含むことができる。ネットワークインターフェイス２１０は、無線通信を介して、インターネット、イントラネット、及び／又はセルラー電話網、無線ローカルエリアネットワーク（ＬＡＮ）及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと通信することができる。無線通信は、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ  ８０２．１１ａ、ＩＥＥＥ  ８０２．１１ｂ、ＩＥＥＥ  ８０２．１１ｇ及び／又はＩＥＥＥ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールプロトコル、インスタントメッセージング及び／又はショートメッセージサービスなどの複数の通信規格、通信プロトコル及び通信技術のいずれかを使用することができる。
【００３６】
図１Ａ及び図１Ｂで説明したような画像処理装置１０２によって実行される機能及び／又は動作は、画像プロセッサ２０２及び／又はオブジェクト分割プロセッサ２０６によって実行することができる。例えば図３Ａ〜図３Ｃ及び図４Ａ〜図４Ｃでは、画像プロセッサ２０２及びオブジェクト分割プロセッサ２０６によって実行される他の動作についてさらに説明する。
【００３７】
図３Ａ及び図３Ｂに、本開示の実施形態による、開示する一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理装置及び方法を実装する第１の例示的なシナリオをまとめて示す。図３Ａ及び図３Ｂの説明は、図１Ａ、図１Ｂ及び図２の要素に関連して行う。図３Ａには、ビデオの画像フレーム３０２と、画像フレーム３０２の時間導関数マップ３０８と、画像フレーム３０２のシーン分割マップ３１０と、第１の表現３１２とを示す。
【００３８】
画像フレーム３０２は、画像取り込み回路１０４によって取り込まれた、ビデオ内で追跡すべき人間オブジェクト３０４と静止背景領域３０６とを示すシーン３０２ａを含む。時間導関数マップ３０８における非ゼロの時間導関数３０８ａ、及び画像フレーム３０２のシーン分割マップ３１０におけるスーパーピクセルの組３１０ａも示す。時間導関数マップ３０８は、人間オブジェクト３０４のいくつかの部分（例えば、この例では脚部及び頭部）が突然動きを止めた時に動作状態にある人間オブジェクト３０４の非ゼロの時間導関数３０８ａを示す。図示の第１の表現３１２は、フェーディング防止前の消えたオブジェクト境界及び人間オブジェクト３０４の部分の例示的なビュー３１４を示す。第１の例示的なシナリオによれば、人間オブジェクト３０４は、多関節オブジェクト１１２（図１Ａ）に対応することができる。人間オブジェクト３０４は、移動オブジェクトとすることができる。画像フレーム３０２は、一連の画像フレーム１１０（図１Ａ）のうちの新たに取り込まれた画像フレームに対応することができる。
【００３９】
動作中、画像処理装置１０２の画像取り込み回路１０４などのカメラモジュールは、画像フレーム３０２を含むことができるビデオを取り込むことができる。画像取り込み回路１０４は、取り込んだビデオを画像処理装置１０２に通信することができる。ある実施形態によれば、画像プロセッサ２０２は、リアルタイム又は近リアルタイムで取り込まれた処理すべきビデオなどの入力を画像取り込み回路１０４から受け取ることができる。ある実施形態によれば、画像プロセッサ２０２は、処理すべき入力ビデオをネットワークインターフェイス２１０によってサーバ１０６から受け取ることができる。或いは、入力ビデオをメモリ２０４に予め記憶しておくこともできる。従って、入力ビデオのソースは異なることができると理解されたい。
【００４０】
画像プロセッサ２０２は、画像フレーム３０２と画像フレーム３０２に先行する他の２つの画像フレーム（図示せず）とを含む３つの連続する画像フレームから時間導関数マップ３０８を計算するように構成することができる。時間導関数マップ３０８は、人間オブジェクト３０４の上半身部分（例えば、胴体）の変位した画素に対応できる非ゼロの時間導関数３０８ａを含むことができる。３連続フレームを使用すると、ＲＧＢカメラなどの画像取り込み回路１０４に由来し得るスミアリングなどの振動ノイズを大幅に低減することができる。画像プロセッサ２０２は、画像フレーム３０２のシーン３０２ａを色空間においてスーパーピクセルの組３１０ａに対応する異なる分割領域に分割するように構成することができる。各スーパーピクセルは、シーン分割マップ３１０において擬似色で表される画像フレーム３０２の多角形分割領域とすることができ、図３Ａでは異なる擬似色を異なる線パターンで示す。例えば、シーン３０２ａの背景３０６における屋根、側壁、フロア、家具の色は異なることができる。同様に、髪、顔、腕、人間オブジェクト３０４が着用する衣類などの異なる身体部分の色も異なることができる。擬似色は、シーン３０２ａなどのソースシーン内に存在する元々の対応する色毎に各多角形分割領域に割り当てられた色を意味することができる。
【００４１】
画像プロセッサ２０２は、計算された非ゼロの時間導関数３０８ａに基づいて人間オブジェクト３０４を検出して分割するように構成することができる。しかしながら、人間オブジェクト３０４のいくつかの部分（例えば、この例では脚部及び頭部）は静止しているので、このような静止部分では非ゼロの時間導関数が取得されず、例示的なビュー３１４に示すように消えてしまう。その後、画像プロセッサ２０２は、オブジェクト境界を修正して、画像フレーム３０２における人間オブジェクト３０４の消失部分を復元するように構成することができる。人間オブジェクト３０４の消失部分は、画像フレーム３０２の接続性グラフと、ビデオ内の画像フレーム３０２に先行する画像フレームの接続性グラフとの比較に基づいて復元することができる。
【００４２】
非ゼロの時間導関数３０８ａに関連するスーパーピクセルの組３１０ａからのスーパーピクセルは、移動スーパーピクセルとして分類される。例えば、最初にスーパーピクセル３１６ｂ、３１６ｃ、３１６ｄ、３１６ｅ及び３１６ｆを移動物として分類し、スーパーピクセル３１６ａを静止物として分類することができる。画像プロセッサ２０２は、第１のスーパーピクセルの組３１０ａの接続性グラフを構築するように構成することができる。接続性グラフは、スーパーピクセルの組３１０ａの接続性パターンを示す。接続性グラフは、隣接する分割領域（すなわち、スーパーピクセル）及びその画像特性（例えば、色、質感又は幾何学的形状）を識別する。構築されたスーパーピクセルの組３１０ａの接続性グラフを、画像フレーム３０２に先行する画像フレームに関連する以前のスーパーピクセルの組の接続性グラフと比較する。画像プロセッサ２０２は、以前に取り込んだビデオの画像フレームにおいて移動物として分類されたスーパーピクセル３１６ａの以前の分類に基づいて、スーパーピクセルの組３１０ａにおけるスーパーピクセル３１６ａの分類を移動物として更新するように構成することができる。画像プロセッサ２０２は、以前に処理したビデオ画像フレームにおいて移動物として分類されたこれらのスーパーピクセルに関する関連情報をメモリ２０４に記憶する。たとえ人間オブジェクト３０４のいくつかの部分（例えば、この例では脚）がビデオ内で動かなくなった場合であっても、接続性グラフ（又は接続性パターン）の解析に基づいて依然としてこのような静止部分を識別し、従って保持することができる。
【００４３】
図３Ｂに、画像フレーム３０２における完全なオブジェクトマスク３１８と、画像フレーム３０２において表現された人間オブジェクト３０４などのオブジェクト分割結果３２０とを示す。画像プロセッサ２０２は、接続性グラフの解析に基づいて、第２の動作状態にある人間オブジェクト３０４の完全なオブジェクトマスク３１８を生成するように構成することができる。人間オブジェクト３０４の完全なオブジェクトマスク３１８は、構築されたスーパーピクセルの組３１０ａの接続性グラフと、画像フレーム３０２に先行する画像フレームに関連する以前のスーパーピクセルの組の接続性グラフとの比較に基づいて生成される。画像プロセッサ２０２は、この比較に基づいて、第２の画像フレーム１１０ｂにおいて第２の動作状態にあり得るスーパーピクセル３１６ａなどの多関節オブジェクト１１２の消失部分を復元するように構成することができる。図３Ａで上述したように、突然動きを止めて静止状態になる人間オブジェクト３０４の部分（例えば、スーパーピクセル３１６ａに対応する脚）は非ゼロの時間導関数を残さず、通常は例示的なビュー３１４（図３Ａ）に示すようにフェードアウトする。従って、画像プロセッサ２０２は、図３Ｂの完全なオブジェクトマスク３１８に示すように、接続性グラフの比較に基づいてオブジェクト境界を修正して画像フレーム３０２内の人間オブジェクト３０４の消失部分を復元するように構成することができる。その後、オブジェクト分割プロセッサ２０６は、生成された完全なオブジェクトマスク３１８に基づいて、オブジェクト分割結果３２０に示すように人間オブジェクト３０４を動的に分割するように構成することができる。接続性グラフは、ビデオ内の人間オブジェクト３０４などの移動オブジェクトの現在の外観（すなわち、現在の幾何学的形状、輝度又は色）を反映する各新たなフレームで更新することができる。従って、オブジェクト分割処理が開始すると、オブジェクト分割プロセッサ２０６は、たとえ人間オブジェクト３０４がビデオ内でその動作状態を第１の動作状態から第２の動作状態に、及びこの逆に変化させた場合であっても人間オブジェクト３０４の各部分の自動的かつ確実な追跡に利用される接続性グラフを常に更新するように構成することができる。
【００４４】
図３Ｃに、本開示の実施形態による、開示する一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理装置及び方法を実装する第２の例示的なシナリオを示す。図３Ｃの説明は、例えば、図１Ａ、図１Ｂ、図２、図３Ａ及び図３Ｂの要素に関連して行う。図３Ｃには、画像フレーム３０２のシーン３０２ａにおける人間オブジェクト３０４の頭髪部分などの第１の部分３０４ａと、静止背景３０６の屋根領域３２４ａとを示す。この第２の例示的なシナリオによれば、頭髪などの第１の部分３０４ａの色が、シーン３０２ａの背景３０６の屋根領域３２４ａと一致することがある。例えば、人間オブジェクト３０４などの前景オブジェクトの第１の部分３０４ａの色値と、屋根領域３２４ａの色値とが茶色の場合がある。従って、シーン分割マップ３１０に示すシーン分割では、第１の部分３０４ａ及び屋根領域３２４ａがスーパーピクセル３２４ｂなどの同じスーパーピクセルに分類されることがある。このようなシナリオでは、最初に画像プロセッサ２０２を、スーパーピクセル３２４ｂにおける画素（第１の部分３０４ａに位置する）のごく一部が非ゼロの時間導関数を有するという理由で画像フレーム３０２においてスーパーピクセル３２４ｂを静止物として分類するように構成することができる。換言すれば、スーパーピクセル３２４ｂは、人間オブジェクト３０４に属する第１の部分３０４ａにおける第１の画素数と、静止背景３０６に属する屋根領域３２４ａにおける第２の画素数とを含むことができる。人間オブジェクト３０４に属する第１の部分３０４ａの第１の画素数は閾値未満とすることができる。画像プロセッサ２０２は、第１の部分３０４ａにおける第１の画素数が以前は非ゼロの時間導関数に関連していたと識別又は別様に判断するように構成することができる。この識別は、（図３Ａで説明した）接続性グラフの解析と、メモリ２０４に記憶されている、以前に処理したビデオ画像フレームにおいて移動物として分類されたスーパーピクセルに関連する関連情報とに基づいて行うことができる。従って、画像プロセッサ２０２は、このスーパーピクセル３２４ｂなどの特定の分割領域の色値の範囲などのシーン分割パラメータを更新して、スーパーピクセル３２４ｂを、非ゼロの時間導関数を有する第１の小領域と非ゼロの時間導関数を有していない第２の小領域などの２つの小領域に分割するように構成することができる。以前の画像フレーム（ビデオ内の画像フレーム３０２に先行する画像フレーム）のスーパーピクセルの組の接続性グラフは、スーパーピクセル３２４ｂのさらなる分割のための意思決定を容易にすることができる。従って、画像プロセッサ２０２は、ビデオ内の人間オブジェクト３０４の動作状態とは無関係に人間オブジェクト３０４（すなわち、多関節オブジェクト）の各部分を正確かつ確実に追跡する。ある実施形態によれば、多関節オブジェクトの２つの部分がビデオ内で一定期間にわたって融合（例えば、人間オブジェクト３０４の片方の手がもう一方の手に重なる）又は分離する場合にも、画像プロセッサ２０２は、依然として接続性グラフに基づいて多関節オブジェクトを追跡することができる。
【００４５】
図４Ａ、図４Ｂ及び図４Ｃに、本開示の実施形態による、一連の画像フレームにおける多関節オブジェクトを追跡して保持するための例示的な方法を示すフローチャートをまとめて示す。図４Ａ、図４Ｂ及び図４Ｃには、フローチャート４００を示す。この画像処理装置１０２において実行されるフローチャート４００の説明は、図１Ａ、図１Ｂ、図２、図３Ａ、図３Ｂ及び図３Ｃの要素に関連して行う。方法は４０２から開始して４０４に進む。
【００４６】
４０４において、画像取り込み回路１０４を使用して入力ビデオなどの一連の画像フレーム１１０を取り込むことができる。一連の画像フレーム１１０は、第１の画像フレーム１１０ａと、第２の画像フレーム１１０ｂ（例えば、画像フレーム３０２）と、後続する他の画像フレーム１１０ｃ〜１１０ｎとを含むことができる。画像プロセッサ２０２は、画像取り込み回路１０４を使用して一連の画像フレーム１１０を取り込むように構成することができる。取り込まれた一連の画像フレーム１１０は、多関節オブジェクト１１２などの１又は２以上のオブジェクトと静止背景とを含むことができる。多関節オブジェクト１１２の例は、図３Ａに示すような人間オブジェクト３０４である。
【００４７】
４０６において、一連の画像フレーム１１０内の各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割することができる。画像プロセッサ２０２は、一連の画像フレーム１１０内の各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割するように構成することができる。この分割は、一連の画像フレーム１１０の各画像フレーム内のシーン（例えば、シーン１１４ａ又はシーン３０２ａ）をＲＧＢ色空間などの色空間において分割するシーン分割を意味する。第１の画像フレーム１１０ａにおけるシーン分割の例については図１Ｂに示し、次の画像フレーム（例えば、画像フレーム３０２）における別のシーン分割については図３Ａに示している。一連の画像フレーム１１０の第２の画像フレームなどの各連続する画像フレーム内のシーンを色空間において分割する場合、同じ分割領域又はスーパーピクセルは、一連の画像フレーム１１０にわたって同じ色（又は擬似色）を特徴とする。
【００４８】
４０８において、一連の画像フレーム１１０のうちの３つの連続する画像フレームから時間導関数マップを計算することができる。画像プロセッサ２０２は、例えば第１の画像フレーム１１０ａ、第２の画像フレーム１１０ｂ及び第３の画像フレーム１１０ｃなどの３つの連続する画像フレームを用いて時間導関数マップを計算するように構成することができる。３連続フレームを使用すると、ＲＧＢカメラなどの画像取り込み回路１０４に由来し得る振動ノイズを大幅に低減することができる。時間導関数マップは、ゼロ及び非ゼロの時間導関数を含むことができる。ゼロの時間導関数は動きがないことを示し、非ゼロの時間導関数は画素の動き、すなわち変位した画素を示す。ビデオの画像フレーム３０２における非ゼロの時間導関数３０８ａの例については図３Ａに図示して説明した。
【００４９】
４１０において、少なくとも第１の画像フレーム１１０ａと第２の画像フレーム１１０ｂとの間の非ゼロの時間導関数によって、第１の動作状態にある多関節オブジェクト１１２を検出することができる。第２の画像フレーム１１０ｂは、一連の画像フレーム１１０において第１の画像フレーム１１０ａに後続することができる。非ゼロの時間導関数を使用すると、多関節オブジェクト１１２などのオブジェクトをその動きによって検出することができる。第２の画像フレーム１１０ｂの例は、図３Ａに図示して説明した画像フレーム３０２である。画像プロセッサ２０２は、少なくとも第１の画像フレーム１１０ａと第２の画像フレーム１１０ｂとの間の非ゼロの時間導関数によって、第１の動作状態にある多関節オブジェクト１１２を検出するように構成することができる。第１の動作状態は、多関節オブジェクト１１２又はその全ての部分が動いている時の多関節オブジェクト１１２の動作状態に対応する。換言すれば、多関節オブジェクト１１２の動作状態は、第１の動作状態から第２の動作状態に変化することができる。第１の動作状態は、多関節オブジェクト１１２又はその全ての部分が動いている時の多関節オブジェクト１１２の動作状態に対応する。従来の方法では、非ゼロの時間導関数のみを使用することによって多関節オブジェクト１１２などのオブジェクトを追跡しようと試みた時にフェードアウトの問題に遭遇する。例えば、多関節オブジェクト１１２又はそのいくつかの部分が突然動きを止めることがある。換言すれば、多関節オブジェクト１１２の動作状態が第１の動作状態から第２の動作状態に変化することがある。第２の動作状態は、多関節オブジェクト１１２又はそのいくつかの部分が一連の画像フレーム１１０において動かなくなった（すなわち、動きを止めた）時の多関節オブジェクト１１２の変化した動作状態に対応する。このような場合には、完全なオブジェクトを保持してオブジェクトフェーディングの問題を防ぐために、シーン分割マップにおける接続性グラフを使用する。
【００５０】
４１２において、第１の画像フレーム１１０ａの第１のスーパーピクセルの組１１６ａの第１の接続性グラフを構築することができる。画像プロセッサ２０２は、第１の画像フレーム１１０ａの第１のスーパーピクセルの組１１６ａの第１の接続性グラフを構築するように構成することができる。第１のスーパーピクセルの組１１６ａの各々は、第１の画像フレーム１１０ａの異なる分割領域のうちの多角形分割領域に対応する。各スーパーピクセルは、輝度又は色などの同一又は同様の画像特性を有する一群の画素を含む。第１の接続性グラフは、各分割領域（すなわち、各スーパーピクセル）と隣接する分割領域（すなわち、隣接するスーパーピクセル）との相関を識別する。
【００５１】
４１４において、第２の画像フレーム１１０ｂの第２のスーパーピクセルの組の第２の接続性グラフ構築することができる。画像プロセッサ２０２は、第２の画像フレーム１１０ｂの第２のスーパーピクセルの組の第２の接続性グラフを構築するように構成することができる。第２の接続性グラフは、第２のスーパーピクセルの組の接続性パターンを示す。第２のスーパーピクセルの組の例は、図３Ａに図示して説明したような画像フレーム３０２のスーパーピクセルの組３１０ａである。
【００５２】
４１６において、第２のスーパーピクセルの組のスーパーピクセルに非ゼロの時間導関数が存在するかどうかをチェックすることができる。画像プロセッサ２０２は、第２の画像フレーム１１０ｂにおける第２のスーパーピクセルの組のスーパーピクセルに非ゼロの時間導関数が存在するかどうかをチェックするように構成することができる。第２のスーパーピクセルの組のスーパーピクセルが非ゼロの時間導関数を含む場合、制御は４１８に進むことができる。第２のスーパーピクセルの組のスーパーピクセルが非ゼロの時間導関数を含まない場合、制御は４２０Ｂに進むことができる。
【００５３】
４１８において、第２のスーパーピクセルの組のスーパーピクセルを非ゼロの時間導関数に関連付けることができる。画像プロセッサ２０２は、第２のスーパーピクセルの組のスーパーピクセルを非ゼロの時間導関数に関連付けるように構成することができる。この関連付けは、異なる分割領域のうちの１つの分割領域に対応するスーパーピクセル内における非ゼロの時間導関数の存在に基づいて行うことができる。４２０Ａにおいて、第２のスーパーピクセルの組におけるスーパーピクセルと非ゼロの時間導関数との関連性に基づいて、このスーパーピクセルを移動物として分類することができる。画像プロセッサ２０２は、第２のスーパーピクセルの組におけるスーパーピクセルを移動物として分類するように構成することができる。画像プロセッサ２０２は、（現在及び以前に処理した画像フレームにおいて）現在及び以前に移動物として分類されたこれらのスーパーピクセルに関する関連情報を継続的にメモリ２０４に記憶するようにさらに構成することができる。
【００５４】
４２０Ｂにおいて、第２の画像フレーム１１０ｂにおける非ゼロの時間導関数の不在に基づいて、第２のスーパーピクセルの組におけるスーパーピクセルを静止物として分類することができる。画像プロセッサ２０２は、第２の画像フレーム１１０ｂにおける非ゼロの時間導関数の不在に基づいて、第２のスーパーピクセルのセット内のスーパーピクセルを静止物として分類するように構成することができる。
【００５５】
４２２において、完全なオブジェクトマスクの生成のために、第２の画像フレーム１１０ｂの第２の接続性グラフを第１の画像フレーム１１０ａの第１の接続性グラフと比較することができる。画像プロセッサ２０２は、完全なオブジェクトマスクの生成のめに、第２の画像フレーム１１０ｂの第２の接続性グラフを第１の画像フレーム１１０ａの第１の接続性グラフと比較するように構成することができる。たとえ一連の画像フレームにおいて人間オブジェクト３０４のいくつかの部分（又はパーツ）が動かなくなった場合であっても、接続性グラフ（又は接続性パターン）の解析に基づいて依然としてこのような静止部分を識別し、従って保持することができる。
【００５６】
４２４において、第２の画像フレーム１１０ｂにおいて静止物として分類された第２のスーパーピクセルの組のスーパーピクセルが以前に非ゼロの時間導関数に関連付けられていたかどうかを判定することができる。画像プロセッサ２０２は、第２の画像フレーム１１０ｂにおいて静止物として分類された第２のスーパーピクセルの組のスーパーピクセルが以前に非ゼロの時間導関数に関連付けられていたかどうかを判定するように構成することができる。現在第２の画像フレーム１１０ｂにおいて静止物として分類されている第２のスーパーピクセルの組のスーパーピクセルが以前に非ゼロの時間導関数に関連付けられていた場合、制御は４２６に進み、そうでなければ４２２に戻ることができる。
【００５７】
４２６において、第２のスーパーピクセルの組におけるスーパーピクセルの分類を多関節オブジェクト１１２に属する移動スーパーピクセルとしてとして更新することができる。画像処理装置１０２は、第２のスーパーピクセルの組におけるスーパーピクセルの分類を多関節オブジェクト１１２に属する移動スーパーピクセルとして更新するように構成することができる。スーパーピクセルの分類は、第１の画像フレーム１１０ａ、又は第１の画像フレーム１１０ａに先行する画像フレームにおいて移動物として分類された以前のスーパーピクセルの分類に基づいて更新することができる。スーパーピクセルの分類は、たとえ第２の画像フレーム１１０ｂ内のスーパーピクセルに非ゼロの時間導関数が存在しない場合であっても、メモリ２０４に記憶されている関連情報から読み取った以前の分類に基づいて更新することができる。
【００５８】
４２８において、第２のスーパーピクセルの組のスーパーピクセルを第１の小領域と第２の小領域とに分割することができる。この分割は、接続性グラフに基づいて行うことができる。分割されたスーパーピクセルは、多関節オブジェクトに属する第１の小領域における第１の画素数と、静止背景に属する第２の小領域における第２の画素数とを含むことができる。第１の小領域における第１の画素数は、閾値数未満とすることができる。画像プロセッサ２０２は、第２のスーパーピクセルの組のスーパーピクセルを第１の小領域と第２の小領域とに分割するように構成することができる。スーパーピクセル３２４ｂの分割及びこのような考案のための意思決定の例については図３Ｃに図示して説明した。画像プロセッサ２０２は、スーパーピクセルを第１の小領域と第２の小領域とに分割するようにスーパーピクセルの分割パラメータを更新するよう構成することができる。
【００５９】
４３０において、一連の画像フレーム１１０のうちの第２の画像フレーム１１０ｂにおける多関節オブジェクト１１２の消失部分を復元することができる。画像プロセッサ２０２は、一連の画像フレーム１１０のうちの第２の画像フレーム１１０ｂにおける多関節オブジェクト１１２の消失部分を復元するように構成することができる。多関節オブジェクト１１２の消失部分は、第１の接続性グラフと第２の接続性グラフとの比較に基づいて復元することができる。例えば、図３Ａの例示的なビュー３１４に示すように、人間オブジェクト３０４のいくつかの部分（例えば、この例では脚部及び頭部）は静止している。従って、このような静止部分では非ゼロの時間導関数が取得されず、例示的なビュー３１４に示すように消えてしまう。その後、画像プロセッサ２０２は、図３Ｂに示すようにオブジェクト境界を修正して、画像フレーム３０２における人間オブジェクト３０４の消失部分を復元するように構成することができる。人間オブジェクト３０４の消失部分は、画像フレーム３０２の接続性グラフと、ビデオ内の画像フレーム３０２に先行する画像フレームの接続性グラフとの比較に基づいて復元される。
【００６０】
４３２において、第１の接続性グラフと第２の接続性グラフとの比較に基づいて、第２の動作状態にある多関節オブジェクト１１２の完全なオブジェクトマスクを生成することができる。この第２の動作状態では、多関節オブジェクト１１２の少なくとも一部が静止することができる。第２の動作状態にある人間オブジェクト３０４の完全なオブジェクトマスク３１８の例については図３Ｂに示している。人間オブジェクト３０４の消失部分が復元されると、完全なオブジェクトマスク３１８を生成することができる。
【００６１】
４３４において、一連の画像フレーム１１０における多関節オブジェクト１１２の動作状態とは無関係に多関節オブジェクト１１２の各部分を追跡することができる。生成された時間導関数マップ、第１の接続性グラフ及び第２の接続性グラフを用いて多関節オブジェクト１１２の各部分のロバストかつ正確な追跡が行われる。
【００６２】
４３６において、第１の接続性グラフを、第２の画像フレーム１１０ｂにおける多関節オブジェクト１１２の現在の外観を反映するように多関節オブジェクト１１２の各部分の第２の接続性グラフで更新することができる。画像プロセッサ２０２は、第１の接続性グラフを多関節オブジェクト１１２の各部分の第２の接続性グラフで更新するように構成することができる。第２の画像フレーム１１０ｂと同様に、接続性グラフも、一連の画像フレーム１１０における多関節オブジェクト１１２などの移動オブジェクトの現在の外観を反映する各新たなフレームで更新することができる。
【００６３】
４３８において、生成された完全なオブジェクトマスクに基づいて、多関節オブジェクト１１２を第２の画像フレーム１１０ｂの背景から動的に分割することができる。オブジェクト分割プロセッサ２０６は、生成された完全なオブジェクトマスクに基づいて多関節オブジェクト１１２を第２の画像フレーム１１０ｂの背景から動的に分割するように構成することができる。画像フレーム３０２における背景３０６から人間オブジェクト３０４をオブジェクト分割する例については図３Ｂに図示して説明した。オブジェクト分割プロセッサ２０６は、生成された完全なオブジェクトマスクをオブジェクト分割に利用するように構成することができる。従って、オブジェクト分割処理が開始すると、オブジェクト分割プロセッサ２０６は、たとえ多関節オブジェクト１１２（例えば、人間オブジェクト３０４）がその動作状態を第１の動作状態から第２の動作状態に、及びこの逆に変化させた場合であっても常に一連の画像フレーム１１０において多関節オブジェクト１１２を分割するように構成することができる。換言すれば、たとえ一連の画像フレーム１１０において１又は２以上の部分又は多関節オブジェクト１１２が全体として動きを止めた場合又は時間と共に変形した場合であってもオブジェクト分割を行うことができる。
【００６４】
４４０において、一連の画像フレーム１１０の取り込まれた画像フレームが全て処理されたかどうかをチェックすることができる。一連の画像フレーム１１０の画像フレームが全て処理されていない場合、制御は４０６に戻って、第３の画像フレーム１１０ｃなどの次の画像フレームのシーン分割、オブジェクト検出及び分割段階を繰り返すことができる。このプロセスは、一連の画像フレーム１１０が全て処理されるまで繰り返すことができる。一連の画像フレーム１１０の画像フレームが全て処理された場合、制御は終了４４２に進むことができる。
【００６５】
本開示の実施形態によれば、一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理システムが開示される。この画像処理システムは、（画像プロセッサ２０２及び／又はオブジェクト分割プロセッサ２０６（図２）などの）少なくとも１つの画像プロセッサを有することができる画像処理装置１０２（図１Ａ）を含むことができる。画像プロセッサ２０２は、一連の画像フレーム１１０内の各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割するように構成することができる。画像プロセッサ２０２は、一連の画像フレーム１１０における第１の画像フレーム１１０ａと第１の画像フレームに後続する第２の画像フレーム１１０ｂとの間の非ゼロの時間導関数によって第１の動作状態にある（例えば、全ての部分が動いている可能性がある）多関節オブジェクト１１２を検出するように構成することができる。画像プロセッサ２０２は、第１の画像フレーム１１０ａの第１のスーパーピクセルの組１１６ａの第１の接続性グラフを構築するようにさらに構成することができる。画像プロセッサ２０２は、第２の画像フレーム１１０ｂ（例えば、画像フレーム３０２）の（スーパーピクセルの組３１０ａなどの）第２のスーパーピクセルの組の第２の接続性グラフを構築するようにさらに構成することができる。画像プロセッサ２０２は、第１の接続性グラフ及び第２の接続性グラフに基づいて、第２の画像フレーム１１０ｂにおける、多関節オブジェクト１１２の少なくとも一部（又はパーツ）が静止している（例えば、第２の動作状態ではオブジェクトの一部又は全部が動きを止めることができる）第２の動作状態の多関節オブジェクト１１２の完全なオブジェクトマスクを生成するようにさらに構成することができる。
【００６６】
開示したビデオなどの一連の画像フレーム１１０を処理するための画像処理装置１０２は、動いている多関節オブジェクト、変形するオブジェクト（非剛体変形）、又は入力ビデオの取り込み中の異なる時点で配向を変化させる多関節オブジェクトのビデオ監視又は追跡などの様々な応用分野で実装することができる。開示した画像処理装置１０２及び方法は、人間又はその他の多関節オブジェクトのビデオ監視、ゲームシステムにおけるオブジェクト追跡、或いはこのような移動オブジェクトの他のリアルタイム又は近リアルタイムでのオブジェクト検出、及び一定期間にわたって例えば突然動きを止めたりしてその動作状態を変化させるような移動オブジェクトの分割などの実際の追跡用途に適することができる。
【００６７】
動きに基づくオブジェクト分割には、多関節オブジェクト１１２などの移動オブジェクトを正確に分割するためのいくつかの要件及び課題がある。例えば、ａ）移動オブジェクトのわずかな動きに対する（多くの場合、ユニットレベル、すなわち画素レベルでの）感受性、ｂ）カメラの振動ノイズに対する耐性、ｃ）動きの速いオブジェクト（例えば、フレーム間の多くの画素）と効果的に連動する能力、ｄ）移動オブジェクトの均質な内部領域を追跡する能力、及びｅ）変動する光の条件下で機能する能力である。開示した一連の画像フレーム１１０における多関節オブジェクト１１２を追跡して保持するための画像処理装置１０２及び方法は上記の要件を満たすとともに、上記の動きに基づくオブジェクト分割の課題を解決する。開示した画像処理装置１０２及び方法は、スーパーピクセルの画素レベルでの動きに敏感である。各画像フレームのシーンは、多くの画素を含む異なるスーパーピクセルに分割されるので、時間導関数を使用することによって多関節オブジェクト１１２の動きに対する画素レベルの感度がもたらされる。時間導関数の振動ノイズは、画像取り込み回路１０４（すなわち、カメラ）の全体的な動きを減算することによって除去される。画像プロセッサ２０２によって構築される接続性グラフは、移動する多関節オブジェクト又はその部分の速い動きを許容しながら一定量の被写体ぶれの処理を可能にする。さらに、スーパーピクセルの手法は、多関節オブジェクト１１２などの移動オブジェクト内の均質な領域を追跡する追跡問題を解決する。さらに、画像プロセッサ２０２によって構築される接続性グラフは、包括光（ｇｌｏｂａｌ  ｌｉｇｈｔ）とも呼ばれる照明条件の変化の影響を受けにくい。
【００６８】
画像処理装置１０２によって実行される動作は、従来のビデオ分割方法と比べて多関節オブジェクト１１２の動作状態の変化とは無関係に多関節オブジェクト１１２の検出及び分割における画像処理装置１０２自体のロバスト性を高める。画像処理装置１０２は、従来の一般的なビデオ内の多関節オブジェクト１１２の動きに基づく追跡及び分割方法とは対照的に、計算された時間導関数マップと独立したシーン分割マップとの組み合わせに基づいて一連の画像フレーム１１０における多関節オブジェクト１１２の動作状態とは無関係に多関節オブジェクト１１２の各部分を追跡するように構成することができる。従って、オブジェクト分割プロセッサ２０６は、画像処理装置１０２が人間オブジェクト３０４などの所望のオブジェクトを分割してこれらをリアルタイム又は近リアルタイムで全自動で（ユーザ入力を伴わずに）分割して出力できるようにする。分割されたオブジェクトなどの結果は、入力ビデオの新たな画像が取り込まれた直後に生成される。従って、オブジェクト分割処理が開始すると、オブジェクト分割プロセッサ２０６は、たとえ多関節オブジェクト１１２（例えば、人間オブジェクト３０４）又はそのいくつかのパーツ（又は部分）がその動作状態を第１の動作状態から第２の動作状態に又はその逆に変化させた場合であっても一連の画像フレーム１１０において常に多関節オブジェクト１１２を分割するように構成することができる。
【００６９】
本開示の様々な実施形態は、（一連の画像フレーム１１０などの）一連の画像フレームにおける多関節オブジェクトを追跡して保持するための、機械及び／又はコンピュータが実行できる命令セットを記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。この命令セットは、機械及び／又はコンピュータに一連の画像フレーム１１０内の各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割させることができる。一連の画像フレーム１１０における第１の画像フレーム１１０ａと第１の画像フレーム１１０ａに後続する第２の画像フレーム１１０ｂとの間の非ゼロの時間導関数によって第１の動作状態にある多関節オブジェクトを検出することができる。第１の画像フレーム１１０ａの第１のスーパーピクセルの組１１６ａの第１の接続性グラフを構築することができる。第２の画像フレーム１１０ｂ（例えば、画像フレーム３０２）の（スーパーピクセルの組３１０ａなどの）第２のスーパーピクセルの組の第２の接続性グラフを構築することもできる。第１の接続性グラフ及び第２の接続性グラフに基づいて、多関節オブジェクト１１２の少なくとも一部（又はパーツ）が静止している（例えば、オブジェクトの一部又は全部が動きを止めることができる）第２の動作状態にある多関節オブジェクト１１２の完全なオブジェクトマスクを生成することができる。
【００７０】
本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含むコンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。
【００７１】
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
【００７２】
いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲に該当する全ての実施形態を含むように意図されている。
【図１Ａ】
2019160299.tif 000002
【図１Ｂ】
2019160299.tif 000003
【図２】
2019160299.tif 000004
【図３Ａ】
2019160299.tif 000005
【図３Ｂ】
2019160299.tif 000006
【図３Ｃ】
2019160299.tif 000007
【図４Ａ】
2019160299.tif 000008
【図４Ｂ】
2019160299.tif 000009
【図４Ｃ】
2019160299.tif 000010
【外国語明細書】
2019160299000001.pdf