【誤訳訂正書】
【提出日】令和2年12月8日(2020.12.8)
【誤訳訂正１】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【特許請求の範囲】
【請求項１】
画像処理装置であって、
少なくとも１つの画像プロセッサを備え、該画像プロセッサは、
一連の画像フレームにおける各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割し、
前記一連の画像フレームにおける第１の画像フレームと該第１の画像フレームに後続する第２の画像フレームとの間の非ゼロの時間微分によって第１の動作状態にある多関節オブジェクトを検出し、
前記第１の画像フレームの第１のスーパーピクセルの組の第１の接続性グラフを構築し、
前記第２の画像フレームの第２のスーパーピクセルの組の第２の接続性グラフを構築し、
前記第１の接続性グラフ及び前記第２の接続性グラフに基づいて、前記多関節オブジェクトの少なくとも一部が静止している第２の動作状態にある前記多関節オブジェクトの完全なオブジェクトマスクを生成する、
ように構成される、
ことを特徴とする画像処理装置。
【請求項２】
前記少なくとも１つの画像プロセッサは、前記完全なオブジェクトマスクの前記生成のために前記第２の画像フレームの前記第２の接続性グラフを前記第１の画像フレームの前記第１の接続性グラフと比較するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項３】
前記少なくとも１つの画像プロセッサは、前記第１の画像フレーム及び前記第２の画像フレームを含む３つの連続する画像フレームから、少なくとも前記非ゼロの時間微分を含む時間微分マップを計算するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項４】
前記少なくとも１つの画像プロセッサは、前記異なる分割領域のうちの１つの分割領域に対応する前記スーパーピクセルにおける前記非ゼロの時間微分の存在に基づいて、前記完全なオブジェクトマスクに全体として含まれる前記第１のスーパーピクセルの組又は前記第２のスーパーピクセルの組のスーパーピクセルを前記非ゼロの時間微分に関連付けるようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項５】
前記少なくとも１つの画像プロセッサは、前記スーパーピクセルと前記非ゼロの時間微分との関連性に基づいて、前記第１のスーパーピクセルの組又は前記第２のスーパーピクセルの組のスーパーピクセルを移動物として分類するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項６】
前記少なくとも１つの画像プロセッサは、前記スーパーピクセルの前記第１の画像フレームにおける移動物としての以前の分類と、前記第２の画像フレームにおける前記非ゼロの時間微分の不在とに基づいて、前記第２のスーパーピクセルの組におけるスーパーピクセルの分類を前記多関節オブジェクトに属する移動スーパーピクセルとして更新するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項７】
前記少なくとも１つの画像プロセッサは、前記第２のスーパーピクセルの組のスーパーピクセルを第１の小領域と第２の小領域とに分割するようにさらに構成され、前記スーパーピクセルは、前記多関節オブジェクトに属する前記第１の小領域における第１の画素数と、静止背景に属する前記第２の小領域における第２の画素数とを含む、
請求項１に記載の画像処理装置。
【請求項８】
前記少なくとも１つの画像プロセッサは、前記スーパーピクセルの前記第１の小領域及び前記第２の小領域への前記分割のために前記スーパーピクセルの分割パラメータを更新するようにさらに構成され、前記第１の小領域における前記第１の画素数は閾値数よりも少ない、
請求項７に記載の画像処理装置。
【請求項９】
前記少なくとも１つの画像プロセッサは、前記スーパーピクセルの前記分割のために、前記第２の画像フレームにおける静止物として分類された前記第２のスーパーピクセルの組のスーパーピクセルが以前に前記非ゼロの時間微分に関連付けられていたかどうかをチェックするようにさらに構成される、
請求項７に記載の画像処理装置。
【請求項１０】
前記少なくとも１つの画像プロセッサは、前記第２の画像フレームにおける前記多関節オブジェクトの現在の外観を反映するように、前記第１の接続性グラフを前記多関節オブジェクトの各部分の前記第２の接続性グラフで更新するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項１１】
前記少なくとも１つの画像プロセッサは、時間微分マップと前記第１の接続性グラフと前記第２の接続性グラフとの組み合わせに基づいて、前記一連の画像フレームにおける前記多関節オブジェクトの動作状態とは無関係に前記多関節オブジェクトの各部分を追跡するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項１２】
前記少なくとも１つの画像プロセッサは、前記第１の接続性グラフと前記第２の接続性グラフとの比較に基づいて、前記完全なオブジェクトマスクの前記生成のために前記一連の画像フレームの前記第２の画像フレームにおける前記多関節オブジェクトの消失部分を復元するようにさらに構成される、
請求項１に記載の画像処理装置。
【請求項１３】
一連の画像フレームにおけるオブジェクト追跡方法であって、
少なくとも１つの画像プロセッサを備えた画像処理装置おいて、
前記少なくとも１つの画像プロセッサが、一連の画像フレームにおける各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割するステップと、
前記少なくとも１つの画像プロセッサが、前記一連の画像フレームにおける第１の画像フレームと該第１の画像フレームに後続する第２の画像フレームとの間の非ゼロの時間微分によって第１の動作状態にある多関節オブジェクトを検出するステップと、
前記少なくとも１つの画像プロセッサが、前記第１の画像フレームの第１のスーパーピクセルの組の第１の接続性グラフを構築するステップと、
前記少なくとも１つの画像プロセッサが、前記第２の画像フレームの第２のスーパーピクセルの組の第２の接続性グラフを構築するステップと、
前記少なくとも１つの画像プロセッサが、前記第１の接続性グラフ及び前記第２の接続性グラフに基づいて、前記多関節オブジェクトの少なくとも一部が静止している第２の動作状態にある前記多関節オブジェクトの完全なオブジェクトマスクを生成するステップと、
を含むことを特徴とする方法。
【請求項１４】
前記少なくとも１つの画像プロセッサが、前記完全なオブジェクトマスクの前記生成のために前記第２の画像フレームの前記第２の接続性グラフを前記第１の画像フレームの前記第１の接続性グラフと比較するステップをさらに含む、
請求項１３に記載の方法。
【請求項１５】
前記少なくとも１つの画像プロセッサが、前記第１の画像フレーム及び前記第２の画像フレームを含む３つの連続する画像フレームから、少なくとも前記非ゼロの時間微分を含む時間微分マップを計算するステップをさらに含む、
請求項１３に記載の方法。
【請求項１６】
前記少なくとも１つの画像プロセッサが、前記異なる分割領域のうちの１つの分割領域に対応する前記スーパーピクセルにおける前記非ゼロの時間微分の存在に基づいて、前記完全なオブジェクトマスクに全体として含まれる前記第１のスーパーピクセルの組及び前記第２のスーパーピクセルの組のスーパーピクセルを前記非ゼロの時間に関連付けるステップをさらに含む、
請求項１３に記載の方法。
【請求項１７】
前記少なくとも１つの画像プロセッサが、前記スーパーピクセルと前記非ゼロの時間微分との関連性に基づいて、前記第１のスーパーピクセルの組及び前記第２のスーパーピクセルの組のスーパーピクセルを移動物として分類するステップをさらに含む、
請求項１３に記載の方法。
【請求項１８】
前記少なくとも１つの画像プロセッサが、前記スーパーピクセルの前記第１の画像フレームにおける移動物としての以前の分類と、前記第２の画像フレームにおける前記非ゼロの時間微分の不在とに基づいて、前記第２のスーパーピクセルの組におけるスーパーピクセルの分類を前記多関節オブジェクトに属するオブジェクトスーパーピクセルとして更新するステップをさらに含む、
請求項１３に記載の方法。
【請求項１９】
前記少なくとも１つの画像プロセッサが、前記第２のスーパーピクセルの組のスーパーピクセルを第１の小領域と第２の小領域とに分割するステップをさらに含み、前記スーパーピクセルは、前記多関節オブジェクトに属する前記第１の小領域における第１の画素数と、静止背景に属する前記第２の小領域における第２の画素数とを含む、
請求項１３に記載の方法。
【請求項２０】
前記少なくとも１つの画像プロセッサが、前記スーパーピクセルの前記第１の小領域及び前記第２の小領域への前記分割のために前記スーパーピクセルの分割パラメータを更新ステップをさらに含み、前記第１の小領域における前記第１の画素数は閾値数よりも少ない、
請求項１９に記載の方法。
【請求項２１】
前記少なくとも１つの画像プロセッサが、前記スーパーピクセルの前記分割のために、前記第２の画像フレームにおける静止物として分類された前記第２のスーパーピクセルの組のスーパーピクセルが以前に前記非ゼロの時間微分に関連付けられていたかどうかをチェックするステップをさらに含む、
請求項１９に記載の方法。
【請求項２２】
前記少なくとも１つの画像プロセッサが、前記第２の画像フレームにおける前記多関節オブジェクトの現在の外観を反映するように、前記第１の接続性グラフを前記多関節オブジェクトの各部分の前記第２の接続性グラフで更新するステップをさらに含む、
請求項１３に記載の方法。
【請求項２３】
前記少なくとも１つの画像プロセッサが、時間微分マップと前記第１の接続性グラフと前記第２の接続性グラフとの組み合わせに基づいて、前記一連の画像フレームにおける前記多関節オブジェクトの動作状態とは無関係に前記多関節オブジェクトの各部分を追跡するステップをさらに含む、
請求項１３に記載の方法。
【請求項２４】
前記少なくとも１つの画像プロセッサが、前記第１の接続性グラフと前記第２の接続性グラフとの比較に基づいて、前記完全なオブジェクトマスクの前記生成のために前記一連の画像フレームの前記第２の画像フレームにおける前記多関節オブジェクトの消失部分を復元するステップをさらに含む、
請求項１３に記載の方法。
【誤訳訂正２】
【訂正対象書類名】明細書
【訂正対象項目名】０００３
【訂正方法】変更
【訂正の内容】
【０００３】
最近のビデオ監視システムの分野、ロボット工学及び自動車産業分野におけるマシンビジョンシステム、及び消費者向け電子（ＣＥ）装置の進歩は、画像処理技術の急速な技術開発に因るところが大きい。オブジェクト追跡のための技術は様々なものが知られているが、これらのほとんどは、通常はビデオの一連の画像フレームにおけるオブジェクトの質量中心からのオブジェクトの平均的な動きを発見することに焦点を当てたものである。例えば人間などの多関節オブジェクトの場合には、その幾何学的形状が一定ではなく動くにつれて変化するので、オブジェクト追跡の複雑性が増す。多関節オブジェクトとは、関節を通じて取り付けられて相対的に動くことができる部分を有するオブジェクトのことである。多関節オブジェクトは変形しがちでもあり、例えば多関節オブジェクトの２つの部分が一連の画像フレーム内で時間と共に融合又は分離することもある。通常、現在の技術は、多関節オブジェクトの全ての可動部を認識しようと試みることなく多関節オブジェクトの平均的な動きを発見しようと試みるものである。さらに、前景オブジェクトを特定して分割する一般的方法は、新たに取り込んだ画像から静的な背景画像を減算するものである。この減算によって時間微分がもたらされ、減算後の残りの画素に前景オブジェクトとしてラベル付けすることができる。しかしながら、シナリオによっては、時間微分を用いて多関節オブジェクトを追跡しようと試みた時にフェードアウトの問題に遭遇する。例えば、多関節オブジェクト又はそのいくつかの部分は突然動きを止めることがある。動きを止めた多関節オブジェクト又は部分は、一連の画像フレームに時間微分を部分的にしか又は全く残さず、従って多関節オブジェクトが徐々に消滅又はフェードアウトしてしまう。従って、このようなシナリオでは、前景の多関節オブジェクトを正確に表現することが困難になり得る。
【誤訳訂正３】
【訂正対象書類名】明細書
【訂正対象項目名】０００８
【訂正方法】変更
【訂正の内容】
【０００８】
開示する一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理装置及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、一連の画像フレーム内の各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割できる画像処理装置を含むことができる。第１の画像フレームと第２の画像フレームとの間の非ゼロの時間微分によって、第１の動作状態にある多関節オブジェクトを検出することができる。第２の画像フレームは、一連の画像フレームにおいて第１の画像フレームに後続することができる。画像処理装置は、第１の画像フレームの第１のスーパーピクセルの組の第１の接続性グラフを構築するように構成することができる。画像処理装置は、第２の画像フレームの第２のスーパーピクセルの組の第２の接続性グラフを構築するようにさらに構成することができる。画像処理装置は、第１の接続性グラフ及び第２の接続性グラフに基づいて、第２の動作状態にある多関節オブジェクトの完全なオブジェクトマスクを生成するようにさらに構成することができる。第２の動作状態では、多関節オブジェクトの少なくとも一部が静止することができる。
【誤訳訂正４】
【訂正対象書類名】明細書
【訂正対象項目名】０００９
【訂正方法】変更
【訂正の内容】
【０００９】
ある実施形態によれば、画像処理装置は、完全なオブジェクトマスクの生成のために第２の画像フレームの第２の接続性グラフと第１の画像フレームの第１の接続性グラフとを比較するように構成することができる。画像処理装置は、第１の画像フレーム及び第２の画像フレームを含む３つの連続する画像フレームから時間微分マップを計算するように構成することもできる。時間微分マップは、少なくとも非ゼロの時間微分を含むことができる。
【誤訳訂正５】
【訂正対象書類名】明細書
【訂正対象項目名】００１０
【訂正方法】変更
【訂正の内容】
【００１０】
ある実施形態によれば、画像処理装置は、第１のスーパーピクセルの組及び第２のスーパーピクセルの組のスーパーピクセルを非ゼロの時間微分に関連付けるように構成することができる。この関連付けは、異なる分割領域のうちの１つの分割領域に対応するスーパーピクセル内に非ゼロの時間微分が存在することに基づいて行うことができる。完全なオブジェクトマスクは、非ゼロの時間微分に関連付けられたスーパーピクセルを全体として含むことができる。画像処理装置は、スーパーピクセルと非ゼロの時間微分との関連性に基づいて、第１のスーパーピクセルの組及び第２のスーパーピクセルの組におけるスーパーピクセルを移動物として分類するように構成することができる。
【誤訳訂正６】
【訂正対象書類名】明細書
【訂正対象項目名】００１１
【訂正方法】変更
【訂正の内容】
【００１１】
ある実施形態によれば、画像処理装置は、第２のスーパーピクセルの組におけるスーパーピクセルの分類を多関節オブジェクトに属するオブジェクトスーパーピクセルとして更新するように構成することができる。スーパーピクセルの分類は、たとえ第２の画像フレームに非ゼロの時間微分が存在しない場合でも、第１の画像フレームにおける移動物として分類された以前のスーパーピクセルの分類に基づいて更新することができる。ある実施形態によれば、第２のスーパーピクセルの組のスーパーピクセルは、第１の小領域と第２の小領域とに分割することができる。分割されたスーパーピクセルは、多関節オブジェクトに属する第１の小領域における第１の画素数と、静止背景に属する第２の小領域における第２の画素数とを含むことができる。第１の小領域における第１の画素数は、閾値数未満とすることができる。画像処理装置は、スーパーピクセルの分割のために、第２の画像フレームにおける静止物として分類された第２のスーパーピクセルの組のスーパーピクセルが以前に非ゼロの時間微分に関連付けられていたかどうかをチェックするように構成することができる。画像処理装置は、スーパーピクセルの第１の小領域及び第２の小領域への分割のためにスーパーピクセルの分割パラメータを更新するように構成することができる。
【誤訳訂正７】
【訂正対象書類名】明細書
【訂正対象項目名】００１２
【訂正方法】変更
【訂正の内容】
【００１２】
ある実施形態によれば、画像処理装置は、第２の画像フレームにおける多関節オブジェクトの現在の外観を反映するように、第１の接続性グラフを多関節オブジェクトの各部分の第２の接続性グラフで更新するように構成することができる。多関節オブジェクトの各部分は、時間微分マップと第１の接続性グラフ及び第２の接続性グラフとの組み合わせに基づいて、一連の画像フレームにおける多関節オブジェクトの動作状態とは無関係に追跡することができる。画像処理装置は、完全なオブジェクトマスクの生成のために一連の画像フレームの第２の画像フレームにおける多関節オブジェクトの消失部分を復元するように構成することができる。多関節オブジェクトの消失部分は、第１の接続性グラフと第２の接続性グラフとの比較に基づいて復元することができる。
【誤訳訂正８】
【訂正対象書類名】明細書
【訂正対象項目名】００１４
【訂正方法】変更
【訂正の内容】
【００１４】
画像処理装置１０２は、オブジェクトの異なる動作状態とは無関係に一連の画像フレーム１１０を処理して多関節オブジェクト１１２などのオブジェクトを追跡するように構成できる好適な回路、インターフェイス及び／又はコードを含むことができる。オブジェクトは、時間微分マップとスーパーピクセルの接続性グラフとの組み合わせに基づいて正確に追跡することができる。画像処理装置１０２は、一連の画像フレーム１１０内で検出できる多関節オブジェクト１１２をリアルタイム又は近リアルタイムで動的に分割するように構成することができる。画像処理装置１０２の例としては、以下に限定するわけではないが、デジタルカメラ、カムコーダ、ヘッドマウント装置（ＨＭＤ）、監視装置、スマートホン、スマートメガネ、タブレット、拡張現実ベースの装置、コンピュータ装置、及び／又はその他の消費者電子（ＣＥ）装置を挙げることができる。
【誤訳訂正９】
【訂正対象書類名】明細書
【訂正対象項目名】００２２
【訂正方法】変更
【訂正の内容】
【００２２】
ある実施形態によれば、画像処理装置１０２は、一連の画像フレーム１１０のうちの２つの連続する画像フレームから時間微分マップなどの時間微分を計算するように構成することができる。例えば、第１の画像フレーム１１０ａ及び第２の画像フレーム１１０ｂは、画素が黒色と白色などの２つの可能な値を有することができる２値画像に変換することができる。第１の画像フレーム１１０ａの画素値から第２の画像フレーム１１０ｂの画素値を減算して変位した画素を発見することができる。一連の画像フレーム１１０において背景は動かないので、変位した画素は、多関節オブジェクト１１２などの移動オブジェクトの画素に対応することができる。画像処理装置１０２は、第１の画像フレーム１１０ａと第２の画像フレーム１１０ｂとの間の非ゼロの時間微分によって第１の動作状態にある多関節オブジェクト１１２を検出するように構成することができる。第２の画像フレーム１１０ｂは、一連の画像フレーム１１０において第１の画像フレーム１１０ａに後続する。
【誤訳訂正１０】
【訂正対象書類名】明細書
【訂正対象項目名】００２３
【訂正方法】変更
【訂正の内容】
【００２３】
ある実施形態によれば、画像処理装置１０２は、３つの連続するフレームを利用して時間微分を計算するように構成することができる。３連続フレームを使用すると、ＲＧＢカメラなどの画像取り込み回路１０４に由来し得るノイズを大幅に低減することができる。シナリオによっては、画像取り込み回路１０４が一瞬揺れることによって被写体ぶれ又はスミアリングが生じることがある。このような場合、時間微分の計算に３連続フレームを使用することによって、たとえ多関節オブジェクトが高速で動いた場合でもスミアリングを低減することができる。いくつかの実施形態では、画像取り込み回路１０４（すなわち、カメラ）の全体的な動きを時間微分から減算することによって、時間微分の振動ノイズを排除することができる。時間微分を使用すると、多関節オブジェクト１１２などのオブジェクトをその動きによって認識することができる。多関節オブジェクト１１２などのオブジェクトはその外観に関わらず追跡することができ、すなわちオブジェクトに関する事前知識は不要である。通常、オブジェクトの動きには多くの画素が関与しており、従ってたとえオブジェクトが１画素動いた場合であっても時間微分を用いてオブジェクトの動きを認識することができる。
【誤訳訂正１１】
【訂正対象書類名】明細書
【訂正対象項目名】００２４
【訂正方法】変更
【訂正の内容】
【００２４】
従来の方法では、時間微分の使用のみによって多関節オブジェクト１１２などのオブジェクトを追跡しようと試みた時にフェードアウトの問題に遭遇する。例えば、多関節オブジェクト１１２又はそのいくつかの部分は、突然動きを止めることがある。換言すれば、多関節オブジェクト１１２の動作状態が第１の動作状態から第２の動作状態に変化することがある。第１の動作状態は、多関節オブジェクト１１２又はその全ての部分が動いている時の多関節オブジェクト１１２の動作状態に対応する。第２の動作状態は、多関節オブジェクト１１２又はそのいくつかの部分が動かなくなった（すなわち、動きを止めた）時の多関節オブジェクト１１２の変化した動作状態に対応する。時間微分の使用のみによって多関節オブジェクト１１２の追跡を行った場合、動きを止めた多関節オブジェクト１１２又は部分は一連の画像フレーム１１０に時間微分を部分的にしか又は全く残さず、従って追跡中に多関節オブジェクト１１２が徐々に消滅又はフェードアウトしてしまうことがある。
【誤訳訂正１２】
【訂正対象書類名】明細書
【訂正対象項目名】００２５
【訂正方法】変更
【訂正の内容】
【００２５】
画像処理装置１０２は、従来の一般的な動きに基づく追跡及びオブジェクト分割法とは対照的に、計算された時間微分マップと独立したシーン分割マップとの組み合わせに基づいて、一連の画像フレーム１１０における多関節オブジェクト１１２の動作状態とは無関係に多関節オブジェクト１１２各部分を追跡するように構成することができる。時間微分マップは、動きに基づくオブジェクト検出、及び非ゼロの時間微分と各スーパーピクセルとの関連付けに使用することができる。シーン分割マップは、各分割領域（すなわち、スーパーピクセル）と隣接する分割領域との相関を導出できる（第１のスーパーピクセルの組１１６ａなどの）異なる分割領域を示すことができる。シーン分割マップにおける異なる分割領域の接続性グラフなどの接続性パターンを利用して、一連の画像フレーム１１０における多関節オブジェクト１１２の各部分のロバストな追跡を行うことができる。例えば、画像処理装置１０２は、第１の画像フレーム１１０ａの第１のスーパーピクセルの組１１６ａの第１の接続性グラフを構築するように構成することができる。同様に、画像処理装置１０２は、第２の画像フレーム１１０ｂの第２のスーパーピクセルの組の第２の接続性グラフを構築するように構成することもできる。第２のスーパーピクセルの組の例は、図３Ａに図示し説明するような画像フレーム３０２のスーパーピクセルの組３１０ａとすることができる。
【誤訳訂正１３】
【訂正対象書類名】明細書
【訂正対象項目名】００２６
【訂正方法】変更
【訂正の内容】
【００２６】
ある実施形態によれば、画像処理装置１０２は、第２のスーパーピクセルの組のスーパーピクセルを非ゼロの時間微分に関連付けるように構成することができる。この関連付けは、異なる分割領域のうちの１つの分割領域に対応するスーパーピクセルにおける非ゼロの時間微分の存在に基づいて行うことができる。スーパーピクセルなどの分割領域が非ゼロの時間微分を含む場合には、その分割領域が全体として（すなわち、全体的に）多関節オブジェクト１１２のオブジェクトマスクに含まれる。第２のスーパーピクセルの組におけるスーパーピクセルは、スーパーピクセルと非ゼロの時間微分との関連性に基づいて移動物として分類することができる。いくつかの実施形態では、画像処理装置１０２を、計算された非ゼロの時間微分に基づいて移動物として分類された第２のスーパーピクセルの組のスーパーピクセルから多関節オブジェクト１１２の初期オブジェクト境界を生成するように構成することができる。多関節オブジェクト１１２が第１の動作状態にある場合、多関節オブジェクト１１２の初期オブジェクト境界は完全なものとなり得る。
一方で、多関節オブジェクト１１２が、動きを止めた多関節オブジェクト１１２又は部分が時間微分を部分的にしか又は全く残さない第２の動作状態にある場合、多関節オブジェクト１１２の初期オブジェクト境界は完全なものでないこともある。
【誤訳訂正１４】
【訂正対象書類名】明細書
【訂正対象項目名】００３７
【訂正方法】変更
【訂正の内容】
【００３７】
図３Ａ及び図３Ｂに、本開示の実施形態による、開示する一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理装置及び方法を実装する第１の例示的なシナリオをまとめて示す。図３Ａ及び図３Ｂの説明は、図１Ａ、図１Ｂ及び図２の要素に関連して行う。図３Ａには、ビデオの画像フレーム３０２と、画像フレーム３０２の時間微分マップ３０８と、画像フレーム３０２のシーン分割マップ３１０と、第１の表現３１２とを示す。
【誤訳訂正１５】
【訂正対象書類名】明細書
【訂正対象項目名】００３８
【訂正方法】変更
【訂正の内容】
【００３８】
画像フレーム３０２は、画像取り込み回路１０４によって取り込まれた、ビデオ内で追跡すべき人間オブジェクト３０４と静止背景領域３０６とを示すシーン３０２ａを含む。
時間微分マップ３０８における非ゼロの時間微分３０８ａ、及び画像フレーム３０２のシーン分割マップ３１０におけるスーパーピクセルの組３１０ａも示す。時間微分マップ３０８は、人間オブジェクト３０４のいくつかの部分（例えば、この例では脚部及び頭部）が突然動きを止めた時に動作状態にある人間オブジェクト３０４の非ゼロの時間微分３０８ａを示す。図示の第１の表現３１２は、フェーディング防止前の消えたオブジェクト境界及び人間オブジェクト３０４の部分の例示的なビュー３１４を示す。第１の例示的なシナリオによれば、人間オブジェクト３０４は、多関節オブジェクト１１２（図１Ａ）に対応することができる。人間オブジェクト３０４は、移動オブジェクトとすることができる。画像フレーム３０２は、一連の画像フレーム１１０（図１Ａ）のうちの新たに取り込まれた画像フレームに対応することができる。
【誤訳訂正１６】
【訂正対象書類名】明細書
【訂正対象項目名】００４０
【訂正方法】変更
【訂正の内容】
【００４０】
画像プロセッサ２０２は、画像フレーム３０２と画像フレーム３０２に先行する他の２つの画像フレーム（図示せず）とを含む３つの連続する画像フレームから時間微分マップ３０８を計算するように構成することができる。時間微分マップ３０８は、人間オブジェクト３０４の上半身部分（例えば、胴体）の変位した画素に対応できる非ゼロの時間微分３０８ａを含むことができる。３連続フレームを使用すると、ＲＧＢカメラなどの画像取り込み回路１０４に由来し得るスミアリングなどの振動ノイズを大幅に低減することができる。画像プロセッサ２０２は、画像フレーム３０２のシーン３０２ａを色空間においてスーパーピクセルの組３１０ａに対応する異なる分割領域に分割するように構成することができる。各スーパーピクセルは、シーン分割マップ３１０において擬似色で表される画像フレーム３０２の多角形分割領域とすることができ、図３Ａでは異なる擬似色を異なる線パターンで示す。例えば、シーン３０２ａの背景３０６における屋根、側壁、フロア、家具の色は異なることができる。同様に、髪、顔、腕、人間オブジェクト３０４が着用する衣類などの異なる身体部分の色も異なることができる。擬似色は、シーン３０２ａなどのソースシーン内に存在する元々の対応する色毎に各多角形分割領域に割り当てられた色を意味することができる。
【誤訳訂正１７】
【訂正対象書類名】明細書
【訂正対象項目名】００４１
【訂正方法】変更
【訂正の内容】
【００４１】
画像プロセッサ２０２は、計算された非ゼロの時間微分３０８ａに基づいて人間オブジェクト３０４を検出して分割するように構成することができる。しかしながら、人間オブジェクト３０４のいくつかの部分（例えば、この例では脚部及び頭部）は静止しているので、このような静止部分では非ゼロの時間微分が取得されず、例示的なビュー３１４に示すように消えてしまう。その後、画像プロセッサ２０２は、オブジェクト境界を修正して、画像フレーム３０２における人間オブジェクト３０４の消失部分を復元するように構成することができる。人間オブジェクト３０４の消失部分は、画像フレーム３０２の接続性グラフと、ビデオ内の画像フレーム３０２に先行する画像フレームの接続性グラフとの比較に基づいて復元することができる。
【誤訳訂正１８】
【訂正対象書類名】明細書
【訂正対象項目名】００４２
【訂正方法】変更
【訂正の内容】
【００４２】
非ゼロの時間微分３０８ａに関連するスーパーピクセルの組３１０ａからのスーパーピクセルは、移動スーパーピクセルとして分類される。例えば、最初にスーパーピクセル３１６ｂ、３１６ｃ、３１６ｄ、３１６ｅ及び３１６ｆを移動物として分類し、スーパーピクセル３１６ａを静止物として分類することができる。画像プロセッサ２０２は、第１のスーパーピクセルの組３１０ａの接続性グラフを構築するように構成することができる。接続性グラフは、スーパーピクセルの組３１０ａの接続性パターンを示す。接続性グラフは、隣接する分割領域（すなわち、スーパーピクセル）及びその画像特性（例えば、色、質感又は幾何学的形状）を識別する。構築されたスーパーピクセルの組３１０ａの接続性グラフを、画像フレーム３０２に先行する画像フレームに関連する以前のスーパーピクセルの組の接続性グラフと比較する。画像プロセッサ２０２は、以前に取り込んだビデオの画像フレームにおいて移動物として分類されたスーパーピクセル３１６ａの以前の分類に基づいて、スーパーピクセルの組３１０ａにおけるスーパーピクセル３１６ａの分類を移動物として更新するように構成することができる。画像プロセッサ２０２は、以前に処理したビデオ画像フレームにおいて移動物として分類されたこれらのスーパーピクセルに関する関連情報をメモリ２０４に記憶する。たとえ人間オブジェクト３０４のいくつかの部分（例えば、この例では脚）がビデオ内で動かなくなった場合であっても、接続性グラフ（又は接続性パターン）の解析に基づいて依然としてこのような静止部分を識別し、従って保持することができる。
【誤訳訂正１９】
【訂正対象書類名】明細書
【訂正対象項目名】００４３
【訂正方法】変更
【訂正の内容】
【００４３】
図３Ｂに、画像フレーム３０２における完全なオブジェクトマスク３１８と、画像フレーム３０２において表現された人間オブジェクト３０４などのオブジェクト分割結果３２０とを示す。画像プロセッサ２０２は、接続性グラフの解析に基づいて、第２の動作状態にある人間オブジェクト３０４の完全なオブジェクトマスク３１８を生成するように構成することができる。人間オブジェクト３０４の完全なオブジェクトマスク３１８は、構築されたスーパーピクセルの組３１０ａの接続性グラフと、画像フレーム３０２に先行する画像フレームに関連する以前のスーパーピクセルの組の接続性グラフとの比較に基づいて生成される。画像プロセッサ２０２は、この比較に基づいて、第２の画像フレーム１１０ｂにおいて第２の動作状態にあり得るスーパーピクセル３１６ａなどの多関節オブジェクト１１２の消失部分を復元するように構成することができる。図３Ａで上述したように、突然動きを止めて静止状態になる人間オブジェクト３０４の部分（例えば、スーパーピクセル３１６ａに対応する脚）は非ゼロの時間微分を残さず、通常は例示的なビュー３１４（図３Ａ）に示すようにフェードアウトする。従って、画像プロセッサ２０２は、図３Ｂの完全なオブジェクトマスク３１８に示すように、接続性グラフの比較に基づいてオブジェクト境界を修正して画像フレーム３０２内の人間オブジェクト３０４の消失部分を復元するように構成することができる。その後、オブジェクト分割プロセッサ２０６は、生成された完全なオブジェクトマスク３１８に基づいて、オブジェクト分割結果３２０に示すように人間オブジェクト３０４を動的に分割するように構成することができる。接続性グラフは、ビデオ内の人間オブジェクト３０４などの移動オブジェクトの現在の外観（すなわち、現在の幾何学的形状、輝度又は色）を反映する各新たなフレームで更新することができる。従って、オブジェクト分割処理が開始すると、オブジェクト分割プロセッサ２０６は、たとえ人間オブジェクト３０４がビデオ内でその動作状態を第１の動作状態から第２の動作状態に、及びこの逆に変化させた場合であっても人間オブジェクト３０４の各部分の自動的かつ確実な追跡に利用される接続性グラフを常に更新するように構成することができる。
【誤訳訂正２０】
【訂正対象書類名】明細書
【訂正対象項目名】００４４
【訂正方法】変更
【訂正の内容】
【００４４】
図３Ｃに、本開示の実施形態による、開示する一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理装置及び方法を実装する第２の例示的なシナリオを示す。図３Ｃの説明は、例えば、図１Ａ、図１Ｂ、図２、図３Ａ及び図３Ｂの要素に関連して行う。図３Ｃには、画像フレーム３０２のシーン３０２ａにおける人間オブジェクト３０４の頭髪部分などの第１の部分３０４ａと、静止背景３０６の屋根領域３２４ａとを示す。この第２の例示的なシナリオによれば、頭髪などの第１の部分３０４ａの色が、シーン３０２ａの背景３０６の屋根領域３２４ａと一致することがある。例えば、人間オブジェクト３０４などの前景オブジェクトの第１の部分３０４ａの色値と、屋根領域３２４ａの色値とが茶色の場合がある。従って、シーン分割マップ３１０に示すシーン分割では、第１の部分３０４ａ及び屋根領域３２４ａがスーパーピクセル３２４ｂなどの同じスーパーピクセルに分類されることがある。このようなシナリオでは、最初に画像プロセッサ２０２を、スーパーピクセル３２４ｂにおける画素（第１の部分３０４ａに位置する）のごく一部が非ゼロの時間微分を有するという理由で画像フレーム３０２においてスーパーピクセル３２４ｂを静止物として分類するように構成することができる。換言すれば、スーパーピクセル３２４ｂは、人間オブジェクト３０４に属する第１の部分３０４ａにおける第１の画素数と、静止背景３０６に属する屋根領域３２４ａにおける第２の画素数とを含むことができる。人間オブジェクト３０４に属する第１の部分３０４ａの第１の画素数は閾値未満とすることができる。画像プロセッサ２０２は、第１の部分３０４ａにおける第１の画素数が以前は非ゼロの時間微分に関連していたと識別又は別様に判断するように構成することができる。この識別は、（図３Ａで説明した）接続性グラフの解析と、メモリ２０４に記憶されている、以前に処理したビデオ画像フレームにおいて移動物として分類されたスーパーピクセルに関連する関連情報とに基づいて行うことができる。従って、画像プロセッサ２０２は、このスーパーピクセル３２４ｂなどの特定の分割領域の色値の範囲などのシーン分割パラメータを更新して、スーパーピクセル３２４ｂを、非ゼロの時間微分を有する第１の小領域と非ゼロの時間微分を有していない第２の小領域などの２つの小領域に分割するように構成することができる。以前の画像フレーム（ビデオ内の画像フレーム３０２に先行する画像フレーム）のスーパーピクセルの組の接続性グラフは、スーパーピクセル３２４ｂのさらなる分割のための意思決定を容易にすることができる。従って、画像プロセッサ２０２は、ビデオ内の人間オブジェクト３０４の動作状態とは無関係に人間オブジェクト３０４（すなわち、多関節オブジェクト）の各部分を正確かつ確実に追跡する。ある実施形態によれば、多関節オブジェクトの２つの部分がビデオ内で一定期間にわたって融合（例えば、人間オブジェクト３０４の片方の手がもう一方の手に重なる）又は分離する場合にも、画像プロセッサ２０２は、依然として接続性グラフに基づいて多関節オブジェクトを追跡することができる。
【誤訳訂正２１】
【訂正対象書類名】明細書
【訂正対象項目名】００４８
【訂正方法】変更
【訂正の内容】
【００４８】
４０８において、一連の画像フレーム１１０のうちの３つの連続する画像フレームから時間微分マップを計算することができる。画像プロセッサ２０２は、例えば第１の画像フレーム１１０ａ、第２の画像フレーム１１０ｂ及び第３の画像フレーム１１０ｃなどの３つの連続する画像フレームを用いて時間微分マップを計算するように構成することができる。３連続フレームを使用すると、ＲＧＢカメラなどの画像取り込み回路１０４に由来し得る振動ノイズを大幅に低減することができる。時間微分マップは、ゼロ及び非ゼロの時間微分を含むことができる。ゼロの時間微分は動きがないことを示し、非ゼロの時間微分は画素の動き、すなわち変位した画素を示す。ビデオの画像フレーム３０２における非ゼロの時間微分３０８ａの例については図３Ａに図示して説明した。
【誤訳訂正２２】
【訂正対象書類名】明細書
【訂正対象項目名】００４９
【訂正方法】変更
【訂正の内容】
【００４９】
４１０において、少なくとも第１の画像フレーム１１０ａと第２の画像フレーム１１０ｂとの間の非ゼロの時間微分によって、第１の動作状態にある多関節オブジェクト１１２を検出することができる。第２の画像フレーム１１０ｂは、一連の画像フレーム１１０において第１の画像フレーム１１０ａに後続することができる。非ゼロの時間微分を使用すると、多関節オブジェクト１１２などのオブジェクトをその動きによって検出することができる。第２の画像フレーム１１０ｂの例は、図３Ａに図示して説明した画像フレーム３０２である。画像プロセッサ２０２は、少なくとも第１の画像フレーム１１０ａと第２の画像フレーム１１０ｂとの間の非ゼロの時間微分によって、第１の動作状態にある多関節オブジェクト１１２を検出するように構成することができる。第１の動作状態は、多関節オブジェクト１１２又はその全ての部分が動いている時の多関節オブジェクト１１２の動作状態に対応する。換言すれば、多関節オブジェクト１１２の動作状態は、第１の動作状態から第２の動作状態に変化することができる。第１の動作状態は、多関節オブジェクト１１２又はその全ての部分が動いている時の多関節オブジェクト１１２の動作状態に対応する。従来の方法では、非ゼロの時間微分のみを使用することによって多関節オブジェクト１１２などのオブジェクトを追跡しようと試みた時にフェードアウトの問題に遭遇する。例えば、多関節オブジェクト１１２又はそのいくつかの部分が突然動きを止めることがある。換言すれば、多関節オブジェクト１１２の動作状態が第１の動作状態から第２の動作状態に変化することがある。第２の動作状態は、多関節オブジェクト１１２又はそのいくつかの部分が一連の画像フレーム１１０において動かなくなった（すなわち、動きを止めた）時の多関節オブジェクト１１２の変化した動作状態に対応する。このような場合には、完全なオブジェクトを保持してオブジェクトフェーディングの問題を防ぐために、シーン分割マップにおける接続性グラフを使用する。
【誤訳訂正２３】
【訂正対象書類名】明細書
【訂正対象項目名】００５２
【訂正方法】変更
【訂正の内容】
【００５２】
４１６において、第２のスーパーピクセルの組のスーパーピクセルに非ゼロの時間微分が存在するかどうかをチェックすることができる。画像プロセッサ２０２は、第２の画像フレーム１１０ｂにおける第２のスーパーピクセルの組のスーパーピクセルに非ゼロの時間微分が存在するかどうかをチェックするように構成することができる。第２のスーパーピクセルの組のスーパーピクセルが非ゼロの時間微分を含む場合、制御は４１８に進むことができる。第２のスーパーピクセルの組のスーパーピクセルが非ゼロの時間微分を含まない場合、制御は４２０Ｂに進むことができる。
【誤訳訂正２４】
【訂正対象書類名】明細書
【訂正対象項目名】００５３
【訂正方法】変更
【訂正の内容】
【００５３】
４１８において、第２のスーパーピクセルの組のスーパーピクセルを非ゼロの時間微分に関連付けることができる。画像プロセッサ２０２は、第２のスーパーピクセルの組のスーパーピクセルを非ゼロの時間微分に関連付けるように構成することができる。この関連付けは、異なる分割領域のうちの１つの分割領域に対応するスーパーピクセル内における非ゼロの時間微分の存在に基づいて行うことができる。４２０Ａにおいて、第２のスーパーピクセルの組におけるスーパーピクセルと非ゼロの時間微分との関連性に基づいて、このスーパーピクセルを移動物として分類することができる。画像プロセッサ２０２は、第２のスーパーピクセルの組におけるスーパーピクセルを移動物として分類するように構成することができる。画像プロセッサ２０２は、（現在及び以前に処理した画像フレームにおいて）現在及び以前に移動物として分類されたこれらのスーパーピクセルに関する関連情報を継続的にメモリ２０４に記憶するようにさらに構成することができる。
【誤訳訂正２５】
【訂正対象書類名】明細書
【訂正対象項目名】００５４
【訂正方法】変更
【訂正の内容】
【００５４】
４２０Ｂにおいて、第２の画像フレーム１１０ｂにおける非ゼロの時間微分の不在に基づいて、第２のスーパーピクセルの組におけるスーパーピクセルを静止物として分類することができる。画像プロセッサ２０２は、第２の画像フレーム１１０ｂにおける非ゼロの時間微分の不在に基づいて、第２のスーパーピクセルのセット内のスーパーピクセルを静止物として分類するように構成することができる。
【誤訳訂正２６】
【訂正対象書類名】明細書
【訂正対象項目名】００５６
【訂正方法】変更
【訂正の内容】
【００５６】
４２４において、第２の画像フレーム１１０ｂにおいて静止物として分類された第２のスーパーピクセルの組のスーパーピクセルが以前に非ゼロの時間微分に関連付けられていたかどうかを判定することができる。画像プロセッサ２０２は、第２の画像フレーム１１０ｂにおいて静止物として分類された第２のスーパーピクセルの組のスーパーピクセルが以前に非ゼロの時間微分に関連付けられていたかどうかを判定するように構成することができる。現在第２の画像フレーム１１０ｂにおいて静止物として分類されている第２のスーパーピクセルの組のスーパーピクセルが以前に非ゼロの時間微分に関連付けられていた場合、制御は４２６に進み、そうでなければ４２２に戻ることができる。
【誤訳訂正２７】
【訂正対象書類名】明細書
【訂正対象項目名】００５７
【訂正方法】変更
【訂正の内容】
【００５７】
４２６において、第２のスーパーピクセルの組におけるスーパーピクセルの分類を多関節オブジェクト１１２に属する移動スーパーピクセルとしてとして更新することができる。画像処理装置１０２は、第２のスーパーピクセルの組におけるスーパーピクセルの分類を多関節オブジェクト１１２に属する移動スーパーピクセルとして更新するように構成することができる。スーパーピクセルの分類は、第１の画像フレーム１１０ａ、又は第１の画像フレーム１１０ａに先行する画像フレームにおいて移動物として分類された以前のスーパーピクセルの分類に基づいて更新することができる。スーパーピクセルの分類は、たとえ第２の画像フレーム１１０ｂ内のスーパーピクセルに非ゼロの時間微分が存在しない場合であっても、メモリ２０４に記憶されている関連情報から読み取った以前の分類に基づいて更新することができる。
【誤訳訂正２８】
【訂正対象書類名】明細書
【訂正対象項目名】００５９
【訂正方法】変更
【訂正の内容】
【００５９】
４３０において、一連の画像フレーム１１０のうちの第２の画像フレーム１１０ｂにおける多関節オブジェクト１１２の消失部分を復元することができる。画像プロセッサ２０２は、一連の画像フレーム１１０のうちの第２の画像フレーム１１０ｂにおける多関節オブジェクト１１２の消失部分を復元するように構成することができる。多関節オブジェクト１１２の消失部分は、第１の接続性グラフと第２の接続性グラフとの比較に基づいて復元することができる。例えば、図３Ａの例示的なビュー３１４に示すように、人間オブジェクト３０４のいくつかの部分（例えば、この例では脚部及び頭部）は静止している。従って、このような静止部分では非ゼロの時間微分が取得されず、例示的なビュー３１４に示すように消えてしまう。その後、画像プロセッサ２０２は、図３Ｂに示すようにオブジェクト境界を修正して、画像フレーム３０２における人間オブジェクト３０４の消失部分を復元するように構成することができる。人間オブジェクト３０４の消失部分は、画像フレーム３０２の接続性グラフと、ビデオ内の画像フレーム３０２に先行する画像フレームの接続性グラフとの比較に基づいて復元される。
【誤訳訂正２９】
【訂正対象書類名】明細書
【訂正対象項目名】００６１
【訂正方法】変更
【訂正の内容】
【００６１】
４３４において、一連の画像フレーム１１０における多関節オブジェクト１１２の動作状態とは無関係に多関節オブジェクト１１２の各部分を追跡することができる。生成された時間微分マップ、第１の接続性グラフ及び第２の接続性グラフを用いて多関節オブジェクト１１２の各部分のロバストかつ正確な追跡が行われる。
【誤訳訂正３０】
【訂正対象書類名】明細書
【訂正対象項目名】００６５
【訂正方法】変更
【訂正の内容】
【００６５】
本開示の実施形態によれば、一連の画像フレームにおける多関節オブジェクトを追跡して保持するための画像処理システムが開示される。この画像処理システムは、（画像プロセッサ２０２及び／又はオブジェクト分割プロセッサ２０６（図２）などの）少なくとも１つの画像プロセッサを有することができる画像処理装置１０２（図１Ａ）を含むことができる。画像プロセッサ２０２は、一連の画像フレーム１１０内の各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割するように構成することができる。
画像プロセッサ２０２は、一連の画像フレーム１１０における第１の画像フレーム１１０ａと第１の画像フレームに後続する第２の画像フレーム１１０ｂとの間の非ゼロの時間微分によって第１の動作状態にある（例えば、全ての部分が動いている可能性がある）多関節オブジェクト１１２を検出するように構成することができる。画像プロセッサ２０２は、第１の画像フレーム１１０ａの第１のスーパーピクセルの組１１６ａの第１の接続性グラフを構築するようにさらに構成することができる。画像プロセッサ２０２は、第２の画像フレーム１１０ｂ（例えば、画像フレーム３０２）の（スーパーピクセルの組３１０ａなどの）第２のスーパーピクセルの組の第２の接続性グラフを構築するようにさらに構成することができる。画像プロセッサ２０２は、第１の接続性グラフ及び第２の接続性グラフに基づいて、第２の画像フレーム１１０ｂにおける、多関節オブジェクト１１２の少なくとも一部（又はパーツ）が静止している（例えば、第２の動作状態ではオブジェクトの一部又は全部が動きを止めることができる）第２の動作状態の多関節オブジェクト１１２の完全なオブジェクトマスクを生成するようにさらに構成することができる。
【誤訳訂正３１】
【訂正対象書類名】明細書
【訂正対象項目名】００６７
【訂正方法】変更
【訂正の内容】
【００６７】
動きに基づくオブジェクト分割には、多関節オブジェクト１１２などの移動オブジェクトを正確に分割するためのいくつかの要件及び課題がある。例えば、ａ）移動オブジェクトのわずかな動きに対する（多くの場合、ユニットレベル、すなわち画素レベルでの）感受性、ｂ）カメラの振動ノイズに対する耐性、ｃ）動きの速いオブジェクト（例えば、フレーム間の多くの画素）と効果的に連動する能力、ｄ）移動オブジェクトの均質な内部領域を追跡する能力、及びｅ）変動する光の条件下で機能する能力である。開示した一連の画像フレーム１１０における多関節オブジェクト１１２を追跡して保持するための画像処理装置１０２及び方法は上記の要件を満たすとともに、上記の動きに基づくオブジェクト分割の課題を解決する。開示した画像処理装置１０２及び方法は、スーパーピクセルの画素レベルでの動きに敏感である。各画像フレームのシーンは、多くの画素を含む異なるスーパーピクセルに分割されるので、時間微分を使用することによって多関節オブジェクト１１２の動きに対する画素レベルの感度がもたらされる。時間微分の振動ノイズは、画像取り込み回路１０４（すなわち、カメラ）の全体的な動きを減算することによって除去される。画像プロセッサ２０２によって構築される接続性グラフは、移動する多関節オブジェクト又はその部分の速い動きを許容しながら一定量の被写体ぶれの処理を可能にする。さらに、スーパーピクセルの手法は、多関節オブジェクト１１２などの移動オブジェクト内の均質な領域を追跡する追跡問題を解決する。さらに、画像プロセッサ２０２によって構築される接続性グラフは、包括光（ｇｌｏｂａｌ  ｌｉｇｈｔ）とも呼ばれる照明条件の変化の影響を受けにくい。
【誤訳訂正３２】
【訂正対象書類名】明細書
【訂正対象項目名】００６８
【訂正方法】変更
【訂正の内容】
【００６８】
画像処理装置１０２によって実行される動作は、従来のビデオ分割方法と比べて多関節オブジェクト１１２の動作状態の変化とは無関係に多関節オブジェクト１１２の検出及び分割における画像処理装置１０２自体のロバスト性を高める。画像処理装置１０２は、従来の一般的なビデオ内の多関節オブジェクト１１２の動きに基づく追跡及び分割方法とは対照的に、計算された時間微分マップと独立したシーン分割マップとの組み合わせに基づいて一連の画像フレーム１１０における多関節オブジェクト１１２の動作状態とは無関係に多関節オブジェクト１１２の各部分を追跡するように構成することができる。従って、オブジェクト分割プロセッサ２０６は、画像処理装置１０２が人間オブジェクト３０４などの所望のオブジェクトを分割してこれらをリアルタイム又は近リアルタイムで全自動で（ユーザ入力を伴わずに）分割して出力できるようにする。分割されたオブジェクトなどの結果は、入力ビデオの新たな画像が取り込まれた直後に生成される。従って、オブジェクト分割処理が開始すると、オブジェクト分割プロセッサ２０６は、たとえ多関節オブジェクト１１２（例えば、人間オブジェクト３０４）又はそのいくつかのパーツ（又は部分）がその動作状態を第１の動作状態から第２の動作状態に又はその逆に変化させた場合であっても一連の画像フレーム１１０において常に多関節オブジェクト１１２を分割するように構成することができる。
【誤訳訂正３３】
【訂正対象書類名】明細書
【訂正対象項目名】００６９
【訂正方法】変更
【訂正の内容】
【００６９】
本開示の様々な実施形態は、（一連の画像フレーム１１０などの）一連の画像フレームにおける多関節オブジェクトを追跡して保持するための、機械及び／又はコンピュータが実行できる命令セットを記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。この命令セットは、機械及び／又はコンピュータに一連の画像フレーム１１０内の各画像フレームを異なるスーパーピクセルに対応する異なる分割領域に分割させることができる。一連の画像フレーム１１０における第１の画像フレーム１１０ａと第１の画像フレーム１１０ａに後続する第２の画像フレーム１１０ｂとの間の非ゼロの時間微分によって第１の動作状態にある多関節オブジェクトを検出することができる。
第１の画像フレーム１１０ａの第１のスーパーピクセルの組１１６ａの第１の接続性グラフを構築することができる。第２の画像フレーム１１０ｂ（例えば、画像フレーム３０２）の（スーパーピクセルの組３１０ａなどの）第２のスーパーピクセルの組の第２の接続性グラフを構築することもできる。第１の接続性グラフ及び第２の接続性グラフに基づいて、多関節オブジェクト１１２の少なくとも一部（又はパーツ）が静止している（例えば、オブジェクトの一部又は全部が動きを止めることができる）第２の動作状態にある多関節オブジェクト１１２の完全なオブジェクトマスクを生成することができる。
【誤訳訂正３４】
【訂正対象書類名】図面
【訂正対象項目名】図４Ａ
【訂正方法】変更
【訂正の内容】
【図４Ａ】
2019160299.tif 000001
【誤訳訂正３５】
【訂正対象書類名】図面
【訂正対象項目名】図４Ｂ
【訂正方法】変更
【訂正の内容】
【図４Ｂ】
2019160299.tif 000002
【誤訳訂正３６】
【訂正対象書類名】図面
【訂正対象項目名】図４Ｃ
【訂正方法】変更
【訂正の内容】
【図４Ｃ】
2019160299.tif 000003