(57)【要約】      （修正有）【課題】非定型的で変形可能な対象客体に対するビジュアルトラッキングに吸収マルコフ連鎖を適用する単純かつ新しく強力なセグメンテーションによるトラッキングアルゴリズムとフレームワークを提供する。【解決手段】現在のフレーム上の対象客体を含むバウンディングボックスと以前のフレームにある対象客体に対するセグメンテーション結果を獲得し、対象客体を囲む背景に対する情報の一部を含むようにバウンディングボックスを拡大して現在のフレーム上のＲＯＩを獲得し、現在のフレーム上のＲＯＩ内にあるローカル領域に対する情報を獲得し、現在のフレームと以前のフレームの双方のＲＯＩ内のローカル領域を用いて吸収マルコフ連鎖グラフを構成し、吸収回数を用いて吸収マルコフ連鎖グラフの各ノードの閾値を定めて現在のフレーム上の対象客体に対するセグメンテーション結果を獲得する、吸収マルコフ連鎖を用い動画データフレームの対象客体を追跡する。【選択図】図５Ａ
2019067404.tif 000002
【特許請求の範囲】
【請求項１】
吸収マルコフ連鎖を用いて動画データフレームで対象客体を追跡する方法において、
（ａ）コンピューティング装置が、現在のフレーム上の対象客体を含むバウンディングボックスと以前のフレームにある前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援する段階；
（ｂ）前記コンピューティング装置が、前記対象客体を囲んだ背景に対する情報の一部を含むように前記バウンディングボックスを拡大して前記現在のフレーム上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）を獲得するか獲得するように支援する段階；
（ｃ）前記コンピューティング装置が、前記現在のフレーム上の前記ＲＯＩ内にあるいくつかのローカル領域に対する情報を獲得するか獲得するように支援する段階；
（ｄ）前記コンピューティング装置が、前記現在のフレームにある前記ＲＯＩ内の前記ローカル領域と前記以前のフレームにあるＲＯＩ内のローカル領域のうち少なくとも一部を用いて吸収マルコフ連鎖グラフを構成するか構成するように支援する段階；及び
（ｅ）前記コンピューティング装置が、吸収回数を用いて前記吸収マルコフ連鎖グラフ内の各ノードの閾値を定めて前記現在のフレーム上の前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援する段階；
を含み、
前記吸収マルコフ連鎖グラフは（ｉ）前記以前のフレームにある前記ＲＯＩ内の背景情報を含むローカル領域に該当される吸収（ａｂｓｏｒｂｉｎｇ）ノードセットと（ｉｉ）前記現在のフレームにある前記ＲＯＩ内の前記ローカル領域及び前記以前のフレームにある前記ＲＯＩ内の前記対象客体に対する前記セグメンテーション結果と関連したローカル領域に該当される一時（ｔｒａｎｓｉｅｎｔ）ノードセットから構成された二つのノード部分集合を含み、
前記吸収マルコフ連鎖グラフはイントラフレームエッジセットとインタフレームエッジセットから構成された二つのエッジ部分集合を含み、
前記各ノードから任意の吸収ノードまでの段階数であるノードの吸収回数が各ノード別に存在することを特徴とする方法。
【請求項２】
前記（ｄ）段階以前に、
前記コンピューティング装置は前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域各々のオリジナルフィーチャーと前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域各々のオリジナルフィーチャーを、前記オリジナルフィーチャーの特性を参照して決定される特定の演算を遂行して、エンベデッド空間に投影するか投影するように支援する段階；
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記コンピューティング装置は少なくとも一つのリグレッサで回帰を用いて前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域各々の前記オリジナルフィーチャーと前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域各々の前記オリジナルフィーチャーを投影するか投影するように支援することを特徴とする請求項２に記載の方法。
【請求項４】
前記（ｄ）段階は、
（ｄ−１）前記コンピューティング装置が前記少なくとも一つのリグレッサを通じて前記現在のフレーム上の前記ＲＯＩと前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域の各投影されたフィーチャーを用いて獲得された前記吸収マルコフ連鎖グラフ内の各ノードと関連した各回帰スコアを獲得するか獲得するように支援する段階；
（ｄ−２）前記コンピューティング装置が前記吸収マルコフ連鎖グラフ内の各ノードのうち選択されて互いに連結された二つのノードと各々関連した各回帰スコア間の類似度を算定するか算定するように支援して前記吸収マルコフ連鎖グラフ上の各エッジに対応される重み付け値を得る段階；
（ｄ−３）前記コンピューティング装置が対応される重み付け値を基に前記各エッジに対する各遷移確率を算定するか算定するように支援する段階；及び
（ｄ−４）前記コンピューティング装置が前記吸収マルコフ連鎖グラフ内の前記各々のノードに対する各吸収回数を得るために前記（ｄ−３）段階で算定されたそれに対応される遷移確率を参照してランダムウォークで前記吸収マルコフ連鎖グラフをトラッキングするかトラッキングするように支援する段階；
を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記吸収マルコフ連鎖グラフ内の各々のノードには、
（ｉ）エッジ類型を基に選択された各々異なる係数のうち一つと（ｉｉ）前記吸収マルコフ連鎖グラフ内の前記エッジ各々に対応される重み付け値を反復的に掛けて得られた調整されたエッジ重み付け値を基準に獲得した、ランダムウォーカーが前記各々の一時ノードを通過する回数を示す前記以前のフレーム上の前記対象客体に対するセグメンテーション結果に対応される前記一時ノード各々の各々修正された吸収回数が存在することを特徴とする請求項４に記載の方法。
【請求項６】
前記回帰スコアはサポートベクター回帰を適用して獲得することを特徴とし、ラベルは前記吸収マルコフ連鎖グラフ内の各々のノードのうち前景と決定されるノードの場合＋１と、背景と決定されるノードの場合−１と表示されることを特徴とする請求項４に記載の方法。
【請求項７】
前記少なくとも一つのリグレッサは前景を示すノードセットと背景を示すノードセットでトレーニングされ、前景を示すセットに属する各ノードは前記以前のフレーム上の前記対象客体と前記ビデオデータの第１フレーム上の前記対象客体に対する前記セグメンテーション結果内の前記ローカル領域のうち一つに対応され、背景を示すノートセットに属する各ノードは前記以前のフレームと前記第１フレーム上の前記対象客体に対する前記セグメンテーション結果と関連がないローカル領域のうち一つに対応されることを特徴とする請求項６に記載の方法。
【請求項８】
前記背景を示すノードセットは前記現在のフレームと前記以前のフレーム上の前記ＲＯＩの境界面にあるローカル領域に対応されるノードをさらに含む請求項７に記載の方法。
【請求項９】
前記（ｅ）段階以後、
（ｆ）前記コンピューティング装置は前記吸収マルコフ連鎖グラフ上の特定の数のホップ（ｈｏｐ）内に前記一時ノードの多数の連結構成要素を獲得するか獲得するように支援する段階；
（ｇ）前記コンピューティング装置は前記多数の連結構成要素のうち一つの連結構成要素を選択するか選択するように支援し、前記選択された一つの連結構成要素は前記現在のフレーム上の対象客体に対する全体的形状モデルに最も類似する連結構成要素である段階；及び
（ｈ）前記コンピューティング装置は前記選択された一つの連結構成要素を用いて前記現在のフレーム上の前記対象客体に対して前記セグメンテーション結果を調整するか調整を支援して調整されたトラッキング結果とそれに対応されるトラッキングボックスを獲得する段階；
をさらに含む請求項１に記載の方法。
【請求項１０】
前記（ｄ）段階以前に、
前記コンピューティング装置は前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域と前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域各々の各オリジナルフィーチャーの特徴を参照して決定される特定の演算を遂行して前記各オリジナルフィーチャーをエンベデッド空間に投影するか投影するように支援する段階；
をさらに含む請求項９に記載の方法。
【請求項１１】
前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域と前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域各々の前記各オリジナルフィーチャーはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を通じて獲得されることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記（ｅ）段階で、
前記コンピューティング装置は前記吸収マルコフ連鎖グラフ内の各々のノードの吸収回数を用いて前記ノードを閾値化後、セグメンテーションマスクをさらに獲得するか獲得するように支援することを特徴とする請求項１に記載の方法。
【請求項１３】
前記現在のフレーム上の前記対象客体を含むバウンディングボックスは前記以前のフレーム上の前記対象客体に対する前記セグメンテーション結果を変形し、変形された結果を含む最もタイトなバウンディングボックスを見つけて獲得されることを特徴とする請求項１に記載の方法。
【請求項１４】
前記（ｅ）段階で、
前記各々のノードは少なくとも前記現在のフレーム上の前記ＲＯＩ内の一時ノードの少なくとも一部の吸収回数を用いて決定される閾値を基に閾値化することを特徴とする請求項１に記載の方法。
【請求項１５】
前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域及び前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域はスーパーピクセルセグメンテーションアルゴリズムを用いてピクセルをスーパーピクセルにクラスタリングして獲得されることを特徴とする請求項１に記載の方法。
【請求項１６】
前記コンピューティング装置が前記ビデオデータの第１フレームである場合、初期セグメンテーションマスクを獲得するか獲得するように支援することを特徴とする請求項１に記載の方法。
【請求項１７】
前記初期セグメンテーションマスクは前記（ｄ）段階で前記吸収マルコフ連鎖グラフを獲得するのに用いられるイントラフレームエッジだけある初期吸収マルコフ連鎖グラフの各ノードの吸収回数を閾値を設定して得るが、前記初期吸収マルコフ連鎖グラフの一時ノードは特定の比率以上で前記第１フレーム上の前記対象客体の初期ＧＴバウンディングボックスと重複されるローカル領域によって決定され、前記初期吸収マルコフ連鎖グラフの吸収ノードは前記初期吸収マルコフ連鎖グラフの一時ノードと決定されていない前記第１フレーム上の前記ＲＯＩ内のローカル領域によって決定されることを特徴とする請求項１６に記載の方法。
【請求項１８】
（ｉ）前記コンピューティング装置は一連のトラッキング結果を得るために前記現在のフレーム上の前記対象客体に対する前記セグメンテーション結果を再帰的方式で後続フレームに伝達するか伝達するようにする段階；
をさらに含む請求項１に記載の方法。
【請求項１９】
吸収マルコフ連鎖を用いてイメージ上の対象客体をセグメンテーションする方法で、
（ａ）コンピューティング装置が前記イメージ上の前記対象客体を含むバウンディングボックスを獲得するか獲得するように支援する段階；
（ｂ）前記コンピューティング装置が前記対象客体を囲んだ背景に対する情報の一部を含むように前記バウンディングボックスを拡大して前記イメージ上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）を獲得するか獲得するように支援する段階；
（ｃ）前記コンピューティング装置が前記イメージ上の前記ＲＯＩ内のいくつかのローカル領域に対する情報を獲得するか獲得するように支援する段階；
（ｄ）前記コンピューティング装置が前記イメージ上の前記ＲＯＩ内の前記ローカル領域のうち少なくとも一部を用いて吸収マルコフ連鎖グラフを構成するか構成するように支援する段階；及び
（ｅ）前記コンピューティング装置が吸収回数を用いて前記吸収マルコフ連鎖グラフ内の各ノードの閾値を定めて前記イメージ上の前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援する段階；
を含み、
前記吸収マルコフ連鎖グラフには（ｉ）前記イメージ上の特定の比率以上前記バウンディングボックスと重複されるローカル領域に該当される一時（ｔｒａｎｓｉｅｎｔ）ノードセットと（ｉｉ）前記一時ノードと決定されていない前記イメージ上の前記ＲＯＩ内のローカル領域の一部に該当される吸収（ａｂｓｏｒｂｉｎｇ）ノードセットから構成された二つのノード部分集合を含み、
前記吸収マルコフ連鎖グラフ上の（ｉ）前記一時ノード及び（ｉｉ）前記吸収ノード各々は他の吸収ノードまでの段階数である吸収回数が各々存在することを特徴とする方法。
【請求項２０】
前記（ｄ）段階以前に、
前記コンピューティング装置は前記イメージ上の前記ＲＯＩ内の前記ローカル領域各々のオリジナルフィーチャーを、前記オリジナルフィーチャーの特性を参照して決定される特定の演算を遂行して、エンベデッド空間に投影するか投影するように支援する段階；
をさらに含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記コンピューティング装置は少なくとも一つのリグレッサで回帰を用いて前記イメージ上の前記ＲＯＩ内の前記ローカル領域各々の前記オリジナルフィーチャーを投影するか投影するように支援することを特徴とする請求項２０に記載の方法。
【請求項２２】
前記（ｅ）段階以後、
（ｆ）前記コンピューティング装置は前記吸収マルコフ連鎖グラフ上の特定の数のホップ（ｈｏｐ）内に前記一時ノードの多数の連結構成要素を獲得するか獲得するように支援する段階；
（ｇ）前記コンピューティング装置は前記多数の連結構成要素のうち一つの連結構成要素を選択するか選択するように支援し、前記選択された一つの連結構成要素は前記イメージ上の対象客体に対する全体的形状モデルに最も類似する連結構成要素である段階；及び
（ｈ）前記コンピューティング装置は前記選択された一つの連結構成要素を用いて前記イメージ上の前記対象客体に対して前記セグメンテーション結果を調整するか調整を支援して調整されたセグメンテーション結果とそれに対応されるトラッキングボックスを獲得する段階；
をさらに含む請求項１９に記載の方法。
【請求項２３】
吸収マルコフ連鎖を用いて動画データフレームで対象客体を追跡するコンピューティング装置において、
前記動画データを獲得するための通信部及び
（ｉ）前記動画データ内の現在のフレーム上の対象客体を含むバウンディングボックスと前記動画データ内の以前のフレームにある前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援するプロセス；（ｉｉ）前記対象客体を囲んだ背景に対する情報の一部を含むように前記バウンディングボックスを拡大して前記現在のフレーム上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）を獲得するか獲得するように支援するプロセス；（ｉｉｉ）前記現在のフレーム上の前記ＲＯＩ内にあるいくつかのローカル領域に対する情報を獲得するか獲得するように支援するプロセス；（ｉｖ）前記現在のフレームにある前記ＲＯＩ内の前記ローカル領域と前記以前のフレームにあるＲＯＩ内のローカル領域のうち少なくとも一部を用いて吸収マルコフ連鎖グラフを構成するか構成するように支援するプロセス；及び（ｖ）吸収回数を用いて前記吸収マルコフ連鎖グラフ内の各ノードの閾値を定めて前記現在のフレーム上の前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援するプロセス；を遂行するプロセッサを含み、
前記吸収マルコフ連鎖グラフは（ｉ）前記以前のフレームにある前記ＲＯＩ内の背景情報を含むローカル領域に該当される吸収（ａｂｓｏｒｂｉｎｇ）ノードセットと（ｉｉ）前記現在のフレームにある前記ＲＯＩ内の前記ローカル領域及び前記以前のフレームにある前記ＲＯＩ内の前記対象客体に対する前記セグメンテーション結果と関連したローカル領域に該当される一時（ｔｒａｎｓｉｅｎｔ）ノードセットから構成された二つのノード部分集合を含み、
前記吸収マルコフ連鎖グラフはイントラフレームエッジセットとインタフレームエッジセットから構成された二つのエッジ部分集合を含み、
前記各ノードから任意の吸収ノードまでの段階数であるノードの吸収回数が各ノード別に存在することを特徴とするコンピューティング装置。
【請求項２４】
前記（ｉｖ）プロセス以前に、
前記プロセッサは前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域各々のオリジナルフィーチャーと前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域各々のオリジナルフィーチャーを、前記オリジナルフィーチャーの特性を参照して決定される特定の演算を遂行して、エンベデッド空間に投影するか投影するように支援するプロセス；
をさらに遂行することを特徴とする請求項２３に記載のコンピューティング装置。
【請求項２５】
前記プロセッサは少なくとも一つのリグレッサで回帰を用いて前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域各々の前記オリジナルフィーチャーと前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域各々の前記オリジナルフィーチャーを投影するか投影するように支援することを特徴とする請求項２４に記載のコンピューティング装置。
【請求項２６】
前記プロセッサは、前記（ｉｖ）プロセスで、
（ｉｖ−１）前記少なくとも一つのリグレッサを通じて前記現在のフレーム上の前記ＲＯＩと前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域の各投影されたフィーチャーを用いて獲得された前記吸収マルコフ連鎖グラフ内の各ノードと関連した各回帰スコアを獲得するか獲得するように支援するプロセス；
（ｉｖ−２）前記吸収マルコフ連鎖グラフ内の各ノードのうち選択されて互いに連結された二つのノードと各々関連した各回帰スコア間の類似度を算定するか算定するように支援して前記吸収マルコフ連鎖グラフ上の各エッジに対応される重み付け値を得るプロセス；
（ｉｖ−３）対応される重み付け値を基に前記各エッジに対する各遷移確率を算定するか算定するように支援するプロセス；及び
（ｉｖ−４）前記吸収マルコフ連鎖グラフ内の前記各々のノードに対する各吸収回数を得るために前記（ｉｖ−３）プロセスで算定されたそれに対応される遷移確率を参照してランダムウォークで前記吸収マルコフ連鎖グラフをトラッキングするかトラッキングするように支援するプロセス；
をさらに遂行することを特徴とする請求項２５に記載のコンピューティング装置。
【請求項２７】
前記プロセッサは、前記（ｖ）プロセス以後、
（ｖｉ）前記吸収マルコフ連鎖グラフ上の特定の数のホップ（ｈｏｐ）内に前記一時ノードの多数の連結構成要素を獲得するか獲得するように支援するプロセス；
（ｖｉｉ）前記多数の連結構成要素のうち一つの連結構成要素を選択するか選択するように支援し、前記選択された一つの連結構成要素は前記現在のフレーム上の対象客体に対する全体的形状モデルに最も類似する連結構成要素であるプロセス；及び
（ｖｉｉｉ）前記選択された一つの連結構成要素を用いて前記現在のフレーム上の前記対象客体に対して前記セグメンテーション結果を調整するか調整を支援して調整されたトラッキング結果とそれに対応されるトラッキングボックスを獲得するプロセス；
をさらに含む請求項２３に記載のコンピューティング装置。
【請求項２８】
吸収マルコフ連鎖（ＡＭＣ）を用いてイメージ上の対象客体をセグメンテーションするコンピューティング装置で、
前記イメージを獲得するための通信部；
（ｉ）前記イメージ上の前記対象客体を含むバウンディングボックスを獲得するか獲得するように支援するプロセス；
（ｉｉ）前記対象客体を囲んだ背景に対する情報の一部を含むように前記バウンディングボックスを拡大して前記イメージ上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）を獲得するか獲得するように支援するプロセス；
（ｉｉｉ）前記イメージ上の前記ＲＯＩ内のいくつかのローカル領域に対する情報を獲得するか獲得するように支援するプロセス；
（ｖｉ）前記イメージ上の前記ＲＯＩ内の前記ローカル領域のうち少なくとも一部を用いて吸収マルコフ連鎖グラフを構成するか構成するように支援するプロセス；及び
（ｖ）吸収回数を用いて前記吸収マルコフ連鎖グラフ内の各ノードの閾値を定めて前記イメージ上の前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援するプロセス；
を遂行するプロセッサ；を含み、
前記吸収マルコフ連鎖グラフには（ｉ）前記イメージ上の特定の比率以上前記バウンディングボックスと重複されるローカル領域に該当される一時（ｔｒａｎｓｉｅｎｔ）ノードセットと（ｉｉ）前記一時ノードと決定されていない前記イメージ上の前記ＲＯＩ内のローカル領域の一部に該当される吸収（ａｂｓｏｒｂｉｎｇ）ノードセットから構成された二つのノード部分集合を含み、
前記吸収マルコフ連鎖グラフ上の（ｉ）前記一時ノード及び（ｉｉ）前記吸収ノード各々は他の吸収ノードまでの段階数である吸収回数が各々存在することを特徴とするコンピューティング装置。
【請求項２９】
前記（ｉｖ）プロセス以前に、
前記プロセッサは前記イメージ上の前記ＲＯＩ内の前記ローカル領域各々のオリジナルフィーチャーを、前記オリジナルフィーチャーの特性を参照して決定される特定の演算を遂行して、エンベデッド空間に投影するか投影するように支援するプロセス；
をさらに遂行することを特徴とする請求項２８に記載のコンピューティング装置。
【請求項３０】
前記プロセッサは、前記（ｖ）プロセス以後、
（ｖｉ）前記吸収マルコフ連鎖グラフ上の特定の数のホップ（ｈｏｐ）内に前記一時ノードの多数の連結構成要素を獲得するか獲得するように支援するプロセス；
（ｖｉｉ）前記多数の連結構成要素のうち一つの連結構成要素を選択するか選択するように支援し、前記選択された一つの連結構成要素は前記イメージ上の対象客体に対する全体的形状モデルに最も類似する連結構成要素であるプロセス；及び
（ｖｉｉｉ）前記選択された一つの連結構成要素を用いて前記イメージ上の前記対象客体に対して前記セグメンテーション結果を調整するか調整を支援して調整されたセグメンテーション結果とそれに対応されるトラッキングボックスを獲得するプロセス；
をさらに遂行する請求項２９に記載のコンピューティング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は吸収マルコフ連鎖（ＡＭＣ；Ａｂｓｏｒｂｉｎｇ  Ｍａｒｋｏｖ  Ｃｈａｉｎ）を用いたビデオデータのフレーム上の対象客体（オブジェクト）を追跡する方法及び装置に関する。具体的には（ａ）コンピューティング装置が、現在のフレーム上の対象客体を含むバウンディングボックスと以前のフレームにある前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援する段階；（ｂ）前記コンピューティング装置が、前記対象客体を囲んだ背景に対する情報の一部を含むように前記バウンディングボックスを拡大して前記現在のフレーム上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）を獲得するか獲得するように支援する段階；（ｃ）前記コンピューティング装置が、前記現在のフレーム上の前記ＲＯＩ内にあるいくつかのローカル領域に対する情報を獲得するか獲得するように支援する段階；（ｄ）前記コンピューティング装置が、前記現在のフレームにある前記ＲＯＩ内の前記ローカル領域と前記以前のフレームにあるＲＯＩ内のローカル領域のうち少なくとも一部を用いて吸収マルコフ連鎖グラフを構成するか構成するように支援する段階；及び（ｅ）前記コンピューティング装置が、吸収回数を用いて前記吸収マルコフ連鎖グラフ内の各ノードの閾値を定めて前記現在のフレーム上の前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援する段階；を含み、前記吸収マルコフ連鎖グラフは（ｉ）前記以前のフレームにある前記ＲＯＩ内の背景情報を含むローカル領域に該当される吸収（ａｂｓｏｒｂｉｎｇ）ノードセットと（ｉｉ）前記現在のフレームにある前記ＲＯＩ内の前記ローカル領域及び前記以前のフレームにある前記ＲＯＩ内の前記対象客体に対する前記セグメンテーション結果と関連したローカル領域に該当される一時（ｔｒａｎｓｉｅｎｔ）ノードセットから構成された二つのノード部分集合を含み、前記吸収マルコフ連鎖グラフはイントラフレームエッジセットとインタフレームエッジセットから構成された二つのエッジ部分集合を含み、前記各ノードから任意の吸収ノードまでの段階数であるノードの吸収回数が各ノード別に存在することを特徴とする吸収マルコフ連鎖（ＡＭＣ；Ａｂｓｏｒｂｉｎｇ  Ｍａｒｋｏｖ  Ｃｈａｉｎ）を用いたビデオデータのフレーム上の対象客体を追跡する方法及び装置に関する。
【背景技術】
【０００２】
多様なビジュアルトラッキングアルゴリズムが考案されて多様な分野に適用されてきた。トラッキング対象の形状は相当な変化に関与するようになり、例外を処理するために高いレベルの場面に対する理解が必要な時があるため、ビジュアルトラッキングは高難易度の作業である。
【０００３】
検出によるトラッキングアルゴリズムはそのような高難易度の作業を処理する一般的な方式のうち一つとして、これは典型的に対象客体を表示するバウンディングボックスにより左右される。しかし、対象客体が実質的な非定型または関節動作と関連された場合、検出によるトラッキングは時々ドリフト問題に悩まされる。
【０００４】
最近ではピクセルレベルの情報にのみ依存するセグメンテーションによるトラッキングアルゴリズムが活発に提示された。しかし、このように提示されたアルゴリズムは対象客体の意味構造をモデリングするには充分でなく、このうち一部はグラブカットのような外部セグメンテーションアルゴリズムを活用する。
【０００５】
結果的に、非定型的で変形可能な対象客体を処理する中間レベルのキューを適用したビジュアルトラッキング技術が提案された。例えば、ビジュアルトラッキング技術のうち一つは対象客体に対する最適の状態を見つけるために平均点移動クラスタリングと粒子フィルタリングを統合して分別的形状モデリングのためのスーパーピクセルを使用する。また、他のビジュアルトラッキング技術は対象客体の非定型的変形を処理するためにスーパーピクセルを基にしたコンステレーションモデルを適用している。
【０００６】
しかし、上で言及した前記二つのビジュアルトラッキング技術は独自に各々のスーパーピクセルを前景や背景に分類するため、意味関係を見つけるのに脆弱な場合もある。上で言及したかかる二つの技術の限界を克服するために、ピクセルとスーパーピクセル及びバウンディングボックスなど多数の量子化レベルを用いた対象客体の形状に対する階層的表現を基にした技術が提示された。
【０００７】
また、３個の各々異なるレベルで得られた情報を活用した適応可能なクラスタされた決定ツリーを維持して動的な多段階形状モデリングを用いたまた他のトラッキング技術も提示された。しかし、この二つの技術はグラブカットなど外部セグメンテーションアルゴリズムを必要とする。
【０００８】
このようにすべての既存方式やアルゴリズムは上で言及した問題を有している。
【０００９】
従って、本発明の明細書では吸収マルコフ連鎖を用いたフレームワークを有する新しいセグメンテーションによるトラッキングアルゴリズムを提案する。
【００１０】
特に、吸収マルコフ連鎖を利用して考案したアルゴリズムは非定型的動作と関節動作をする対象客体を追跡するのに適している。初期セグメンテーションマスクだけでなく、対象客体に対するセグメンテーションは考案されたフレームワーク内で自然に得られる。
【００１１】
考案されたアルゴリズムは距離学習よりさらに効果的に対象客体のフィーチャーを区別する投影演算の結果を基に前景と背景を正確に区分する。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は上述した問題点をすべて解決することを目的とする。
【００１３】
また、本発明は非定型的で変形可能な対象客体に対するビジュアルトラッキングに吸収マルコフ連鎖を適用する単純かつ新しく強力なセグメンテーションによるトラッキングアルゴリズムとフレームワークを提供することを他の目的とする。
【００１４】
また、本発明はエンベデッド空間内の超平面上に対象客体のフィーチャーを投影して高い正確度で対象客体を追跡して分割することをまた他の目的とする。
【００１５】
最新セグメンテーションを基にトラッキングアルゴリズムと比較して実質的な性能向上を成就することをまた他の目的とする。
【課題を解決するための手段】
【００１６】
本発明の一態様によれば、吸収マルコフ連鎖を用いて動画データフレームで対象客体を追跡する方法は、（ａ）コンピューティング装置が、現在のフレーム上の対象客体を含むバウンディングボックスと以前のフレームにある前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援する段階；（ｂ）前記コンピューティング装置が、前記対象客体を囲んだ背景に対する情報の一部を含むように前記バウンディングボックスを拡大して前記現在のフレーム上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）を獲得するか獲得するように支援する段階；（ｃ）前記コンピューティング装置が、前記現在のフレーム上の前記ＲＯＩ内にあるいくつかのローカル領域に対する情報を獲得するか獲得するように支援する段階；（ｄ）前記コンピューティング装置が、前記現在のフレームにある前記ＲＯＩ内の前記ローカル領域と前記以前のフレームにあるＲＯＩ内のローカル領域のうち少なくとも一部を用いて吸収マルコフ連鎖グラフを構成するか構成するように支援する段階；及び（ｅ）前記コンピューティング装置が、吸収回数を用いて前記吸収マルコフ連鎖グラフ内の各ノードの閾値を定めて前記現在のフレーム上の前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援する段階；を含み、前記吸収マルコフ連鎖グラフは（ｉ）前記以前のフレームにある前記ＲＯＩ内の背景情報を含むローカル領域に該当される吸収（ａｂｓｏｒｂｉｎｇ）ノードセットと（ｉｉ）前記現在のフレームにある前記ＲＯＩ内の前記ローカル領域及び前記以前のフレームにある前記ＲＯＩ内の前記対象客体に対する前記セグメンテーション結果と関連したローカル領域に該当される一時（ｔｒａｎｓｉｅｎｔ）ノードセットから構成された二つのノード部分集合を含み、前記吸収マルコフ連鎖グラフはイントラフレームエッジセットとインタフレームエッジセットから構成された二つのエッジ部分集合を含み、前記各で任意の吸収ノードまでの段階数であるノードの吸収回数が各ノード別に存在することを特徴とする方法が提供される。
【００１７】
一例として、前記（ｄ）段階以前に、前記コンピューティング装置は前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域各々のオリジナルフィーチャーと前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域各々のオリジナルフィーチャーを、前記オリジナルフィーチャーの特性を参照して決定される特定の演算を遂行して、エンベデッド空間に投影するか投影するように支援する段階；をさらに含むことを特徴とする方法が提供される。
【００１８】
一例として、前記コンピューティング装置は少なくとも一つのリグレッサで回帰を用いて前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域各々の前記オリジナルフィーチャーと前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域各々の前記オリジナルフィーチャーを投影するか投影するように支援することを特徴とする方法が提供される。
【００１９】
一例として、前記（ｄ）段階は（ｄ−１）前記コンピューティング装置が前記少なくとも一つのリグレッサを通じて前記現在のフレーム上の前記ＲＯＩと前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域の各投影されたフィーチャーを用いて獲得された前記吸収マルコフ連鎖グラフ内の各ノードと関連した各回帰スコアを獲得するか獲得するように支援する段階；（ｄ−２）前記コンピューティング装置が前記吸収マルコフ連鎖グラフ内の各ノードのうち選択されて互いに連結された二つのノードと各々関連した各回帰スコア間の類似度を算定するか算定するように支援して前記吸収マルコフ連鎖グラフ上の各エッジに対応される重み付け値を得る段階；（ｄ−３）前記コンピューティング装置が対応される重み付け値を基に前記各エッジに対する各遷移確率を算定するか算定するように支援する段階；及び（ｄ−４）前記コンピューティング装置が前記吸収マルコフ連鎖グラフ内の前記各々のノードに対する各吸収回数を得るために前記（ｄ−３）段階で算定されたそれに対応される遷移確率を参照してランダムウォークで前記吸収マルコフ連鎖グラフをトラッキングするかトラッキングするように支援する段階；を含むことを特徴とする方法が提供される。
【００２０】
一例として、前記吸収マルコフ連鎖グラフ内の各々のノードには（ｉ）エッジ類型を基に選択された各々異なる係数のうち一つと（ｉｉ）前記吸収マルコフ連鎖グラフ内の前記エッジ各々に対応される重み付け値を反復的に掛けて得られた調整されたエッジ重み付け値を基準に獲得した、ランダムウォーカーが前記各々の一時ノードを通過する回数を示す前記以前のフレーム上の前記対象客体に対するセグメンテーション結果に対応される前記一時ノード各々の各々修正された吸収回数が存在することを特徴とする方法が提供される。
【００２１】
一例として、前記回帰スコアはサポートベクター回帰を適用して獲得することを特徴とし、ラベルは前記吸収マルコフ連鎖グラフ内の各々のノードのうち前景と決定されるノードの場合＋１と、背景と決定されるノードの場合−１と表示されることを特徴とする方法が提供される。
【００２２】
一例として、前記少なくとも一つのリグレッサは前景を示すノードセットと背景を示すノードセットでトレーニングされ、前景を示すセットに属する各ノードは前記以前のフレーム上の前記対象客体と前記ビデオデータの第１フレーム上の前記対象客体に対する前記セグメンテーション結果内の前記ローカル領域のうち一つに対応され、背景を示すノートセットに属する各ノードは前記以前のフレームと前記第１フレーム上の前記対象客体に対する前記セグメンテーション結果と関連がないローカル領域のうち一つに対応されることを特徴とする方法が提供される。
【００２３】
一例として、前記背景を示すノードセットは前記現在のフレームと前記以前のフレーム上の前記ＲＯＩの境界面にあるローカル領域に対応されるノードをさらに含む方法が提供される。
【００２４】
一例として、前記（ｅ）段階以後、（ｆ）前記コンピューティング装置は前記吸収マルコフ連鎖グラフ上の特定の数のホップ（ｈｏｐ）内に前記一時ノードの多数の連結構成要素を獲得するか獲得するように支援する段階；（ｇ）前記コンピューティング装置は前記多数の連結構成要素のうち一つの連結構成要素を選択するか選択するように支援し、前記選択された一つの連結構成要素は前記現在のフレーム上の対象客体に対する全体的形状モデルに最も類似する連結構成要素である段階；及び（ｈ）前記コンピューティング装置は前記選択された一つの連結構成要素を用いて前記現在のフレーム上の前記対象客体に対して前記セグメンテーション結果を調整するか調整を支援して調整されたトラッキング結果とそれに対応されるトラッキングボックスを獲得する段階；をさらに含む方法が提供される。
【００２５】
一例として、前記（ｄ）段階以前に、前記コンピューティング装置は前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域と前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域各々の各オリジナルフィーチャーの特徴を参照して決定される特定の演算を遂行して前記各オリジナルフィーチャーをエンベデッド空間に投影するか投影するように支援する段階；をさらに含む方法が提供される。
【００２６】
一例として、前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域と前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域各々の前記各オリジナルフィーチャーはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を通じて獲得されることを特徴とする方法が提供される。
【００２７】
一例として、前記（ｅ）段階で、前記コンピューティング装置は前記吸収マルコフ連鎖グラフ内の各々のノードの吸収回数を用いて前記ノードを閾値化後、セグメンテーションマスクをさらに獲得するか獲得するように支援することを特徴とする方法が提供される。
【００２８】
一例として、前記現在のフレーム上の前記対象客体を含むバウンディングボックスは前記以前のフレーム上の前記対象客体に対する前記セグメンテーション結果を変形し、変形された結果を含む最もタイトなバウンディングボックスを見つけて獲得されることを特徴とする方法が提供される。
【００２９】
一例として、前記（ｅ）段階で、前記各々のノードは少なくとも前記現在のフレーム上の前記ＲＯＩ内の一時ノードの少なくとも一部の吸収回数を用いて決定される閾値を基に閾値化することを特徴とする方法が提供される。
【００３０】
一例として、前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域及び前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域はスーパーピクセルセグメンテーションアルゴリズムを用いてピクセルをスーパーピクセルにクラスタリングして獲得されることを特徴とする方法が提供される。
【００３１】
一例として、前記コンピューティング装置が前記ビデオデータの第１フレームである場合、初期セグメンテーションマスクを獲得するか獲得するように支援することを特徴とする方法が提供される。
【００３２】
一例として、前記初期セグメンテーションマスクは前記（ｄ）段階で前記吸収マルコフ連鎖グラフを獲得するのに用いられるイントラフレームエッジだけある初期吸収マルコフ連鎖グラフの各ノードの吸収回数を閾値を設定して得るが、前記初期吸収マルコフ連鎖グラフの一時ノードは特定の比率以上で前記第１フレーム上の前記対象客体の初期ＧＴバウンディングボックスと重複されるローカル領域によって決定され、前記初期吸収マルコフ連鎖グラフの吸収ノードは前記初期吸収マルコフ連鎖グラフの一時ノードと決定されていない前記第１フレーム上の前記ＲＯＩ内のローカル領域によって決定されることを特徴とする方法が提供される。
【００３３】
一例として、（ｉ）前記コンピューティング装置は一連のトラッキング結果を得るために前記現在のフレーム上の前記対象客体に対する前記セグメンテーション結果を再帰的方式で後続フレームに伝達するか伝達するようにする段階；をさらに含む方法が提供される。
【００３４】
本発明の他の態様によれば、吸収マルコフ連鎖を用いてイメージ上の対象客体をセグメンテーションする方法は、（ａ）コンピューティング装置が前記イメージ上の前記対象客体を含むバウンディングボックスを獲得するか獲得するように支援する段階；（ｂ）前記コンピューティング装置が前記対象客体を囲んだ背景に対する情報の一部を含むように前記バウンディングボックスを拡大して前記イメージ上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）を獲得するか獲得するように支援する段階；（ｃ）前記コンピューティング装置が前記イメージ上の前記ＲＯＩ内のいくつかのローカル領域に対する情報を獲得するか獲得するように支援する段階；（ｄ）前記コンピューティング装置が前記イメージ上の前記ＲＯＩ内の前記ローカル領域のうち少なくとも一部を用いて吸収マルコフ連鎖グラフを構成するか構成するように支援する段階；及び（ｅ）前記コンピューティング装置が吸収回数を用いて前記吸収マルコフ連鎖グラフ内の各ノードの閾値を定めて前記イメージ上の前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援する段階；を含み、前記吸収マルコフ連鎖グラフには（ｉ）前記イメージ上の特定の比率以上前記バウンディングボックスと重複されるローカル領域に該当される一時（ｔｒａｎｓｉｅｎｔ）ノードセットと（ｉｉ）前記一時ノードと決定されていない前記イメージ上の前記ＲＯＩ内のローカル領域の一部に該当される吸収（ａｂｓｏｒｂｉｎｇ）ノードセットから構成された二つのノード部分集合を含み、前記吸収マルコフ連鎖グラフ上の（ｉ）前記一時ノード及び（ｉｉ）前記吸収ノード各々は他の吸収ノードまでの段階数である吸収回数が各々存在することを特徴とする方法が提供される。
【００３５】
一例として、前記（ｄ）段階以前に、前記コンピューティング装置は前記イメージ上の前記ＲＯＩ内の前記ローカル領域各々のオリジナルフィーチャーを、前記オリジナルフィーチャーの特性を参照して決定される特定の演算を遂行して、エンベデッド空間に投影するか投影するように支援する段階；をさらに含むことを特徴とする方法が提供される。
【００３６】
一例として、前記コンピューティング装置は少なくとも一つのリグレッサで回帰を用いて前記イメージ上の前記ＲＯＩ内の前記ローカル領域各々の前記オリジナルフィーチャーを投影するか投影するように支援することを特徴とする方法が提供される。
【００３７】
一例として、前記（ｅ）段階以後、（ｆ）前記コンピューティング装置は前記吸収マルコフ連鎖グラフ上の特定の数のホップ（ｈｏｐ）内に前記一時ノードの多数の連結構成要素を獲得するか獲得するように支援する段階；（ｇ）前記コンピューティング装置は前記多数の連結構成要素のうち一つの連結構成要素を選択するか選択するように支援し、前記選択された一つの連結構成要素は前記イメージ上の対象客体に対する全体的形状モデルに最も類似する連結構成要素である段階；及び（ｈ）前記コンピューティング装置は前記選択された一つの連結構成要素を用いて前記イメージ上の前記対象客体に対して前記セグメンテーション結果を調整するか調整を支援して調整されたセグメンテーション結果とそれに対応されるトラッキングボックスを獲得する段階；をさらに含む方法が提供される。
【００３８】
本発明のまた他の態様によれば、吸収マルコフ連鎖を用いて動画データフレームで対象客体を追跡するコンピューティング装置は、前記動画データを獲得するための通信部及び（ｉ）前記動画データ内の現在のフレーム上の対象客体を含むバウンディングボックスと前記動画データ内の以前のフレームにある前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援するプロセス；（ｉｉ）前記対象客体を囲んだ背景に対する情報の一部を含むように前記バウンディングボックスを拡大して前記現在のフレーム上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）を獲得するか獲得するように支援するプロセス；（ｉｉｉ）前記現在のフレーム上の前記ＲＯＩ内にあるいくつかのローカル領域に対する情報を獲得するか獲得するように支援するプロセス；（ｉｖ）前記現在のフレームにある前記ＲＯＩ内の前記ローカル領域と前記以前のフレームにあるＲＯＩ内のローカル領域のうち少なくとも一部を用いて吸収マルコフ連鎖グラフを構成するか構成するように支援するプロセス；及び（ｖ）吸収回数を用いて前記吸収マルコフ連鎖グラフ内の各ノードの閾値を定めて前記現在のフレーム上の前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援するプロセス；を遂行するプロセッサを含み、前記吸収マルコフ連鎖グラフは（ｉ）前記以前のフレームにある前記ＲＯＩ内の背景情報を含むローカル領域に該当される吸収（ａｂｓｏｒｂｉｎｇ）ノードセットと（ｉｉ）前記現在のフレームにある前記ＲＯＩ内の前記ローカル領域及び前記以前のフレームにある前記ＲＯＩ内の前記対象客体に対する前記セグメンテーション結果と関連したローカル領域に該当される一時（ｔｒａｎｓｉｅｎｔ）ノードセットから構成された二つのノード部分集合を含み、前記吸収マルコフ連鎖グラフはイントラフレームエッジセットとインタフレームエッジセットから構成された二つのエッジ部分集合を含み、前記各ノードから任意の吸収ノードまでの段階数であるノードの吸収回数が各ノード別に存在することを特徴とするコンピューティング装置が提供される。
【００３９】
一例として、前記（ｉｖ）プロセス以前に、前記プロセッサは前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域各々のオリジナルフィーチャーと前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域各々のオリジナルフィーチャーを、前記オリジナルフィーチャーの特性を参照して決定される特定の演算を遂行して、エンベデッド空間に投影するか投影するように支援するプロセス；をさらに遂行することを特徴とするコンピューティング装置が提供される。
【００４０】
一例として、前記プロセッサは少なくとも一つのリグレッサで回帰を用いて前記現在のフレーム上の前記ＲＯＩ内の前記ローカル領域各々の前記オリジナルフィーチャーと前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域各々の前記オリジナルフィーチャーを投影するか投影するように支援することを特徴とするコンピューティング装置が提供される。
【００４１】
一例として、前記プロセッサは、前記（ｉｖ）プロセスで、（ｉｖ−１）前記少なくとも一つのリグレッサを通じて前記現在のフレーム上の前記ＲＯＩと前記以前のフレーム上の前記ＲＯＩ内の前記ローカル領域の各投影されたフィーチャーを用いて獲得された前記吸収マルコフ連鎖グラフ内の各ノードと関連した各回帰スコアを獲得するか獲得するように支援するプロセス；（ｉｖ−２）前記吸収マルコフ連鎖グラフ内の各ノードのうち選択されて互いに連結された二つのノードと各々関連した各回帰スコア間の類似度を算定するか算定するように支援して前記吸収マルコフ連鎖グラフ上の各エッジに対応される重み付け値を得るプロセス；（ｉｖ−３）対応される重み付け値を基に前記各エッジに対する各遷移確率を算定するか算定するように支援するプロセス；及び（ｉｖ−４）前記吸収マルコフ連鎖グラフ内の前記各々のノードに対する各吸収回数を得るために前記（ｉｖ−３）プロセスで算定されたそれに対応される遷移確率を参照してランダムウォークで前記吸収マルコフ連鎖グラフをトラッキングするかトラッキングするように支援するプロセス；をさらに遂行することを特徴とするコンピューティング装置が提供される。
【００４２】
一例として、前記プロセッサは、前記（ｖ）プロセス以後、（ｖｉ）前記吸収マルコフ連鎖グラフ上の特定の数のホップ（ｈｏｐ）内に前記一時ノードの多数の連結構成要素を獲得するか獲得するように支援するプロセス；（ｖｉｉ）前記多数の連結構成要素のうち一つの連結構成要素を選択するか選択するように支援し、前記選択された一つの連結構成要素は前記現在のフレーム上の対象客体に対する全体的形状モデルに最も類似する連結構成要素であるプロセス；及び（ｖｉｉｉ）前記選択された一つの連結構成要素を用いて前記現在のフレーム上の前記対象客体に対して前記セグメンテーション結果を調整するか調整を支援して調整されたトラッキング結果とそれに対応されるトラッキングボックスを獲得するプロセス；をさらに含むコンピューティング装置が提供される。
【００４３】
本発明のまた他の態様によれば、吸収マルコフ連鎖（ＡＭＣ）を用いてイメージ上の対象客体をセグメンテーションするコンピューティング装置は、前記イメージを獲得するための通信部；（ｉ）前記イメージ上の前記対象客体を含むバウンディングボックスを獲得するか獲得するように支援するプロセス；（ｉｉ）前記対象客体を囲んだ背景に対する情報の一部を含むように前記バウンディングボックスを拡大して前記イメージ上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）を獲得するか獲得するように支援するプロセス；（ｉｉｉ）前記イメージ上の前記ＲＯＩ内のいくつかのローカル領域に対する情報を獲得するか獲得するように支援するプロセス；（ｖｉ）前記イメージ上の前記ＲＯＩ内の前記ローカル領域のうち少なくとも一部を用いて吸収マルコフ連鎖グラフを構成するか構成するように支援するプロセス；及び（ｖ）吸収回数を用いて前記吸収マルコフ連鎖グラフ内の各ノードの閾値を定めて前記イメージ上の前記対象客体に対するセグメンテーション結果を獲得するか獲得するように支援するプロセス；を遂行するプロセッサ；を含み、前記吸収マルコフ連鎖グラフには（ｉ）前記イメージ上の特定の比率以上前記バウンディングボックスと重複されるローカル領域に該当される一時（ｔｒａｎｓｉｅｎｔ）ノードセットと（ｉｉ）前記一時ノードと決定されていない前記イメージ上の前記ＲＯＩ内のローカル領域の一部に該当される吸収（ａｂｓｏｒｂｉｎｇ）ノードセットから構成された二つのノード部分集合を含み、前記吸収マルコフ連鎖グラフ上の（ｉ）前記一時ノード及び（ｉｉ）前記吸収ノード各々は他の吸収ノードまでの段階数である吸収回数が各々存在することを特徴とするコンピューティング装置が提供される。
【００４４】
一例として、 前記（ｉｖ）プロセス以前に、前記プロセッサは前記イメージ上の前記ＲＯＩ内の前記ローカル領域各々のオリジナルフィーチャーを、前記オリジナルフィーチャーの特性を参照して決定される特定の演算を遂行して、エンベデッド空間に投影するか投影するように支援するプロセス；をさらに遂行することを特徴とするコンピューティング装置が提供される。
【００４５】
一例として、前記プロセッサは、前記（ｖ）プロセス以後、（ｖｉ）前記吸収マルコフ連鎖グラフ上の特定の数のホップ（ｈｏｐ）内に前記一時ノードの多数の連結構成要素を獲得するか獲得するように支援するプロセス；（ｖｉｉ）前記多数の連結構成要素のうち一つの連結構成要素を選択するか選択するように支援し、前記選択された一つの連結構成要素は前記イメージ上の対象客体に対する全体的形状モデルに最も類似する連結構成要素であるプロセス；及び（ｖｉｉｉ）前記選択された一つの連結構成要素を用いて前記イメージ上の前記対象客体に対して前記セグメンテーション結果を調整するか調整を支援して調整されたセグメンテーション結果とそれに対応されるトラッキングボックスを獲得するプロセス；をさらに遂行するコンピューティング装置が提供される。
【発明の効果】
【００４６】
本発明に伴う、吸収マルコフ連鎖を用いて動画データフレームで対象客体を追跡する方法によれば、非定型的で変形可能な対象客体に対するビジュアルトラッキングに吸収マルコフ連鎖を適用する単純かつ新しく強力なセグメンテーションによるトラッキングアルゴリズムとフレームワークを提供することができる。
【００４７】
また、本発明によれば、エンベデッド空間内の超平面上に対象客体のフィーチャーを投影して高い正確度で対象客体を追跡して分割することができ、最新セグメンテーションを基にトラッキングアルゴリズムと比較して実質的な性能向上を成就することができる。
【図面の簡単な説明】
【００４８】
【図１】図１は、フレーム上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）に中間レベルセグメンテーションアルゴリズムを適用して複数の中間レベルキュー、例えばスーパーピクセルに分割された前記フレーム上のＲＯＩを示す図面である。
【図２】図２は、スーパーピクセルから得られたオリジナルフィーチャーで吸収マルコフ連鎖を構成する過程を図式的に示した図面である。
【図３】図３は、本発明の一実施例により二つの連続フレームで吸収マルコフ連鎖を構成する過程を図式的に示した図面である。
【図４Ａ】図４Ａは、本発明の一実施例によりエンベディング空間内で投影されたフィーチャーで吸収マルコフ連鎖グラフを構成する過程を概略的に図式した図面である。
【図４Ｂ】図４Ｂは、本発明の一実施例により特定の回帰モデルと方程式を利用してエンベディング空間内で投影されたフィーチャーで前記吸収マルコフ連鎖グラフを構成する過程を示した図面である。
【図５Ａ】図５Ａは、本発明の一実施例によりカラーフィーチャーと特定の回帰モデルがある吸収マルコフ連鎖グラフを構成する過程を示す図面である。
【図５Ｂ】図５Ｂは、本発明の一実施例により前記吸収マルコフ連鎖内のインタフレームエッジを構成する方法を示す図面である。
【図６】図６は、本発明の一実施例により初期セグメンテーションマスクを得る過程を示す図面である。
【図７】図７は、本発明の一実施例によりセグメンテーションマスクと対象客体に対するセグメンテーション結果及びバウンディングボックスなど対象客体に対するトラッキング結果を例示的に示す図面である。
【図８Ａ】図８Ａは、対象客体に対するＧＴ（ｇｒｏｕｎｄ−ｔｒｕｔｈ）セグメンテーション結果を例示的に示す図面である。
【図８Ｂ】図８Ｂは、公開されたトラッキングアルゴリズムでオリジナルフィーチャーを用いて得られた対象客体に対するセグメンテーション結果を例示的に示す図面である。
【図８Ｃ】図８Ｃは、公開されたトラッキングアルゴリズムで投影されたフィーチャーを用いて得られた対象客体に対するセグメンテーション結果を例示的に示す図面である。
【図８Ｄ】図８Ｄは、本発明の一実施例によりフレームのＲＯＩ内スーパーピクセルのオリジナルフィーチャーに対する投影結果を例示的に示す図面である。
【図９】図９は、本発明の一実施例によりセグメンテーション結果に対する重み付け値調整によって用いられる各々異なる係数に対する影響を示す図面である。
【図１０】図１０は、本発明の一実施例により各々異なる吸収回数を基にセグメンテーション結果比較を示す図面である。
【図１１】図１１は、本発明の一実施例により全体的形状モデル適用の利点を例示的に示す図面である。
【図１２】図１２は、本発明の一実施例によりスーパーピクセルの１ホップ及び２ホップ近傍系と併合した比較結果を例示的に示した図面である。
【発明を実施するための形態】
【００４９】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例にかかる本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【００５０】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
【００５１】
本発明で公開したトラッキングアルゴリズムはビデオデータ、例えばビデオシークエンスまたはビデオフレームで対象客体を追跡することを目的とするが、そのようなビデオデータ内で対象客体のサイズや動作は速くて持続的に変わる。“フレーム”と“イメージ”及び“フレームイメージ”という用語は本公開特許で混用される。
【００５２】
図１はフレーム上のＲＯＩ（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）１００に中間レベルセグメンテーションアルゴリズムを適用して複数の中間レベルキュー、例えばスーパーピクセル１０１に分割された前記フレーム上のＲＯＩ１００を示す図面である。
【００５３】
本発明でのトラッキングアルゴリズムはスーパーピクセル１０１を中間レベルキューに指定するが、必ずしもこれに限られるものではない。フレーム上のＲＯＩ１００内で１セットのスーパーピクセル１０１を得るためにＳＬＩＣなどスーパーピクセルセグメンテーションアルゴリズムが含まれる。
【００５４】
１セットのスーパーピクセル１０１は次のとおり獲得される。フレーム上の前記ＲＯＩ１００は多数のローカル領域に分割されて、以後各ローカル領域内ピクセルはスーパーピクセルにクラスタされる。前記フレーム上の前記ＲＯＩ１００内のスーパーピクセルの数はフレーム上の前記ＲＯＩ１００のサイズに比例する。ここで、各ＲＯＩ内スーパーピクセルの最大数は６００に設定する。参考までに、ローカル領域はスーパーピクセルと表示されるが、当業者はローカル領域がこれに限られないことを知っていることは明白である。
【００５５】
スーパーピクセル１０１のような中間レベルキューは表現上有効性のために多様なコンピュータビジョンタスクに使用されてきた。バウンディングボックスやピクセルの情報と比較して、中間レベルキュー、例えば、スーパーピクセル１０１は対象客体のフィーチャーレベル及びセマンティック（ｓｅｍａｎｔｉｃ）レベルをモデリングするのに効果があり得る。また、スーパーピクセルの数がピクセルの数よりもはるかに少ないことは確実であるため、スーパーピクセル１０１を用いる場合には、洗練されたイメージプロセシングとコンピュータビジョンタスクの複雑性を大きく低下させる。
【００５６】
図２はスーパーピクセル１０１で得るオリジナルフィーチャーで吸収マルコフ連鎖グラフ２０３を構成する過程を図式的に示した図面である。
【００５７】
図２を参照して、フィーチャー空間２００でＢ1、Ｂ2、Ｂ3２０２は背景フィーチャーを示す反面、Ｆ1、Ｆ2、Ｆ3、Ｆ4２０１は前景フィーチャーを示す。各前景フィーチャー２０１は前記吸収マルコフ連鎖グラフ２０３にある各々の一時ノード２０４に転換される反面、各背景フィーチャー２０２は前記吸収マルコフ連鎖グラフ２０３で各吸収ノード２０５に変換される。
【００５８】
図３は本発明の一実施例により二つの連続フレームで吸収マルコフ連鎖グラフを構成する過程を図式的に示す図面である。
【００５９】
図３を参照して、トラッキングアルゴリズムは図３に示された前記二つの連続フレームｔ（３０１）及びｔ−１（３０２）でＲＯＩ１００内のすべてのスーパーピクセル１０１を用いて前記吸収マルコフ連鎖グラフ２０３を構成する。ここで、前記二つの連続フレームは時間ドメインで互いに隣接したフレームを意味するが、必ずしもこれに限られない。二つのフレーム上の前景スーパーピクセル（３０３）とフレームｔ（３０１）内の背景スーパーピクセル３０６は前記吸収マルコフ連鎖グラフ２０３内の一時ノード２０４にマッピングされる反面、前記以前のフレームｔ−１（３０２）で背景スーパーピクセル３０４に該当される頂点、即ち、ノードは吸収ノード２０５を生成するのに使用される。特に、フレームｔ（３０１）で背景スーパーピクセル３０６を示すＢ1がそれである。
【００６０】
また、前記吸収マルコフ連鎖グラフ２０３には二つの類型のエッジがある。イントラフレームエッジセットとインタフレームエッジセットは前記吸収マルコフ連鎖グラフ２０３内のすべてのエッジを構成する。トラッキングアルゴリズムは前記吸収マルコフ連鎖グラフ２０３内のイントラフレームエッジのうち一つをフレームｔ（３０１）のＲＯＩ内の二つの隣接スーパーピクセルまたはフレームｔ−１（３０２）のＲＯＩ内の二つの隣接スーパーピクセルを持って生成し得る。また、トラッキングアルゴリズムは前記二つの連続フレームｔ（３０１）及びｔ−１（３０２）でスーパーピクセル間に時間的隣接性を決定するために動作情報を統合して前記吸収マルコフ連鎖グラフ２０３でインタフレームエッジのうち一つを生成し得る。場合によって互いに隣接していない各々異なる二つのフレームはインタフレームエッジのうち一つを生成するのに使用され得る。
【００６１】
即ち、イントラフレームエッジが同一のフレームで頂点の隣接性を基に２ホップ内でスーパーピクセルを連結する間、インタフレームエッジは動作情報で見つけた空間近接性によって生成される。参考までに、１ホップ内のノードとは直接連結された隣であり、２ホップ内のノードとは直接連結された隣の隣を意味する。前記吸収マルコフ連鎖グラフ２０３ですべてのエッジは両方向であり、吸収ノード２０５に入る場合を除いて対称的エッジ重み付け値を有する。かかるエッジは前記吸収マルコフ連鎖グラフ２０３の吸収属性を満たす単方向である。
【００６２】
図４Ａは本発明の一実施例によりエンベディング空間内で投影されたフィーチャーで吸収マルコフ連鎖グラフを構成する過程を概略的に示した図面である。
【００６３】
図４Ａを参照して、フィーチャー空間２００内のスーパーピクセルのフィーチャーは二つの類型、例えば、前景フィーチャー２０１と背景フィーチャー２０２に分類される。追跡する対象客体と関連した領域内のスーパーピクセルは前景スーパーピクセルや前景フィーチャー２０１と指定されるが、ここで対象客体と関連したスーパーピクセル以外のスーパーピクセルは背景フィーチャーまたは背景スーパーピクセル２０２に分類される。
【００６４】
図４Ａから分かるように、少なくとも一つのリグレッサ（ｒｅｇｒｅｓｓｏｒ）がある回帰モデル（ｒｅｇｒｅｓｓｉｏｎ  ｍｏｄｅｌ）を利用して投影がなされる。エンベディング空間４００内で投影された超平面４０１で同一または類似する領域から抽出したフィーチャーは類似度が高い反面、他の領域から抽出したフィーチャーの場合は類似度が低い。スーパーピクセルのオリジナルフィーチャーを投影する場合、セグメンテーション結果、即ち、トラッキング結果の正確性を改善する結果をもたらし得る。
【００６５】
図４Ｂは本発明の一実施例により特定の回帰モデルと方程式を利用してエンベディング空間内で投影されたフィーチャーで前記吸収マルコフ連鎖グラフを構成する過程を示した図面である。
【００６６】
例えば、算定過程は図４Ｂを参照して下に記述された公式と手順を利用して簡単に示される。各スーパーピクセルのオリジナルフィーチャーを投影した後、同一または類似する領域から抽出したフィーチャーは同一のラベル、例えば＋１や−１のうち一つを有するようになり、他の領域から抽出したフィーチャーは正反対のラベル、例えば＋１と−１を各々有し得る。
【００６７】
また、前記吸収マルコフ連鎖グラフ２０３内で同一か類似する領域から抽出した二つのフィーチャーと関連した前記回帰スコア４０３の類似度４０４数値は前記吸収マルコフ連鎖グラフ２０３内の他の二つのノード、例えば、他の領域から抽出した二つのフィーチャーの回帰スコア４０３の類似度４０４数値よりも顕著に高いことが確実である。
【００６８】
図４Ｂに表示された一例として、Ｆ1とＦ3の回帰スコア４０３間の類似度４０４、即ち、前記吸収マルコフ連鎖グラフ２０３内のエッジ連結ノードＦ1及びＦ3のエッジ重み付け値は０．６１であり、Ｂ1及びＢ3の前記回帰スコア４０３間の類似度４０４は０．７４であり、Ｆ3及びＢ2の前記回帰スコア４０３間の類似度４０４は０．１３である。従って、二つのノードの前記回帰スコア４０３間でさらに高い類似度、即ち、さらに高いエッジ重み付け値が前記吸収マルコフ連鎖グラフ２０３でさらに太線で表示され、さらに高いエッジ重み付け値があるエッジはフィーチャーが同一か類似する領域から抽出される二つのノード、例えば前景や背景を連結する。スーパーピクセルのオリジナルフィーチャーを投影する効果は図４Ｂで数値で立証される。
【００６９】
図５Ａは本発明の一実施例によりカラーフィーチャーと特定の回帰モデルがある吸収マルコフ連鎖グラフを構成する過程を示す図面である。
【００７０】
図５Ａを参照すれば、前記吸収マルコフ連鎖グラフ２０３を構成する過程と関連してもう少し詳細な図が提示される。フレームｔ（３０１）、即ち、前記現在のフレーム上の前記ＲＯＩ１００は対象客体５０２、即ち、前景を囲んだ固定された中心点でバウンディングボックスを拡大、例えば、１．７倍拡大して得る。バウンディングボックスはフレームｔ−１（３０２）、即ち、前記以前のフレームでセグメンテーション結果にオプティカルフローを適用して獲得する。もう少し詳細には、前記現在のフレーム上の対象客体５０２を含むバウンディングボックスは前記以前のフレーム上の対象客体５０２のセグメンテーション結果を変形し、変形された結果を含む最もタイトなバウンディングボックスを見つけて獲得する。変形結果はピクセル単位のオプティカルフローを通じて対象客体５０２の動作を推定して得る。言い換えれば、トラッキングアルゴリズムは対象客体５０２の明らかな動作パターンを見つけて前記以前のフレームのＲＯＩ１００内のスーパーピクセルを変形する。ここで、ＥＰＰＭはピクセル単位のオプティカルフローを得るために採択されるが、必ずしもこれに限られるものではない。
【００７１】
前記現在のフレームｔ（３０１）及び前記以前のフレームｔ−１（３０２）のＲＯＩ１００内にあるすべてのスーパーピクセルを用いて前記吸収マルコフ連鎖グラフ２０３を構成した後、各ノードの吸収回数を用いて前記吸収マルコフ連鎖グラフ２０３で各ノードを閾値化（ｔｈｒｅｓｈｏｌｄｉｎｇ）して前記現在のフレーム内の対象客体５０２に対するセグメンテーション結果を獲得する。現在のフレームで対象客体５０２に対するセグメンテーション結果は回帰的方式で次のフレームに伝達されて一連のトラッキング結果を得ることができる。
【００７２】
参考までに、各ノードはランダムウォークによって前記吸収マルコフ連鎖グラフ２０３上の任意の吸収ノード２０５への段階数である自身の吸収回数がある。そして、各ノードは前記現在のフレーム上のＲＯＩ１００内のすべての一時ノード２０４の吸収回数の平均を出して決定された閾値を基に閾値化するが、これに限られるものではない。他の方法として、現在のフレーム３０１上のＲＯＩ１００内の一時ノード２０４の少なくとも一部を利用して閾値を決定し得る。
【００７３】
一方、対象客体に対するセグメンテーション結果はスーパーピクセルのオリジナルフィーチャーの特性を参照して選択した演算を遂行して現在のフレーム３０１及び前記以前のフレーム３０２上のＲＯＩ１００内のすべてのスーパーピクセルのオリジナルフィーチャーをエンベディング空間にある超平面上に投影して画期的に向上され得る。
【００７４】
例えば、図５に示されたとおり、ＬＡＢ空間５０３にある中間色が各スーパーピクセルに対するフィーチャーに選択され、サポートベクターリグレッサ５０４が回帰モデルに適用される場合、エンドスーパーピクセルと関連した前記回帰スコアの類似度が上で言及した前記吸収マルコフ連鎖グラフ２０３で各エッジに対するエッジ重み付け値を決定する。
【００７５】
また、図５Ａを参照すれば、前記吸収マルコフ連鎖グラフ２０３に太く表示したエッジは前記吸収マルコフ連鎖グラフ２０３で連結された二つのノードの回帰スコア間で類似度が高いことを示す。ここで、前記回帰スコアは同一のラベルを有するスーパーピクセル間の差を最小化しながら、各々異なるラベルを有するスーパーピクセル間の差を最大化するサポートベクターリグレッサ５０４をトレーニングして得る。
【００７６】
言い換えれば、ノードのエッジ重み付け値、同一のラベルを有する頂点が各々異なるラベルがあるノードよりも大きくなければならないため、同一の領域、例えば、前景や背景のうち一つ以内にスーパーピクセル間の差を最小化しながら前景と背景スーパーピクセル間の差を最大化する対照スコアを獲得し得る。
【００７７】
ここで、上で記述したとおり、ラベルは前記吸収マルコフ連鎖グラフ内の各々のノード２０３の各ノードのうち前景に分類されたノードの場合＋１と、背景に分類されたノードの場合−１と表示される。参考までに、各スーパーピクセルの場合、フィーチャーはディープラーニングで得られた色やパターンまたはフィーチャーベクターであり得る。
【００７８】
特に、サポートベクターリグレッサ５０４の目的関数は下記のように定義される。
【００７９】
【数１】
2019067404.tif 000003
【００８０】
ここで、ｘはフィーチャー、Ｃは定数、例えば１０であり、
【数１−１】
2019067404.tif 000004
は非線形フィーチャーマッピング関数を示す。放射基準関数は下記のように内包された非線形フィーチャーマッピングに対するカーネルに適用された。
【００８１】
【数２】
2019067404.tif 000005
【００８２】
ここでγは定数であり、例えば１である。リグレッサをトレーニングした後、任意入力フィーチャー、例えばフィーチャーベクターの回帰スコアは下の公式によって定められる。
【００８３】
【数３】
2019067404.tif 000006
【００８４】
言い換えれば、前記吸収マルコフ連鎖グラフ２０３で各ノードと関連した各回帰スコアは各ノードと関連したスーパーピクセルの投影されたフィーチャーを利用して上に記述した公式で獲得される。以後、各エッジのエッジ重み付け値がエンドノードの回帰スコア間の類似度を算定して得られる。その公式は次のとおりである。
【００８５】
【数４】
2019067404.tif 000007
【００８６】
ここで、ｒi及びｒjは二つの連結ノードの回帰スコアであり、σrは定数であり、例えば０．１である。
【００８７】
参考までに、サポートベクターリグレッサ５０４をトレーニングするために前記以前のフレームと第１フレーム、即ち、初期フレームで対象客体５０２と関連してスーパーピクセルは前景ノードとして処理され得るが、前記以前のフレーム及び第１フレームで対象客体５０２と関連したスーパーピクセルを除いたスーパーピクセルと前記現在のフレーム上のＲＯＩ１００の境界にあるスーパーピクセルは背景ノードとして処理される。ここで、前記現在のフレーム上のＲＯＩ１００の境界にあるスーパーピクセルは見えない背景を示し、第１フレームで得られた情報はドリフト問題を避けるために活用される。
【００８８】
図５Ｂは本発明の一実施例により前記吸収マルコフ連鎖内のインタフレームエッジを構成する方法を示す図面である。
【００８９】
図５Ｂを参照すれば、二つの他のフレームが示されている。ここで、前記二つの他のフレームはフレームｔ−１（３０２）及びフレームｔ（３０１）と表示された連続した二つのフレームだが、当業者にとって前記二つの他のフレームに限られないという事実は明らかである。
【００９０】
図５Ｂで各四角形はピクセルを示し得る。各フレームにある同一の明るさの四角形は同一のローカル領域、例えばスーパーピクセルにあることを示す。ローカル領域の形、例えば、スーパーピクセルの形は各フレーム内の対象客体５０２または背景が色や等高線で変更があり得るため、各フレーム毎に異なり得る。
【００９１】
ピクセル単位のオプティカルフローを利用してインタフレームエッジが生成されるが、必ずしもこれに限られるものではない。図５Ｂで直線矢印はフレームｔ−１にある暗い灰色からなるスーパーピクセル５０５内の各ピクセルに対して算定したオプティカルフローを示し得る。フレームｔにあるスーパーピクセル５０６がスーパーピクセル５０５に本来属している一つのピクセルを含む場合、フレームｔにあるスーパーピクセルはフレームｔ−１にある暗い灰色からなるスーパーピクセル５０５があるインタフレームエッジを生成し得る。従って、図５Ｂにある二つの曲線は生成された各々のインタフレームエッジを示し得る。
【００９２】
詳細には、インタフレームエッジのうち一つはフレームｔ−１にある暗い灰色からなるスーパーピクセル５０５及びフレームｔにある同一の暗い灰色からなるスーパーピクセル５０６の間に生成される反面、インタフレームエッジのうち他の一つがフレームｔ−１にある同一の暗い灰色からなるスーパーピクセル５０５とフレームｔにある白色からなるスーパーピクセル５０７の間に生成される。参考までに、前記吸収マルコフ連鎖グラフにあるエッジの二つの類型、即ちインタフレームエッジとイントラフレームエッジに対するエッジ重み付け値の算定には差がない。
【００９３】
図６は本発明の一実施例により初期セグメンテーションマスクを得る過程を示す図面である。
【００９４】
図６に示されたとおり、初期セグメンテーションマスク６０３は単にイントラフレームエッジだけある初期吸収マルコフ連鎖グラフですべての一時ノードの吸収回数を簡単に計算し、すべての一時ノードの吸収回数を閾値化して得られる。ビデオデータの第１フレームに該当される初期フレームだけを利用して構成される初期吸収マルコフ連鎖グラフにはインタフレームエッジがないからである。ビデオデータの初期フレームで対象客体に対するバウンディングボックスは多様な方法で提供され得る。
【００９５】
詳細には、トラッキングアルゴリズムは初期フレームにあるバウンディングボックス外部にあるスーパーピクセル６０２を初期吸収マルコフ連鎖グラフで吸収ノード、前景と関連したスーパーピクセル６０１を一時ノードと言い、初期吸収マルコフ連鎖グラフで各一時ノードの各吸収回数を閾値化して初期セグメンテーションマスク６０３を得る。
【００９６】
特に、初期吸収マルコフ連鎖グラフにある一時ノードは特定の比率、例えば５０％以上対象客体の初期ＧＴバウンディングボックスと重複されるスーパーピクセルによって提供され、初期吸収マルコフ連鎖グラフにある吸収ノードは対象客体に対して拡大されたバウンディングボックス、即ち、ＲＯＩ１００内の一時ノードに該当しないスーパーピクセルによって提供される。
【００９７】
図７は本発明の一実施例によりセグメンテーションマスクと対象客体に対するセグメンテーション結果及びバウンディングボックスなど対象客体に対するトラッキングを例示的に示す図面である。
【００９８】
図７を参照すれば、トラッキング結果には吸収回数を利用して前記吸収マルコフ連鎖グラフ内の各々のノード２０３を閾値化して獲得した対象客体７０３、セグメンテーションマスク７０２、バウンディングボックス７０１に対するセグメンテーション結果が含まれるが、トラッキング結果はこれに限られるものではない。ランダムウォーカーは遷移確率を参照して前記吸収マルコフ連鎖グラフ２０３内の各々のノードに対する吸収回数を得るために前記吸収マルコフ連鎖グラフ２０３を追跡する。遷移確率は下でもう少し詳細に説明する。
【００９９】
図８Ａは対象客体に対するＧＴ（ｇｒｏｕｎｄ−ｔｒｕｔｈ）セグメンテーション結果を例示的に示す図面である。
【０１００】
特に、図８Ａの右側下段角にある“１００．０”は図８ＡがＧＴセグメンテーション結果それ自体を意味するという表示である。
【０１０１】
図８Ｂないし図８Ｃで各々重複比率を比較するための重複比率は、対象客体に対するＧＴセグメンテーション結果８０１と対象客体に対して推定されるセグメンテーション結果８０２、８０３のピクセルの交差集合の比率で定義し得る。ここで、追跡する対象客体はバスケットボール選手である。
【０１０２】
図８Ｂは公開されたトラッキングアルゴリズムでオリジナルフィーチャーを用いて得られた対象客体に対するセグメンテーション結果を例示的に示す図面である。
【０１０３】
図８Ｂを参照すれば、対象客体、即ち、バスケットボール選手の背景から対象客体をセグメンテーションすることは考案して公開されたトラッキングアルゴリズムを適用してなされる。トラッキングアルゴリズムは上で記述した前記以前のフレームから伝達されたセグメンテーション結果を利用する。ここで、各々のスーパーピクセルのオリジナルフィーチャーはスーパーピクセル内ピクセルの平均ＲＧＢ値と定義される。
【０１０４】
図８Ｂに示されたとおり、フレームイメージの背景で観衆の顔と手のセグメントは前景とみなされる。従って、トラッキングアルゴリズムは消えた前景スーパーピクセルによって断片化された対象セグメンテーションマスクを生成し得て、生成された対象セグメンテーションマスクはフォールスポジティブスーパーピクセルが含まれ得る。
【０１０５】
カラー値がフィーチャーデスクリプタとして選択されるため、トラッキングアルゴリズムでは背景にある観衆の顔と手の色値が追跡する対象客体、即ち、バスケットボール選手の色値と同一か類似するため、バスケットボール選手、即ち、対象客体のフィーチャーと背景にある観衆のフィーチャーを区別するのが相当困難である。従って、このセグメンテーション結果８０２で重複比率は６８．６となる。
【０１０６】
これに伴い、スーパーピクセルのオリジナルフィーチャーを投影しなければ、セグメンテーション結果８０２または対象セグメンテーションマスクは前景スーパーピクセルと背景スーパーピクセル間の予想不可能なフィーチャー類似性及び／または、前景スーパーピクセル間の潜在的フィーチャーの非類似性によりノイズが発生し得る。
【０１０７】
図８Ｃは公開されたトラッキングアルゴリズムで投影されたフィーチャーを用いて得られた対象客体に対するセグメンテーション結果を例示的に示す図面である。
【０１０８】
図８Ｃを参照すれば、対象客体に対するセグメンテーション結果８０３は対象客体と関連したフィーチャーを１に投影し、背景に関連したフィーチャーを０に投影して獲得する。図８Ｃにある重複比率が９１．９と示されるので、スーパーピクセルの投影されたフィーチャーを使用することがスーパーピクセルのオリジナルフィーチャーを使用することよりもさらに効果的である。
【０１０９】
図８Ｄは本発明の一実施例によりフレームのＲＯＩ内スーパーピクセルのオリジナルフィーチャーに対する投影結果を例示的に示す図面である。
【０１１０】
図８Ｄに表示されたとおり、ＲＯＩ１００内のスーパーピクセルの一部に対して投影されたフィーチャー値はそれに対して投影されたフィーチャー値が１に近いので、白くて明るい色で描写される反面、ＲＯＩ１００内のスーパーピクセルの他の一部に対して投影されたフィーチャー値は投影されたフィーチャー値が０に近いので黒くて暗い色で描写される。図８Ｄで８０４と指称されるスーパーピクセルはフォールスポジティブスーパーピクセルであり、８０５と指称されるスーパーピクセルはフォールスネガティブスーパーピクセルである。即ち、投影しても誤って分類されたスーパーピクセルが依然として存在し得るが、図の中で重複比率が示されると、セグメンテーション結果は実質的に改善される。
【０１１１】
図９は本発明の一実施例によりセグメンテーション結果に対する重み付け値調整によって用いられる各々異なる係数に対する影響を示す図面である。
【０１１２】
図９の（Ａ）を参照すれば、継続動作を変える特定対象客体に対するビデオシークエンス入力フレームが示されており、図９の（Ｂ）には特定対象客体、即ち女性体操選手に対するＧＴセグメンテーション結果を示す。
【０１１３】
上で言及した遷移確率は該当されるエッジ重み付け値を基に前記吸収マルコフ連鎖グラフ２０３にあるすべてのエッジに対して得られる。しかし、各エッジ重み付け値は前景と背景スーパーピクセルの吸収回数に対する特殊性を増加させるように調整され得る。
【０１１４】
調整された各々のエッジ重み付け値は下の公式を通じて得られる。
【０１１５】
【数５】
2019067404.tif 000008
【０１１６】
ここで、ｖi、ｖj∈  ＶT、ｖk∈  ＶAであり、
【０１１７】
【数６】
2019067404.tif 000009
【０１１８】
ここで、ＶTは一時ノードセットであり、ＶAは吸収ノードセットである。係数πt及びπaは各々各エッジの類型を基準として各エッジ重み付け値に掛ける。例えば、エッジの二つの類型は（１）二つの一時ノードと連結された一時エッジと（２）一時ノードのうち一つを吸収ノードのうち一つに連結する吸収エッジと定義される。すべての一時エッジは両方向である反面、すべての吸収エッジは単方向である。
【０１１９】
特に、ｑijが係数πt＜πaを設定して各一時エッジの遷移確率であり、ｒikは吸収エッジの遷移確率である場合、トラッキングアルゴリズムは背景と関連したノードから始まるランダムウォークの早い吸収を容易にし、より独特の吸収回数をもたらし得る。
【０１２０】
図９の（Ｃ）と（Ｄ）にはセグメンテーション結果に対する係数πt及びπaの媒介変数設定による影響が示されている。遷移確率は吸収及び一時エッジ、即ち、πt＝πaに対して同一に重み付けされる場合、背景スーパーピクセルは図９の（Ｃ）に示されたとおり、前景フィーチャーとしてラベルを誤って付ける場合が生じ、よって、特定対象客体に対してフォールスポジティブセグメンテーション結果をもたらす。
【０１２１】
しかし、遷移確率が図９の（Ｄ）に示されたように、一時エッジより吸収エッジにさらに重み付け値を設けるようになり、得られた特定対象客体に対するセグメンテーション結果は図９の（Ｄ）に表示されたＧＴセグメンテーション結果により近い。エッジ重み付け値だけでなく吸収回数もトラッキングアルゴリズムで修正され得る。
【０１２２】
図１０は本発明の一実施例により各々異なる吸収回数を基にセグメンテーション結果比較を示す図面である。
【０１２３】
図１０の（Ａ）で特定対象客体、例えば動作を素早く変えているダイバーに対するビデオシークエンスのまた他の入力フレームが示されている。図１０の（Ｂ）は特定対象客体に対するＧＴセグメンテーション結果を示す。
【０１２４】
オリジナル吸収時間は見えない背景に該当されるスーパーピクセルが時々さらに大きな吸収回数を有する限りランダムウォーカーが吸収ノードに到達するまで各一時ノードで送る時間を計算して、これにより図１０の（Ｃ）から分かるように、特定対象客体に対する問題となるセグメンテーション結果をもたらす。しかし、修正された吸収時間はランダムウォーカーが一時ノードを過ぎた回数を算定する。また、修正された吸収時間は図１０の（Ｄ）に示されたように、見えない背景領域を処理するのにさらに効果的である。また、修正された吸収時間は調整されたエッジ重み付け値を基に獲得される。その上、ここで公開したトラッキングアルゴリズムは全体的形状モデルを適用して特定対象客体に対するセグメンテーション結果の正確性を改善し得る。
【０１２５】
図１１は本発明の一実施例によりスーパーピクセルの１ホップ及び２ホップ近傍系と併合した比較結果を例示的に示した図面である。
【０１２６】
図１０の（Ｄ）に示した断片化問題を減らすために考案されたトラッキングアルゴリズムは前記吸収マルコフ連鎖グラフ２０３にある一時ノード、即ち、前景スーパーピクセル閾値化のための特定のホップ（ｈｏｐ）数内で連結された多数の構成要素を獲得し得る。
【０１２７】
例えば、トラッキングアルゴリズムは前記吸収マルコフ連鎖グラフ２０３にある２ホップ内の連結された前景セグメントとグループをなして特定対象客体に対する候補領域を構成し得る。トラッキングアルゴリズムは二つのホップ内のノードを吸収した後、多数の連結された構成要素のうち一つ、即ち候補領域のうち一つを選択し得るが、ここで、前記選択された一つの連結構成要素は入力フレーム内の特定対象客体に対する全体的形状モデルに最も近い連結構成要素である。
【０１２８】
ここで、全体的形状モデルは前景に対するセグメンテーションマスク上ピクセルの正規化されたカラーヒストグラムを基準に全体的形状モデルであり得るが、必ずしもこれに限られるものではない。
【０１２９】
前記吸収マルコフ連鎖グラフ２０３で１ホップと２ホップ内の特定対象客体に該当されるノードを併合した比較結果は図１１の（Ａ）及び（Ｂ）に各々表示されている。表示されたバウンディングボックスは特定対象客体に候補領域を示し、暗い色のバウンディングボックスは特定対象客体に対してセグメンテーション結果を示す。
【０１３０】
図１２は本発明の一実施例により全体的形状モデル適用の利点を例示的に示した図面である。
【０１３１】
図１２の（Ａ）と（Ｂ）の二つのフィーチャーには対象客体に対する二つの候補領域が存在する。公開されたトラッキングアルゴリズムはカラーヒストグラムを基に全体的形状モデルを利用して対象客体に対する正確な候補領域を選択し得る。また、トラッキングアルゴリズムは前記選択された一つの連結構成要素を基準にフレームイメージ上の対象客体に対するセグメンテーション結果を選択して該当されるトラッキングボックスが含まれ得るトラッキング結果が得られる。
【０１３２】
その上、本発明及び多様な実施例に公開されたトラッキングアルゴリズムは下に記述された挑戦的なベンチマークデータセットによって評価されている。評価結果は下の表１及び表２に要約、提示された。評価のために用いた５種類の独立的データセットは非定型客体トラッキングデータセット（ＮＲ）及び一般的な背景除外データセット（ＧＢＳ）、ビデオ特性データセット（ＶＳ）、ＳｅｇＴｒａｃｋ  ｖ２データセット（ＳＴ２）及びＤＡＶＩＳデータセットである。
【０１３３】
公開されたトラッキングアルゴリズムの多様な最適の実施例には回帰がないＡＭＣＴ（ＡＭＣＴ−ＮＲ）と全体的形状モデルがないＡＭＣＴ（ＡＭＣＴ−ＮＡ）、ＣＮＮフィーチャーデスクリプタなどを統合したＡＭＣＴ（ＡＭＣＴ＋ＣＮＮ）、その中で前記現在のフレームと以前のフレーム上のＲＯＩ内各スーパーピクセルのフィーチャーはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を通じて派生する。ＳＶＲトレーニングは高次元的ＣＮＮフィーチャーに対しては実質的に遅いため、ＡＭＣＴ＋ＣＮＮは公開されたトラッキングアルゴリズムのその他の最適の実施例と比較して遅い。参考までに、ＡＭＣＴは吸収マルコフ連鎖トラッキングを指す。
【０１３４】
【表１】
2019067404.tif 000010
【０１３５】
【表２】
2019067404.tif 000011
【０１３６】
表１及び表２ですべてのアルゴリズムの全般的性能は５種類のデータセットと比較、要約されている。公開されたトラッキングアルゴリズムの変化はセグメンテーションによるトラッキングフィールドで現在の最も最近のアルゴリズムであるＳＰＴとＯＧＢＤＴなどその他のトラッキング方法と比較してセグメンテーションマスク及びバウンディングボックスの重複比すべてで優れた性能を示し得る。特に、ＡＭＣＴ及びＡＭＣＴ＋ＣＮＮはすべてのテストされたデータセット内のバウンディングボックス予測と関連して最近のトラッキングアルゴリズムよりも大きく優れている。これは主にバウンディングボックストラッキングが変形可能な高屈折対象客体に従うのに効果的でないからである。
【０１３７】
ここで、上で記述した演算や計算を遂行する少なくとも一つのプロセス（未図示）があるデジタルコンピューティング装置は本発明のトラッキングアルゴリズムを遂行する適切な装置として採択が可能である。装置の通信部（未図示）はフレームのイメージ、即ち、ビデオデータを獲得するように構成され得る。
【０１３８】
本発明技術分野の通常の技術者に理解され得ることとして、上で説明されたイメージ、例えばｉｎｐｕｔ  ｉｍａｇｅ、ｔｒａｉｎｉｎｇ  ｉｍａｇｅ、ｔｅｓｔ  ｉｍａｇｅのようなイメージデータの送受信が学習装置及びテスト装置の通信部によってなされ得て、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／または、メモリ）によって保有／維持され得て、コンボリューション演算、デコンボリューション演算、エラー値演算過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されるものではない。
【０１３９】
以上で説明された本発明にかかる実施例は多様なコンピュータ構成要素を通じて遂行され得るプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独または組み合わせて含まれ得る。前記コンピュータで判読可能な記録媒体に記録されるプログラム命令語は本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけではなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明にかかる処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることがあり、その逆も同様である。
【０１４０】
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野において通常の知識を有する者であればかかる記載から多様な修正及び変形が行なわれ得る。
【０１４１】
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけではなく、本特許請求の範囲と均等または等価的に変形されたすべてのものは本発明の思想の範疇に属するといえる。
【図１】
2019067404.tif 000012
【図２】
2019067404.tif 000013
【図３】
2019067404.tif 000014
【図４Ａ】
2019067404.tif 000015
【図４Ｂ】
2019067404.tif 000016
【図５Ａ】
2019067404.tif 000017
【図５Ｂ】
2019067404.tif 000018
【図６】
2019067404.tif 000019
【図７】
2019067404.tif 000020
【図８Ａ】
2019067404.tif 000021
【図８Ｂ】
2019067404.tif 000022
【図８Ｃ】
2019067404.tif 000023
【図８Ｄ】
2019067404.tif 000024
【図９】
2019067404.tif 000025
【図１０】
2019067404.tif 000026
【図１１】
2019067404.tif 000027
【図１２】
2019067404.tif 000028
【外国語明細書】
2019067404000001.pdf