(57)【要約】【課題】移動物体を検出するためのシステムおよび方法が開示される。【解決手段】移動物体を検出するためにコンピュータで実施可能な方法は、カメラによって捕捉されたストリーミング映像を取得するステップと、ストリーミング映像から一連の画像を含む入力画像シーケンスを抽出するステップと、一連の画像のうちの少なくとも1つに対して、点特徴を追跡しかつ点軌跡のセットを維持するステップと、多視点幾何からの拘束を使用して、各点軌跡に関して移動物体に属すかどうかを判定するための尤度を測定するステップと、移動物体セグメンテーションを得るために、フレーム全体で条件付き確率場(CRF)を決定するステップとを含む。【選択図】図１３
2017091549.tif 000002
【特許請求の範囲】
【請求項１】
移動物体を検出するためにコンピュータで実施可能な方法であって、 
カメラによって捕捉されたストリーミング映像を取得するステップと、
前記ストリーミング映像から一連の画像を含む入力画像シーケンスを抽出するステップと、
前記一連の画像のうちの少なくとも1つに対して、点特徴を追跡しかつ点軌跡のセットを維持するステップと、
多視点幾何からの拘束を使用して、各点軌跡に関して移動物体に属すかどうかを判定するための尤度を測定するステップと、
移動物体セグメンテーションを得るために、フレーム全体で条件付き確率場(CRF)を決定するステップと
を含む方法。
【請求項２】
前記カメラが、単眼カメラを含む、請求項１に記載の方法。
【請求項３】
前記多視点幾何からの拘束は、2視点間のエピポーラ拘束、および3視点からの3焦点拘束のうちの少なくとも1つを含む、請求項１に記載の方法。
【請求項４】
前記エピポーラ拘束は、次式の通り、点対応関係のペアに対するエピポーラ移動オブジェクトネススコアに少なくとも部分的に基づいて計算され、
【数１】
2017091549.tif 000015
ここで、
【数２】
2017091549.tif 000016
は、各視点における相対的なエピポーラ線を定義するとともに、関数dpl()は点-線間距離を計算するものである、請求項３に記載の方法。
【請求項５】
前記点対応関係のペアは、連続したフレーム間のオプティカルフローに基づいて決定される、請求項４に記載の方法。
【請求項６】
前記方法は、
次式の通り、軌跡の全エピポーラ移動オブジェクトネススコアの加重平均を決定するステップをさらに含み、
【数３】
2017091549.tif 000017
ここで、βは、減衰因子である、請求項４に記載の方法。
【請求項７】
前記方法は、
次式の通り、別のエピポーラ移動オブジェクトネススコアを決定するステップをさらに含み、
【数４】
2017091549.tif 000018
ここで、[]は、インジケータ関数であり、vは、許容性変数であるとともに、
【数５】
2017091549.tif 000019
は、正規化因子である、請求項４に記載の方法。
【請求項８】
前記3視点からの3焦点拘束は、次式の通りに定義される3焦点移動オブジェクトネススコアに少なくとも部分的に基づいて決定され、
【数６】
2017091549.tif 000020
ここで、
【数７】
2017091549.tif 000021
は、xtおよびxt'を使用する第3の視点内の推定位置であるとともに、dpp()は、ユークリッド距離を計算するものである、請求項３に記載の方法。
【請求項９】
前記方法は、次式の通り、各軌跡に対する履歴に関して、全ての3焦点移動オブジェクトネススコアの加重平均を決定するステップをさらに含み、
【数８】
2017091549.tif 000022
ここで、βは、減衰因子である、請求項８に記載の方法。
【請求項１０】
各フレームTに対して、
オプティカルフローおよび点軌跡を計算するステップと、
基礎行列および3焦点テンソルを推定するステップと、
各軌跡に対して、エピポーラ移動オブジェクトネススコアおよび3焦点移動オブジェクトネススコアを計算するステップと、
移動ラベルを決定するために、スーパーピクセルに関して前記CRFを形成するステップと
をさらに含む、請求項１に記載の方法。
【請求項１１】
移動物体を検出するシステムであって、前記システムは、
カメラによって捕捉されたストリーミング映像を取得する手段と、
前記ストリーミング映像から一連の画像を含む入力画像シーケンスを抽出する手段と、
前記一連の画像のうちの少なくとも1つに対して、点特徴を追跡しかつ点軌跡のセットを維持する手段と、
多視点幾何からの拘束を使用して、各点軌跡に関して移動物体に属すかどうかを判定するための尤度を測定する手段と、
高密度移動物体セグメンテーションを得るために、フレーム全体で条件付き確率場(CRF)を決定する手段と
を備えるシステム。
【請求項１２】
前記多視点幾何からの拘束は、2視点間のエピポーラ拘束、および3視点からの3焦点拘束のうちの少なくとも1つを含む、請求項１１に記載のシステム。
【請求項１３】
前記エピポーラ拘束は、以下の通り、点対応関係のペアに対するエピポーラ移動オブジェクトネススコアに少なくとも部分的に基づいて計算され、
【数９】
2017091549.tif 000023
ここで、
【数１０】
2017091549.tif 000024
は、各視点における相対的なエピポーラ線を定義するとともに、関数dpl()は点-線間距離を計算するものである、請求項１２に記載のシステム。
【請求項１４】
前記システムは、次式の通り、軌跡の全エピポーラ移動オブジェクトネススコアの加重平均を決定する手段をさらに備え、
【数１１】
2017091549.tif 000025
ここで、βは、減衰因子である、請求項１３に記載のシステム。
【請求項１５】
前記システムは、
次式の通り、別のエピポーラ移動オブジェクトネススコアを決定する手段をさらに備え、
【数１２】
2017091549.tif 000026
ここで、[]は、インジケータ関数であり、vは、許容性変数であるとともに、
【数１３】
2017091549.tif 000027
は、正規化因子である、請求項１３に記載のシステム。
【請求項１６】
前記3視点からの3焦点拘束は、次式の通り、3焦点移動オブジェクトネススコアに少なくとも部分的に基づいて決定され、
【数１４】
2017091549.tif 000028
ここで
【数１５】
2017091549.tif 000029
は、xtおよびxt'を使用する第3の視点内の推定位置であるとともに、dpp()は、ユークリッド距離を計算するものである、請求項１２に記載のシステム。
【請求項１７】
前記システムは、次式の通り、各軌跡に対する履歴に関して、全ての3焦点移動オブジェクトネススコアの加重平均を決定する手段をさらに備え、
【数１６】
2017091549.tif 000030
ここで、βは、減衰因子である、請求項１６に記載のシステム。
【請求項１８】
各フレームTに対して、
オプティカルフローおよび点軌跡を計算する手段と、
基礎行列および3焦点テンソルを推定する手段と、
各軌跡に対して、エピポーラ移動オブジェクトネススコアおよび3焦点移動オブジェクトネススコアを計算する手段と、
移動ラベルを決定するために、スーパーピクセルに関して前記CRFを形成する手段と
をさらに備える、請求項１１に記載のシステム。
【請求項１９】
コンピュータに移動物体を検出させるために、制御ロジックを記憶している非一時的コンピュータ可読記憶媒体であって、前記制御ロジックは、
カメラによって捕捉されたストリーミング映像を取得し、
前記ストリーミング映像から一連の画像を含む入力画像シーケンスを抽出し、
前記一連の画像のうちの少なくとも1つに対して、点特徴を追跡しかつ点軌跡のセットを維持し、
多視点幾何からの拘束を使用して、各点軌跡に関して移動物体に属すかどうかを判定するための尤度を測定するとともに、
高密度移動物体セグメンテーションを得るために、フレーム全体で条件付き確率場(CRF)を決定する
ためのマシン実行可能コードを備える、非一時的コンピュータ可読記憶媒体。
【請求項２０】
各フレームTに対して、
オプティカルフローおよび点軌跡を計算し、
基礎行列および3焦点テンソルを推定し、
各軌跡に対して、エピポーラ移動オブジェクトネススコアおよび3焦点移動オブジェクトネススコアを計算するとともに、
移動ラベルを決定するために、スーパーピクセルに関して前記CRFを形成するためのコードをさらに備える、請求項１９に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、参照によりその内容の全体がここに組み込まれる、「METHOD AND SYSTEM FOR MOVING OBJECT DETECTION WITH SINGLE CAMERA」という発明の名称で、2015年11月13日に出願された米国仮出願第62/255,289号の優先権を主張する。
【０００２】
本開示の態様は、単一の単眼カメラから撮られたストリーミング映像において移動物体をセグメント化することによって、移動物体を検出するための方法およびシステムに関する。特に、本開示の態様は、複数の時間フレームを含む入力画像シーケンス{I1, I2, I3...It}を取得および解析し、各Itに対して、バイナリマスクYtを決定および出力することに関連し、Yt内の各要素は、対応するピクセルが移動物体に属すか否かを示す。
【発明の概要】
【課題を解決するための手段】
【０００３】
本開示では、オンラインで点特徴を追跡しかつ点軌跡のセットを維持することができる。尤度は、多視点幾何からの拘束を使用して、各点軌跡に関して移動物体に属すかどうかを判定するために測定可能である。さらに、点軌跡から受けた応答に基づいて、条件付き確率場(CRF)がフレーム全体で形成されて、移動物体セグメンテーションを得ることができる。
【０００４】
本開示のこれらの態様の追加の利点および新規な特徴は、以下の説明に部分的に記載されるとともに、以下の説明により、または本開示の実施による学習により、当業者にとって部分的により明らかとなる。
【０００５】
本システムおよび方法の様々な例示的な態様は、以下の図面を参照しながら詳細に説明される。
【図面の簡単な説明】
【０００６】
【図１】本開示の様々な態様による、公道上の移動しているワゴン車、自転車に乗っている人、歩行者を含む様々な移動物体を追跡および検出する例を説明する図である。
【図２】本開示の様々な態様による、エピポーラ拘束の概念および関連する数式を説明する図である。
【図３】本開示の様々な態様による、点軌跡を生成するための、連続したフレーム間の例示的なオプティカルフローを説明する図である。
【図４】本開示の様々な態様による、点軌跡に対するEMS(Epipolar Moving Objectness Score)の例示的な図を説明する図である。
【図５】本開示の様々な態様による、様々な点軌跡に対するEMSの例示的な図および表を説明する図である。
【図６Ａ】本開示の様々な態様による、エピポーラ拘束の結果を示す例示的なスクリーンショットである。
【図６Ｂ】本開示の様々な態様による、エピポーラ拘束の結果を示す例示的なスクリーンショットである。
【図６Ｃ】本開示の様々な態様による、エピポーラ拘束の結果を示す例示的なスクリーンショットである。
【図６Ｄ】本開示の様々な態様による、エピポーラ拘束の結果を示す例示的なスクリーンショットである。
【図６Ｅ】本開示の様々な態様による、エピポーラ拘束の結果を示す例示的なスクリーンショットである。
【図７】本開示の様々な態様による、エピポーラ拘束の縮退ケース(degenerated case)の例示的な図である。
【図８】本開示の様々な態様によれば、3焦点拘束の概念および関連する数式を説明する図である。
【図９Ａ】本開示の様々な態様による、3焦点拘束の結果を示す例示的なスクリーンショットである。
【図９Ｂ】本開示の様々な態様による、3焦点拘束の結果を示す例示的なスクリーンショットである。
【図９Ｃ】本開示の様々な態様による、3焦点拘束の結果を示す例示的なスクリーンショットである。
【図９Ｄ】本開示の様々な態様による、3焦点拘束の結果を示す例示的なスクリーンショットである。
【図９Ｅ】本開示の様々な態様による、3焦点拘束の結果を示す例示的なスクリーンショットである。
【図１０】本開示の様々な態様による、スーパーピクセルに関して条件付き確率場(CRF)を形成する例示的な結果を説明する図である。
【図１１Ａ】本開示の様々な態様による、例示的なモーションセグメンテーションの結果を説明する図である。
【図１１Ｂ】本開示の様々な態様による、例示的なモーションセグメンテーションの結果を説明する図である。
【図１２Ａ】本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。
【図１２Ｂ】本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。
【図１２Ｃ】本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。
【図１２Ｄ】本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。
【図１２Ｅ】本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。
【図１２Ｆ】本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。
【図１２Ｇ】本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。
【図１２Ｈ】本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。
【図１２Ｉ】本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。
【図１３】本開示の様々な態様による、移動物体を検出するための方法を示す例示的なフローチャートである。
【図１４】本開示の様々な態様による、様々なハードウェアコンポーネントおよび他の特徴を表す例示的なシステム図である。
【図１５】本開示の様々な態様による、様々な例示的なシステムコンポーネントの例示的なブロック図である。
【発明を実施するための形態】
【０００７】
本開示のこれらの特徴、他の特徴、および利点は、様々な例示的な態様の以下の詳細な説明において開示されるとともに、そこから理解される。しかし、そのような態様は、それらの特定の詳細がなくとも実施可能であることは確かである。
【０００８】
図1を参照すると、本開示は、単一のカメラによって捕捉されたストリーミング映像内に幾つかある特徴の中で、移動物体(例えば、移動する車両、歩行者、および本質的に何らかの移動物体)を検出するものである。移動物体の検出および運動に基づく追跡は、活動認識、交通モニタリング、および自動車の安全性に重要である。例えば、運転する場合、移動物体は安全性の懸念から通常重要である。また、他の物体によって完全にまたは部分的に遮蔽されて移動物体が見えない場合に、視界遮断(occlusion)が発生し得る。部分的な視界遮断がある場合、静止画像から移動物体を検出するのは難しいことがある。しかし、移動部分が映像において検出される場合、これは視界遮断問題を解決するのに役立つ可能性がある。図1に示されるように、単眼カメラで撮られた映像の各フレームに対して、各移動物体(例えば、左側の移動中のワゴン車、中央の自転車に乗っている人、および右側の歩行者)に対するバイナリマスクまたはセグメントのセットは、移動物体に属すか否かを示す出力であり得る。ここで、処理中の画像と同じサイズのバイナリ画像をバイナリマスクと称し、マスクは、関心領域の一部であるピクセルの全部については1であり、それ以外は0である。本開示の態様によれば、フレーム全体のバイナリマスクが出力であり、各ピクセルは、移動中または静止に分類される。フレームtでこの目標を達成するために、前向きおよび後向きのオプティカルフローフィールドが、フレームtまで計算されて、長期的な点軌跡のセットが形成可能である。各軌跡は、点のセットによって表すことができる。現在のセットにおける軌跡はどれも現在のフレームtで終了する。軌跡が移動物体であるか否かを示す幾何(geometry)に基づいて、各軌跡には、移動オブジェクトネススコア(moving objectness score)が割り当て可能である。各軌跡のスコアは、画像を移動物体領域と静止物体領域とに区分するために使用することができる。
【０００９】
物体が動いている状態(ここでは同じ意味として、移動オブジェクトネス(moving objectness)と称する)は、幾何を使用して測定可能である。例えば、最も基本的なケースにおいて、カメラが厳密に前方向に移動している場合、人々は一般に、全ての静止点がカメラの中心から離れて移動するのが見え、画像中央に消失点(focus of expansion)を有する。移動物体を検出するキューには、多数のキューの中から出現(appearance)およびコンパクト化(compactness)が含まれ得る。例えば、モーションセグメンテーションを扱う上で、点軌跡が抽出可能であり、速度のような性質に基づいてこれらの軌跡に対してクラスタリングが実施可能である。しかし、この手法はクラスタリングを行う一方で、どのクラスタが実際の移動物体に対応するかについての理解が不足している。代替として、後処理を実施して、多数の因子の中から色を検査することによって移動物体を抽出することが可能である。低次元空間にある全ての背景点軌跡とともに、正投影カメラモデルが用いられる仮定に基づいて、部分空間追跡を行うことも可能である。また、局所アフィン変換を前のフレームに適用して、背景差分が追従されるカメラ運動に関して較正を行うことによって、移動物体検出においてエゴモーション補正済み背景差分が行われて、移動マスクを得ることができる。
【００１０】
本開示の態様によれば、選択された幾何的拘束は、運動キューを得るために使用可能であり、特に、物体が静止している状態から移動している状態に、またはその逆に遷移することを考慮する。
【００１１】
【数１】
2017091549.tif 000003
【００１２】
各フレームに関して、スコアをこれらの軌跡に割り当てて、移動物体または静止物体であるかどうかを判定することが可能である。移動オブジェクトネススコアがさらに利用され、画像ドメインを静止物体の領域および移動物体の領域に区分することが可能である。画像シーケンスIにおいて、静止物体の軌跡は、カメラ運動によって導入される幾何的拘束を受けることができる。
【００１３】
幾何的運動拘束には、特に出現のようなキューよりも多くの情報がある。現実の運動キューは、例えば車の移動状態から静止状態への遷移を捕捉する必要がある。
【００１４】
カメラが静止している場合、3Dの点は、像面内の同じ点に投射され、カメラが移動すると、3Dの静止点の投射は、カメラの運動により像面上を移動し、特定の拘束を受ける。このようにして、移動物体を検出するために、より具体的には点軌跡の運動を測定するために、2種類の多視点幾何情報、すなわち、2視点間のエピポーラ拘束、および3視点間の3焦点拘束が使用され得る。異なる視点のシーン内の静止した点の投射のシフトは、カメラ運動によって生じる。シーン内のほとんどの点が静止していると仮定すると、点対応からの相対的なカメラポーズ変化が推定可能である。移動物体上の点は、一般的にそのような推定の異常値であり、故に、点の運動は、どのようにモデルに合うかについて測定され得る。
【００１５】
エピポーラ拘束
図2に示されるように、エピポーラ拘束は、左の画面内の点と右の画面内の線との間のマッピング(逆も同様)を確立することによって、2つの視点間の3Dの静止した点の投射の関係性を記述する。エピポーラ拘束は、2つのカメラ間の基本行列(essential matrix)または基礎行列(fundamental matrix)によって記述される。2つのフレームにおいて静止した点のm個の点対応(point correspondence)を与えると、次の式が層化(stratified)される。
【００１６】
【数２】
2017091549.tif 000004
【００１７】
ここで、fijは、基礎行列の係数を示す。本開示では、図3に示されるように、連続したフレーム間のオプティカルフローが計算されて、点対応を得るとともに高密度で長期にわたる点軌跡を生成することが可能である。シーン内の静止した背景の点に対して、画像シーケンス内の2つの任意のフレームを与えると、次の式が層化される。
【００１８】
【数３】
2017091549.tif 000005
【００１９】
任意の2つのフレームに対して、点軌跡からの対応関係を与えると、Fは、LMEDS(Least Median of Squares)を用いて推定可能である。フレームtにおいて、基礎行列が、フレームτからtまで各フレームのペア間で推定される。幾何学的に、ある視点内の静止した点の投射は、他の視点における投射から由来するエピポーラ線上にある。移動物体に対して、式(1)は一般に、以下でより詳細に論じられる縮退ケース(degenerated case)を除いて維持されない。本開示の態様によれば、図4に示されるように、点対応のペアに対するエピポーラ移動オブジェクトネススコアは、次のようなエピポーラ拘束に基づいて計算可能である。
【００２０】
【数４】
2017091549.tif 000006
【００２１】
距離が長いほど、軌跡が移動物体に属している可能性が高い。フレームtにおいて、点軌跡の現在のセットZtが与えられると、現在のフレームTと、それまでの全フレーム(Itまでのフレーム間に十分な数の点軌跡が存在する限り)と間の8点アルゴリズム(8-point algorithm)およびLMEDSを用いて基礎行列が推定可能である。
【００２２】
【数５】
2017091549.tif 000007
【００２３】
図5に示されるように軌跡の履歴を説明するために、現在のEMS(epipolar moving score、エピポーラ移動スコア)と以前のEMSに基づく2つの測定が定義可能である。第1の測定は、軌跡の全EMSにわたる加重平均、すなわち、次のように定義されるEMSの加重平均(EMSavg)を使用することができる。
【００２４】
【数６】
2017091549.tif 000008
【００２５】
平均エピポーラ移動オブジェクトネススコアに加えて、時間内のエラーφの変化がさらに解析されて、軌跡が移動物体上にある可能性がどの程度か測定可能である。
【００２６】
【数７】
2017091549.tif 000009
【００２７】
この不等式は、その初期位置から持続的に離れる場合に特に維持される。この仮定が限定されるものであると考慮されるとしても、目標物体が観察された初期位置に通常戻らない、都市走行シナリオにおいてはたいていの場合該当する。
【００２８】
【数８】
2017091549.tif 000010
【００２９】
図6A〜6Eは、本開示の態様による、移動物体の検出をもたらす多数の例示的なエピポーラ拘束を説明する。例えば、図6Aでは、左側の走行車両および右側の自転車に乗っている人が、上で論じたエピポーラ拘束を使用して検出および識別可能である。さらに、図6B〜Eの各々では、背景と対比して識別される移動物体だけでなく、各移動物体の移動もリアルタイムに追跡される。
【００３０】
3焦点拘束
しかし、エピポーラ拘束は、特定のタイプの運動(すなわち、物体がカメラと同じ方向に動く場合、より一般的には、物体がエピポーラ平面内を移動する場合)を検出することができない。そのような場合では、特定点がエピポーラ線に沿って動くため、エピポーラ拘束によって検出することができない。これは、図7に示されるような縮退ケース(degenerated case)として認められる。縮退ケースの問題を克服するために、図8に示されるように、3つのフレーム内の静止した点または線の投射の関係を符号化することによって、3視点間の3焦点拘束が使用可能であり、これはテンソルTで表すことができる。3つの点対応に対して、次の拘束が層化される。
【００３１】
【数９】
2017091549.tif 000011
【００３２】
ここで、下付き文字は、その点の3つの座標を符号化し、この方程式は、全てのi, j = 1, 2, 3で成り立つ。2視点の場合とは違って、2視点におけるそれぞれの位置が与えられると、第3の視点における点の位置が決定される。
【００３３】
【数１０】
2017091549.tif 000012
【００３４】
3焦点テンソルは、LMEDSを用いて推定可能であるが、3焦点テンソルのそのような推定は、ノイズが発生しやすい。この問題を解決するため、基礎行列からのエピポールが最初に推定され、3焦点テンソルからのエピポールの拘束は、それらの推定から大きく外れない。エピポーラ拘束の場合とは異なり、現在のフレームtおよびt-ηおよびt-2ηの間の3焦点テンソルが推定される。
【００３５】
【数１１】
2017091549.tif 000013
【００３６】
図9A〜9Eは、本開示の態様による、移動物体の検出をもたらす多数の例示的な3焦点拘束の結果を説明する。例えば、図9Aでは、左側の移動車両および右側の自転車に乗っている人が、上で論じた3焦点拘束を使用して検出および識別可能である。さらに、図9B〜Eの各々では、背景と対比して識別される移動物体だけでなく、各移動物体の移動もリアルタイムに追跡される。
【００３７】
移動物体セグメンテーション
点軌跡に対する移動オブジェクトネス/運動スコアに関する上述の議論を考慮すると、そのような情報は、フレーム全体に伝搬され得る。これは、最初にフレームをセグメント化して、スーパーピクセルを得て、次いで0/1ラベルを用いてスーパーピクセルを分類することによって達成され得る。ここで、1は、スーパーピクセルが移動物体に属すことを示し、0は、スーパーピクセルが静止物体に属すことを示す。そして、対のCRF(pairwise CRF)が、図10に示されるようなスーパーピクセルにわたって構築可能である。
【００３８】
【数１２】
2017091549.tif 000014
【００３９】
Euに対して、現在のフレームの上記の式(1)〜(6)が連結可能である。次に、点軌跡からの応答は、スーパーピクセル内部の全軌跡の中で中央値をとって、各特徴に関してスーパーピクセル内部に軌跡がない場合は、「0」をラベリングすることによってスーパーピクセルに変換可能である。ラベリングの時間的一貫性を維持するために、他の特徴が、点軌跡のラベリングの履歴を符号化する単一のタームに追加可能である。フレームt-1において、スーパーピクセルのラベリングの後、スーパーピクセルのラベルをスーパーピクセル内部の全ての点軌跡に割り当てることによって、点軌跡のラベルが得られる。フレームtにおいて、各スーパーピクセルに対して、スーパーピクセル内部の前景点軌跡の割合が計算されて、スムーズなラベリングが時間的に保障される。代替として、時間的なCRFが形成可能であり、フレームをまたがるスーパーピクセルがリンク可能である。2つのスーパーピクセル間の対の特徴Epは、2つのスーパーピクセルの色およびオプティカルフローヒストグラム間のバタチャリア係数(Bhattacharyya coefficient)から成り得る。この最適化問題において、重みベクトルwuおよびwpは、構造的(structural)サポートベクターマシン(Support Vector Machine, SVM)を通じて学習可能であり、最適化問題は、双対分解(dual decomposition)を通じて解決可能である。
【００４０】
図11A〜11Bは、本開示の様々な態様による、例示的なモーションセグメンテーションの結果を説明する。加えて、図12A〜12Iは、本開示の態様による、移動物体検出の質的結果を示す例示的なスクリーンショットである。追跡データセットは、様々な入力画像シーケンスに関連して確立可能である。本開示は、各物体に対してバイナリラベルを付与して、各物体が移動しているのか否かを示すのを支援することができるものである。
【００４１】
図13は、本開示の様々な態様による、移動物体を検出するための方法1300を説明する例示的なフローチャートである。図13において、本方法はブロック1302で、カメラによって捕捉されたストリーミング映像を取得するステップから開始する。本方法はさらに、ブロック1304で、ストリーミング映像から一連の画像を含む入力画像シーケンスを抽出するステップと、ブロック1306で、一連の画像のうちの少なくとも1つに対して、点特徴を追跡しかつ点軌跡のセットを維持するステップと、ブロック1308で、多視点幾何からの拘束を使用して、各点軌跡に関して移動物体に属すかどうかを判定するための尤度を測定するステップと、ブロック1310で、移動物体セグメンテーションを得るためにフレーム全体で条件付き確率場(CRF)を決定するステップを含む。
【００４２】
図14は、本開示の様々な態様による使用のための、様々なハードウェアコンポーネントおよび他の特徴の例示的なシステム図を表す。本開示は、ハードウェア、ソフトウェア、またはその組み合わせを用いて実施可能であり、1つまたは複数のコンピュータシステムまたは他の処理システムにおいて実装可能である。一態様において、本開示は、ここで説明した機能が実行可能である1つまたは複数のコンピュータシステムに向けられる。そのようなコンピュータシステム1400の一例が図14に示されるとともに、コンピュータシステム1400は、図13の方法1300を行うように実装可能である。
【００４３】
コンピュータシステム1400は、プロセッサ1404のような1つまたは複数のプロセッサを含む。プロセッサ1404は、通信インフラストラクチャ1406(例えば、通信バス、クロスオーバー・バー、またはネットワーク)に接続される。様々なソフトウェアの態様が、この例示的なコンピュータシステムに関して記載される。その記載を読めば、他のコンピュータシステムおよび/またはアーキテクチャを使用する本開示をどのように実施するかは当業者にとって明らかになるであろう。
【００４４】
コンピュータシステム1400は、ディスプレイユニット1430上での表示のために、通信インフラストラクチャ1406(または、図示されていないフレームバッファ)からグラフィック、テキスト、および他のデータを転送するディスプレイインターフェース1402を含むことができる。コンピュータシステム1400は、メインメモリ1408、好適にはランダムアクセスメモリ(RAM)をさらに含み、セカンダリメモリ1410をさらに含むこともできる。セカンダリメモリ1410は、例えば、ハードディスクドライブ1412および/またはリムーバブル記憶ドライブ1414(例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、光ディスクドライブ等)を含むことができる。リムーバブル記憶ドライブ1414は、周知の方法で、リムーバブル記憶ユニット1418からの読み出し、および/またはリムーバブル記憶ユニット1418への書き込みを行う。リムーバブル記憶ユニット1418は、リムーバブル記憶ドライブ1414により読み出され、リムーバブル記憶ドライブ1414への書き込みを行う、フロッピー(登録商標)ディスク、磁気テープ、光ディスク等を表す。上記から分かるように、リムーバブル記憶ユニット1418は、コンピュータソフトウェアおよび/またはデータを格納しているコンピュータ利用可能記憶媒体を含む。
【００４５】
代替的な態様において、セカンダリメモリ1410は、コンピュータプログラムまたは他の命令がコンピュータシステム1400にロードされるのを可能にする他の同様の装置を含んでも良い。そのような装置は、例えば、リムーバブル記憶ユニット1422およびインターフェース1420を含むことができる。そのような例として、プログラムカートリッジおよびカートリッジインターフェース(例えば、ビデオゲーム装置で見られる)、リムーバブルメモリチップ(例えば、消去可能プログラマブルリードオンリーメモリ(EPROM)、またはプログラマブルリードオンリーメモリ(PROM))および関連するソケット、ならびにリムーバブル記憶ユニット1422からコンピュータシステム1400にソフトウェアおよびデータが転送されるのを可能する、他のリムーバブル記憶ユニット1422およびインターフェース1420を含むことができる。
【００４６】
コンピュータシステム1400は、通信インターフェース1424をさらに含むことができる。通信インターフェース1424は、コンピュータシステム1400と外部装置との間でソフトウェアおよびデータが転送されるのを可能にする。通信インターフェース1424の例としては、モデム、ネットワークインターフェース(イーサネット(登録商標)カードのような)、通信ポート、PCMCIA(Personal Computer Memory Card International Association、PCメモリカード国際協会)スロット、およびカード等を含むことができる。通信インターフェース1424を介して転送されるソフトウェアおよびデータは、通信インターフェース1424によって受信可能な、電子信号、電磁気信号、光信号または他の信号であり得る信号1428の形式である。これらの信号1428は、通信路(例えば、チャネル)1426を介して通信インターフェース1424に提供される。通信路1426は信号1428を伝搬し、ワイヤまたはケーブル、光ファイバ、電話回線、セルラーリンク、無線周波数(RF)リンク、および/または他の通信チャネルを使用して実装可能である。本文書において、用語「コンピュータプログラム媒体」および「コンピュータ利用可能媒体」は、リムーバブル記憶装置1480、ハードディスクドライブ1470が内蔵されたハードディスク、および信号1428を記憶する媒体等の媒体を一般に指すために使用される。これらのコンピュータプログラム製品は、ソフトウェアをコンピュータシステム1400に提供する。本開示は、そのようなコンピュータプログラム製品を対象にしたものである。
【００４７】
コンピュータプログラム(コンピュータ制御ロジックとも称される)は、メインメモリ1408および/またはセカンダリメモリ1410に記憶される。コンピュータプログラムは、通信インターフェース1424を介して受信することもできる。そのようなコンピュータプログラムは実行されると、ここで論じされたような本開示の特徴をコンピュータシステム1400で実行可能にする。特に、コンピュータプログラムは実行されると、本開示の特徴をプロセッサ1404で実行可能にする。したがって、そのようなコンピュータプログラムは、コンピュータシステム1400のコントローラを表す。
【００４８】
本開示がソフトウェアを使用して実施される態様において、ソフトウェアは、コンピュータプログラム製品に記憶され、リムーバブル記憶装置1414、ハードドライブ1412、または通信インターフェース1420を使用して、コンピュータシステム1400にロードされ得る。制御ロジック(ソフトウェア)は、プロセッサ1404によって実行されると、ここで説明したような本開示の機能をプロセッサ1404に実施させる。別の態様において、本開示は、例えば、特定用途向け集積回路(ASIC)のようなハードウェアコンポーネントを使用して、ハードウェアにおいて主に実装される。ここで説明された機能を実行するためのハードウェア型マシンの実装は、当業者にとって明らかであろう。
【００４９】
さらに別の態様において、本開示は、ハードウェアおよびソフトウェアの両方の組合せを使用して実装される。
【００５０】
図15は、本開示の態様による、様々な例示的なシステムコンポーネントのブロック図である。図15は、本開示により使用可能な通信システム1500を示す。通信システム1500は、1つまたは複数のアクセッサ1560, 1562(ここでは同じ意味として、1つまたは複数の「ユーザ」とも称される)および1つまたは複数の端末1542, 1566を含む。一態様において、本開示に従って使用されるデータは、端末1542, 1566、例えば、パーソナルコンピュータ(PC)、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、電話装置、もしくは無線装置等の、またはPC、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータのようなサーバ1543に接続される、携帯情報端末(PDA)もしくはハンドヘルド無線装置等の、または、プロセッサおよびデータリポジトリ、ならびに/またはインターネットもしくはイントラネットのようなネットワーク1544およびカップリング1545, 1546, 1564を介した、データのリポジトリへの接続を有する他の装置等を介して、アクセッサ1560, 1562によって入力および/またはアクセスされる。カップリング1545, 1546, 1564は、例えば、有線リンク、無線リンク、または光ファイバリンクを含む。別の態様において、本開示の方法およびシステムは、単一の端末におけるようなスタンドアロン環境において動作する。
【００５１】
本開示の態様上記概略した例示的な特徴とともに説明したが、様々な代替物、修正物、変更物、改良物、および/または実質的等価物は、それらが既知のものであるか、現在予期されるものであるかどうかに関わらずに、当業者にとって明らかなものとなるであろう。したがって、上記説明された本開示の例示的な態様は、限定ではなく例示を意図したものである。それらの趣旨から逸脱しない限り、様々な変更が可能である。したがって、本開示の態様は、既知または後発の代替物、修正物、変更物、改良物および/または実質的等価物の全てを包含することを意図している。
【符号の説明】
【００５２】
1428  信号
【図１】
2017091549.tif 000031
【図２】
2017091549.tif 000032
【図３】
2017091549.tif 000033
【図４】
2017091549.tif 000034
【図５】
2017091549.tif 000035
【図６Ａ】
2017091549.tif 000036
【図６Ｂ】
2017091549.tif 000037
【図６Ｃ】
2017091549.tif 000038
【図６Ｄ】
2017091549.tif 000039
【図６Ｅ】
2017091549.tif 000040
【図７】
2017091549.tif 000041
【図８】
2017091549.tif 000042
【図９Ａ】
2017091549.tif 000043
【図９Ｂ】
2017091549.tif 000044
【図９Ｃ】
2017091549.tif 000045
【図９Ｄ】
2017091549.tif 000046
【図９Ｅ】
2017091549.tif 000047
【図１０】
2017091549.tif 000048
【図１１Ａ】
2017091549.tif 000049
【図１１Ｂ】
2017091549.tif 000050
【図１２Ａ】
2017091549.tif 000051
【図１２Ｂ】
2017091549.tif 000052
【図１２Ｃ】
2017091549.tif 000053
【図１２Ｄ】
2017091549.tif 000054
【図１２Ｅ】
2017091549.tif 000055
【図１２Ｆ】
2017091549.tif 000056
【図１２Ｇ】
2017091549.tif 000057
【図１２Ｈ】
2017091549.tif 000058
【図１２Ｉ】
2017091549.tif 000059
【図１３】
2017091549.tif 000060
【図１４】
2017091549.tif 000061
【図１５】
2017091549.tif 000062
【外国語明細書】
2017091549000001.pdf