(57)【要約】      （修正有）【課題】物体の外観または位置が突然変化した場合に改善された物体追跡方法および装置を提供する。【解決手段】物体追跡装置４００は、同じ物体に対応し且つ不連続である以前の軌跡と以降の軌跡とを有するマッチング軌跡ペアを複数の軌跡から決定するように構成されたマッチング軌跡ペア決定ユニット４０１と、マッチング軌跡ペアに含まれている以前の軌跡と以降の軌跡を結びつけるように構成された結びつけユニット４０２と、を備える。【選択図】図４
2019194857.tif 000002
【特許請求の範囲】
【請求項１】
画像のシーケンスに対する物体追跡装置であって、複数の軌跡が前記画像のシーケンスについて取得されており、前記複数の軌跡の各々が、前記画像のシーケンスに含まれているいくつかの画像内で物体を検出することによって取得され、前記装置は、
マッチング軌跡ペアを前記複数の軌跡から決定するように構成されたマッチング軌跡ペア決定ユニットと、ここで、前記マッチング軌跡ペアが、同じ物体に対応し且つ不連続である以前の軌跡と以降の軌跡とを有し、
前記マッチング軌跡ペアに含まれている前記以前の軌跡と前記以降の軌跡を結びつけるように構成された結びつけユニットと
を備えることを特徴とする物体追跡装置。
【請求項２】
前記マッチング軌跡ペア決定ユニットが、
前記複数の軌跡から少なくとも１つの軌跡ペアを選択するように構成された選択ユニットを備え、ここで、前記少なくとも１つの軌跡ペアの各々が、不連続であり且つそれらの間にあらかじめ定義されたしきい値よりも小さい間隔を有する、以前の軌跡と、以降の軌跡とを有し、
前記マッチング軌跡ペアが、前記少なくとも１つの軌跡ペアから決定されることを特徴とする請求項１に記載の装置。
【請求項３】
前記マッチング軌跡ペア決定ユニットが、
以前の軌跡と以降の軌跡との間の物体類似度を決定して、前記以前の軌跡と前記以降の軌跡が互いとマッチングするかどうかを判断するように構成された類似度決定ユニット
を備えることを特徴とする請求項１に記載の装置。
【請求項４】
前記類似度決定ユニットが、以前の軌跡からの物体領域と以降の軌跡からの対応する物体領域との間の物体類似度を決定して、前記以前の軌跡と前記以降の軌跡が互いとマッチングするかどうかを判断するように構成可能であることを特徴とする請求項３に記載の装置。
【請求項５】
前記物体類似度が、物体に関する外観類似度および動き類似度のうちの少なくとも１つを含み、
前記外観類似度が、終了画像上の前記以前の軌跡からの物体領域と対応する終了画像上の前記以降の軌跡からの物体領域との間の、色ヒストグラム距離、テクスチャ距離のうちの１つによって測定され、
前記動き類似度が、少なくとも１つの特定の画像上での前記以前の軌跡からの物体領域と前記以降の軌跡からの物体領域との間の重なり比率に基づいて測定されることを特徴とする請求項４に記載の装置。
【請求項６】
前記特定の画像が、前記以前の軌跡および以降の軌跡のうちのどちらかの終了画像であり、
前記類似度決定ユニットが、前記特定の画像を含む、前記以前の軌跡および前記以降の軌跡のうちの一方の前記特定の画像上の前記物体領域と、他方の軌跡に続いて予測される前記特定のフレーム上の他方の軌跡の予測物体領域との間の重複比率に基づいて、前記動き類似度を決定するように構成されることを特徴とする請求項５に記載の装置。
【請求項７】
前記少なくとも１つの特定の画像が、前記以前の軌跡と前記以降の軌跡との間の少なくとも１つのインターバル画像であり、
前記類似度決定ユニットが、前記少なくとも１つのインターバル画像間の重複画像の数と前記インターバル画像の数との間の比率に基づいて前記動き類似度を決定するように構成され、重複画像が、前記以前の軌跡および前記以降の軌跡からの物体領域の前記重複比率が第２の所定のしきい値よりも大きい画像を意味することを特徴とする請求項５に記載の装置。
【請求項８】
前記少なくとも１つのインターバル画像が、前記以前の軌跡および前記以降の軌跡の両方に存在する、または、
前記少なくとも１つのインターバル画像が前記以前の軌跡および前記以降の軌跡のどちらにも存在せず、インターバル画像上の前記以前の軌跡および前記以降の軌跡の各々の物体領域が、前記軌跡に続いて予測される予測物体領域であることを特徴とする請求項７に記載の装置。
【請求項９】
前記結びつけユニットが、
前記以前の軌跡と前記以降の軌跡を結びつけるように、物体追跡情報を取得するために、前記以前の軌跡および前記以降の軌跡のうちの少なくとも１つに基づいて前記以前の軌跡と前記以降の軌跡との間の欠落画像上の少なくとも物体領域を補間するように構成された補間ユニット
を備えることを特徴とする請求項１に記載の装置。
【請求項１０】
前記結びつけユニットが、
前記以前の軌跡と前記以降の軌跡を結びつけるように、物体追跡情報を取得するために、前記以前の軌跡および前記以降の軌跡のうちの一方の終了画像に基づいて、前記以前の軌跡と前記以降の軌跡との間の欠落画像上の少なくとも物体領域を補間するように構成された補間ユニットを有し、前記以前の軌跡および前記以降の軌跡のうちの他方は前記終了画像を含まない
ことを特徴とする請求項９に記載の装置。
【請求項１１】
前記結びつけユニットが、
前記以前の軌跡と前記以降の軌跡を結びつけるように、前記以前の軌跡および前記以降の軌跡との間の少なくとも１つのインターバル画像のうちの１つの画像ならびに前記以前の軌跡および前記以降の軌跡に基づいて、前記以前の軌跡と前記以降の軌跡との間の欠落画像上の少なくとも物体領域を補間するように構成された補間ユニット
を備え、
前記１つの画像が、前記以前の軌跡の物体領域と前記以降の軌跡の物体領域との間の前記重なり比率が最大である画像であることを特徴とする請求項９に記載の装置。
【請求項１２】
軌跡ペア内の以前の軌跡および以降の軌跡が不連続であり、前記以前の軌跡の最後のフレームが、所定の数の画像上での物体検出結果と関連づけられておらず、前記以降の軌跡が、前記所定の数の画像に含まれる１つの画像から生成されることを特徴とする請求項１に記載の装置。
【請求項１３】
画像のシーケンスに対する物体追跡方法であって、複数の軌跡が前記画像のシーケンスについて取得されており、前記複数の軌跡の各々が、前記画像のシーケンスに含まれているいくつかの画像内で物体を検出することによって取得され、前記方法は、
マッチング軌跡ペアを前記複数の軌跡から決定する決定工程と、ここで、前記マッチング軌跡ペアが、同じ物体に対応し且つ不連続である以前の軌跡と以降の軌跡とを有し、
前記マッチング軌跡ペアに含まれている前記以前の軌跡と前記以降の軌跡を結びつける結びつけ工程と
を含むことを特徴とする物体追跡方法。
【請求項１４】
少なくとも１つのプロセッサと、
命令が記憶された少なくとも１つの記憶装置とを備え、前記命令が、実行されるとき、請求項１３に記載の方法を前記少なくとも１つのプロセッサに実行させる
ことを特徴とするデバイス。
【請求項１５】
命令が記憶された非一時的な記憶デバイスであって、前記命令は、実行されるとき、請求項１３に記載の方法を、少なくとも１つのプロセッサに実行させることを特徴とする記憶デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体追跡に関し、特に、映像追跡における物体追跡に関する。
【背景技術】
【０００２】
映像追跡は、通例、ある期間にわたって複数の画像内の対象物体を識別するために使用される。映像追跡では、各画像内の物体は、対象物体の検出結果を取得するために検出されることになり、次いで、検出結果は、対象物体に対する追跡を取得するために組み合わされる。通常、検出中に、物体は、ＩＤが割り当てられ、同じＩＤをもつ物体の検出結果は、物体の軌跡を取得するために使用可能である。
【０００３】
近年、追跡は、監視分析、行動認識などのさまざまな適用例にとって重要になってきている。そのような追跡シナリオでは、同じ人間は常に同じＩＤが割り当てられるものとすることは注目に値し、同じ人間が、異なるＩＤが与えられる場合、それは、人間の行動に関する分析の誤解を引き起こす場合があり、人間のための軌跡が見失われる場合がある。
【０００４】
そのうえ、最新の技術では、１つの画像内の物体の検出結果を以前の軌跡と関連づけて以前の軌跡を更新し、この関連づけは常に、画像内の物体の外観または位置に依拠する。しかしながら、物体の外観または位置が突然変化したとき、そのような物体は見失われ、以前の軌跡が終了および除去されるであろうことが起こり得る。たとえば、ある人間が画像内でその姿勢または動く方向を突然変更したとき、外観または位置は、その人間が行方不明になるように大いに変化する場合がある。そのうえ、その人間は、前者の軌跡が終了および除去されるので、異なるＩＤをもつ別の人間として追跡される場合すらある。
【０００５】
したがって、物体追跡の改善が依然として必要とされている。
【０００６】
このセクションにおいて説明される手法は、遂行可能な手法であるが、必ずしも、以前に考案または遂行されている手法ではない。したがって、別段示されない限り、それらが単にこのセクションに含まれていることによって、このセクションにおいて説明される手法のいずれも、従来技術と見なされると仮定されるべきではない。同様に、１つまたは複数の手法に関して識別される問題は、別段示されない限り、このセクションに基づいて任意の従来技術において認識されていると仮定するべきでない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、従来技術における技術的課題に鑑みて提案され、改善された物体追跡技術を提供する。
【課題を解決するための手段】
【０００８】
本開示は、軌跡−軌跡関連づけによる改善された物体追跡を提案する。原理上、軌跡−軌跡関連づけは、複数の画像上の２つの軌跡を比較し、すなわち、複数の画像上の軌跡に関して、本開示は、それに対して、１つの画像上の物体ではなく複数の画像上の物体を関連づけ、より高い精度およびロバストネスをもたらす。
【０００９】
一態様では、本開示は、画像のシーケンスに対する物体追跡装置であって、複数の軌跡は画像のシーケンスについて取得されており、複数の軌跡の各々は、画像のシーケンスに含まれるいくつかの画像内で物体を検出することによって取得される、物体追跡装置を提供する。装置は、マッチング軌跡ペアを複数の軌跡から決定するように構成されたマッチング軌跡ペア決定ユニットと、ここで、マッチング軌跡ペアは、同じ物体に対応し且つ不連続である以前の軌跡と以降の軌跡とを有し、マッチング軌跡ペアに含まれる以前の軌跡と以降の軌跡を結びつけるように構成された結びつけユニットと、を備える。
【００１０】
別の態様では、本開示は、画像のシーケンスに対する物体追跡方法であって、複数の軌跡は画像のシーケンスについて取得されており、複数の軌跡の各々は、画像のシーケンスに含まれるいくつかの画像内で物体を検出することによって取得される、物体追跡方法を提供する。この方法は、マッチング軌跡ペアを複数の軌跡から決定するマッチング軌跡ペア決定工程と、ここで、マッチング軌跡ペアは、同じ物体に対応し且つ不連続である以前の軌跡と以降の軌跡とを有し、マッチング軌跡ペアに含まれる以前の軌跡と以降の軌跡を結びつける結びつけ工程と、を含む。
【００１１】
さらに別の態様では、本開示は、少なくとも１つのプロセッサと、命令が記憶された少なくとも１つの記憶装置であって、この命令は、実行されるとき、本明細書において説明される方法を少なくとも１つのプロセッサに実行させる、記憶装置とを備えるデバイスを提供する。
【００１２】
さらに別の態様では、本開示は、命令が記憶された非一時的な記憶デバイスであって、この命令は、実行されるとき、本明細書において説明される方法を少なくとも１つのプロセッサに実行させる、記憶デバイスを提供する。
【００１３】
本発明のさらなる特徴的な特徴および利点は、図面を参照しながら、以下の説明から明らかになるであろう。
【００１４】
本明細書に組み込まれ、その一部を構成する添付の図面は、本発明の実施形態を示し、説明とともに、本発明の原理を説明する働きをするが、これらに限定されない。図において、同様の参照番号は、同様の事項を示すために使用される。
【図面の簡単な説明】
【００１５】
【図１】従来技術における物体検出および追跡プロセスを示す。
【図２】コンビニエンスストア内にいる人間の一例を示す。
【図３】本開示の追跡効果例を概略的に示す。
【図４】本開示による物体追跡装置の概略的なブロックビューを示す。
【図５】例示的な頭部−肩領域を物体領域として示す。
【図６】本開示による軌跡のカテゴリを示す。
【図７】本開示の例示的な物体領域予測を示す。
【図８】本開示の例示的な重複比率計算を示す。
【図９】本開示による物体追跡方法を示す。
【図１０】本開示の第１の例示的な実施形態による物体追跡方法のフローチャートを示す。
【図１１】スライディングウィンドウベース検出のフローチャートを示す。
【図１２】例示的な分類器を示す。
【図１３】検出−軌跡ペア間の関連づけのフローチャートである。
【図１４】本開示の第１の実施形態の例示的な類似度決定を示す。
【図１５】軌跡の関連づけ後の軌跡状態の更新を示す。
【図１６】本発明の一方向性軌跡関連づけの効果を示す。
【図１７】本開示の第２の例示的な実施形態の双方向性軌跡関連づけが適切であるケースを示す。
【図１８】本開示の第２の例示的な実施形態による物体追跡のフローチャートを示す。
【図１９】インターバル画像上の双方向性の動きが予測される矩形と、対応する計算される重なり画像比率値を示す。
【図２０】インターバル画像上の双方向性の動きが予測される矩形と、対応する計算される重なり画像比率値を示す。
【図２１】インターバル画像についての再予測位置の一例である。
【図２２】本開示の第３の例示的な実施形態のフローチャートを示す。
【図２３】本開示の代替実施形態のフローチャートを示す。
【図２４】本発明の実施形態を実施することができるコンピュータシステムの例示的なハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
物体検出および追跡に関する例示的な可能な実施形態が、本明細書において説明される。以下の説明では、説明の目的で、本発明の詳細な理解を提供するために多数の具体的な詳細が記載されている。しかしながら、本発明がこれらの具体的な詳細なしに実施され得ることは明らかであろう。他の事例では、よく知られている構造およびデバイスは、本発明を不必要に閉ざす、不明瞭にする、または混乱させることを避けるために、余すところなく詳細に説明されない。
【００１７】
ほとんどの追跡システムでは、画像上での物体検出結果と軌跡との間の関連づけは、主要なステップである。成功した関連づけは、人々の識別情報の変更を避けるために、物体検出結果を、それらの対応する正しい軌跡に割り当てることができる。従来の追跡解決策は、「Ｖｉｄｅｏ  ｓｕｒｖｅｉｌｌａｎｃｅ  ｓｙｓｔｅｍ  ｗｉｔｈ  ｃｏｎｎｅｃｔｉｏｎ  ｐｒｏｂａｂｉｌｉｔｙ  ｃｏｍｐｕｔａｔｉｏｎ  ｔｈａｔ  ｉｓ  ａ  ｆｕｎｃｔｉｏｎ  ｏｆ  ｏｂｊｅｃｔ  ｓｉｚｅ」という名称の米国特許出願第ＵＳ２００５０１０５７６４Ａ１号に開示されており、同特許出願は、参照により全体として本明細書に組み込まれる。
【００１８】
図１は、従来技術の物体検出および追跡プロセスを示すフローチャートであり、このプロセスは、いわゆる軌跡−検出結果関連づけ方式を利用する。
【００１９】
図１に示されるように、新しい画像（ｔ）に対して、追跡が、以前のｔ−１画像上で取得された軌跡および新しい画像（ｔ）上での検出結果に基づいて実行されるであろう。最初に、ステップＳ１において、画像（ｔ）に関する物体検出結果が物体検出器によって取得され、次いで、ステップＳ２に示されるように、以前の画像ｔ−１上の軌跡と画像（ｔ）上の検出結果との間の関連づけが実行される。関連づけを行うために、プロセスは、物体検出結果−軌跡ペアの接続確率を計算する。各検出結果および軌跡ペアは、すぐ前の画像（ｔ−１）上での検出された物体のうちの特定の１つと特定の既存の軌跡とを備える。接続確率は、物体速度および画像パッチ類似度の関数である。第３に、ステップＳ３に示されるように、軌跡は、各画像上の検出−軌跡ペア接続結果に基づいて、マージ、分割、または終了可能であり、軌跡状態は、それに応じて更新可能である。次いで、画像（ｔ）までの追跡結果が取得可能である。
【００２０】
従来技術におけるこのプロセスの主な課題は、検出と軌跡との間の連続的な関連づけ失敗は、終了された軌跡につながる場合があり、したがって、同じ人間が、再び検出されても、異なるＩＤと提携され、物体軌跡が正確に実行できない、ことである。
【００２１】
以下では、そのような課題が、コンビニエンスストア内の人間の動きの一例を示す図２を参照しながら、明確に説明される。
【００２２】
図２に示されるように、人間が、コンビニエンスストアの中を歩いている。追跡システムは、最初に人間を検出して、その人間に関する軌跡を作成する。ある一定の連続した画像内での成功した関連づけの後、軌跡は、追跡ＩＤ０が割り当てられる。しかし、人間が、商品を取るために棚の前でしゃがみこむとき、その人間は、数個以上の連続した画像にわたって追跡を失う。ＩＤ０をもつ軌跡は終了され、軌跡リストから除去される。最後に、その人間は、立ち去るとき、ＩＤ１をもつ全く新しい人間として扱われる。しかしながら、同じ人間に対して、ＩＤが０から１に変化し、人間の活動全体、さらには商品に対する興味も分析することは困難である。
【００２３】
そのようなケースの場合、主に３つの理由が存在し得る。
【００２４】
１）人間のポーズは大いに変化する場合があるので、訓練サンプルでは難しい姿勢はまれであるから、検出器は、人間を検出するのに失敗する。そして、関連づけアルゴリズムは、外観の相違によっても、うまくいかない。
【００２５】
２）動き方向が大いに変化するので、画像内の人間の検索領域は、緩やかに変動する場合があり、したがって、検出器は、検索領域内で何も見つけない場合もあれば、または別の人間を検出する場合もある。
【００２６】
３）従来技術では、人間が、ある一定の連続した画像内で追跡を失った後、前の軌跡は終了および除去されるであろう。しかしながら、軌跡を余りにも早く終了させると、ある人間を遡って見つけることが困難になる。
【００２７】
上記の課題を解決するために、本開示は、軌跡−軌跡関連づけによる改善された物体追跡を提供する。軌跡−軌跡関連づけは、特に、失われた／終了された軌跡を遡って見つけることができ、したがって、より高い精度の物体追跡を達成することができる。
【００２８】
より具体的には、本開示では、従来技術において、ある一定の画像内での物体検出を失うことにより終了され、失われた軌跡と見なされることが意図されている以前の軌跡に対して、そのような軌跡は保留中状態として割り当てられ、除去される代わりに、ある継続時間保持され、次いで、そのような保留中の軌跡は、新しく生成された軌跡と結びつけられる。動作中、保留中の軌跡は、この保留中の軌跡と新しく生成された軌跡が同じ人間に属するかどうかを判断するために、新しく生成された軌跡と比較される。これらの軌跡が互いとマッチングする、すなわち、これらの軌跡が同じ人間に属するケースでは、２つの軌跡が接続され、したがって、追跡結果および軌跡状態が改訂される。この比較は、軌跡類似度に基づくことができ、軌跡類似度は、外観、時間、位置、動き情報を結びつけることによって、または他の様式によって測定可能である。
【００２９】
図３は、本開示の追跡効果例を概略的に示す。図３に示されるように、図２と比較すると、本開示では、追跡システムは、大きな姿勢／動きの変化が起こったときでさえ、一時的で断続的な軌跡を取り扱うことができる。
【００３０】
そのような保留中状態の割り当ては、いくつかの軌跡が余りにも早く終了されることを回避することができ、したがって、より効果的な情報が回復可能であり、より正確な追跡結果が取得可能である。それによって、人のＩＤの変更は、人々が大きな変形を有するときでさえ、減少可能である。たとえば、行方不明の人は、少数の画像の後、同じＩＤを用いて再度追跡可能である。さらに、本開示は、物体に対するより包括的で正確な追跡を達成することができる。
【００３１】
本開示は、物体検出および追跡に関し、単一の物体に限定されず、複数の物体検出および追跡にも適している。物体は、人間、動いている動物、車両などの、任意の移動可能なものとすることができる。本開示は、多くの物体／人々が存在する適用例シーンで有用であり、特に、客が商品を取るために大きな変形を有するショッピングのシーン、ならびに類似のシーンに適している。適用例環境に関して、本開示は、オフライン映像処理、またはオンライン処理のための遅延をもつ出力に適している。
【００３２】
以下では、本開示の実施形態が詳細に説明される。説明の文脈では、「画像」は、画像が、映像の画像フレームなどの任意の適切な形式とすることができることを意味し、したがって、ある程度、「画像」は「フレーム」、「画像フレーム」と交換可能であり得ることに留意されたい。
【００３３】
いくつかの実施形態によれば、本開示は、画像のシーケンスについての物体追跡装置であって、複数の軌跡は画像のシーケンスについて取得されており、複数の軌跡の各々は、画像のシーケンスに含まれるいくつかの画像内で物体を検出することによって取得される、物体追跡装置を提供する。
【００３４】
図４は、本開示の実施形態による装置の概略的なブロックを示す。図４に示されるように、装置４００は、マッチング軌跡ペアを複数の軌跡から決定するように構成されたマッチング軌跡ペア決定ユニット４０１と、ここで、マッチング軌跡ペアは、同じ物体に対応し且つ不連続である以前の軌跡と以降の軌跡とを有し、マッチング軌跡ペアに含まれる以前の軌跡と以降の軌跡を結びつけるように構成された結びつけユニット４０２とを備える。
【００３５】
マッチング軌跡ペアユニット４０１および結びつけユニット４０２は、説明されるような機能を達成することができる限り、ソフトウェアモジュール、ハードウェア構成要素、ファームウェアなどのさまざまな様式で、実施可能である。
【００３６】
そのうえ、装置４００は、任意の数の画像上の物体に対する任意の以前の軌跡および検出結果を記憶するための記憶デバイスをさらに含むことができ、軌跡は、その対応する画像、特にその開始画像および最後の画像、ならびに画像上の対応する物体領域とともに記憶可能である。そのうえ、記憶された軌跡は、容易な検索およびペアリングのために対応するインデックスが割り当て可能であり、記憶された軌跡は、以下で詳細に説明される対応する状態がさらに割り当て可能である。そのような記憶デバイスは、あるいは、装置４００の外部に配置可能であることに留意されたい。
【００３７】
複数の軌跡の各々は、画像のシーケンスに含まれるいくつかの画像内で物体を検出することによって取得され、たとえば、ある物体に対して、対応する軌跡が、物体領域の中心または物体領域の他の特定のポイントなどの、物体に関連する画像上の物体領域を接続することによって、取得可能である。そのようないくつかの画像は、連続した画像とすることができ、したがって、連続した画像上で物体領域を検出し、上記で説明された従来技術における物体検出結果のように、物体検出結果を接続することによって、軌跡が生成される。あるいは、そのようないくつかの画像は、離散画像とすることができ、したがって、離散画像上での物体検出に加えて、隣接する離散画像間の画像上の物体領域は、離散画像上の物体結果または以前の軌跡および以降の物体結果によって補間可能であり、次いで、軌跡は、離散画像上の物体領域ならびに新しく補間された物体領域に基づいて生成可能である。補間は、当技術分野におけるさまざまな様式によって実施可能であり、したがって、その詳細な説明は、本明細書では省略される。
【００３８】
画像内の物体検出に関して、物体の代表的な部分は、検出のための物体領域として利用可能である。人間を一例として見なすと、人間の頭部−肩は、図５に示されるように、検出物体と見なされ得る。顔領域などの、他の物体または物体領域も使用可能である。そのような物体領域は、さまざまな技術によって検出可能であり、たとえば、物体検出器は、スライディングウィンドウベースまたは特徴ベースなどとすることができる。
【００３９】
画像シーケンスは、通常、時間的に並べられ、軌跡は画像シーケンスに対応し、同様に時間的に並べられ得る。時間的により早い軌跡は、以前の軌跡と呼ばれることがあり、時間的により遅い軌跡は、以降の軌跡と呼ばれることがある。以前の軌跡および以降の軌跡は通常、互いから分離され、通常、以前の軌跡と以降の軌跡の間には、検出結果がこの２つの軌跡と関連づけられない少なくとも１つの画像が存在する。あるいは、そのような以前の軌跡および以降の軌跡は、いくつかの画像フレーム上で共存することができるが、識別切り換えなどのいくつかの理由により、そのような２つの軌跡は断続的であり、そのような画像フレーム上で互いから分離される。
【００４０】
いくつかの実施形態によれば、画像シーケンスから取得された複数の軌跡は、軌跡リストに記憶可能であり、その複数の軌跡の状態は、図６に示されるように、軌跡状態管理によって管理可能である。
【００４１】
軌跡は、状態に従って管理される。主に、４つの状態、未検証、検証済み、保留中、および終了がある。状態は、軌跡と検出結果との間の関連づけ結果に従って送られる。終了された軌跡は、最終的に、軌跡処理リストから除去される。他の状態をもつ軌跡は、軌跡処理リストに保有される。
【００４２】
図６に示されるように、検出されることになる画像に対して、検出結果が、以前の軌跡と関連づけられるのに成功できなかった場合、未検証状態の新しい軌跡（すなわち、現在の画像内の検出結果）が作成される。すなわち、未検証軌跡は、新しく検出された物体などの、Ｔ１個の連続した画像フレームよりも少ないまたはこれに等しい現在の画像の前に処理された連続した画像内でその軌跡と関連づけられた物体が検出されている軌跡である。物体が、Ｔ１回よりも多く同じ軌跡と関連づけられた場合（ルール（１））、軌跡は、未検証から検証済みに変わる。しきい値Ｔ１は、検出または再識別において偽陽性（false positives）を減少させて、検証済み軌跡と間違えられるのを回避する助けとなることができる。たとえば、２５ｆｐｓの映像を考えると、Ｔ１＝４である。
【００４３】
より詳細には、新しい物体が画像フレーム内で最初に検出されるとき、そのような物体に対して新しい軌跡が作成され、未検証状態として割り当て可能であり、次いで、そのような物体が、Ｔ１個の連続した画像フレーム内で検出可能である場合のみ、そのような軌跡は、検証済み状態に変換可能である。
【００４４】
そうでない場合、軌跡は、終了された軌跡になる。軌跡が少なくとも１つの画像にわたって未検証を保つ場合（ルール（２））、それは、未検証から終了に送られ、次いで、軌跡リストから除去される。通常、Ｔ０＝１である。すなわち、軌跡が未検証状態になることから始まって、軌跡に関係する物体がＴ０個の連続した画像フレーム内で検出不可能な場合、そのような軌跡は不安定と考えられ、終了および除去される。
【００４５】
検証済み軌跡が、連続したＴ２個の画像にわたって関連づけられるのに失敗したとき（ルール（３））、従来技術における軌跡のように軌跡を即時に終了させる代わりに、保留中状態の軌跡にラベル付けする。たとえば、２５ｆｐｓの映像を考えると、Ｔ２＝４である。そうでない場合、検証済み状態の軌跡が依然として関連づけられる場合（ルール（４））、軌跡は、検証済みを保つ。
【００４６】
保留中の軌跡が、Ｔ３個の画像内で新しく検証された軌跡と関連づけ可能である場合（ルール（５））、新しく検証された軌跡は、終了状態に設定され、軌跡リストから削除されるが、保留中の軌跡は、軌跡の更新中に再び検証済みに送られる。保留中の軌跡が、Ｔ３個の画像内で新しく検証された軌跡と関連づけ不可能である場合（ルール（６））、保留中の軌跡は、終了に設定され、軌跡リストから除去される。軌跡を余りにも遅く終了させることによって、物体検出を誤った軌跡に関連づけさせる場合があることを考慮すると、２人の異なる人々の類似した外観により、ここで２５ｆｐｓの映像を考えると、Ｔ３＝１００をとる。
【００４７】
従来技術とは対照的に、本発明者らの軌跡関連づけプロセスは、保留中状態を追加して、関連づけに失敗した軌跡が余りにも早く終了させるのを回避し、次いで、遡って保留中の軌跡に対する人間を見つけようとする。保留中状態の使用によって、従来技術における物体検出と軌跡との間の関連づけに加えて、本開示は、軌跡−軌跡関連づけを行う。動作中、新しく検証された軌跡および保留中の軌跡は、入力軌跡リスト内の軌跡ペアとして選択され、次いで、軌跡−軌跡関連づけが、マッチング軌跡ペアに属するかどうかを判断するために軌跡ペアに対して実行され、これは、マッチング軌跡ペア決定とも呼ばれ得る。
【００４８】
本開示の文脈では、以前の軌跡は、保留中の軌跡とすることができ、以降の軌跡は、以降の検証済み軌跡とすることができる。一実施形態として、以前の軌跡は、以前の画像フレームに基づいて生成された軌跡であるが、その最後のフレームは、少なくとも所定の時間（継続時間）内に、すなわち、少なくとも所定の数の画像フレーム上で、検出結果と関連づけられておらず、このことは、以前の軌跡が少なくとも継続時間、保留中状態で保持されていることを意味する。以降の軌跡は、所定の時間内に、すなわち、所定の数の画像フレームに含まれる任意の画像から始まる、新しく生成された軌跡である。たとえば、以前の軌跡は、すべての画像フレームが検出されるまで、常に保持可能である。別の例として、以前の軌跡は、ある継続時間内に保留中状態で保持可能であり、そのような継続時間において、新しい検証済み軌跡が生成されない場合、以前の軌跡は、終了および除去される。さらに別の例として、継続時間内に、軌跡が新しく生成された場合、それが未検証軌跡である場合すら、以前の軌跡は保留中状態で保持され、そのような新しく生成された軌跡はトレースされ、そのような軌跡が検証済み軌跡になる場合、それは、以降の軌跡になり、以前の軌跡とともに軌跡ペアを形成する。
【００４９】
本開示によれば、マッチング軌跡ペア決定は、さまざまな様式で実行可能である。一実施形態によれば、そのような決定は、所定の時間間隔で実行可能である。より詳しくは、所定の時間ごとに、そのような決定は、存在する複数の軌跡に対して実行可能であり、軌跡のペアは、それらが互いとマッチングするかどうか決定可能である。次いで、軌跡の状態は更新可能である。画像のシーケンスは、通常、時間的に並べられるので、そのような所定の時間も、上記で説明されたように、Ｔ３個の画像などの所定の数の画像に対応する。そのうえ、上記で説明されたような軌跡状態を考慮して、そのようなマッチング決定のための軌跡のペアは、保留中の軌跡（以前の軌跡）および新しく検証された軌跡（以降の軌跡）からなる。
【００５０】
動作中、マッチング軌跡ペア決定は、保留中の軌跡と新しく検証された軌跡が軌跡リスト内にあるかどうかを最初にチェックする。そうである場合、保留中の軌跡および新しく検証された軌跡をランダムにまたは順序正しく選定する。たとえば、軌跡は、時間によって軌跡リストへと追加されるので、軌跡リスト内の第１の保留中の軌跡および最後の新しく検証された軌跡をとる。これは、最も古い保留中の軌跡が終了させられることから救う助けとなる場合がある。この軌跡ペアが失敗した場合、保留中の軌跡とともに軌跡リスト内の最後から２番目の新しく検証された軌跡を別の軌跡ペアと見なす。軌跡ペアがマッチングされるのに成功し、接続され、更新された場合、そのような軌跡ペアが存在しなくなるまで、軌跡ペアを選択することを繰り返す。
【００５１】
別の実施形態によれば、そのような決定は、軌跡の状態変化によってトリガ可能である。たとえば、そのような決定は、新しく生成された検証済み軌跡が発生すると、実行可能である。より詳しくは、軌跡が新しく生成され、検証されるとき、そのような新しく生成された軌跡は、以前の軌跡と新しく生成された軌跡とのマッチングが存在するかどうかを知るために、以前の保留中の軌跡と関連づけようとし、次いで、結果に基づいて、軌跡の状態が適応的に更新可能である。
【００５２】
そのうえ、いくつかの選択ルールは、処理スピードを加速させるために、フィルタとして適用可能である。
【００５３】
一実施形態によれば、本開示の装置４００は、複数の軌跡から少なくとも１つの軌跡ペアを選択するように構成された選択ユニット４０３をさらに含んでよく、ここで、この少なくとも１つの軌跡ペアの各々は、不連続であり且つそれらの間にあらかじめ定義されたしきい値よりも小さい間隔を有する、以前の軌跡と、以降の軌跡とを有し、マッチング軌跡ペアは、少なくとも１つの軌跡ペアから決定される。
【００５４】
そして、以前の軌跡と以降の軌跡との間の間隔は、以前の軌跡と以降の軌跡の間の画像の数を意味し、特に、以前の軌跡の最後の画像と以降の軌跡の開始画像との間の画像の数を意味し、この数は、シーケンスの画像は時間的に並べられるので、そのような２つの画像間のインデックス差によって測定可能である。あらかじめ定義されるしきい値は、処理精度および遅延を考慮して設定されてもよい。あらかじめ定義されるしきい値が大きいほど、より多くの保留中の軌跡が記憶される必要があり、処理遅延は比較的大きい場合がある。あらかじめ定義されるしきい値が小さいほど、軌跡は、より正確かつ速やかに更新可能である。たとえば、あらかじめ定義されたしきい値は、上記で説明された決定のための所定の間隔、または以前の軌跡のための保留中状態を保持するための継続時間もしくは所定の数の画像フレームよりも小さいまたはこれと等しくてよい。
【００５５】
そのようなケースでは、選択ルールは、２つの軌跡間の間隔を意味する。そのような選択によって、そのようなマッチング軌跡ペア決定は、すべての既存の軌跡に対して実行可能ではないが、その各々が互い隣接した２つの軌跡を含んでよい少なくとも１つの軌跡ペアに対しては実行可能であり、そのような２つの軌跡は同じ人間である大きな可能性を有し、隣接することは、新しく検証された軌跡の開始画像と保留中の軌跡の最後の画像との間の絶対的な画像インデックス差が、１００個の画像などの、所定のしきい値未満であることを意味する。これは、以前の軌跡が長時間にわたって断続的であるべきでないことを示す。それによって、そのような決定の処理効率はさらに改善可能であるが、精度は実質的に影響されない。一例として、選択されない保留中の軌跡は、それは、そのような軌跡が余りにも長い時間断続的であり、通常は失われることを意味するので、終了として設定され、除去されるであろう。
【００５６】
新しい軌跡が生成および検証されると決定が実行されるケースに関して、軌跡の保留中状態は、所定の数の画像にわたって保持可能であり、新しい検証済み軌跡が所定の数の画像中に生成される場合、新しく検証された軌跡は、それらがマッチングするかどうかを判断するために以前に検証された軌跡と結びつけられようとすることができ、この時点から、所定の数の画像は、軌跡ペアを選択するためのしきい値として考慮可能であり、新しく検証された軌跡および以前の検証済み軌跡は、その間隔が所定のしきい値よりも小さい軌跡ペアと見なされ得る。
【００５７】
別の実施形態によれば、追跡についての物体のサイズに関係する別のルールが利用可能である。より詳しくは、ルールは、２つの軌跡の物体のサイズの差が所定の比率Δよりも小さい場合である。たとえば、追跡されることになる人間に対して、人間の頭部−肩矩形は、検出のための物体領域を表し、頭部−肩矩形のサイズは、矩形の面積、辺長などの、物体のサイズを示すことができる。一例として、頭部−肩矩形の幅および高さの差は、別個に比較可能であり、幅または高さによって除算された両方の長さの差は、Δよりも小さくなるべきである。この実施形態では、選択された軌跡ペアがこのルールを満たすことを必要とする。ここでは、Δを０．４に設定する。
【００５８】
マッチング決定のための軌跡ペアの数が適切に減少可能であり、処理負荷が減少可能である限り、上記に限定される代わりに、他の種類のルールが利用可能であることに留意されたい。
【００５９】
選択ユニット４０３は、説明されるような機能を達成することができる限り、ソフトウェアモジュール、ハードウェア構成要素、ファームウェアなどのさまざまな様式で、実施可能である。そのような選択ユニットは、マッチングペア決定ユニット４０１に含まれることが可能であり、一代替形態として、そのような選択ユニットは、マッチングペア決定ユニット４０１の外部に、および物体追跡装置の外部にさえ、配置可能である。
【００６０】
本開示では、２つの軌跡が互いとマッチングするかどうかは、２つの軌跡間の軌跡類似度によって決定可能である。少なくとも１つの軌跡ペアから、あらかじめ定義されたしきい値を超える最高の軌跡類似度をもつ軌跡ペアは、マッチングすると見なされる。すなわち、その軌跡ペアは、同じ人間に属する。
【００６１】
本開示の実施形態によれば、マッチング軌跡ペア決定ユニットは、以前の軌跡と以降の軌跡との間の物体類似度を決定して、以前の軌跡と以降の軌跡が互いとマッチングするかどうかを判断するように構成された類似度決定ユニット４０４を備えることができる。
【００６２】
２つの軌跡の物体類似度は、さまざまな様式で決定可能である。たとえば、２つの軌跡の類似度は、時間、動き、および特徴情報をすべて結びつけることによって測定される。一実施形態によれば、２つの軌跡の物体類似度は、２つの軌跡の物体領域の類似度を意味することができる。
【００６３】
いくつかの実施形態によれば、類似度決定ユニットは、以前の軌跡からの物体領域と以降の軌跡からの対応する物体領域との間の物体類似度を決定して、以前の軌跡と以降の軌跡が互いとマッチングするかどうかを判断するように構成可能である。軌跡の物体領域に対して、他の軌跡の対応する物体領域は、軌跡の物体領域が配置される画像に対応する画像上の他の軌跡に含まれる物体領域、または、軌跡の物体領域が配置される画像と同じである画像上の他の軌跡に含まれるもしくはこれから予測される物体領域、を意味する場合がある。類似度の決定の様式に応じて、他の種類の対応が利用されてよい。
【００６４】
たとえば、ある物体に対して、多くても一対の軌跡がマッチングすることができるため、あらかじめ定義されたしきい値を超える軌跡類似度をもつ軌跡ペアは、マッチングペア候補と見なされることが可能であり、マッチングペア候補内で最高の軌跡類似度をもつ軌跡ペアは、最終的なマッチング軌跡ペアと見なされることが可能である。
【００６５】
いくつかの実施形態によれば、物体類似度は、物体に対する外観類似度および動き類似度のうちの少なくとも１つを含む。類似度は、動き類似度および外観類似度の各々、好ましくは動き類似度のみ、または動きおよび外観類似度の両方に基づいて、決定可能である。後者では、好ましくは、動き類似度決定が最初に実行可能であり、次いで、外観類似度が実行され、両方の類似度が満足させられたとき、２つの軌跡が、マッチングすると決定可能である。もちろん、そのような順序は逆転可能である。
【００６６】
一実施形態によれば、外観類似度は、以前の軌跡からの物体領域と以降の軌跡からの物体領域との間の、たとえば、終了画像上の以前の軌跡からの物体領域と対応する終了画像上の以降の軌跡からの物体領域との間の、色ヒストグラム距離、テクスチャ距離などのうちの１つによって測定可能である。色ヒストグラム差は、２つの矩形の色ヒストグラムのカイ２乗距離によって決定可能である。テクスチャ差は、２つの矩形のＬＢＰヒストグラムのバタチャリア距離によって決定可能である。正規化された類似度が所定のしきい値（たとえば、０．６）よりも大きい場合、軌跡ＡおよびＢは、マッチングされると見なされ得る。
【００６７】
以前の軌跡の終了画像は、以前の軌跡の最後の画像とすることができ、以降の軌跡の対応する終了画像は、以降の軌跡の開始画像とすることができる。
【００６８】
いくつかの実施形態によれば、動き類似度は、少なくとも１つの特定の画像上での以前の軌跡からの物体領域と以降の軌跡からの物体領域との間の重なり比率に基づいて測定可能である。
【００６９】
特定の画像は、以前の軌跡および以降の軌跡が物体領域を取得することができる特定の画像を実際に意味し、軌跡がそのような特定の画像を含まない場合でさえ、物体領域は、特定の画像上の軌跡に対して予測可能であることに留意されたい。一実施形態によれば、以前の軌跡および以降の軌跡のうちの少なくとも１つは特定の画像を含まず、ここで、特定の画像を含まない、以前の軌跡および以降の軌跡のうちの１つからの特定の画像上の物体領域は、１つの軌跡をたどることによって特定の画像上で予測される予測物体領域である。
【００７０】
予測は、動き推定とも呼ばれる、予測する軌跡をたどることなどの、さまざまな様式で達成可能である。図７は、物体領域予測を概略的に示し、ここで、図７（ａ）に示されるように、軌跡Ａは画像ｔ’から始まり、対応する物体領域はＡｔ’であり、軌跡Ａは、以降の軌跡と見なされることが可能であり、軌跡Ｂは画像ｔで終わり、物体領域はＢｔであり、軌跡Ｂは、以前の軌跡と見なされることが可能であり、画像ｔ’は、特定の画像として選択される。
【００７１】
予測は、最後のＳ個の画像上での軌跡Ｂの平均スピードを計算することによって行われることが可能であり、通常、Ｓ＝１０をとる。軌跡ＢがＳよりも短い場合、軌跡Ｂ画像全体をとる。予測物体領域として予測される矩形Ｂｔ’は、以下の式によって計算される。
【００７２】
【数１】
2019194857.tif 000003
【００７３】
ここで、
【００７４】
【数２】
2019194857.tif 000004
【００７５】
は、画像ｔ上の軌跡Ｂの物体領域Ｂｔの中心であり、ｔｉｍｅＤｉｆｆは、画像ｔおよび画像ｔ’のインデックス差間の差である。そのような予測物体領域は、図７（ｂ）に示されている。
【００７６】
ここで、重なり比率は、図８に示されるように、和集合上の２つの矩形の共通部分と定義され、ここで、そのような矩形は、人間に対する頭部−肩矩形などの、同じ１つの特定の画像上の物体領域を意味する。
【００７７】
和集合＝矩形Ｂ＋矩形Ａ−共通部分Ｃ
【００７８】
【数３】
2019194857.tif 000005
【００７９】
そのような重なり比率が、０．７などの所定のしきい値よりも大きいまたはこれに等しい場合、そのような２つの軌跡は、マッチングされると見なされ得る。
【００８０】
または、動き類似度は、ユークリッド距離によって特徴づけられるそのような２つの矩形の中心間の位置差によって測定され、それぞれ幅／高さによって除算されたそれらの中心位置差が両方とも、別の所定のしきい値（たとえば、０．５）よりも小さい場合、軌跡ＡおよびＢは、マッチングすると見なされる。
【００８１】
動き類似度決定の場合、２つの軌跡からの物体領域は、通常、同じ画像内に配置され、したがって、画像を含まない軌跡の場合、画像上のその物体領域は、上記で説明されたものなど、予測されるものとすることに留意されたい。
【００８２】
いくつかの実施形態によれば、特定の画像は、以前の軌跡および以降の軌跡のどちらかの終了画像である。そのようなケースでは、類似度決定ユニットは、特定の画像を含む、以前の軌跡および以降の軌跡のうちの一方の特定の画像上の物体領域と、他方の軌跡に続いて予測される特定の画像上の他方の軌跡の予測物体領域との間の重複比率に基づいて、動き類似度を決定するように構成可能である。
【００８３】
いくつかの実施形態によれば、少なくとも１つの特定の画像は、以前の軌跡と以降の軌跡との間の少なくとも１つのインターバル画像である。そのようなケースでは、類似度決定ユニットは、少なくとも１つのインターバル画像の各々の上での以前の軌跡と以降の軌跡の物体領域間の重複比率に基づいて、動き類似度を決定するように構成可能である。そして、少なくとも１つのインターバル画像は、以前の軌跡および以降の軌跡のうちの少なくとも１つ上に存在することができ、または、少なくとも１つのインターバル画像は、以前の軌跡および以降の軌跡のいずれにも上に存在しないことができ、インターバル画像上の以前の軌跡および以降の軌跡の各々の物体領域は、上記で説明されたように、軌跡の後で予測される予測物体領域である。
【００８４】
一実施形態によれば、動き類似度は、少なくとも１つのインターバル画像間の重複画像の数とインターバル画像の数との間の比率によって測定され、ここで、重複画像は、以前の軌跡および以降の軌跡からの物体領域の重複比率が所定のしきい値よりも大きい画像を意味し、これは、図８を参照して説明されるような所定のしきい値であってよい。
【００８５】
一実施形態によれば、動き類似度は、平均値、ミーン（ｍｅａｎ）値、中央値などの、少なくとも１つのインターバル画像の各々の上の以前の軌跡および以降の軌跡についての物体領域間の重なり比率の統計値によって測定可能である。たとえば、統計値は、重複比率が所定のしきい値よりも高いインターバル画像の重複比率から取得可能である。
【００８６】
マッチング軌跡ペアが決定された後、ペアに含まれる２つの軌跡は結びつけられ／接続され、軌跡は更新可能である。軌跡リスト内で、保留中の軌跡（以前の軌跡）は、新しく検証された軌跡（以降の軌跡）によって延長され、再び検証済みに送られ、新しく検証された軌跡は、終了状態に設定され、軌跡リストから削除される。
【００８７】
一実施形態によれば、結びつけユニットは、以前の軌跡と以降の軌跡を結びつけるように、物体追跡情報を取得するために、以前の軌跡および以降の軌跡のうちの少なくとも１つに基づいて以前の軌跡と以降の軌跡との間の欠落画像上の少なくとも物体領域を補間するように構成された補間ユニット４０５を備える。欠落画像は、２つの軌跡のそれぞれの終了画像間にあるが２つの軌跡のいずれにも含まれていない画像を意味する場合がある。
【００８８】
そのような補間は、実際は、２つの軌跡間の画像に対して、そのような画像の各々の上の物体領域は、どちらかの軌跡に基づいて補間され、次いで、補間された物体領域が接続され、次いで、既存の軌跡と接続され、したがって、２つの軌跡は互いと結びつけられることを意味する場合があることに留意されたい。他の実施形態によれば、インターバル画像に加えて、既存の軌跡上のいくつかの他の画像は、更新された軌跡をより高い精度にするように、軌跡に従って修正可能である。
【００８９】
そのような補間は、さまざまな様式で実行可能であることに留意されたい。一例として、そのような補間は、上記で説明されたような予測と同様に実行可能である。たとえば、適切な補間アルゴリズムは、単純なバイリニア補間アルゴリズムである。
【００９０】
一実施形態によれば、結びつけユニットは、以前の軌跡と以降の軌跡を結びつけるように、物体追跡情報を取得するために、以前の軌跡および以降の軌跡のうちの一方の終了画像であって、以前の軌跡および以降の軌跡のうちの他方が含んでいない終了画像に基づいて、以前の軌跡と以降の軌跡との間の欠落画像上の少なくとも物体領域を補間するように構成された補間ユニットを備えることができる。たとえば、以降の軌跡の開始画像が類似度決定のために終了画像として利用されるとき、欠落画像は、開始画像および以前の軌跡から補間されてよい。
【００９１】
一実施形態によれば、結びつけユニットは、以前の軌跡と以降の軌跡を結びつけるように、以前の軌跡および以降の軌跡との間の少なくとも１つのインターバル画像のうちの１つの画像ならびに以前および以降に基づいて、以前の軌跡と前降の軌跡との間の欠落画像上の少なくとも物体領域を補間するように構成された補間ユニットを備える。そして、この１つの画像は、以前の軌跡の物体領域と以降の軌跡の物体領域との間の重なり比率が最大である画像である。
【００９２】
一例として、最高の重複比率をもつ重複した矩形を、信頼性の高い位置と見なす。対照的に、インターバル画像上の低い重なり比率の矩形は、信頼性は高くなく、削除される。したがって、信頼性の高い位置を２つの軌跡の既存の追跡位置とともにとれば、再びそれらの信頼性の高くない位置に対する動き推定によって、位置を再予測することができる。このようにして、位置は、より正確になる。
【００９３】
類似度決定ユニット４０４および補間ユニット４０５は、説明されるような機能を達成することができる限り、ソフトウェアモジュール、ハードウェア構成要素、ファームウェアなどのさまざまな様式で、実施可能である。
【００９４】
本開示の実施形態によれば、画像のシーケンスに対する物体追跡方法が提供され、ここで、複数の軌跡は画像のシーケンスについて取得されており、複数の軌跡の各々は、画像のシーケンスに含まれているいくつかの画像内で物体を検出することによって取得される。図９は、本開示による方法のフローチャートを示す。
【００９５】
ステップＳ９０１（以下では、決定ステップと呼ばれる）では、マッチング軌跡ペアが、複数の軌跡から決定され、ここで、このマッチング軌跡ペアは、同じ物体に対応し且つ不連続である以前の軌跡と以降の軌跡とを有する。
【００９６】
次いで、ステップＳ９０２（以下では、結びつけステップと呼ばれる）では、マッチング軌跡ペアに含まれている以前の軌跡と以降の軌跡が結びつけられる。
【００９７】
好ましくは、決定ステップは、複数の軌跡から少なくとも１つの軌跡ペアを選択するための選択ステップを含むことができ、ここで、この少なくとも１つの軌跡ペアの各々は、不連続であり且つそれらの間にあらかじめ定義されたしきい値よりも小さい間隔を有する、以前の軌跡と、以降の軌跡とを有し、マッチング軌跡ペアは、少なくとも１つの軌跡ペアから決定される。
【００９８】
好ましくは、決定ステップは、以前の軌跡と以降の軌跡との間の物体類似度を決定して、以前の軌跡と以降の軌跡が互いとマッチングするかどうかを判断するための類似度決定ステップを含むことができる。
【００９９】
好ましくは、類似度決定ステップにおいて、以前の軌跡からの物体領域と以降の軌跡からの対応する物体領域との間の物体類似度が、以前の軌跡と以降の軌跡が互いとマッチングするかどうかを判断するために決定可能である。
【０１００】
好ましくは、物体類似度は、物体に対する外観類似度および動き類似度のうちの少なくとも１つを含むことができる。このことに鑑みて、外観類似度は、終了画像上の以前の軌跡からの物体領域と、対応する終了画像上の以降の軌跡からの物体領域と、の間の、色ヒストグラム距離、テクスチャ距離のうちの１つによって測定可能である。そのうえ、動き類似度は、少なくとも１つの特定の画像上での以前の軌跡からの物体領域と、以降の軌跡からの物体領域との間の重なり比率に基づいて測定可能である。
【０１０１】
好ましくは、特定の画像は、以前の軌跡および以降の軌跡のどちらかの終了画像とすることができ、類似度決定ステップでは、動き類似度は、特定の画像を含む以前の軌跡および以降の軌跡のうちの１つの特定の画像上の物体領域と、他方の軌跡の後に予測される特定のフレーム上の他方の軌跡の予測物体領域との間の重複比率に基づいて決定可能である。
【０１０２】
好ましくは、少なくとも１つの特定の画像は、以前の軌跡と以降の軌跡との間の少なくとも１つのインターバル画像とすることができ、類似度決定ステップでは、動き類似度は、少なくとも１つのインターバル画像間の重複画像の数とインターバル画像の数との間の比率に基づいて決定可能であり、ここで、重複画像は、以前の軌跡および以降の軌跡からの物体領域の重複比率が第２の所定のしきい値よりも大きい画像を意味する。
【０１０３】
好ましくは、少なくとも１つのインターバル画像は、以前の軌跡および以降の軌跡の両方に存在することができる。さらに、またはあるいは、少なくとも１つのインターバル画像は、以前の軌跡および以降の軌跡のどちらにも存在しないことが可能であり、ここで、インターバル画像上の以前の軌跡および以降の軌跡の各々の物体領域は、軌跡に続いて予測される予測物体領域とすることができる。
【０１０４】
好ましくは、結びつけステップは、以前の軌跡と以降の軌跡を結びつけるように、物体追跡情報を取得するために、以前の軌跡および以降の軌跡のうちの少なくとも１つに基づいて以前の軌跡と以降の軌跡との間の欠落画像上の少なくとも物体領域を補間するための補間ステップを含むことができる。
【０１０５】
好ましくは、結びつけステップは、以前の軌跡と以降の軌跡を結びつけるように、物体追跡情報を取得するために、以前の軌跡および以降の軌跡のうちの一方の終了画像であって、以前の軌跡および以降の軌跡のうちの他方が含んでいない終了画像に基づいて、以前の軌跡と以降の軌跡との間の欠落画像上の少なくとも物体領域を補間するための補間ステップを含むことができる。
【０１０６】
好ましくは、結びつけステップは、以前の軌跡と以降の軌跡を結びつけるように、以前の軌跡と以降の軌跡との間の少なくとも１つのインターバル画像のうちの１つの画像ならびに以前および以降に基づいて、以前の軌跡と以降の軌跡との間の欠落画像上の少なくとも物体領域を補間するための補間ステップを含むことができ、ここで、この１つの画像は、以前の軌跡の物体領域と以降の軌跡の物体領域との間の重なり比率が最大である画像である。
【０１０７】
終了される予定の軌跡と新しく検証された軌跡との間の接続のために、物体ＩＤ切り換えが減少される。画像上の欠落／矛盾する位置が補間によって補われるので、追跡精度も改善される。軌跡は、断片化されるのではなく、連続的である。そのうえ、補間は、信頼性の高い位置と既存の位置を結びつけることによって、より正確である。
【０１０８】
本発明は、現在のＮ個の画像上で軌跡−軌跡関連づけを実行するとき、最後のＮ個の画像上のすべての追跡結果を出力するが、実行スピードは、あまり影響されない。言い換えれば、本発明は、オフライン映像分析アプリケーションと、表示の数秒の遅延を許容することができるオンラインアプリケーションの両方に適している。
【０１０９】
以下では、本開示のいくつかの例示的な実施形態が詳細に説明される。
第１の例示的な実施形態
本開示のこの第１の例示的な実施形態が、図面を参照しながら以下に説明される。
【０１１０】
本開示の第１の例示的な実施形態は、主に、いわゆる一方向性軌跡−軌跡関連づけモデルにおける物体検出および追跡プロセスに関し、特に、マッチング決定および関連づけのための２つの軌跡に対して、特定の画像が１つの軌跡内に配置され、したがって、特定の画像上の物体領域は、特定の画像を含まない他方の軌跡に対して予測され、次いで、これに基づいて、類似度決定および関連づけが実行される。そのようなケースは、１つの軌跡が他方の軌跡の方へ延びるケースと類似であるので、一方向性軌跡−軌跡関連づけとも呼ばれる。本発明の第１の例示的な実施形態は、画像内の人間の比較的小さい姿勢／動き変化などの、シーケンス内の画像間の比較的小さい物体変形に特に適していることに留意されたい。
【０１１１】
図１０は、第１の例示的な実施形態の物体追跡プロセスのフローチャートを示す。
【０１１２】
最初に、その画像インデックスがｔからｔ＋Ｎである、映像シーケンスまたは画像シーケンスから入力された複数の画像。画像は、入力映像からＲＧＢ画像に完全に解凍可能である。もちろん、画像は、他のフォーマットとすることができる。画像ｔ〜ｔ＋Ｎは、処理メモリへとロードされる。実施形態では、Ｎは、２００個の画像である。プロセスにおいて、画像ｔ’ごとに、画像上の物体の検出が物体検出器によって実行され、検出結果が生成される。次いで、最後の画像ｔ’−１上の軌跡が現在の画像ｔ’上の検出結果と結びつけられ、したがって、画像に対する軌跡が取得可能である。
【０１１３】
ステップＳ１００１では、複数の軌跡が、入力画像に対して取得可能である。そのような複数の軌跡は、さまざまな様式で取得され、軌跡リストに格納可能である。そして、画像に対して、対応する軌跡は、もしあれば、検出結果−軌跡関連づけによって生成可能である。
【０１１４】
画像ｔ’に対して、画像上の物体が、特に検出器によって検出される。たとえば、物体が人間であるとき、人間は、対応する検出器を介して画像上の人間の頭部−肩領域を検出することによって、検出される。
【０１１５】
人検出器は、スライディングウィンドウベースまたは特徴ベースなどとすることができる。図１１は、スライディングウィンドウベース検出器のフローチャートを示す。
【０１１６】
検出プロセスは、以下のステップを含む。第１のステップＳ１１０１は、スキャンウィンドウを使用して、画像内のあり得る場所およびスケールの包括的な範囲にわたってスキャンし、物体領域を取得することであり、第２のステップＳ１１０２は、対応する分類器を使用することによって物体領域を検出することであり、たとえば、頭部−肩分類器は、人間の頭部−肩領域を検出するために使用可能であり、第３のステップＳ１１０３は、位置およびサイズに従って検出を別個のグループに分割することである。最終ステップＳ１１０４は、検出グループごとに類似の場所およびサイズを平均化することによって、検出位置を単一の検出位置へとマージすることである。
【０１１７】
分類器は、図１２に示されるように、弱分類器のカスケードを備えることができる。この実施形態では、本発明者らは、ＨＯＧ（Histogram of Oriented Gradient）特徴およびブースティングアルゴリズムを使用して、分類器を構築する。ＨＯＧ特徴画像は、各ピクセルの勾配の大きさを、その勾配方向に従って８つの方向に投影することによって、取得される。頭部−肩分類器は、同じサイズに正規化された数十万の肯定的／否定的な訓練サンプルを用いてオフラインで訓練される。
【０１１８】
図１３は、検出結果と軌跡ペアとの間の関連づけのフローチャートである。そして、マッチングスコア関数が定義され、マッチングスコアがある一定のしきい値を下回るまで、関連づけが貪欲アルゴリズムによって実行される。
【０１１９】
ステップＳ１３０１では、マッチングスコアは、２つの画像パッチの類似度の尺度である。現在の画像の検出結果から１つの画像パッチを切り取り、既存の軌跡の最新位置から別の画像パッチを切り取って、画像パッチペアを形成する。画像パッチペアごとに、マッチングスコアは、ピクセル単位テンプレートマッチング方法または色ヒストグラムベーステンプレートマッチング方法によって計算される。
【０１２０】
ステップＳ１３０２では、関連づけは、貪欲アルゴリズムによって見つけられる。最初に、行列を構築し、その列はそれぞれ、マッチングスコア、軌跡位置、および検出結果位置であり、各行は、画像パッチペアについてである。次いで、その行列を、マッチングスコアによって、高いものから低いものへと並べ替える。行列内で最も高いスコアをもつ画像パッチペアは、関連づけられると考慮される。次に、関連づけられた画像パッチペアと矛盾する行が、行列から即時に除去される。このプロセスにおいて、すべてのスコアが実験的しきい値を下回るまたは行列が空になるまで、関連づけを行う。
【０１２１】
ステップＳ１３０３では、画像上の物体検出後の物体−軌跡関連づけが行われた後、軌跡状態が画像ごとに更新される。いくつかの画像上の軌跡−軌跡関連づけの後、軌跡状態は、再び更新される。
【０１２２】
ステップＳ１００２では、軌跡ペアが、軌跡リストから選択される。軌跡ペアの選択に関して、保留中の軌跡と新しく検証された軌跡の両方が軌跡リスト内にあるかどうかがチェックされる。画像ｔ〜ｔ＋Ｎ上で、軌跡リストが取得される。そうである場合、保留中の軌跡を軌跡Ｂとして、新しく検証された軌跡を軌跡Ａとして、ランダムにまたは順序正しく選定する。たとえば、軌跡は、時間によって軌跡リストへと追加されるので、軌跡リスト内の第１の保留中の軌跡および最後の新しく検証された軌跡をとる。これは、最も古い保留中の軌跡が終了させられることから救う助けとなる場合がある。以下のプロセスの後に、この軌跡ペアがマッチングしない場合、保留中の軌跡とともに軌跡リスト内の最後から２番目の新しく検証された軌跡を別の軌跡ペアと見なす。軌跡ペアがマッチングに成功し、接続され、更新された場合、次いで、そのような軌跡ペアが存在しなくなるまで、軌跡ペアを選択することを繰り返す。
【０１２３】
そのうえ、いくつかの選択ルールは、上記のように方法のスピードを加速させるために、フィルタとして適用可能である。たとえば、人の頭部のサイズを追跡することについてのルールは、上記のように設定可能である。
【０１２４】
ステップＳ１００３では、２つの軌跡のうちの１つの終了画像が特定の画像として設定され、特定の画像上の物体領域が、他方の軌跡に対して予測される。
【０１２５】
通常、新しく生成された軌跡の開始画像は、以降のプロセスのために特定の画像として選択され、そのような予測は、上記で図７を参照して説明されたように実行可能である。もちろん、他の画像は、保留中の軌跡の最後の画像、以前の軌跡または以降の軌跡内の終了画像に隣接する他の画像などの、特定の画像として選択可能である。
【０１２６】
ステップＳ１００４では、そのような２つの物体領域間の類似度が決定される。この実施形態では、類似度決定は、動き類似度に基づくこともできるし、動き類似度および外観類似度の両方に基づくこともでき、後者がより正確であろう。
【０１２７】
図１４は、動き類似度および外観類似度の両方に基づいた類似度決定のフローチャートを示す。
【０１２８】
図７に示されるようなマッチング決定のための新しく検証された軌跡Ａおよび保留中の軌跡Ｂに対して、新しく検証された軌跡Ａの開始画像ｔ’が特定の画像として選択され、特定の画像上の軌跡ＡおよびＢからの物体領域Ａｔ’およびＢｔが決定される。具体的には、軌跡Ｂに対して、対応する物体領域Ｂｔ’が、上記で説明されたように、特定の画像上で予測可能である。
【０１２９】
ステップ１４０１では、特定の画像上のそのような２つの物体領域の重なり比率を計算する。重なり比率が、対応する所定のしきい値（たとえば、０．７）よりも小さい場合、軌跡ＡとＢは、マッチングしていないと見なされる。
【０１３０】
そうでない場合、ステップ１４０２では、軌跡Ｂの最後の画像上の物体領域Ｂｔと、軌跡Ａの開始画像上の物体領域Ａｔ’を比較する。正規化された外観類似度が所定のしきい値（たとえば、０．６）よりも大きい場合、軌跡ＡとＢは、マッチングすると見なされる。上記のフローチャートは、プログラミングにおける演算効率のために推奨される。他の実施形態では、ステップ９０１とステップ９０２は交換可能であることに留意されたい。
【０１３１】
保留中の軌跡に対して、少なくとも１つの新しく検証された軌跡は、上記で説明されたように、そのマッチング軌跡と見なされることが可能である場合、最も高い類似度値をもつ軌跡が、最終的なマッチング軌跡として選定されることに留意されたい。たとえば、類似度値は、動き類似度および外観類似度の加重和として計算可能であり、通常、動き類似度は、相対的により大きい重みを与えられ得る。または単純に、より高い重複比率をもつマッチングする新しい軌跡は、さらに処理されることになる最終的なマッチング軌跡と見なされ得る。
【０１３２】
マッチング軌跡ペアが決定された後、ペアに含まれる２つの軌跡は、軌跡を更新するために結びつけられる／接続される。
【０１３３】
ステップＳ１００５では、マッチング軌跡は、結びつける／接続することが可能である。本実施形態における一方向性モデルに対して、動き／姿勢の変化はそれほど大きくないので、動き推定によって位置を補間することは、欠落した追跡画像に容易である。適切な補間アルゴリズムは、単純なバイリニア補間アルゴリズムである。２つの軌跡間のフレーム上の物体領域が推定されることになっていることに加えて、既存の軌跡上のいくつかの画像上の物体領域は、接続された軌跡をより正確にするように適応的に修正されてよいことに留意されたい。たとえば、開始画像ならびに以降の軌跡のその以降の画像上の物体領域は、接続された軌跡を改訂するように適切に修正されてよい。
【０１３４】
一代替形態として、そのような関連づけプロセスは、すべてのマッチングペアが最終的に決定されたときに実行可能であり、次いで、マッチングペアごとに、軌跡は、マッチングおよび接続されることに留意されたい。
【０１３５】
一例として、物体に対する保留中の軌跡に対して、少なくとも１つのマッチングペア候補が存在する場合があることを考慮すると、すべてのマッチングペア候補は、最初に決定可能であり、次いで、すべてのマッチングペア候補から、最終的なマッチングペアが、上記のように選択可能であり、次いで、そのような関連づけプロセスが、最終的なマッチングペアに対して実行可能であり、次いで、マッチングペアごとに、軌跡がマッチングおよび接続される。
【０１３６】
ステップＳ１００３〜Ｓ１００５におけるそのようなプロセスは、軌跡関連づけプロセス、特に一方向性軌跡関連づけプロセスと呼ばれ得る。任意の可能な軌跡ペアが選択および処理される。
【０１３７】
軌跡がマッチングおよび接続された後、軌跡の状態が更新される。図１５は、軌跡の状態を更新するフローチャートを示す。
【０１３８】
図１５に示されるように、軌跡ＡおよびＢがマッチングおよび接続された場合、軌跡リスト内の新しく検証された軌跡Ａを除去する。過去の画像内の軌跡Ａの領域はすでにコピーされ、修正されて、保留中の軌跡Ｂに追加されており、保留中の軌跡Ｂは検証済み軌跡になることに留意されたい。
【０１３９】
そうでない場合、軌跡ＢがＴ３個の画像に対して保留中状態である場合、軌跡Ｂは、終了とラベルされる。そして、軌跡Ｂは、軌跡リストから除去されることとなる。すなわち、これ以上、遡って軌跡と関連づけられた人間を見つけようとしない。
【０１４０】
最後に、ｔ〜ｔ＋Ｎ内の軌跡を、最終的な追跡結果として出力する。
【０１４１】
図１６は、本発明の一方向性軌跡関連づけの効果を示す。
第２の例示的な実施形態
本開示のこの第２の例示的な実施形態が、図面を参照しながら以下に説明される。
【０１４２】
本開示の第２の例示的な実施形態は、主に、いわゆる双方向性軌跡−軌跡関連づけモデルにおける物体検出および追跡プロセスに関し、特に、マッチング決定および関連づけのための２つの軌跡に対して、特定の画像は２つの軌跡間のインターバル画像であり、したがって、特定の画像上の物体領域は軌跡ごとに予測され、次いで、類似度決定および関連づけは、これに基づいて実行される。そのようなケースは、そのような２つの軌跡は両方とも互いの方へ延びるケースと類似であるので、双方向性軌跡−軌跡関連づけとも呼ばれる。そのような双方向性方法は、図１８に示されるように、動き／姿勢の変化などの大きい物体変形が２つの軌跡間で発生する、または２つの軌跡がより多くの画像によって離隔されるケースに特に適している。
【０１４３】
図１７に示されるように、大きい動き／姿勢の変化が２つの軌跡間で発生するケースの場合、双方向性方法が特に適切であり、それを効果的に取り扱うことができる。
【０１４４】
図１８は、第２の例示的な実施形態の関連づけプロセスのフローチャートを示す。
【０１４５】
ステップＳ１８０１およびＳ１８０２は、第１の実施形態におけるステップＳ１００１およびＳ１００２と同様に実行可能であり、したがって、それらの詳細な説明は、ここでは省略される。
【０１４６】
ステップ１８０３では、２つの軌跡間のインターバル画像は、特定の画像として設定可能であり、インターバル画像は、２つの軌跡が両方とも存在するまたは存在しない画像である。そして、両方の軌跡が存在しない画像に対して、そのような２つの軌跡間のインターバル画像に対する動き推定によって位置を予測する。以前の軌跡の場合は、動き予測方向は前であるが、以降の軌跡の場合は、動き予測方向は後である。
【０１４７】
次いで、ステップＳ１８０４では、２つの軌跡に対する予測物体領域間の類似度が決定され、インターバル画像上の予測物体領域の重複比率が計算され、類似度決定に使用可能である。
【０１４８】
より具体的には、２つの軌跡のインターバル画像間の重なり画像比率が計算される。
【０１４９】
そのようなケースでは、重複した画像比率は、双方向性動き類似度と呼ばれ、いくつかのケースの場合、そのようなインターバル画像は、依然として、軌跡が存在するいくつかの画像を含むことができる。
【０１５０】
重複した画像比率は、
【０１５１】
【数４】
2019194857.tif 000006
【０１５２】
と定義される。
【０１５３】
ここで、ｎは軌跡ＡとＢとの間のインターバル画像の数、ｍは軌跡Ａおよび軌跡Ｂの重複した矩形の量である。２つの矩形は、上記で図８を参照して説明されたように、和集合によって除算された共通部分が所定のしきい値（ここでは、０．７をとる）よりも大きいまたはこれに等しい場合、または大きい矩形の幅によって除算された矩形中心距離が所定のしきい値（ここでは、０．５をとる）よりも小さい場合、重複すると見なされる。重複した矩形は、軌跡内の、動き予測されたまたは実際の矩形とすることができる。
【０１５４】
一例として、単に、上記で説明されたように重複したと見なされている１つのインターバル画像が存在する限り、そのような２つの軌跡は、マッチングすると見なされ得る。別の例として、重複した画像比率が、所定のしきい値Ｒ３（ここでは、０．６をとる）よりも大きいまたはこれに等しい場合、２つの軌跡は、マッチングすると見なされる。
【０１５５】
インターバル画像は、両方の軌跡が存在するまたは存在しない画像である。いくつかの特別なケースでは、余りにも少ないインターバル画像の数を回避するようにインターバル画像を拡張する。拡張する単純なやり方は、Ｍ個の画像をインターバル画像の外側で前後に、すなわち、Ｍ個の画像を軌跡の各々の上に追加することである。たとえば、Ｍ＝１である。
【０１５６】
図１９および図２０は、２つの軌跡からの予測物体領域間の例示的な重複を示す。図２０に示されるように、画像重複比率はｒ＝１／２であり、ここで、インターバル画像は、２つの軌跡の両方の上の画像であり、そして図２１に示されるように、画像重複比率はｒ＝１／３であり、インターバル画像は、２つの軌跡のどちらの上にもない画像である。
【０１５７】
保留中の軌跡に対して、少なくとも１つの新しく検証された軌跡は、上記で説明されたように、そのマッチング軌跡候補と見なされることが可能である場合、最も高い類似度値をもつ軌跡ペアが、最終的なマッチング軌跡ペアとして選定されることに留意されたい。
【０１５８】
たとえば、類似度値は重複画像比率であってよい、すなわち、最大の重複画像比率をもつ軌跡ペアは、最終的なマッチング軌跡ペアと見なされる。
【０１５９】
別の例として、軌跡ペアの動き類似度値は、重複した画像の動き類似度の統計値として計算可能であり、軌跡ペアの外観類似度値は、重複した画像の外観類似度の統計値として計算可能であり、次いで、類似度値は、動き類似度値および外観類似度値の加重和として計算可能であり、通常、動き類似度は、相対的により大きい重みを与えられ得る。または単純に、より高い動き類似度値をもつマッチング軌跡ペアは、最終的なマッチング軌跡ペアと見なされ得る。
【０１６０】
ステップ１８０５では、マッチング軌跡の関連づけが実行される。双方向性方法の場合、図２１に示されるように、重複した動きが予測される矩形を、信頼性の高い位置と見なす。対照的に、インターバル画像上の低い重なり比率の矩形は、信頼性は高くなく、破棄されることになる。したがって、信頼性の高い位置を２つの軌跡の既存の追跡位置とともにとれば、再びそれらの信頼性の高くない位置に対する動き推定によって、位置を再予測することができる。動き推定方法も、単純なバイリニア補間アルゴリズムとすることができる。
【０１６１】
上記で説明されたようなステップＳ１００５と同様に、Ｓ１８０５におけるそのような関連づけプロセスは、あるいは、すべてのマッチングペアが最終的に決定されたときに実行可能であり、次いで、マッチングペアごとに、軌跡がマッチングおよび接続される。さらなる代替例として、物体に対する保留中の軌跡に対して、少なくとも１つのマッチングペア候補が存在する場合があることを考慮すると、すべてのマッチングペア候補は、最初に決定可能であり、次いで、すべてのマッチングペア候補から、最終的なマッチングペアが、上記のように選択可能であり、次いで、そのような関連づけプロセスが、最終的なマッチングペアに対して実行可能であり、次いで、マッチングペアごとに、軌跡がマッチングおよび接続される。
【０１６２】
ステップＳ１８０３〜Ｓ１８０５におけるそのようなプロセスは、軌跡関連づけプロセス、特に双方向性軌跡関連づけプロセスと呼ばれ得る。
【０１６３】
ステップＳ１８０６では、軌跡の状態が更新され、そのような軌跡の更新は、第１の実施形態のステップＳ１００６における軌跡の更新と同様とすることができ、したがって、説明は、ここでは省略される。
【０１６４】
最後に、ｔ〜ｔ＋Ｎ内の軌跡を、最終的な追跡結果として出力する。
第３の例示的な実施形態
本開示のこの第３の例示的な実施形態が、図面を参照しながら以下に説明される。
【０１６５】
第３の例示的な実施形態では、第１の実施形態および第２の実施形態において説明された２種類の関連づけモデルが、一緒に利用される。より詳細には、軌跡ペアに対して、上記で説明された一方向性モードと双方向性モードが、一緒に利用される。
【０１６６】
図２２は、本開示の第３の実施形態のフローチャートを示す。
【０１６７】
ステップＳ２２０１およびＳ２２０２は、第１の実施形態におけるステップＳ１００１およびＳ１００２と同様に実行可能であり、したがって、それらの詳細な説明は、ここでは省略される。
【０１６８】
ステップＳ２２０３におけるプロセスは、図１０のステップＳ１００３からＳ１００５を参照しながら説明されたような、第１の実施形態における一方向性軌跡関連づけプロセスに相当し、したがって、詳細な説明は、ここでは省略される。
【０１６９】
一方向性関連づけが失敗した場合、ステップＳ２２０４に進み、ステップＳ２２０４におけるプロセスは、図１８のステップＳ１８０３からＳ１８０５を参照しながら説明されたような、第２の実施形態における双方向性関連づけプロセスに相当し、したがって、詳細な説明は、ここでは省略される。
【０１７０】
一方向性方法または双方向性方法が成功した場合、２つの軌跡は接続され、画像ｔ〜ｔ＋Ｎに対する最終的な追跡結果として出力されることになる。
【０１７１】
両方の方法が失敗した場合は、既存の物体軌跡関連づけ結果は変更されず、次いで出力される。
代替の例示的な実施形態
上記の実施形態では、画像フレームｔ〜ｔ＋Ｎなどの複数の画像に対して、最初に、軌跡が、そのような画像フレームｔ〜ｔ＋Ｎに対して取得され、次いで、物体追跡は、主に、取得された軌跡に対して実行される。
【０１７２】
一代替形態として、本実施形態では、物体追跡は、トリガモードで実行可能である。すなわち、新しく生成された検証済み軌跡が発生すると、マッチングペア決定が実行され、次いで、マッチングが存在する場合、軌跡が関連づけられ、更新される。より具体的には、新しい軌跡が生成され、次いで検証済みになるが、保留中の軌跡が存在するとき、そのような新しく生成された軌跡は、新しく生成された軌跡との以前の軌跡マッチングが存在するかどうかを知るために、以前の保留中の軌跡と関連づけられようとし、次いで、結果に基づいて、軌跡の状態が適応的に更新可能である。
【０１７３】
図２３は、本開示による本実施形態のフローチャートを示す。最初に、１つまたは複数の画像を入力する。メモリへとロードされる画像の数は重要ではない。
【０１７４】
画像ｔに対して、ステップＳ２３０１では、それの上で検出し、検出器によって検出結果を生成する。そのようなステップにおけるプロセスは、ステップＳ１００１におけるプロセスと類似しており、したがって、その詳細な説明は、ここでは省略される。
【０１７５】
次いで、ステップＳ２３０３では、保留中の軌跡があるかどうかが決定される。そうでない場合、画像ｔ上での追跡結果を直接的に出力する。そして、実施形態は、次の画像ｔ＋１を処理する。しかしながら、そうである場合、ステップＳ２３０３では、画像ごとの追跡のために、画像ｔ＋１からｔ＋Ｋに対してステップＳ２３０１におけるプロセスを繰り返す。次いで、ステップＳ２３０４では、画像（ｔ−Ｍ）〜（ｔ＋Ｋ）上の現在の追跡結果間の軌跡−軌跡関連づけを行い、Ｓ２３０４におけるプロセスは、以前の一方向性関連づけプロセスまたは双方向性関連づけプロセスに相当してよく、したがって、その詳細な説明は、ここでは省略される。この実施形態では、Ｍ、Ｋに対して１００をとる。
【０１７６】
次いで、画像（ｔ−Ｍ）〜（ｔ＋Ｋ）上の軌跡状態が、上記で説明されたものと同様に、ステップＳ２３０５において更新される。
【０１７７】
最後に、画像（ｔ−Ｍ）〜（ｔ＋Ｋ）上の追跡結果が修正および出力される。
【０１７８】
この実施形態は、本開示による軌跡−軌跡関連づけを、従来技術に対するアドオンプロセスとして見なすことができる。この実施形態は、より少ないＩＤ切り換えと、より高い精度を達成することができる。
【０１７９】
図２４は、本発明の実施形態を実施することができるコンピュータシステム１０００のハードウェア構成を示すブロック図である。
【０１８０】
図２４に示されるように、コンピュータシステムは、コンピュータ１１１０を備える。コンピュータ１１１０は、処理ユニット１１２０と、システムメモリ１１３０と、ノンリムーバブル不揮発性メモリインタフェース１１４０と、リムーバブル不揮発性メモリインタフェース１１５０と、ユーザ入力インタフェース１１６０と、ネットワークインタフェース１１７０と、ビデオインタフェース１１９０と、出力周辺機器インタフェース１１９５とを備え、これらは、システムバス１１２１を介して接続される。
【０１８１】
システムメモリ１１３０は、ＲＯＭ（読み出し専用メモリ）１１３１と、ＲＡＭ（ランダムアクセスメモリ）１１３２とを備える。ＢＩＯＳ（基本入出力システム）１１３３は、ＲＯＭ１１３１に常駐する。オペレーティングシステム１１３４、アプリケーションプログラム１１３５、他のプログラムモジュール１１３６、および何らかのプログラムデータ１１３７が、ＲＡＭ１１３２に常駐する。
【０１８２】
ハードディスクなどのノンリムーバブル不揮発性メモリ１１４１は、ノンリムーバブル不揮発性メモリインタフェース１１４０に接続される。ノンリムーバブル不揮発性メモリ１１４１は、たとえば、オペレーティングシステム１１４４、アプリケーションプログラム１１４５、他のプログラムモジュール１１４６、および何らかのプログラムデータ１１４７を記憶することができる。
【０１８３】
フロッピードライブ１１５１およびＣＤ−ＲＯＭドライブ１１５５などのリムーバブル不揮発性メモリは、リムーバブル不揮発性メモリインタフェース１１５０に接続される。たとえば、フロッピーディスク１１５２は、フロッピードライブ１１５１に挿入可能であり、ＣＤ（コンパクトディスク）１１５６は、ＣＤ−ＲＯＭドライブ１１５５に挿入可能である。
【０１８４】
マウス１１６１およびキーボード１１６２などの入力デバイスは、ユーザ入力インタフェース１１６０に接続される。
【０１８５】
コンピュータ１１１０は、ネットワークインタフェース１１７０によってリモートコンピュータ１１８０に接続可能である。たとえば、ネットワークインタフェース１１７０は、ローカルエリアネットワーク１１７１を介してリモートコンピュータ１１８０に接続可能である。あるいは、ネットワークインタフェース１１７０は、モデム（変調復調器）１１７２に接続可能であり、モデム１１７２は、ワイドエリアネットワーク１１７３を介してリモートコンピュータ１１８０に接続される。
【０１８６】
リモートコンピュータ１１８０は、リモートアプリケーションプログラム１１８５を記憶する、ハードディスクなどのメモリ１１８１を備えてよい。
【０１８７】
映像インタフェース１１９０は、モニタ１１９１に接続される。
【０１８８】
出力周辺機器インタフェース１１９５は、プリンタ１１９６およびスピーカ１１９７に接続される。
【０１８９】
図２４に示されるコンピュータシステムは、例示にすぎず、決して本発明、その適用例、または使用を限定することを意図したものではない。
【０１９０】
図２４に示されるコンピュータシステムは、おそらく１つもしくは複数の不必要な構成要素が除去された、または１つまたは複数の追加の構成要素が追加された、スタンドアロンコンピュータまたは装置内の処理システムのどちらかとして、実施形態のいずれかに実装されてよい。
【産業上の利用可能性】
【０１９１】
本発明は、多数の適用例において使用可能である。たとえば、本発明は、カメラによって撮影された静止画像または動画像内の物体を検出および追跡するために使用可能であり、カメラを装備するハンドヘルドデバイス、モバイル（カメラベース）内のそれに特に有利である。
【０１９２】
本明細書で説明される方法および装置は、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせとして実施可能であることに留意されたい。ある一定の構成要素は、たとえば、デジタル信号プロセッサまたはマイクロプロセッサ上で動作するソフトウェアとして実施されてよい。他の構成要素は、たとえば、ハードウェアおよび／または特定用途向け集積回路として実施されてよい。
【０１９３】
本発明の方法および装置を多数のやり方で実行することが可能である。たとえば、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせを通じて本発明の方法および装置を実行することが可能である。上記で説明された方法のステップの順序は、例示的であることを意図したものにすぎず、本発明の方法のステップは、別段に具体的に述べられない限り、上記で具体的に説明された順序に限定されない。そのうえ、いくつかの実施形態では、本発明は、本発明による方法を実施するための機械可読命令を含む、記録媒体内に記録されたプログラムとしても実施されてよい。したがって、本発明は、本発明による方法を実施するためのプログラムを記憶する記録媒体も包含する。
【０１９４】
本発明のいくつかの具体的な実施形態が、例とともに詳細に示されてきたが、上記の例は、例示的であることを意図したにすぎず、本発明の範囲を限定することを意図したものではないことが当業者によって理解されるべきである。上記の実施形態は、本発明の範囲および趣旨から逸脱することなく修正可能であることが当業者によって理解されるべきである。本発明の範囲は、添付の特許請求の範囲によって定義される。
【０１９５】
前述の明細書では、本発明の実施形態は、実装形態ごとに変化し得る多数の具体的な詳細を参照しながら説明されている。したがって、発明されたものの、および出願人らによって本発明であると意図されたものの唯一かつ排他的な指標は、以降の訂正を含めて、そのような請求項が出す特別な形で、本出願から由来する請求項の群である。そのような請求項に含まれる用語に関する本明細書において明確に記載されているいかなる定義も、請求項において使用されるそのような用語の意味を支配するものとする。したがって、請求項において明確に記載されてない限定、要素、性質、特徴、利点、または属性は、いかなる形であれ、そのような請求項の範囲を限定すべきでない。したがって、明細書および図面は、限定するものではなく説明のためであると解される。
【図１】
2019194857.tif 000007
【図２】
2019194857.tif 000008
【図３】
2019194857.tif 000009
【図４】
2019194857.tif 000010
【図５】
2019194857.tif 000011
【図６】
2019194857.tif 000012
【図７】
2019194857.tif 000013
【図８】
2019194857.tif 000014
【図９】
2019194857.tif 000015
【図１０】
2019194857.tif 000016
【図１１】
2019194857.tif 000017
【図１２】
2019194857.tif 000018
【図１３】
2019194857.tif 000019
【図１４】
2019194857.tif 000020
【図１５】
2019194857.tif 000021
【図１６】
2019194857.tif 000022
【図１７】
2019194857.tif 000023
【図１８】
2019194857.tif 000024
【図１９】
2019194857.tif 000025
【図２０】
2019194857.tif 000026
【図２１】
2019194857.tif 000027
【図２２】
2019194857.tif 000028
【図２３】
2019194857.tif 000029
【図２４】
2019194857.tif 000030