(57)【要約】      （修正有）【課題】複数の移動物体の複雑な動きでも計算コストの少ない移動物体追跡装置、方法及びプログラムを提供する。【解決手段】物体追跡装置は、取得部と、検出部と、抽出部と、対応付部を備える。取得部は、複数のフレームを取得する。検出部は、複数のフレームから物体を検出する。抽出部は、検出された物体について、第１フレームを含む第１移動軌道、第１フレームより前のフレームのみで構成される第２移動軌道、及び、第１フレーム以降のフレームのみで構成される第３移動軌道を抽出する。対応付部は、第２移動軌道と第３移動軌道の類似度が第２移動軌道と他の第３移動軌道の類似度以上であり、かつ第２移動軌道と第３移動軌道の類似度が第１移動軌道と第３移動軌道の類似度以上になる条件を満たす第３移動軌道と第２移動軌道とを対応付ける。【選択図】図１
2020057424.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームを取得する取得部と、
前記複数のフレームから物体を検出する検出部と、
前記検出された物体について、第１フレームを含む第１移動軌道、前記第１フレームより
前のフレームのみで構成される第２移動軌道、及び、前記第１フレーム以降のフレームの
みで構成される第３移動軌道を抽出する抽出部と、
前記第２移動軌道と前記第３移動軌道の類似度が前記第２移動軌道と他の前記第３移動軌
道の類似度以上であり、かつ前記第２移動軌道と前記第３移動軌道の類似度が前記第１移
動軌道と前記第３移動軌道の類似度以上になる条件を満たす前記第３移動軌道と前記第２
移動軌道とを対応付ける対応付部と、
を備える物体追跡装置。
【請求項２】
前記対応付部で対応付けられた前記第２移動軌道および前記第３移動軌道から、前記第１
フレーム以降における前記物体の位置情報を補間する補間部、
を更に備える請求項１に記載の物体追跡装置。
【請求項３】
前記対応付部は、前記類似度として、物体の類似度と移動軌道の動きを用いる請求項１又
は２に記載の物体追跡装置。
【請求項４】
前記対応付部は、前記類似度として、前記物体の類似度と前記移動軌跡の動きの類似度と
の積を用いる請求項３に記載の物体追跡装置。
【請求項５】
前記対応付部で対応付けられた前記第２移動軌道の長さは、所定閾値以内である請求項
１乃至４の何れか一項に記載の物体追跡装置。
【請求項６】
複数のフレームを取得するステップと、
前記複数のフレームから物体を検出するステップと、
前記検出された物体について、第１フレームを含む第１移動軌道、前記第１フレームより
前のフレームのみで構成される第２移動軌道、及び、前記第１フレーム以降のフレームの
みで構成される第３移動軌道を抽出するステップと、
前記第２移動軌道と前記第３移動軌道の類似度が前記第２移動軌道と他の前記第３移動軌
道の類似度以上であり、かつ前記第２移動軌道と前記第３移動軌道の類似度が前記第１移
動軌道と前記第３移動軌道の類似度以上になる条件を満たす前記第３移動軌道と前記第２
移動軌道とを対応付けるステップと、
を有する物体追跡方法。
【請求項７】
複数のフレームを取得するステップと、
前記複数のフレームから物体を検出するステップと、
前記検出された物体について、第１フレームを含む第１移動軌道、前記第１フレームより
前のフレームのみで構成される第２移動軌道、及び、前記第１フレーム以降のフレームの
みで構成される第３移動軌道を抽出するステップと、
前記第２移動軌道と前記第３移動軌道の類似度が前記第２移動軌道と他の前記第３移動軌
道の類似度以上であり、かつ前記第２移動軌道と前記第３移動軌道の類似度が前記第１移
動軌道と前記第３移動軌道の類似度以上になる条件を満たす前記第３移動軌道と前記第２
移動軌道とを対応付けるステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、移動物体追跡装置、方法及びプログラムに関する。
【背景技術】
【０００２】
画像の時系列において複数のフレームに含まれる複数の移動物体を検出し、同一の物体
どうしをフレーム間で対応付けることで、移動物体の追跡を行い、追跡した結果を記録し
たり、追跡した結果をもとに移動物体を識別したりする移動物体追跡システムが開示され
ている。
【０００３】
しかし、時系列の複数画像において検出された顔の出現、消滅、及び検出失敗をそれぞ
れノードとした枝（パス）の組合せを検討するため、計算コストが増大する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１７０７１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、複数の移動物体の複雑な動きでも計算コストの少な
い移動物体追跡システム及び方法を提供することである。
【課題を解決するための手段】
【０００６】
実施形態の物体追跡装置は、取得部と、検出部と、抽出部と、対応付部を備える。取得
部は、複数のフレームを取得する。検出部は、前記複数のフレームから物体を検出する。
抽出部は、前記検出された物体について、第１フレームを含む第１移動軌道、前記第１フ
レームより前のフレームのみで構成される第２移動軌道、及び、前記第１フレーム以降の
フレームのみで構成される第３移動軌道を抽出する。対応付部は、前記第２移動軌道と前
記第３移動軌道の類似度が前記第２移動軌道と他の前記第３移動軌道の類似度以上であり
、かつ前記第２移動軌道と前記第３移動軌道の類似度が前記第１移動軌道と前記第３移動
軌道の類似度以上になる条件を満たす前記第３移動軌道と前記第２移動軌道とを対応付け
る。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態の移動物体追跡システムの例を示す構成図。
【図２】第１の実施形態の移動物体追跡システムの例を示すフローチャート。
【図３】移動軌跡の分割の例を示す説明図。
【図４】ユークリッド距離を用いた計算の例を示す説明図。
【図５】第２の実施形態の移動物体追跡システムの例を示す構成図。
【図６】第２の実施形態の遮蔽を表す模式図。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照しながら、実施形態を詳細に説明する。
【０００９】
（第１の実施形態）
図１は、第１の実施形態の移動物体追跡システム１の一例を示す構成図である。図１に示
すように、取得部１０、検出部１１、抽出部１２、管理部１３、設定部１４、分割部１５
、対応付部１６、統合部１７、出力部１８とを備える。移動物体追跡システムは、例えば
、ＣＰＵ（Central  Processing  Unit）などの処理装置にプログラムを実行させること
、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated  Circuit）などのハ
ードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現して
もよい。取得部１０が取得する動画像は記憶装置に記憶されたものを用いてもよい。
【００１０】
記憶装置は、例えば、ＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）
、ＲＯＭ（Read  Only  Memory）、メモリカードなどの磁気的、光学的、及び電気的に記
憶可能な記憶装置の少なくともいずれかにより実現できる。
【００１１】
図２は第１の実施形態の移動物体追跡システム１の処理の手順の流れの一例を示すフロ
ーチャートである。
【００１２】
まず移動物体追跡システム１は、撮像装置で撮像された動画像または記憶装置に記憶さ
れた動画像を取得する（ステップＳ１０１）。動画画像は複数枚のフレーム（画像）を含
む。
【００１３】
次に検出部１１が、取得部が取得した動画像から前記移動物体を複数検出する（ステッ
プＳ１０２）。移動物体とはたとえば、人物、車等を指す。以下、移動物体が人物の場合
を例に説明する。人物を検出する具体的な処理方法としては、以下の手法が適用できる。
例えば、文献（Ｎ．Ｄａｌａｌ、Ｂ．Ｔｒｉｇｇｓ、“Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏ
ｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ  ｆｏｒ  Ｈｕｍａｎ  Ｄｅｔｅｃｔｉｏｎ、”Ｉ
ＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔ
ｉｏｎ、ｐｐ．８８６−８９３、２００５）に記載された手法が適用可能である。また、
Ｖｉｓｕａｌ  Ｔｒａｃｋｉｎｇ技術を用い、処理中フレームの直前のフレームで検出さ
れた物体を追跡することで処理中のフレームにおける同一物体の位置を推定することによ
り、人物の検出の精度を高めることが可能である。Ｖｉｓｕａｌ  Ｔｒａｃｋｉｎｇ技術
は、例えば、文献（Ｋ．Ｚｈａｎｇ，Ｌ．Ｚｈａｎｇ，Ｍ．Ｈ．Ｙａｎｇ“，Ｒｅａｌ−
ｔｉｍｅ  ｃｏｍｐｒｅｓｓｉｖｅ  Ｔｒａｃｋｉｎｇ”、Ｅｕｒｏｐｅａｎ  Ｃｏｎｆ
ｅｒｎｃｅ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，ｐｐ．８６６−８７９、２０１２）に記
載された手法が適用可能である。
次に抽出部１２は各フレームでそれぞれの人物を対応付け、当該対応づけられた人物の
移動軌道(tracklet;トラックレット、以下移動軌道をトラックレットと称する)を抽出す
る（ステップＳ１０３）。トラックレットを抽出する方法として、例えば、文献（Ｈ．Ｐ
ｉｒｓｉａｖａｓｈ，Ｄ．Ｒａｍａｎａｎ，Ｃ．Ｃ．Ｆｏｗｌｋｅｓ“、Ｇｌｏｂａｌｌ
ｙ−Ｏｐｔｉｍａｌ  Ｇｒｅｅｄｙ  Ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  Ｔｒａｃｋｉｎｇ
ａ  Ｖａｒｉａｂｌｅ  Ｎｕｍｂｅｒ  ｏｆ  Ｏｂｊｅｃｔｓ”、ＩＥＥＥ  Ｃｏｍｐ
ｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｇｃｏｎｉｔｉｏｎ，ｐｐ．１
２０１−１２０８、２０１２）に記載された手法が適応可能である
【００１４】
次に、管理部１３が人物毎のトラックレットを管理する（ステップＳ１０４）。トラッ
クレットは、移動する人物が動画像中のどの時間帯に含まれているか、を管理すればよく
、画像のフレーム番号や再生または録画時間等で管理してもよい。また、検出部１１が検
出した人物の位置や大きさを合わせて記憶してもよい。これらの情報は記憶部１９に記憶
してもよい。人物毎のトラックレットを人物のＩＤと共に記憶部１９に記憶させてもよい
。人物のＩＤは互いが区別可能なように付与されたものであればよく、人物自体を同定で
きなくてもよい。
【００１５】
次に設定部１４は、位置を算出するフレームを注目フレームとして設定する（ステップ
Ｓ１０５）。
【００１６】
次に、分割部１５は前記抽出された複数のトラックレットに対し、前記注目フレームを
少なくとも含む第１ブロックと、時系列順で当該第１ブロックより前に位置する第２ブロ
ックと、時系列順で当該第１ブロックより後に位置する第３ブロックとに分割する（ステ
ップＳ１０５）。例えば、図３に示すようにＮ枚フレームの画像中の、時刻ｔ（i番目の
）フレームを注目フレームと設定した場合、i番目フレームを含むブロックを第１ブロッ
ク、第１ブロックよりも時系列順で前にあるブロックを第２ブロック、第１ブロックより
も時系列順で後にあるブロックを第３ブロックとする。より具体的には下記の数式１を用
いる。
【数１】
2020057424.tif 000003
ただし、start(t)はトラックレットtの開始フレームの番号で、end(t)はトラックレットt
の終了フレームの番号である。
【００１７】
次に対応付部１６は第２ブロックに含まれるトラックレットを管理部１３から取得し、
取得したトラックレットと第１ブロック及び第３ブロックに含まれるトラックレットとを
トラックレットの類似度に基づいて対応付ける（ステップＳ１０６）。
【００１８】
第２ブロックのトラックレット選択と第３ブロックのトラックレット選択の２段階で実
行する。
【００１９】
まず、第２ブロックのトラックレット選択は、第２ブロックからend(ap)=i-1となるよ
うなapを選択する。iは注目フレームである。より具体的には第２ブロックのトラックレ
ットの長さが所定閾値以内のものを用いるようにするとよい。i-1よりも時系列順で前に
終了するトラックレットはこの処理フローより以前に処理済みであることから、除外する
。この場合、対応付けの候補数を大分減らすことで処理時間を大幅に節約することが可能
になる。
また、第３ブロックのトラックレット選択は、前段階で選択した｛ap｝のそれぞれに対
し、第３ブロック中から以下の式（２）の条件を満たすトラックレットbqと対応付ける。
【数２】
2020057424.tif 000004
【００２０】
ただし、D(,)とは２つのトラックレットの対応性を示す、トラックレット間のモーション
の類似度とアピアランスの類似度から計算される。
【数３】
2020057424.tif 000005
モーション類似度MotionMatch(t1,t2)は、トラックレットt1とt2間の短時間においてt1
を人物が線形な移動を取ることを仮定する。t1がt2の開始時刻までにt1’へ拡張し、図４
に示すように、ユークリッド距離を用いて計算する。
【数４】
2020057424.tif 000006
【００２１】
また、アピアランスの類似度AppearanceMatch(t1,t2)は、それぞれのトラックレットか
ら人物の代表的な外観を選び、その２つの外観から特徴量を抽出すると比較することによ
り計算する。代表的な外観の選択に関しては、図４に示すように、トラックレットの間に
ある人物を選べばよい。また、特徴量の抽出と比較については、文献（Ｋ．Ｚｈａｎｇ，
Ｌ．Ｚｈａｎｇ，Ｍ．Ｈ．Ｙａｎｇ“，Ｒｅａｌ−ｔｉｍｅ  ｃｏｍｐｒｅｓｓｉｖｅ  
Ｔｒａｃｋｉｎｇ”、Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｎｃｅ  Ｃｏｍｐｕｔｅｒ  Ｖｉ
ｓｉｏｎ，ｐｐ．８６６−８７９、２０１２）に記載された手法を適用可能である。
【００２２】
ここで、第２ブロックに人物検出結果と対応するトラックレット抽出結果がない場合に
は、図２で説明したステップＳ１０１〜ステップＳ１０４と同様の処理を行うことによっ
て、人物の抽出、トラックレットの抽出が可能になる。
【００２３】
統合部１７は対応付部１６が対応づけたトラックレットの組を新しいトラックレットと
して統合する。管理部１４は、検出部１２の検出結果と統合部１７の統合されたトラック
レットを管理する。
【００２４】
出力部１８は対応付けられた人物とトラックレットの結果を出力する。人物のトラック
レットの結果は動画像上に重畳して表示してもよいし、所望の人物のトラックレットの結
果のみを出力してもよい。人物のトラックレットの結果を重畳すれば複雑な軌跡もユーザ
にとって明確になるため良い。また、注目フレームのみに対して、人物のＩＤと位置を出
力してもよい。上述のとおり人物のＩＤは互いが区別可能なように付与されたものであれ
ばよく、人物自体を同定できなくてもよい。
【００２５】
以上のように、第１の実施形態に係わる移動物体追跡システム１によれば、複数の移動
物体の複雑な動きでも計算コストの少なくすることが可能になる。特に、対応付部１６は
第２ブロックのトラックレットを利用し、第１及び第３ブロックのトラックレットと統合
するため、トラックレットの対応付におけるいて重複計算が不要になる。また、重複した
計算が不要になるため計算コストを少なくすることが可能になる。
【００２６】
（第２の実施形態）
図５は、第２の実施形態に係わる移動物体追跡システム２を示すブロック図である。本
実施形態に関わる移動物体追跡システム２は、取得部１０、設定部１１、検出部１２、抽
出部１３、管理部１４、分割部１５、対応付け部１６、補間部２０、統合部１７、出力部
１８とを備える。第１の実施形態とは補間部２０を備えることが異なる。
【００２７】
補間部２０は、前記第２ブロックと前記第３ブロックとの間で対応づけられる人物各々
のトラックレットから、第１ブロックにおける人物の位置情報を補間する。ここで位置情
報とは、人物のフレームにおける位置、人物のフレームにおける大きさ、時系列順で注目
フレームより前の移動軌道（トラックレット）のいずれか一つを含むものを指す。
具体的には、対応付部１６により対応付けられたトラックレット間の時系列における人
物の未検出を補間する。対応付けられたトラックレットを(t1,t2)とし、t1の終了時の人
物の位置、大きさ及びフレーム番号([x1,y1],[h1,w1],f1)を、t2の開始時の人物の位置、
大きさ及びフレーム番号([x2,y2],[h2,w2],f2)とする。df=f2-f1とおくと、[f1+1,…,f1+
df-1]における各フレームf1+sに対し、人物の位置・大きさ([xs,ys],[hs,ws])は式５によ
って推定できる。
【数５】
2020057424.tif 000007
【００２８】
出力部１８は、対応付部１６の対応付け結果と補間部２０の推定結果を用い、注目フレ
ームにおける人物の位置を出力する。また、大きさと、注目フレームよりも時系列順で前
の対応付け結果を合わせて出力してもよい。
【００２９】
統合部１７は、対応付部１６の対応付け結果と補間部２０の補間結果を用い、対応付け
られたトラックレットと補間された人物の領域とを新しいトラックレットに統合してもよ
い。
【００３０】
ここで、具体的に補間が必要な場合について図６を用いて説明する。
【００３１】
図６は、人物が建物の影にかくれる場合（上段）と、人物通しのすれ違いによって生じ
る遮蔽を表す模式図である。時間軸に沿って、左側の図面から右側へ変化し場合の様子を
表す。
【００３２】
たとえば、人物通しのすれ違いであれば（図６下段）、歩行の速度などから前後の対応
付をすることができる。速度は、移動物体が人であるのか、車であるのかを判定し、予め
平均的な速度を学習しておくことによって、遮蔽時間を推定することができる。
【００３３】
建物による遮蔽（図６上段）も同様であるが、例えば、撮像する周辺に人物を遮蔽する
程度の建物、移動物体が車などであれば移動物体を遮蔽する程度の建物の有無、または位
置情報などを予め取得しておくことで、遮蔽する時間の推定が可能である。
【００３４】
推定された遮蔽時間から、想定する遮蔽時間から第１ブロックの適切な長さを設定でき
るようにしてもよい。例えば、一般の監視映像において、長さＭがフレームレートの２倍
（すなわち２秒間のフレーム数）と設定するなどする。遮蔽時間の設定によって、建物や
通行量などによる環境の変化に適宜対応でき、人物の追跡結果をより頑健に行うことがで
きる。
【００３５】
以上のように、第２の実施形態に係わる移動物体追跡システム１によれば、複数の移動
物体の複雑な動きでも計算コストの少なくすることが可能になる。特に、補間により、全
体の追跡結果が分からなくても、注目フレームにおける追跡結果を出力可能になる。
【００３６】
（ハードウェア構成）
上記実施形態の移動物体追跡システムは、ＣＰＵ（Central  Processing  Unit）など
の制御装置、ＲＯＭやＲＡＭなどの記憶装置、ＨＤＤやＳＳＤなどの外部記憶装置、ディ
スプレイなどの表示装置、マウスやキーボードなどの入力装置、及びカメラなどの撮像装
置等を備えており、通常のコンピュータを利用したハードウェア構成で実現可能となって
いる。
【００３７】
上記実施形態の装置で実行されるプログラムは、ＲＯＭ等に予め組み込んで提供される
。
【００３８】
また、上記実施形態の装置で実行されるプログラムを、インストール可能な形式又は実
行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブ
ルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するよ
うにしてもよい。
【００３９】
また、上記実施形態の装置で実行されるプログラムを、インターネット等のネットワー
クに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることに
より提供するようにしてもよい。また、上記実施形態の装置で実行されるプログラムを、
インターネット等のネットワーク経由で提供または配布するようにしてもよい。
【００４０】
上記実施形態の装置で実行されるプログラムは、上述した各部をコンピュータ上で実現
させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、制御
装置が外部記憶装置からプログラムを記憶装置上に読み出して実行することにより、上記
各部がコンピュータ上で実現されるようになっている。
【００４１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要
旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示され
ている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実
施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実
施形態にわたる構成要素を適宜組み合わせてもよい。
【００４２】
例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限
り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施しても
よい。
【００４３】
以上のように、実施形態に係わる移動物体追跡システム１によれば、複数の移動物体の
複雑な動きでも計算コストの少なくすることが可能になる。特に、対応付部１６は第２ブ
ロックのトラックレットを利用し、第１及び第３ブロックのトラックレットと統合するた
め、トラックレットの対応付におけるいて重複計算が不要になる。
【符号の説明】
【００４４】
１、２・・・移動物体追跡システム、１０・・・取得部、１１・・・検出部、１２・・・
抽出部、１３・・・管理部、１４・・・設定部、１５・・・分割部、１６・・・対応付部
、１７・・・統合部、１８・・・出力部、１９・・・記憶部、２０・・・補間部
【図１】
2020057424.tif 000008
【図２】
2020057424.tif 000009
【図３】
2020057424.tif 000010
【図４】
2020057424.tif 000011
【図５】
2020057424.tif 000012
【図６】
2020057424.tif 000013