(57)【要約】  オブジェクト追跡装置は、映像に含まれる複数の画像を格納する画像バッファと、複数の画像に写るオブジェクトに対して検出処理を実行して、オブジェクト位置を検出する検出部と、オブジェクト検出結果が得られた画像から次のオブジェクト検出結果が得られる画像の範囲を追跡画像列とし、その追跡画像列に対してオブジェクトの追跡処理を実行する追跡部と、検出結果と追跡結果を統合して、統合オブジェクト位置を算出する統合部と、を具備する。ここで、複数の画像の範囲を検出処理の実行タイミング又は終了タイミングに基づいて決定し、検出処理と追跡処理を並列に実行する。
2019180917.tif 000002
【特許請求の範囲】
【請求項１】
映像に含まれる複数の画像を格納する画像バッファと、
前記複数の画像に写るオブジェクトに対して検出処理を実行して、オブジェクト位置を検出する検出部と、
前記検出処理の検出結果に基づいて追跡処理を実行して、前記複数の画像間で前記オブジェクトを追跡する追跡部と、
前記検出処理の検出結果と前記追跡処理の追跡結果を統合して、統合オブジェクト位置を算出する統合部と、
前記映像中の前記複数の画像の範囲を前記検出処理の実行タイミング又は終了タイミングに基づいて決定し、前記検出処理と前記追跡処理を並列に実行させる制御部と、
を具備したオブジェクト追跡装置。
【請求項２】
前記複数の画像に写る前記オブジェクトに対して照合処理を実行して、オブジェクト種別を特定する照合部を更に具備し、
前記統合部は、前記検出結果と前記追跡結果に加えて、前記照合処理の照合結果を参照して前記統合オブジェクト位置を、前記オブジェクト種別に対応付けて算出するようにした、請求項１に記載のオブジェクト追跡装置。
【請求項３】
前記複数の画像に写る前記オブジェクトの前記追跡処理とは時間的に逆方法に逆向き追跡処理を行なう逆向き追跡部を更に具備し、
前記追跡処理の追跡結果を前記逆向き追跡処理の結果に基づいて修正するようにした、請求項１に記載のオブジェクト追跡装置。
【請求項４】
前記追跡部は、前記オブジェクトに対してオブジェクト追跡識別子を割り当て、前記照合部は、前記オブジェクトに対してオブジェクト種別識別子を割り当て、前記統合部は、前記オブジェクト追跡識別子と前記オブジェクト種別識別子とを対応付けて前記統合オブジェクト位置を算出するようにした、請求項２に記載のオブジェクト追跡装置。
【請求項５】
映像に含まれる複数の画像に写るオブジェクトに対して検出処理を実行して、オブジェクト位置を検出し、
前記検出処理の検出結果に基づいて追跡処理を実行して、前記複数の画像間で前記オブジェクトを追跡し、
前記検出処理の検出結果と前記追跡処理の追跡結果を統合して、統合オブジェクト位置を算出し、
前記映像中の前記複数の画像の範囲を前記検出処理の実行タイミング又は終了タイミングに基づいて決定し、前記検出処理と前記追跡処理を並列に実行させるようにした、オブジェクト追跡方法。
【請求項６】
前記複数の画像に写る前記オブジェクトに対して照合処理を実行して、オブジェクト種別を特定し、
前記検出結果と前記追跡結果に加えて、前記照合処理の照合結果を参照して前記統合オブジェクト位置を、前記オブジェクト種別に対応付けて算出するようにした、請求項５に記載のオブジェクト追跡方法。
【請求項７】
前記複数の画像に写る前記オブジェクトの前記追跡処理とは時間的に逆方法に逆向き追跡処理を行ない、
前記追跡処理の追跡結果を前記逆向き追跡処理の結果に基づいて修正するようにした、請求項５に記載のオブジェクト追跡装置。
【請求項８】
映像に含まれる複数の画像に写るオブジェクトに対して検出処理を実行して、オブジェクト位置を検出し、
前記検出処理の検出結果に基づいて追跡処理を実行して、前記複数の画像間で前記オブジェクトを追跡し、
前記検出処理の検出結果と前記追跡処理の追跡結果を統合して、統合オブジェクト位置を算出し、
前記映像中の前記複数の画像の範囲を前記検出処理の実行タイミング又は終了タイミングに基づいて決定し、前記検出処理と前記追跡処理を並列に実行させるようにした、オブジェクト追跡プログラム。
【請求項９】
前記複数の画像に写る前記オブジェクトに対して照合処理を実行して、オブジェクト種別を特定し、
前記検出結果と前記追跡結果に加えて、前記照合処理の照合結果を参照して前記統合オブジェクト位置を、前記オブジェクト種別に対応付けて算出するようにした、請求項８に記載のオブジェクト追跡プログラム。
【請求項１０】
前記複数の画像に写る前記オブジェクトの前記追跡処理とは時間的に逆方法に逆向き追跡処理を行ない、
前記追跡処理の追跡結果を前記逆向き追跡処理の結果に基づいて修正するようにした、請求項８に記載のオブジェクト追跡プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラムに関する。
【背景技術】
【０００２】
近年、監視カメラなどで撮影された映像から特定の人物や物などのオブジェクトを検出して追跡する技術が開発されている。特許文献１は、追跡装置及び追尾システムを開示している。追跡装置は、高精度追跡手段、高速追跡手段、補正手段、及び追尾対象特定手段を具備している。補正手段は、高精度追跡手段が遅れて求めた過去時点における追跡結果と、過去時点における高速追跡手段の追跡結果に所定以上の相違がある場合には、高速追跡手段の追跡結果を高精度追跡手段の追跡結果に補正し、現時刻まで再度追跡処理を行なう。特許文献１では、高精度追跡手段と高速追跡手段とを並列に動作させている。【０００３】
特許文献２は、カメラで撮影された映像から人物や物体を検出して追跡する高精度の画像認識装置を開示している。ここで、動画中の注目画像の部分領域毎に物体を含む尤度に基づいて物体を検出しており、物体の検出位置は、その物体の追跡位置と統合して出力される。【０００４】
特許文献３は、カメラで撮影された動画像において複数のオブジェクト間で相互遮蔽が起こる場合でも、そのオブジェクトを正しく追跡できるオブジェクト追跡装置を開示している。特に、複数のオブジェクト（人物）が個々に移動することにより生じるオブジェクト同士の重複部分が生じた場合でも、高精度にオブジェクトの追跡を行うために、相互に重複した複数のオブジェクトをコンテナ（即ち、フレーム間で対応付けられたオブジェクトの集合）単位で管理する。具体的には、独立に追跡されている複数のオブジェクト間で重複部分が生じた時点で、コンテナを作成し、オブジェクト間の重複が解消された時点でオブジェクトをコンテナから離脱させている。【０００５】
カメラで撮影された画像中のオブジェクトを検出するために種々の手法が開発されている。例えば、画像上で予め検出したいオブジェクトの画像をテンプレートとして保持し、画像上でテンプレートを操作すること（例えば、スライディングウィンドウ）によりオブジェクトを検出することができる。画像中のオブジェクトの検出手法として、非特許文献１乃至非特許文献３が挙げられる。これらの非特許文献は、予めニューラルネットワークを学習させておくことにより、オブジェクトの存在する領域と種別を判定する技術を開示している。【０００６】
非特許文献１は、Ｆａｓｔｅｒ  Ｒ−ＣＮＮ（Ｒｅｇｉｏｎａｌ−ｂａｓｅｄ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いたリアルタイムオブジェクト検出手法を開示している。非特許文献２は、ＹＯＬＯ（Ｙｏｕ  Ｏｎｌｙ  Ｌｏｏｋ  Ｏｎｃｅ）９０００と呼ばれるリアルタイムオブジェクト検出システムを開示している。ＹＯＬＯ９０００は、９０００個以上のオブジェクトカテゴリ（又は、オブジェクトクラス）を検出できる。非特許文献３は、単一のディープニューラルネットワークを用いたオブジェクト検出手法としてＳＳＤ（Ｓｉｎｇｌｅ  Ｓｈｏｔ  Ｄｅｔｅｃｔｏｒ）を開示している。【０００７】
画像中のオブジェクトの追跡手法として、非特許文献４及び非特許文献５が挙げられる。非特許文献４は、ヒューマン・コンピュータ・インタアクション、サベイランス、拡張現実などにおけるビジュアルオブジェクトトラッキングについて、オブジェクト検出・追跡手法（Ｋｅｒｎｅｌｉｚｅｄ  Ｓｔｕｃｔｕｒｅ  Ｏｕｔｐｕｔ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）により、オブジェクト領域画像を逐次学習し、映像中のオブジェクトの見え方に変化が生じる場合でも高精度でオブジェクトを追跡する技術を開示している。ここで、Ｂｕｄｇｅｔ  Ｍａｉｎｔｅｎａｎｃｅと呼ばれる仕組みにより、サポートベクトル数を管理しているため、比較的高速にオブジェクトを追跡することができる。【０００８】
非特許文献５は、ＡｒｔＴｒａｃｋ（Ａｒｔｉｃｕｌａｔｅｄ  Ｍｕｌｔｉ−ｐｅｒｓｏｎ  Ｔｒａｃｋｉｎｇ）と呼ばれるオブジェクト追跡手法を開示しており、人物に係るオブジェクトに部分的な隠蔽が存在する場合でも、高精度にオブジェクトを追跡する技術を開示している。具体的には、オブジェクトを構成するパーツを検出し、時空間モデルを用いてパーツを統合することにより、映像中のオブジェクトの位置を追跡する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１５−１９４９０１号公報
【特許文献２】特開２０１６−１６２２３２号公報
【特許文献３】国際公開番号ＷＯ２０１７／１９９８４０号公報
【非特許文献】
【００１０】
【非特許文献１】Shaoquing Ren et al., “Faster R-CNN: Towards Real-Time Object Detection with Regional Proposal Networks”, ArXiv,https://arxiv.org/abs/1506.01497
【非特許文献２】Joseph Redmon et al., “YOLO9000: Better, Faster, Stronger”, ArXiv, https://arxiv.org/abs/1612.08242
【非特許文献３】Wei Liu et al., “SSD: Single short MultiBox Detetor”, ArXiv, https://arxiv.org/abs/1512.02325
【非特許文献４】Sam Hare et al., “Struck: Structured Output Tracking with Kernels”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 38, Issue: 10, 2016
【非特許文献５】Eldar Insafutdinov et al., “ArtTrack: Articulated Multi-person Tracking in the Wild”, ArXiv, https://arxiv.org/abs/1612.01465
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述の従来技術（特許文献及び非特許文献など）では、オブジェクトを高速に追跡する範囲について事前情報が与えられていない場合、映像の広範囲についてオブジェクトの特徴点を検出し追跡する必要があり、オブジェクトの検出処理及び追跡処理が非効率であるという問題点がある。【００１２】
本発明は、上述の課題を解決するオブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の第１の態様は、オブジェクト追跡装置に関し、映像に含まれる複数の画像を格納する画像バッファと、複数の画像に写るオブジェクトに対して検出処理を実行して、オブジェクト位置を検出する検出部と、検出処理の検出結果に基づいて追跡処理を実行して、複数の画像間でオブジェクトを追跡する追跡部と、検出処理の検出結果と追跡処理の追跡結果を統合して、統合オブジェクト位置を算出する統合部と、映像中の複数の画像の範囲を検出処理の実行タイミング又は終了タイミングに基づいて決定し、検出処理と追跡処理を並列に実行させる制御部と、を具備する。【００１４】
本発明の第２の態様は、オブジェクト追跡方法に関し、映像に含まれる複数の画像に写るオブジェクトに対して検出処理を実行して、オブジェクト位置を検出し、検出処理の検出結果に基づいて追跡処理を実行して、複数の画像間でオブジェクトを追跡し、検出処理の検出結果と追跡処理の追跡結果を統合して、統合オブジェクト位置を算出し、映像中の複数の画像の範囲を検出処理の実行タイミング又は終了タイミングに基づいて決定し、検出処理と追跡処理を並列に実行させる。【００１５】
本発明の第３の態様は、オブジェクト追跡プログラムに関し、映像に含まれる複数の画像に写るオブジェクトに対して検出処理を実行して、オブジェクト位置を検出し、検出処理の検出結果に基づいて追跡処理を実行して、複数の画像間でオブジェクトを追跡し、検出処理の検出結果と追跡処理の追跡結果を統合して、統合オブジェクト位置を算出し、映像中の複数の画像の範囲を検出処理の実行タイミング又は終了タイミングに基づいて決定し、検出処理と追跡処理を並列に実行させる。
【発明の効果】
【００１６】
本発明に係るオブジェクト追跡装置及びオブジェクト追跡方法は、オブジェクト検出処理とオブジェクト追跡処理を並列に実行することにより、高い計算効率で高精度にオブジェクトを検出して追跡することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施例１に係るオブジェクト追跡装置の構成を示すブロック図である。
【図２】本発明の実施例１に係るオブジェクト追跡装置の全体処理を示すフローチャートである。
【図３】オブジェクト検出・追跡対象の画像と画像識別子との関係を示す図である。
【図４】オブジェクトに係る検出処理、追跡処理、統合処理、及び制御処理の関係を概念的に示すシーケンス図である。
【図５】オブジェクトに係る検出処理の一例を示すフローチャートである。
【図６】オブジェクトに係る追跡処理の一例を示すフローチャートである。
【図７】オブジェクトに係る検出処理と追跡処理を統合する統合処理の一例を示す模式図である。
【図８】オブジェクトに係る検出処理と追跡処理を統合する統合処理の他の例を示す模式図である。
【図９】本発明の実施例２に係るオブジェクト追跡装置の構成を示すブロック図である。
【図１０】オブジェクトに係る検出処理、追跡処理、統合処理、及び制御処理の関係を概念的に示すシーケンス図である。
【図１１】本発明の実施例２に係るオブジェクト追跡装置の全体処理を示すフローチャートである。
【図１２】オブジェクトに係る検出処理、照合処理、及び追跡処理を統合する統合処理の一例を示す模式図である。
【図１３】オブジェクトに係る検出処理、照合処理、及び追跡処理を統合する統合処理の他の例を示す模式図である。
【図１４】本発明の実施例３に係るオブジェクト追跡装置の構成を示すブロック図である。
【図１５】本発明の実施例３に係るオブジェクト追跡装置の全体処理を示すフローチャートである。
【図１６】本発明を実施するための一般的なコンピュータ装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
本発明に係るオブジェクト追跡装置及びオブジェクト追跡方法について、実施例とともに添付図面を参照して詳細に説明する。
図１６は、本発明を実施するための一般的なコンピュータ装置の構成を示しており、オブジェクト追跡処理をコンピュータ上で動作するソフトウェアプログラムで実施している。図１６に示されるオブジェクト追跡装置１のハードウェア構成は、プログラム制御により動作するプロセッサ（例えば、ＣＰＵ）２、ソフトウェアプログラムとオブジェクト追跡処理に必要なデータを記憶する記憶部３、データ及び計算結果を入出力する入出力部４、及び映像を撮影する撮像部５を具備する。ここで、オブジェクト追跡装置１は、入出力部４と撮像部５の少なくとも一つを具備すればよい。例えば、オブジェクト追跡装置１の外部記憶装置に格納されている映像を入出力する入出力部４のみを具備してもよい。或いは、撮像部５を一般的なカメラで構成し、入出力部４は、撮像部５で撮影した映像を入力してもよい。
【実施例１】
【００１９】
本発明の実施例１に係るオブジェクト追跡装置１００の構成及び動作について図１乃至図８を参照して詳細に説明する。
図１は、本発明の実施例１に係るオブジェクト追跡装置１００の構成を示しており、オブジェクト追跡装置１００は、制御部１０１、検出部１０２、画像バッファ１０３、追跡部１０４、及び統合部１０５を具備する。【００２０】
制御部１０１は、検出部１０２、画像バッファ１０３、追跡部１０４、及び統合部１０５を制御する。制御部１０１の制御下、検出部１０２と追跡部１０４の並列動作を可能とし、追跡部１０４が検出部１０２により検出されるオブジェクト検出位置の情報を入力することで、少なくともオブジェクト検出領域の周辺のみを探索すればオブジェクトを追跡することが可能となる。制御部１０１の制御処理の詳細は、オブジェクト追跡装置１００の動作説明において後述する。【００２１】
検出部１０２は、カメラなどで撮影された映像から切り出されたフレーム画像に対して、追跡対象のオブジェクトが存在する領域（即ち、オブジェクト検出領域）を検出する。ここで、既知の検出方法を検出部１０２の処理に適用してもよく、例えば、非特許文献１乃至非特許文献４に記載されたオブジェクト検出手法を用いることができるが、これに限定されるものではない。以下の説明では、オブジェクト検出手法として、スライディングウィンドウを用いる例について説明する。【００２２】
画像バッファ１０３は、オブジェクト追跡用の映像の少なくとも１つ以上のフレーム画像を格納する。追跡部１０４は、画像バッファ１０３に格納されたフレーム画像を入力する。また、画像バッファ１０３は、所定の条件で定められる順序でフレーム画像を管理できる機能を有し、複数のフレーム画像の順序を管理することができる。以下の説明では、画像バッファ１０３は、複数のフレーム画像を撮像時間の古いものから新しいものに順序付け格納するものとするが、これに限定されるものではない。また、画像バッファ１０３は、追跡部１０４が追跡するオブジェクトに係る画像の列をグルーピングするためのフラグを付加している。時間的に前に撮像された画像であってフラグがオンとなっているものから次にフラグがオンとなっている画像までの画像列が追跡部１０４で追跡処理を行なう一単位となる。【００２３】
追跡部１０４は、検出部１０２により検出されたオブジェクト検出位置と、画像バッファ１０３に格納されるフレーム画像を入力し、過去のフレーム画像におけるオブジェクト検出位置・領域に存在するオブジェクトをフレーム画像のオブジェクト領域に対応付けることで当該オブジェクトを追跡する。追跡部１０４は、既知の追跡手法を採用してもよく、例えば、特許文献１に記載されたコーナー検出手法（例えば、人物像の輪郭付近の特徴点を抽出する手法）による検出結果の時間方向における特徴点の対応付けを利用してもよい。或いは、過去のフレーム画像における矩形領域をキーとした画像中のオブジェクト探索手法を用いてもよい。両手法を比較すると、オブジェクトが比較的小さく画像に写っている場合、又は、オブジェクトがコーナーのような部分領域を持たない場合、後者の追跡手法を用いた方が精度良くオブジェクトを追跡することができる。以下の説明では、後者の方法を例にとり、追跡処理を説明する。【００２４】
統合部１０５は、検出部１０２により検出されたオブジェクト検出領域と、追跡部１０４によって算出されたオブジェクト追跡領域を統合する。ここで、オブジェクトの検出結果と追跡結果をそれぞれ単純に用いてもよく、或いは、両者を統合した領域を計算してもよい。例えば、オブジェクト検出領域とオブジェクト追跡領域を対応付けたペアに対して統合されたオブジェクト領域（以下、統合オブジェクト領域と称する）を求めてもよい。或いは、相互に対応付けられないオブジェクト検出領域やオブジェクト追跡領域もそれぞれ統合オブジェクト領域としてもよい。【００２５】
制御部１０１の制御下、画像バッファ１０３に一時的に画像を格納し、検出部１０３によってフレーム画像におけるオブジェクト検出処理が終了した後に、当該フレーム画像とオブジェクト検出結果を追跡部１０４に入力する。これにより、検出部１０３と追跡部１０４を並列に動作させることができる。【００２６】
次に、本発明の実施例１に係るオブジェクト追跡装置１００の動作について図２のフローチャートを参照して説明する。以下の説明では、オブジェクト追跡装置１００に入力された画像を画像バッファ１０３に格納する処理（Ｓ１０３１、Ｓ１０３２）と、検出部１０２によるオブジェクトの検出処理（Ｓ１０２１、Ｓ１０２２、Ｓ１０１２）と、追跡部１０４によるオブジェクトの追跡処理（Ｓ１０４１、Ｓ１０４２、Ｓ１０１１）を並列に動作させる例について説明する。【００２７】
まず、オブジェクト追跡装置１００の全体の動作の概略を説明する。これにより、上述の処理がどのように関連しているかを説明する。その後、各処理について詳述する。【００２８】
オブジェクト追跡装置１００に入力された画像を画像バッファ１０３に格納する処理は、画像格納判定（Ｓ１０３１）、画像格納処理（Ｓ１０３２）、及び全体処理終了判定（Ｓ１０１２）を具備する。まず、制御部１０１は、画像を格納するか判定する（Ｓ１０３１）。具体的には、カメラなどで撮影された画像についてフレーム画像がオブジェクト追跡装置１００に入力され、当該フレーム画像が画像バッファ１０３に未格納の場合に「ＹＥＳ」と判定され、未格納のフレーム画像が画像バッファ１０３に存在しない場合に「ＮＯ」と判定される。その後、制御部１０１は、フレーム画像を所定の順序で画像バッファ１０３に格納する（Ｓ１０３２）。前述したように、複数のフレーム画像を時間的に古いものから新しいものの順序で画像バッファ１０３に格納する。次に、制御部１０１は、検出終了フラグがオンになっているかどうか判定する（Ｓ１０３３）。検出終了フラグは、検出部１０２による前回のオブジェクト検出処理が終了しているかどうかを示す。検出終了フラグがオンとなっている場合（即ち、Ｓ１０３３の判定結果「ＹＥＳ」の場合）、画像バッファ１０３に格納したフレーム画像を指定する識別子（画像識別子）も格納する。その後、制御部１０１は、検出終了フラグをオフにする（Ｓ１０３４）。なお、オブジェクト追跡装置１００の全体動作開始時に、検出終了フラグはオンに初期化しておくものとする。【００２９】
上述のステップＳ１０３３及びＳ１０３４は、オブジェクト検出対象とすべき画像を指定することを目的としており、別の処理手順で画像識別子を格納してもよい。例えば、オブジェクト検出処理に係る時間履歴に基づいて、１枚の画像当たりのオブジェクト検出処理の平均処理時間を算出し、直近に画像識別子が付与された画像から平均処理時間経過後に格納された画像を検出してもよい。具体的には、オブジェクト検出処理に長時間かかり検出終了フラグが暫くオンにならない状態が続いた場合、検出終了フラグがオンになったタイミングの画像に付与される画像識別子を格納する代わりに、直近に画像識別子が付与された画像から平均処理時間経過後の画像について画像識別子を格納してもよい。これにより、オブジェクト検出処理を実行する画像間の時間間隔がばらつくことを抑制することができる。【００３０】
その後、制御部１０１は、全体処理を終了するかどうかを判定する（Ｓ１０１２）。ここで、オブジェクト検出処理（Ｓ１０２２、Ｓ１０２３）、オブジェクト追跡処理（Ｓ１０４２）、及び結果統合処理（Ｓ１０５１）が実行されておらず、オブジェクト検出対象の画像やオブジェクト追跡対象の画像の列が存在しない場合、制御部１０１は、オブジェクト追跡装置１００の全体処理を終了させる。【００３１】
最初に、検出部１０２は、オブジェクト検出処理を開始するかどうかを判定する（Ｓ１０２１）。画像バッファ１０３に格納された画像識別子（Ｓ１０３４）により指定される画像が存在し、オブジェクト検出処理が実行されていない場合は、Ｓ１０２１の判定結果が「ＹＥＳ」となり、検出部１０２は、時間的に最も古い画像に対してオブジェクト検出処理を行なう（Ｓ１０２２）。なお、オブジェクト検出処理（Ｓ１０２２）の詳細については後述する。オブジェクト検出処理の終了後、検出部１０２は、検出終了フラグをオンとし、オブジェクト検出結果を格納する（Ｓ１０２３）。なお、Ｓ１０２１の判定結果が「ＮＯ」の場合には、オブジェクト検出処理をスキップして、オブジェクト検出処理開始判定（Ｓ１０２１）に戻る。【００３２】
図３は、上述の画像と画像識別子との関係を示す。ここで、Ｎ＋１枚のフレーム画像が画像バッファ１０３に格納されており、１番目のフレームを指定する画像識別子と、Ｎ番目のフレームを指定する画像識別子とが格納されている。なお、画像識別子により指定された画像を白丸で示し、それ以外の画像を黒丸で示す。【００３３】
最初に、追跡部１０４は、オブジェクト追跡処理を開始するかどうかを判定する（Ｓ１０４１）。図３に示すように、２つの画像識別子により指定される画像と、その間に存在する画像からなる列（以下、追跡画像列と称する）についてオブジェクト追跡処理が開始されていない場合、追跡部１０４は、オブジェクト追跡処理を行なうものと判定する（Ｓ１０４１の判定結果「ＹＥＳ」）。これにより、追跡部１０４は、後述するオブジェクト追跡処理を実行する（Ｓ１０４２）。図３では、フレーム１からフレームＮに相当するＮ個の画像の列が追跡画像列となる。なお、追跡画像列の代わりに、追跡画像列の一部の画像を抽出して得た追跡画像群を追跡対象と設定してもよい。また、Ｓ１０４１の判定結果が「ＮＯ」の場合、再度、追跡処理開始判定（Ｓ１０４１）を行ない、追跡部１０４は、追跡画像列が生成されるのを待つ。オブジェクト追跡処理（Ｓ１０４２）の終了後、追跡画像列の先頭の画像に付与された画像識別子を削除してもよい。ここで、追跡画像列に含まれる画像から、別の追跡画像列に含まれる画像を除いて、画像識別子を削除してもよい。【００３４】
その後、統合部１０５は、検出部１０２による検出結果と追跡部１０４による追跡結果を統合する統合処理を行なう（Ｓ１０５１）。なお、追跡画像列の最後の画像に対する検出結果が得られていない場合には、その検出結果が得られるまで統合処理（Ｓ１０５１）の開始を待つ。統合処理（Ｓ１０５１）の具体例は、検出処理（Ｓ１０２２）や追跡処理（Ｓ１０４２）の具体例とともに後述する。【００３５】
図４は、オブジェクトに係る検出処理、追跡処理、統合処理、及び制御処理の関係を概念的に示すシーケンス図である。図４では、上から下に向かって時間の経過を示しており、各処理の実行タイミングとその関連性を示している。【００３６】
まず、検出画像が指定されると（Ｓ１０３３）、検出処理が開始され（Ｓ１０３４、Ｓ１０２１）、検出処理（Ｓ１０２２）が行われる。検出処理が終了すると（Ｓ１０２３）、再度、検出画像が指定され（Ｓ１０３３）、検出処理が行なわれる（Ｓ１０２２）。また、追跡画像群（Ｓ１０３３で定められる追跡画像列、若しくは、追跡画像列から抽出された一部の画像群）が指定されると、追跡処理（Ｓ１０４２）が行われる。検出処理（Ｓ１０２２）と追跡処理（Ｓ１０４２）の双方が終了すると、統合処理（Ｓ１０５１）が実行される。その後、検出画像指定、検出処理、追跡画像群指定、追跡処理、及び統合処理が繰り返し実行される。【００３７】
上述の例では、検出終了フラグを用いて検出終了判定を行なっているが、図４に示す処理手順による制御が可能であれば、検出終了フラグを用いる方式を適用する必要はない。例えば、検出終了フラグを用いる代わりに、制御部１０１、検出部１０２、追跡部１０４、及び統合部１０５の間で、図４に示すように、各処理の開始タイミングや終了タイミングを互いにシグナリングするようにしてもよい。【００３８】
次に、検出処理、追跡処理、及び統合処理の詳細について説明する。検出処理（Ｓ１０２２）は、検出対象のオブジェクトについて予めテンプレートを用意し、検出部１０２は、テンプレートを用いて各画像におけるオブジェクトの位置を求める。図５は、検出処理（Ｓ１０２２）の一例を示すフローチャートである。検出部１０２は、画像中の検出領域を設定し（検出領域設定処理Ｓ１０２２１）、検出領域から画像特徴を抽出し（検出特徴抽出処理Ｓ１０２２２）、その画像特徴をテンプレートから計算された特徴と比較して、検出領域に対するオブジェクト検出スコアを計算する（検出領域照合処理Ｓ１０２２３）。ここで、検出領域から抽出された画像特徴として、既知の種類の特徴であってもよく、例えば、輝度値や輝度勾配であってもよい。オブジェクト検出に係るスコア計算は、既知の計算手法を採用してもよく、例えば、２つのベクトルのノルムや内積であってもよい。画像中の領域設定は、画像中でテンプレートに相当する領域をラスタスキャン（スライディングウィンドウ）することで、画像中で想定される全てのテンプレート相当領域に対して検出領域照合処理を行なうまで、Ｓ１０２２１〜Ｓ１０２２３の処理を繰り返す。その処理繰り返し終了後、検出部１０２は、検出最終判定（Ｓ１０２２４）を行う。具体的には、オブジェクト検出スコアが所定値以上の領域をオブジェクト領域として最終判定する。また、画像中にオブジェクトが存在する領域では、その領域を僅かにシフトした領域で比較的高いオブジェクト検出スコアを持つ場合があるので、オブジェクト検出スコアの閾値との比較に加えて、周囲の領域よりも高いオブジェクト検出スコアを有する領域をオブジェクト領域として最終判定してもよい。また、画像中に存在するオブジェクトは必ずしも１つとは限らないため、複数のオブジェクトが存在する画像については、テンプレートは必ずしも１つに限定する必要はない。その場合、テンプレート相当領域とテンプレートの全ての組み合わせに対してオブジェクト照合スコアを求めてもよい。例えば、テンプレート相当領域を画像中で固定した場合、テンプレートの種類に対するスコアの最大値を用いて、検出最終判定を行なってもよい。前述のように、検出処理として既知の検出手法を採用することができ、例えば、非特許文献１乃至非特許文献４に記載された検出手法を用いてもよい。【００３９】
追跡部１０４は、追跡画像列の先頭の画像に対して追跡処理（Ｓ１０４２）を実行するものであり、統合処理（Ｓ１０５１）によって求められたオブジェクト位置、若しくは、それまでの追跡の結果求められたオブジェクト位置に存在するオブジェクトを、追跡画像列の最後の画像まで追跡する。追跡画像列の最後の画像は、次の追跡画像列の最初の画像とされているため、追跡画像列に至るまでの画像列について追跡を行った結果を入力する。【００４０】
図６は、追跡処理（Ｓ１０４２）の一例を示すフローチャートである。まず、追跡部１０４は、画像中の追跡領域を設定し（追跡領域設定処理Ｓ１０４２１）、追跡領域から画像特徴を抽出し（追跡特徴抽出処理Ｓ１０４２２）、その画像特徴をテンプレートから計算された特徴と比較し、追跡領域に対するオブジェクト追跡スコアを計算する（追跡領域照合処理Ｓ１０４２３）。追跡部１０４は、これらの処理を繰り返す。ここで、テンプレートとして、追跡を開始する以前のオブジェクト位置（又は、オブジェクト領域）の画像を用いればよいが、これに限定されるものではない。また、追跡対象のオブジェクトは１つに限定されないが、複数のオブジェクトを追跡する場合には、オブジェクト毎のテンプレートを用いればよい。画像中の追跡領域は、前の画像で追跡した結果得られたオブジェクト位置及びその周辺を探索するように設定すればよい。また、追跡画像列の先頭の画像については、追跡の結果得られるオブジェクト位置の代わりに、統合処理（Ｓ１０５１）によって求められたオブジェクト位置の周辺の領域を設定してもよい。特に、オブジェクト追跡装置１００の全体処理が開始されて始めての追跡処理においては、それ以前の追跡処理の結果が存在しないので、統合処理（Ｓ１０５１）によって求められるオブジェクト位置の周辺の領域を追跡領域として設定すればよい。画像特徴の抽出手法やスコア算出手法として、既知の手法を採用すればよく、前述の検出処理で用いた画像特徴と同一の画像特徴を追跡処理で用いてもよく、或いは、検出処理と異なる画像特徴を追跡処理で用いてもよい。上述の処理（Ｓ１０４２１〜Ｓ１０４２３）の繰り返し後、追跡部１０４は、前述の検出最終判定（Ｓ１０２２４）と同様に、追跡最終判定（Ｓ１０４２４）を行う。また、追跡処理（Ｓ１０２４）では、オブジェクト毎に追跡が行えるため、各オブジェクトに識別子（オブジェクト追跡ＩＤ）を付加して、オブジェクト同士を区別してもよい。例えば、前の追跡処理で追跡対象とされなかったオブジェクトには新たな識別子を付加し、各画像間で追跡するオブジェクトに応じて識別子を引き継ぐようにしてもよい。なお、追跡処理として、既知の手法を採用することができ、例えば、非特許文献４、非特許文献５、及び特許文献３に開示される追跡手法を用いてもよい。【００４１】
統合処理（Ｓ１０５１）は、追跡画像列の最後の画像について検出部１０２によって求められたオブジェクト位置と、追跡部１０４によって求められたオブジェクト位置を統合する。図７は、オブジェクト追跡装置１００の全体処理が開始されて、最初の追跡画像列に対して実行される統合処理の一例を示す。図７では、追跡画像列として３枚の画像（画像１〜画像３）が例示されており、黒色の矢印で示す手順で統合処理が行なわれる。まず、検出処理（１）により所望のオブジェクト（例えば、人物）の領域を検出する（画像１）。２枚目の画像（画像２）については、検出処理は行なわれず、３枚目の画像（画像３）について検出処理（３）が行われる。初期状態においては、それ以前に追跡処理が行なわれていないため、検出処理（１）の結果が最終判定結果となり、これを入力として、画像２に対する追跡処理（２）と、画像３に対する追跡処理（３）が行われる。これと並行して、画像３に対する検出処理（３）が行われる。統合処理は、検出処理（３）の結果と追跡処理（３）の結果を統合する。検出結果と追跡結果の統合方法として、種々の手法が考えられる。例えば、以下の統合方法（Ｉ）、（ＩＩ）、（ＩＩＩ）が考えられる。【００４２】
（Ｉ）追跡結果によらず検出結果を最終結果とする方法
図７は、この統合方法による統合結果の一例を示す。ここでは、検出処理（１）を行う際、前後に重なった２人の人物を１人の人物として誤検出している。この誤検出結果を受けて、画像２と画像３について追跡処理を行なっているため、前後に重なる２人の人物を連続して追跡している。一方、画像３に対する検出処理（３）では、前後に重なる２人のうち前方に位置する人物の領域を正しく検出している。この統合方法によれば、人物を追跡しながら、結果的に人物領域を補正する効果が得られる。
（ＩＩ）検出結果によらず追跡結果を最終結果とする方法
この方法では、仮に２人の人物が前後に重複していても、検出処理が繰り返されることによる人物の検出漏れを修正する効果が得られる。
（ＩＩＩ）検出結果と追跡結果の対応付けを行い、追跡結果に対応付かない検出結果を新規の追跡対象オブジェクトとする方法
検出結果と追跡結果の対応付けは、ハンガリアン法などの既知の手法で実現可能である。検出結果と追跡結果との対応付けが困難な場合には、敢えて両者の対応関係を作成せずに、検出結果と追跡結果の双方を用いてもよい。また、検出結果と追跡結果の対応関係が成立するときのオブジェクト位置は、検出結果によるオブジェクト位置又は追跡結果のオブジェクト位置のいずれでもよい。この場合、（Ｉ）で述べた人物領域を補正する効果と、（ＩＩ）で述べた検出漏れを修正する効果の双方が得られる。追跡処理において、複数のオブジェクトを区別する識別子を管理する場合、統合処理（Ｓ１０５１）で追跡結果と対応関係がない検出結果について新たな識別子（ＩＤ）を付加するようにしてもよい。【００４３】
図８は、（Ｉ）の統合方法による統合結果の別の例を示している。図７と同様に、３枚の画像（画像１〜画像３）を追跡画像列としている。画像１に対する検出処理（１）では、前後に重なった２人の人物を１人の人物として誤検出している（画像識別子ｉｄ１参照）。この誤検出結果を受けて、画像２と画像３に対して追跡処理（２）と追跡処理（３）をおこなっているが、前後に重なった２人の人物を１人の人物として誤って追跡している。一方、画像３に対する検出処理（３）では、前後に重なる２人の人物のそれぞれを人物領域として正しく検出している。統合処理の結果、２人の人物が正しく検出されている。この統合結果を受けて、次の追跡画像列に対する追跡処理が行なわれることになる。【００４４】
本発明の実施例１の効果について説明する。本実施例では、オブジェクトの検出処理の結果を利用してオブジェクトの追跡処理を行ない、かつ、両者の並列動作を可能とするために、制御部１０１と、画像バッファ１０３を備えている。また、オブジェクト追跡対象の追跡画像列を、オブジェクト検出処理終了フラグのオン・オフにより絞り込んでいるため、オブジェクト検出処理とオブジェクト追跡処理の並列動作を可能とし、かつ、オブジェクト追跡処理の計算効率を高めることができる。また、オブジェクト検出結果を利用して、オブジェクト追跡結果を補正することができ、オブジェクト追跡装置１００の全体処理を高精度に実行することができる。さらに、オブジェクト検出結果を用いてオブジェクト追跡位置（オブジェクト追跡領域）を補正することもできる。
【実施例２】
【００４５】
本発明の実施例２に係るオブジェクト追跡装置１００の構成及び動作について図９乃至図１３を参照して詳細に説明する。実施例２では、実施例１に比べてオブジェクトの種類を特定できる照合部を追加することにより、映像中に写るオブジェクト同士を区別することを目的としている。以下の説明では、実施例１と同一の構成及び動作については省略し、実施例１と実施例２の相違点について説明する。【００４６】
図９は、本発明の実施例２に係るオブジェクト追跡装置１００の構成を示しており、制御部２０１、検出部１０２、画像バッファ１０３、追跡部１０４、統合部２０５、及び照合部２０６を具備する。ここで、検出部１０２、画像バッファ１０３、及び追跡部１０４は、実施例１と同様であるため、その説明を省略する。なお、追跡部１０４は、前述の手法により、オブジェクトの位置に加えてオブジェクトの種別を特定する識別子（ＩＤ）を管理できるものとする。統合部２０５は、実施例１の統合部１０５の機能に加えて、オブジェクトの種別を特定する識別子（ＩＤ）を統合する機能を有する。【００４７】
照合部２０６は、検出対象に係るオブジェクトの種別毎に予め用意されたテンプレートを用いて、オブジェクトの種別を特定する。オブジェクトが人物の場合、照合部２０６が利用するテンプレートは個人毎に用意されるものであり、一方、検出部１０２が利用するテンプレートは一般的に人物を検出するために用意されるものである。以下の説明では、このように２種類のテンプレートを用いるものとする。照合部２０６で利用されるテンプレートには、オブジェクト（例えば、人物）の種別を示す識別子（以下、オブジェクト種別識別子（ＩＤ）と称する）を関連付けてもよい。照合部２０６による照合処理は、入力される任意の領域に対して実行することができ、例えば、検出処理により得られるオブジェクト位置（領域）、追跡処理により得られるオブジェクト位置（領域）、両者が統合されたオブジェクト位置に対して照合処理を実行することができる。以下の説明では、検出処理により得られるオブジェクト位置（領域）に対して照合処理を実行するものとする。上記のように、オブジェクト種別に依拠しないオブジェクト検出用テンプレートは検出部１０２により用いられ、オブジェクト種別毎に用意されるテンプレートは照合部２０６により利用されるが、これに限定されるものではない。【００４８】
図１０は、オブジェクトに係る検出処理、追跡処理、照合処理、及び制御処理の関係を観念的に示したシーケンス図である。図４と比較すると、検出処理（Ｓ１０２２）と照合処理（Ｓ２０６１）が時間的に連続して実行されている。つまり、図１０では、検出処理の終了後、照合処理が終了するまで検出処理の開始を待つように設計されているが、これらの処理を並列に動作させてもよい。【００４９】
次に、図１１のフローチャートを参照して、実施例２に係るオブジェクト追跡装置１００の全体処理について説明する。図１１において、図２と同一のステップ（Ｓ１０１２、Ｓ１０２１〜Ｓ１０２３、Ｓ１０３１〜Ｓ１０３４、Ｓ１０４１〜Ｓ１０４２）については、その説明を省略する。図１１と図２との相違点は、検出処理（Ｓ１０２２）の後に照合部２０６が照合処理（Ｓ２０６１〜Ｓ２０６２）を実行することと、統合処理（Ｓ１０５１）が統合処理（Ｓ２０５１）に置き換わっていることである。【００５０】
照合部２０６は、照合処理（Ｓ２０６１）を実行する。すなわち、検出処理（Ｓ１０２２）により検出されたオブジェクト位置（領域）のオブジェクトについて、照合処理用テンプレートと比較することにより、いずれのテンプレートと照合するのかを決めて、照合処理用テンプレートに関連付けられたオブジェクト種別識別子（ＩＤ）を取得する。検出処理と同様に、照合処理では、オブジェクト位置（領域）の画像と、照合処理用テンプレートの双方から既知の方法で画像特徴を計算し、既知の方法で照合スコアを算出し、オブジェクト位置（領域）の画像に最も類似するテンプレートに関連付けられたオブジェクト種別識別子（ＩＤ）を取得する。全てのテンプレートとの類似性が低いと判定された場合、「照合結果無し」と判断して、オブジェクト種別識別子（ＩＤ）を取得しないようにしてもよい。照合部２０６は、照合処理（Ｓ２０６１）の終了後、照合処理の結果を格納する（Ｓ２０６２）。【００５１】
次に、統合部２０５は統合処理（Ｓ２０５１）を行う。統合部２０５は、実施例１と同様の統合処理（Ｓ１０５１）を実行した後、照合処理（Ｓ２０６１）の結果を受けて、オブジェクト種別識別子（ＩＤ）が存在する場合は、オブジェクト種別識別子（ＩＤ）と前述の追跡処理（Ｓ１０４２）で使用したオブジェクト追跡識別子（ｉｄ）とを対応付けて格納する。【００５２】
図１２は、前述の（ＩＩＩ）統合処理方法を採用した場合の、検出処理、照合処理、追跡処理、及び統合処理の手順の一例を示している。図７及び図８と同様に、図１２でも、２人の人物が前後に重なった状態を示す３枚の画像（画像１〜画像３）を用いている。図１２において、画像１に対する検出処理では、前後に重なった２人の人物を１人の人物として誤検出しているが、照合処理では正しいオブジェクト種別識別子（ＩＤ）を取得している。この誤検出結果を受けて、画像１から画像３まで追跡処理を行なっているが、依然として前後に重なる２人の人物を１人の人物として追跡している。追跡処理において、オブジェクト追跡識別子（ｉｄ）が指定されている。画像３に対する検出処理では、前後に重なる２人の人物を個別の人物領域として正しく検出しており、それぞれ、照合処理で正しいオブジェクト追跡識別子（ＩＤ１、ＩＤ２）を取得している。統合処理では、オブジェクト種別識別子ＩＤ１が割当てられたオブジェクト（人物）と、オブジェクト追跡識別子ｉｄ１が割当てられたオブジェクト（人物）とが対応付けられたと判定しており、検出処理で得られたオブジェクト位置（領域）を統合オブジェクト位置（領域）としている。オブジェクト種別識別子ＩＤ２が割当てられたオブジェクトについては、統合処理の時点で、オブジェクト追跡識別子（ｉｄ）が割当てられておらず、オブジェクト種別識別子ＩＤ２のオブジェクトとの対応付けは行われていない。なお、図１２の統合処理に続いて、追跡処理を行なう際には、オブジェクト種別識別子ＩＤ２に係るオブジェクトに対して新たにオブジェクト追跡識別子（例えば、ｉｄ２）が割当てられる。【００５３】
上述の統合方法の利点は、追跡処理で互いに重なり合うオブジェクト間で誤った追跡結果が発生しても、その誤追跡結果を正しい結果に補正できることである。【００５４】
次に、図１３を参照して検出処理、照合処理、追跡処理、及び統合処理の手順の他の例について説明する。図１３は、図１２と同様に、２人の人物が前後に重なった画像１乃至画像３を示しているが、２人の人物は個別に認識されている。画像１に対する「検出処理＋照合処理（１）」により、前に写る人物に対してオブジェクト種別識別子ＩＤ１が割り当てられ、後ろに移る人物に対してオブジェクト種別識別子ＩＤ２が割り当てられる。一方、追跡処理では、前に写る人物に対してオブジェクト追跡識別子ｉｄ１が割り当てられ、後ろに写る人物に対してオブジェクト追跡識別子ｉｄ２が割り当てられる。画像２に対する追跡処理（２）と異なり、画像３に対する追跡処理（３）では、２人の人物の位置を前後に誤認識しており、前に写る人物に対してオブジェクト追跡識別子ｉｄ２とし、後ろに写る人物に対してオブジェクト追跡識別子ｉｄ１としている。一方、画像３に対する「検出処理＋照合処理（３）」では、前に写る人物に対してオブジェクト種別識別子ＩＤ１とし、後ろに写る人物に対してオブジェクト種別識別子ＩＤ２と正しく判定している。前述の（ＩＩＩ）の統合方法を採用すれば、オブジェクト種別識別子ＩＤ１とオブジェクト追跡識別子ｉｄ２とが対応付けられ、オブジェクト種別識別子ＩＤ２とオブジェクト追跡識別子ｉｄ１とが対応付けられる。このため、追跡処理開始時のオブジェクト種別識別子とオブジェクト追跡識別子との対応付けを予め記憶しておき、その後、統合処理（３）の結果とを比較すれば、追跡処理でオブジェクトの誤判定があったことを検知することができ、その誤判定の影響が後段の処理に波及することを防止することができる。換言すれば、オブジェクトの各々について移動軌跡を正しく求めることができる。【００５５】
上述のように、実施例２では、実施例１の機能に加えて、照合部２０６によりオブジェクト種別識別子（ＩＤ）をオブジェクトに割り当てるようにしたので、実施例１の効果に加えて、追跡処理によるオブジェクトの誤判定を補正する効果が得られる。
【実施例３】
【００５６】
本発明の実施例３に係るオブジェクト追跡装置１００の構成及び動作について、図１４及び図１５を参照して説明する。実施例３は、実施例１の構成に加えて、逆向き追跡部を備えている。以下の説明では、実施例１と同一の構成及び動作については省略し、実施例１と実施例３の相違点について説明する。【００５７】
図１４は、本発明の実施例３に係るオブジェクト追跡装置１００の構成を示しており、制御部３０１、検出部１０２、画像バッファ１０３、追跡部１０４、統合部３０５、及び逆向き追跡部３０７を具備する。ここで、検出部１０２、画像バッファ１０３、及び追跡部１０４は、実施例１と同様であるため、その説明を省略する。【００５８】
逆向き追跡部３０７は、検出部１０２による検出結果に基づいて、時間的に新しい画像から古い画像へ、追跡部１０４とは逆向きに追跡処理を行なう。また、逆向き追跡部３０７は、追跡部１０４の追跡結果との対応付けを行う。このとき、画像識別子によって指定される画像群は、現時点において検出結果が得られている最新の画像と、その一つ前の検出結果が得られた画像に挟まれる区間に含まれる画像となる。実施例３では、説明の都合上、追跡部１０４と逆向き追跡部３０７とを分けて記載したが、追跡部１０４と逆向き追跡部３０７とを同じ回路や処理機能で実現してもよい。例えば、先に追跡部１０４で時間順方向の追跡処理を行なった後、逆向き追跡部３０７で時間逆方向の追跡処理を行なってもよい。【００５９】
制御部３０１は、検出部１０２、画像バッファ１０３、追跡部１０４、及び逆向き追跡部３０７の動作を制御する。【００６０】
図１５は、実施例３に係るオブジェクト追跡装置１００の全体処理を示す。実施例３の全体処理は、実施例１の全体処理（図２参照）と比べて、実施例ステップＳ１０２１〜Ｓ１０２３、Ｓ１０３１〜Ｓ１０３４，Ｓ１０１２、Ｓ１０４１〜Ｓ１０４２、Ｓ１０５１が同一であり、ステップＳ３０７１〜Ｓ３０７３を追加している。つまり、実施例３に係るオブジェクト追跡装置１００では、追跡処理（Ｓ１０４２）が開始されると判定されたとき（Ｓ１０４１「ＹＥＳ」）、追跡処理（Ｓ１０４２）に加えて、逆向き追跡部３０７に係る処理（Ｓ３０７１〜Ｓ３０７３）を実行している。【００６１】
まず、逆向き追跡部３０７は、逆向き追跡対象の画像群（以下、逆向き追跡画像群と称する）を指定する（Ｓ３０７１）。例えば、現在、追跡対象の追跡画像列（又は、追跡画像列）を処理する直前に、逆向き追跡対象の逆向き追跡画像群（逆向き追跡画像列）を指定してもよいが、これに限定されるものではない。次に、逆向き追跡画像群に対して逆向き追跡処理を行なう（Ｓ３０７２）。逆向き追跡処理は、時間的に逆方向に追跡を行うこと以外は、前述の追跡処理（Ｓ１０４２）と同様であるが、異なる追跡処理を行なってもよい。その後、逆向き追跡処理の結果に基づいて、過去の追跡結果を修正する（Ｓ３０７３）。具体的には、追跡処理の結果と逆向き追跡処理の結果を対応付ければよい。追跡画像群と逆向き追跡画像群とが同一の画像（厳密には、同一の画像検出結果）を共有する場合には、両者の対応付けは容易である。また、追跡画像群と逆向き追跡画像群とで同一の画像を共有しない場合、追跡画像群の任意の画像のオブジェクト位置と逆向き追跡画像群の任意の画像のオブジェクト位置との間で、ハンガリアン法に基づく対応付けを行うことも可能である。【００６２】
本発明の実施例３では、所望の画像群について、過去に遡って追跡処理を行なうことができる。追跡画像群の途中の画像に新たに人物が出現した場合、実施例１では、時間順に検出処理を行なう画像以降の検出結果に基づく追跡結果しか得られないが、実施例３では、それ以前の画像に対する追跡結果を時間的に遅れて得ることができる。【００６３】
上述の実施例３の変形例として、追跡対象オブジェクトが遮蔽物に隠れるなどして追跡処理の途中でそのオブジェクトの追跡結果が途切れた場合でも、追跡結果を修正することができる。例えば、過去に追跡結果を得たときの追跡処理対象の追跡画像群の任意の画像で得られた追跡結果と、逆向き追跡画像の任意の画像（或いは、共通の画像でもよい）で得られた追跡結果（例えば、オブジェクト位置）を用いて、ハンガリアン法により、過去の追跡結果と逆向き追跡結果とを対応付けることにより、過去の追跡結果と逆向き追跡結果を統合することができる。【００６４】
本発明に係るオブジェクト追跡装置及びオブジェクト追跡方法について実施例１乃至実施例３とともに説明したが、これに限定されるものではない。例えば、オブジェクト追跡装置で得られた人物の移動軌跡を表示装置の画面上に表示してもよい。また、オブジェクト追跡装置を用いて、特定の人物が映像から検出されたことを表示して追尾するシステムを実現してもよい。さらに、オブジェクト追跡装置に加えて、オブジェクトの追跡結果（例えば、オブジェクト位置（領域）、オブジェクト追跡識別子）の履歴とオブジェクト種別識別子の履歴とを格納し、これらの情報を表示装置の画面上に表示してもよい。また、映像から特定の人物が検出されたとき、その人物位置（領域）を特定の色の矩形領域で囲むなどして、特定人物を画面上で強調してもよい。【００６５】
上述の実施例において、検出部、追跡部、及び照合部は、適切な方法で定めた規定処理時間（例えば、予め定めた画像１つ当たりの処理時間の上限値）を参照して、オブジェクトの探索範囲を制御するようにしてもよい。例えば、オブジェクト探索範囲を予め定めた所定範囲よりも狭めてもよい。【００６６】
また、追跡部は、適切な方法で定めた規定処理時間を参照して、映像中の一部の画像に対する追跡処理をスキップしてもよい。前述のように、統合処理においては、オブジェクトについての追跡処理の結果と検出処理の結果（及び照合処理の結果）の双方が得られていることが必要である。上述の方法では、各種処理の待ち時間を低減して、計算効率を向上させることができる。なお、上記の「適切な方法」として、例えば、「（（予め定めた追跡画像例１つ当たりの処理時間の上限値）−（追跡画像列の追跡処理に要した時間））／（追跡画像列において追跡処理がスキップされていない画像の数）」を予め与えられた所定値よりも大きい場合に、追跡処理をスキップするような方法が考えられるが、これに限定されるものではない。【００６７】
上述の実施例において、オブジェクト追跡装置の動作直後、追跡画像列が１つ生成されたときに追跡処理を開始するようにしているが、１以上の所定数の追跡画像列が生成されたときに、追跡処理を開始するようにしてもよい。画像１枚当たりのオブジェクト検出（及び照合）に係る処理時間が、１つの追跡画像列に対する追跡処理よりも一時的に遅くなった場合でも、次の追跡画像列に対する追跡処理を先行して進めることができる。これにより、追跡処理結果を表示装置の画面上に表示するときの待ち時間を軽減する効果を得ることができる。【００６８】
上述の実施例において、検出部、追跡部、及び照合部は、テンプレートを用いて画像特徴を抽出しているが、これに限定されるものではない。例えば、予め計算された画像特徴を記憶部に格納しておき、オブジェクトに係るスコアの計算時に参照するようにしてもよい。【００６９】
上述の実施例において、オブジェクト追跡装置は、１つの検出部と１つの照合部を具備するものとしたが、検出部と照合部を複数並列に設けて動作させてもよい。これにより、オブジェクトの検出処理及び照合処理に係る平均処理時間が短縮され、オブジェクトの追跡処理の時間遅れを更に低減することができる。【００７０】
上述の実施例において、照合部は、検出部によるオブジェクト検出位置に対して照合処理を行なうものとしたが、追跡部によるオブジェクト追跡位置に対して照合処理を行なってもよい。このとき、照合部が用いるオブジェクト種別識別子に基づいてオブジェクト追跡識別子を補正してもよい。その逆に、オブジェクト追跡識別子に基づいてオブジェクト種別識別子を補正してもよい。【００７１】
本発明に係るオブジェクト追跡装置は、コンピュータシステムにオブジェクト追跡プログラムを読み込んで実行することにより、上述の検出処理、照合処理、追跡処理、及び統合処理を実現してもよい。オブジェクト追跡プログラムは、予め記憶装置（ＲＯＭなど）や記録媒体（ＣＤ−ＲＯＭなど）に記録しておき、コンピュータシステムに読み込ませてもよい。或いは、オブジェクト追跡プログラムをサーバなどに登録しておき、ネットワークを介してコンピュータシステムにダウンロードしてもよい。【００７２】
最後に、本発明は上述の実施例及び変形例に限定されるものではなく、請求の範囲に定義した発明の技術的範囲内における種々の設計変更や改造などをも包含するものである。
【産業上の利用可能性】
【００７３】
本発明は、カメラなどで撮影した映像から所望のオブジェクト（人物など）を検出して追跡する技術に関するものであるが、種々の適用範囲が考えられる。例えば、商業施設の店舗内における商品、店員、顧客の移動軌跡や動線（即ち、人や物が移動する方向や頻度を示す線）を解析する情報解析装置にも適用できる。また、建物や家屋の内外に設置された監視カメラによる映像に写る特定の人物の動きや、非特定の人物の動きを追尾する追尾装置にも適用できる。
【符号の説明】
【００７４】
１、１００  オブジェクト追跡装置
１０１、２０１、３０１  制御部
１０２  検出部
１０３  画像バッファ
１０４  追跡部
１０５、２０５、３０５  統合部
２０６  照合部
３０７  逆向き追跡部
【図１】
2019180917.tif 000003
【図２】
2019180917.tif 000004
【図３】
2019180917.tif 000005
【図４】
2019180917.tif 000006
【図５】
2019180917.tif 000007
【図６】
2019180917.tif 000008
【図７】
2019180917.tif 000009
【図８】
2019180917.tif 000010
【図９】
2019180917.tif 000011
【図１０】
2019180917.tif 000012
【図１１】
2019180917.tif 000013
【図１２】
2019180917.tif 000014
【図１３】
2019180917.tif 000015
【図１４】
2019180917.tif 000016
【図１５】
2019180917.tif 000017
【図１６】
2019180917.tif 000018
【国際調査報告】
2019180917.tif 000019
2019180917.tif 000020