(57)【要約】【課題】追尾結果の誤りを確認する作業を効率よく行い、誤りがある追尾情報を簡単に修正でき、追跡対象人物の画像を見つけ出す作業を効率よく行えるようにする。【解決手段】各カメラの画像による追尾情報からリンクスコアを算出するリンクスコア算出部３５と、監視者の指定により追跡対象人物を設定する追跡対象設定部３２と、追跡対象人物の撮影を引き継ぐカメラごとに、評価値が最も高い人物の画像を確認画像として表示させる確認画像提示部３９と、人物ごとのサムネイルを生成するサムネイル生成部２７と、誤りがある確認画像の人物より評価値が低い人物ごとのサムネイルを候補画像として表示させて、追跡対象人物に該当する候補画像を監視者に選択させる候補画像提示部４０と、選択された候補画像の人物を追跡対象人物と対応づけるようにカメラ間追尾情報を修正する追尾情報修正部３８と、を備えたものとする。【選択図】図３
2018032994.tif 000002
【特許請求の範囲】
【請求項１】
画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、
複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出する評価値算出部と、
複数の前記撮影画像を前記表示装置に表示させて、その撮影画像により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、
連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させる確認画像提示部と、
前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成するサムネイル生成部と、
前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの前記サムネイル画像を候補画像として一覧表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させる候補画像提示部と、
前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する追尾情報修正部と、
を備えたことを特徴とする追跡支援装置。
【請求項２】
画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、
複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出する評価値算出部と、
前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成するサムネイル生成部と、
前記移動体ごとのサムネイル画像を一覧表示する追跡対象検索画面を前記表示装置に表示させて、前記サムネイル画像の選択により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、
連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させる確認画像提示部と、
前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの候補画像を表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させる候補画像提示部と、
前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する追尾情報修正部と、
を備えたことを特徴とする追跡支援装置。
【請求項３】
前記追跡対象設定部は、前記追跡対象検索画面に、前記サムネイル画像を時系列に並べて一覧表示することを特徴とする請求項２に記載の追跡支援装置。
【請求項４】
さらに、前記サムネイル画像を選択する監視者の操作入力に応じて、選択された前記サムネイル画像を間引き再生する画像再生部を備えたことを特徴とする請求項１または請求項２に記載の追跡支援装置。
【請求項５】
さらに、前記候補選択画面に表示された前記候補画像の中に、前記追跡対象に指定した移動体に該当する前記候補画像がない場合に、前記移動体ごとのサムネイル画像を一覧表示する前記追跡対象検索画面を前記表示装置に表示させて、前記サムネイル画像の選択により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に追加設定する追跡対象追加設定部を備え、
前記追尾情報修正部は、前記追跡対象追加設定部で前記追跡対象に追加設定された移動体を、前記追跡対象設定部で追跡対象に設定された移動体と対応づけるように前記カメラ間追尾情報を修正することを特徴とする請求項２に記載の追跡支援装置。
【請求項６】
前記追跡対象設定部は、表示モードを選択する監視者の操作入力に応じて、前記追跡対象検索画面に、移動体ごとの前記サムネイル画像を一覧表示する移動体別画像一覧、および前記カメラごとの撮影画像を一覧表示するカメラ別画像一覧のいずれかを表示することを特徴とする請求項２に記載の追跡支援装置。
【請求項７】
さらに、追跡対象となる移動体の特徴情報に基づき、候補対象となる移動体を絞り込む特徴絞込み部を備え、
前記候補画像提示部は、前記特徴絞込み部により絞り込まれた移動体のサムネイル画像を前記候補選択画面に表示させることを特徴とする請求項１に記載の追跡支援装置。
【請求項８】
さらに、追跡対象となる移動体の特徴情報に基づき、検索対象となる移動体を絞り込む特徴絞込み部を備え、
前記追跡対象設定部は、前記特徴絞込み部により絞り込まれた移動体のサムネイル画像を前記追跡対象検索画面に表示させることを特徴とする請求項２または請求項５に記載の追跡支援装置。
【請求項９】
画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、
監視エリアを撮影する前記カメラと、
このカメラごとの撮影画像を表示する前記表示装置と、
複数の情報処理装置と、
を有し、
前記複数の情報処理装置のいずれかが、
複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出する評価値算出部と、
複数の前記撮影画像を前記表示装置に表示させて、その撮影画像により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、
連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させる確認画像提示部と、
前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成するサムネイル生成部と、
前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの前記サムネイル画像を候補画像として一覧表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させる候補画像提示部と、
前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する追尾情報修正部と、
を備えたことを特徴とする追跡支援システム。
【請求項１０】
画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、
監視エリアを撮影する前記カメラと、
このカメラごとの撮影画像を表示する前記表示装置と、
複数の情報処理装置と、
を有し、
前記複数の情報処理装置のいずれかが、
複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出する評価値算出部と、
前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成するサムネイル生成部と、
前記移動体ごとのサムネイル画像を一覧表示する追跡対象検索画面を前記表示装置に表示させて、前記サムネイル画像の選択により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、
連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させる確認画像提示部と、
前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの候補画像を表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させる候補画像提示部と、
前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する追尾情報修正部と、
を備えたことを特徴とする追跡支援システム。
【請求項１１】
画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する処理を情報処理装置に行わせる追跡支援方法であって、
複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出し、
複数の前記撮影画像を前記表示装置に表示させて、その撮影画像により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定し、
連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させ、
前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成し、
前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの前記サムネイル画像を候補画像として一覧表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させ、
前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正することを特徴とする追跡支援方法。
【請求項１２】
画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する処理を情報処理装置に行わせる追跡支援方法であって、
複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出し、
前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成し、
前記移動体ごとのサムネイル画像を一覧表示する追跡対象検索画面を前記表示装置に表示させて、前記サムネイル画像の選択により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定し、
連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させ、
前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの候補画像を表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させ、
前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正することを特徴とする追跡支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置、追跡支援システムおよび追跡支援方法に関するものである。
【背景技術】
【０００２】
監視エリア内に複数のカメラを設置し、この複数のカメラごとの撮影画像を表示する監視画面をモニタに表示して、監視者に監視させる監視システムが広く普及している。このような監視システムでは、カメラの撮影画像をレコーダに蓄積することで、万引きなどの問題のある行為を行った人物が監視エリア内でどのような行動を行ったかを監視者が事後に確認することができる。
【０００３】
このように監視者が監視画面を見ながら人物を追跡する場合、人物が監視エリア内を移動するのに応じて、その人物を撮影するカメラが次々と切り替わるため、カメラごとの撮影画像を順次確認する必要がある。
【０００４】
そこで、モニタの表示画面にカメラごとの撮影画像を表示する画像表示ウィンドウを設けて、この画像表示ウィンドウに監視者が追跡対象に指定した人物の画像を表示するとともに、モニタの表示画面に人物の進行経路を表示するようにした技術が知られている（特許文献１参照）。この技術では、進行経路が表示されるため、カメラを次々に代えながら追跡する作業を比較的簡単に行うことができ、追跡作業を行う監視者の負担をある程度軽減することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４７５９９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
さて、追跡対象に指定した人物に関するカメラごとの撮影画像をモニタの表示画面に順次表示させるには、画像認識技術を用いて人物を追尾する処理を装置に行わせることになるが、この追尾処理において、追跡対象に指定した人物の追尾が失敗して、人物が別人に入れ替わるなど、追尾結果に誤りが生じる場合がある。このように追尾結果に誤りが生じると、人物の追跡の作業に支障を来すことから、追尾結果に誤りがないかを確認する作業が必要になる。特に、広域の監視エリアを対象にした大規模な監視システムでは、数十台あるいは数百台といった多数の監視カメラが用いられることから、追尾結果の確認作業が極めて煩雑になる。そこで、追尾結果の確認作業を効率よく行うことができる技術が望まれる。
【０００７】
しかしながら、前記の特許文献１に開示された技術では、画面内のいずれかの画像表示ウィンドウに追跡対象とした人物が常に写る、すなわち、追跡対象とした人物の画像が監視エリア内の移動経路の全体を通して漏れなく画面に表示されるものではないため、追跡対象とした人物の追尾結果の確認作業を効率よく行うことができるものではなく、特にカメラの台数が増えると、作業が非常に煩雑になるという問題があった。また、人物の追尾結果に誤りがある場合には、この従来技術ではなんら有効な対応ができず、監視者の負担を軽減する支援処理を適切に行うことができないという問題があった。
【０００８】
特に、カメラの撮影画像で人物を追跡する場合、最初に、追跡対象とする人物を指定するために、追跡対象となる人物が写る画像を探し出す作業が必要になる。また、人物の追尾結果に誤りがある場合には、その追尾期間において追跡対象となる人物が写る画像を探し出す作業が必要になる。ところが、カメラの台数が増えると、該当する画像を探し出す作業が非常に手間を要するものとなり、追跡対象となる人物が写る画像を監視者が見つけ出す作業を効率よく行うことができる技術が望まれる。
【０００９】
そこで、本発明は、追跡対象とした移動体の追尾結果に誤りがないかを確認する作業を効率よく行うとともに、移動体の追尾結果に誤りがある場合に、簡単な操作で追尾情報を修正することができ、特に、追跡対象となる移動体が写る画像を監視者が見つけ出す作業を効率よく行うことができる追跡支援装置、追跡支援システムおよび追跡支援方法を提供することを主な目的とする。
【課題を解決するための手段】
【００１０】
本発明の追跡支援装置は、画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出する評価値算出部と、複数の前記撮影画像を前記表示装置に表示させて、その撮影画像により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させる確認画像提示部と、前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成するサムネイル生成部と、前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの前記サムネイル画像を候補画像として一覧表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させる候補画像提示部と、前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する追尾情報修正部と、を備えた構成とする。
【００１１】
また、本発明の追跡支援システムは、画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、監視エリアを撮影する前記カメラと、このカメラごとの撮影画像を表示する前記表示装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出する評価値算出部と、複数の前記撮影画像を前記表示装置に表示させて、その撮影画像により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させる確認画像提示部と、前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成するサムネイル生成部と、前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの前記サムネイル画像を候補画像として一覧表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させる候補画像提示部と、前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する追尾情報修正部と、を備えた構成とする。
【００１２】
また、本発明の追跡支援方法は、画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する処理を情報処理装置に行わせる追跡支援方法であって、複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出し、複数の前記撮影画像を前記表示装置に表示させて、その撮影画像により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定し、連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させ、前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成し、前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの前記サムネイル画像を候補画像として一覧表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させ、前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する構成とする。
【発明の効果】
【００１３】
本発明によれば、追跡対象とした移動体が写っている可能性が最も高いカメラの画像に絞り込んで表示されるため、移動体の追尾結果の確認作業を効率よく行うことができる。そして、追跡対象確認画面に表示された確認画像に誤りがある、すなわち、移動体の追尾結果に誤りがある場合には、確認画像の代わりになる候補画像が表示されるため、監視者は候補画像を選択するだけで、追尾情報が修正されるため、簡単な操作で追尾情報を修正することができる。特に、候補選択画面に移動体ごとのサムネイル画像が表示されるため、画像上での移動体の識別が容易になることから、追跡対象とした移動体を見逃す不具合を解消して、追跡対象となる移動体の画像を見つけ出す作業を効率よく行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態に係る追跡支援システムの全体構成図
【図２】店舗におけるカメラ１の設置状況を示す平面図
【図３】ＰＣ３の概略構成を示す機能ブロック図
【図４】モニタ７に表示される画面の遷移状況を示す説明図
【図５】各画面で行われる監視者の操作に応じてＰＣ３の各部で行われる処理の手順を示すフロー図
【図６】人物別一覧モードにおける初期指定状態の人物検索画面を示す説明図
【図７】カメラ別一覧モードにおける初期指定状態の人物検索画面を示す説明図
【図８】カメラ別一覧モードにおける人物検索画面の要部を示す説明図
【図９】確認状態のタイムライン画面を示す説明図
【図１０】確認状態のタイムライン画面の要部を示す説明図
【図１１】連続再生状態のタイムライン画面を示す説明図
【図１２】候補表示状態のタイムライン画面を示す説明図
【図１３】候補表示状態のタイムライン画面に表示される候補画像を説明する説明図
【図１４】候補表示状態のタイムライン画面に表示される候補画像を説明する説明図
【図１５】人物別一覧モードにおける追加指定状態の人物検索画面を示す説明図
【図１６】カメラ別一覧モードにおける追加指定状態の人物検索画面を示す説明図
【発明を実施するための形態】
【００１５】
前記課題を解決するためになされた第１の発明は、画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出する評価値算出部と、複数の前記撮影画像を前記表示装置に表示させて、その撮影画像により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させる確認画像提示部と、前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成するサムネイル生成部と、前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの前記サムネイル画像を候補画像として一覧表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させる候補画像提示部と、前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する追尾情報修正部と、を備えた構成とする。
【００１６】
これによると、追跡対象とした移動体が写っている可能性が最も高いカメラの画像に絞り込んで表示されるため、移動体の追尾結果の確認作業を効率よく行うことができる。そして、追跡対象確認画面に表示された確認画像に誤りがある、すなわち、移動体の追尾結果に誤りがある場合には、確認画像の代わりになる候補画像が表示されるため、監視者は候補画像を選択するだけで、追尾情報が修正されるため、簡単な操作で追尾情報を修正することができる。特に、候補選択画面に移動体ごとのサムネイル画像が表示されるため、画像上での移動体の識別が容易になることから、追跡対象とした移動体を見逃す不具合を解消して、追跡対象となる移動体の画像を見つけ出す作業を効率よく行うことができる。
【００１７】
また、第２の発明は、画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出する評価値算出部と、前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成するサムネイル生成部と、前記移動体ごとのサムネイル画像を一覧表示する追跡対象検索画面を前記表示装置に表示させて、前記サムネイル画像の選択により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させる確認画像提示部と、前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの候補画像を表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させる候補画像提示部と、前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する追尾情報修正部と、を備えた構成とする。
【００１８】
これによると、追跡対象とした移動体が写っている可能性が最も高いカメラの画像に絞り込んで表示されるため、移動体の追尾結果の確認作業を効率よく行うことができる。そして、追跡対象確認画面に表示された確認画像に誤りがある、すなわち、移動体の追尾結果に誤りがある場合には、確認画像の代わりになる候補画像が表示されるため、監視者は候補画像を選択するだけで、追尾情報が修正されるため、簡単な操作で追尾情報を修正することができる。特に、追跡対象検索画面に移動体ごとのサムネイル画像が表示されるため、画像上での移動体の識別が容易になることから、追跡対象となる移動体を見逃す不具合を解消して、追跡対象となる移動体の画像を見つけ出す作業を効率よく行うことができる。
【００１９】
また、第３の発明は、前記追跡対象設定部は、前記追跡対象検索画面に、前記サムネイル画像を時系列に並べて一覧表示する構成とする。
【００２０】
これによると、追跡対象となる移動体の画像を見つけ出す作業をより一層効率よく行うことができる。
【００２１】
また、第４の発明は、さらに、前記サムネイル画像を選択する監視者の操作入力に応じて、選択された前記サムネイル画像を間引き再生する画像再生部を備えた構成とする。
【００２２】
これによると、サムネイル画像に対応する移動体の追尾期間の全体に渡るサムネイル画像を短時間で確認することができる。
【００２３】
また、第５の発明は、さらに、前記候補選択画面に表示された前記候補画像の中に、前記追跡対象に指定した移動体に該当する前記候補画像がない場合に、前記移動体ごとのサムネイル画像を一覧表示する前記追跡対象検索画面を前記表示装置に表示させて、前記サムネイル画像の選択により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に追加設定する追跡対象追加設定部を備え、前記追尾情報修正部は、前記追跡対象追加設定部で前記追跡対象に追加設定された移動体を、前記追跡対象設定部で追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する構成とする。
【００２４】
これによると、候補選択画面に表示された候補映像の中に、追跡対象に指定した移動体に該当する候補画像がない場合でも、追跡対象となる移動体を監視者が指定することで、誤りがある確認画像に対応する追尾情報が修正されるため、追尾情報の欠落を避けることができる。特に、追跡対象検索画面にサムネイル画像が表示されるため、追跡対象とした移動体を効率よく見つけ出すことができる。
【００２５】
また、第６の発明は、前記追跡対象設定部は、表示モードを選択する監視者の操作入力に応じて、前記追跡対象検索画面に、移動体ごとの前記サムネイル画像を一覧表示する移動体別画像一覧、および前記カメラごとの撮影画像を一覧表示するカメラ別画像一覧のいずれかを表示する構成とする。
【００２６】
これによると、ユーザの必要に応じて、カメラ別画像一覧と移動体別画像一覧とを切り替えることができるため、ユーザの利便性が向上する。
【００２７】
また、第７の発明は、さらに、追跡対象となる移動体の特徴情報に基づき、候補対象となる移動体を絞り込む特徴絞込み部を備え、前記候補画像提示部は、前記特徴絞込み部により絞り込まれた移動体のサムネイル画像を前記候補選択画面に表示させる構成とする。
【００２８】
これによると、候補選択画面に表示されるサムネイル画像が少なくなるため、追跡対象とした移動体を探し出す作業を効率よく行うことができる。
【００２９】
また、第８の発明は、さらに、追跡対象となる移動体の特徴情報に基づき、検索対象となる移動体を絞り込む特徴絞込み部を備え、前記追跡対象設定部は、前記特徴絞込み部により絞り込まれた移動体のサムネイル画像を前記追跡対象検索画面に表示させる構成とする。
【００３０】
これによると、追跡対象検索画面に表示されるサムネイル画像が少なくなるため、追跡対象となる移動体を探し出す作業を効率よく行うことができる。
【００３１】
また、第９の発明は、画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、監視エリアを撮影する前記カメラと、このカメラごとの撮影画像を表示する前記表示装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出する評価値算出部と、複数の前記撮影画像を前記表示装置に表示させて、その撮影画像により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させる確認画像提示部と、前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成するサムネイル生成部と、前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの前記サムネイル画像を候補画像として一覧表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させる候補画像提示部と、前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する追尾情報修正部と、を備えた構成とする。
【００３２】
これによると、第１の発明と同様に、追跡対象とした移動体の追尾結果に誤りがないかを確認する作業を効率よく行うとともに、移動体の追尾結果に誤りがある場合に、簡単な操作で追尾情報を修正することができ、特に、候補選択画面で追跡対象となる移動体が写る画像を監視者が見つけ出す作業を効率よく行うことができる。
【００３３】
また、第１０の発明は、画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、監視エリアを撮影する前記カメラと、このカメラごとの撮影画像を表示する前記表示装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出する評価値算出部と、前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成するサムネイル生成部と、前記移動体ごとのサムネイル画像を一覧表示する追跡対象検索画面を前記表示装置に表示させて、前記サムネイル画像の選択により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させる確認画像提示部と、前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの候補画像を表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させる候補画像提示部と、前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する追尾情報修正部と、を備えた構成とする。
【００３４】
これによると、第２の発明と同様に、追跡対象とした移動体の追尾結果に誤りがないかを確認する作業を効率よく行うとともに、移動体の追尾結果に誤りがある場合に、簡単な操作で追尾情報を修正することができ、特に、追跡対象検索画面で追跡対象となる移動体が写る画像を監視者が見つけ出す作業を効率よく行うことができる。
【００３５】
また、第１１の発明は、画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する処理を情報処理装置に行わせる追跡支援方法であって、複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出し、複数の前記撮影画像を前記表示装置に表示させて、その撮影画像により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定し、連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させ、前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成し、前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの前記サムネイル画像を候補画像として一覧表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させ、前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する構成とする。
【００３６】
これによると、第１の発明と同様に、追跡対象とした移動体の追尾結果に誤りがないかを確認する作業を効率よく行うとともに、移動体の追尾結果に誤りがある場合に、簡単な操作で追尾情報を修正することができ、特に、候補選択画面で追跡対象となる移動体が写る画像を監視者が見つけ出す作業を効率よく行うことができる。
【００３７】
また、第１２の発明は、画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する処理を情報処理装置に行わせる追跡支援方法であって、複数の前記カメラごとの撮影画像から検出された移動体の追尾情報に基づいて、移動体相互の同一性の高さを表す評価値を算出し、前記撮影画像から移動体の領域を切り出して移動体ごとのサムネイル画像を生成し、前記移動体ごとのサムネイル画像を一覧表示する追跡対象検索画面を前記表示装置に表示させて、前記サムネイル画像の選択により追跡対象とする移動体を指定する監視者の操作入力に応じて、指定された移動体を追跡対象に設定し、連携関係にある前記カメラの撮影画像から検出された移動体の中から、前記評価値が最も高い移動体を選択する処理を繰り返して、前記追跡対象とした移動体の撮影を引き継ぐ前記カメラを順次特定し、それらのカメラごとに、前記評価値が最も高い移動体の撮影画像を確認画像として表示する追跡対象確認画面を、前記表示装置に表示させ、前記追跡対象確認画面に表示された前記確認画像に誤りがある場合に、前記確認画像に対応する移動体より前記評価値が低い移動体ごとの候補画像を表示する候補選択画面を前記表示装置に表示させて、前記追跡対象に指定した移動体に該当する前記候補画像を監視者に選択させ、前記候補選択画面で選択された前記候補画像に対応する移動体を、前記追跡対象に設定された移動体と対応づけるようにカメラ間追尾情報を修正する構成とする。
【００３８】
これによると、第２の発明と同様に、追跡対象とした移動体の追尾結果に誤りがないかを確認する作業を効率よく行うとともに、移動体の追尾結果に誤りがある場合に、簡単な操作で追尾情報を修正することができ、特に、追跡対象検索画面で追跡対象となる移動体が写る画像を監視者が見つけ出す作業を効率よく行うことができる。
【００３９】
以下、本発明の実施の形態を、図面を参照しながら説明する。なお、本実施形態の説明では、「追跡」および「追尾」という同様の意味を持つ用語を使用しており、これは、単に説明の便宜上使い分けているに過ぎないが、「追跡」は、主として監視者の行為と関わりが強い場合に用いており、「追尾」は、主として装置で行われる処理と関わりが強い場合に用いている。
【００４０】
図１は、本実施形態に係る追跡支援システムの全体構成図である。
【００４１】
この追跡支援システムは、スーパーマーケットやホームセンターなどの小売店舗などを対象にして構築されるものであり、カメラ１と、レコーダ（画像蓄積手段）２と、ＰＣ（追跡支援装置）３と、カメラ内追尾処理装置４と、を備えている。
【００４２】
カメラ１は店舗内の適所に設置され、カメラ１により店舗内（監視エリア）が撮影され、このカメラ１で撮影された店舗内の撮影画像がレコーダ２に録画される。
【００４３】
ＰＣ３には、監視者（ユーザ）が種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７とが接続されている。このＰＣ３は、店舗の警備室などに設置され、監視者（警備員）が、モニタ７に表示される監視画面で、カメラ１から出力される現在の店舗内の撮影画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の撮影画像を閲覧することができる。
【００４４】
なお、本部に設けられたＰＣ１１にも図示しないモニタが接続され、カメラ１から出力される現在の店舗内の撮影画像をリアルタイムで閲覧し、また、レコーダ２に録画された過去の店舗内の撮影画像を閲覧して、本部で店舗内の状況を確認することができる。
【００４５】
カメラ内追尾処理装置４では、カメラ１の撮影画像から検出された人物（移動体）を追尾して、人物ごとにカメラ内追尾情報を生成する処理が行われる。このカメラ内追尾処理には、公知の画像認識技術（人物検出技術および人物追跡技術など）を利用すればよい。ここで、カメラ内追尾情報としては、人物の検出時刻（フレームの撮影時刻）、人物の検出位置、人物の移動速度、人物像の色情報などが、検出された人物ごとに生成される。
【００４６】
なお、本実施形態では、カメラ内追尾処理装置４が、ＰＣ３とは独立して、カメラ内追尾処理を常時行うようにしているが、ＰＣ３からの指示に応じて追尾処理を実行するものとしてもよい。また、カメラ内追尾処理装置４では、撮影画像から検出された全ての人物を対象にして追尾処理を行うことが望ましいが、追跡対象に指定された人物およびこれと関連度の高い人物に絞って追尾処理を行うようにしてもよい。
【００４７】
次に、カメラ１の店舗での設置状況について説明する。図２は、店舗におけるカメラ１の設置状況を示す平面図である。
【００４８】
店舗内（監視エリア）には、商品陳列スペースの間に通路が設けられており、この通路を主に撮影するように複数のカメラ１が設置されている。
【００４９】
店舗内の通路を人物が移動すると、カメラ１のいずれか１つあるいは複数で人物が撮影され、人物が移動するのに応じて、人物の撮影が次のカメラ１に引き継がれる。このとき、人物の撮影を引き継ぐカメラは、店舗内の通路の形態およびカメラ１の撮影エリアにより限定され、この人物の撮影が引き継がれる関係にあるカメラを、本実施形態では、連携関係を有するカメラと呼称する。このカメラの連携関係に関する情報は予め設定されて、カメラ連携情報としてＰＣ３に保持されている。なお、カメラの連携関係に関する情報は、カメラ１の台数や設置場所などの変更に備え、システムの起動時などに各カメラ１の設置情報などをＰＣ３により個別に取得し、各カメラの連携関係に関する情報を更新するようにしてもよい。
【００５０】
次に、ＰＣ３の概略構成について説明する。図３は、ＰＣ３の概略構成を示す機能ブロック図である。
【００５１】
ＰＣ３は、追尾情報蓄積部２１と、カメラ間追尾処理部２２と、入力情報取得部２３と、追跡対象処理部２４と、画像提示部２５と、特徴絞込み部２６と、サムネイル生成部２７と、画像再生部２８と、画面生成部２９と、を備えている。
【００５２】
追尾情報蓄積部２１では、カメラ内追尾処理装置４で生成したカメラ内追尾情報が蓄積される。また、追尾情報蓄積部２１では、カメラ間追尾処理部２２で生成したカメラ間追尾情報が蓄積される。ここで、カメラ間追尾情報とは、追跡対象となる人物が連携関係を有するカメラによって撮影された確認画像（期間映像）を時系列に並べる際の追跡結果を表す情報であり、このカメラ間追尾情報は、後述の確認画像提示部３９によって、タイムライン画面（追跡対象確認画面）の生成の際に反映される。なお、監視者が過去の追跡結果（追跡履歴）を確認できるようにするため、カメラ間追尾情報を追尾情報蓄積部２１に蓄積する構成としたが、一時的に蓄積する構成としてもよい。
【００５３】
入力情報取得部２３では、マウスなどの入力デバイス６を用いた監視者の入力操作に応じて、その入力操作に基づく入力情報を取得する処理が行われる。
【００５４】
追跡対象処理部２４は、検索条件設定部３１と、追跡対象設定部３２と、追跡対象追加設定部３３と、を備えている。
【００５５】
検索条件設定部３１では、監視者の入力操作に応じて、追跡対象となる人物が写った画像を探し出すための検索条件を設定する処理が行われる。本実施形態では、人物検索画面（追跡対象検索画面、図６，図７参照）をモニタ７に表示させて、この人物検索画面で、検索条件として、撮影日時およびカメラ１に関する情報を監視者に入力させる。
【００５６】
追跡対象設定部３２では、検索条件設定部３１で設定された検索条件と、追尾情報蓄積部２１に蓄積されたカメラ内追尾情報とに基づいて、レコーダ２に蓄積された画像の中から検索条件に適合する日時およびカメラ１の画像を人物検索画面に表示させて、その人物検索画面において画像の選択により追跡対象となる人物を監視者に指定させて、その指定された人物を追跡対象に設定する処理が行われる。
【００５７】
カメラ間追尾処理部２２は、リンクスコア算出部３５（評価値算出部）と、初期追尾情報生成部３６と、候補選択部３７と、追尾情報修正部３８と、を備えている。
【００５８】
リンクスコア算出部３５では、追尾情報蓄積部２１から各カメラ１に関するカメラ内追尾情報を取得して、各カメラ１に関するカメラ内追尾処理で検出追尾された人物同士で、同一人物である可能性の高さを表すリンクスコア（評価値）を算出する。この処理では、追尾情報である人物の検出時刻（フレームの撮影時刻）、人物の検出位置、人物の移動速度、人物像の色情報などに基づいてリンクスコアを算出する。なお、同じカメラ内で、同一人物である可能性のある人物が複数存在する場合には、複数のリンクスコアを算出することもできる。また、各カメラ１のリンクスコアは、追尾情報蓄積部２１等に蓄積する構成、一時的に蓄積する構成のいずれでもよい。
【００５９】
初期追尾情報生成部３６では、追跡対象設定部３２で追跡対象に設定された人物を起点にして、連携関係にあるカメラ１に関するカメラ内追尾で追尾された人物の中から、リンクスコアが最も高い、すなわち、同一人物である可能性が最も高い人物をカメラ１ごとに順次選択して、それらの人物を同一人物として対応づけた初期追尾情報（カメラ間追尾情報）を生成する処理が行われる。
【００６０】
具体的には、まず、人物検索画面で人物を追跡対象に指定したときの画像（追跡対象指定画像）を撮影したカメラ１と連携関係にあるカメラ１のカメラ内追尾で追尾された人物の中からリンクスコアが最も高い人物を選択し、次に、その選択された人物を撮影したカメラ１と連携関係にあるカメラ１のカメラ内追尾で追尾された人物の中からリンクスコアが最も高い人物を選択し、このような人物の選択を連携関係にあるカメラ１ごとに繰り返す。このような人物を選択する処理は、追跡対象指定画像より時間的に前および後の双方で行われ、最も高いリンクスコアが所定のしきい値以下になった時点で、追跡対象とした人物が監視エリア内に存在しないものと判断して、人物の選択を終了する。
【００６１】
画像提示部２５は、確認画像提示部３９と、候補画像提示部４０と、を備えている。
【００６２】
確認画像提示部３９では、初期追尾情報生成部３６で生成した初期追尾情報に基づいて、リンクスコアが最も高い人物の画像、すなわち、追跡対象とした人物が写っている可能性が最も高い画像を確認画像としてカメラ１ごとに抽出して、その確認画像を提示する、具体的には、確認画像が撮影時刻順に並べて表示された確認状態のタイムライン画面（追跡対象確認画面、図９参照）をモニタ７に表示させる処理が行われる。
【００６３】
カメラ間追尾処理部２２の候補選択部３７では、確認画像提示部３９により提示された確認画像に誤りや欠落がある、すなわち、初期追尾情報生成部３６で生成した初期追尾情報に誤りがある場合に、その誤りや欠落がある確認画像に対応する期間においてカメラ内追尾で追尾された人物の中から、追跡対象とした人物である可能性がある人物を候補人物として選択する処理が行われる。
【００６４】
候補画像提示部４０では、確認画像提示部３９により提示された確認画像に誤りや欠落がある場合に、候補選択部３７で選択した候補人物に関する画像、すなわち、追跡対象とした人物が写っている可能性がある画像を候補画像として抽出して、その候補画像を提示する。具体的には、所定数の候補画像が表示された候補表示状態のタイムライン画面（候補選択画面、図１２参照）をモニタ７に表示させて、その画面上で追跡対象とした人物が写った候補画像を監視者に選択させる処理が行われる。
【００６５】
追尾情報修正部３８では、候補画像提示部４０により提示された候補画像の中に適切な候補画像がある場合に、その候補画像に対応する人物を追跡対象とした人物と対応づけるように、追跡対象とした人物に関する追尾情報を修正して、修正追尾情報を生成する処理が行われる。
【００６６】
このとき、追尾情報修正部３８では、初期追尾情報を生成する処理と同様に、候補画像に対応する人物を起点にして、連携関係にあるカメラ１に関するカメラ内追尾で追尾された人物の中から、リンクスコアが最も高い、すなわち、同一人物である可能性が最も高い人物をカメラ１ごとに順次選択して、それらの人物を同一人物として対応づけた修正追尾情報を生成する。また、この追尾情報修正処理では、追跡対象設定部３２で設定した人物、監視者により確定の操作が行われた確認画像に対応する人物、および既に誤りがある確認画像と入れ替えられた候補画像に対応する人物が、修正対象から除外される。
【００６７】
追跡対象処理部２４の追跡対象追加設定部３３では、候補画像提示部４０により提示された候補画像の中に適切な候補画像がない場合に、レコーダ２に蓄積された画像を表示させた人物検索画面（追跡対象検索画面、図１５，図１６参照）をモニタ７に表示させて、その人物検索画面において、誤りや欠落がある確認画像に対応する期間における画像の中から追跡対象とした人物を監視者に指定させて、その指定された人物を追跡対象に追加設定する処理が行われる。
【００６８】
カメラ間追尾処理部２２の追尾情報修正部３８では、追跡対象追加設定部３３で追跡対象に設定された人物を、追跡対象設定部３２で追跡対象に設定した人物と対応づけて、追跡対象とした人物に関する追尾情報を修正して、修正追尾情報を生成する処理が行われる。
【００６９】
特徴絞込み部２６は、追跡対象に指定した人物の特徴情報に基づいて、検索対象となる人物、すなわち、人物検索画面（図６参照）に表示させるサムネイル画像（追尾対象画像）の人物を絞り込む処理を行う。また、特徴絞込み部２６は、追跡対象に指定した人物の特徴情報に基づいて、候補対象となる人物、すなわち、候補表示状態のタイムライン画面（図１２参照）に表示させるサムネイル画像（候補画像）の人物を絞り込む処理を行う。この処理は、人物を追跡対象に追加設定する場合にも適用することができる。
【００７０】
ここで、特徴情報とは、例えば、性別、年齢、身長、頭髪の色、着用している服装や帽子や装飾品の色、携行しているバックなどの物品の色などに関する情報である。検索対象となる人物を絞り込む場合には、追跡対象とする人物が写る画像を入力したり、ユーザの操作入力より特徴情報を入力したりして、追跡対象とする人物の特徴情報を設定すればよい。また、候補対象となる人物を絞り込む場合には、追跡対象として指定した人物の画像から取得した特徴情報を用いればよい。
【００７１】
サムネイル生成部２７は、カメラ画像から人物領域を切り出してサムネイル画像を生成する。本実施形態では、カメラ内追尾処理装置４で行われるカメラ内追尾の際に、人物領域（例えば人物の上半身の領域）を取り囲む人物枠がカメラ画像上に設定され、人物枠の領域をカメラ画像から切り出してサムネイル画像を生成する。
【００７２】
画像再生部２８では、モニタ７に表示される画面上でカメラ１の撮影画像を動画で表示させる処理が行われる。本実施形態では、連続再生状態のタイムライン画面（連続再生画面、図１１参照）をモニタ７に表示させる処理が行われ、このタイムライン画面では、追跡対象となる人物が写ったカメラ１ごとの撮影画像を、時間の経過にしたがって順次動画で表示させる連続再生が行われる。
【００７３】
また、画像再生部２８では、モニタ７の画面に表示されるサムネイル画像を間引き再生する処理が行われる。この間引き再生では、フレームを間引く処理により、元のフレームレート、すなわち、カメラ１から出力される撮影画像のフレームレートよりフレームレートを下げた状態でサムネイル画像を再生する。具体的には、カメラ内追尾期間（カメラ内追尾で追尾された期間）における撮影画像から、間引き再生時のフレームレートに対応した所定の間隔をおいたサムネイル画像を順次生成して、その時系列で並んだサムネイル画像を再生表示する。なお、初期設定等により、サムネイル画像を再生表示として、元のフレームレートで再生表示できるようにすることもできる。
【００７４】
画面生成部２９は、モニタ７に表示させる画面を生成するものであり、具体的には、追跡対象設定部３２および追跡対象追加設定部３３からの指示に応じて人物検索画面（追跡対象検索画面、図６，図７，図１５，図１６参照）を生成し、確認画像提示部３９からの指示に応じて確認状態のタイムライン画面（追跡対象確認画面、図９参照）を生成し、候補画像提示部４０からの指示に応じて候補表示状態のタイムライン画面（候補選択画面、図１２参照）を生成し、画像再生部２８からの指示に応じて連続再生状態のタイムライン画面（連続再生画面、図１１参照）を生成する。
【００７５】
なお、図３に示したＰＣ３の各部は、ＰＣ３のプロセッサ（ＣＰＵ）にＨＤＤ等のメモリに保存した追跡支援用のプログラム（インストラクション）を実行させることで実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、所定のＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
【００７６】
次に、モニタ７に表示される各画面、および各画面で行われる監視者の操作に応じてＰＣ３の各部で行われる処理について説明する。図４は、モニタ７に表示される画面の遷移状況を示す説明図である。図５は、各画面で行われる監視者の操作に応じてＰＣ３の各部で行われる処理の手順を示すフロー図である。
【００７７】
まず、ＰＣ３において追跡支援処理を開始する操作を行うと、初期指定状態の人物検索画面（追跡対象検索画面、図６，図７参照）がモニタ７に表示される（ＳＴ１０１）。このとき、人物別一覧モードが初期状態の表示モードに設定されており、まず、人物別一覧モードの人物検索画面（図６参照）が表示され、監視者の操作でカメラ別一覧モードの人物検索画面（図７参照）に切り換えることができる。なお、初期状態の表示モードをユーザが変更することができるようにしてもよい。
【００７８】
この人物検索画面は、追跡対象とする人物が万引きなどの問題のある行為を行った日時を指定するとともに、追跡したい人物が問題のある行為を行った場所や、その人物が通ったものと想定されるエリアを撮影するカメラ１を指定して、追跡対象とする人物が写ったサムネイル画像を探し出して、追跡対象とする人物を指定するものであり、日時およびカメラ１を指定して表示された画像に追跡対象とする人物が写っていると、その画像を選択することでその人物を追跡対象に指定する操作が監視者により行われる（ＳＴ１０２でＹｅｓ）。
【００７９】
人物検索画面で、監視者が追跡対象とする人物を指定すると、追跡対象設定部３２において、監視者が指定した人物を追跡対象に設定する処理が行われる（ＳＴ１０３）。ついで、初期追尾情報生成部３６において、各カメラ１に関するカメラ内追尾処理で検出追尾された人物の中からリンクスコアが最も高い人物をカメラごとに順次選択して、初期追尾情報を生成する処理が行われる（ＳＴ１０４）。そして、確認画像提示部３９において、初期追尾情報に基づいて、追跡対象とした人物が写っている可能性が最も高い画像を確認画像としてカメラ１ごとに抽出して、その確認画像が表示された確認状態のタイムライン画面（追跡対象確認画面、図９参照）をモニタ７に表示させる処理が行われる（ＳＴ１０５）。
【００８０】
この確認状態のタイムライン画面は、確認画像によってカメラ間追尾情報（初期追尾情報）に誤りがないかを監視者に確認させるものであり、この確認状態のタイムライン画面に表示された全ての確認画像に誤りがない、すなわち、全ての確認画像が追跡対象とした人物に関するものである場合には、連続再生を指示する操作が監視者により行われて（ＳＴ１０６でＹｅｓ）、連続再生状態のタイムライン画面（連続再生画面、図１１参照）に遷移する（ＳＴ１０７）。
【００８１】
この連続再生状態のタイムライン画面では、追跡対象が写ったカメラ１ごとの画像を、時間の経過にしたがって順次表示させる連続再生が行われる。
【００８２】
一方、確認状態のタイムライン画面に表示された複数の確認画像の中に誤りがある確認画像が見つかった場合、すなわち、いずれかの確認画像が、追跡対象とした人物に関するものでない場合や、追跡対象とした人物がいずれかのカメラ１で撮影されているべき時刻の確認画像が欠落している場合には、その確認画像を選択して候補画像の表示を指示する操作が監視者により行われる（ＳＴ１０８でＹｅｓ）。
【００８３】
すると、候補選択部３７において、誤りや欠落がある確認画像に対応する期間においてカメラ内追尾で追尾された人物の中から、追跡対象とした人物である可能性がある人物を選択する処理が行われ、候補画像提示部４０において、候補選択部３７で選択された人物の画像を候補画像として抽出して、その候補画像が並べて表示された候補表示状態のタイムライン画面（候補選択画面、図１２参照）をモニタ７に表示させる処理が行われる（ＳＴ１０９）。
【００８４】
この候補表示状態のタイムライン画面では、追跡対象とした人物が写っている可能性がある画像が候補画像として表示される。
【００８５】
この候補表示状態のタイムライン画面に表示された候補画像の中に、適切な候補画像がある、すなわち、追跡対象とした人物に関する候補画像が見つかった場合には、その候補画像を選択する操作が監視者により行われる（ＳＴ１１０でＹｅｓ）。
【００８６】
すると、カメラ間追尾処理部２２の追尾情報修正部３８において、候補表示状態のタイムライン画面で選択された候補画像に対応する人物を、最初に追跡対象に指定した人物と対応づけるように追尾情報を修正する処理が行われる（ＳＴ１１１）。そして、確認状態のタイムライン画面に戻り（ＳＴ１０５）、このタイムライン画面では、追尾情報を修正した結果が反映される、すなわち、タイムライン画面の確認画像が、選択された候補画像に対応する人物が写るカメラ画像に置き換えられて表示される。
【００８７】
一方、候補表示状態のタイムライン画面に表示された候補画像の中に、適切な候補画像がない、すなわち、追跡対象とした人物に関する候補画像が見つからない場合には、追加指定を選択する操作が監視者により行われて（ＳＴ１１２でＹｅｓ）、追加指定状態の人物検索画面（追跡対象検索画面、図１５，図１６参照）に遷移する（ＳＴ１１３）。
【００８８】
この追加指定状態の人物検索画面では、追跡対象とした人物が写った画像を探し出す作業が監視者により行われる。この追加指定状態の人物検索画面で、追跡対象とした人物が写る画像が見つかった場合には、その画像を選択することでその画像の人物を追跡対象として選択する操作が監視者により行われる（ＳＴ１１４でＹｅｓ）。
【００８９】
すると、カメラ間追尾処理部２２の追尾情報修正部３８において、人物検索画面で選択された人物を最初に追跡対象に指定した人物と対応づけるように追尾情報を修正する処理が行われる（ＳＴ１１１）。そして、確認状態のタイムライン画面に戻り（ＳＴ１０５）、このタイムライン画面では、追尾情報を修正した結果が反映される、すなわち、タイムライン画面の確認画像が、人物検索画面で指定した人物の画像に置き換えられて表示される。
【００９０】
以上のように、確認状態のタイムライン画面に表示される確認画像に誤りがある場合や、確認画像が欠落している場合には、候補画像を選択する操作や、追跡対象とした人物を探し出して指定する操作が、監視者により行われ、これらの操作が、誤りがある確認画像や欠落している確認画像がなくなるまで繰り返される。そして、全ての確認画像に誤りがなく、かつ、欠落もないことが確認されると、連続再生を指示する操作が監視者により行われて（ＳＴ１０６でＹｅｓ）、連続再生状態のタイムライン画面（図１１参照）がモニタ７に表示される（ＳＴ１０７）。
【００９１】
以下に、図４に示した各画面について詳しく説明する。
【００９２】
まず、図４に示した初期指定状態の人物検索画面（追跡対象検索画面）について説明する。図６は、人物別一覧モードにおける初期指定状態の人物検索画面を示す説明図である。図７は、カメラ別一覧モードにおける初期指定状態の人物検索画面を示す説明図である。図８は、カメラ別一覧モードにおける人物検索画面の要部を示す説明図である。
【００９３】
この初期指定状態の人物検索画面（追跡対象検索画面）は、追跡したい人物が万引きなどの問題のある行為を行った日時を指定して、追跡対象とする人物が写った画像を探し出して、その画像で追跡対象とする人物を指定するものである。
【００９４】
この人物検索画面には、検索日時指定部４１と、検索カメラ指定部４２と、画像表示部４３と、再生操作部４４と、表示時刻調整部４５と、表示期間指定部４６と、調整範囲指定部４７と、選択解除ボタン４８と、設定完了ボタン４９と、特徴絞込み指定部５０と、が設けられている。
【００９５】
検索日時指定部４１には、日時入力部５１と、検索ボタン５２と、が設けられている。日時入力部５１では、追跡対象とする人物が写っているものと想定される期間の中心となる日時を監視者が入力する。この日時入力部５１で日時を入力して検索ボタン５２を操作すると、入力した日時の撮影画像が画像表示部４３に表示される。
【００９６】
検索カメラ指定部４２には、単一カメラ選択部５３と、複数カメラ選択部５４と、が設けられている。この単一カメラ選択部５３および複数カメラ選択部５４にはそれぞれ、ラジオボタン５５と、メニュー選択部５６と、マップ表示ボタン５７と、が設けられている。
【００９７】
２つのラジオボタン５５は、単一カメラモードおよび複数カメラモードのいずれかの検索モードを選択するものである。単一カメラモードは、単一のカメラ１を指定して、その単一のカメラ１の画像から追跡対象とする人物が写った画像を探し出すものであり、複数カメラモードは、複数のカメラ１を指定して、その複数のカメラ１ごとの画像から追跡対象とする人物が写った画像を探し出すものである。
【００９８】
メニュー選択部５６では、プルダウンメニューによりカメラ１を選択することができる。マップ表示ボタン５７を操作すると、マップ表示画面（図示せず）が表示される。このマップ表示画面では、店舗内のレイアウトを示す地図画像上にカメラ１の位置を示すカメラアイコンが重畳して表示されており、このマップ表示画面でカメラ１を選択することができる。
【００９９】
また、複数カメラ選択部５４には、チェックボックスリスト５８と、クリアボタン５９と、全選択ボタン６０と、が設けられている。チェックボックスリスト５８では、チェックボックス６１によりカメラ１を必要な数だけ選択することができる。クリアボタン５９を操作すると、全てのカメラ１の選択状態が解除される。全選択ボタン６０を操作すると、全てのカメラ１を選択状態とすることができる。
【０１００】
なお、検索モード（単一カメラモードおよび複数カメラモード）の選択状態およびカメラ１の選択状態に関する情報は、図示しない情報保持部に保持され、次回起動時に、前回終了時に選択されていた検索モードおよびカメラ１のままで人物検索画面が表示される。
【０１０１】
画像表示部４３には、タブ６３と、日時表示部６４と、が設けられている。タブ６３は、人物別一覧モードおよびカメラ別一覧モードの各表示モードを切り替えるものである。人物別一覧のタブ６３を選択すると、図６に示す人物別一覧モードでの人物検索画面が表示され、カメラ別一覧のタブ６３を選択すると、図７に示すカメラ別一覧モードでの人物検索画面が表示される。
【０１０２】
図６に示す人物別一覧モードでの人物検索画面では、画像表示部４３に、検索対象となる人物ごとのサムネイル画像６５を一覧表示した人物別画像一覧６６が表示される。
【０１０３】
この人物別画像一覧６６には、カメラ１ごとのカメラ別表示欄６７が縦方向に並べて設けられており、このカメラ別表示欄６７に、サムネイル画像６５を撮影したカメラ１ごとに分けてサムネイル画像６５が表示される。また、この人物別画像一覧６６では、サムネイル画像６５が時系列で横方向に並べて表示され、カメラ別表示欄６７には、該当するカメラ１のカメラ内追尾で追尾された人物のサムネイル画像６５が、追尾が開始された順に表示される。なお、サムネイル画像６５は追尾開始時刻の位置に表示される。また、図６に示す初期指定状態の人物検索画面では、カメラ別表示欄６７がカメラ番号の順番で上から並べて表示される。
【０１０４】
この人物別画像一覧６６では、サムネイル画像６５を選択する操作（クリック）を行って、サムネイル画像６５の人物を追跡対象に指定することで、その人物が追跡対象に設定される。このとき、サムネイル画像６５により、撮影画像では小さく写る人物が拡大表示されることから、撮影画像がそのまま表示される場合と比較して、人物の識別が容易になるため、追跡対象となる人物を見逃す不具合を解消して、追跡対象となる人物を効率よく見つけ出すことができる。
【０１０５】
また、画像表示部４３には、縦スクロールバー６８と、横スクロールバー６９と、が設けられている。縦スクロールバー６８を操作することで、人物別画像一覧６６を縦方向にスライドさせて表示させることができ、また、横スクロールバー６９を操作することで、人物別画像一覧６６を横方向にスライドさせて表示させることができる。これにより、
追跡対象とする人物を撮影するカメラ１や撮像時刻が不確かな場合でも、追跡対象となる人物のサムネイル画像６５を効率よく見つけ出すことができる。
【０１０６】
また、人物別画像一覧６６に表示されたサムネイル画像６５上にカーソルを重ねるマウスオーバーの操作を行うと、サムネイル画像６５が間引き再生される。これにより、サムネイル画像６５の人物に関するカメラ内追尾期間の全体に渡るサムネイル画像６５を短時間で確認することができる。なお、サムネイル画像６５の初期状態（静止状態）では、カメラ内追尾での追尾期間の中心の時刻の撮像画像から抽出したものが表示される。
【０１０７】
また、サムネイル画像６５に対してマウスオーバーの操作を行うと、サムネイル画像６５に関する時刻情報を表示するツールチップ７０（表示枠）が出現する。このツールチップ７０には、サムネイル画像６５に写る人物に関するカメラ内追尾期間（追尾開始時刻および追尾終了時刻）が表示される。これにより、追跡対象とした人物が出現した正確な時刻をユーザが把握することができる。
【０１０８】
一方、図７に示すカメラ別画像一覧モードでの人物検索画面では、画像表示部４３に、各カメラ１による撮影画像の全体であるカメラ画像７１を一覧表示したカメラ別画像一覧７２が表示される。このカメラ別画像一覧７２には、カメラ画像７１がカメラ番号の順番で上から並べて表示される。
【０１０９】
カメラ画像７１には、図８に示すように、カメラ画像７１から検出された人物、すなわち、カメラ内追尾の対象となった人物の画像領域に赤色の人物枠７３（追尾マーク）が表示され、この人物枠７３を選択する操作（クリック）を行うことで、その人物が追跡対象に設定される。
【０１１０】
また、画像表示部４３には、カメラ画像７１ごとに削除ボタン７４が設けられている。この削除ボタン７４を操作することで、カメラ画像７１を削除することができる。これにより、カメラ画像７１を順次閲覧して、不要と判断したカメラ画像７１を削除することで、画像表示部４３に一覧表示されるカメラ画像７１が少なくなるため、追跡対象とした人物を探しやすくなる。なお、一覧表示されるカメラ画像７１の数が変化すると、それに応じて各カメラ画像７１の大きさが変化し、一覧表示されるカメラ画像７１を削減すると、各カメラ画像７１が大きく表示される。
【０１１１】
特徴絞込み指定部５０は、特徴情報による絞り込みを行うか否かを選択するものであり、チェックボックス８１にチェックを入れる操作を行うことで、特徴情報による絞り込みが実施され、特徴情報を予め入力された追跡対象とする人物と外観上の特徴が類似する人物のみのサムネイル画像６５が人物別画像一覧６６に表示される。
【０１１２】
再生操作部４４は、画像表示部４３に表示される画像の再生に関する操作を行うものである。この再生操作部４４には、再生、逆再生、停止、早送り、および巻き戻しの各ボタン８２が設けられており、これらのボタン８２を操作することで、画像を効率的に閲覧することができ、追跡対象とする人物が写る画像を効率よく見つけ出すことができる。
【０１１３】
表示時刻調整部４５は、画像表示部４３に表示される画像の表示時刻を調整するものである。この表示時刻調整部４５は、いわゆるシークバーであり、スライダ８３がバー８４に沿って移動可能に設けられている。マウスなどの入力デバイス６を用いてスライダ８３をずらす操作（ドラッグ）を行うと、そのスライダ８３が指し示す時刻の画像が画像表示部４３に表示される。なお、バー８４は、検索日時指定部４１で指定された時刻を中心とした表示時刻の調整範囲を規定する。
【０１１４】
表示期間指定部４６は、追跡対象とした人物が画像に写っている期間を表示期間として監視者が操作入力するものである。この表示期間指定部４６は、いわゆるデュレーションバーであり、枠８５内に表示期間を表すバー８６が表示されている。この表示期間指定部４６は、画像表示部４３に追跡対象とする人物が写った画像が表示されているが、その人物に人物枠７３が表示されていない場合に、人物枠７３の選択に代えて、追跡対象とする人物が画像に写っている期間を監視者が指定するものである。
【０１１５】
調整範囲指定部４７は、画像表示部４３に表示される画像の表示時刻の調整範囲（有効再生範囲）、すなわち、表示時刻調整部４５のバー８４で規定されるスライダ８３の移動範囲を指定するものである。この調整範囲指定部４７では、表示時刻の調整範囲をプルダウンメニューにより所定の時間（例えば、５分、１５分など）の中から選択することができる。
【０１１６】
選択解除ボタン４８を操作すると、表示期間指定部４６の指定内容が破棄され、表示期間（開始時刻および終了時刻）の指定をやり直すことができる。設定完了ボタン４９を操作すると、確認状態のタイムライン画面（図９参照）に遷移する。
【０１１７】
次に、図４に示した確認状態のタイムライン画面（追跡対象確認画面）について説明する。図９は、確認状態のタイムライン画面を示す説明図である。図１０は、確認状態のタイムライン画面の要部を示す説明図である。
【０１１８】
図６および図７に示した人物検索画面において、監視者が、追跡対象とする人物を指定する操作を行って設定完了ボタン４９を操作すると、図９に示す確認状態のタイムライン画面に遷移する。
【０１１９】
この確認状態のタイムライン画面は、人物検索画面で追跡対象に指定した人物が写っている可能性が最も高い各カメラ１の撮影画像を確認画像１０１として表示して、この確認画像１０１によってカメラ間追尾情報（初期追尾情報）に誤りがないかを監視者に確認させるものである。
【０１２０】
このタイムライン画面には、画像表示部９１と、再生操作部４４と、表示時刻調整部４５と、マップ表示ボタン９２と、レポート出力ボタン９３と、戻るボタン９４と、が設けられている。
【０１２１】
画像表示部９１には、確認画像表示部９６と、候補画像表示部９７と、が設けられている。なお、候補画像表示部９７は、候補表示状態のタイムライン画面（図１２参照）において画像が表示されるものであり、後に詳しく説明する。
【０１２２】
確認画像表示部９６には、追跡対象とした人物が監視エリア（店舗内）に進入して追尾が開始されてから、監視エリアを退出するまでの期間において、追跡対象とした人物を各カメラ１で順次撮影した撮影画像が、カメラ１ごとの確認画像１０１として、撮影時刻順、すなわち、撮影時刻が古い順に左端から並べて表示されている。また、確認画像１０１ごとに、撮影時刻およびカメラ１の名称が表示されている。
【０１２３】
タイムライン画面を開いた際の初期状態では、カメラ１でカメラ内追尾が開始された追尾開始時刻の確認画像１０１が静止画で表示される。確認画像１０１に誤りがない場合には、再生操作部４４の操作にしたがって連続再生へと移行させることができる。なお、確認画像１０１には、人物検索画面（図８参照）と同様に、その確認画像１０１で検出追尾された人物に人物枠７３が表示される。
【０１２４】
また、確認画像表示部９６には、確認画像１０１ごとに、候補表示ボタン１０２と、削除ボタン１０３と、が設けられている。候補表示ボタン１０２を操作すると、候補表示状態のタイムライン画面（図１２参照）に遷移する。削除ボタン１０３を操作すると、確認画像１０１を削除することができる。
【０１２５】
また、確認画像表示部９６では、追跡対象指定画像、すなわち、人物検索画面（図６，７参照）で人物を追跡対象に指定した画像も確認画像１０１として表示され、この確認画像１０１には、候補表示ボタン１０２の代わりに、追跡対象指定画像を識別するためのマーク１０４が表示される。なお、マーク１０４の代わりに、追跡対象指定画像であることを表す枠画像が表示されるようにしてもよい。また、確定された確認画像１０１に、確定状態を表す枠画像が表示されるようにしてもよい。
【０１２６】
また、確認画像表示部９６には、横スクロールバー１０５が設けられている。この横スクロールバー１０５を操作することで、確認画像１０１の配列方向、すなわち横方向に確認画像１０１をスライドさせて表示させることができる。
【０１２７】
このように構成されたタイムライン画面では、確認画像表示部９６に表示された確認画像１０１が、追跡対象に指定した人物のものか否かを判断することで、追跡対象に指定した人物に関するカメラ間追尾情報（初期追尾情報）に誤りがないかを監視者が確認することができる。カメラ間追尾情報に誤りがある場合には、確認画像１０１に、追跡対象とした人物が写っていないか、あるいは追跡対象とした人物が写っているものの、追跡対象とした人物と異なる人物に人物枠が表示されており、この確認画像１０１を見ることで、カメラ間追尾情報に誤りがあるか否かを判断することができる。
【０１２８】
ここで、確認画像表示部９６に表示された全ての確認画像１０１に誤りがない、すなわち、全ての確認画像１０１に追跡対象とした人物が写っており、かつ、その人物に人物枠が表示されている場合には、連続再生を指示する操作、すなわち、再生操作部４４の再生のボタン８２を操作する。すると、図１１に示す連続再生状態のタイムライン画面に遷移する。
【０１２９】
ここで、図１０（Ａ）に示すように、確認画像表示部９６の画像表示枠１０７には、初期状態において、人物領域（人物枠７３の領域）を含む拡大画像１０８が確認画像１０１として表示される。この拡大画像１０８では、確認画像１０１に対応する人物に人物枠７３が表示されている。この拡大画像１０８は、人物領域の周囲に所定の余白を確保するとともに、画像の縦横比を保持した状態で、確認画像１０１の表示枠の大きさに収まるように拡大率を求めて、この拡大率に基づいて人物枠７３の中心点を中心にした領域を撮影画像から切り出すことで得られる。この拡大画像１０８では、元の撮影画像より人物が拡大して表示されるため、人物の識別が容易になる。
【０１３０】
また、拡大画像１０８に対してマウスオーバーの操作を行うと、図１０（Ｂ）に示すように、画像表示枠１０７に表示される確認画像１０１が拡大画像１０８からカメラ画像１０９に切り替えられる。このカメラ画像１０９には、カメラ１の撮影エリアの全体が写り、拡大画像１０８に比較して、人物の周辺の状況を把握しやすくなる。
【０１３１】
また、確認画像１０１（カメラ画像１０９）を選択する操作（クリック）を行うと、確認画像１０１を拡大して表示する拡大表示画面（図示せず）が別ウィンドウでホップアップ表示され、この画面で確認画像１０１を詳細に観察することができる。
【０１３２】
再生操作部４４および表示時刻調整部４５は、人物検索画面（図６，図７参照）と同様であるが、連続再生状態のタイムライン画面（図１１参照）において確認画像１０１を動画で表示させる際に使用されるものであり、後に詳しく説明する。
【０１３３】
マップ表示ボタン９２を操作すると、マップ表示画面（図示せず）が表示される。このマップ表示画面によりカメラ１の位置を確認することができる。なお、マップ表示画面は、店舗内のレイアウトを示す地図画像上にカメラ１の位置を示すカメラアイコンを重畳して表示したものであり、確認画像１０１を撮影したカメラ１の位置を確認することができる。
【０１３４】
レポート出力ボタン９３は、時系列で並んだカメラ１ごとの確認画像１０１に関するレポートを出力する際に操作するものである。また、戻るボタン９４は、候補表示状態のタイムライン画面（図１２）から確認状態のタイムライン画面に戻す際に操作するものである。
【０１３５】
次に、図４に示した連続再生状態のタイムライン画面（連続再生画面）について説明する。図１１は、連続再生状態のタイムライン画面を示す説明図である。
【０１３６】
この連続再生状態のタイムライン画面は、確認状態のタイムライン画面（図９参照）と略同様の構成であるが、この連続再生状態のタイムライン画面では、確認画像表示部９６に表示された確認画像１０１を、時間の経過にしたがって順次動画で表示させる連続再生が行われる。再生中の確認画像１０１には、再生中であることを示す枠画像１１１が表示される。
【０１３７】
なお、再生操作部４４において、確認画像表示部９６に表示される確認画像１０１の表示時刻を調整するスライダ８３の移動範囲、すなわち、表示時刻の調整範囲を規定するバー８４の始点（左端）は、撮影時刻が最も古い確認画像１０１の開始時刻となり、バー８４の終点（右端）は、撮影時刻が最も新しい確認画像１０１の終了時刻となる。
【０１３８】
なお、この連続再生状態のタイムライン画面では、撮影時刻が古いものから順に確認画像１０１が左から並べて表示されているため、連続再生時には確認画像１０１が左から順に再生されるが、全ての確認画像１０１が確認画像表示部９６に収まりきらない場合には、確認画像１０１を適宜なタイミングで自動でスライドさせる処理が行われ、これにより監視者が特別な操作を行うことなく、全ての確認画像１０１が連続して再生される状況を閲覧することができる。
【０１３９】
また、確認画像１０１を選択する操作（クリック）を行うと、確認画像１０１を拡大して表示する拡大表示画面（図示せず）が別ウィンドウでホップアップ表示され、この拡大表示画面において確認画像１０１を拡大した状態で動画で表示させることができ、また、拡大表示画面において確認画像１０１を連続再生させることができる。
【０１４０】
次に、図４に示した候補表示状態のタイムライン画面（候補選択画面）について説明する。図１２は、候補表示状態のタイムライン画面を示す説明図である。図１３および図１４は、候補表示状態のタイムライン画面に表示される候補画像を説明する説明図である。
【０１４１】
確認状態のタイムライン画面（図９参照）に表示された確認画像１０１に誤りがある場合、すなわち、いずれかの確認画像１０１に、追跡対象とした人物が写っていないか、あるいは追跡対象とした人物が写っているものの、追跡対象を示す人物枠が追跡対象とした人物と異なる人物に表示されている場合には、その確認画像１０１に対応する候補表示ボタン１０２を監視者が操作することで、図１２に示す候補表示状態のタイムライン画面に遷移する。
【０１４２】
また、確認画像表示部９６において、追跡対象とした人物の追尾が開始される以前の時刻や、追尾が終了した以降の時刻では、画像表示枠１０７がブランク状態（確認画像１０１が表示されない状態）となり、代わりに画像追加アイコン１２１が表示される。ここで、追跡対象とした人物がいずれかのカメラ１で撮影されているべき時刻で、画像表示枠１０７がブランク状態となっている、すなわち、確認画像１０１が欠落している場合には、その画像表示枠１０７の画像追加アイコン１２１を操作することで、図１２に示す候補表示状態のタイムライン画面に遷移する。
【０１４３】
この候補表示状態のタイムライン画面（候補選択画面）は、確認状態のタイムライン画面に表示された確認画像１０１に誤りがある場合や、確認画像１０１が欠落している場合に、確認画像１０１の他に、追跡対象とした人物が写っている可能性がある画像を候補画像として表示して監視者に選択させることで、誤りがある確認画像１０１を変更し、また、確認画像１０１が欠落している時刻に確認画像１０１を追加することができる。
【０１４４】
なお、この候補表示状態のタイムライン画面で、候補表示ボタン１０２や画像追加アイコン１２１を再度操作すると、確認状態のタイムライン画面に戻る。
【０１４５】
この候補表示状態のタイムライン画面は、確認状態のタイムライン画面（図９参照）と略同様であるが、候補画像表示部９７に、候補画像としてのサムネイル画像１２２が一覧表示される。なお、この候補表示状態のタイムライン画面では、候補画像に対応する確認画像１０１の画像表示枠１０７に、選択状態を示す枠画像１２９が所定の表示色（例えば黄色）で表示される。
【０１４６】
候補画像表示部９７には、上段の第１の候補表示欄１２３と、中段の第２の候補表示欄１２４と、下段の第３の候補表示欄１２５と、が設けられており、これらの候補表示欄１２３，１２４，１２５にサムネイル画像１２２が並べて表示される。
【０１４７】
ここで、本実施形態では、図１３に示すように、追跡対象となる人物を指定した際に選択した画像（追跡対象指定画像）を撮影したカメラ１を起点として、カメラ間追尾情報により、追跡対象とした人物を撮影したカメラ１を順次特定していく。このとき、連携関係にあるカメラ１のカメラ内追尾で追尾された人物の中から、リンクスコアが最も高い、すなわち、同一人物である可能性が最も高い人物を選択する処理を順次繰り返し、選択した人物の確認画像１０１をタイムライン画面に表示する。
【０１４８】
ここで、タイムライン画面に表示された確認画像１０１に誤りがあるカメラ１があると、その変更対象となるカメラ１の直近で、確認画像１０１に誤りがないものとして確認画像１０１が確定されたカメラ１（確定済み直近カメラ）、すなわち、変更対象となるカメラ１の直前または直後に追跡対象とした人物を追尾していたカメラ１を基準にして、そのカメラ１と連携関係にあるカメラ１のカメラ内追尾で追尾された人物のサムネイル画像１２２（候補画像）をタイムライン画面に表示する。
【０１４９】
このとき、第１の候補表示欄１２３には、確定済み直近カメラと連携関係にあるカメラ１のカメラ内追尾で追尾された人物のうち、確認画像１０１の人物の他にリンクスコアが所定のしきい値以上となる人物のサムネイル画像１２２が表示される。ここで、該当する人物が複数存在する場合には、リンクスコアが高い順に左から横方向に一列に並べてサムネイル画像１２２が表示される。
【０１５０】
また、第２の候補表示欄１２４には、確定済み直近カメラと連携関係にあるカメラ１のカメラ内追尾で追尾された人物のうち、リンクスコアが所定のしきい値未満となる人物のサムネイル画像１２２が表示される。ここで、該当する人物が複数存在する場合には、リンクスコアが高い順に左から横方向に一列に並べてサムネイル画像１２２が表示される。
【０１５１】
また、第３の候補表示欄１２５には、確定済み直近カメラのカメラ内追尾で追尾された人物のうち、時間的に近似した人物、すなわち、追跡対象として確定された人物の追尾期間の前後で追尾されている人物のサムネイル画像１２２が表示される。例えば、人物がトイレに入ると、カメラ内追尾が途切れるが、人物がトイレから出てくると、カメラ内追尾が再開され、このとき、カメラ内追尾により、トイレに入る人物とトイレから出てきた人物とが同一人物として関連づけがされず、カメラ内追尾で別人となる場合がある。このように、追跡対象とした人物が確定済み直近カメラの撮影エリアから退出せずに別人として追尾されている場合には、確定済み直近カメラのカメラ内追尾で追尾された人物の中に、追跡対象とした人物が存在し、このような人物のサムネイル画像１２２が第３の候補表示欄１２５に表示される。
【０１５２】
また、図１４に示すように、タイムライン画面に表示されるべき時刻の確認画像１０１が欠落していると、その確認画像１０１が欠落している時刻の直近で、確認画像１０１に誤りがないものとして確認画像１０１が確定されたカメラ（確定済み直近カメラ）、すなわち、追加対象となるカメラ１の直前または直後に追跡対象とした人物を追尾していたカメラ１を基準にして、そのカメラ１と連携関係にあるカメラ１のカメラ内追尾で追尾された人物のサムネイル画像１２２（候補画像）をタイムライン画面に表示する。
【０１５３】
このとき、リンクスコアが所定のしきい値以上となる人物が存在しないため、第１の候補表示欄１２３にはサムネイル画像１２２が表示されない。一方、第２の候補表示欄１２４および第３の候補表示欄１２５は、図１３に示した場合と同様である。
【０１５４】
このように、第１の候補表示欄１２３には、追跡対象とした人物である可能性が高い人物のサムネイル画像が表示され、第２の候補表示欄１２４には、追跡対象とした人物である可能性があまり高くない人物のサムネイル画像が表示され、第３の候補表示欄１２５には、例外的に追跡対象とした人物である可能性がある人物のサムネイル画像が表示される。このため、上段の第１の候補表示欄１２３、中段の第２の候補表示欄１２４、下段の第３の候補表示欄１２５の順に上から順番にサムネイル画像１２２を閲覧することで、追跡対象とした人物のサムネイル画像１２２を効率よく見つけ出すことができる。
【０１５５】
また、図１２に示したように、この候補画像表示部９７では、人物別一覧モードでの人物検索画面（図６参照）と同様に、サムネイル画像１２２に対してマウスオーバーの操作を行うことで、サムネイル画像１２２が間引き再生される。また、サムネイル画像１２２に対してマウスオーバーの操作を行うことで、時刻情報のツールチップ１３０が表示される。
【０１５６】
また、候補画像表示部９７には、縦スクロールバー１２６と、横スクロールバー１２７と、が設けられている。縦スクロールバー１２６を操作することで、候補表示欄１２３，１２４，１２５を縦方向にスライドさせて表示させることができ、横スクロールバー１２７を操作することで、候補表示欄１２３，１２４，１２５を横方向にスライドさせて表示させることができる。
【０１５７】
また、この候補表示状態のタイムライン画面には、特徴絞込み指定部５０が設けられている。この特徴絞込み指定部５０は、特徴情報による絞り込みを行うか否かを選択するものであり、チェックボックス８１にチェックを入れる操作を行うことで、特徴情報による絞り込みが実施され、追跡対象とした人物と外観上の特徴が類似する人物のみのサムネイル画像１２２が候補画像表示部９７に表示される。
【０１５８】
この候補表示状態のタイムライン画面において、候補画像表示部９７に表示されたサムネイル画像１２２の中に、適切な候補画像がある、すなわち、追跡対象とした人物が写ったサムネイル画像１２２が見つかった場合には、そのサムネイル画像１２２を選択する操作（クリック）を監視者が行う。
【０１５９】
すると、追尾情報修正部３８（図３参照）において、候補表示状態のタイムライン画面で選択されたサムネイル画像１２２（候補画像）に対応する人物を、人物検索画面（図６，図７参照）で追跡対象に指定した人物と対応づけるように追尾情報を修正する処理が行われる。そして、この追尾情報を修正した結果を反映させた状態で、確認状態のタイムライン画面（図９参照）がモニタ７に表示される。
【０１６０】
この確認状態のタイムライン画面では、追尾情報を修正した結果が反映される、すなわち、確認状態のタイムライン画面で誤りがあるものとして選択された確認画像１０１が、候補表示状態のタイムライン画面で選択されたサムネイル画像１２２に対応するカメラ画像に置き換えられて表示される。また、誤りがある確認画像１０１を入れ替えたことに伴って、その前後の確認画像１０１が変更される場合もある。
【０１６１】
すなわち、追尾情報修正部３８では、サムネイル画像１２２（候補画像）に対応する人物を起点にして、リンクスコアが最も高い人物をカメラ１ごとに順次選択する処理が行われ、ここで選択された人物が、確認画像１０１に対応する人物と異なる場合には、人物の入れ替えが発生し、これに応じて確認画像１０１が変更される。また、追尾情報修正部３８において追尾情報を修正する際には、追跡対象設定部３２で設定した人物、監視者により確定の操作が行われた確認画像１０１に対応する人物、および既に誤りがある確認画像１０１と入れ替えられた候補画像に対応する人物は対象から除外されるため、それらの人物に関する確認画像１０１は変更されない。
【０１６２】
また、候補画像表示部９７には、手動検索ボタン１２８が設けられている。候補表示状態のタイムライン画面に表示された候補画像の中に、適切な候補画像がない、すなわち、追跡対象とした人物のサムネイル画像１２２が見つからない場合には、手動検索ボタン１２８を選択することで、図１５，図１６に示す追加指定状態の人物検索画面（図１参照）に遷移する。
【０１６３】
次に、追加指定状態の人物検索画面について説明する。図１５は、人物別一覧モードにおける追加指定状態の人物検索画面を示す説明図である。図１６は、カメラ別一覧モードにおける追加指定状態の人物検索画面を示す説明図である。
【０１６４】
この追加指定状態の人物検索画面（追跡対象検索画面）は、候補表示状態のタイムライン画面（図１２参照）に表示されたサムネイル画像１２２の中に適切なものがない場合に、誤りがある確認画像１０１に対応する期間のサムネイル画像６５やカメラ画像７１を表示して、追跡対象とした人物を探し出すものである。また、この追加指定状態の人物検索画面は、確認状態のタイムライン画面（図９参照）において、欠落している確認画像１０１に対応する期間のサムネイル画像６５やカメラ画像７１を表示して、追跡対象とした人物を探し出すものである。
【０１６５】
図１５に示すように、人物別一覧モードにおける追加指定状態の人物検索画面は、初期指定状態の人物検索画面（図６参照）と略同様であるが、カメラ別表示欄６７の順序が初期指定状態の人物検索画面と異なっており、確定済み直近カメラと連携関係にあるカメラ１が一番上に表示され、その次に確定済み直近カメラが表示される。その他のカメラはカメラ番号の順に表示される。これにより、確定済み直近カメラと連携関係にあるカメラ１の画像を優先して閲覧することで、追跡対象とした人物の画像を効率よく見つけ出すことができる。
【０１６６】
また、この人物別一覧モードにおける追加指定状態の人物検索画面では、カメラ別表示欄６７に枠画像１３１が表示される。この枠画像１３１は、状況に応じて異なる表示色で表示される。
【０１６７】
例えば、確認状態のタイムライン画面（図９参照）で確認画像１０１の変更操作を行った場合、すなわち、誤りがある確認画像１０１の候補表示ボタン１０２を操作した場合には、確定済み直近カメラのカメラ別表示欄６７に、赤色の枠画像１３１が表示される。また、確認状態のタイムライン画面で確認画像１０１の追加操作を行った場合、すなわち、ブランク状態の画像表示枠１０７の画像追加アイコン１２１を操作した場合には、確定済み直近カメラのカメラ別表示欄６７に、青色の枠画像１３１が表示される。また、確定済み直近カメラと連携関係にあるカメラ１のカメラ別表示欄６７に、黄色の枠画像１３１が表示される。
【０１６８】
図１６に示すように、カメラ別一覧モードにおける追加指定状態の人物検索画面は、初期指定状態の人物検索画面（図７参照）と略同様であるが、カメラ画像７１に枠画像１３２が表示される。この枠画像１３２は、人物別一覧モードでの人物検索画面（図１５参照）と同様に、基準となる確定済み直近カメラと、この確定済み直近カメラと連携関係にあるカメラとに、枠画像１３２が異なる表示色で表示される。また、確定済み直近カメラは、確認画像１０１の変更操作を行った場合と、確認画像１０１の追加操作を行った場合とで、枠画像１３２が異なる表示色で表示される。
【０１６９】
また、この追加指定状態の人物検索画面では、初期状態として、誤りがある確認画像１０１に対応する期間や、欠落している確認画像１０１に対応する期間のサムネイル画像６５やカメラ画像７１が表示されるが、検索日時指定部４１により、必要に応じて検索日時を変更することができる。また、この追加指定状態の人物検索画面では、初期状態として、確定済み直近カメラと連携関係にあるカメラ１や確定済み直近カメラが優先して表示されるが、検索カメラ指定部４２により、必要に応じて検索対象となるカメラ１を増減することができる。
【０１７０】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【０１７１】
例えば、前記の実施形態では、スーパーマーケットなどの小売店舗の例について説明したが、ファミリーレストランなどの飲食店など、小売店舗以外の業務形態の店舗に適用することも可能であり、さらに、事業所などの店舗以外の施設にも適用することができる。
【０１７２】
また、前記の実施形態では、移動体として人物を追跡する例について説明したが、人物以外の移動体、例えば自動車や自転車などの車両を追跡する構成も可能である。
【０１７３】
また、前記の実施形態では、図１および図３に示したように、カメラ内追尾処理をカメラ内追尾処理装置４に行わせ、カメラ間追尾処理および追跡支援処理をＰＣ３に行わせる例について説明したが、カメラ内追尾処理もＰＣ３に行わせる構成としてもよい。また、カメラ内追尾処理部をカメラ１に設ける構成も可能である。また、カメラ間追尾処理部２２の全部または一部をＰＣ３とは別の追尾処理装置で構成することも可能である。
【０１７４】
また、前記の実施形態では、図２に示したように、カメラ１を、視野角の限定される箱型カメラとしたが、これに限らず、広範囲の撮影が可能な全方位カメラを用いることもできる。
【０１７５】
また、本実施形態では、カメラ内追尾処理および追跡支援処理を、店舗に設けられた装置に行わせるようにしたが、これらの必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で追跡支援システムが構成される。
【０１７６】
特に、クラウドコンピュータ１２を含むシステム構成では、店舗や本部に設けられたＰＣ３，１１の他に、クラウドコンピュータ１２にネットワーク接続されたスマートフォンやタブレット端末などの携帯端末１３で、必要な情報を表示させることができるようにするとよく、これにより店舗や本部の他に外出先などの任意の場所で必要な情報を確認することができる。
【０１７７】
また、前記の実施形態では、カメラ１の撮影画像を蓄積するレコーダ２を店舗に設置するようにしたが、追跡支援に必要な処理を、本部に設置されたＰＣ１１やクラウドコンピュータ１２に行わせる場合には、カメラ１の撮影画像を、本部や、クラウドコンピューティングシステムの運営施設などに送信して、そこに設置された装置にカメラ１の撮影画像を蓄積するようにしてもよい。
【産業上の利用可能性】
【０１７８】
本発明に係る追跡支援装置、追跡支援システムおよび追跡支援方法は、追跡対象とした移動体の追尾結果に誤りがないかを確認する作業を効率よく行うとともに、移動体の追尾結果に誤りがある場合に、簡単な操作で追尾情報を修正することができ、特に、追跡対象となる移動体が写る画像を監視者が見つけ出す作業を効率よく行うことができる効果を有し、画像蓄積手段に蓄積された複数のカメラごとの撮影画像を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置、追跡支援システムおよび追跡支援方法などとして有用である。
【符号の説明】
【０１７９】
１  カメラ
２  レコーダ（画像蓄積手段）
３  ＰＣ（追跡支援装置）
４  カメラ内追尾処理装置
６  入力デバイス
７  モニタ
１１  ＰＣ
１２  クラウドコンピュータ
１３  携帯端末
２１  追尾情報蓄積部
２６  特徴絞込み部
２７  サムネイル生成部
２８  画像再生部
２９  画面生成部
３２  追跡対象設定部
３３  追跡対象追加設定部
３５  リンクスコア算出部（評価値算出部）
３６  初期追尾情報生成部
３７  候補選択部
３８  追尾情報修正部
３９  確認画像提示部
４０  候補画像提示部
【図１】
2018032994.tif 000003
【図２】
2018032994.tif 000004
【図３】
2018032994.tif 000005
【図４】
2018032994.tif 000006
【図５】
2018032994.tif 000007
【図６】
2018032994.tif 000008
【図７】
2018032994.tif 000009
【図８】
2018032994.tif 000010
【図９】
2018032994.tif 000011
【図１０】
2018032994.tif 000012
【図１１】
2018032994.tif 000013
【図１２】
2018032994.tif 000014
【図１３】
2018032994.tif 000015
【図１４】
2018032994.tif 000016
【図１５】
2018032994.tif 000017
【図１６】
2018032994.tif 000018