(57)【要約】【課題】収集した画像データの中から、人による確認対象とすべき画像データを特定可能な技術を提供する。【解決手段】画像データ識別方法は、複数の画像フレームを含む動画データに含まれる人物それぞれについて移動軌跡を取得し、前記人物それぞれとは異なる第二の人物の移動軌跡を取得し、前記人物それぞれのうち、移動軌跡が、前記第二の人物の移動軌跡と所定の関係にある第一の人物を特定し、前記第一の人物が含まれる画像フレームを特定する、処理をコンピュータが実行する。【選択図】図１
2019200471.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像フレームを含む動画データに含まれる人物それぞれについて移動軌跡を取得し、
前記人物それぞれとは異なる第二の人物の移動軌跡を取得し、
前記人物それぞれのうち、移動軌跡が、前記第二の人物の移動軌跡と所定の関係にある第一の人物を特定し、
前記第一の人物が含まれる画像フレームを特定する、
処理をコンピュータが実行する画像データ識別方法。
【請求項２】
前記人物それぞれのうち、移動軌跡が、前記第二の人物の移動軌跡に対して所定の閾値以上の類似度となる前記第一の人物を特定することを特徴とする請求項１に記載の画像データ識別方法。
【請求項３】
前記人物それぞれの移動軌跡に基づいて推定した軌跡と、前記第二の人物の移動軌跡に基づいて推定した軌跡とを比較し、前記人物それぞれのうち、推定した軌跡が、前記第二の人物の推定した軌跡と所定の関係にある前記第一の人物を特定することを特徴とする請求項１に記載の画像データ識別方法。
【請求項４】
複数の画像フレームから特定の人物を判定する際の判定精度を、該特定の人物について判定した判定結果と、特定された前記第一の人物とを対比することで算出することを特徴とする請求項１に記載の画像データ識別方法。
【請求項５】
特定された前記画像フレームを用いて、複数の画像フレームから特定の人物を判定する際に用いるパラメータを算出することを特徴とする請求項１に記載の画像データ識別方法。
【請求項６】
異なる位置に配置された複数の撮像装置により撮影されたそれぞれの動画データに含まれる人物それぞれについて移動軌跡を取得することを特徴とする請求項１に記載の画像データ識別方法。
【請求項７】
複数の画像フレームを含む動画データに含まれる人物それぞれについて移動軌跡を取得し、前記人物それぞれとは異なる第二の人物の移動軌跡を取得する取得部と、
前記人物それぞれのうち、移動軌跡が、前記第二の人物の移動軌跡と所定の関係にある第一の人物を特定する人物特定部と
前記第一の人物が含まれる画像フレームを特定するフレーム特定部と
を有することを特徴とする画像データ識別システム。
【請求項８】
複数の画像フレームを含む動画データに含まれる人物それぞれについて移動軌跡を取得し、
前記人物それぞれとは異なる第二の人物の移動軌跡を取得し、
前記人物それぞれのうち、移動軌跡が、前記第二の人物の移動軌跡と所定の関係にある第一の人物を特定し、
前記第一の人物が含まれる画像フレームを特定する、
処理をコンピュータに実行させるための画像データ識別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ識別方法、画像データ識別システム及び画像データ識別プログラムに関する。
【背景技術】
【０００２】
従来より、各種店舗には、商品を万引きした万引き者を取り押さえるための保安員が配置されており、不審者を発見した場合に、保安員による追跡が行われる。ここで、万引き者の検挙率を向上させるには、保安員が漏れなく不審者を追跡することが重要となる。
【０００３】
一方で、保安員による不審者の追跡漏れをなくすには、例えば、不審者の画像データを予め取得しておき、店舗内に入ってきた不審者を自動判別して保安員に通知する、といった対策が有効である。このため、これまでは、店舗内で撮影した過去の画像データを収集し、保安員が確認して、不審者と判断した人物にラベル付けを行うなど、収集した画像データの中から不審者の自動判別に用いる画像データを識別する作業が行われていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１４／２０８５７５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、収集した画像データの中から、特定の画像データを識別する作業は、作業負荷が高い。
【０００６】
一つの側面では、収集した画像データの中から、人による確認対象とすべき画像データを特定可能な技術を提供することを目的としている。
【課題を解決するための手段】
【０００７】
一態様によれば、画像データ識別方法は、
複数の画像フレームを含む動画データに含まれる人物それぞれについて移動軌跡を取得し、
前記人物それぞれとは異なる第二の人物の移動軌跡を取得し、
前記人物それぞれのうち、移動軌跡が、前記第二の人物の移動軌跡と所定の関係にある第一の人物を特定し、
前記第一の人物が含まれる画像フレームを特定する、処理をコンピュータが実行する。
【発明の効果】
【０００８】
収集した画像データの中から、人による確認対象とすべき画像データを特定可能な技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る画像データ識別システムのシステム構成の一例を示す図である。
【図２】店舗内における移動軌跡の一例と、店舗内における各装置の配置例とを示す第１の図である。
【図３】撮影画像の一例を示す図である。
【図４】データ処理装置のハードウェア構成の一例を示す図である。
【図５】第１の実施形態に係るデータ処理装置の機能構成の一例を示す図である。
【図６】抽出処理の流れを示す第１のフローチャートである。
【図７】画像データ格納部に格納された情報（抽出処理後）の一例を示す第１の図である。
【図８】不審者判定処理の流れを示すフローチャートである。
【図９】画像データ格納部に格納された情報（不審者判定処理後）の一例を示す図である。
【図１０】正解ラベル付与処理の流れを示す第１のフローチャートである。
【図１１】画像データ格納部に格納された情報（正解ラベル付与処理後）の一例を示す図である。
【図１２】検証処理の流れを示すフローチャートである。
【図１３】第２の実施形態に係るデータ処理装置の機能構成の一例を示す図である。
【図１４】学習処理の流れを示すフローチャートである。
【図１５】不審者情報格納部に格納された情報の一例を示す図である。
【図１６】第３の実施形態に係る画像データ識別システムのシステム構成の一例を示す図である。
【図１７】店舗内における移動軌跡の一例と、店舗内における各装置の配置例とを示す第２の図である。
【図１８】第３の実施形態に係るデータ処理装置の機能構成の一例を示す図である。
【図１９】抽出処理の流れを示す第２のフローチャートである。
【図２０】画像データ格納部に格納された情報（抽出処理後）の一例を示す第２の図である。
【図２１】第４の実施形態に係る画像データ識別システムのシステム構成の一例を示す図である。
【図２２】第４の実施形態に係るデータ処理装置の機能構成の一例を示す図である。
【図２３】移動軌跡判定部による処理の具体例を示す図である。
【図２４】正解ラベル付与処理の流れを示す第２のフローチャートである。
【発明を実施するための形態】
【００１０】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００１１】
［第１の実施形態］
＜画像データ識別システムのシステム構成＞
はじめに、第１の実施形態に係る画像データ識別システムのシステム構成について説明する。画像データ識別システムとは、各種店舗等に設置され、店舗内を撮影することで画像データを収集するとともに、画像データに含まれる人物が不審者であるか否かを示すラベルを付与することで、収集した画像データを識別するシステムを指す。
【００１２】
なお、以下の記載において、“画像データを識別する”または“特定の画像データを識別する”とは、画像データにおいて、不審者と判定された人物とそれ以外の人物とで異なるラベルを付与することをいう。また、画像データに含まれる人物が不審者であるか否かの判定は、店舗内において実際に保安員（不審者を追跡する追跡者）が、当該人物を追跡したのか否か（つまり、両者の移動軌跡）に基づいて行われる。
【００１３】
図１は、第１の実施形態に係る画像データ識別システムのシステム構成の一例を示す図である。図１に示すように、画像データ識別システム１００は、撮像装置１１０と、位置センサ１２０＿１〜１２０＿４と、データ処理装置１３０とを有し、撮像装置１１０とデータ処理装置１３０とは、通信可能に接続される。同様に、位置センサ１２０＿１〜１２０＿４と、データ処理装置１３０とは、通信可能に接続される。
【００１４】
撮像装置１１０は、店舗内を撮影し、複数の画像フレームを含む動画である撮影画像をデータ処理装置１３０に送信する。位置センサ１２０＿１〜１２０＿４は、店舗内の保安員の位置を検出し、検出した位置情報をデータ処理装置１３０に送信する。
【００１５】
データ処理装置１３０には、画像データ識別プログラム、不審者判定プログラム、検証プログラムがインストールされている。データ処理装置１３０は、これらのプログラムが実行されることで、画像データ識別部１４０、不審者判定部１５０、検証部１６０として機能する。
【００１６】
画像データ識別部１４０は、撮像装置１１０より送信された撮影画像を受信し、撮影画像の各画像フレームの画像データそれぞれに含まれる人物を抽出し、抽出した人物の位置を算出する。また、画像データ識別部１４０は、各画像データと、抽出した人物の位置とを対応付けて、画像データ格納部１７０に格納する。
【００１７】
また、画像データ識別部１４０は、位置センサ１２０＿１〜１２０＿４より送信された位置情報を受信し、各時刻における保安員の位置から、保安員の移動軌跡を特定する。更に、画像データ識別部１４０は、画像データから抽出した人物の各時刻における位置に基づいて算出した該人物の移動軌跡と、保安員の移動軌跡とを比較し、両移動軌跡が所定の関係にあるか否かを示すラベルを付与する。
【００１８】
不審者判定部１５０は、画像データ識別部１４０により、画像データ格納部１７０に格納された各人物の画像データを読み出し、各人物が不審者であるか否かを判定する。また、不審者判定部１５０は、判定結果を画像データ格納部１７０に格納する。
【００１９】
検証部１６０は、画像データ格納部１７０を参照し、所定の関係にあることを示すラベルが付与された人物と、不審者判定部１５０により不審者と判定された人物とが一致するか否かに基づいて、不審者判定部１５０の判定精度を検証する。
【００２０】
所定の関係にあることを示すラベルが付与された人物とは、保安員の移動軌跡と類似する移動軌跡を有する人物であり、保安員により不審者であると判断されたことで、追跡された人物である。つまり、不審者判定部１５０が、不審者と判定すべき人物である。したがって、所定の関係にあることを示すラベルが付与された人物と、不審者判定部により不審者と判定された人物とを対比することで、検証部１６０では、不審者判定部１５０の判定精度を検証することができる。
【００２１】
＜店舗内の説明＞
次に、店舗内における人物の移動軌跡及び保安員の移動軌跡と、画像データ識別システム１００が有する各装置の店舗内における配置例とについて説明する。図２は、店舗内における移動軌跡の一例と、店舗内における各装置の配置例とを示す第１の図である。
【００２２】
このうち、図２（ａ）は、店舗２００の入口付近に３人の人物２０１〜２０３が近づいてきた様子を示しており、人物２０１〜２０３に対応付けて図示された矢印は、それぞれ、人物２０１〜２０３のその後の移動軌跡を示している。店舗２００内には、商品の陳列棚２１１〜２１３が配置されており、人物２０１〜２０３に対応付けて図示された矢印は、それぞれの陳列棚２１１〜２１３の間の通路に人物２０１〜２０３が移動した様子を示している。
【００２３】
また、図２（ａ）に示すように、店舗２００の入口付近には、保安員２０４が配置されており、店舗２００内に入る人物を監視している。保安員２０４に対応付けて図示された矢印は、人物２０１〜２０３が店舗２００内に入ってきた後の保安員２０４の移動軌跡を示している。図２（ａ）の例は、店舗２００内に入ってきた人物２０１〜２０３のうち、人物２０１について保安員２０４が不審者であると判断し、追跡を開始した様子を示している。
【００２４】
図２（ｂ）は、画像データ識別システム１００が有する各装置の店舗２００内における配置例を示している。図２（ｂ）に示すように、撮像装置１１０は、店舗２００内の入口付近の天井位置において、入口方向に向けて設置されており、領域２２０で示す範囲を撮影範囲としている。
【００２５】
これにより、撮像装置１１０は、店舗２００内に入ってくる人物２０１〜２０３の顔画像を撮影することができる。また、データ処理装置１３０は、撮像装置１１０により撮影された撮影画像に基づいて、店舗２００内に入ってきた後の人物２０１〜２０３の各時刻における位置を特定し、人物２０１〜２０３の移動軌跡を算出することができる。なお、人物２０１〜２０３の各時刻における位置は、図２（ｂ）に示すｘｙ座標系の各座標を算出することで特定される。
【００２６】
また、図２（ｂ）に示すように、位置センサ１２０＿１〜１２０＿４は、商品の陳列棚２１１〜２１３の間の通路の天井位置に配置される。位置センサ１２０＿１〜１２０＿４は、それぞれ、保安員２０４が携帯する端末のビーコンが送信する電波を受信し、保安員２０４の各時刻における位置を検出することで、位置情報を出力する。領域２２１〜２２４は、位置センサ１２０＿１〜１２０＿４それぞれの電波の検出範囲を示している。
【００２７】
これにより、データ処理装置１３０は、保安員２０４の移動軌跡を算出することができる。なお、保安員２０４の各時刻における位置は、図２（ｂ）に示すｘｙ座標系の座標を算出することで特定される。
【００２８】
図３は、撮影画像の一例を示す図である。図３（ａ）は、撮影画像に含まれる時刻＝Ｔ１の画像データを示している。また、図３（ｂ）は、撮影画像に含まれる時刻＝Ｔ２の画像データを、図３（ｃ）は、撮影画像に含まれる時刻＝Ｔ３の画像データをそれぞれ示している。図３（ｃ）によれば、保安員２０４は、時刻＝Ｔ３のタイミングで、不審者の追跡を開始している。
【００２９】
＜データ処理装置のハードウェア構成＞
次に、データ処理装置１３０のハードウェア構成について説明する。図４は、データ処理装置のハードウェア構成の一例を示す図である。図４に示すように、データ処理装置１３０は、ＣＰＵ（Central  Processing  Unit）４０１、ＲＯＭ（Read  Only  Memory）４０２、ＲＡＭ（Random  Access  Memory）４０３を有する。ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３は、いわゆるコンピュータを形成する。
【００３０】
また、データ処理装置１３０は、補助記憶装置４０４、表示装置４０５、操作装置４０６、Ｉ／Ｆ（Interface）装置４０７、ドライブ装置４０８を有する。なお、データ処理装置１３０の各ハードウェアは、バス４０９を介して相互に接続されている。
【００３１】
ＣＰＵ４０１は、補助記憶装置４０４にインストールされている各種プログラム（例えば、画像データ識別プログラム、不審者判定プログラム、検証プログラム等）を実行する演算デバイスである。
【００３２】
ＲＯＭ４０２は、不揮発性メモリである。ＲＯＭ４０２は、補助記憶装置４０４にインストールされている各種プログラムをＣＰＵ４０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ４０２はＢＩＯＳ（Basic  Input/Output  System）やＥＦＩ（Extensible  Firmware  Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
【００３３】
ＲＡＭ４０３は、ＤＲＡＭ（Dynamic  Random  Access  Memory）やＳＲＡＭ（Static  Random  Access  Memory）等の揮発性メモリである。ＲＡＭ４０３は、補助記憶装置４０４にインストールされている各種プログラムがＣＰＵ４０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【００３４】
補助記憶装置４０４は、各種プログラムや、各種プログラムが実行されることで生成される情報を格納する補助記憶デバイスである。例えば、画像データ格納部１７０は、補助記憶装置４０４において実現される。
【００３５】
表示装置４０５は、データ処理装置１３０の内部状態を表示する表示デバイスである。操作装置４０６は、データ処理装置１３０のユーザがデータ処理装置１３０に対して各種指示を入力するための入力デバイスである。
【００３６】
Ｉ／Ｆ装置４０７は、撮像装置１１０と接続され、撮像装置１１０とデータ処理装置１３０との間で撮影画像の送受信を行う接続デバイスである。また、Ｉ／Ｆ装置４０７は、位置センサ１２０＿１〜１２０＿４と接続され、位置センサ１２０＿１〜１２０＿４とデータ処理装置１３０との間で位置情報の送受信を行う接続デバイスである。
【００３７】
ドライブ装置４０８は記録媒体４１０をセットするためのデバイスである。ここでいう記録媒体４１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体４１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００３８】
なお、補助記憶装置４０４にインストールされる各種プログラムは、例えば、配布された記録媒体４１０がドライブ装置４０８にセットされ、該記録媒体４１０に記録された各種プログラムがドライブ装置４０８により読み出されることでインストールされる。あるいは、補助記憶装置４０４にインストールされる各種プログラムは、ネットワークよりダウンロードされることでインストールされてもよい。
【００３９】
＜データ処理装置の機能構成＞
次に、第１の実施形態に係るデータ処理装置１３０の機能構成について説明する。図５は、第１の実施形態に係るデータ処理装置の機能構成の一例を示す図である。図５に示すように、画像データ識別部１４０は、更に、人物抽出部５０１、特徴抽出部５０２、位置取得部５１１、移動軌跡算出部５１２、移動軌跡判定部５１３、ラベル付与部５１４を有する。
【００４０】
人物抽出部５０１は、撮影画像を受信し、受信した撮影画像の各画像フレームの画像データから人物を抽出する。人物抽出部５０１は、例えば、ＤＰＭ（Deformable  Part  Models）などの一般的な方法を用いて画像データから人物を抽出するものとする。
【００４１】
また、人物抽出部５０１は、撮影画像の各画像フレームの画像データ間で、同一人物を特定することで、画像データ間で、人物追跡を行う。人物抽出部５０１は、例えば、ＫＣＦ（Kernelized  Correlation  Filters）などの一般的な方法を用いて画像データ間における人物追跡を行うものとする。
【００４２】
特徴抽出部５０２は、画像データ間で人物追跡された人物について、画像データごとに、人物の特徴量（位置、顔向き、移動方向等）を抽出する。また、特徴抽出部５０２は、人物追跡された人物の人物ＩＤと、抽出した特徴量とを、各画像データと対応付けて画像データ格納部１７０に格納する。
【００４３】
位置取得部５１１は、位置情報を受信し、各時刻における保安員２０４の位置を算出する。
【００４４】
移動軌跡算出部５１２は取得部の一例である。移動軌跡算出部５１２は、画像データ格納部１７０より、各画像データにおける各人物の特徴量を読み出し、読み出した特徴量に基づき各人物の移動軌跡を算出する。また、移動軌跡算出部５１２は、位置取得部５１１により算出された、各時刻における保安員２０４の位置に基づいて、保安員２０４の移動軌跡を算出する。
【００４５】
移動軌跡判定部５１３は人物特定部の一例であり、各人物の移動軌跡と、保安員２０４（第二の人物）の移動軌跡とを比較することで、保安員２０４が不審者と判断したことで追跡した人物（第一の人物）を特定する。移動軌跡判定部５１３は、例えば、所定の時間範囲における人物の移動軌跡と、対応する時間範囲における保安員２０４の移動軌跡との類似度を算出し、算出した類似度が所定の閾値以上であった場合に、当該人物を保安員２０４が追跡したと判定する。
【００４６】
ラベル付与部５１４はフレーム特定部の一例であり、保安員が人物を追跡したか否かを示すラベル（正解ラベルと称す）を、人物ＩＤに対応付けて付与することで、画像データを識別する。
【００４７】
＜各部の処理の具体例＞
続いて、データ処理装置１３０の各部の処理の具体例について説明する。
【００４８】
（１）人物抽出部及び特徴抽出部による抽出処理の具体例
はじめに、人物抽出部５０１及び特徴抽出部５０２による抽出処理の具体例について説明する。図６は、抽出処理の流れを示す第１のフローチャートである。画像データ識別部１４０が起動することで、図６に示す抽出処理が開始される。
【００４９】
ステップＳ６０１において、人物抽出部５０１は、撮像装置１１０より撮影画像を受信し、受信した撮影画像に含まれる各画像フレームの画像データを、順次、取得する。ステップＳ６０２において、人物抽出部５０１は、取得した画像データにおいて人物を抽出したか否かを判定する。ステップＳ６０２において、人物を抽出していないと判定した場合には（ステップＳ６０２においてＮｏの場合には）、ステップＳ６０１に戻る。
【００５０】
一方、ステップＳ６０２において、人物を抽出したと判定した場合には（ステップＳ６０２においてＹｅｓの場合には）、ステップＳ６０３に進む。ステップＳ６０３において、人物抽出部５０１は、撮影画像に含まれる各画像フレームの画像データ間において、同一人物を特定することで、各画像データ間における人物追跡を行う。
【００５１】
ステップＳ６０４において、特徴抽出部５０２は、各画像データ間において人物追跡した人物について、画像データごとに特徴量を算出する。
【００５２】
ステップＳ６０５において、特徴抽出部５０２は、人物追跡された人物の人物ＩＤと、算出した特徴量とを、各画像データに対応付けて画像データ格納部１７０に格納する。これにより、画像データ格納部１７０に格納された情報が更新される。
【００５３】
ステップＳ６０６において、抽出処理を終了するか否かを判定し、抽出処理を継続すると判定した場合には（ステップＳ６０６においてＮｏの場合には）、ステップＳ６０１に戻る。一方、ステップＳ６０６において終了すると判定した場合には（ステップＳ６０６においてＹｅｓの場合には）、抽出処理を終了する。
【００５４】
図７は、画像データ格納部に格納された情報（抽出処理後）の一例を示す第１の図である。図７に示すように、画像データ格納部１７０に格納された情報７００には、情報の項目として、“人物ＩＤ”、“不審者判定終了フラグ”、“不審者判定ラベル”、“正解ラベル付与終了フラグ”、“正解ラベル”、“特徴量”が含まれる。
【００５５】
“人物ＩＤ”には、画像データから抽出された人物の識別子が格納される。“不審者判定終了フラグ”には、画像データから抽出された人物について、不審者判定部１５０により不審者判定処理が実行されたか否かを示すフラグが格納される。不審者判定処理が実行されていない場合には、“不審者判定終了フラグ”に“０”が格納され、不審者判定処理が実行された場合には、“不審者判定終了フラグ”に“１”が格納される。
【００５６】
“不審者判定ラベル”には、画像データから抽出された人物について、不審者判定部１５０により不審者判定処理が実行された際の判定結果が格納される。不審者と判定されなかった場合、“不審者判定ラベル”には“０”が格納され、不審者と判定された場合、“不審者判定ラベル”には、“１”が格納される。
【００５７】
“正解ラベル付与終了フラグ”には、画像データから抽出された人物について、正解ラベル付与処理が実行されたか否かを示すフラグが格納される。正解ラベル付与処理が実行されていない場合には、“正解ラベル付与終了フラグ”に“０”が格納され、正解ラベル付与処理が実行された場合には、“正解ラベル付与終了フラグ”に“１”が格納される。
【００５８】
“正解ラベル”には、画像データから抽出された人物が不審者であるか否かを示すラベルが格納される。画像データから抽出された人物が不審者でなかった場合には、“正解ラベル”に“０”が格納され、画像データから抽出された人物が不審者であった場合には、“正解ラベル”に“１”が格納される。
【００５９】
“特徴量”には、特徴抽出部５０２によって抽出された特徴量が、画像データごとに格納される。“画像データ０”は、１番目のフレームの画像データを指し、“画像データ１”は、２番目のフレームの画像データを指す。以下、撮影画像に含まれるフレームを取得するごとに、画像データ格納部１７０に格納された情報７００は、紙面右方向に追加されていく。
【００６０】
各画像データには、特徴量として、“時刻”、“位置”、“顔向き”、“移動方向”等が対応付けられる。“時刻”には、対応する画像データが撮影された日時が格納される。“位置”には、対応する画像データに含まれる人物の位置を示す座標が格納される。“顔向き”には、対応する画像データに含まれる人物の顔の向きを示す角度が格納される。“移動方向”には、対応する画像データに含まれる人物の移動方向を示す角度が格納される。
【００６１】
例えば、“画像データ０”は、“２０１７年１月１日１０：００：００”に撮影された画像データであることを示している。また、当該画像データからは３人の人物が抽出されているため、それぞれの人物の位置を示す座標、顔の向きを示す角度、移動方向を示す角度が、それぞれの人物の人物ＩＤと対応付けて格納されている。
【００６２】
同様に、“画像データ１”についても、抽出された人物の位置を示す座標、顔の向きを示す角度、移動方向を示す角度が、それぞれの人物の人物ＩＤに対応付けて格納される。なお、“画像データ１”において抽出された３人の人物と、“画像データ０”において抽出された３人の人物とは、それぞれ同一であり、人物追跡されている。このため、“画像データ１”において抽出された３人の人物の特徴量は、“画像データ０”において抽出された３人の人物の人物ＩＤにそれぞれ対応付けて格納されている。
【００６３】
（２）不審者判定部による不審者判定処理の具体例
次に、不審者判定部１５０による不審者判定処理の具体例について説明する。図８は、不審者判定処理の流れを示すフローチャートである。不審者判定部１５０が起動することで、図８に示す不審者判定処理が開始される。
【００６４】
ステップＳ８０１において、不審者判定部１５０は、画像データ格納部１７０に格納された情報７００を参照し、“不審者判定終了フラグ”が“０”で、“時刻”が最も早い画像データを読み出す。
【００６５】
ステップＳ８０２において、不審者判定部１５０は、読み出した画像データが、画像データ格納部１７０に格納されてからの経過時間を算出し、所定の経過時間が経過しているか否かを判定する。
【００６６】
ステップＳ８０２において、所定の経過時間が経過していないと判定した場合には（ステップＳ８０２においてＮｏの場合には）、所定の経過時間が経過するまで待機する。一方、ステップＳ８０２において、所定の経過時間が経過したと判定した場合には（ステップＳ８０２においてＹｅｓの場合には）、ステップＳ８０３に進む。
【００６７】
ステップＳ８０３において、不審者判定部１５０は、読み出した画像データに含まれる人物が、不審者に該当するか否かを判定する。不審者判定部１５０は、読み出した画像データに対応付けられた特徴量に基づいて判定を行う。例えば、不審者判定部１５０は、画像データに含まれる人物の顔向きの時間変化と移動方向とを対比し、一致しない場合には、当該人物が移動方向以外の方向を注目していると判定し、当該人物を不審者と判定する。
【００６８】
ステップＳ８０４において、不審者判定部１５０は、判定結果を、画像データ格納部１７０に、人物ＩＤと対応付けて格納する。
【００６９】
ステップＳ８０５において、不審者判定部１５０は、不審者判定処理を終了するか否かを判定する。不審者判定を行っていない画像データがある場合には、ステップＳ８０５において不審者判定処理を継続すると判定し（ステップＳ８０５においてＮｏと判定し）、ステップＳ８０１に戻る。一方、全ての画像データについて不審者判定を行った場合には、ステップＳ８０５において不審者判定処理を終了すると判定し（ステップＳ８０５においてＹｅｓと判定し）、不審者判定処理を終了する。
【００７０】
図９は、画像データ格納部に格納された情報（不審者判定処理後）の一例を示す図である。図７との相違点は、図９の場合、人物ＩＤ＝“０００１”の人物について不審者判定処理が実行され、“不審者判定終了フラグ”及び“不審者判定ラベル”に、それぞれフラグ及びラベルが格納されている点である。
【００７１】
（３）位置取得部〜ラベル付与部までの各部による正解ラベル付与処理の具体例
次に、位置取得部５１１、移動軌跡算出部５１２、移動軌跡判定部５１３、ラベル付与部５１４による正解ラベル付与処理の具体例について説明する。図１０は、正解ラベル付与処理の流れを示す第１のフローチャートである。画像データ識別部１４０が起動することで、図１０に示す正解ラベル付与処理が開始される。
【００７２】
ステップＳ１００１において、位置取得部５１１は、保安員２０４の位置情報を取得する。ステップＳ１００２において、位置取得部５１１は、保安員２０４の位置情報と、領域２２０とを比較することで、保安員２０４が、撮像装置１１０の撮影範囲外に移動したか否かを判定する。
【００７３】
ステップＳ１００２において、保安員２０４が撮影範囲外に移動していないと判定した場合には（ステップＳ１００２においてＮｏの場合には）、ステップＳ１００３に進む。保安員２０４が撮影範囲外に移動していない状態とは、保安員２０４が不審者と判断した人物がおらず、追跡を開始していない状態を指す。
【００７４】
ステップＳ１００３において、ラベル付与部５１４は、画像データ格納部１７０に格納された情報９００を参照し、現在時刻から所定時間前までの間に撮影範囲外に移動した人物を特定する。これにより、ラベル付与部５１４は、保安員２０４が不審者と判断しなかった人物を特定することができる。
【００７５】
ステップＳ１００４において、ラベル付与部５１４は、ステップＳ１００３で特定した人物の人物ＩＤに対応付けて、画像データ格納部１７０の“正解ラベル”にラベル（“０”）を格納するとともに、“正解ラベル付与終了フラグ”にフラグ（“１”）を格納する。その後、ステップＳ１００１に戻る。
【００７６】
一方、ステップＳ１００２において、保安員２０４が撮影範囲外に移動したと判定した場合には（ステップＳ１００２においてＹｅｓの場合には）、ステップＳ１００５に進む。保安員２０４が撮影範囲外に移動した状態とは、保安員２０４が不審者と判断することで追跡を開始した人物がいる状態を指す。
【００７７】
ステップＳ１００５において、移動軌跡算出部５１２は、保安員２０４が撮影範囲外に移動するまでの間の保安員２０４の移動軌跡を算出し、移動軌跡判定部５１３に通知する。
【００７８】
ステップＳ１００６において、移動軌跡判定部５１３は、画像データ格納部１７０に格納された情報９００を参照し、保安員２０４が撮影範囲外に移動した時刻において、撮影範囲外に移動した人物を特定する。
【００７９】
ステップＳ１００７において、移動軌跡判定部５１３は、保安員２０４が撮影範囲外に移動した時刻において、撮影範囲外に移動した人物の数をカウントするカウンタＮに“１”を入力する。
【００８０】
ステップＳ１００８において、移動軌跡判定部５１３は、第Ｎ番目の人物の移動軌跡を算出する。ステップＳ１００９において、移動軌跡判定部５１３は、ステップＳ１００５において算出した保安員２０４の移動軌跡と、ステップＳ１００８において算出した第Ｎ番目の人物の移動軌跡との類似度を算出する。
【００８１】
ここで、保安員２０４の移動軌跡に含まれる、時刻ｔにおける保安員２０４の位置を示す座標を（ｓｘｔ，ｓｙｔ）、第Ｎ番目の人物の移動軌跡に含まれる、時刻ｔにおける人物の位置を示す座標を（ｃｘｔ，ｃｙｔ）とする。この場合、保安員２０４の移動軌跡と、第Ｎ番目の人物の移動軌跡との類似度は、下式に基づいて算出することができる。
【００８２】
【数１】
2019200471.tif 000003
【００８３】
なお、αは重み係数を表す。また、ｔ１は保安員２０４が撮影範囲外に移動した時刻を、ｔ２は、第Ｎ番目の人物が撮影範囲外に移動した時刻をそれぞれ表す。
【００８４】
ステップＳ１０１０において、移動軌跡判定部５１３は、保安員２０４が撮影範囲外に移動した時刻において、撮影範囲外に移動した人物すべてについて、類似度を算出したか否かを判定する。
【００８５】
ステップＳ１０１０において、類似度を算出していない人物がいると判定した場合には（ステップＳ１０１０においてＮｏの場合には）、ステップＳ１０１１に進む。ステップＳ１０１１において、移動軌跡判定部５１３は、カウンタＮをインクリメントした後、ステップＳ１００８に戻る。
【００８６】
一方、ステップＳ１０１０において、すべての人物について類似度を算出したと判定した場合には（ステップＳ１０１０においてＹｅｓの場合には）、ステップＳ１０１２に進む。
【００８７】
ステップＳ１０１２において、ラベル付与部５１４は、第１番目の人物から第Ｎ番目の人物の人物ＩＤに対応付けて、“正解ラベル”に、類似度に応じたラベルを格納する。
【００８８】
具体的には、ラベル付与部５１４は、算出した類似度が所定の閾値以上であった場合、“正解ラベル”にラベル（“１”）を格納する。また、ラベル付与部５１４は、算出した類似度が所定の閾値未満であった場合、“正解ラベル”にラベル（“０”）を格納する。更に、ラベル付与部５１４は、“正解ラベル付与終了フラグ”にフラグ（“１”）を格納する。
【００８９】
ステップＳ１０１３において、位置取得部５１１は、正解ラベル付与処理を終了するか否かを判定する。ステップＳ１０１３において、正解ラベル付与処理を継続すると判定した場合には（ステップＳ１０１３においてＮｏの場合には）、ステップＳ１００１に戻る。一方、ステップＳ１０１３において、正解ラベル付与処理を終了すると判定した場合には（ステップＳ１０１３においてＹｅｓの場合には）、正解ラベル付与処理を終了する。
【００９０】
図１１は、画像データ格納部に格納された情報（正解ラベル付与処理後）の一例を示す図である。図９との相違点は、図１１の場合、人物ＩＤ＝“０００１”の人物について、正解ラベル付与処理が実行され、“正解ラベル付与終了フラグ”及び“正解ラベル”に、それぞれフラグ（“１”）及びラベル（“１”）が格納されている点である。
【００９１】
（４）検証部による検証処理の具体例
次に、検証部１６０による検証処理の具体例について説明する。図１２は、検証処理の流れを示すフローチャートである。検証部１６０が起動することで、図１２に示す検証処理が開始される。
【００９２】
ステップＳ１２０１において、検証部１６０は、ユーザから検証指示が入力されたか否かを判定する。ステップＳ１２０１において、ユーザから検証指示が入力されていないと判定した場合には（ステップＳ１２０１においてＮｏの場合には）、ユーザから検証指示が入力されるまで待機する。
【００９３】
一方、ステップＳ１２０１において、ユーザから検証指示が入力されたと判定した場合には（ステップＳ１２０１においてＹｅｓの場合には）、ステップＳ１２０２に進む。ステップＳ１２０２において、検証部１６０は、画像データ格納部１７０より、画像データ格納部１７０に格納された情報１１００を読み出す。
【００９４】
ステップＳ１２０３において、検証部１６０は、不審者の検出率（適合率、再現率）を算出する。具体的には、検証部１６０は、不審者の検出率（適合率、再現率）を下式に基づいて算出する。
【００９５】
【数２】
2019200471.tif 000004
【００９６】
ステップＳ１２０４において、検証部１６０は、算出した検出率（適合率、再現率）を出力する。
【００９７】
以上の説明から明らかなように、第１の実施形態に係るデータ処理装置１３０では、画像データに含まれる人物を抽出し、抽出した人物の移動軌跡と、保安員の移動軌跡とを比較する。また、第１の実施形態に係るデータ処理装置１３０では、抽出した人物の移動軌跡と、保安員の移動軌跡との類似度に応じたラベル（“０”または“１”）を、当該抽出した人物に付与することで、画像データを識別する。
【００９８】
これにより、第１の実施形態に係るデータ処理装置１３０によれば、収集した画像データの中から、保安員により不審者であると判断され、追跡された人物が含まれる画像データを識別することが可能となる。
【００９９】
この結果、第１の実施形態に係るデータ処理装置１３０によれば、収集した画像データの中から、不審者の画像データを識別する際の作業負荷を低減させることができる。
【０１００】
［第２の実施形態］
上記第１の実施形態では、画像データ識別部１４０により識別された画像データを、不審者判定部１５０の判定精度の検証に利用するものとして説明した。これに対して、第２の実施形態では、画像データ識別部１４０により識別された画像データを、不審者を判定する際に用いるパラメータの学習に利用するものとして説明する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【０１０１】
＜データ処理装置の機能構成＞
はじめに、第２の実施形態に係るデータ処理装置の機能構成について説明する。図１３は、第２の実施形態に係るデータ処理装置の機能構成の一例を示す図である。図５に示したデータ処理装置１３０の機能構成との相違点は、データ処理装置１３００の場合、不審者情報抽出部１３１０、学習処理部１３２０を有する点である。
【０１０２】
不審者情報抽出部１３１０は、画像データ格納部１７０に格納された情報１１００から、“正解ラベル”に“１”が格納された人物が含まれる画像データを抽出し、不審者情報として、不審者情報格納部１３３０に格納する。
【０１０３】
学習処理部１３２０は、不審者情報格納部１３３０に格納された不審者情報を用いて、不審者を判定する際に用いるパラメータを学習する。
【０１０４】
＜学習処理の具体例＞
続いて、データ処理装置１３００の不審者情報抽出部１３１０及び学習処理部１３２０による学習処理の具体例について説明する。図１４は、学習処理の流れを示すフローチャートである。正解ラベル付与処理（図１０）が完了することで、図１４に示す学習処理が開始される。
【０１０５】
ステップＳ１４０１において、不審者情報抽出部１３１０は、ユーザから学習指示が入力されたか否かを判定する。ステップＳ１４０１において、ユーザから学習指示が入力されていないと判定した場合には（ステップＳ１４０１においてＮｏの場合には）、ユーザから学習指示が入力されるまで待機する。
【０１０６】
一方、ステップＳ１４０１において、ユーザから学習指示が入力されたと判定した場合には（ステップＳ１４０１においてＹｅｓの場合には）、ステップＳ１４０２に進む。
【０１０７】
ステップＳ１４０２において、不審者情報抽出部１３１０は、画像データ格納部１７０に格納された情報１１００から、“正解ラベル”に“１”が格納された人物が含まれる画像データを抽出し、不審者情報として、不審者情報格納部１３３０に格納する。
【０１０８】
ステップＳ１４０３において、学習処理部１３２０は、不審者情報格納部１３３０に格納された不審者情報を用いて、不審者を判定する際に用いるパラメータを学習する。
【０１０９】
図１５は、不審者情報格納部に格納された不審者情報の一例を示す図である。図１５に示すように、不審者情報１５００には、情報の項目として、“人物ＩＤ”、“正解ラベル”、“特徴量”が含まれる。なお、“人物ＩＤ”、“正解ラベル”、“特徴量”にそれぞれ格納されるデータの詳細は、既に説明済みであるため、ここでは説明を省略する。
【０１１０】
なお、図１５の例は、画像データ格納部１７０に格納された情報１１００のうち、“正解ラベル”に“１”が格納された人物が一人だけである（人物ＩＤが“０００１”の人物だけである）。このため、当該人物が含まれる画像データを用いて学習が行われることになる。
【０１１１】
以上の説明から明らかなように、第２の実施形態に係るデータ処理装置１３００では、画像データ識別部１４０により識別された画像データを、不審者を判定する際に用いるパラメータの学習に利用する。これにより、第２の実施形態に係るデータ処理装置１３００によれば、不審者を判定する際の判定精度を向上させることができる。
【０１１２】
［第３の実施形態］
上記第１の実施形態では、店舗の入口付近での、人物の移動軌跡と保安員の移動軌跡とに基づいて、保安員が当該人物に対して追跡を行ったか否かを判定するものとして説明した。これに対して、第３の実施形態では、店舗内の複数箇所における、人物の移動軌跡と保安員の移動軌跡とに基づいて、保安員が当該人物に対して追跡を行ったか否かを判定する。以下、第３の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【０１１３】
＜画像データ識別システムのシステム構成＞
はじめに、第３の実施形態に係る画像データ識別システムのシステム構成について説明する。図１６は、第３の実施形態に係る画像データ識別システムのシステム構成の一例を示す図である。図１の画像データ識別システム１００との相違点は、画像データ識別システム１６００の場合、撮像装置１１０＿１〜１１０＿３を有する点である。また、画像データ識別システム１６００の場合、画像データ識別部１６２０の機能が画像データ識別部１４０の機能とは異なる点、及び、画像データ格納部１６３０に格納される情報が画像データ格納部１７０に格納される情報とは異なる点である（詳細は後述）。
【０１１４】
＜店舗内の説明＞
次に、画像データ識別システム１６００が有する各装置が設置される店舗内における、人物及び保安員の移動軌跡と、店舗内における各装置の配置例とについて説明する。図１７は、店舗内における移動軌跡の一例と、店舗内における各装置の配置例とを示す第２の図である。
【０１１５】
このうち、図１７（ａ）は、店舗２００内に入ってきた３人の人物２０１〜２０３が、その後、店舗２００内を移動している様子を示している。図１７（ａ）の例によれば、店舗２００内に入ってきた人物２０１〜２０３のうち、人物２０１に対しては保安員２０４が追跡を継続していることがわかる。
【０１１６】
図１７（ｂ）は、画像データ識別システム１６００が有する各装置の店舗２００内における配置例を示している。図１７（ｂ）に示すように、撮像装置１１０＿１は、店舗２００内の入口付近の天井位置において、入口方向に向けて設置され、領域２２０で示す範囲を撮影範囲として撮影を行う。
【０１１７】
また、図１７（ｂ）に示すように、撮像装置１１０＿２は、店舗２００内の奥側の一方のコーナ付近において、天井位置に設置され、領域１７１０で示す範囲を撮影範囲として撮影を行う。同様に、撮像装置１１０＿３は、店舗２００内の奥側の他方のコーナ付近において、天井位置に設置され、領域１７２０で示す範囲を撮影範囲として撮影を行う。
【０１１８】
これにより、店舗２００の入口付近だけでなく、店舗２００の奥側の両コーナ付近においても、人物の移動軌跡と保安員の移動軌跡とを比較し、保安員２０４が追跡を行ったか否かを判定することができる。
【０１１９】
なお、図１７（ｂ）においては明示していないが、店舗２００内の奥側の両コーナ付近においても、各時刻における人物２０１〜２０３の位置を特定するためのｘｙ座標系が定義されているものとする。
【０１２０】
＜データ処理装置の機能構成＞
次に、第３の実施形態に係るデータ処理装置１６１０の機能構成について説明する。図１８は、第３の実施形態に係るデータ処理装置の機能構成の一例を示す図である。図５との相違点は、画像データ識別部１６２０が、特徴抽出部１８１０を有し、特徴抽出部１８１０が、画像データ、人物ＩＤ、特徴量を、画像データ格納部１６３０に格納する点である。
【０１２１】
特徴抽出部１８１０は、撮像装置１１０＿１より送信された撮影画像に含まれる複数のフレームの画像データ間で人物追跡された人物について、画像データごとに、人物の特徴量を抽出する。特徴抽出部１８１０は、特徴量として、時刻、位置、顔向き、移動方向等に加えて、人物の色特徴や人物領域の画像を抽出する。これは、他の撮像装置１１０＿２、１１０＿３により撮影された撮影画像にそれぞれ含まれる画像データと比較し、同一人物が含まれるか否かを判定するためである。
【０１２２】
また、特徴抽出部１８１０は、撮像装置１１０＿２より送信された撮影画像に含まれる複数のフレームの画像データ間で人物追跡された人物について、画像データごとに、人物の特徴量を抽出する。更に、特徴抽出部１８１０は、撮像装置１１０＿３より送信された撮影画像に含まれる複数のフレームの画像データ間で人物追跡された人物について、画像データごとに、人物の特徴量を抽出する。
【０１２３】
なお、特徴抽出部１８１０は、各画像データに含まれる人物が、既に画像データ格納部１６３０に格納されている人物と同一人物であると判定した場合には、既に格納されている人物の人物ＩＤと対応付けて、抽出した特徴量を格納する。
【０１２４】
＜抽出処理の具体例＞
次に、人物抽出部５０１及び特徴抽出部１８１０による抽出処理の具体例について説明する。図１９は、抽出処理の流れを示す第２のフローチャートである。図６との相違点は、ステップＳ１９０１及びステップＳ１９０２である。
【０１２５】
ステップＳ１９０１において、特徴抽出部１８１０は、撮像装置１１０＿２より送信された撮影画像に含まれる複数のフレームの各画像データ間で人物追跡された人物が、既に、画像データ格納部１６３０に格納された人物と同一人物であるか否かを判定する。同様に、特徴抽出部１８１０は、撮像装置１１０＿３より送信された撮影画像に含まれる複数のフレームの各画像データ間で追跡された人物が、既に、画像データ格納部１６３０に格納された人物と同一人物であるか否かを判定する。
【０１２６】
ステップＳ１９０１において、既に格納された人物と同一人物ではない（新たな人物である）と判定した場合には（ステップＳ１９０１においてＮｏの場合には）、ステップＳ６０５に進む。一方、ステップＳ１９０１において、既に格納された人物と同一人物であると判定された場合には（ステップＳ１９０１においてＹｅｓの場合には）、ステップＳ１９０２に進む。
【０１２７】
ステップＳ１９０２において、特徴抽出部１８１０は、各画像データにおいて抽出した特徴量を、既に格納された人物に対応付けて、画像データ格納部１６３０に格納する。
【０１２８】
図２０は、画像データ格納部に格納された情報（抽出処理後）の一例を示す第２の図である。図７との相違点は、“特徴量”の中に、撮像装置１１０＿２により撮影された画像データである“画像データ１００”が格納されている点である。
【０１２９】
また、図２０の場合、“特徴量”として、“色特徴”、“画像”が含まれる点である。上述したとおり、特徴抽出部１８１０では、画像データ間で人物追跡された人物が、既に画像データ格納部１６３０に格納された人物と同一人物であるか否かを判定する。
【０１３０】
このため、特徴抽出部１８１０では、“特徴量”として“色特徴”及び“画像”を抽出する。“色特徴”には、画像データに含まれる人物の色特徴に関する情報が格納される。また、“画像”には、画像データに含まれる人物の人物領域の画像が格納される。
【０１３１】
そして、特徴抽出部１８１０では、これらの特徴量を用いて、画像データ間で人物追跡された人物が、既に画像データ格納部１７０に格納された人物と同一人物であるか否かを判定する。
【０１３２】
図２０の例は、“画像データ１００”に含まれる人物が、“画像データ０”に含まれる人物と同一人物であると判定され、“画像データ１００”において抽出した特徴量が、人物ＩＤ＝“０００１”に対応付けて格納されたことを示している。
【０１３３】
これにより、例えば、移動軌跡判定部５１３では、
・撮像装置１１０＿１により撮影された撮影画像に含まれる“画像データ０”に基づいて算出された人物の移動軌跡、及び
・撮像装置１１０＿２により撮影された撮影画像に含まれる“画像データ１００”に基づいて算出された人物の移動軌跡、
と、保安員２０４の移動軌跡とを比較することができる。
【０１３４】
つまり、店舗２００内の複数箇所における、人物の移動軌跡と保安員の移動軌跡とに基づいて、保安員が追跡を行ったか否かを判定することができる。
【０１３５】
以上の説明から明らかなように、第３の実施形態に係る画像データ識別システム１６００では、店舗内の複数箇所に設置された撮像装置から送信される撮影画像に含まれる画像データそれぞれについて、同様の抽出処理を行う。また、第３の実施形態に係るデータ処理装置１６１０では、抽出した特徴量を画像データ格納部１６３０に格納する際、既に格納されている同一人物と対応付けて格納する。
【０１３６】
これにより、第３の実施形態に係る画像データ識別システム１６００によれば、店舗内の複数箇所における、人物の移動軌跡と保安員の移動軌跡との比較に基づいて、保安員が追跡を行ったか否かを判定することが可能となる。この結果、より精度の高い正解ラベルを付与することが可能となる。
【０１３７】
［第４の実施形態］
上記第１乃至第３の実施形態では、保安員の移動軌跡を算出するにあたり、位置センサ１２０＿１〜１２０＿４が検出した、各時刻における保安員の位置を用いるものとして説明した。これに対して、第４の実施形態では、位置センサの代わりに、撮像装置より送信される撮影画像を用いる。以下、第４の実施形態について、上記第３の実施形態との相違点を中心に説明する。
【０１３８】
＜画像データ識別システムのシステム構成＞
はじめに、第４の実施形態に係る画像データ識別システムのシステム構成について説明する。図２１は、第４の実施形態に係る画像データ識別システムのシステム構成の一例を示す図である。図１との相違点は、画像データ識別システム２１００の場合、位置センサ１２０＿１〜１２０＿４を有していない点である。また、画像データ識別システム２１００の場合、データ処理装置２１１０の画像データ識別部２１２０の機能が、画像データ識別部１４０とは異なっている点である（詳細は後述）。
【０１３９】
＜データ処理装置の機能構成＞
次に、第４の実施形態に係るデータ処理装置２１１０の機能構成について説明する。図２２は、第４の実施形態に係るデータ処理装置の機能構成の一例を示す図である。図２２に示すように、画像データ識別部２１２０は、位置取得部２２１１、移動軌跡算出部２２１２、移動軌跡判定部２２１３を有する。
【０１４０】
位置取得部２２１１は、撮影画像を受信し、受信した撮影画像に含まれる画像データに基づいて、各時刻における保安員２０４の位置を算出する。
【０１４１】
移動軌跡算出部２２１２は、画像データ格納部１７０より、各画像データにおける各人物の特徴量を読み出し、読み出した特徴量に基づき各人物の移動軌跡を算出する。また、移動軌跡算出部２２１２は、算出された保安員２０４の各時刻における位置に基づいて、保安員２０４の移動軌跡を算出する。
【０１４２】
移動軌跡判定部２２１３は、各人物の移動軌跡と、保安員２０４の移動軌跡とを比較することで、保安員２０４が不審者と判断したことで追跡した人物を特定する。移動軌跡判定部２２１３は、例えば、所定の時間範囲における人物の移動軌跡と、対応する時間範囲における保安員２０４の移動軌跡との類似度を算出し、算出した類似度が所定の閾値以上であった場合に、当該人物を保安員２０４が追跡したと判定する。
【０１４３】
なお、移動軌跡判定部２２１３は、保安員が追跡している人物を特定するにあたり、各人物の移動軌跡と、保安員の移動軌跡とを比較することに加えて、各人物の推定移動軌跡と、保安員の推定移動軌跡もあわせて比較する。移動軌跡判定部２２１３による当該処理の具体例について以下に説明する。
【０１４４】
＜移動軌跡判定部による処理の具体例＞
図２３は、移動軌跡判定部による処理の具体例を示す図である。図２３に示すように、保安員２０４が人物２０１の追跡を開始した際、入口から離れた経路を通ったとする。一方で、人物２０１は、図２３に示すように入口に近い経路を通ったとする。
【０１４５】
この場合、保安員２０４の移動軌跡と、人物２０１の移動軌跡とを比較しただけでは、保安員２０４が人物２０１の追跡を開始したと判定されない可能性がある。そこで、移動軌跡判定部２２１３では、移動軌跡を算出することに加え、推定移動軌跡を算出する。
【０１４６】
図２３において、点線２３０１は、推定移動軌跡であり、人物２０１のその後の（撮影範囲外での）移動軌跡を推定することで得られる。同様に、点線２３０４は、推定移動軌跡であり、保安員２０４のその後の（撮影範囲外での）移動軌跡を推定することで得られる。
【０１４７】
移動軌跡判定部２２１３では、人物２０１の推定移動軌跡と、保安員２０４の推定移動軌跡とが所定の関係にある場合に、保安員２０４が当該人物を追跡した判定する。例えば、人物２０１の推定移動軌跡を算出することで、時刻ｔにおける人物２０１の位置が（ｃｘｔ，ｃｙｔ）であったとする。また、保安員２０４の推定移動軌跡を算出することで、時刻ｔにおける保安員２０４の位置が（ｓｘｔ，ｓｙｔ）であったとする。
【０１４８】
この場合、時刻ｔにおける人物２０１と保安員２０４との間の距離は、下式により表すことができる。
【０１４９】
【数３】
2019200471.tif 000005
【０１５０】
そして、移動軌跡判定部２２１３では、算出した距離が所定の閾値以下であった場合に、当該人物を保安員が追跡したと判定する。
【０１５１】
図２４は、正解ラベル付与処理の流れを示す第２のフローチャートである。図１０との相違点は、ステップＳ２４０１である。
【０１５２】
ステップＳ２４０１において、移動軌跡判定部２２１３は、人物の推定移動軌跡と、保安員の推定移動軌跡との間の距離を算出し、算出した距離が所定の条件を満たす場合に、当該人物を、保安員２０４が追跡したと判定する。
【０１５３】
以上の説明から明らかなように、第４の実施形態に係る画像データ識別システム２１００では、保安員の位置を示す座標を算出するにあたり、位置センサの代わりに、撮像装置より送信される撮影画像を用いる。また、第４の実施形態に係る画像データ識別システム２１００では、人物の移動軌跡と、保安員の移動軌跡とを比較することに加えて、人物の推定移動軌跡と、保安員の推定移動軌跡とを比較して、保安員が追跡を行ったか否かを判定する。これにより、第４の実施形態に係るデータ処理装置２１１０によれば、より精度の高い正解ラベルを付与することが可能となる。
【０１５４】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
複数の画像フレームを含む動画データに含まれる人物それぞれについて移動軌跡を取得し、
前記人物それぞれとは異なる第二の人物の移動軌跡を取得し、
前記人物それぞれのうち、移動軌跡が、前記第二の人物の移動軌跡と所定の関係にある第一の人物を特定し、
前記第一の人物が含まれる画像フレームを特定する、
処理をコンピュータが実行する画像データ識別方法。
（付記２）
前記人物それぞれのうち、移動軌跡が、前記第二の人物の移動軌跡に対して所定の閾値以上の類似度となる前記第一の人物を特定することを特徴とする付記１に記載の画像データ識別方法。
（付記３）
前記人物それぞれの移動軌跡に基づいて推定した軌跡と、前記第二の人物の移動軌跡に基づいて推定した軌跡とを比較し、前記人物それぞれのうち、推定した軌跡が、前記第二の人物の推定した軌跡と所定の関係にある前記第一の人物を特定することを特徴とする付記１に記載の画像データ識別方法。
（付記４）
複数の画像フレームから特定の人物を判定する際の判定精度を、該特定の人物について判定した判定結果と、特定された前記第一の人物とを対比することで算出することを特徴とする付記１に記載の画像データ識別方法。
（付記５）
特定された前記画像フレームを用いて、複数の画像フレームから特定の人物を判定する際に用いるパラメータを算出することを特徴とする付記１に記載の画像データ識別方法。
（付記６）
異なる位置に配置された複数の撮像装置により撮影されたそれぞれの動画データに含まれる人物それぞれについて移動軌跡を取得することを特徴とする付記１に記載の画像データ識別方法。
（付記７）
複数の画像フレームを含む動画データに含まれる人物それぞれについて移動軌跡を取得し、前記人物それぞれとは異なる第二の人物の移動軌跡を取得する取得部と、
前記人物それぞれのうち、移動軌跡が、前記第二の人物の移動軌跡と所定の関係にある第一の人物を特定する人物特定部と
前記第一の人物が含まれる画像フレームを特定するフレーム特定部と
を有することを特徴とする画像データ識別システム。
（付記８）
複数の画像フレームを含む動画データに含まれる人物それぞれについて移動軌跡を取得し、
前記人物それぞれとは異なる第二の人物の移動軌跡を取得し、
前記人物それぞれのうち、移動軌跡が、前記第二の人物の移動軌跡と所定の関係にある第一の人物を特定し、
前記第一の人物が含まれる画像フレームを特定する、
処理をコンピュータに実行させるための画像データ識別プログラム。
【０１５５】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１５６】
１００                  ：画像データ識別システム
１１０                  ：撮像装置
１２０＿１〜１２０＿４  ：位置センサ
１３０                  ：データ処理装置
１４０                  ：画像データ識別部
１５０                  ：不審者判定部
１６０                  ：検証部
５０１                  ：人物抽出部
５０２                  ：特徴抽出部
５１１                  ：位置取得部
５１２                  ：移動軌跡算出部
５１３                  ：移動軌跡判定部
５１４                  ：ラベル付与部
１３００                ：データ処理装置
１３１０                ：不審者情報抽出部
１３２０                ：学習処理部
１１０＿１〜１１０＿３  ：撮像装置
１６００                ：画像データ識別システム
１６１０                ：データ処理装置
１６２０                ：画像データ識別部
１８１０                ：特徴抽出部
２１００                ：画像データ識別システム
２１１０                ：データ処理装置
２１２０                ：画像データ識別部
２２１１                ：位置取得部
２２１２                ：移動軌跡算出部
２２１３                ：移動軌跡判定部
【図１】
2019200471.tif 000006
【図２】
2019200471.tif 000007
【図３】
2019200471.tif 000008
【図４】
2019200471.tif 000009
【図５】
2019200471.tif 000010
【図６】
2019200471.tif 000011
【図７】
2019200471.tif 000012
【図８】
2019200471.tif 000013
【図９】
2019200471.tif 000014
【図１０】
2019200471.tif 000015
【図１１】
2019200471.tif 000016
【図１２】
2019200471.tif 000017
【図１３】
2019200471.tif 000018
【図１４】
2019200471.tif 000019
【図１５】
2019200471.tif 000020
【図１６】
2019200471.tif 000021
【図１７】
2019200471.tif 000022
【図１８】
2019200471.tif 000023
【図１９】
2019200471.tif 000024
【図２０】
2019200471.tif 000025
【図２１】
2019200471.tif 000026
【図２２】
2019200471.tif 000027
【図２３】
2019200471.tif 000028
【図２４】
2019200471.tif 000029