(57)【特許請求の範囲】
【請求項１】
２以上の人物の共出現イベントを複数のサブビデオフレーム列のそれぞれから抽出する共出現イベント検出部を有し、前記サブビデオフレーム列は監視カメラによって生成されるビデオフレーム列に含まれ、各サブビデオフレーム列は所定の時間長を有し、
同一の人物たちの共出現イベントであって頻度が所定の頻度閾値以上であるものを検出する頻出イベント検出部を有し、
前記共出現イベントの少なくとも１つにおいて、少なくとも二人の人物が互いに異なるからビデオフレームから抽出され、
前記共出現イベント検出部は、
各ビデオフレームから抽出される特徴量にラベルを割り当て、前記特徴量は人物の特徴を示し、同一の人物の特徴を示す複数の特徴量には同じラベルが割り当てられ、異なる人物の特徴を示す複数の特徴量には異なるラベルが割り当てられ、
各前記サブビデオフレーム列について、そのサブビデオフレーム列から抽出された特徴量に割り当てられたラベルのサイズＮ（Ｎは２以上の整数）の各組み合わせを算出し、
前記頻出イベント検出部は、
複数の前記サブビデオフレーム列から算出された前記サイズＮの組み合わせについて、ラベルが全て同一である前記サイズＮの組み合わせごとにその数をカウントし、
カウントされた数が前記所定の頻度閾値以上である前記サイズＮの組み合わせを、前記所定の頻度閾値以上の頻度で発生する、そのサイズＮの組み合わせが示す各ラベルで表される人物たちの共出現イベントとして検出する、解析装置。
【請求項２】
所定の頻度閾値以上の頻度で発生する同一の人物たちの共出現イベントを出力する出力部をさらに有する、請求項１に記載の解析装置。
【請求項３】
共出現イベント抽出部は、各前記特徴量について、
ラベルが既に割り当てられておりなおかつ現在の特徴量に類似している特徴量が存在するか否かを判定し、
ラベルが既に割り当てられておりなおかつ現在の特徴量に類似している特徴量が存在しない場合、前記現在の特徴量に新たなラベルを割り当て、
ラベルが既に割り当てられておりなおかつ現在の特徴量に類似している特徴量が存在する場合、前記現在の特徴量に最も類似している特徴量と同じラベルを前記現在の特徴量に割り当てる、
という処理を繰り返すことで前記特徴量にラベルを割り当てる、請求項１又は２に記載の解析装置。
【請求項４】
コンピュータによって実行される解析方法であって、
２以上の人物の共出現イベントを複数のサブビデオフレーム列のそれぞれから抽出する共出現イベント検出ステップを有し、前記サブビデオフレーム列は監視カメラによって生成されるビデオフレーム列に含まれ、各サブビデオフレーム列は所定の時間長を有し、
同一の人物たちの共出現イベントであって頻度が所定の頻度閾値以上であるものを検出する頻出イベント検出ステップを有し、
前記共出現イベントの少なくとも１つにおいて、少なくとも二人の人物が互いに異なるビデオフレームから抽出され、
前記共出現イベント検出ステップにおいて、
各ビデオフレームから抽出される特徴量にラベルを割り当て、前記特徴量は人物の特徴を示し、同一の人物の特徴を示す複数の特徴量には同じラベルが割り当てられ、異なる人物の特徴を示す複数の特徴量には異なるラベルが割り当てられ、
各前記サブビデオフレーム列について、そのサブビデオフレーム列から抽出された特徴量に割り当てられたラベルのサイズＮ（Ｎは２以上の整数）の各組み合わせを算出し、
前記頻出イベント検出ステップにおいて、
複数の前記サブビデオフレーム列から算出された前記サイズＮの組み合わせについて、ラベルが全て同一である前記サイズＮの組み合わせごとにその数をカウントし、
カウントされた数が前記所定の頻度閾値以上である前記サイズＮの組み合わせを、前記所定の頻度閾値以上の頻度で発生する、そのサイズＮの組み合わせが示す各ラベルで表される人物たちの共出現イベントとして検出する、解析方法。
【請求項５】
請求項４の解析方法の各ステップをコンピュータに実行させる非一過性のコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の実施形態は映像解析の分野全般に関する。
【背景技術】
【０００２】
映像監視システムが犯罪の記録及び解析に広く用いられている。例えば、調査機関は、監視映像を犯罪の容疑者の行動追跡に利用している。
【０００３】
さらに、犯罪を防ぐため、映像監視システムは、犯罪（つきまとい、スリ、強奪、暴行、強姦、殴打など）を示唆する怪しい行動を検出することにも利用されることが好ましい。映像を解析するために、映像マイニング技術が開発されている。非特許文献１は、映像マイニング技術を３つのカテゴリにまとめている。分類、クラスタリング、及び関連付けである。分類マイニングは、映像オブジェクトを所定のカテゴリに分類するというアプローチである。クラスタリングマイニングは、類似する映像オブジェクト（生の映像シーケンス、ショット、静止画像など）をそれらの特徴量に基づいてクラスタに整理するアプローチである。関連付けマイニングは、通常、映像オブジェクトから特徴量を抽出して構造化データを作り出す。構造化データは、従来の関連付けルールマイニングアルゴリズムを利用して見つけ出すことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際出願公報  ＷＯ２０１４／１０９１２７
【特許文献２】特開２０１５ー４９５７４号公報
【非特許文献】
【０００５】
【非特許文献１】「Multimedia Data Mining: State of the Art and Challenges」、Multimedia Tools and Applications 2011、Volume 51, Issue 1, pp35-76
【発明の概要】
【発明が解決しようとする課題】
【０００６】
犯罪を示唆する怪しい行動を監視映像の解析によって検出することは、本質的な難しさをいくつか含んでいる。第１に、犯罪が検出されるまでは、検出対象のエンティティ（被害者や容疑者）が不明である。第２に、犯罪の被害者と犯人は、監視映像の一つのビデオフレームに一緒に現れるとは限らない。例えば、つきまとい動作の犯人は、被害者からある程度の距離を保って、被害者の後を追う。そのため、そのような犯罪を示唆する行動を見つけ出すには、監視映像の個々のビデオフレームを別々に解析するだけでは不十分である。
【０００７】
本発明の目的は、犯罪を示唆する行動をビデオフレーム列から検出する技術を提供することである。
【課題を解決するための手段】
【０００８】
本発明が提供する解析装置は、１）２以上の人物の共出現イベントを複数のサブビデオフレーム列のそれぞれから抽出する共出現イベント検出部を有し、前記サブビデオフレーム列は監視カメラによって生成されるビデオフレーム列に含まれ、各サブビデオフレーム列は所定の時間長を有し、２）同一の人物たちの共出現イベントであって頻度が所定の頻度閾値以上であるものを検出する頻出イベント検出部を有する。共出現イベントの少なくとも１つにおいて、少なくとも二人の人物が互いに異なるビデオフレームから抽出される。
共出現イベント検出部は、各ビデオフレームから抽出される特徴量にラベルを割り当てる。特徴量は人物の特徴を示す。同一の人物の特徴を示す複数の特徴量には同じラベルが割り当てられる。異なる人物の特徴を示す複数の特徴量には異なるラベルが割り当てられる。
共出現イベント検出部は、各サブビデオフレーム列について、そのサブビデオフレーム列から抽出された特徴量に割り当てられたラベルのサイズＮ（Ｎは２以上の整数）の各組み合わせを算出する。
頻出イベント検出部は、複数のサブビデオフレーム列から算出されたサイズＮの組み合わせについて、ラベルが全て同一であるサイズＮの組み合わせごとにその数をカウントし、カウントされた数が所定の頻度閾値以上であるサイズＮの組み合わせを、所定の頻度閾値以上の頻度で発生する、そのサイズＮの組み合わせが示す各ラベルで表される人物たちの共出現イベントとして検出する。
【０００９】
本発明は、コンピュータによって実行される解析方法を提供する。この方法は、１）２以上の人物の共出現イベントを複数のサブビデオフレーム列のそれぞれから抽出する共出現イベント検出ステップを有し、前記サブビデオフレーム列は監視カメラによって生成されるビデオフレーム列に含まれ、各サブビデオフレーム列は所定の時間長を有し、２）同一の人物たちの共出現イベントであって頻度が所定の頻度閾値以上であるものを検出する頻出イベント検出ステップを有する。共出現イベントの少なくとも１つにおいて、少なくとも二人の人物が互いに異なるビデオフレームから抽出される。
共出現イベント検出ステップにおいて、各ビデオフレームから抽出される特徴量にラベルを割り当てる。特徴量は人物の特徴を示す。同一の人物の特徴を示す複数の特徴量には同じラベルが割り当てられる。異なる人物の特徴を示す複数の特徴量には異なるラベルが割り当てられる。
共出現イベント検出ステップにおいて、各サブビデオフレーム列について、そのサブビデオフレーム列から抽出された特徴量に割り当てられたラベルのサイズＮ（Ｎは２以上の整数）の各組み合わせを算出する。
頻出イベント検出ステップにおいて、複数のサブビデオフレーム列から算出されたサイズＮの組み合わせについて、ラベルが全て同一であるサイズＮの組み合わせごとにその数をカウントし、カウントされた数が所定の頻度閾値以上であるサイズＮの組み合わせを、所定の頻度閾値以上の頻度で発生する、そのサイズＮの組み合わせが示す各ラベルで表される人物たちの共出現イベントとして検出する。
【００１０】
本発明が提供するプログラムは、本発明が提供する解析方法の各ステップをコンピュータに実行させる。
【発明の効果】
【００１１】
本発明によれば、犯罪を示唆する行動をビデオフレーム列から検出する技術が提供される。
【図面の簡単な説明】
【００１２】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【００１３】
【図１】図１は、実施形態１の解析装置２０００を表すブロック図である。
【図２】図２は、解析装置２０００が検出する怪しい行動の例を表す図である。
【図３】図３は、３つの監視映像によって撮像された二人の人物が共に出現することを表す図である。
【図４】図４は、解析装置を実現するコンピュータのハードウエア構成の例を表すブロック図である。
【図５】図５は、解析装置によって実行される処理の流れを表すフローチャートである。
【図６】図６は、特徴量情報をテーブル形式で表す図である。
【図７】図７は、ラベル割り当てアルゴリズムのフローチャートの例を表す図である。
【図８】図８は、ラベル割り当て処理の例示を表す図である。
【図９】図９は、人物ラベルテーブルを表す第１の図である。
【図１０】図１０は、人物ラベルテーブルを表す第２の図である。
【図１１】図１１は、人物ラベルテーブルを表す第３の図である。
【図１２】図１２は、人物ラベルテーブルを表す第４の図である。
【図１３】図１３は、人物ラベルテーブルを表す第５の図である。
【図１４】図１４は、タイムウインドウとサブビデオフレーム列との対応を表す図である。
【図１５】図１５は、ラベル割り当てアルゴリズムのフローチャートの例を表す図である。
【図１６】図１６は、Ｓ３０４の詳細を示したフローチャートを表す図である。
【図１７】図１７は、Ｓ３０８の詳細を示したフローチャートを表す図である。
【図１８】図１８は、時点 t3 における更新後のラベルテーブルとカウントテーブルを表す図である。
【図１９】図１９は、時点 t4 における更新後のラベルテーブルとカウントテーブルを表す図である。
【図２０】図２０は、時点 t5 における更新後のラベルテーブルとカウントテーブルを表す図である。
【図２１】図２１は、実施形態２の解析装置２０００を表すブロック図である。
【図２２】図２２は、解析装置が扱うデータ構造のフォーマルな定義の例を表す図である。
【図２３】図２３は、解析装置が扱うデータ構造のフォーマルな定義の例を表す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、図面を用いて説明する。すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１５】
実施形態１
図１は、実施形態１の解析装置２０００を表すブロック図である。図１において、各ブロックはハードウエア単位の構成ではなく、機能単位の構成を表している。
【００１６】
実施形態１の解析装置２０００は、共出現イベント抽出部２０２０及び頻出イベント検出部２０４０を有する。共出現イベント抽出部２０２０は、複数のサブビデオフレーム列から、二人以上の人物の共出現イベントを抽出する。サブビデオフレーム列は、ビデオフレーム列に含まれている。解析装置２０００は、１つ以上のビデオフレーム列から、複数のサブビデオフレーム列を取得しうる。１つ以上のビデオフレーム列は、１つ以上の監視カメラによって生成されうる。各サブビデオフレーム列は、所定の時間長を有する。頻出イベント検出部２０４０は、所定の頻度閾値以上の頻度で発生する同一の人物たちの共出現イベントを検出する。
【００１７】
コンセプトとしては、解析装置２０００は、犯罪を示唆する怪しい行動（怪しい行動と略記する）を、監視カメラによって生成されるビデオフレーム列から検出する。ここで、怪しい行動は、２つ以上のエンティティ（すなわち、被害者と加害者）に関連する任意の行動を含みうる。怪しい行動の例は、つきまとい、スリ、強奪、暴行、強姦、及び殴打などである。
【００１８】
一つのビデオフレーム内における二人の人物の共出現は、怪しい行動を示唆しうる。しかしながら加害者と被害者は、互いに数フレーム離れて出現しうる（加害者が被害者の後を追っているなど）。さらに、二人の人物が１回共出現することは異常な状況ではないかもしれないが、二人の人物が頻繁に共出現することは、犯罪が起きることをより示唆しているといえる。
【００１９】
図２は、解析装置２０００が検出する怪しい行動の例を表す図である。図２（ａ）は、怪しい行動の例として、つきまとい行動を表している。図２において、監視カメラ１０−ａがある。人物２０−ａは、つきまとい行動の被害者であり、監視カメラ１０−ａによって監視されている領域を通行する。人物２０−ｂは、つきまとい行動の加害者であり、人物２０−ａの少し後に同じ領域を通行する。
【００２０】
図２（ｂ）は、監視カメラ１０−ａによって生成されるビデオフレーム列を示す。ビデオフレーム列１２−ａから１２−ｃはそれぞれ、Day1、Day2、及び Day3 という異なる日に監視カメラ１０−ａによって生成されたものである。図２（ｂ）において、各実線の長方形は、ビデオフレームを表している。「a」という文字を含むビデオフレームは、人物２０−ａが撮像されたビデオフレームを表し、「ｂ」という文字を含むビデオフレームは、人物２０−ｂが撮像されたビデオフレームを表す。
【００２１】
Day2 を除き、人物２０−ｂは人物２０−ａと或る程度の距離を保っているため、人物２０−ａと人物２０−ｂは同じビデオフレームに現れていない。そのため、各ビデオフレームを個別に解析すると、人物２０−ｂがつきまとい行動を行っているという確信を得ることができない。
【００２２】
しかしながら、人物２０−ｂは人物２０−ａの後を追っているため、人物２０−ｂは人物２０−ａの少し後に現れると思われる。そのため、人物２０−ａが含まれるビデオフレームと、人物２０−ｂが含まれるビデオフレームは、ビデオフレーム列において或るタイムウインドウ内に含まれる。例えば、ビデオフレーム列１２−ａにおいて、彼らは長さ１分のサブビデオフレーム列１４−ａに含まれている。同様に、ビデオフレーム列１２−ｃにおいて、彼らはサブビデオフレーム列１４−ｃに含まれている。
ビデオフレーム列１２−ｂにおいて、彼らは同じビデオフレームに含まれており、ひいてはサブビデオフレーム列１４−ｂに含まれている。サブビデオフレーム列１４−ｂと１４−ｃの長さも１分である。
【００２３】
上述した様に、フレーム単位ではなくサブビデオフレーム列単位でビデオフレーム列を解析することにより、複数人物の共出現を検出することができる。さらに、このような人物２０−ａと人物２０−ｂの頻出な共出現から、怪しいつきまとい行動を検出することができる。
【００２４】
なお、加害者は或る程度の距離をあけて被害者の後に続いて動くため、複数人物の頻繁な共出現は、１つの監視カメラだけではなく、複数の監視カメラによって撮像されうる。図３は、３つの監視カメラによって撮像された、二人の人物の共出現を表している。
【００２５】
図３（ａ）は図２（ａ）同様につきまとい行動を表している。図３（ａ）に表されているように、人物２０−ａと人物２０−ｂは、監視カメラ１６−ａから１６−ｃによって監視されている領域を通行する。監視カメラ１６−ａから１６−ｃは異なる場所を記録している。
【００２６】
図３（ｂ）はビデオフレーム列１５−ａから１５−ｃを示しており、これらはそれぞれ監視カメラ１６−ａから１６−ｃによって生成されている。人物２０−ａと２０−ｂは、ビデオフレーム列１５−ａのサブビデオフレーム列１６−ａ、ビデオフレーム列１５−ｂのサブビデオフレーム列１６−ｂ、ビデオフレーム列１５−ｃのサブビデオフレーム列１６−ｃに含まれている人物２０−ａと２０−ｂの頻繁な共出現は、怪しいつきまとい行動を示唆している。
【００２７】
このような怪しい行動を検出するため、共出現イベント抽出部２０２０と頻出イベント検出部２０４０により、解析装置２０００は同一の人物たちの頻繁な共出現を検出する。具体的には、共出現イベント抽出部２０２０は、ビデオフレーム列のサブビデオフレーム列に含まれる、複数人物の共出現を抽出する。例えば共出現イベント抽出部２０２０は、ビデオフレーム列１２−ａのサブビデオフレーム列１４−ａ、ビデオフレーム列１２−ｂのサブビデオフレーム列１４−ｂ、ビデオフレーム列１２−ｃのサブビデオフレーム列１４−ｃから、人物２０−ａと人物２０−ｂの共出現イベントを抽出する。
【００２８】
頻出イベント検出部２０４０は、所定の頻度閾値以上の頻度で発生する同一の人物たちの共出現イベントを検出する。図２のケースにおいて、所定の頻度閾値が「３日のうちに３回」であるとする。図２において、人物２０−ａと２０−ｂの共出現は、所定の頻度閾値と同じ頻度で発生している。そのため、頻出イベント検出部２０４０は、人物２０−ａと２０−ｂの共出現イベントを、怪しい行動として検出する。
【００２９】
＜作用効果＞
上述したように、犯罪の被害者と加害者が同じビデオフレームではなく異なるビデオフレームに現れる可能性がある。そのため、監視カメラの各ビデオフレームを個別に解析しても、このような犯罪を見つけることはできない。
【００３０】
本実施形態の解析装置２０００によれば、人物の共出現イベントの検出が、フレーム単位ではなくサブビデオフレーム列単位で監視映像を解析することで行われる。そのため、エンティティらが同じビデオフレームに撮像されるほど十分に近くなくても、複数のエンティティが関連する犯罪の怪しい行動を検出することができる。
【００３１】
以下の記述では、本実施形態の解析装置２０００についてさらに詳細に説明する。
【００３２】
＜ハードウエア構成の例＞
いくつかの実施形態において、解析装置２０００の各機能構成部は少なくとも１つのハードウエア要素で実装されうり、各ハードウエア要素は１つ以上の機能構成部を実現しうる。いくつかの実施形態において、各機能構成部は、少なくとも１つのソフトウエア要素で実装されうる。いくつかの実施形態において、各機能構成部は、ハードウエア要素とソフトウエア要素の組み合わせによって実装されうる。
【００３３】
解析装置２０００は、解析装置２０００を実装するために製造された専用のコンピュータで実装されてもよいし、パーソナルコンピュータ（PC）、サーバマシン、又は携帯端末などの汎用のコンピュータで実装されてもよい。
【００３４】
図４は、解析装置２０００を実現するための計算機１０００を例示する図である。図４において、計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、記憶媒体１０８０を有する。
【００３５】
バス１０２０は、プロセッサ１０４０、メモリ１０６０、記憶媒体１０８０、及び入出力インタフェース１１００が、相互にデータを送受信するためのデータ伝送路である。プロセッサ１０４０は、CPU（Central Processing Unit）や GPU（Graphics Processing Unit） などの演算処理装置である。メモリ１０６０は、RAM（Random Access Memory）やROM（Read Only Memory）などのメモリ要素である。記憶媒体１０８０は、メモリカード、ハードディスク、又は SSD（Solid State Drive）などのストレージ要素である。また、記憶媒体１０８０は、 RAM や ROM などのメモリ要素であってもよい。
【００３６】
記憶媒体１０８０は、解析装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、解析装置２０００の各機能構成部を実現する。
【００３７】
計算機１０００のハードウエア構成は図４に示す構成に限定されない。例えば、各プログラムモジュールは、記憶媒体１０８０ではなくメモリ１０６０に記憶されうる。この場合、計算機１０００は記憶媒体１０８０を有さなくてもよい。
【００３８】
＜処理の流れ＞
図５は、解析装置２０００によって実行される処理の流れを表すフローチャートである。解析装置は処理対象のビデオフレーム列を取得する（Ｓ１０２）。取得したビデオフレーム列内の各サブビデオフレーム列について、共出現イベント抽出部２０２０は、人物たちの共出現イベントを抽出する（Ｓ１０４）。頻出イベント検出部２０４０は、所定の頻度閾値以上で発生している同一の人物たちの共出現イベントを検出する（Ｓ１０６）。
【００３９】
＜ビデオフレーム列の取得方法＞
解析装置２０００は、処理対象のビデオフレーム列を取得する（Ｓ１０２）。これらを取得する方法には様々ものがある。いくつかの実施形態において、解析装置２０００は、ビデオフレーム列を生成した監視カメラからビデオフレーム列を取得する。いくつかの実施形態において、解析装置２０００は、監視カメラの外部のデバイスからビデオフレーム列を取得する。これは、監視カメラがビデオフレーム列を記憶するデバイスである（例えば、バスを通じて監視カメラと接続されている記憶装置や、ネットワークを介してそれと接続されているサーバマシンなど）。
【００４０】
＜共出現イベントの抽出方法＞
共出現イベント抽出部２０２０は、ビデオフレーム列から、所定時間長のサブビデオフレーム列に含まれる複数人物の共出現イベントを抽出する（Ｓ１０４）。なお、所定時間長は、事前に共出現イベント抽出部２０２０に設定されていてもよいし、所定時間長を示す情報を記憶している記憶装置から取得されてもよい。記憶装置は、解析装置２０００に直接接続されていてもよいし、間接的に接続されていてもよい。
【００４１】
複数人物の共出現イベントを抽出するために、共出現イベント抽出部２０２０は、１）特徴量抽出処理、２）ラベル割り当て処理、及び３）組み合わせスキャン処理を行いうる。これらの処理については以下で説明する。なお、以下の処理は、複数人物の共出現イベントを検出する処理の単なる例示であり、複数人物の共出現イベントを検出する処理は以下の例に限定されない。
【００４２】
＜＜特徴量抽出処理＞＞
共出現イベント抽出部２０２０は、取得されたビデオフレーム列を読み込み、ビデオフレーム列の各ビデオフレームから、人物を記述する特徴量を抽出する。例えば特徴量は、人物の顔の特徴である。結果として、取得されたビデオフレーム列に含まれる全ての人物の特徴量が抽出される。
【００４３】
その後、共出現イベント抽出部２０２０は、特徴量とタイムスタンプとを対応づける特徴量情報を生成する。タイムスタンプは、特徴量が抽出されたビデオフレームの撮像時点という点で特徴量同士を互いに区別するために用いられる。例えば、特徴量に対応づけられるタイムスタンプは、その特徴量が抽出されたビデオフレームのフレーム番号又は撮像時点である。
【００４４】
図６は、特徴量情報をテーブル形式で表す図である。特徴量情報テーブル１００は、特徴量列１０２とタイムスタンプ列１０４という２つの列を有する。図６において、タイムスタンプ列１０４は、ビデオフレームのフレーム番号をタイムスタンプとして示す。
【００４５】
特徴量列１０２は、高次元バイナリ特徴量（high dimensional binary feature（略して、HBF））を示しうる。HBF は、バイナリ領域を各次元について持つ高次元のベクトルである。
【００４６】
＜＜ラベル割り当て処理＞＞
次に、共出現イベント抽出部２０２０は、特徴量抽出処理によって生成された複数の特徴量情報を読み込み、各特徴量情報にラベルを割り当てる。ラベルは、特徴量で記述された人物を区別するための値である。そのため、異なる人物を記述する特徴量には異なるラベルが割り当てられる。一方で、同じ人物を記述する特徴量には、それらの特徴量が互いに異なっていても、同じラベルが割り当てられる。
【００４７】
４つの特徴量情報 FI1 から FI4 があり、これらが異なる特徴量を示すとする（FI1、FI2、FI3、及び FI4 がそれぞれ v1、v2、v3、及び v4 を示す）。また、 v1 及び v4 が人物p1 の特徴量を示し、v2 及び v3 が人物 p2 の特徴量を示すとする。このケースにおいて、共出現イベント抽出部２０２０は、FI1 と FI4 にラベル L1 を割り当て、FI2 と FI3 にラベル L2 を割り当てる。
【００４８】
＜＜＜ラベル割り当てアルゴリズムの例＞＞＞
ここで、ラベル割り当てアルゴリズムの例について記載する。このアルゴリズムに対する入力は、複数の特徴量情報、類似度関数、及び類似度閾値を含む。類似度関数は、２つの特徴量情報をパラメータにとり、類似度スコアを出力する。類似度スコアは、２つの特徴量がどの程度類似しているかを表す。類似度閾値は、２つの特徴量が同じ人物を表す場合を特定するために利用される。類似度関数によって計算された類似度スコアが類似度閾値以上である場合、システムは、２つの特徴量が同じ人物を表すとみなす。
【００４９】
入力されるパラメータを除き、このアルゴリズムは SimTree（PTL 1, 2）と人物ラベルテーブルを管理する必要がある。SimTree は、特徴量を管理するデータ構造である。人物ラベルテーブルは、ラベルと特徴量情報との対応を管理するデータ構造である。
【００５０】
各特徴量は、SimTree へのクエリに用いられる。初めは、SimTree は空である。クエリに含まれる特徴量と類似する特徴量が SimTree に含まれていない場合、SimTree からのクエリ結果は空であり、クエリに含まれる特徴量が SimTree に加えられる。一方、クエリに含まれる特徴量と類似する特徴量が SimTree に含まれている場合、SimTree からのクエリ結果は、クエリに含まれる特徴量に最も類似している特徴量である。なお、SimTree は、解析装置２０００が実装されている計算機に実装されてもよいし、他の計算機に実装されてもよい。
【００５１】
人物ラベルテーブルは、ラベル列と特徴量情報列という２つの列を持つ。ラベル列はラベルを格納し、特徴量情報列はそのラベルが割り当てられた１つ以上の特徴量情報を格納する。人物ラベルテーブルも最初は空である。
【００５２】
図７は、ラベル割り当てアルゴリズムのフローチャートの例を表す図である。以下、図７を参照しながらラベル割り当てアルゴリズムの詳細を記載する。
【００５３】
共出現イベント抽出部２０２０は、入力パラメータから、１つの特徴量情報を受け取って取り除く（Ｓ２０２）。
【００５４】
共出現イベント抽出部２０２０は、受け取った特徴量情報に示されている特徴量で SimTree を検索する（Ｓ２０４）。共出現イベント抽出部２０２０は、検索結果を取得する（Ｓ２０６）。
【００５５】
検索結果が空の場合、後続のＳ２０８からＳ２１４が実行される。共出現イベント抽出部２０２０は、上記特徴量情報を SimTree に挿入する（Ｓ２０８）。共出現イベント抽出部２０２０は、上記特徴量情報にラベルを割り当てる（Ｓ２１０）。共出現イベント抽出部２０２０は、人物ラベルテーブルに、上記ラベルのエントリを生成する（Ｓ２１２）。共出現イベント抽出部２０２０は、上記特徴量情報を、人物ラベルテーブルの特徴量情報列に加える（Ｓ２１４）。
【００５６】
検索結果が空でない場合、後続のＳ２１６からＳ２２１８が実行される。共出現イベント抽出部２０２０は、検索結果から、最も類似度が高い特徴量情報のラベルを取得する（Ｓ２１６）。共出現イベント抽出部２０２０は、人物ラベルテーブルにおいて上記最も類似度が高い特徴量の特徴量情報を示す行における特徴量情報列に、現在の特徴量情報を加える（Ｓ２１８）。これらのステップは、Ｓ２１６で得られたラベルが、Ｓ２１８において現在の特徴量情報に割り当てられることを意味する。
【００５７】
Ｓ２１４からＳ２１８を実行した後、入力パラメータに特徴量情報がまだ含まれている場合、実行はＳ２０２に戻る。そうでない場合、実行は終了する。
【００５８】
ハッシュテーブルを利用すれば、人物ラベルテーブルの挿入と検索（Ｓ２０８からＳ２１４と、Ｓ２１６からＳ２１８）は O(1) で実行可能である。そのため、ラベル割り当てアルゴリズムの最悪ケースの計算コストは O(n×simComp) である。n は特徴量情報の数であり、simComp の挿入と検索における最悪ケースの計算コストである。
【００５９】
＜＜＜ラベル割り当て処理のケース例＞＞＞
図８は、ラベル割り当て処理の例示を表す図である。ブレオフレーム列３０は、５つの連続するビデオフレーム３２−ａ、３２−ｂ、３２−ｃ、３２−ｄ、及び３２−ｅを含む。ビデオフレーム３２−ａは顔特徴量 v1 を含み、ビデオフレーム３２−ｂは顔特徴量 v2 を含み、ビデオフレーム３２−ｃは顔特徴量 v3 を含み、ビデオフレーム３２−ｄは顔特徴量 v4、v5、v6 を含み、ビデオフレーム３２−ｅは顔特徴量 v7 を含む。v4 と v5 は v1 に類似しており、v5 は v3 に類似しているとする。
【００６０】
ラベル割り当て処理の前に、共出現イベント抽出部２０２０は、ビデオフレーム３２−ａから３２−ｅに対して、特徴量抽出処理を実行する。結果として、特徴量情報 FI1 から FI7 が生成される。FI1 は ｖ１ とタイムスタンプ t1 を対応付けており、FI2 は ｖ2 とタイムスタンプ t2 を対応付けており、FI3 は ｖ3 とタイムスタンプ t3 を対応付けており、FI4 は ｖ4 とタイムスタンプ t4 を対応付けており、FI5 は ｖ5 とタイムスタンプ t4 を対応付けており、FI6 は ｖ6 とタイムスタンプ t4 を対応付けており、FI7 は ｖ7 とタイムスタンプ t5 を対応付けている。ラベル割り当て処理は、入力パラ−メタとして FI1 から FI7 を読み込む。
【００６１】
初めは、SimTree と人物ラベルテーブルは空である。頻出イベント検出部２０４０は、入力パラメータから FI1 を取り出し、FI1 に示されている v1 で SimTree を検索する。SimTree が空であるため、検索結果は空である。そこで、共出現イベント抽出部２０２０は、v1 を SimTree に挿入し、人物レベルテーブルにおいて FI1 と対応させる新たなラベルＡを生成する。図９はこの時点における人物ラベルテーブルを表す図である。
【００６２】
共出現イベント抽出部２０２０は、入力パラメータから FI2 を取り出し、FI2 に示されている v2 で SimTree を検索する。v2 は v1 と類似しないため、検索結果は空である。そこで、共出現イベント抽出部２０２０は、v2 を SimTree に挿入し、人物レベルテーブルにおいて FI2 と対応させる新たなラベルＢを生成する。図１０はこの時点における人物ラベルテーブルを表す図である。
【００６３】
共出現イベント抽出部２０２０は、入力パラメータから FI3 を取り出し、FI3 に示されている v3 で SimTree を検索する。v3 は v1 にも v2 にも類似しないため、検索結果は空である。そこで、共出現イベント抽出部２０２０は、v3 を SimTree に挿入し、人物レベルテーブルにおいて FI3 と対応させる新たなラベルＣを生成する。図１１はこの時点における人物ラベルテーブルを表す図である。
【００６４】
共出現イベント抽出部２０２０は、入力パラメータから FI4 を取り出し、FI4 に示されている v4 で SimTree を検索する。ここで、v4 は v1 と類似する顔特徴量であるため、検索結果は v1 である。そこで、共出現イベント抽出部２０２０は、FI4 をラベルＡの特徴量情報列に挿入する。
【００６５】
共出現イベント抽出部２０２０は、入力パラメータから FI5 を取り出し、F5 に示されている v5 で SimTree を検索する。v5 は v3 と類似する顔特徴量であるため、検索結果は v3 である。そこで、共出現イベント抽出部２０２０は、FI5 をラベルＣの特徴量情報列に挿入する。
【００６６】
共出現イベント抽出部２０２０は、入力パラメータから FI6 を取り出し、FI6 に示されている v6 で SimTree を検索する。v6 に類似する顔特徴量はないため、検索結果は空である。そこで、共出現イベント抽出部２０２０は、v6 を SimTree に挿入し、人物レベルテーブルにおいて FI6 と対応させる新たなラベルＤを生成する。図１２はこの時点における人物ラベルテーブルを表す図である。
【００６７】
最後に、共出現イベント抽出部２０２０は、入力パラメータから FI7 を取り出し、FI7 に示されている v7 で SimTree を検索する。ここで、v7 は v1 と類似する顔特徴量であるため、検索結果は v1 である。そこで、共出現イベント抽出部２０２０は、FI7 をラベルＡの特徴量情報列に挿入する。図１３はこの時点における人物ラベルテーブルを表す図である。
【００６８】
結果として、互いに類似する顔特徴量には同じラベルが割り当てられるように、ラベルが顔特徴量に割り当てられる。すなわち、同じラベルが割り当てられた顔特徴量は、同一の人物を表す。
【００６９】
上述の説明は顔特徴量抽出処理の完了後にラベル割り当て処理が実行されることを示しているが、これらは一緒に実行されてもよい。具体的には、共出現イベント抽出部２０２０は、サブビデオフレーム列を読み込み、特徴量抽出処理とラベル割り当て処理の組みを、上記サブビデオフレーム列の各フレームについて実行してもよい。例えば、上述のケース例において、共出現イベント抽出部２０２０は、ビデオフレーム列３２−ａを読み込み、顔特徴量 v1 を抽出し、特徴量情報 FI1 を生成し、v1 でSimTree を検索し、人物ラベルテーブルにおいて FI1 と対応づける新たなラベルＡを生成し、さらに同様にビデオフレーム列３２−ｂから３２−ｅを逐次的に処理してもよい。
【００７０】
＜＜同じ人物たちの共出現イベントの検出＞＞
共出現イベント抽出部２０２０は、サブビデオフレーム列において、２つ以上のラベルの共出現イベントを検出し、これは、サブビデオフレーム列において、それらのラベルに対応する人物たちの共出現イベントに相当する。
【００７１】
ラベルＡが特徴量 v1 とタイムスタンプ t1 を示す特徴量情報 FI1 に割り当てられ、ラベルＢが特徴量 v2 とタイムスタンプ t2 を示す特徴量情報 FI2 に割り当てられ、t1 と t2 が同じサブビデオフレーム列の時間範囲に含まれるとする。このケースにおいて、共出現イベント抽出部２０２０は、ラベルＡとＢの共出現イベントを検出する。このラベルＡとＢの共出現イベントは、ラベルＡとＢに対応する二人の人物たちの共出現イベントを意味する。
【００７２】
＜＜組み合わせスキャンアルゴリズムの例＞＞
以下は、組み合わせスキャンアルゴリズムの例である。このアルゴリズムに対する入力は、タイムウインドウと頻度閾値である。ラベル割り当て処理が各入力特徴量について実行されており、そのため、各入力特徴量に対して（例えば人物ラベルテーブルによって）ラベルが割り当てられている。
【００７３】
タイムウインドウは、(tstart, tend) というタイムスタンプの組である。tend は tstart 以上であり、タイムウインドウのサイズ（すなわち、tend - tstart）は所定のサイズである。１つのビデオフレーム列の１つのサブビデオフレーム列は、１つのタイムウインドウに対応する。図１４は、サブビデオフレーム列とタイムウインドウとの対応を表す図である。サブビデオフレーム列４０は、tstart 以上のタイムスタンプを持つビデオフレーム列において最初のビデオフレーム（図１４における f3）から始まる。サブビデオフレーム列４０は、tend 以下のタイムスタンプを持つビデオフレーム列において最後のビデオフレーム（図１４における f6）で終わる。なお、同じ監視カメラによって生成されたビデオフレーム列内のサブビデオフレーム列は互いに重複しない。頻度閾値は、共出現イベントの最小の頻度を定義する。
【００７４】
なお、タイムウインドウと頻度閾値は、共出現イベント抽出部２０２０に対して事前に設定されていてもよいし、頻出イベント検出部がアクセスする記憶装置に記憶されていてもよい。
【００７５】
このアルゴリズムは、ラベルテーブルとカウントテーブルを管理する。ラベルテーブルは、ラベル列とカウント列という２つの列を有する。カウント列は、現在のタイムウインドウ内における対応するラベルの数を表す。
【００７６】
カウントテーブルは、イベント列、カウント列、最新更新列という３つの列を有する。イベント列は、複数人物の共出現イベントを示す。カウント列は、対応するイベントの頻度を示す。最新更新列は、対応する共出現イベントについて、最新の更新のタイムスタンプを示す。
【００７７】
初めは、ラベルテーブルとカウントテーブルは空である。
【００７８】
図１５は、ラベル割り当てアルゴリズムのフローチャートの例を示す図である。図１５を参照しながら、組み合わせスキャンアルゴリズムの詳細を以下に説明する。
【００７９】
共出現イベント抽出部２０２０は、タイムウインドウを１タイムスタンプ進める（Ｓ３０２）。
【００８０】
共出現イベント抽出部２０２０は、現在のタイムウインドウ内のラベルに基づいて、ラベルテーブルを更新する（Ｓ３０４）。Ｓ３０４は、後述するＳ４０２からＳ４０８というサブステップを含み、これらは図１６に示されている。
【００８１】
タイムウインドウを離れるビデオフレーム内の全ての特徴量について、共出現イベント抽出部２０２０は、対応するラベルのカウントを１減らす（Ｓ４０２）。タイムウインドウに入るビデオフレーム内の全ての特徴量について、対応するラベルがラベルテーブルに含まれる場合、共出現イベント抽出部２０２０は、対応するラベルのカウントを１増やす（Ｓ４０４）。対応するラベルがラベルテーブルに含まれない場合、共出現イベント抽出部２０２０は、対応するラベルをラベルテーブルに挿入し、カウントを１にセットする（Ｓ４０６）。共出現イベント抽出部２０２０は、カウントが０である全ての行をラベルテーブルから削除する（Ｓ４０８）。
【００８２】
共出現イベント抽出部２０２０は、サイズ２の共出現イベントとして、ラベルテーブルに残っている全てのラベルについてのサイズ２の組み合わせを生成する（Ｓ３０６）。
【００８３】
共出現イベント抽出部２０２０は、上記サイズ２の共出現イベントのそれぞれに基づいて、カウントテーブルを更新する（Ｓ３０８）。Ｓ３０８は、後述するＳ５０２からＳ５０８というサブステップを含む、これらは図１７に表されている。ステップＳ５０２からＳ５０８は、サイズ２の共出現イベントのそれぞれについて実行される。
【００８４】
共出現イベント抽出部２０２０は、カレントテーブルにおいて、現在のサイズ２の共出現イベントを検索する（Ｓ５０２）。カウントテーブルの中に現在のサイズ２の共出現イベントがなければ、共出現イベント抽出部２０２０は、カウントテーブルに、現在のサイズ２の共出現イベントを挿入し（Ｓ５０４）、現在のサイズ２の共出現イベントの行の最新更新に、タイムウインドウの最後のタイムスタンプを設定する（Ｓ５０６）。
【００８５】
一方、カウントテーブルの中に現在のサイズ２の共出現イベントがあり、なおかつそのイベントの最新更新がタイムウインドウと重なっていなければ、共出現イベント抽出部２０２０は、そのイベントのカウントを１増やす（Ｓ５０８）。その他の場合にはカウントを増やさない。
【００８６】
全ての特徴量がスキャンされた場合にはこのアルゴリズムは終了し、その他の場合には実行はＳ３０２に進む。
【００８７】
ハッシュテーブルを用いると、カウントテーブルとラベルテーブルにおける挿入と削除（Ｓ３０４及びＳ３０８）は O(1) で実行可能である。組み合わせスキャンアルゴリズムの最悪ケースにおける計算コストは O(m×n×mC2）である。m はビデオフレーム内の特徴量の数であり、mC2 は、ｍ個のサイズ２の共出現イベントの数であり、n は組み合わせスキャンアルゴリズムに読み込まれるビデオフレーム列内のビデオフレームの数である。
【００８８】
なお、上記アルゴリズムは、例として、サイズ２の組み合わせのラベルを生成することにより、二人の人物の共出現イベントを扱っている。しかしながら、上記アルゴリズムは容易に、サイズＮのラベルの組み合わせを生成することによって N 人の人物の共出現を扱うように変更することができる。
【００８９】
＜＜＜組み合わせスキャン処理のケース例＞＞＞
このケースは、ラベル割り当てアルゴリズムのケース例の続きであり、図８を用いて表される。このケース例では、タイムウインドウの長さは３タイムスタンプである。
【００９０】
時点 t3 において、ラベルＡ、Ｂ、及びＣは現在のタイムウインドウ内にあるため、これらはラベルテーブルに挿入される。Ａ、Ｂ、及びＣのサイズ２の組み合わせは、ＡＢ、ＢＣ、及びＡＣである。全てのサイズ２の組み合わせが、カウントテーブルに挿入される。これらのカウントは１に設定され、最新更新は３に設定される。これは現在のタイムスタンプである。図１８は、時点 t3 における更新後のラベルテーブルとカウントテーブルを示す図である。
【００９１】
その後、タイムウインドウが１タイムスタンプ前進する。時点 t4 において、ビデオフレームがタイムウインドウを離れるため、ラベルテーブルにおけるラベルＡのカウントが１減らされる。その後、新たなビデオフレームがタイムウインドウに入るため、ラベルＡとＢのカウントが１増やされ、新たなラベルＤがラベルテーブルに作られる。ラベルＡ、Ｂ、Ｃ、及びＤのサイズ２の組み合わせは、ＡＢ、ＢＣ、ＡＣ、ＡＤ、ＢＤ、及びＣＤである。現在のタイムウインドウはカウントテーブルにおけるパターンＡＢ、ＢＣ、及びＡＣの最新更新と重複しているため、これらのカウントは更新されない。共出現イベントＡＤ、ＢＤ、及びＣＤはカウントテーブルに挿入され、これらのカウントは１に設定され、最新更新は４に設定される。これは現在のタイムスタンプである。図１９は、時点 t4 における更新後のラベルテーブルとカウントテーブルを表す図である。
【００９２】
時点 t5 において、ビデオフレームがタイムウインドウを離れるため、ラベルテーブルにおけるラベルＢのカウントが１減らされる。その後、新たなビデオフレームがタイムウインドウに入るため、ラベルＡのカウントが１増やされる。ラベルＢのカウントは０であるため、Ｂがラベルテーブルから取り除かれる。ラベルＡ、Ｃ、及びＤのサイズ２の組み合わせは、ＡＣ、ＡＤ、及びＣＤである。現在のタイムウインドウはカウントテーブルにおけるパターンＡＣ、ＡＤ、及びＣＤと重複しているため、これらのカウントは更新されない。図２０は、時点 t5 における更新後のラベルテーブルとカウントテーブルを表す図である。
【００９３】
サイズＮの組み合わせによって同一の人物たちの共出現イベントが表されるため、頻出イベント検出部２０４０は、その頻度が頻度閾値以上であるサイズＮの組み合わせを検出する。解析装置２０００は、サイズＮの組み合わせの頻度として、カウントテーブルに示されるカウントそのものを扱ってもよいし、図１５のＳ３０２においてフォワードされるタイムスタンプの総数（処理されるビデオフレーム列の総数）でカウントを割ったものを扱ってもよい。
【００９４】
実施形態２
図２１は、実施形態２の解析装置２０００を表すブロック図である。
図１は、実施形態１の解析装置２０００を表すブロック図である。図２１において、各ブロックはハードウエア単位の構成ではなく、機能単位の構成を表している。なお、以下で説明する機能を除き、実施形態２の解析装置２０００は、実施形態１の解析装置２０００と同じ機能を有する。
【００９５】
本実施形態の解析装置２０００は、出力部２０６０をさらに有する。出力部２０６０は、頻出イベント検出部によって検出された同一の人物たちの共出現イベントを、１つ以上出力する。
【００９６】
出力部２０６０は、頻出の同一の人物たちの共出現イベントを様々な態様で出力しうる。いくつかの実施形態において、出力部２０６０は、頻出の同一の人物たちの共出現イベントを示す情報を、記憶装置に書き込む。いくつかの実施形態において、出力部２０６０は、頻出の同一の人物たちの共出現イベントを示す情報を、ネットワークを介して他の計算機に送信する。いくつかの実施形態において、出力部２０６０は、頻出の同一の人物たちの共出現イベントを示す情報を、他の計算機にディスプレイデバイスに表示する。
【００９７】
＜作用効果＞
本発明によれば、頻出の同一の人物たちの共出現イベントの集合を得ることができる。そのため、解析装置２０００のユーザは、怪しい行動のエンティティらが同じフレームに撮像されるほど十分近くにいなくても、監視映像から怪しい行動を認識することができる。
【００９８】
＜フォーマルな定義の例＞
図２２及び図２３は、解析装置２０００によって扱われるデータ構造のフォーマルな定義を例示する。なお、これらのフォーマルな定義は、図２２及び２３に記載されたものに限定されない。
【００９９】
上述したように、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態を組み合わせた構成や、上記以外の様々な構成を採用することもできる。
【０１００】
以下、本発明の様々な参考形態について記載する。
（付記１）  ２以上の人物の共出現イベントを複数のサブビデオフレーム列のそれぞれから抽出する共出現イベント検出部を有し、前記サブビデオフレーム列は監視カメラによって生成されるビデオフレーム列に含まれ、各サブビデオフレーム列は所定の時間長を有し、
同一の人物たちの共出現イベントであって頻度が所定の頻度閾値以上であるものを検出する頻出イベント検出部を有し、
２以上の人物たちの共出現イベントの少なくとも１つにおいて、人物が抽出される第１ビデオフレームが、他の人物が抽出される第２ビデオフレームと異なる、解析装置。
（付記２）
所定の頻度閾値以上の頻度で発生する同一の人物たちの共出現イベントを出力する出力部をさらに有する、付記１に記載の解析装置。
（付記３）
共出現イベント抽出部は、ビデオフレーム列のビデオフレームから抽出される各特徴量にラベルを割り当て、前記特徴量は人物の特徴を示し、同一の人物の特徴を示す複数の特徴量には同じラベルが割り当てられ、異なる人物の特徴を示す複数の特徴量には異なるラベルが割り当てられ、
頻出イベント検出部は、第１ラベルと第２ラベルの共出現イベントを第１人物と第２人物の共出現イベントとして扱い、前記第１ラベルは前記第１人物の特徴を示す特徴量に割り当てられ、前記第２ラベルは前記第２人物の特徴を示す特徴量に割り当てられる、付記１又は２に記載の解析装置。
（付記４）
共出現イベント抽出部は、各前記特徴量について、
ラベルが既に割り当てられておりなおかつ現在の特徴量に類似している特徴量が存在するか否かを判定し、
ラベルが既に割り当てられておりなおかつ現在の特徴量に類似している特徴量が存在しない場合、前記現在の特徴量に新たなラベルを割り当て、
ラベルが既に割り当てられておりなおかつ現在の特徴量に類似している特徴量が存在する場合、前記現在の特徴量に最も類似している特徴量と同じラベルを前記現在の特徴量に割り当てる、
という処理を繰り返すことで前記特徴量にラベルを割り当てる、付記３に記載の解析装置。
（付記５）
共出現イベント抽出部は、
各前記サブビデオフレームについて、サブビデオフレーム列から抽出された特徴量に割り当てられたラベルのサイズＮ（Ｎは０より大きい整数）の組み合わせを算出し、
前記サブビデオフレームに含まれる各サイズＮの組み合わせの数をカウントし、
前記同一のラベルの前記サイズＮの組み合わせであって、その数が前記所定の頻度閾値以上であるものを、前記所定の頻度閾値以上の頻度で発生する同一の人物たちの共出現イベントとして検出する、
という処理を行う、付記３又は４に記載の解析装置。
（付記６）  コンピュータによって実行される解析方法であって、
２以上の人物の共出現イベントを複数のサブビデオフレーム列のそれぞれから抽出する共出現イベント検出ステップを有し、前記サブビデオフレーム列は監視カメラによって生成されるビデオフレーム列に含まれ、各サブビデオフレーム列は所定の時間長を有し、
同一の人物たちの共出現イベントであって頻度が所定の頻度閾値以上であるものを検出する頻出イベント検出ステップを有し、
２以上の人物たちの共出現イベントの少なくとも１つにおいて、人物が抽出される第１ビデオフレームが、他の人物が抽出される第２ビデオフレームと異なる、解析方法。
（付記７）
所定の頻度閾値以上の頻度で発生する同一の人物たちの共出現イベントを出力する出力部をさらに有する、付記６に記載の解析方法。
（付記８）
共出現イベント抽出ステップは、ビデオフレーム列のビデオフレームから抽出される各特徴量にラベルを割り当て、前記特徴量は人物の特徴を示し、同一の人物の特徴を示す複数の特徴量には同じラベルが割り当てられ、異なる人物の特徴を示す複数の特徴量には異なるラベルが割り当てられ、
頻出イベント検出ステップは、第１ラベルと第２ラベルの共出現イベントを第１人物と第２人物の共出現イベントとして扱い、前記第１ラベルは前記第１人物の特徴を示す特徴量に割り当てられ、前記第２ラベルは前記第２人物の特徴を示す特徴量に割り当てられる、付記６又は７に記載の解析方法。
（付記９）
共出現イベント抽出ステップは、各前記特徴量について、
ラベルが既に割り当てられておりなおかつ現在の特徴量に類似している特徴量が存在するか否かを判定し、
ラベルが既に割り当てられておりなおかつ現在の特徴量に類似している特徴量が存在しない場合、前記現在の特徴量に新たなラベルを割り当て、
ラベルが既に割り当てられておりなおかつ現在の特徴量に類似している特徴量が存在する場合、前記現在の特徴量に最も類似している特徴量と同じラベルを前記現在の特徴量に割り当てる、
という処理を繰り返すことで前記特徴量にラベルを割り当てる、付記８に記載の解析方法。
（付記１０）
共出現イベント抽出ステップは、
各前記サブビデオフレームについて、サブビデオフレーム列から抽出された特徴量に割り当てられたラベルのサイズＮ（Ｎは０より大きい整数）の組み合わせを算出し、
前記サブビデオフレームに含まれる各サイズＮの組み合わせの数をカウントし、
前記同一のラベルの前記サイズＮの組み合わせであって、その数が前記所定の頻度閾値以上であるものを、前記所定の頻度閾値以上の頻度で発生する同一の人物たちの共出現イベントとして検出する、
という処理を行う、付記８又は９に記載の解析装置。
（付記１１）
付記６から１０いずれか一つの解析方法の各ステップをコンピュータに実行させる非一過性のコンピュータ可読記録媒体。
【図１】
0006631712.tif 000002
【図２】
0006631712.tif 000003
【図３】
0006631712.tif 000004
【図４】
0006631712.tif 000005
【図５】
0006631712.tif 000006
【図６】
0006631712.tif 000007
【図７】
0006631712.tif 000008
【図８】
0006631712.tif 000009
【図９】
0006631712.tif 000010
【図１０】
0006631712.tif 000011
【図１１】
0006631712.tif 000012
【図１２】
0006631712.tif 000013
【図１３】
0006631712.tif 000014
【図１４】
0006631712.tif 000015
【図１５】
0006631712.tif 000016
【図１６】
0006631712.tif 000017
【図１７】
0006631712.tif 000018
【図１８】
0006631712.tif 000019
【図１９】
0006631712.tif 000020
【図２０】
0006631712.tif 000021
【図２１】
0006631712.tif 000022
【図２２】
0006631712.tif 000023
【図２３】
0006631712.tif 000024