(57)【要約】  監視対象撮影情報生成手段８１は、監視対象の同一性の推定に用いられる情報として監視対象の識別情報である監視対象識別情報を各映像から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成する。出現履歴生成手段８２は、生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する。特定手段８３は、規定されたルールに出現履歴が適合する監視対象を特定する。
2015166612.tif 000002
【特許請求の範囲】
【請求項１】
監視対象の同一性の推定に用いられる情報として当該監視対象の識別情報である監視対象識別情報を各映像から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成する監視対象撮影情報生成手段と、
生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する出現履歴生成手段と、
規定されたルールに前記出現履歴が適合する監視対象を特定する特定手段とを備えた
ことを特徴とする映像解析システム。
【請求項２】
監視対象撮影情報生成手段は、監視対象が撮影された撮影位置を含む監視対象撮影情報を生成し、
出現履歴生成手段は、前記撮影位置を含む出現履歴を生成し、
特定手段は、前記撮影位置および撮影時刻を含む２つ以上の出現履歴の関係性により規定されるルールに、生成された出現履歴が適合する監視対象を特定する
請求項１記載の映像解析システム。
【請求項３】
特定手段は、イベントの発生日時に近接する撮影時刻およびイベントの発生場所に近接する撮影位置を有する出現履歴が予め定めた数以上の監視対象を特定する
請求項２記載の映像解析システム。
【請求項４】
発生するイベントを検知する検知手段を備え、
監視対象撮影情報生成手段は、発生したイベントの前後一定期間の映像を対象として、監視対象撮影情報を生成する
請求項３記載の映像解析システム。
【請求項５】
異なる監視対象の出現履歴の類似性に基づいて、関連する監視対象を特定する関連性特定手段を備えた
請求項１から請求項４のうちのいずれか１項に記載の映像解析システム。
【請求項６】
関連性特定手段は、ルールに適合する複数の監視対象の中から、当該監視対象の出現履歴の類似性に基づいて、関連する監視対象を特定する
請求項５記載の映像解析システム。
【請求項７】
監視対象撮影情報生成手段は、監視対象識別情報として顔画像を抽出し、
出現履歴生成手段は、生成された監視対象撮影情報に含まれる顔画像を比較して、監視対象が同一か否か推定する
請求項１から請求項６のうちのいずれか１項に記載の映像解析システム。
【請求項８】
所定の撮影位置を示す出現履歴の後、一定期間内に、前記撮影位置に基づいて出現が想定される他の撮影位置を示す出現履歴を有さないことを規定したルールが定義され、
特定手段は、前記ルールに適合する監視対象を特定する
請求項２記載の映像解析システム。
【請求項９】
監視対象の同一性の推定に用いられる情報として当該監視対象の識別情報である監視対象識別情報を各映像から抽出し、
抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成し、
生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成し、
規定されたルールに前記出現履歴が適合する監視対象を特定する
ことを特徴とする映像解析方法。
【請求項１０】
監視対象が撮影された撮影位置を含む監視対象撮影情報を生成し、
前記撮影位置を含む出現履歴を生成し、
前記撮影位置および撮影時刻を含む２つ以上の出現履歴の関係性により規定されるルールに、生成された出現履歴が適合する監視対象を特定する
請求項９記載の映像解析方法。
【請求項１１】
コンピュータに、
監視対象の同一性の推定に用いられる情報として当該監視対象の識別情報である監視対象識別情報を各映像から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成する監視対象撮影情報生成処理、
生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する出現履歴生成処理、および、
規定されたルールに前記出現履歴が適合する監視対象を特定する特定処理
を実行させるための映像解析プログラム。
【請求項１２】
コンピュータに、
監視対象撮影情報生成処理で、監視対象が撮影された撮影位置を含む監視対象撮影情報を生成させ、
出現履歴生成処理で、前記撮影位置を含む出現履歴を生成させ、
特定処理で、前記撮影位置および撮影時刻を含む２つ以上の出現履歴の関係性により規定されるルールに、生成された出現履歴が適合する監視対象を特定させる
請求項１１記載の映像解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中の監視対象を解析する映像解析システム、映像解析方法および映像解析プログラムに関する。
【背景技術】
【０００２】
駅や特定の施設などに監視カメラを設置し、その監視カメラで撮影される映像を解析して、各種の判断を行うことが行われている。その一つとして、監視する範囲内に不自然に長期間存在している人物や物体を、不審者あるいは不審物として特定することも行われている。【０００３】
関連する技術として、特定の人物を追跡し、その人物の行動を解析する行動解析方法が知られている。例えば、この行動解析方法では、１つのカメラまたは監視エリアが重複する複数のカメラを用いて特定の人物がどこの場所にいるか認識し、その人物の位置の時間変化を追跡することで、その人物がどこにどの程度の時間滞在していたかを識別する。【０００４】
また、撮影された画像から特定の人物を認識するために顔照合を行う人物認識方法も知られている。特許文献１には、顔画像認識処理を高速化し、登録作業の簡単化を図る顔画像認識装置が記載されている。特許文献１に記載された顔画像認識装置は、認識対象となる人物の正面の向きの顔画像及び正面以外の向きの平均的な顔画像を登録しておき、映像から抽出された顔領域の特徴と登録されている顔画像とを照合して、映像中の顔画像を認識する。【０００５】
また、特許文献２には、カメラ画像から不審者を自動的に検知する不審者検知装置が記載されている。特許文献２に記載された装置は、車両周囲の全方向を撮影範囲とするカメラで定期的に画像を取得し、抽出された人物の行動特徴量を所定時間おきに算出して、その行動特徴量の度数分布から不審者か否かを判断する。【０００６】
なお、特許文献３には、画像中の複数の対象を関連付ける画像処理装置が記載されている。特許文献３に記載された装置では、評価付与手段が、対象検出手段により検出された対象に対して評価を与える。そして、関連評価付与手段が、評価付与手段により評価が与えられた対象に関連付け手段により関連付けられた他の対象に対して、評価に基づく評価を与える。このようにすることで、第一の対象に関連付けられた第二の対象に対して、第一の対象に与えられた評価に基づく評価が与えられる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−２３８１１１号公報
【特許文献２】特開２０１３−８８８７０号公報
【特許文献３】特開２００８−２５２５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述する行動解析方法では、人物の行動を解析できる範囲は、カメラの撮影範囲に依存する。例えば、１つのカメラを使用する場合、人物の行動を解析できる範囲は、そのカメラで撮影できる範囲に限定される。また、多くの範囲を網羅しようとする場合、監視する範囲に隙間ができないように、多数のカメラを使用する必要がある。さらに、混雑している状況下で人物を撮影しようとしても、他の人物に重なって見えなくなる場合も多いため、特定の人物を完全に追跡することは困難である。【０００９】
また、特許文献１に記載された顔画像認識装置を用いる場合、事前に発見すべき不審者の情報が提供されている必要がある。すなわち、そもそも誰が不審者かわからない状況では、特許文献１に記載された顔画像認識装置を利用することはできない。【００１０】
また、特許文献２に記載された不審者検知装置は、カメラが網羅する撮影範囲内で時間的に連続した映像を利用することを前提としている。これは、特許文献２に記載された不審者検知装置が利用する行動特徴量が、移動速度、移動方向の変動量、車両との間の距離、頭の高さの変動量といった、連続する画像から取得できる情報を利用するものだからである。したがって、監視する範囲が広い場合など、撮影する範囲が網羅できない状況の場合、特許文献２に記載された不審者検知装置を利用して不審者を検出することは困難である。【００１１】
そこで、本発明は、監視する範囲が広い場合や事前に発見すべき監視対象が登録されていない場合でも、撮影された映像から不審な動きをしている監視対象を解析できる映像解析システム、映像解析方法および映像解析プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明による映像解析システムは、監視対象の同一性の推定に用いられる情報として監視対象の識別情報である監視対象識別情報を各映像から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成する監視対象撮影情報生成手段と、生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する出現履歴生成手段と、規定されたルールに出現履歴が適合する監視対象を特定する特定手段とを備えたことを特徴とする。【００１３】
本発明による映像解析方法は、監視対象の同一性の推定に用いられる情報として監視対象の識別情報である監視対象識別情報を各映像から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成し、生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成し、規定されたルールに出現履歴が適合する監視対象を特定することを特徴とする。【００１４】
本発明による映像解析プログラムは、コンピュータに、監視対象の同一性の推定に用いられる情報として監視対象の識別情報である監視対象識別情報を各映像から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成する監視対象撮影情報生成処理、生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する出現履歴生成処理、および、規定されたルールに出現履歴が適合する監視対象を特定する特定処理を実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、監視する範囲が広い場合や事前に発見すべき監視対象が登録されていない場合でも、撮影された映像から不審な動きをしている監視対象を解析できる。
【図面の簡単な説明】
【００１６】
【図１】本発明による映像解析システムの第１の実施形態の構成例を示すブロック図である。
【図２】出現履歴記憶部２２が記憶する情報の例を示す説明図である。
【図３】ルール記憶部２４が記憶するルールの例を示す説明図である。
【図４】出力結果記憶部２０が記憶する情報の例を示す説明図である。
【図５】第１の実施形態の映像解析システムの動作例を示す説明図である。
【図６】第１の実施形態の映像解析システムの動作例を示すフローチャートである。
【図７】本発明による映像解析システムの第２の実施形態の構成例を示すブロック図である。
【図８】人物識別情報記憶部１８が記憶する情報の例を示す説明図である。
【図９】第２の実施形態の映像解析システムの動作例を示すフローチャートである。
【図１０】本発明による映像解析システムの第３の実施形態の構成例を示すブロック図である。
【図１１】イベント記憶部２９が記憶する情報の例である。
【図１２】本発明による映像解析システムの第４の実施形態の構成例を示すブロック図である。
【図１３】第４の実施形態の映像解析システムの動作例を示すフローチャートである。
【図１４】本発明による映像解析システムの第５の実施形態の構成例を示すブロック図である。
【図１５】人物関連記憶部３４が記憶する情報の例を示す説明図である。
【図１６】本発明による映像解析システムの概要を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を図面を参照して説明する。以下の説明では、人物を監視対象として処理を行う場合を例示する。ただし、監視対象は、人物に限定されず、例えば、自動車などの物であってもよい。
【００１８】
実施形態１．
図１は、本発明による映像解析システムの第１の実施形態の構成例を示すブロック図である。本実施形態の映像解析システムは、映像取得部１１と、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、出現履歴記憶部２２と、ルール管理部２３と、ルール記憶部２４と、行動検出部２５と、結果出力部１７とを備えている。映像解析システムは、出力結果を記憶する出力結果記憶部２０に接続されていてもよい。
【００１９】
映像取得部１１は、予め定めた監視範囲の映像を取得する。また、映像取得部１１は、映像を取得した時刻（以下、撮影時刻と記す。）も併せて取得する。映像取得部１１は、監視範囲の映像とその映像が撮影された時刻（すなわち、撮影時刻）とを人物識別情報解析部１２に入力する。映像取得部１１は、例えば、カメラなどの撮影装置により実現される。
【００２０】
なお、図１に例示する映像解析システムでは、映像取得部１１を１台のみ備えているが、映像取得部１１の台数は１台に限定されず、２台以上であってもよい。また、各映像取得部１１が撮影する範囲は、一部が重なっていてもよく、全て重なっていなくてもよい。映像解析システムが映像取得部１１を複数台備えている場合、映像取得部１１は、取得した映像を人物識別情報解析部１２に入力する際、各映像取得部１１を識別する情報（以下、撮影装置識別情報と記す。）も併せて入力してもよい。
【００２１】
また、本実施形態では、映像取得部１１は、監視対象とする施設内で、特に注視される範囲を撮影できるように設置されることが好ましい。ただし、映像取得部１１は施設内全ての範囲を撮影できるように設置される必要はない。
【００２２】
また、本実施形態で撮影される映像は、時間的に連続している映像に限定されない。すなわち、本実施形態で解析に用いられる映像は、時間的に不連続な画像（映像）の集合であってもよい。なお、時間的に不連続な映像とは、通常撮影される映像から適宜フレームを間引いた映像だけでなく、全く異なる時間帯および場所で撮影される映像も含む。すなわち、本実施形態では、撮影した時刻と場所が把握できれば、その映像に時間的な連続性は問われず、また、撮影場所の網羅性も問われない。
【００２３】
また、映像解析システムは、映像取得部１１が撮影した映像を一定期間保存する映像記憶部（図示せず）を備えていてもよい。映像記憶部は、磁気ディスクなどにより実現される。このような記憶部を備えることで、過去に撮影した映像を利用することが可能になる。
【００２４】
人物識別情報解析部１２は、各映像取得部１１が撮影した各映像に映る監視対象を解析する。具体的には、人物識別情報解析部１２は、映像中に監視対象を検出すると、その監視対象の識別情報（以下、監視対象識別情報と記す。）と、その監視対象が撮影された撮影時刻とを含む情報（以下、監視対象撮影情報と記す。）を生成する。監視対象識別情報は、監視対象の同一性の推定をする際に用いられる。また、人物識別情報解析部１２は、監視対象が撮影された撮影位置を含む監視対象撮影情報を生成してもよい。この撮影位置は、カメラそのものの位置でもよいし、カメラの識別情報（撮影装置識別情報）でもよいし、カメラの撮影範囲でもよい。
【００２５】
人物識別情報解析部１２が抽出する監視対象識別情報の内容は、監視対象の内容に応じて予め定められる。例えば、監視対象が人物の場合、人物識別情報解析部１２は、映像中から人物を検出したときに、その人物の顔画像を監視対象識別情報として抽出してもよい。また、例えば、監視対象が自動車の場合、人物識別情報解析部１２は、映像中から自動車を検出したときに、その自動車のナンバープレートの画像を監視対象識別情報として、抽出してもよい。
【００２６】
ただし、人物識別情報解析部１２が抽出する情報は、顔画像やナンバープレートの画像に限定されない。監視対象を特定可能な情報であれば、抽出される情報は任意である。また、人物の識別に用いられる監視対象識別情報のことを、人物識別情報と言うことができる。なお、対象とする画像から特定の識別情報を抽出する方法は広く知られているため、ここでは詳細な説明を省略する。
【００２７】
また、各映像取得部１１から明示的な撮影装置識別情報が送信されない場合、人物識別情報解析部１２は、各映像取得部１１から映像が入力されたときに、映像を入力した各映像取得部１１に応じて撮影装置識別情報を付与してもよい。
【００２８】
出現履歴管理部２１は、人物識別情報解析部１２が抽出した監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する。具体的には、出現履歴管理部２１は、映像取得部１１によって撮影された同一と推定される監視対象の履歴を出現履歴として生成し、出現履歴記憶部２２に記憶する。監視対象の同一性を推定する処理は、後述する人物識別情報照合部１５によって行われる。
【００２９】
出現履歴記憶部２２は、監視対象の出現履歴を記憶する。具体的には、出現履歴記憶部２２は、監視対象ごとに、撮影時刻を含む各情報を対応付けた出現履歴を記憶する。なお、撮影時刻はその監視対象の出現時刻と言うこともできる。図２は、本実施形態の出現履歴記憶部２２が記憶する情報の例を示す説明図である。
【００３０】
図２に示す例では、出現履歴記憶部２２は、監視対象を識別するための人物ＩＤごとに、監視対象撮影情報を識別する識別子である人物画像ＩＤと、監視対象識別情報を示す人物識別情報と、撮影時刻と、撮影したカメラ名（例えば、撮影装置識別情報）とを対応付けて記憶している。
【００３１】
図２に例示する出現履歴を記憶するため、出現履歴記憶部２２は、撮影位置を含む出現履歴を生成してもよい。なお、撮影位置に設定されるカメラ名や撮影装置識別情報は、監視対象が出現した場所を示す情報であることから、カメラ名や撮影装置識別情報を、出現場所と言うこともできる。
【００３２】
また、図２に例示するように、出現履歴記憶部２２は、取得された映像から推定される監視対象の確からしさ（識別精度）や、同一と推定された監視対象に含まれる人物識別情報のうち代表して比較に用いられる画像であることを示す情報（代表画像）を人物ＩＤと対応付けて記憶していてもよい。代表画像には、同一の監視対象を示す人物識別情報の中から、より精度が高いものを選出することが好ましい。
【００３３】
人物識別情報照合部１５は、監視対象識別情報を照合して、同一と推定される監視対象を特定する。例えば、監視対象識別情報として監視対象の顔画像が抽出されている場合、人物識別情報照合部１５は、顔画像を照合して、同一と推定される人物を特定してもよい。
【００３４】
具体的には、人物識別情報照合部１５は、人物識別情報解析部１２が抽出した監視対象識別情報と、出現履歴記憶部２２に記憶されている監視対象識別情報とを照合し、同一の監視対象がすでに出現履歴記憶部２２に登録されているか判定する。
【００３５】
同一の監視対象がすでに出現履歴記憶部２２に登録されていると判定された場合、出現履歴管理部２１は、人物識別情報解析部１２が抽出した監視対象識別情報を、その監視対象の出現履歴に追加する。一方、同一の監視対象が出現履歴記憶部２２に登録されていないと判定された場合、出現履歴管理部２１は、新たな監視対象として出現履歴を作成する。
【００３６】
例えば、監視対象が人物の場合、人物識別情報解析部１２は、監視対象識別情報（人物識別情報）として顔画像を抽出する。人物識別情報解析部１２が人物識別情報を生成すると、人物識別情報照合部１５は、生成された人物識別情報と出現履歴記憶部２２に記憶されている人物識別情報とを照合し、同一人物が存在するか判定する。具体的には、人物識別情報照合部１５は、生成された監視対象撮影情報に含まれる顔画像を比較して、監視対象が同一か否か推定する。
【００３７】
同一人物と推定された場合、出現履歴管理部２１は、その人物の人物ＩＤを用いて出現履歴を追加する。一方、同一人物が存在しないと判定された場合、出現履歴管理部２１は、新しい人物ＩＤを生成して、出現履歴を追加する。
【００３８】
また、人物識別情報照合部１５は、監視対象識別情報を照合する際、同一と推定する監視対象の確からしさ（識別精度）を算出してもよい。そして、出現履歴管理部２１は、この確からしさを含む出現履歴を出現履歴記憶部２２に登録してもよい。
【００３９】
また、人物識別情報照合部１５は、監視対象識別情報を照合する際、各人物の出現履歴に含まれる監視対象識別情報のうち、図２に例示する代表画像とだけ照合するようにしてもよい。このような代表画像を決めておくことで、新たな監視対象撮影情報との照合精度を高めつつ、照合回数を削減して処理を高速化できる。
【００４０】
なお、画像同士を比較して、両者が一致するか否かを判断する方法、および、両者が一致する確からしさを算出する方法は広く知られているため、ここでは、詳細な説明を省略する。
【００４１】
ルール記憶部２４は、抽出したい監視対象の行動パターンを定義したルールを記憶する。本実施形態のように、不審な動きをしている監視対象を抽出したい場合、ルール記憶部２４は、出現履歴から特定される不審な動きのパターンをルールとして記憶する。
【００４２】
図３は、ルール記憶部２４が記憶するルールの例を示す説明図である。図３に示す例では、ルール記憶部２４は、ルールを識別するためのルール名に、抽出したい監視対象の行動パターンを表すルール記述を対応付けて記憶する。
【００４３】
以下、定義されるルールの例を説明する。施設を通常利用する際の動きと逸脱した動きをしている監視対象は、不審な動きをしている監視対象と判断できる。そこで、以下に例示するルールを定義することができる。
【００４４】
第１のルールは、「一定時間内に指定数以上の異なるエリアに出現する」というルールである。
例えば、北側観客席、南側観客席、東側観客席、西側観客席の４つのエリアを有するスタジアムがあるとする。普通の観客であれば、通常、自席がある１つのエリアに出現する。時々隣接するエリアに移動することで、２つのエリアに出現する観客はいるかもしれないが、３つのエリアに現れる動きは、不審な動きと言える。
【００４５】
したがって、ルール記憶部２４には、例えば、「一定時間内に指定数以上の異なる撮影位置の出現履歴を有する」というルールを定義することで、第１のルールに適合する監視対象を特定する。
【００４６】
第２のルールは、「一定時間内に特定の２つ以上の場所で、異なる場所を間に挟んで指定回数以上出現する」というルールである。
例えば、少し離れた広場Ａおよび広場Ｂがあるとする。出現履歴がＡ，Ａと観測された人は、単に広場Ａをうろうろしている人と判断できる。また、出現履歴がＡ，Ａ，Ｂ，Ｂと観測された人は、広場Ａから広場Ｂへ移動した人と判断できる。一方、出現履歴がＡ，Ｂ，Ａ，Ｂ，Ａ，Ｂと観測された人は、広場Ａと広場Ｂの間を不自然にうろついている人と判断できるため、不審な動きと言える。
【００４７】
したがって、ルール記憶部２４には、例えば、「一定時間内に２以上の異なる撮影位置が相互に変化する出現履歴を有する」というルールを定義することで、第２のルールに適合する監視対象を特定する。
【００４８】
第３のルールは、「指定場所に出現しながら一定時間内に対応する別の場所に出現しない、というケースが指定回数以上観測される」というルールである。
例えば、店舗の入り口を通ったら、通常、１時間程度以内には、本来の目的達成に必要な場所であるレジにも出現するのが普通である。また、銀行の入り口を通ったら、通常、１時間程度以内には、本来の目的達成に必要な場所である窓口にも出現するのが普通である。施設に入ってもその施設を利用しない人は存在するが、例えば、朝と夜や、異なる日に繰り返し施設に入っているのに本来の目的達成に必要な場所に出現しない動きは、不審な動きと言える。
【００４９】
したがって、ルール記憶部２４には、例えば、「所定の撮影位置を示す出現履歴の後、一定期間内に、その撮影位置に基づいて出現が想定される他の撮影位置を示す出現履歴を有さない」というルールを定義することで、第３のルールに適合する監視対象を特定する。
【００５０】
第４のルールは、「通常の人が繰り返し現れない時間帯に繰り返し現れる」というルールである。
例えば、駅において、多くの人が待ち合わせをする時間帯では、単に相手を探していたり、暇を潰していたりすることが想定されため、何度も現れても不審な動きとは言い難い。しかし、通勤時間帯や、早朝、深夜などの時間帯に繰り返し現れる動きは、不審な動きと言える。
【００５１】
したがって、ルール記憶部２４には、例えば、「所定の時間帯に指定回数以上の出現履歴を有する」というルールを定義することで、第４のルールに適合する監視対象を特定する。
【００５２】
以上の４つのルールに例示するように、ルール記憶部２４には、撮影位置および撮影時刻を含む２つ以上の出現履歴の関係性により規定されるルールを記憶する。そして、行動検出部２５は、生成された出現履歴がこのルールに適合する監視対象を特定する。なお、このルールには、第３のルールで例示するように、２つ目の出現履歴が存在しないという関係性も含まれる。ただし、定義されるルールは、上述する４種類のルールに限定されない。
【００５３】
ルール管理部２３は、ルール記憶部２４が記憶するルールを管理する。ルール管理部２３は、例えば、ルール記憶部２４へのアクセス要求に応じて、ルール記憶部２４の内容の返却、ルールの追加、およびルールの更新を行う。
【００５４】
行動検出部２５は、出現履歴のパターンが、規定されたルールに適合する監視対象を特定する。具体的には、行動検出部２５は、出現履歴記憶部２２に記憶された出現履歴から特定されるパターンと、ルール記憶部２４に記憶されたルールとを比較し、ルールに適合されるパターンの出現履歴を有する監視対象を特定する。
【００５５】
行動検出部２５は、新たに出現履歴が出現履歴記憶部２２に登録されたときに動作してもよく、バッチ処理のように定期的に動作してもよい。
【００５６】
結果出力部１７は、行動検出部２５によって特定された監視対象を出力する。結果出力部１７は、出力結果を出力結果記憶部２０に記憶してもよい。図４は、出力結果記憶部２０が記憶する情報の例を示す説明図である。結果出力部１７は、図４に例示するように、人物画像を特定する人物画像ＩＤ、その人物を撮影した撮影時刻およびカメラ名を出力してもよい。また、結果出力部１７は、人物画像ＩＤのみを出力するようにしてもよい。
【００５７】
人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、ルール管理部２３と、行動検出部２５と、結果出力部１７とは、例えば、プログラム（映像解析プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、映像解析システム内に含まれる記憶装置（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、人物識別情報解析部１２、人物識別情報照合部１５、出現履歴管理部２１、ルール管理部２３、行動検出部２５および結果出力部１７として動作してもよい。
【００５８】
また、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、ルール管理部２３と、行動検出部２５と、結果出力部１７とは、それぞれが専用のハードウェアで実現されていてもよい。また、出現履歴記憶部２２と、ルール記憶部２４とは、例えば、磁気ディスク等により実現される。
【００５９】
次に、本実施形態の映像解析システムの動作を説明する。図５は、本実施形態の映像解析システムの動作例を示す説明図である。図５に示す例では、映像取得部１１に対応する２台のカメラＡおよびカメラＢによって撮影された映像から、時間軸の方向に向かって監視対象である人物ｕ１〜ｕ１０が特定されていることを示す。
【００６０】
なお、図５に例示するように、通常、撮影される人物は連続する複数のフレームＳに存在する。そのため、所定の期間内のフレームから連続して特定される人物の出現回数は１回とカウントされる。
【００６１】
また、図５に示す例では、人物ｕ２、人物ｕ６、人物ｕ７および人物ｕ９が同一人物と推定されている。この人物をＰ１とすると、この人物Ｐ１の出現履歴は、４件作成される。ここでは、出現履歴の説明を簡略化するため、撮影されたカメラの記号と時間とを結合した記号で出現履歴を表す。この人物Ｐ１の場合、出現履歴は、Ａ０２，Ｂ０３，Ｂ０８，Ａ１０になる。図５には、人物Ｐ１の出現履歴を示している。
【００６２】
同様に、図５に示す例では、人物ｕ２および人物ｕ６が同一人物と推定されており、この人物をＰ２とすると、人物Ｐ２の出現履歴は、２件（Ａ０３，Ａ０５）作成される。また、人物ｕ５および人物ｕ８が同一人物と推定されており、この人物をＰ３とすると、人物Ｐ３の出現履歴も、２件（Ｂ０５，Ａ０６）作成される。
【００６３】
ここで、『期間「１０」以内に３回以上、異なるエリアに出現する』というルールが規定されているとする。この規定に適合する出現履歴を有する人物はＰ１である。したがって、行動検出部２５は、人物Ｐ１をルールに適合する監視対象と特定し、結果出力部１７は、この監視対象を特定するために必要な各種情報を出力する。
【００６４】
次に、本実施形態の映像解析システムの動作を説明する。図６は、本実施形態の映像解析システムの動作例を示すフローチャートである。
【００６５】
まず、映像取得部１１が、撮影範囲の映像を取得し（ステップＳ１１）、撮影した映像を人物識別情報解析部１２に入力する。人物識別情報解析部１２は、入力された映像から監視対象を検出すると、その監視対象の識別情報を抽出し（ステップＳ１２）、併せて撮影時刻も取得する。そして、人物識別情報解析部１２は、監視対象識別情報と撮影時刻とを含む監視対象撮影情報を生成する（ステップＳ１３）。
【００６６】
人物識別情報照合部１５は、抽出された監視対象識別情報と、出現履歴記憶部２２に記憶されている監視対象識別情報とを照合する（ステップＳ１４）。同一の監視対象が存在する場合（ステップＳ１５におけるＹｅｓ）、出現履歴管理部２１は、その監視対象の出現履歴を追加する（ステップＳ１６）。一方、同一の監視対象が存在しない場合（ステップＳ１５におけるＮｏ）、出現履歴管理部２１は、監視対象を追加し、その監視対象に出現履歴を追加する（ステップＳ１７）。
【００６７】
行動検出部２５は、規定されたルールに出現履歴が適合する監視対象を特定する（ステップＳ１８）。特定される監視対象が存在する場合、結果出力部１７は、特定した監視対象を出力する（ステップＳ１９）。
【００６８】
以上のように、本実施形態では、人物識別情報解析部１２が、映像取得部１１によって撮影される各映像から、監視対象の監視対象識別情報と、監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成し、出現履歴管理部２１が、生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する。そして、行動検出部２５が、規定されたルールに出現履歴が適合する監視対象を特定する。そのため、監視する範囲が広い場合や事前に発見すべき監視対象が登録されていない場合でも、撮影された映像から不審な動きをしている監視対象を解析できる。
【００６９】
すなわち、本発明では、全く異なる時間や場所（カメラ）で撮影された複数の画像を扱い、その異なる画像間で同一人物（監視対象）を識別するために、顔画像などの特徴量を扱う。そして、この識別結果を時間や場所に基づく履歴で表現し、その履歴のパターンだけでも不審性を判定できることを本発明の特徴としている。
【００７０】
実施形態２．
次に、本発明による映像解析システムの第２の実施形態を説明する。第１の実施形態では、人物識別情報解析部１２が監視対象撮影情報を抽出するごとに、出現履歴管理部２１が、同一と推定される監視対象の出現履歴を生成していた。一方、本実施形態の映像解析システムは、出現履歴を一括で生成する。
【００７１】
図７は、本発明による映像解析システムの第２の実施形態の構成例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。
【００７２】
本実施形態の映像解析システムは、映像取得部１１と、人物識別情報解析部１２と、人物識別情報管理部１３と、人物識別情報照合部１５と、人物識別情報記憶部１８と、出現履歴管理部２１と、出現履歴記憶部２２と、ルール管理部２３と、ルール記憶部２４と、行動検出部２５と、結果出力部１７とを備えている。
【００７３】
すなわち、本実施形態の映像解析システムは、第１の実施形態の映像解析システムの構成と比較すると、人物識別情報管理部１３と、人物識別情報記憶部１８とをさらに備えている。それ以外の構成については、第１の実施形態と同様である。
【００７４】
人物識別情報管理部１３は、人物識別情報解析部１２が抽出した監視対象識別情報を人物識別情報記憶部１８に記憶させる。また、人物識別情報管理部１３は、出現履歴管理部２１や、人物識別情報照合部１５の要求に応じて、人物識別情報記憶部１８から必要な情報を抽出して返却する。
【００７５】
人物識別情報記憶部１８は、人物識別情報解析部１２が抽出した監視対象撮影情報を記憶する。具体的には、人物識別情報記憶部１８は、個々の監視対象撮影情報を識別する識別子と、その監視対象撮影情報に含まれる監視対象識別情報と、その撮影時刻とを対応付けて記憶する。
【００７６】
図８は、人物識別情報記憶部１８が記憶する情報の例を示す説明図である。図８に示す例は、監視対象が人物の場合に人物識別情報記憶部１８が記憶する内容の例である。図８に示す例では、監視対象撮影情報を識別する識別子として人物画像ＩＤが用いられ、監視対象識別情報として人物識別情報が用いられていることを示す。また、図８に例示するように、人物識別情報記憶部１８は、人物識別情報の抽出元映像が撮影された撮影時刻を対応付けて保持する。また、人物識別情報記憶部１８は、その映像を取得したカメラ名（例えば、撮影装置識別情報）を記憶してもよい。
【００７７】
本実施形態の出現履歴管理部２１は、人物識別情報記憶部１８に記憶された監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する。また、監視対象の同一性を推定する処理は、人物識別情報照合部１５によって行われる。監視対象の同一性を推定する方法や、出現履歴を生成する処理の内容は、第１の実施形態と同様である。
【００７８】
このように、本実施形態の映像解析システムでは、人物識別情報解析部１２が監視対象識別情報を作成して、人物識別情報記憶部１８に記憶しておく。そして、出現履歴管理部２１が、必要に応じて出現履歴を生成する。すなわち、本実施形態映像解析システムでは、監視対象識別情報の生成タイミングと出現履歴の生成タイミングとをずらすことができる。そのため、監視対象を特定するためのルールを後から追加することが可能になる。
【００７９】
人物識別情報解析部１２と、人物識別情報管理部１３と、人物識別情報照合部１５と、出現履歴管理部２１と、ルール管理部２３と、行動検出部２５と、結果出力部１７とは、例えば、プログラム（映像解析プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
【００８０】
また、人物識別情報解析部１２と、人物識別情報管理部１３と、人物識別情報照合部１５と、出現履歴管理部２１と、ルール管理部２３と、行動検出部２５と、結果出力部１７とは、それぞれが専用のハードウェアで実現されていてもよい。また、人物識別情報記憶部１８と、出現履歴記憶部２７と、ルール記憶部２４とは、例えば、磁気ディスク等により実現される。
【００８１】
次に、本実施形態の映像解析システムの動作を説明する。図９は、本実施形態の映像解析システムの動作例を示すフローチャートである。映像から監視対象識別情報を生成するまでのステップＳ１１からステップＳ１３の処理は、図６に例示する処理と同様である。
【００８２】
人物識別情報管理部１３は、人物識別情報解析部１２が抽出した監視対象識別情報を人物識別情報記憶部１８に記憶させる（ステップＳ２１）。そして、所定のタイミングで、人物識別情報照合部１５は、人物識別情報記憶部１８に記憶された監視対象識別情報と、出現履歴記憶部２２に記憶されている監視対象識別情報とを照合する（ステップＳ１４）。なお、出現履歴記憶部２２が監視対象識別情報を保持せず、例えば、人物画像ＩＤのみ保持している場合、人物識別情報照合部１５は、対応する監視対象識別情報を人物識別情報記憶部１８から特定すればよい。
【００８３】
以降、同一の監視対象を判定して出現履歴を生成し、ルールに適合する監視対象を抽出するまでのステップＳ１５からステップＳ１９までの処理は、図６に例示する処理と同様である。
【００８４】
以上のように、本実施形態では、人物識別情報管理部１３が、人物識別情報解析部１２が抽出した監視対象識別情報を、一度人物識別情報記憶部１８に記憶させる。よって、監視対象識別情報の生成タイミングと出現履歴の生成タイミングとをずらすことができため、監視対象を特定するためのルールを後から追加することが可能になる。
【００８５】
実施形態３．
次に、本発明による映像解析システムの第３の実施形態を説明する。本実施形態の映像解析システムは、ルールにイベントの発生時刻および発生場所を利用する。具体的には、本実施形態で規定されるルールは、イベントの発生日時に近接する撮影時刻およびイベントの発生場所に近接する撮影時刻を有する出現履歴が予め定めた数以上の監視対象を抽出する、というルールである。
【００８６】
ここで、イベントの発生日時に近接する撮影時刻とは、イベントの発生時刻と撮影時刻との時間の差が予め定めた閾値以下であることを意味し、イベントの発生場所に近接する撮影位置とは、イベントの発生場所と撮影位置との距離の差が予め定めた閾値以下であることを意味する。また、撮影位置には、カメラの設置場所、カメラの撮影範囲も含まれる。
【００８７】
なお、イベントの発生場所と撮影位置との距離を判定する際、それぞれの撮影位置間で実際に移動可能な時間を距離として利用してもよい。例えば、物理的には近接する２つの撮影位置であっても、それぞれの撮影位置へ移動する場合、遠回りする必要があれば、それらの移動時間は長くなるため、距離が長いと判定してもよい。また、物理的には遠い２つの撮影位置であっても、それぞれの撮影位置への移動に徒歩以外の別の手段（例えば、自転車、いわゆる動く歩道、など）が存在する場合、それらの移動時間は短くなるため、距離が短いと判断してもよい。
【００８８】
図１０は、本発明による映像解析システムの第３の実施形態の構成例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。
【００８９】
本実施形態の映像解析システムは、映像取得部１１と、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、出現履歴記憶部２２と、イベント管理部２８と、イベント記憶部２９と、行動検出部２５と、結果出力部１７とを備えている。
【００９０】
すなわち、本実施形態の映像解析システムは、第１の実施形態の映像解析システムの構成と比較すると、ルール管理部２３の代わりにイベント管理部２８を備え、ルール記憶部２４の代わりにイベント記憶部２９を備えている。それ以外の構成については、第１の実施形態と同様である。
【００９１】
イベント記憶部２９は、行動検出部２５が監視対象を特定するために用いるイベント情報を記憶する。イベント情報には、イベントの発生時刻および発生場所が含まれる。図１１は、イベント記憶部２９が記憶する情報の例である。図１１に示す例では、イベント記憶部２９は、イベント情報として、イベントが発生した日時と場所とを対応付けて記憶する。
【００９２】
また、イベント情報は、イベントの内容を識別するための情報を含んでいてもよい。本実施形態では、イベント記憶部２９にイベント情報が予め設定されているものとする。また、イベント記憶部２９には、解析対象とするイベントの種類ごとに、少なくとも２以上のイベント情報が設定される。
【００９３】
本実施形態の映像解析システム（具体的には、行動検出部２５）は、上述するように、イベントの発生日時に近接する撮影時刻およびイベントの発生場所に近接する撮影時刻を有する出現履歴が予め定めた数以上の監視対象を抽出する。そのため、イベント記憶部２９が記憶するイベントの内容は、ルール記憶部２４が記憶するルールの内容を表していると言える。すなわち、第１の実施形態のルール記憶部２４がルールの一種としてイベントのリストを有していると言うこともできる。
【００９４】
また、イベント記憶部２９がイベントの内容を識別する情報を保持している場合、行動検出部２５は、同一または類似するイベントごとに、イベントの発生日時に近接する撮影時刻およびイベントの発生場所に近接する撮影時刻を有する出現履歴をカウントしてもよい。そして、行動検出部２５は、イベントごとに定めた閾値以上の出現履歴を有する監視対象を抽出してもよい。
【００９５】
イベント管理部２８は、行動検出部２５の要求に応じ、イベント記憶部２９から必要な情報を抽出して返却する。
【００９６】
人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、イベント管理部２８と、行動検出部２５と、結果出力部１７とは、例えば、プログラム（映像解析プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
【００９７】
また、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、イベント管理部２８と、行動検出部２５と、結果出力部１７とは、それぞれが専用のハードウェアで実現されていてもよい。また、出現履歴記憶部２２と、イベント記憶部２９とは、例えば、磁気ディスク等により実現される。
【００９８】
以上のように、本実施形態では、行動検出部２５が発生したイベントの近くに出現する監視対象を特定する。具体的には、行動検出部２５が、イベントの発生日時に近接する撮影時刻およびイベントの発生場所に近接する撮影位置を有する出現履歴が予め定めた数以上の監視対象を特定する。
【００９９】
このように、本実施形態では、イベント発生の観点からルールを規定しているため、事案に則して監視対象を特定できる。
【０１００】
実施形態４．
次に、本発明による映像解析システムの第４の実施形態を説明する。本実施形態の映像解析システムも、第３の実施形態と同様、ルールにイベントの発生時刻および発生場所を利用する。一方、第３の実施形態では、イベント記憶部２９にイベント情報が予め設定されていたが、本実施形態では、イベント情報が適宜イベント記憶部２９に記憶される。
【０１０１】
図１２は、本発明による映像解析システムの第４の実施形態の構成例を示すブロック図である。なお、第３の実施形態と同様の構成については、図１０と同一の符号を付し、説明を省略する。
【０１０２】
本実施形態の映像解析システムは、映像取得部１１と、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、出現履歴記憶部２２と、イベント管理部２８と、イベント記憶部２９と、行動検出部２５と、結果出力部１７と、映像記憶部３０と、イベント検知部３１とを備えている。
【０１０３】
すなわち、本実施形態の映像解析システムは、第３の実施形態の映像解析システムの構成と比較すると、映像記憶部３０と、イベント検知部３１をさらに備えている。それ以外の構成については、第３の実施形態と同様である。
【０１０４】
映像記憶部３０は、映像取得部１１が撮影した映像を記憶する。
【０１０５】
イベント検知部３１は、行動検出部２５が監視対象を特定するために用いるイベントを検知する。イベント検知部３１が検知するイベントは、不審な動きをしている監視対象を特定するために利用可能なイベントであれば、その種類は任意である。また、イベント検知部３１自身がイベントの発生を検知してもよく、他の装置（図示せず）からイベントが発生した旨の通知を受信することにより、イベントの発生を検知してもよい。例えば、イベント検知部３１がセンサ（図示せず）を備え、そのセンタにより検知される事象から、イベントの発生を検知してもよい。
【０１０６】
例えば、別の監視カメラで撮影された映像を解析することにより、不審物置き去りなどの問題事象を検知したとする。この場合、イベント検知部３１は、この映像を解析した装置（図示せず）から、イベント情報として不審物置き去りを検知した場所および時刻を受信してもよい。そして、イベント検知部３１は、受信したイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。
【０１０７】
また、例えば、イベント検知部３１がマイクロフォンを有している場合に、そのマイクロフォンで、異常音（器物破壊音、叫び声等）を検知したとする。この場合、イベント検知部３１は、異常音を検知した場所および時刻を示すイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。
【０１０８】
また、例えば、禁煙エリアに設置された煙探知機（図示せず）が、煙を検知したとする。この場合、イベント検知部３１は、この煙探知機から煙を検知したことをイベント情報として受信してもよい。そして、イベント検知部３１は、そのイベント情報を受信した時刻およびその煙探知機の設置場所を、喫煙を示すイベント情報としてイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。
【０１０９】
また、イベント検知部３１は、発生した事象を検知するセンサ以外にも、インターネット上に投稿された情報からイベントの発生を検知してもよい。例えば、イベント検知部３１は、ウェブサイトに投稿された文章を解析して、イベントの発生時刻および場所、イベントの内容などのイベント情報を特定し、特定したイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。この場合、検知したイベントの精度を上げるため、イベント検知部３１は、同内容の複数のイベント情報を特定できた時に、そのイベント情報を登録させるようにしてもよい。
【０１１０】
なお、イベント検知部３１がイベント管理部２８に対して登録を指示するイベントは、その時点で発生したイベントに限定されない。イベント検知部３１は、人手で入力されたイベント情報をイベント発生後（事後）に受け取り、そのイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。
【０１１１】
例えば、盗難や器物破損、放火や傷害などの事件が多発したとする。この場合、イベント検知部３１は、人手で入力されたこれらの事件の発生時刻および発生場所を入力し、入力したイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。このようなイベント情報が登録されれば、過去に撮影された監視カメラの映像を解析することで、繰り返し現れる怪しい人物を発見できる。
【０１１２】
他にも、イベント検知部３１は、発生が予想されるイベント情報をイベント発生前（事前）に受け取り、そのイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。
【０１１３】
例えば、過去の犯罪発生履歴などから、犯罪多発地区および時間帯を予想したとする。この場合、イベント検知部３１は、予想されたこれらの情報をイベント情報として入力し、入力したイベント情報をイベント記憶部２９に登録するように、イベント管理部２８に指示してもよい。このようなイベント情報が登録されれば、予想される犯罪多発地区および時間帯に複数回現れる人物を発見できる。
【０１１４】
本実施形態の人物識別情報解析部１２は、イベント検知部３１によって検知されたイベントの発生時刻の前後一定期間に撮影された映像を解析して、監視対象撮影情報（監視対象識別情報）を抽出する。
【０１１５】
例えば、センサなどによってイベントが検知されると、人物識別情報解析部１２は、そのイベントを検知した時刻より前に撮影された一定期間の映像を映像記憶部３０から抽出し、その映像を解析して監視対象撮影情報（監視対象識別情報）を抽出する。さらに、人物識別情報解析部１２は、そのイベントを検知した時刻から後に一定期間撮影される映像を映像取得部１１から入力し、その映像を解析して監視対象撮影情報（監視対象識別情報）を抽出する。
【０１１６】
このようにすることで、解析が必要な映像量を削減できるため、不要な処理を抑えることが可能になる。
【０１１７】
なお、過去に発生したイベントがイベント検知部３１に入力された場合、人物識別情報解析部１２は、そのイベントが発生した時刻の前後一定期間に撮影された映像を映像記憶部３０から抽出し、その映像を解析して監視対象撮影情報（監視対象識別情報）を抽出してもよい。
【０１１８】
また、将来発生が予想されるイベントがイベント検知部３１に入力された場合、人物識別情報解析部１２は、そのイベントの発生が予想される時刻から後に一定期間撮影される映像を映像取得部１１から入力し、その映像を解析して監視対象撮影情報（監視対象識別情報）を抽出してもよい。
【０１１９】
人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、イベント管理部２８と、行動検出部２５と、結果出力部１７と、イベント検知部３１とは、例えば、プログラム（映像解析プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
【０１２０】
また、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、イベント管理部２８と、行動検出部２５と、結果出力部１７とは、イベント検知部３１とは、それぞれが専用のハードウェアで実現されていてもよい。また、出現履歴記憶部２２と、イベント記憶部２９と、映像記憶部３０とは、例えば、磁気ディスク等により実現される。
【０１２１】
次に、本実施形態の映像解析システムの動作を説明する。図１３は、本実施形態の映像解析システムの動作例を示すフローチャートである。まず、映像取得部１１が、撮影範囲の映像を取得し（ステップＳ１１）、撮影した映像を映像記憶部３０に保存する（ステップＳ３１）。イベント検知部３１がイベントを検知しない場合（ステップＳ３２におけるＮｏ）、ステップＳ１１以降の処理が繰り返される。
【０１２２】
一方、イベント検知部３１がイベントを検知すると（ステップＳ３２におけるＹｅｓ）、人物識別情報解析部１２は、そのイベントを検知した時刻の前後に撮影された一定期間の映像から監視対象の識別情報を抽出する（ステップＳ１２）。以降の処理は、図６に例示するステップＳ１３からステップＳ１９までの処理と同様である。
【０１２３】
以上のように、本実施形態では、イベント検知部３１がイベントを検出すると、人物識別情報解析部１２が、そのイベントを検知した時刻の前後に撮影された一定期間の映像から監視対象の識別情報を抽出する。そのため、映像を解析する処理を抑制することが可能になる。
【０１２４】
また、本実施形態の映像解析システムは、カメラを設置して映像を撮影することが難しい場所であっても、センサ等を用いてイベントを検出することができれば、その周囲に設置されたカメラにより撮影される映像を利用して、監視対象を特定することができる。
【０１２５】
実施形態５．
次に、本発明による映像解析システムの第５の実施形態を説明する。本実施形態では、ルールに適合する監視対象だけでなく、その監視対象に関連すると想定される監視対象も併せて特定する。
【０１２６】
図１４は、本発明による映像解析システムの第５の実施形態の構成例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。
【０１２７】
本実施形態の映像解析システムは、映像取得部１１と、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、出現履歴記憶部２２と、ルール管理部２３と、ルール記憶部２４と、行動検出部２５と、結果出力部１７と、出現履歴比較部３２と、人物関連管理部３３と、人物関連記憶部３４とを備えている。映像解析システムは、出力結果を記憶する出力結果記憶部２０に接続されていてもよい。
【０１２８】
すなわち、本実施形態の映像解析システムは、第１の実施形態の映像解析システムの構成と比較すると、出現履歴比較部３２と、人物関連管理部３３と、人物関連記憶部３４とをさらに備えている。それ以外の構成については、第１の実施形態と同様である。
【０１２９】
出現履歴比較部３２は、異なる監視対象の出現履歴の類似性に基づいて、関連する監視対象を特定する。具体的には、出現履歴比較部３２は、異なる監視対象間で出現履歴を比較し、監視対象間で、出現場所（撮影された場所や撮影装置識別情報）および出現時刻（撮影時刻）がそれぞれ近接する出現履歴の数をカウントする。
【０１３０】
ここで、出現場所が近接するとは、同一のカメラで撮影されていたり、近傍のカメラで撮影されていたりすることにより、監視対象が出現した位置が近いことを意味する。この出現場所の近接を判断する際、第１の実施形態で説明した移動可能時間が考慮されてもよい。また、出現時刻が近接するとは、撮影時刻が近いことを意味し、近接すると判断される期間として、例えば、数十秒以内の期間が設定される。
【０１３１】
そして、出現履歴比較部３２は、出現履歴の数が閾値以上である場合、その監視対象間で関連があると判断する。このように、異なる監視対象間で、近接する出現履歴を複数有するということは、出現履歴が類似すると言える。なお、この閾値は、例えば、最低２に設定される。出現履歴比較部３２は、行動検出部２５が出現履歴とルールとを比較する前までに、任意のタイミングで上述する処理を実行する。
【０１３２】
複数の監視対象が関連すると判断できる状況として、例えば、集団でうろついている状況が挙げられる。例えば、公共施設において、ある人達が１か所でのみほぼ同時に出現したとしてしても、この人達は、ただの通りすがりと判断できる。また、ある人達が離れた２か所でほぼ同時に出現した場合、この人達は、仲間かもしれないが、偶然の可能性もある。しかし、ある人達が離れた３か所以上でほぼ同時に出現した場合、仲間の可能性が高いため、これらの人達は関連があると推定できる。
【０１３３】
人物関連管理部３３は、出現履歴比較部３２により関連があると判断された監視対象のリストを人物関連記憶部３４に登録する。また、人物関連記憶部３４は、関連する監視対象のリストを記憶する。図１５は、人物関連記憶部３４が記憶する情報の例を示す説明図である。図１５に示す例では、人物関連記憶部３４は、人物ＩＤごとに関連人物と特定された１人以上の人物ＩＤを対応付けて記憶している。
【０１３４】
本実施形態の行動検出部２５は、出現履歴のパターンが規定されたルールに適合する監視対象を特定すると、その監視対象に関連する監視対象も併せて特定する。具体的には、行動検出部２５は、ルールに適合する監視対象を特定すると、その特定した監視対象に関連する監視対象を人物関連記憶部３４から特定する。結果出力部１７は、ルールに適合する監視対象とともに、関連する監視対象も出力する。
【０１３５】
また、行動検出部２５は、第３の実施形態または第４の実施形態で説明したように、発生したイベントの近くに出現する監視対象を特定し、その監視対象に関連する監視対象を出力してもよい。すなわち、本実施形態では、出現履歴比較部３２が、異なる監視対象の出現履歴の類似性に基づいて、関連する監視対象を特定する。したがって、ルールに適合する監視対象だけでなく、その監視対象と関連性を有すると推定される監視対象も併せて特定できる。
【０１３６】
なお、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、ルール管理部２３と、行動検出部２５と、結果出力部１７と、出現履歴比較部３２と、人物関連管理部３３とは、例えば、プログラム（映像解析プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
【０１３７】
また、人物識別情報解析部１２と、人物識別情報照合部１５と、出現履歴管理部２１と、ルール管理部２３と、行動検出部２５と、結果出力部１７と、出現履歴比較部３２と、人物関連管理部３３とは、それぞれが専用のハードウェアで実現されていてもよい。また、出現履歴記憶部２２と、ルール記憶部２４と、人物関連記憶部３４とは、例えば、磁気ディスク等により実現される。
【０１３８】
次に、第５の実施形態の変形例を説明する。第５の実施形態では、行動検出部２５は、ルールに適合する監視対象を特定し、その監視対象に関連する監視対象を合わせて特定していた。本変形例では、行動検出部２５は、ルールに適合する複数の監視対象の中から、関連する監視対象を特定する。
【０１３９】
具体的には、行動検出部２５は、ルールに適合する監視対象を複数特定する。行動検出部２５は、特定した複数の監視対象の中に関連する監視対象が含まれているか否かを人物関連記憶部３４から判定する。関連する監視対象が予め定めた件数以上含まれている場合、行動検出部２５は、その関連する監視対象を特定する。このように、ルールに適合する監視対象が関連するか否かを判定することで、例えば、以下の状況を推定できる。
【０１４０】
例えば、公共施設を利用する複数の人物のうち、一人の行動がスリの下見のような行動パターンに適合する場合、その複数の人物は、集団スリの可能性がある。ただし、それらの人物の一人だけが不審な行動をとるのは、偶然の可能性もある。しかし、関連する仲間の複数人が不審行動をとっていたら、これらの仲間は不審な動きをする集団の可能性がある。
【０１４１】
さらに、行動検出部２５は、監視対象を特定する際に利用したルール（イベント）の情報を利用して、監視対象を特定するようにしてもよい。このように、監視対象を特定する際に利用したルール（イベント）を利用することで、例えば、以下の状況を推定できる。
【０１４２】
例えば、１０回の類似犯罪イベント（例えば、スリ）が発生したとする。このうち、５回以上イベントに現れる人物はおらず、２〜３回程度イベント現れる人物が非常に多かった（例えば、１００人）とする。ルールに適合するか否かだけで判断した場合、ルールを５回に設定した時には不審人物は特定できず、ルールを２〜３回に設定した時には不審人物の数は多すぎてしまう。
【０１４３】
しかし、この１００人の中に仲間がおり、かつ、仲間が異なるイベントで観測されていたら、それはスリ集団と推定することが可能である。また、仲間が同じイベントで観測されたら、それは単に一緒に行動している人と推定することが可能である。このような場合、行動検出部２５は、ルールに適合する監視対象のうち、関連する監視対象であって、異なるルールに適合する監視対象を特定すればよい。
【０１４４】
このように、本変形例では、行動検出部２５が、ルールに適合する複数の監視対象の中から、その監視対象の出現履歴の類似性に基づいて関連する監視対象を特定するため、監視対象を特定する精度を、より高めることができる。
【０１４５】
次に、本発明の概要を説明する。図１６は、本発明による映像解析システムの概要を示すブロック図である。本発明による映像解析システムは、監視対象（例えば、人物、自動車）の同一性の推定に用いられる情報として監視対象の識別情報である監視対象識別情報（例えば、顔画像、ナンバープレート画像）を各映像（例えば、映像取得部１１によって撮影される各映像）から抽出し、抽出された監視対象識別情報と監視対象が撮影された撮影時刻とを含む監視対象撮影情報を生成する監視対象撮影情報生成手段８１（例えば、人物識別情報解析部１２）と、生成された複数の監視対象撮影情報から、同一と推定される監視対象の出現履歴を生成する出現履歴生成手段８２（例えば、人物識別情報照合部１５、出現履歴管理部２１）と、規定されたルール（例えば、ルール記憶部２４に記憶されたルール）に出現履歴が適合する監視対象を特定する特定手段８３（例えば、行動検出部２５）とを備えている。
【０１４６】
そのような構成により、監視する範囲が広い場合や事前に発見すべき監視対象が登録されていない場合でも、撮影された映像から不審な動きをしている監視対象を解析できる。すなわち、本発明によれば、監視対象の出現履歴に基づいて監視対象の動きを推定するため、監視を所望する全ての範囲を監視するカメラを設定することが不要になる。
【０１４７】
また、監視対象撮影情報生成手段８１は、監視対象が撮影された撮影位置（例えば、カメラの設置位置、撮影装置識別情報、カメラの撮影範囲など）を含む監視対象撮影情報を生成し、出現履歴生成手段８２は、撮影位置を含む出現履歴を生成してもよい。そして、特定手段８３は、撮影位置および撮影時刻を含む２つ以上の出現履歴の関係性により規定されるルール（例えば、上述する第１のルールから第４のルールなど）に、生成された出現履歴が適合する監視対象を特定してもよい。そのような構成によれば、出現履歴に含まれる出現情報に基づいて監視対象を特定できる。
【０１４８】
具体的には、特定手段８３は、イベントの発生日時に近接する撮影時刻およびイベントの発生場所に近接する撮影位置を有する出現履歴が予め定めた数以上の監視対象を特定すればよい。
【０１４９】
また、映像解析システムは、発生するイベントを検知する検知手段（例えば、イベント検知部３１）を備えていてもよい。そして、監視対象撮影情報生成手段８１は、発生したイベントの前後一定期間の映像を対象として、監視対象撮影情報を生成してもよい。そのような構成によれば、解析する映像の量を削減できる。
【０１５０】
また、映像解析システムは、異なる監視対象の出現履歴の類似性に基づいて、関連する監視対象を特定する関連性特定手段（例えば、出現履歴比較部３２）を備えていてもよい。そのような構成によれば、ルールに適合する監視対象だけでなく、その監視対象と関連性を有すると推定される監視対象も併せて特定できる。
【０１５１】
また、関連性特定手段は、ルールに適合する複数の監視対象の中から、その監視対象の出現履歴の類似性に基づいて、関連する監視対象を特定してもよい。そのような構成によれば、監視対象を特定する精度を、より高めることできる。
【０１５２】
また、監視対象撮影情報生成手段８１は、監視対象識別情報として顔画像を抽出してもよい。そして、出現履歴生成手段８２は、生成された監視対象撮影情報に含まれる顔画像を比較して、監視対象が同一か否か推定してもよい。
【０１５３】
例えば、所定の撮影位置を示す出現履歴の後、一定期間内に、撮影位置に基づいて出現が想定される他の撮影位置を示す出現履歴を有さないことを規定したルールが定義されていてもよい（例えば、ルール記憶部２４がこのルールを記憶していてもよい）。このとき、特定手段８３は、このルールに適合する監視対象を特定してもよい。
【０１５４】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１５５】
この出願は、２０１４年４月２８日に出願された日本特許出願２０１４−０９２４０１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１５６】
本発明は、例えば、監視カメラで撮影した映像を用いて、特定のエリアで特定のルールに合致する動きをしている人物を、映像解析により自動発見する映像解析システムに好適に適用される。
【符号の説明】
【０１５７】
１１  映像取得部
１２  人物識別情報解析部
１３  人物識別情報管理部
１５  人物識別情報照合部
１７  結果出力部
１８  人物識別情報記憶部
２０  出力結果記憶部
２１  出現履歴管理部
２２  出現履歴記憶部
２３  ルール管理部
２４  ルール記憶部
２５  行動検出部
２８  イベント管理部
２９  イベント記憶部
３１  イベント検知部
３２  出現履歴比較部
３３  人物関連管理部
３４  人物関連記憶部
ｕ１〜ｕ１０  人物
【図１】
2015166612.tif 000003
【図２】
2015166612.tif 000004
【図３】
2015166612.tif 000005
【図４】
2015166612.tif 000006
【図５】
2015166612.tif 000007
【図６】
2015166612.tif 000008
【図７】
2015166612.tif 000009
【図８】
2015166612.tif 000010
【図９】
2015166612.tif 000011
【図１０】
2015166612.tif 000012
【図１１】
2015166612.tif 000013
【図１２】
2015166612.tif 000014
【図１３】
2015166612.tif 000015
【図１４】
2015166612.tif 000016
【図１５】
2015166612.tif 000017
【図１６】
2015166612.tif 000018
【国際調査報告】
2015166612.tif 000019
2015166612.tif 000020
2015166612.tif 000021
2015166612.tif 000022