(57)【要約】  監視対象照合手段７１は、１台以上の撮影装置で撮影された映像に映る監視対象を照合して、同一と推定される監視対象を特定する。対象物特定手段７２は、特定された監視対象である特定監視対象の撮影時刻を用いて、撮影された特定監視対象の中から所望の対象物を特定する。
2014155922.tif 000002
【特許請求の範囲】
【請求項１】
１台以上の撮影装置で撮影された映像に映る監視対象を照合して、同一と推定される監視対象を特定する監視対象照合手段と、
特定された前記監視対象である特定監視対象の撮影時刻を用いて、前記特定監視対象の中から所望の対象物を特定する対象物特定手段とを備えた
ことを特徴とする対象物特定装置。
【請求項２】
対象物特定手段は、撮影時刻が所定の期間内に所定の頻度以上、または、所定の期間内における撮影時刻の時間幅が所定の期間以上の特定監視対象を対象物として特定する
請求項１記載の対象物特定装置。
【請求項３】
対象物特定手段は、所定の期間内における撮影時刻の時間幅のうち、最早撮影時刻と最遅撮影時刻の時間幅が判定条件で規定される所定の閾値以上の特定監視対象を対象物として特定する
請求項１または請求項２記載の対象物特定装置。
【請求項４】
対象物特定手段は、各撮影装置に応じて最早撮影時刻と最遅撮影時刻の時間幅の条件を規定した判定条件に基づいて、対象物を特定する
請求項３記載の対象物特定装置。
【請求項５】
対象物と特定されなかった監視対象の撮影時刻に基づいて、最早撮影時刻と最遅撮影時刻の時間幅の条件を規定した判定条件を生成する判定条件生成手段を備えた
請求項３または請求項４記載の対象物特定装置。
【請求項６】
対象物特定手段は、所定の期間内における撮影時刻の時間幅のうち、連続する撮影時刻の時間幅が判定条件で規定される所定の閾値以上の特定監視対象を対象物として特定する
請求項１または請求項２記載の対象物特定装置。
【請求項７】
対象物特定手段は、連続する撮影時刻の時間幅が、撮影装置間の判定条件に該当する特定監視対象を対象物として特定する
請求項６記載の対象物特定装置。
【請求項８】
対象物特定手段は、特定監視対象が撮影された撮影時刻が所定の期間内に含まれる頻度を撮影装置ごと規定した判定条件に基づいて、対象物を特定する
請求項１または請求項２記載の対象物特定装置。
【請求項９】
対象物特定手段は、特定監視対象が撮影された撮影時刻が所定の期間内に含まれる頻度を予め定めた撮影装置のグループごと規定した判定条件に基づいて、対象物を特定する
請求項８記載の対象物特定装置。
【請求項１０】
監視対象照合手段は、同一と推定される監視対象の尤度を算出し、
対象物特定手段は、前記尤度を基に算出される頻度を用いて対象物を特定する
請求項８または請求項９記載の対象物特定装置。
【請求項１１】
監視対象照合手段は、撮影装置が撮影した映像から抽出される顔画像を照合して、同一人物と推定される監視対象を特定する
請求項１から請求項１０のうちのいずれか１項に記載の対象物特定装置。
【請求項１２】
１台以上の撮影装置で撮影された映像に映る監視対象を照合して、同一と推定される監視対象を特定し、
特定された前記監視対象である特定監視対象の撮影時刻を用いて、前記特定監視対象の中から所望の対象物を特定する
ことを特徴とする対象物特定方法。
【請求項１３】
撮影時刻が所定の期間内に所定の頻度以上、または、所定の期間内における撮影時刻の時間幅が所定の期間以上の特定監視対象を対象物として特定する
請求項１２記載の対象物特定方法。
【請求項１４】
コンピュータに、
１台以上の撮影装置で撮影された映像に映る監視対象を照合して、同一と推定される監視対象を特定する監視対象照合処理、および、
特定された前記監視対象である特定監視対象の撮影時刻を用いて、前記特定監視対象の中から所望の対象物を特定する対象物特定処理
を実行させるための対象物特定プログラム。
【請求項１５】
コンピュータに、
対象物特定処理で、撮影時刻が所定の期間内に所定の頻度以上、または、所定の期間内における撮影時刻の時間幅が所定の期間以上の特定監視対象を対象物として特定させる
請求項１４記載の対象物特定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視対象の中から所望の対象物を特定する対象物特定装置、対象物特定方法および対象物特定プログラムに関する。
【背景技術】
【０００２】
駅や特定の施設などに監視カメラを設置し、その監視カメラで撮影される映像を解析して、各種の判断を行うことが行われている。その一つとして、監視する範囲内に不自然に長期間存在している人物や物体を、不審者あるいは不審物として特定することも行われている。【０００３】
関連する技術として、特定の人物を追跡し、その人物の行動を解析する行動解析方法が知られている。例えば、この行動解析方法では、１つのカメラまたは監視エリアが重複する複数のカメラを用いて特定の人物がどこの場所にいるか認識し、その人物の位置の時間変化を追跡することで、その人物がどこにどの程度の時間滞在していたかを識別する。【０００４】
また、撮影された画像から特定の人物を認識するために顔照合を行う人物認識方法も知られている。特許文献１には、顔画像認識処理を高速化し、登録作業の簡単化を図る顔画像認識装置が記載されている。特許文献１に記載された顔画像認識装置は、認識対象となる人物の正面の向きの顔画像及び正面以外の向きの平均的な顔画像を登録しておき、映像から抽出された顔領域の特徴と登録されている顔画像とを照合して、映像中の顔画像を認識する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−２３８１１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述する行動解析方法では、人物の行動を解析できる範囲は、カメラの撮影範囲に依存する。例えば、１つのカメラを使用する場合、人物の行動を解析できる範囲は、そのカメラで撮影できる範囲に限定される。また、多くの範囲を網羅しようとする場合、監視する範囲に隙間ができないように、多数のカメラを使用する必要がある。さらに、混雑している状況下で人物を撮影しようとしても、他の人物に重なって見えなくなる場合も多いため、特定の人物を完全に追跡することは困難である。【０００７】
また、特許文献１に記載された顔画像認識装置を用いる場合、事前に発見すべき不審者の情報が提供されている必要がある。すなわち、そもそも誰が不審者かわからない状況では、特許文献１に記載された顔画像認識装置を利用することはできない。【０００８】
そこで、本発明は、監視する範囲が広い場合や混雑している状況であっても、監視対象の中から、その範囲内に不自然に長期間存在する対象物を特定できる対象物特定装置、対象物特定方法および対象物特定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明による対象物特定装置は、１台以上の撮影装置で撮影された映像に映る監視対象を照合して、同一と推定される監視対象を特定する監視対象照合手段と、特定された監視対象である特定監視対象の撮影時刻を用いて、特定監視対象の中から所望の対象物を特定する対象物特定手段とを備えたことを特徴とする。【００１０】
本発明による対象物特定方法は、１台以上の撮影装置で撮影された映像に映る監視対象を照合して、同一と推定される監視対象を特定し、特定された監視対象である特定監視対象の撮影時刻を用いて、特定監視対象の中から所望の対象物を特定することを特徴とする。【００１１】
本発明による対象物特定プログラムは、コンピュータに、１台以上の撮影装置で撮影された映像に映る監視対象を照合して、同一と推定される監視対象を特定する監視対象照合処理、および、特定された監視対象である特定監視対象の撮影時刻を用いて、特定監視対象の中から所望の対象物を特定する対象物特定処理を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、監視する範囲が広い場合や混雑している状況であっても、監視対象の中から、その範囲内に不自然に長期間存在する対象物を特定できる。
【図面の簡単な説明】
【００１３】
【図１】本発明による対象物特定装置の一実施形態の構成例を示すブロック図である。
【図２】人物識別情報記憶部１８が記憶する情報の例を示す説明図である。
【図３】人物情報記憶部１９が記憶する情報の例を示す説明図である。
【図４】人物情報記憶部１９が記憶する情報の他の例を示す説明図である。
【図５】監視対象の滞在時間を判断する動作の例を示す説明図である。
【図６】時間幅について規定する判定条件の例を示す説明図である。
【図７】人物情報記憶部１９が記憶する情報の具体例を示す説明図である。
【図８】複数の映像取得部１１が監視対象を撮影する動作の例を示す説明図である。
【図９】対象物特定装置の動作例を示すフローチャートである。
【図１０】本発明による対象物特定装置の概要を示すブロック図である。
【図１１】本発明による対象物特定装置の他の概要を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を図面を参照して説明する。以下の説明では、監視対象の代表例である人物を監視し、監視する範囲内に不自然に長期間滞在している人物を対象物として特定する場合を例示する。ただし、監視対象は、人物に限定されない。監視対象は、例えば、自動車などの物であってもよい。この場合、監視する範囲内に長時間停車している自動車を対象物として特定することになる。本発明で対象物には、物だけでなく人も含まれる。
【００１５】
図１は、本発明による対象物特定装置の一実施形態の構成例を示すブロック図である。本実施形態の対象物特定装置は、映像取得部１１と、人物識別情報解析部１２と、人物識別情報管理部１３と、長時間滞在者推定部１４と、人物識別情報照合部１５と、人物情報管理部１６と、結果出力部１７と、人物識別情報記憶部１８と、人物情報記憶部１９とを備えている。
【００１６】
映像取得部１１は、予め定めた監視範囲の映像を取得する。また、映像取得部１１は、映像を取得した時刻（以下、撮影時刻と記す。）も併せて取得する。映像取得部１１は、監視範囲の映像とその映像が撮影された時刻（すなわち、撮影時刻）とを人物識別情報解析部１２に入力する。映像取得部１１は、例えば、カメラなどの撮影装置により実現される。
【００１７】
なお、図１に例示する対象物特定装置では、映像取得部１１を１台のみ備えているが、映像取得部１１の台数は１台に限定されず、２台以上であってもよい。また、各映像取得部１１が撮影する範囲は、一部が重なっていてもよく、全て重なっていなくてもよい。対象物特定装置が映像取得部１１を複数台備えている場合、映像取得部１１は、取得した映像を人物識別情報解析部１２に入力する際、各映像取得部１１を識別する情報（以下、撮影装置識別情報と記す。）も併せて入力してもよい。
【００１８】
また、本実施形態では、映像取得部１１は、監視対象とする施設内で、特に注視される範囲を撮影できるように設置されることが好ましい。ただし、映像取得部１１は施設内全ての範囲を撮影できるように設置される必要はない。
【００１９】
人物識別情報解析部１２は、各映像取得部１１が撮影した各映像に映る監視対象を解析する。具体的には、人物識別情報解析部１２は、映像中に監視対象を検出すると、その監視対象の識別情報（以下、監視対象識別情報と記す。）と、その監視対象が撮影された撮影時刻とを含む情報（以下、監視対象撮影情報と記す。）を抽出する。
【００２０】
人物識別情報解析部１２が抽出する監視対象識別情報の内容は、監視対象の内容に応じて予め定められる。例えば、監視対象が人物の場合、人物識別情報解析部１２は、映像中から人物を検出したときに、その人物の顔画像を監視対象識別情報として抽出してもよい。また、例えば、監視対象が自動車の場合、人物識別情報解析部１２は、映像中から自動車を検出したときに、その自動車のナンバープレートの画像を監視対象識別情報として、抽出してもよい。
【００２１】
ただし、人物識別情報解析部１２が抽出する情報は、顔画像やナンバープレートの画像に限定されない。監視対象を特定可能な情報であれば、抽出される情報は任意である。また、人物の識別に用いられる監視対象識別情報のことを、人物識別情報と言うことができる。なお、対象とする画像から特定の識別情報を抽出する方法は広く知られているため、ここでは詳細な説明を省略する。
【００２２】
また、各映像取得部１１から明示的な撮影装置識別情報が送信されない場合、人物識別情報解析部１２は、各映像取得部１１から映像が入力されたときに、映像を入力した各映像取得部１１に応じて撮影装置識別情報を付与してもよい。
【００２３】
人物識別情報管理部１３は、人物識別情報解析部１２が解析した情報を人物識別情報記憶部１８に記憶させる。また、人物識別情報管理部１３は、人物情報管理部１６の要求に応じて、人物識別情報記憶部１８から必要な情報を抽出し、人物情報管理部１６に通知する。
【００２４】
人物識別情報記憶部１８は、人物識別情報解析部１２が解析した情報を記憶する。具体的には、人物識別情報記憶部１８は、個々の監視対象撮影情報を識別する識別子と、その監視対象撮影情報に含まれる監視対象識別情報と、その撮影時刻とを対応付けて記憶する。
【００２５】
図２は、人物識別情報記憶部１８が記憶する情報の例を示す説明図である。図２に示す例は、監視対象が人物の場合に人物識別情報記憶部１８が記憶する内容の例である。図２に示す例では、監視対象撮影情報を識別する識別子として人物画像ＩＤが用いられ、監視対象識別情報として人物識別情報が用いられていることを示す。また、図２に例示するように、人物識別情報記憶部１８は、映像を取得したカメラ名（例えば、撮影装置識別情報）や、人物識別情報解析部１２が検出した人物画像そのものを記憶してもよい。
【００２６】
人物情報管理部１６は、人物識別情報照合部１５が照合した情報を人物情報記憶部１９に記憶させる。また、人物情報管理部１６は、長時間滞在者推定部１４の要求に応じて、人物情報記憶部１９から必要な情報を抽出し、長時間滞在者推定部１４に通知する。
【００２７】
人物情報記憶部１９は、特定された監視対象と、その監視対象の撮影時刻を記憶する。図３は、人物情報記憶部１９が記憶する情報の例を示す説明図である。図３に示す例は、監視対象が人物の場合に人物情報記憶部１９が記憶する内容の例である。図３に示す例では、人物情報記憶部１９が、人物を識別する情報（人物ＩＤ）ごとに、その人物が抽出された監視対象撮影情報の識別子（人物画像ＩＤ）と、その人物の撮影回数と、その人物が撮影された最も早い時刻（以下、最早撮影時刻と記す。）と、最も遅い時刻（以下、最遅撮影時刻と記す。）とを対応付けて記憶していることを示す。
【００２８】
ただし、特定された監視対象の撮影時刻を人物情報記憶部１９が記憶する態様は、図３に例示する態様に限定されない。人物情報記憶部１９は、特定された監視対象の撮影時刻を個々に記憶するようにしてもよい。図４は、人物情報記憶部１９が記憶する情報の他の例を示す説明図である。図４に示す例も、監視対象が人物の場合に人物情報記憶部１９が記憶する内容の例である。
【００２９】
図４に示す例では、人物情報記憶部１９が、人物を識別する情報（人物ＩＤ）ごとに、その人物が抽出された監視対象撮影情報の識別子（人物画像ＩＤ）と、撮影時刻とを対応付けて記憶していることを示す。また、図４に例示するように、人物情報記憶部１９は、監視対象撮影情報の識別子（人物画像ＩＤ）に、映像を取得したカメラ名（例えば、撮影装置識別情報）と、取得された映像から推定される監視対象の確からしさ（尤度）とを対応付けて記憶していてもよい。
【００３０】
人物識別情報照合部１５は、監視対象識別情報を照合して、同一と推定される監視対象を特定する。例えば、監視対象識別情報として監視対象の顔画像が抽出されている場合、人物識別情報照合部１５は、顔画像を照合して、同一と推定される人物を特定してもよい。
【００３１】
具体的には、人物識別情報照合部１５は、人物情報記憶部１９に記憶されている人物の監視対象識別情報と、人物識別情報記憶部１８に記憶された監視対象撮影情報に含まれる監視対象識別情報とを照合し、人物情報記憶部１９に同一人物が記憶されているか否かを判定する。
【００３２】
ここで、人物識別情報記憶部１８が図３に例示する情報を記憶しているとする。同一人物が人物情報記憶部１９に記憶されていると判断された場合、人物識別情報照合部１５は、監視対象撮影情報に含まれる撮影時刻を、人物情報記憶部１９に記憶されている人物の最早撮影時刻及び最遅撮影時刻と比較する。
【００３３】
撮影時刻が最早撮影時刻よりも早い場合、人物識別情報照合部１５は、その人物の最早撮影時刻を撮影時刻で更新するよう人物情報管理部１６に依頼する。また、撮影時刻が最遅撮影時刻よりも遅い場合、人物識別情報照合部１５は、その人物の最遅撮影時刻を撮影時刻で更新するよう人物情報管理部１６に依頼する。なお、撮影時刻が最早撮影時刻と同じか最早撮影時刻よりも遅く、かつ、最遅撮影時刻と同じか最遅撮影時刻よりも早い場合には、人物識別情報照合部１５は、撮影時刻の更新処理を行わない。そして、人物識別情報照合部１５は、その人物の撮影回数を１増加させるよう人物情報管理部１６に依頼する。
【００３４】
一方、同一人物が人物情報記憶部１９に記憶されていないと判断された場合、人物識別情報照合部１５は、人物情報記憶部１９に人物を新たに追加し、最早撮影時刻および最遅撮影時刻に撮影時刻を設定するよう人物情報管理部１６に依頼する。また、人物識別情報照合部１５は、その人物の撮影回数に１を設定するよう人物情報管理部１６に依頼する。
【００３５】
次に、人物識別情報記憶部１８が図４に例示する情報を記憶しているとする。同一人物が人物情報記憶部１９に記憶されている場合、人物識別情報照合部１５は、同一と判断した人物の人物ＩＤに、人物画像ＩＤと撮影時刻とを対応付けた情報を人物情報記憶部１９に記憶させるよう人物情報管理部１６に依頼する。
【００３６】
一方、同一人物が人物情報記憶部１９に記憶されていないと判断された場合、人物識別情報照合部１５は、新たな人物ＩＤを割り振り、その人物ＩＤに人物画像ＩＤと撮影時刻とを対応付けた情報を、人物情報記憶部１９に記憶させるよう人物情報管理部１６に依頼する。
【００３７】
人物識別情報記憶部１８が図４に例示する情報を記憶している場合、人物識別情報照合部１５は、撮影時刻とともにその映像を撮影したカメラ名（例えば、撮影装置識別情報）を人物情報記憶部１９に記憶させるよう人物情報管理部１６に依頼してもよい。
【００３８】
また、人物識別情報照合部１５は、監視対象識別情報を照合する際、同一と推定する監視対象の確からしさ（尤度）を算出してもよい。例えば、ある顔画像を照合した際、Ａさんと判断する確からしさを０．８、Ｂさんと判断する確からしさを０．３、Ｃさんと判断する確からしさを０．２と算出したとする。この場合、人物識別情報照合部１５は、確からしさを判断した人物の人物ＩＤごとに、人物画像ＩＤ、撮影時刻および算出した確からしさを対応付けた情報を人物情報記憶部１９に記憶させるよう人物情報管理部１６に依頼してもよい。
【００３９】
なお、画像同士を比較して、両者が一致するか否かを判断する方法、および、両者が一致する確からしさを算出する方法は広く知られているため、ここでは、詳細な説明を省略する。
【００４０】
長時間滞在者推定部１４は、同一と推定された監視対象の監視対象撮影情報に含まれる撮影時刻を用いて、撮影された監視対象の中から所望の対象物を特定する。具体的には、長時間滞在者推定部１４は、所定の期間内に撮影時刻が含まれる監視対象撮影情報の頻度が所定の閾値以上、または、所定の期間内における撮影時刻の時間幅が所定の期間以上の監視対象を対象物と特定する。なお、この所定の期間のことを、分析時間幅と記すこともある。
【００４１】
ここで、撮影時刻の時間幅とは、所定の期間内で任意に選択された２つの撮影時刻の差のことを意味する。本実施形態では、撮影時刻の時間幅とは、所定の期間内で撮影された監視対象の撮影時刻のうち、任意の撮影時刻間の幅ということができる。また、所定の期間内に撮影時刻が含まれる監視対象撮影情報の頻度とは、所定の期間内で監視対象が撮影された頻度と言うこともできる。
【００４２】
このような条件に該当する監視対象を対象物と特定する理由を説明する。以下の説明では、駅構内の不自然な長期滞在者を特定する場合を例に説明する。ただし、不自然な長期滞在者を特定する場所は、駅構内に限定されない。このような場所として、例えば、商業施設やビルの所定のエリアなど、長期滞在することが不自然と判断されるような任意の範囲が考えられる。
【００４３】
例えば、すりや置き引き、痴漢などの犯罪者は、一般客と異なり、あるエリア内に長時間不自然に滞在することが想定される。言い換えると、一般の乗客は、通常、改札からホームに向かい、電車に乗車するといった動きをする。このように一方向に移動する乗客であれば、カメラに映る時間は限られ、同じカメラに長期間映ることは考えにくい。そのため、駅構内の任意の箇所に長時間滞在している人物は、不自然な長期滞在者と言える。
【００４４】
また、例えば、複数のカメラが遠い位置に設置されている場合、その移動時間を考慮すると、対象とする人物が各カメラで撮影されるまでに多少時間がかかっても、その行動は自然な行動と考えられる。一方、複数のカメラが近い位置に設置されている場合、対象とする人物が各カメラで撮影されるまでに時間がかかるのは不自然であると考えられる。このように、各カメラ間で定義される時間幅を超えてそれぞれのカメラに撮影される人物は、不自然な長期滞在者と言える。
【００４５】
さらに、カメラが撮影する範囲の特性によっても、不自然な長期滞在者と言える場合がる。例えば、待ち合わせ場所やベンチ付近では、人物が一箇所に長期間滞在してもそれほど不自然な行動とは考えられない。しかし、人物がこのような箇所を転々としている場合には、その人物の行動は不自然であると考えられる。このように、複数のカメラで撮影される頻度が所定の値を超えるような人物も、不自然な長期滞在者と言える。
【００４６】
長時間滞在者推定部１４は、このように定義される不自然な長期滞在者を推定して、不審者と思われる人物をグレーリストとして抽出する。なお、不自然な長期滞在者は、上記説明で定義される監視対象に限定されない。例えば、カメラが入場口と出場口に設置されている場合、人物が一方のカメラにしか映っていないのであれば、その人物の行動は不自然であると考えられるため、このような人物を不自然な長期滞在者と定義してもよい。
【００４７】
なお、撮影時刻の時間幅があまりにも長い監視対象は、不自然な長期滞在者と言えない場合がある。例えば、駅構内で人物を監視する場合、同一人物が出勤時間帯と退勤時刻帯に撮影される可能性がある。このような人物の動きは、自然な動きと言えるからである。そのため、長時間滞在者推定部１４は、撮影時刻の時間幅があまりにも長い監視対象を対象物から除くようにしてもよい。また、このような監視対象を除外するため、監視対象の性質に応じ、適切な分析時間幅を予め定めておいてもよい。
【００４８】
また、長時間滞在者推定部１４は、人物だけでなく、不自然に長期間停車する自動車などの物を特定してもよい。この場合、不自然に長期間滞在する物は、不自然な長期滞在物と言うことができる。以下、長時間滞在者推定部１４が、所望の対象物として、不自然な長期滞在者あるいは不自然な長期滞在物を監視対象から特定する方法を説明する。
【００４９】
まず、長時間滞在者推定部１４が、所定の期間内における撮影時刻の時間幅に基づいて対象物を特定する方法を説明する。長時間滞在者推定部１４は、所定の期間内における撮影時刻の時間幅のうち、最早撮影時刻と最遅撮影時刻の時間幅が判定条件で規定された所定の閾値以上の監視対象を対象物と特定してもよい。以下の、この所定の閾値のことを、長期滞在判定時間と記すこともある。
【００５０】
これは、最早撮影時刻と最遅撮影時刻の差（すなわち、撮影時間間隔の最大値）があまりに長い人物は、不自然な長期滞在者と考えられるからである。
【００５１】
図５は、監視対象の滞在時間を判断する動作の例を示す説明図である。図５に示す例では、２台の映像取得部１１ａ，１１ｂによって撮影された映像から、時間軸の方向に向かって監視対象である人物ｕ１〜ｕ１０が特定されていることを示す。また、２つの点線で挟まれた期間を分析時間幅とし、長破線で挟まれた期間を長期滞在判定時間とする。分析時間幅には、例えば、３時間や１日など、対象物を特定する範囲が指定され、長期滞在判定時間には、例えば、３０分など、不自然な滞在と判定される時間が設定される。
【００５２】
例えば、同一人物と推定された人物ｕ３と人物ｕ４に着目すると、撮影時刻の幅は長期滞在判定時間よりも短い。そのため、長時間滞在者推定部１４は、人物ｕ３（人物ｕ４）を不自然な長期滞在者とは判断しない。同様に、同一人物と推定された人物ｕ５と人物ｕ８に着目すると、撮影された映像取得部は異なるが、撮影時刻の幅は長期滞在判定時間よりもやはり短い。そのため、長時間滞在者推定部１４は、人物ｕ５（人物ｕ８）を不自然な長期滞在者とは判断しない。
【００５３】
一方、同一人物と推定された人物ｕ２，人物ｕ６，人物ｕ７および人物ｕ９に着目すると、最早撮影時刻と最遅撮影時刻の差は長期滞在判定時間よりも長い。そのため、長時間滞在者推定部１４は、人物ｕ２（人物ｕ６，人物ｕ７および人物ｕ９）を不自然な長期滞在者と判断する。
【００５４】
なお、長期滞在判定時間について規定する判定条件は、映像取得部１１の数に関わらず、全体で１つ定められていてもよい。この場合、この判定条件は、映像取得部１１が設置される施設全体を対象として監視対象が滞在している時間を判断するための条件であると言える。
【００５５】
また、長期滞在判定時間について規定する判定条件は、各映像取得部１１に応じて定められていてもよい。この場合、この判定条件は、各映像取得部１１の撮影範囲で撮影される監視対象の滞在時間を判断するための条件であると言える。
【００５６】
また、長期滞在判定時間について規定する判定条件は、各映像取得部１１の間で定められていてもよい。この場合、この判定条件は、複数の映像取得部１１の撮影範囲の間を監視対象が移動したときの、撮影範囲間の滞在時間を判断するための条件であると言える。
【００５７】
図６は、時間幅について規定する判定条件の例を示す説明図である。図６に示す例は、各映像取得部１１に応じて定められる時間幅の閾値と、各映像取得部１１の間で定められる時間幅の閾値を示している。図６の例では、例えば、カメラ１が撮影する範囲に許容される滞在時間は、１０秒であることを示し、カメラ１とカメラ２が撮影する範囲に許容される滞在時間は、５０秒であることを示している。
【００５８】
次に、長時間滞在者推定部１４が、所定の期間内における撮影時刻の時間幅に基づいて対象物を特定する他の方法を説明する。長時間滞在者推定部１４は、所定の期間内における撮影時刻の時間幅のうち、連続する撮影時刻の時間幅が判定条件で規定される所定の閾値以上の監視対象を対象物と特定してもよい。これは、異なる映像取得部１１で撮影される時間幅があまりに長い人物は、不自然な長期滞在者と考えられるからである。
【００５９】
連続する撮影時刻の時間幅の条件を規定した判定条件は、映像取得部１１の数に関わらず、全体で１つ定められていてもよい。この場合、この判定条件は、映像取得部１１が設置される施設内を監視対象が移動する時間を判断するための条件であると言える。
【００６０】
また、連続する撮影時刻の時間幅の条件を規定した判定条件は、各映像取得部１１に応じて定められていてもよい。この場合、この判定条件は、各映像取得部１１の撮影範囲の性質に応じて許容される監視対象の滞在時間を定めた条件であると言える。
【００６１】
また、連続する撮影時刻の時間幅の条件を規定した判定条件は、各映像取得部１１の間で定められていてもよい。この場合、この判定条件は、複数の映像取得部１１の撮影範囲の間を監視対象が移動する時間を判断するための条件であると言える。例えば、近い位置に設置された映像取得部１１の間で撮影される時間幅があまりに長い場合、不自然な長期滞在者と考えられるからである。
【００６２】
以下、図６および図７を参照して、連続する撮影時刻の時間幅の条件を規定した判定条件に基づいて、対象物を特定する方法を説明する。図７は、人物情報記憶部１９が記憶する情報の具体例を示す説明図である。ここでは、３つの映像取得部１１を、それぞれカメラ１、カメラ２、カメラ３と記す。また、時間幅について規定する判定条件として、図６に例示する条件が設定されているとする。
【００６３】
まず、カメラ１が、人物画像ＩＤ１で識別される映像を０時０分０秒に撮影したとする。その後、カメラ２が、人物画像ＩＤ２で識別される映像を０時０分３０秒に撮影したとする。カメラ１とカメラ２との間の時間幅として設定された条件は、図６に示す例では、５０秒である。２つの撮影時刻の差は３０秒であるため、長時間滞在者推定部１４は、この監視対象を対象物として特定しない。
【００６４】
さらに、カメラ３が、人物画像ＩＤ３で識別される映像を０時０分４５秒に撮影したとする。カメラ２とカメラ３との間の時間幅として設定された条件は、図６に示す例では、４０秒である。２つの撮影時刻の差は１５秒であるため、長時間滞在者推定部１４は、この監視対象を対象物として特定しない。
【００６５】
仮に、カメラ３が、人物画像ＩＤ３で識別される映像を０時２分０秒に撮影したとする。この場合、２つの撮影時刻の差は９０秒であるため、長時間滞在者推定部１４は、この監視対象を対象物として特定する。
【００６６】
なお、上記説明では、長期滞在判定時間の条件を規定した判定条件が、予め定められている場合を例示した。ただし、この判定条件は、対象物と特定されなかった監視対象の撮影時刻に基づいて、動的に生成されてもよい。
【００６７】
以下、判定条件を生成する方法の一例を説明する。人物情報管理部１６は、長期滞在判定時間よりも短い滞在時間の監視対象について、その滞在時間の統計を取ることで、長期滞在判定時間を算出してもよい。
【００６８】
具体的には、人物情報管理部１６は、統計対象とする監視対象の情報から、撮影時間間隔の最大値、あるいは各映像取得部１１の時間間隔で、滞在時間の平均値を算出し、その定数倍（例えば、２倍）の時間を長期滞在判定時間と算出してもよい。
【００６９】
また、他にも、人物情報管理部１６は、統計対象とする監視対象の情報から、撮影時間間隔の最大値、あるいは各映像取得部１１の時間間隔で、滞在時間の平均と分散を算出し、人数の一定割合（例えば、５％）が長期滞在者と判定される時間間隔の閾値を長期滞在判定時間と算出してもよい。
【００７０】
ただし、長期滞在判定時間の算出方法は、これらの方法に限定されない。例えば、１つの映像取得部１１が撮影した映像中の監視対象の移動速度を測定し、その移動速度と映像取得部１１の間の距離に基づいて長期滞在判定時間を算出してもよい。
【００７１】
このように動的に長期滞在判定時間を算出することで、実際の状況に応じた適切な判定条件を利用できるようになり、監視対象からより適切に対象物を特定できるようになる。
【００７２】
次に、長時間滞在者推定部１４が、所定の期間で監視対象が撮影される頻度に基づいて対象物を特定する方法を説明する。長時間滞在者推定部１４は、所定の期間内に撮影時刻が含まれる監視対象撮影情報の頻度が予め定めた閾値以上の監視対象を対象物と特定してもよい。これは、あまりに頻繁に撮影される監視対象者は、不自然な長期滞在者と考えられるからである。
【００７３】
図８は、複数の映像取得部１１が監視対象を撮影する動作の例を示す説明図である。図８に示す例では、映像取得部１１ａ，１１ｂ，１１ｃ，１１ｄが、それぞれエリアＡ，Ｂ，Ｃ，Ｄを撮影しているものとする。
【００７４】
撮影される映像から人物が検出されると、各人物の人物識別情報が抽出され、人物識別情報記憶部１８に記憶される。図８に示す例では、エリアＡ，Ｂ，Ｃ，Ｄを撮影したいずれの映像にも、人物ｕ１１が撮影されている。そのため、人物識別情報記憶部１８には、人物ｕ１１に関する人物識別情報が４件登録されていることになる。そこで、長時間滞在者推定部１４は、この登録頻度に基づいて、監視対象の人物の中からこの人物ｕ１１を対象物として特定する。特定された対象物は、結果出力部１７により例えば、出力結果記憶部２０に出力される。
【００７５】
頻度の条件を規定した判定条件は、映像取得部１１の数に関わらず、全体で１つ定められていてもよい。この場合、この判定条件は、映像取得部１１が設置される施設全体を対象として監視対象が撮影される頻度を判断するための条件であると言える。
【００７６】
また、頻度の条件を規定した判定条件は、各映像取得部１１に応じて定められていてもよい。この場合、この判定条件は、各映像取得部１１の撮影範囲における監視対象の撮影頻度を判断するための条件であると言える。
【００７７】
また、頻度の条件を規定した判定条件は、任意の映像取得部１１をまとめたグループに応じて定められていてもよい。この場合、この判定条件は、グループに属する映像取得部１１の撮影範囲における監視対象の撮影頻度を判断するための条件であると言える。
【００７８】
例えば、一箇所の待ち合わせ場所であれば、複数回撮影されていても不自然な長期滞在者とは考えにくいが、複数の待ち合わせ場所で、複数回撮影されているような場合は不自然な長期滞在者と考えられる。任意の映像取得部１１をグループ化した条件を設定することで、このような不自然な長期滞在者を特定することが可能になる。
【００７９】
また、人物識別情報照合部１５が同一と推定する監視対象の確からしさ（尤度）を算出している場合、長時間滞在者推定部１４は、尤度を基に算出される頻度を用いて対象物を特定してもよい。例えば、人物情報記憶部１９に、ある監視対象の情報が２件登録されているとする。このとき、各監視対象の尤度が、それぞれ０．５である場合、長時間滞在者推定部１４は、その頻度を１（＝０．５×２）と判断して、対象物を特定してもよい。
【００８０】
また、人物識別情報照合部１５が尤度を算出している場合、長時間滞在者推定部１４は、尤度が所定の値以上の監視対象撮影情報のみを対象に推定処理を行ってもよい。これは、長時間滞在者推定部１４が所定の期間内における撮影時刻の時間幅に基づいて対象物を特定する際にも、同様に適用可能である。すなわち、長時間滞在者推定部１４は、ある監視対象について尤度が所定の値以上の監視対象撮影情報に含まれる撮影時刻の時間幅を計算するようにしてもよい。
【００８１】
長時間滞在者推定部１４は、特定した対象物の画像や撮影装置識別情報、撮影時刻などをリスト化し、結果出力部１７に通知する。
【００８２】
結果出力部１７は、特定された対象物を任意の方法で出力する。結果出力部１７は、例えば、出力結果記憶部２０に、出力結果を記憶してもよい。また、結果出力部１７は、出力結果記憶部２０に記憶された情報から、異なる時間帯や異なる日に抽出された共通の監視対象を抽出してもよい。このような対象物は、特に注視すべき対象物であるため、結果出力部１７は、例えば、このような人物を不自然な長期滞在者の常習犯として出力してもよい。
【００８３】
人物識別情報解析部１２と、人物識別情報管理部１３と、長時間滞在者推定部１４と、人物識別情報照合部１５と、人物情報管理部１６と、結果出力部１７とは、例えば、プログラム（対象物特定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、対象物特定装置の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、人物識別情報解析部１２、人物識別情報管理部１３、長時間滞在者推定部１４、人物識別情報照合部１５、人物情報管理部１６および結果出力部１７として動作してもよい。
【００８４】
また、人物識別情報解析部１２と、人物識別情報管理部１３と、長時間滞在者推定部１４と、人物識別情報照合部１５と、人物情報管理部１６と、結果出力部１７とは、それぞれが専用のハードウェアで実現されていてもよい。また、人物識別情報記憶部１８と、人物情報記憶部１９とは、例えば、磁気ディスク等により実現される。
【００８５】
次に、本実施形態の対象物特定装置の動作を説明する。図９は、本実施形態の対象物特定装置の動作例を示すフローチャートである。
【００８６】
まず、映像取得部１１が、撮影範囲の映像を取得し（ステップＳ１１）、撮影した映像を人物識別情報解析部１２に入力する。人物識別情報解析部１２は、入力された映像から監視対象を検出すると、その監視対象の識別情報を抽出し（ステップＳ１２）、抽出した監視対象識別情報を人物識別情報記憶部１８に記憶する（ステップＳ１３）。
【００８７】
人物識別情報照合部１５は、人物識別情報記憶部１８に記憶された監視対象識別情報と人物情報記憶部１９に記憶された監視対象の監視対象識別情報を照合する（ステップＳ１４）。同一の監視対象が存在する場合（ステップＳ１５におけるＹｅｓ）、人物情報管理部１６は、その監視対象の撮影時刻を更新する（ステップＳ１６）。一方、同一の監視対象が存在しない場合（ステップＳ１５におけるＮｏ）、人物情報管理部１６は、その監視対象を新たな監視対象として、撮影時刻とともに人物情報記憶部１９に記憶する（ステップＳ１７）。
【００８８】
長時間滞在者推定部１４は、特定された同一人物の監視対象撮影情報に含まれる撮影時刻を用いて、監視対象の中から所望の対象物を特定する（ステップＳ１８）。長時間滞在者推定部１４は、撮影時刻の時間幅や頻度に基づいて、対象物を特定する。そして、結果出力部１７は、特定した対象物を出力する（ステップＳ１９）。
【００８９】
以上のように、本実施形態によれば、人物識別情報解析部１２が、各映像に映る監視対象を解析して、監視対象識別情報と撮影時刻とを含む監視対象撮影情報を抽出し、人物識別情報照合部１５が、監視対象識別情報を照合して、同一と推定される監視対象を特定する。そして、長時間滞在者推定部１４が、特定された監視対象の監視対象撮影情報に含まれる撮影時刻を用いて、監視対象の中から所望の対象物を特定する。
【００９０】
このとき、長時間滞在者推定部１４は、例えば、所定の期間内に撮影時刻が含まれる監視対象撮影情報の頻度が所定の閾値以上、または、所定の期間内における撮影時刻の時間幅が所定の期間以上の監視対象を対象物と特定する。よって、監視する範囲が広い場合や混雑している状況であっても、監視対象の中から、その範囲内に不自然に長期間存在する対象物を特定できる。
【００９１】
例えば、駅構内で本実施形態の対象物特定装置を用いた場合、まず、駅の中に設置された１台以上の映像取得部１１によって撮影される映像から、人物識別情報解析部１２が、顔や人物を識別できる情報を取得する。人物識別情報照合部１５は、その人物を識別できる情報を、異なる時間帯や、複数のカメラで得られた情報と照合することで、同じ人物が撮影された時間幅や頻度を計算する。そのため、不審者が事前に提供されていない場合であっても、監視対象ごとに撮影時刻のリストを生成できる。
【００９２】
そして、長時間滞在者推定部１４が、この時間幅や頻度などを用いて、一般的な利用者とは異なる、不自然な施設内の長期滞在者を発見する。そのため、全ての監視対象エリアを網羅するようにカメラを設置する必要がなく、混雑している状況で監視対象の一部が撮影できない状況があっても、他の撮影時刻から監視対象を特定することが可能になる。
【００９３】
次に、本発明の概要を説明する。図１０は、本発明による対象物特定装置の概要を示すブロック図である。本発明による対象物特定装置は、１台以上の撮影装置（例えば、映像取得部１１）で撮影された映像に映る監視対象を照合して、同一と推定される監視対象を特定する監視対象照合手段７１（例えば、人物識別情報照合部１５）と、特定された監視対象である特定監視対象の撮影時刻を用いて、特定監視対象の中から所望の対象物を特定する対象物特定手段７２（例えば、長時間滞在者推定部１４）とを備えている。
【００９４】
そのような構成により、監視する範囲が広い場合や混雑している状況であっても、監視対象の中から、その範囲内に不自然に長期間存在する対象物を特定できる。
【００９５】
また、対象物特定手段７２は、撮影時刻が所定の期間内（例えば、分析時間幅）に所定の頻度以上、または、所定の期間内における撮影時刻の時間幅が所定の期間（例えば、長期滞在判定時間）以上の特定監視対象を対象物として特定してもよい。
【００９６】
また、対象物特定手段７２は、所定の期間内における撮影時刻の時間幅のうち、最早撮影時刻と最遅撮影時刻の時間幅が判定条件で規定される所定の閾値（例えば、長期滞在判定時間）以上の特定監視対象を対象物として特定してもよい。
【００９７】
また、対象物特定手段７２は、各撮影装置に応じて最早撮影時刻と最遅撮影時刻の時間幅の条件を規定した判定条件（例えば、図６に例示する判定条件）に基づいて、対象物を特定してもよい。
【００９８】
また、対象物特定装置は、対象物と特定されなかった監視対象の撮影時刻に基づいて、最早撮影時刻と最遅撮影時刻の時間幅の条件を規定した判定条件を生成する判定条件生成手段（例えば、人物情報管理部１６）を備えていてもよい。このように、動的に判定条件を算出することで、実際の状況に応じた適切な判定条件を利用できるようになり、監視対象からより適切に対象物を特定できるようになる。
【００９９】
一方、対象物特定手段７２は、所定の期間内における撮影時刻の時間幅のうち、連続する撮影時刻の時間幅が判定条件で規定される所定の閾値以上の特定監視対象を対象物として特定してもよい。
【０１００】
また、対象物特定手段７２は、連続する撮影時刻の時間幅が、撮影装置間の判定条件に該当する特定監視対象を対象物として特定してもよい。
【０１０１】
また、対象物特定手段７２は、特定監視対象が撮影された撮影時刻が所定の期間内に含まれる頻度を撮影装置ごと規定した判定条件に基づいて、対象物を特定してもよい。
【０１０２】
また、対象物特定手段７２は、特定監視対象が撮影された撮影時刻が所定の期間内に含まれる頻度を予め定めた撮影装置のグループごと規定した判定条件に基づいて、対象物を特定してもよい。
【０１０３】
また、監視対象照合手段７１は、同一と推定される監視対象の尤度を算出し、対象物特定手段７２は、尤度を基に算出される頻度を用いて対象物を特定してもよい。
【０１０４】
また、監視対象照合手段７１は、撮影装置が撮影した映像から抽出される顔画像を照合して、同一人物と推定される監視対象を特定してもよい。
【０１０５】
なお、監視対象照合手段７１は、映像に映る監視対象を照合する前に、各監視対象を識別するための情報（監視対象識別情報）を抽出するようにしてもよい。具体的には、監視対象照合手段７１は、第１の実施形態における人物識別情報解析部１２が行う処理を実行するようにしてもよい。ただし、監視対象識別情報を用いなくても監視対象が照合できる場合、監視対象識別情報の明示的な抽出処理は必ずしも必要ではない。以下、監視対象識別情報を抽出するための構成を含めた対象物特定装置について説明する。
【０１０６】
図１１は、本発明による対象物特定装置の他の概要を示すブロック図である。本発明による対象物特定装置は、１台以上の撮影装置（例えば、映像取得部１１）で撮影された各映像に映る監視対象（例えば、人物、自動車）を解析して、その監視対象の識別に用いられる監視対象識別情報（例えば、顔画像、ナンバープレート画像）とその監視対象が撮影された撮影時刻とを含む監視対象撮影情報を抽出する監視対象撮影情報解析手段８１（例えば、人物識別情報解析部１２）と、監視対象識別情報を照合して、同一と推定される監視対象を特定する監視対象照合手段８２（例えば、人物識別情報照合部１５）と、特定された監視対象の監視対象撮影情報に含まれる撮影時刻を用いて、撮影された監視対象の中から所望の対象物（例えば、不自然な長期滞在者）を特定する対象物特定手段８３（例えば、長時間滞在者推定部１４）とを備えている。
【０１０７】
そのような構成によっても、監視する範囲が広い場合や混雑している状況であっても、監視対象の中から、その範囲内に不自然に長期間存在する対象物を特定できる。
【０１０８】
また、対象物特定手段８３は、所定の期間内（例えば、分析時間幅）に撮影時刻が含まれる監視対象撮影情報の頻度が所定の閾値以上、または、所定の期間内における撮影時刻の時間幅が所定の期間（例えば、長期滞在判定時間）以上の監視対象を対象物と特定してもよい。
【０１０９】
具体的には、対象物特定手段８３は、所定の期間内における撮影時刻の時間幅のうち、最早撮影時刻と最遅撮影時刻の時間幅が判定条件で規定される所定の閾値（例えば、長期滞在判定時間）以上の監視対象を対象物と特定してもよい。
【０１１０】
また、監視対象撮影情報解析手段８１は、監視対象を撮影した撮影装置の識別に用いられる撮影装置識別情報を含む監視対象撮影情報を抽出してもよい。このとき、対象物特定手段８３は、各撮影装置に応じて最早撮影時刻と最遅撮影時刻の時間幅の条件を規定した判定条件（例えば、図６に例示する判定条件）に基づいて、対象物を特定してもよい。
【０１１１】
また、対象物特定装置は、対象物と特定されなかった監視対象の撮影時刻に基づいて、最早撮影時刻と最遅撮影時刻の時間幅の条件を規定した判定条件を生成する判定条件生成手段（例えば、人物情報管理部１６）を備えていてもよい。
【０１１２】
一方、対象物特定手段８３は、所定の期間内における撮影時刻の時間幅のうち、連続する撮影時刻の時間幅が判定条件で規定される所定の閾値以上の監視対象を対象物と特定してもよい。
【０１１３】
また、監視対象撮影情報解析手段８１は、監視対象を撮影した撮影装置の識別に用いられる撮影装置識別情報を含む監視対象撮影情報を抽出してもよい。このとき、対象物特定手段８３は、監視対象撮影情報のうちの連続する撮影時刻の時間幅が、撮影装置間の判定条件に該当する監視対象を対象物と特定してもよい。
【０１１４】
また、監視対象撮影情報解析手段８１は、監視対象を撮影した撮影装置の識別に用いられる撮影装置識別情報を含む監視対象撮影情報を抽出してもよい。このとき、対象物特定手段８３は、所定の期間内に撮影時刻が含まれる監視対象撮影情報の頻度の条件を撮影装置ごと規定した判定条件に基づいて、対象物を特定してもよい。
【０１１５】
また、対象物特定手段８３は、所定の期間内に撮影時刻が含まれる監視対象撮影情報の頻度の条件を予め定めた撮影装置のグループごと規定した判定条件に基づいて、対象物を特定してもよい。
【０１１６】
また、監視対象照合手段８２は、同一と推定される監視対象の尤度（確からしさ）を算出してもよい。そして、対象物特定手段８３は、尤度を基に算出される頻度を用いて対象物を特定してもよい。
【０１１７】
また、監視対象撮影情報解析手段８１は、監視対象識別情報として監視対象の顔画像を抽出してもよい。そして、監視対象照合手段８２は、顔画像を照合して、同一人物と推定される監視対象を特定してもよい。このような構成によれば、監視対象の範囲内不自然に長期間滞在する人物を特定できる。
【０１１８】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１１９】
この出願は、２０１３年３月２９日に出願された日本特許出願２０１３−０７２１７８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１２０】
本発明は、例えば、監視カメラで特定の施設内にいる人を撮影し、撮影された映像を解析して長期滞在者を自動発見する映像解析システムに好適に適用される。
【符号の説明】
【０１２１】
１１、１１ａ〜１１ｄ  映像取得部
１２  人物識別情報解析部
１３  人物識別情報管理部
１４  長時間滞在者推定部
１５  人物識別情報照合部
１６  人物情報管理部
１７  結果出力部
１８  人物識別情報記憶部
１９  人物情報記憶部
２０  出力結果記憶部
ｕ１〜ｕ１１  人物
【図１】
2014155922.tif 000003
【図２】
2014155922.tif 000004
【図３】
2014155922.tif 000005
【図４】
2014155922.tif 000006
【図５】
2014155922.tif 000007
【図６】
2014155922.tif 000008
【図７】
2014155922.tif 000009
【図８】
2014155922.tif 000010
【図９】
2014155922.tif 000011
【図１０】
2014155922.tif 000012
【図１１】
2014155922.tif 000013
【国際調査報告】
2014155922.tif 000014
2014155922.tif 000015
2014155922.tif 000016
2014155922.tif 000017