(57)【要約】  本発明のシステムは、撮影範囲が変化する映像に基づいて、撮影対象の変化を検出する映像処理システムである。この映像処理システムは、撮影範囲が変化する映像を撮影する撮影部と、撮影された映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出手部と、特徴量抽出部が抽出したフレーム特徴量をフレームごとに記憶する特徴量記憶部と、新たに撮影されたフレーム特徴量と特徴量記憶部に記憶したフレーム特徴量とを比較して、新たに撮影されたフレームと撮影範囲が合致する特徴量記憶部に記憶したフレームを検索するフレーム検索部と、新たに撮影されたフレーム特徴量とフレーム検索部が検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出部と、を備える。かかる構成により、撮影装置の撮影範囲が時々刻々と変化する場合であっても、撮影対象の変化を検出することができる。
2012132531.tif 000002
【特許請求の範囲】
【請求項１】
撮影範囲が変化する映像に基づいて、撮影対象の変化を検出する映像処理システムであって、
撮影範囲が変化する映像を撮影する撮影手段と、
撮影された前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出したフレーム特徴量をフレームごとに記憶する特徴量記憶手段と、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が合致する前記特徴量記憶手段に記憶したフレームを検索するフレーム検索手段と、
前記新たに撮影されたフレーム特徴量と前記フレーム検索手段が検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出手段と、
を備えることを特徴とする映像処理システム。
【請求項２】
前記フレーム特徴量が合致する前記特徴量記憶手段に記憶したフレームの周期を前記撮影手段の撮影範囲が変化する周期として検出する周期検出手段をさらに備え、
前記変化検出手段は、前記新たに撮影されたフレーム特徴量と、前記周期検出手段が検出した前記撮影手段の撮影範囲が変化する周期に対応して選別された前記特徴量記憶手段に記憶したフレーム特徴量との差分から、撮影対象の変化を検出することを特徴とする請求項１に記載の映像処理システム。
【請求項３】
前記撮影手段の撮影範囲が変更する周期を記憶する周期記憶手段と、
前記周期検出手段が検出した前記撮影手段の撮影範囲が変化する周期に基づいて、前記周期記憶手段に記憶された撮影範囲が変化する周期を補正する周期補正手段と、
をさらに備えることを特徴とする請求項２に記載の映像処理システム。
【請求項４】
前記特徴量抽出手段は、各フレーム上に異なるサイズ又は形状で設定された複数の領域対の各領域対に対して算出された領域特徴量の差分を領域対の数だけ組み合せて、フレーム特徴量とすることを特徴とする請求項１乃至３のいずれか１項に記載の映像処理システム。
【請求項５】
前記領域特徴量は、輝度で表わされることを特徴とする請求項４に記載の映像処理システム。
【請求項６】
前記フレーム特徴量は、複数の連続する各フレームのフレーム特徴量を含むことを特徴とする請求項１乃至５のいずれか１項に記載の映像処理システム。
【請求項７】
前記変化検出手段が検出した撮影対象が変化したフレームを含む複数のフレームを蓄積する映像蓄積手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の映像処理システム。
【請求項８】
撮影された前記映像の各フレームを所定数の領域に分割する分割手段をさらに有し、
前記特徴量抽出手段は前記領域ごとに特徴量を抽出して、前記変化検出手段は前記領域ごとに撮影対象の変化を検出し、
前記映像蓄積手段は、前記変化検出手段が検出した撮影対象が変化したフレームを含む複数のフレームの前記領域を蓄積することを特徴とする請求項７に記載の映像処理システム。
【請求項９】
前記撮影手段は、首振り又はズームにより撮影範囲が変化する映像を撮影することを特徴とする請求項１乃至８のいずれか１項に記載の映像処理システム。
【請求項１０】
複数の前記撮影手段が接続されていることを特徴とする請求項１乃至９のいずれか１項に記載の映像処理システム。
【請求項１１】
撮影範囲が変化する映像に基づいて、撮影対象の変化を検出する映像処理方法であって、
撮影範囲が変化する映像を撮影する撮影ステップと、
撮影された前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出したフレーム特徴量をフレームごとに特徴量記憶手段に記憶する特徴量記憶ステップと、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレームを検索する検索ステップと、
前記新たに撮影されたフレーム特徴量と前記検索ステップにおいて検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出ステップと、
を含むことを特徴とする映像処理方法。
【請求項１２】
撮影範囲が変化する撮影手段により撮影された映像に基づいて、撮影対象の変化を検出する映像処理装置であって、
撮影された映像から抽出した各フレームが有するフレーム特徴量をフレームごとに記憶する特徴量記憶手段と、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレームを検索するフレーム検索手段と、
前記新たに撮影されたフレーム特徴量と前記フレーム検索手段が検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出手段と、
前記変化検出手段が検出した撮影対象が変化する映像を蓄積する映像蓄積手段と、
を備えることを特徴とする映像処理装置。
【請求項１３】
撮影された映像から各フレームのフレーム特徴量を抽出する特徴量抽出手段をさらに備え、
前記特徴量記憶手段は、前記特徴量抽出手段が抽出したフレーム特徴量をフレームごとに記憶することを特徴とする請求項１２に記載の映像処理装置。
【請求項１４】
撮影された映像から抽出された各フレームのフレーム特徴量を受信する特徴量受信手段をさらに備え、
前記特徴量記憶手段は、前記特徴量受信手段が受信したフレーム特徴量をフレームごとに記憶することを特徴とする請求項１２に記載の映像処理装置。
【請求項１５】
撮影範囲が変化する撮影手段により撮影された映像に基づいて、撮影対象の変化を検出する映像処理装置の制御方法であって、
撮影された映像から抽出された各フレームが有するフレーム特徴量をフレームごとに特徴量記憶手段に記憶する特徴量記憶ステップと、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレームを検索するフレーム検索ステップと、
前記新たに撮影されたフレーム特徴量と前記フレーム検索ステップにおいて検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出ステップと、
前記変化検出ステップにおいて検出した撮影対象が変化したフレームを含む複数のフレームを蓄積する映像蓄積ステップと、
を含むことを特徴とする映像処理装置の制御方法。
【請求項１６】
撮影範囲が変化する撮影手段により撮影された映像に基づいて、撮影対象の変化を検出する映像処理装置の制御プログラムを格納した記憶媒体であって、
撮影された映像から各フレームが有するフレーム特徴量をフレームごとに特徴量記憶手段に記憶する特徴量記憶ステップと、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレームを検索するフレーム検索ステップと、
前記新たに撮影されたフレーム特徴量と前記フレーム検索ステップにおいて検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出ステップと、
前記変化検出ステップにおいて検出した撮影対象が変化したフレームを含む複数のフレームを蓄積する映像蓄積ステップと、
をコンピュータに実行させる制御プログラムを格納したことを特徴とする記憶媒体。
【請求項１７】
撮影範囲を変化させる移動手段を有し、撮影範囲が変化する映像を撮像する撮影装置であって、
撮影範囲が変化する撮影手段と、
前記撮影手段が撮影した前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出したフレーム特徴量に基づいて、同じ撮影範囲において撮影対象が変化する映像を選別する選別手段と、
を備えることを特徴とする撮影装置。
【請求項１８】
前記選別手段は、
前記特徴量抽出手段が抽出したフレーム特徴量を送信する特徴量送信手段と、
前記特徴量の送信に基づいて送信先から返信された撮影対象の変化を示す情報を受信する受信手段と、を有し
前記受信手段が受信した前記撮影対象の変化を示す情報に対応する映像を選別することを特徴とする請求項１７に記載の撮影装置。
【請求項１９】
前記特徴量抽出手段が抽出したフレーム特徴量をフレームごとに記憶する特徴量記憶手段と、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレームを検索するフレーム検索手段と、
前記新たに撮影されたフレーム特徴量と前記フレーム検索手段が検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出手段と、
をさらに備え、
前記選別手段は、前記変化検出手段が検出した撮影対象の変化に対応する映像を選別することを特徴とする請求項１７に記載の撮影装置。
【請求項２０】
前記選別手段が選別した映像を送信する送信手段をさらに備えることを特徴とする請求項１７乃至１９のいずれか１項に記載の撮影装置。
【請求項２１】
前記選別手段が選別した映像を蓄積する映像蓄積手段をさらに備えることを特徴とする請求項１７乃至２０のいずれか１項に記載の撮影装置。
【請求項２２】
撮影範囲を変化させる移動手段を有し、撮影範囲が変化する映像を撮像する撮影装置の制御方法であって、
撮影範囲が変化する撮影手段が撮影した前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出したフレーム特徴量に基づいて、同じ撮影範囲において撮影対象が変化する映像を選別する選別ステップと、
を含むことを特徴とする撮影装置の制御方法。
【請求項２３】
撮影範囲を変化させる移動手段を有し、撮影範囲が変化する映像を撮像する撮影装置の制御プログラムを格納した記憶媒体であって、
撮影範囲が変化する撮影手段が撮影した前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出したフレーム特徴量に基づいて、同じ撮影範囲において撮影対象が変化する映像を選別する選別ステップと、
をコンピュータに実行させる制御プログラムを格納したことを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置により得た映像を監視するための映像処理技術に関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、監視カメラによって数秒程度の時間間隔を置いて撮られた第１画像と第２画像との差画像の特徴量から、移動体たとえば侵入者を検出することが開示されている。また、特許文献２には、監視カメラから得られた画像をメッシュ状に分割して、メッシュごとの差分画像の特徴量から異常判定を行なうことが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−２９４８０８号公報
【特許文献２】特開２００３ー０８７７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術は、いずれも固定した監視カメラにより得られた映像に基づく監視対象の異常の検出であって、首振りやズームなどにより撮影装置の撮影範囲が時々刻々と変化する場合において、撮影対象の変化を検出することができなかった。【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係るシステムは、
撮影範囲が変化する映像に基づいて、撮影対象の変化を検出する映像処理システムであって、
撮影範囲が変化する映像を撮影する撮影手段と、
撮影された前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出したフレーム特徴量をフレームごとに記憶する特徴量記憶手段と、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が合致する前記特徴量記憶手段に記憶したフレームを検索するフレーム検索手段と、
前記新たに撮影されたフレーム特徴量と前記フレーム検索手段が検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出手段と、
を備えることを特徴とする映像処理システム。【０００７】
上記目的を達成するため、本発明に係る方法は、
撮影範囲が変化する映像に基づいて、撮影対象の変化を検出する映像処理方法であって、
撮影範囲が変化する映像を撮影する撮影ステップと、
撮影された前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出したフレーム特徴量をフレームごとに特徴量記憶手段に記憶する特徴量記憶ステップと、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレームを検索する検索ステップと、
前記新たに撮影されたフレーム特徴量と前記検索ステップにおいて検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出ステップと、
を含むことを特徴とする映像処理方法。【０００８】
上記目的を達成するため、本発明に係る装置は、
撮影範囲が変化する撮影手段により撮影された映像に基づいて、撮影対象の変化を検出する映像処理装置であって、
撮影された映像から抽出した各フレームが有するフレーム特徴量をフレームごとに記憶する特徴量記憶手段と、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレームを検索するフレーム検索手段と、
前記新たに撮影されたフレーム特徴量と前記フレーム検索手段が検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出手段と、
前記変化検出手段が検出した撮影対象が変化する映像を蓄積する映像蓄積手段と、
を備えることを特徴とする。【０００９】
上記目的を達成するため、本発明に係る方法は、
撮影範囲が変化する撮影手段により撮影された映像に基づいて、撮影対象の変化を検出する映像処理装置の制御方法であって、
撮影された映像から抽出された各フレームが有するフレーム特徴量をフレームごとに特徴量記憶手段に記憶する特徴量記憶ステップと、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレームを検索するフレーム検索ステップと、
前記新たに撮影されたフレーム特徴量と前記フレーム検索ステップにおいて検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出ステップと、
前記変化検出ステップにおいて検出した撮影対象が変化したフレームを含む複数のフレームを蓄積する映像蓄積ステップと、
を含むことを特徴とする。【００１０】
上記目的を達成するため、本発明に係る記憶媒体は、
撮影範囲が変化する撮影手段により撮影された映像に基づいて、撮影対象の変化を検出する映像処理装置の制御プログラムを格納した記憶媒体であって、
撮影された映像から各フレームが有するフレーム特徴量をフレームごとに特徴量記憶手段に記憶する特徴量記憶ステップと、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレームを検索するフレーム検索ステップと、
前記新たに撮影されたフレーム特徴量と前記フレーム検索ステップにおいて検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出ステップと、
前記変化検出ステップにおいて検出した撮影対象が変化したフレームを含む複数のフレームを蓄積する映像蓄積ステップと、
をコンピュータに実行させる制御プログラムを格納したことを特徴とする。【００１１】
上記目的を達成するため、本発明に係る装置は、
撮影範囲を変化させる移動手段を有し、撮影範囲が変化する映像を撮像する撮影装置であって、
撮影範囲が変化する撮影手段と、
前記撮影手段が撮影した前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出したフレーム特徴量に基づいて、同じ撮影範囲において撮影対象が変化する映像を選別する選別手段と、
を備えることを特徴とする。【００１２】
上記目的を達成するため、本発明に係る方法は、
撮影範囲を変化させる移動手段を有し、撮影範囲が変化する映像を撮像する撮影装置の制御方法であって、
撮影範囲が変化する撮影手段が撮影した前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出したフレーム特徴量に基づいて、同じ撮影範囲において撮影対象が変化する映像を選別する選別ステップと、
を含むことを特徴とする。【００１３】
上記目的を達成するため、本発明に係るプログラムは、
撮影範囲を変化させる移動手段を有し、撮影範囲が変化する映像を撮像する撮影装置の制御プログラムを格納した記憶媒体であって、
撮影範囲が変化する撮影手段が撮影した前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出したフレーム特徴量に基づいて、同じ撮影範囲において撮影対象が変化する映像を選別する選別ステップと、
をコンピュータに実行させる制御プログラムを格納したことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、撮影装置の撮影範囲が時々刻々と変化する場合であっても、撮影対象の変化を検出できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係る映像処理システムの構成を示すブロック図である。
【図２】本発明の第２実施形態に係る映像処理システムの構成を示すブロック図である。
【図３Ａ】本発明の第２実施形態に係るフレーム特徴量抽出部の構成を示すブロック図である。
【図３Ｂ】本発明の第２実施形態に係るフレーム特徴量抽出部における処理を示す図である。
【図３Ｃ】本発明の第２実施形態に係るフレーム特徴量抽出部における抽出領域を示す図である。
【図４】本発明の第２実施形態に係るフレーム特徴量ＤＢの構成を示す図である。
【図５】本発明の第２実施形態に係るフレーム検索部の構成及び処理を示す図である。
【図６】本発明の第２実施形態に係る変化検出部の構成及び処理を示す図である。
【図７】本発明の第２実施形態に係る映像蓄積ＤＢの構成を示す図である。
【図８】本発明の第２実施形態に係る映像処理装置のハードウェア構成を示すブロック図である。
【図９】本発明の第２実施形態に係る映像処理装置の処理手順を示すフローチャートである。
【図１０】本発明の第３実施形態に係る映像処理システムの構成を示すブロック図である。
【図１１】本発明の第４実施形態に係る映像処理システムの構成を示すブロック図である。
【図１２】本発明の第５実施形態に係る映像処理システムの構成を示すブロック図である。
【図１３】本発明の第６実施形態に係る映像処理システムの構成を示すブロック図である。
【図１４】本発明の第７実施形態に係る映像処理システムの構成を示すブロック図である。
【図１５Ａ】本発明の第７実施形態に係る移動周期検出部の構成及び動作を示す図である。
【図１５Ｂ】本発明の第７実施形態に係る移動周期検出部の制御手順を示すフローチャートである。
【図１６】本発明の第７実施形態に係る映像処理装置の制御手順を示すフローチャートである。
【図１７】本発明の第８実施形態に係る映像処理システムの構成を示すブロック図である。
【図１８】本発明の第８実施形態に係る移動周期補正部が有するテーブルの構成を示す図である。
【発明を実施するための形態】
【００１６】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１７】
［第１実施形態］
本発明の第１実施形態としての映像処理システム１００について、図１を用いて説明する。映像処理システム１００は、撮影範囲が変化する映像に基づいて、撮影対象の変化を検出するシステムである。
【００１８】
図１に示すように、映像処理システム１００は、撮影部１１０と、特徴量抽出部１２０と、特徴量記憶部１３０と、フレーム検索部１４０と、変化検出部１５０と、を備える。撮影部１１０は、撮影範囲が変化する映像を撮影する。特徴量抽出部１２０は、撮影された映像１１ａから各フレームが有するフレーム特徴量１２０ａを抽出する。特徴量記憶部１３０は、特徴量抽出部１２０が抽出したフレーム特徴量１２０ａをフレームごとに記憶する。フレーム検索部１４０は、新たに撮影されたフレーム特徴量１２０ａと特徴量記憶部１３０に記憶したフレーム特徴量とを比較して、新たに撮影されたフレームと撮影範囲が合致する特徴量記憶部１３０に記憶したフレームを検索する。変化検出部１５０は、新たに撮影されたフレーム特徴量１２０ａとフレーム検索部１４０が検索したフレーム特徴量との差分から、撮影対象の変化を検出する。
【００１９】
本実施形態によれば、撮影装置の撮影範囲が時々刻々と変化する場合であっても、撮影対象の変化を検出できる。
【００２０】
［第２実施形態］
本発明の第２実施形態としての映像処理システムは、撮影装置からの映像に対して映像処理装置でフレーム特徴量を抽出して、フレーム特徴量に基づいて比較対象のフレームを検索し、フレーム間のフレーム特徴量の差分から撮影対象の変化を検出する。そして、検出した撮影対象の変化を通知し、変化を検出したフレームを含む所定長の映像を記録する。本実施形態によれば、撮影装置の撮影範囲が時々刻々と変化する場合であっても、撮影対象の変化を検出できると共に、変化を検出した部分の記録だけで済むので記録する映像を少ない量に削減できる。また、本実施形態によれば、フレーム特徴量に対するフレーム全体の輝度や色などの変更の影響が排除される。したがって、夕日の入射や日没による暗転を撮影対象の変化と誤認識することや、さらには季節変動など長期の変動を撮影対象の変化と誤認識することによる映像の記録を回避することができ、記憶容量を削減可能である。
【００２１】
《映像処理システムの構成》
図２は、本実施形態に係る映像処理システム２００の構成を示すブロック図である。映像処理システム２００は、少なくとも１台の撮影装置２１０と、撮影装置２１０が撮像した映像を取得して、フレーム特徴量を抽出し撮影対象の変化を検出する映像処理装置２２０とを備える。
【００２２】
撮影装置２１０は、移動制御部２１２と、移動制御部２１２により移動しながら、撮影範囲が変化するビデオカメラ２１１を含む。図２には、移動として首振りが示され、ビデオカメラ２１１は、撮影範囲Ａ０からＡｍを順に撮像してフレーム画像Ｆ−ｎからＦ０の映像フレーム２１１ａとして映像処理装置２２０に出力する。
【００２３】
映像処理装置２２０では、入力した映像フレーム２１１ａから、フレーム特徴量抽出部２２１でフレームごとにフレーム特徴量２２１ａを抽出して、フレーム特徴量ＤＢ２２３に蓄積すると共に、特徴量バッファ２２２に一時記憶する。なお、特徴量バッファ２２２の容量は、少なくとも１フレームのフレーム特徴量を記憶する容量を有する。実際には、フレーム検索部２２４でのフレーム検索の精度を高めるために、複数のフレームのフレーム特徴量を記憶する容量を有するのが望ましい。フレーム検索部２２４は、フレーム特徴量ＤＢ２２３に蓄積された以前のフレーム特徴量と、特徴量バッファ２２２に記憶された新たに得られたフレーム特徴量あるいはフレーム特徴量列とを比較して、その差が第１閾値より小さいフレームを、類似した背景を持つフレームをとして検索する。類似した背景を持つフレームを見付けたならば、信号２２４ａをフレーム特徴量ＤＢ２２３に出力する。変化検出部２２５は、フレーム特徴量ＤＢ２２３からの類似した背景を持つフレームの撮影対象のフレーム特徴量と新しく入力したフレームの撮影対象のフレーム特徴量との差分を取って、その差分が第２閾値より大きい場合に変化があったと検出する。検出した変化を、変化検出の信号２２５ａによって、外部のたとえば監視員に通知すると共に、映像バッファ部２２６に一時記憶された映像から変化が検出されたフレームを含む所定長の映像を、映像蓄積ＤＢ２２７に蓄積する。監視員への通知は、映像の送信を含むものであっても良い。
なお、図２及び以下の映像処理システムの構成図において、撮影装置側の映像データ送信やフレーム特徴量送信を行なう送信制御部や、映像処理装置側の映像データ受信やフレーム特徴量受信を行なう受信制御部が配置されるが、煩雑さを避けるため図示していない。
【００２４】
以下、本実施形態の映像処理装置２２０の上記機能構成部の好適な構成と動作とを説明する。なお、映像処理装置２２０の上記機能構成部は以下の例に限定されるものではなく、既知の種々の構成が適用可能である。
【００２５】
（フレーム特徴量抽出部の構成及び処理）
図３Ａは、本実施形態に係るフレーム特徴量抽出部２２１の構成を示すブロック図である。本実施形態で適用されるフレーム特徴量抽出部２２１は、ＭＰＥＧ７の標準化で採用されているビデオシグネチャを抽出する機能構成部である。
【００２６】
図３Ａにおいて、出力されるフレーム特徴量３５０は、撮影された映像の各フレーム画像中に多数のサイズの大小や形状の異なる領域対を設けて、この領域間の領域特徴量の一種である平均輝度値の差分を量子化（実際には３値に）し、符号化したものである。次元決定部３１０は、領域対の数を決定する。１次元が１領域対に相当する。抽出領域取得部３２０は、次元決定部３１０の決定にしたがって、フレーム特徴量を算出する各次元の領域対を取得する。領域特徴量算出部３３０は第１領域特徴量算出部３３１と第２領域特徴量算出部３３２とを有し、それぞれ各次元の領域対の一方の領域の領域特徴量の一種である平均輝度を算出する。領域特徴量差分符号化部３４０は、領域対のそれぞれの領域特徴量の一種である平均輝度の差分を取って、その差分を第３閾値にしたがって量子符号化してフレーム特徴量３５０を出力する。
【００２７】
なお、本例では、以下、平均輝度により領域特徴量を代表させて説明するが、領域特徴量は領域の平均輝度には限定されない、輝度の他の処理や輝度以外のフレームの特徴量も適用できる。
【００２８】
図３Ｂは、本実施形態に係るフレーム特徴量抽出部における処理を示す図である。
【００２９】
図３Ｂの３２０ａは、図３Ａの抽出領域取得部３２０が取得した領域対の数例を示している。３２０ａにおいて、外枠がフレームを示しており、内部の各矩形が領域を示している。
【００３０】
図３Ｂの３３０ａは、フレーム画像内において、抽出領域取得部３２０からの領域対により抽出された領域とその領域間の差分を取る関係を表現したものである。フレーム画像内に領域対の２つの領域が抽出されて、それぞれの領域に含まれる画素の平均輝度が算出され、その差分が算出さる様子を各領域の中心を結ぶ矢印で示している。
【００３１】
図３Ｂの３４０ａは、算出された差分を量子符号化する様子を示したものである。３４０ａでは、図３Ａにおける第１領域特徴量から第２領域特徴量を差し引いた差分が、差分“０”（平均輝度が等しい場合に相当）を中心とする上記第３閾値である破線で示した差分内であれば、“０”を量子符号化の出力値とする。同じ差分が破線位置よりも大きな正（＋）の値であれば、“＋１”を量子符号化の出力値とする。同じ差分が破線位置よりも大きな負（−）の値であれば、“−１”を量子符号化の出力値とする。このように、“−１”、“０”、“＋１”の３値に符号化するのは、次元毎のデータ量を少なくして、できるだけ多次元の情報を生成することでフレーム特徴量の分離を容易にし、かつフレーム特徴量の比較の計算量を削減するためである。したがって、上記３値の例に限定する必要はない。なお、破線で示す第３閾値は、使用される全次元の差分値の分布から“０”と量子化する差分値の割合から選定される。一例としては、“０”と量子化する差分値の割合を５０％にするような値を選定する。
【００３２】
図３Ｂの３５０ａは、差分の量子符号化の結果を集めて生成されたフレーム特徴量の例を示している。フレーム特徴量は、簡単な例としては、差分の量子符号化された値を一次元方向に次元順に並べたものである。なお、単純に差分の量子符号化された値を一次元方向に次元順に並べたものではなく、多次元方向に並べたものやさらに追加の演算を加えたものであってもよく、本例には限定されない、
図３Ｃは、本実施形態に係るフレーム特徴量抽出部における抽出領域を示す図である。
【００３３】
図３Ｂの３２０ａには、各次元の領域対は２つの矩形領域で示された。しかしながら、フレームを適切に表現するフレーム特徴量を算出するためには、矩形以外の形状が望ましい場合もある。図３Ｃに示す抽出領域は、２つの矩形領域ではない領域対を例示している。図３Ｂの３４０ａで示したように各次元を３値化することで、実時間のフレーム特徴量の比較や、フレーム特徴量の集合である映像コンテンツのフレーム特徴量群の比較を実現する場合であっても、数百次元を設定することが可能である。
【００３４】
（フレーム特徴量ＤＢの構成）
図４は、本実施形態に係るフレーム特徴量ＤＢの構成を示す図である。
【００３５】
図４のフレーム特徴量ＤＢ２２３は、映像コンテンツ中の各フレームを特定するフレームＩＤ４１０にそれぞれ対応付けられて、上記フレーム特徴量抽出部２２１で抽出されたフレーム特徴量４２０が順次に蓄積されている。なお、フレーム特徴量ＤＢ２２３に蓄積されるフレームの数は、フレーム検索部２２４の検索が必要な範囲である。かかる範囲は無制限ではなく、映像装置が同じ位置で略同じ撮影範囲を撮影している時点までである。したがって、フレーム特徴量の比較を行なう本実施形態は、映像のフレーム画像を記憶する必要がなく、さらにその記憶長にも制限があるため、記憶媒体の容量を削減可能である。
【００３６】
（フレーム検索部の構成及び処理）
図５は、本実施形態に係るフレーム検索部２２４の構成及び処理を示す図である。
【００３７】
フレーム検索部２２４は、複数の連続するフレーム特徴量を記憶する特徴量バッファ２２２のフレーム特徴量列と、フレーム特徴量ＤＢ２２３に蓄積されたフレーム特徴量列とを比較して、類似のフレーム特徴量列を検索する。
【００３８】
図５において、特徴量バッファ２２２には、新たなフレーム特徴量２２１ａが順次に入力されシフトされる。フレーム検索部２２４は、フレーム特徴量比較部５１０を有し、特徴量バッファ２２２の新たなフレーム特徴量列と、フレーム特徴量ＤＢ２２３から読出された以前のフレーム特徴量列とが比較されて、差分が第１閾値内の場合に信号２２４ａが出力される。信号２２４ａはフレーム特徴量ＤＢ２２３内の今読出されているフレーム特徴量列を特定する。
【００３９】
なお、フレーム検索部２２４におけるフレーム特徴量列の比較は、たとえば、撮影範囲における背景の類似を検索するものである。したがって、多次元のフレーム特徴量の内から背景の類似を検索するのに適切な次元が選択される。あるいは、フレーム特徴量を比較した場合には背景とは関連の小さい次元には小さな重みを付けたり、第１閾値で背景とは関連の小さい次元の差分は無視したりする。このように、フレーム特徴量列の比較により撮影範囲の背景の類似を判定する。
【００４０】
（変化検出部の構成及び処理）
図６は、本実施形態に係る変化検出部２２５の構成及び処理を示す図である。
【００４１】
変化検出部２２５は、新たなフレーム特徴量列と、フレーム検索部２２４が検索したフレーム特徴量ＤＢ２２３のフレーム特徴量列との差分を取って、変化を検出する。そして、変化を検出したフレームを含む複数のフレーム列からなる所定長の映像を蓄積する。
【００４２】
図６において、変化検出部２２５は、特徴量バッファ２２２のフレーム特徴量列と、フレーム検索部２２４が見付けた類似の背景を有するフレーム特徴量ＤＢ２２３のフレーム特徴量列との間で、閾値（第２閾値）を超える差分がある場合に変化があると認識する。変化検出部２２５は、変化があることを示す信号２２５ａを出力し、映像蓄積ＤＢ２２７には映像フレーム２１１ａから映像バッファ部２２６を介して、変化を検出したフレームを含む所定長の映像が蓄積される。
【００４３】
なお、変化検出部２２５の差分は、フレーム特徴量の全体でもよいが、上記フレーム検索部２２４において背景の類似を検索するために使用された次元とは異なる次元のみの差分を取っても良い。あるいは、上記フレーム検索部２２４の比較で同一値の次元については、変化検出部２２５の差分の算出からは削除してもよい。かかる処理により、計算負荷がさらに低減される。また、所定長は所定時間長であっても、フレーム検索部２２４で検索したフレームまでの映像、あるいはその前の類似フレームまでの映像などでもよい。かかる蓄積される映像の長さは、監視対象の認識率と記憶容量とのトレードオフの関係にあり、適切な長さが選択される。
【００４４】
（映像蓄積ＤＢの構成）
図７は、本実施形態に係る映像蓄積ＤＢ２２７の構成を示す図である。
【００４５】
映像蓄積ＤＢ２２７には、変化検出部２２５で撮影対象に変化を検出した場合に、変化があったフレームを含む所定長の映像が蓄積される。
【００４６】
図７の映像蓄積ＤＢ２２７は、蓄積された映像を一意に特定する映像ＩＤ７０１に対応付けられて、撮像の開始日時を含む開始時間７０２と終了日時を含む終了時間７０３、その間の映像データ７０４、その間のフレーム特徴量７０５とが蓄積される。なお、フレーム特徴量７０５はオプションであり、必須な蓄積データではない。
【００４７】
《映像処理装置のハードウェア構成》
図８は、本実施形態に係る映像処理装置２２０のハードウェア構成を示すブロック図である。
【００４８】
図８で、ＣＰＵ８１０は演算制御用のプロセッサであり、プログラムを実行することで図２の各機能構成部を実現する。ＲＯＭ８２０は、初期データ及びプログラムなどの固定データ及びプログラムを記憶する。通信制御部８３０は、撮影装置２１０あるいは上位装置と通信する。なお、上記２つの接続をそれぞれ別個に有する複数の通信制御部で構成してもよい。通信は無線でも有線でもよい。本例では、撮影装置２１０との通信はネットワーク、特に公衆回線を使用せずに専用の回線を介するものと仮定している。
【００４９】
ＲＡＭ８４０は、ＣＰＵ８１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ８４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。８４１は、入力される映像を記憶する図２の映像バッファ部２２６に相当する映像バッファである。８４２は、各フレームのフレームデータである。８４３は、フレーム上の第１領域を設定する第１領域座標と、その特徴量である第１特徴量である。８４４は、フレーム上の第２領域を設定する第２領域座標と、その特徴量である第２特徴量である。８４５は、第１領域特徴量と第２領域特徴量との差分から量子符号化して出力される、各次元の本例では３値の領域特徴量差分符号値である。８４６は、領域特徴量差分符号値８４５を次元の数だけ組み合わせたフレーム特徴量である。８４７は、フレーム特徴量８４６の連続する所定数を一時記憶する特徴量バッファ２２２に相当するフレーム特徴量バッファである。８４８は、類似のフレームとして検索されたフレームＩＤである。８４９は、類似フレーム間の差分から検出された撮影対象が変化したフレームを示す変化検出フレームＩＤである。
【００５０】
ストレージ８５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータ又はプログラムが記憶されている。８５１は、本実施形態で使用する全抽出領域対を記憶する抽出領域対ＤＢである。８５２は、図３Ａ〜図３Ｃに示したフレーム特徴量抽出用アルゴリズムである。８５３は、図５に示したフレーム検索用アルゴリズムである。８５４は、図２のフレーム特徴量ＤＢ２２３に相当するフレーム特徴量ＤＢである。８５５は、図２の映像蓄積ＤＢ２２７に相当する映像蓄積ＤＢである。ストレージ８５０には、以下のプログラムが格納される。８５６は、全体の処理を実行させる映像処理プログラムである（図９参照）。８５７は、映像処理プログラム８５６において、フレーム特徴量抽出の手順を示すフレーム特徴量抽出モジュールである。８５８は、映像処理プログラム８５６において、類似のフレームを検索する手順を示すフレーム検索モジュールである。８５９は、映像処理プログラム８５６において、フレーム中の撮影対象の変化を検出する手順を示す変化検出モジュールである。
【００５１】
なお、図８には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。
【００５２】
《映像処理装置の処理手順》
図９は、実施形態に係る映像処理装置２２０の処理手順を示すフローチャートである。本フローチャートは、図８のＣＰＵ８１０がＲＡＭ８４０を使用しながら実行し、図２の各機能構成部を実現する。
【００５３】
まず、ステップＳ９０１において、撮影装置２１０から映像フレーム２１１ａを取得する。ステップＳ９０３においては、取得した映像フレームを映像バッファ部２２６に記憶する。一方、ステップＳ９０５において、取得した映像フレームからフレーム特徴量を抽出する。次に、フレーム特徴量をフレーム特徴量バッファとフレーム特徴量ＤＢに記憶する。ステップＳ９０９においては、フレーム特徴量ＤＢに蓄積した以前に蓄積したフレーム特徴量を読み出す。ステップＳ９１１において、フレーム特徴量バッファのフレーム特徴量と、フレーム特徴量ＤＢから読出したフレーム特徴量との内から、背景の類似性を判断する次元の値を比較する。ステップＳ９１３において、比較結果から両フレームが類似背景を有するかを判断する。
【００５４】
類似背景でなければステップＳ９０９に戻って、フレーム特徴量ＤＢから次のフレーム特徴量を読出して比較を繰り返す。類似背景と判断されればステップＳ９１７に進んで、類似の背景を有するフレーム間でのフレーム特徴量の差分を取る。次に、ステップＳ９１９において、差分の大小から撮影対象の変化があるか否かを判別する。撮影対象の変化がなければ、映像の映像蓄積ＤＢへの蓄積なしにステップＳ９０１に戻って、撮影装置２１０から次の映像フレームを取得する。一方、撮影対象の変化があればステップＳ９２１に進んで、撮影対象の変化があったフレームを含む映像フレームを映像蓄積ＤＢに記録する。ステップＳ９２３においては、記録した映像フレームが所定長になるまで繰り返し、所定長の記録が終わればステップＳ９０１に戻って、次の映像フレームを撮影装置２１０から所得して処理を繰り返す。
【００５５】
［第３実施形態］
第２実施形態においては、ビデオカメラが移動制御部によって撮影範囲を変化させる例を説明した。本実施形態は、ビデオカメラをズーム制御部でズームされることによって撮影範囲を変化される場合を説明する。本実施形態によれば、撮影装置のズームによる撮影範囲が時々刻々と変化する場合であっても、撮影対象の変化を検出できると共に、変化を検出した部分の記録だけで済むので記録する映像を少ない量に削減できる。なお、本実施形態の第２実施形態との相違点は、移動制御部により撮影範囲の変化がズーム制御部による撮影範囲の変化に置き換わったのみで、他の映像処理システムの構成及び処理は同様であるので、相違点のみを説明し他の説明は省略する。
【００５６】
《映像処理システムの構成》
図１０は、本実施形態に係る映像処理システム１０００の構成を示すブロック図である。図１０において、第２実施形態の図２と同じ参照番号の機能構成部は、第２実施形態と同様の機能を果たす。
【００５７】
図１０の撮影装置１０１０は、ズーム制御部１０１２と、ズーム制御部１０１２の制御によりズームインで近傍の狭い範囲の映像を、ズームアウトで広い全体の映像を取得するビデオカメラ１０１１とを備える。なお、各フレームの画像は、第２実施形態の位置の異なる撮影範囲と、本実施形態がどの広さを撮影したかの違いのみで、フレーム特徴量の抽出を含め映像処理装置２２０での処理は同様である。
【００５８】
［第４実施形態］
第２及び第３実施形態では、撮影装置と撮影装置を管理する映像処理装置とは専用線や専用回線で接続されていることを仮定していた。しかし、複数の撮影装置がネットワークを介して映像処理装置に接続する構成も考えられる。本実施形態は、複数の撮影装置がネットワークを介して映像処理装置に接続されており、ネットワーク上のトラフィックを低減するために各撮影装置がフレーム特徴量抽出部と映像バッファ部とを備えている。この構成により、ネットワークを介して通信されるデータは、映像の画像データではなくフレーム特徴量となり、映像も蓄積が必要な撮影対象が変化した映像のみとなる。本実施形態によれば、複数の撮影装置がネットワークを介して映像処理装置に接続する構成の場合に、ネットワークのトラフィックを削減できる。なお、本実施形態において、第２実施形態との相違点は、フレーム特徴量抽出部と映像バッファ部とが撮影装置に移動したのみで、映像処理システム全体の構成と処理は同様であるので、相違点のみを説明する。
【００５９】
《映像処理システムの構成》
図１１は、本実施形態に係る映像処理システム１１００の構成を示すブロック図である。図１１において、第２実施形態の図２と同じ参照番号の機能構成部は、第２実施形態と同様の機能を果たす。
【００６０】
図１１において、複数の撮影装置１１１０がネットワークを介して映像処理装置１１２０に接続されている。図１１のフレーム特徴量抽出部１１１１と映像バッファ部１１１６は、撮影装置１１１０に配置された、第２実施形態と同様のフレーム特徴量抽出部と映像バッファ部とである。また、フレーム特徴量抽出部１１１１で抽出されたフレーム特徴量１１１１ａが撮影装置１１１０からネットワークを介して映像処理装置１１２０に送信される。また、映像は撮影装置１１１０の映像バッファ部１１１６に一時保存される。そして、フレーム特徴量１１１１ａの送信先である映像処理装置１１２０の変化検出部２２５が類似フレーム間での撮影対象の変化を検出して、撮影対象の変化を示す情報として変化を通知する信号２２５ａを撮影装置１１１０に返信する。撮影装置１１１０は、変化を通知する信号２２５ａを受信した場合のみに、映像バッファ部１１１６からネットワークを介して映像処理装置１１２０に所定長の映像を送信する。映像処理装置１１２０の映像蓄積ＤＢ２２７には撮影装置１１１０から送信された映像のみが蓄積されることになる。
【００６１】
［第５実施形態］
第２乃至第４実施形態においては、撮影装置とは別途に映像処理装置を設けて、映像の処理や蓄積を行なった。しかしながら、本実施形態では、撮影装置が自身でフレーム特徴量の抽出ばかりでなく、フレーム中の撮影対象の変化も検出して撮影対象が変化する映像を選別して映像蓄積ＤＢに蓄積する場合を説明する。撮影装置の映像蓄積ＤＢに蓄積された映像は、必要に応じて読出されることになる。なお、撮影対象の変化を検出した場合にその旨の通知と映像の出力をしてもよい。本実施形態によれば、撮影装置が全ての処理を実行するので、別途に映像処理装置を設ける必要が無く廉価なシステムが実現できる。たとえば、第２実施形態の映像処理装置が１チップＩＣに集積化された場合には、撮影装置に搭載するのみで実現できる。なお、本実施形態と第２実施形態や第４実施形態との相違点は、各機能構成部が撮影装置内にあるのみで、その機能構成及び動作は同様であるので、以下違点のみを説明する。
【００６２】
《映像処理システムの構成》
図１２は、本実施形態に係る映像処理システム１２００の構成を示すブロック図である。図１２において、第２実施形態の図２及び第４実施形態の図１１と同じ参照番号の機能構成部は、第２実施形態及び第４実施形態と同様の機能を果たす。
【００６３】
図１２においては、図１１では映像処理装置にあった、特徴量バッファ１２２２、フレーム特徴量ＤＢ１２２３、フレーム検索部１２２４、変化検出部１２２５、映像蓄積ＤＢ１２２７が、撮影装置１２１０に搭載されている。その機能構成部の構成及び動作は、図２及び図１１と同様である。
【００６４】
［第６実施形態］
第２実施形態乃至第５実施形態においては、類似のフレームであるかの判断、あるいは撮影対象の変化があるかの判定は、映像の各フレーム単位に行なっていた。本実施形態では、各フレーム画像を複数の領域に分割し、各領域における部分フレーム特徴量を抽出して、領域ごとに類似の判断との判定とを行なう。そして、撮影対象の変化があった領域単位に映像を映像蓄積ＤＢに蓄積する。本実施形態によれば、映像蓄積ＤＢに蓄積する映像を領域単位で可能なため、記録容量を第２実施形態乃至第５実施形態よりもさらに削減できる。なお、本実施形態に構成及び処理においては、図２の各機能構成部がフレーム単位でなくフレーム内の分割された領域単位に処理されるように変更されているが、その内部構成や動作はフレーム単位の場合と同様であるので、構成のみを示し動作の詳細な説明を省く。本実施形態では、１フレームを４つの領域に等しく分割した例を示すが、分割数や分割方式は限定されない、さらに、分割ではなく１フレーム内に複数の領域を設定することによっても本実施形態は実現できる。
【００６５】
《映像処理システムの構成》
図１３は、本実施形態に係る映像処理システム１３００の構成を示すブロック図である。図１３において、第２実施形態の図２と同じ参照番号の機能構成部は、第２実施形態と同様の機能を果たす。
【００６６】
撮影装置２１０は、移動制御部２１２と、移動制御部２１２により移動しながら、撮影範囲が変化するビデオカメラ２１１を含む。図２には、移動として首振りが示され、ビデオカメラ２１１は、撮影範囲Ａ０からＡｍを順に撮像してフレーム画像Ｆ−ｎからＦ０の映像フレーム２１１ａとして映像処理装置２２０に出力する。ここで、映像フレーム２１１ａのフレーム画像Ｆ−ｎからＦ０は、４つの領域に分割されており、各フレーム画像についてそれぞれＦ−ｎ１〜Ｆ−ｎ４、Ｆ０１〜Ｆ０４としている。
【００６７】
映像処理装置１３２０では、入力した映像フレーム２１１ａから、フレーム特徴量抽出部１３２１で領域ごとに部分フレーム特徴量１３２１ａを抽出して、部分フレーム特徴量ＤＢ１３２３に蓄積すると共に、部分特徴量バッファ１３２２に一時記憶する。部分フレーム特徴量１３２１ａにおいては、領域ごとにｆ−ｎ１〜ｆ−ｎ４…ｆ０１〜ｆ０４の順に出力される。部分フレーム特徴量ＤＢ１３２３及び部分特徴量バッファ１３２２は、領域ごとに設けられた複数の構造からなっている。なお、部分特徴量バッファ１３２２の容量は、少なくとも１領域の部分フレーム特徴量を記憶する容量を有する。実際には、部分フレーム検索部１３２４での部分フレーム検索の精度を高めるために、連続するフレームの複数の同じ領域の部分フレーム特徴量を記憶する容量を有するのが望ましい。部分フレーム検索部１３２４は、部分フレーム特徴量ＤＢ１３２３の１つに蓄積された以前の部分フレーム特徴量と、部分特徴量バッファ１３２２の１つに記憶された新たに得られた部分フレーム特徴量あるいは部分フレーム特徴量列とを比較する。そして、その差が第１閾値より小さいフレームを、類似した背景を持つフレームをとして検索する。類似した背景を持つ領域を見付けたならば、信号１３２４ａを出力元の部分フレーム特徴量ＤＢ１３２３に出力する。部分変化検出部１３２５は、出力元の部分フレーム特徴量ＤＢ１３２３からの類似した背景を持つ領域の撮影対象の部分フレーム特徴量と新しく入力した領域の撮影対象の部分フレーム特徴量との差分を取って、その差分が第２閾値より大きい場合に変化があったと検出する。検出した変化を、変化検出の信号１３２５ａによって、外部のたとえば監視員に通知すると共に、映像バッファ部１３２６に一時記憶された映像から変化が検出された領域に対応する領域の画像を含む所定長の映像を、映像蓄積ＤＢ１３２７に蓄積する。なお、監視員への通知は、映像の送信を含むものであっても良い。他の領域の処理も同様であるので詳細は省くが、次の領域における撮影対象の変化を検出した場合を、信号１３２５ｂと共に示している。
【００６８】
［第７実施形態］
第２実施形態乃至第６実施形態においては、ビデオカメラの移動あるいはズームによる撮影範囲の変化に制限を設けていない。しかしながら、実際の監視カメラとして使用する場合には、規則的で周期性を持った首振りやズームが行なわれることが多い。本実施形態では、周期性を持った首振りを行なうビデオカメラによる撮影対象の変化の検出を、周期を検出することによって比較対象のフレームを選別することにより行なう。本実施形態によれば、フレーム特徴量ＤＢに蓄積するフレーム特徴量は多くても１周期分、往復時に処理すれは半周期分で充分に周期検出及び変化検出が可能となる。したがって、フレーム特徴量の記憶容量をさらに削減できる。なお、第７実施形態において、第２実施形態との相違点は、記憶容量の小さくなったフレーム特徴量ＤＢと移動周期の検出まで連続するフレーム特徴量列を記憶する特徴量バッファとがある。また、フレーム検索部に代わって移動周期検出部が移動周期を求める。そして、変化検出部は、移動周期に基づいて選択されたフレームのフレーム特徴量の差分から撮影対象の変化を検出する。したがって、以下の説明では、この相違点を説明し、第２実施形態と同様の構成及び動作の説明は省略する。
【００６９】
《映像処理システムの構成》
図１４は、本実施形態に係る映像処理システムの構成１４００を示すブロック図である。図１４において、第２実施形態の図２と同じ参照番号の機能構成部は、第２実施形態と同様の機能を果たす。
【００７０】
図１４の移動周期検出部１４２８は、特徴量バッファ１４２２に記憶された連続する所定数のフレーム特徴量列と、フレーム特徴量ＤＢ１４２３に蓄積された半周期あるいは１周期に相当する直前のフレーム特徴量列を比較して、移動周期を検出する。変化検出部１４２５は、移動周期検出部１４２８が検出した移動周期に基づいて、特徴量バッファ２２２に記憶された新たなフレーム特徴量と、フレーム特徴量ＤＢ１４２３に蓄積された移動周期に対応する時間（＝記憶位置）のフレーム特徴量との差分を取って、撮影対象の変化を検出する。そして、撮影対象の変化を検出した場合に、撮影対象の変化を監視員などに通知する。同時に、映像バッファ部２２６の一時記憶されている映像をから撮影対象の変化があったフレームを含む所定長の映像を映像蓄積ＤＢ２２７に蓄積する。なお、撮影対象の変化以降の映像を監視員に送信する構成にしてもよい。
【００７１】
《移動周期検出部の構成及び動作》
図１５Ａは、本実施形態に係る移動周期検出部１４２８の構成及び動作を示す図である。
【００７２】
図１５Ａにおいて、特徴量バッファ１４２２には、連続する複数のフレーム特徴量２２１ａがセットされる。移動周期検出部１４２８は、仮周期算出部１５１０を有し、特徴量バッファ１４２２のフレーム特徴量列と、フレーム特徴量ＤＢ１４２３から読出された以前の半周期又は１周期に対応するフレーム特徴量列とを比較し、第４閾値に基づいて類似のフレーム特徴量列を検索する。類似のフレーム特徴量列が見付かった場合に、その間のフレーム数から仮周期１５１０ａを算出して出力する。
【００７３】
仮周期１５１０ａは、仮周期検証部１５２０において移動周期と決定して良いかが検証される。すなわち、仮周期１５１０ａがたまたま第４閾値の条件を満たして類似のフレーム特徴量となる場合がある。したがって、仮周期１５１０ａに基づいて１周期分のフレーム特徴量を比較して、合致していれば正式に移動周期とする。合致していなければ、比較する１周期分のフレーム特徴量を取り替えて再度検証する。それでも合致が得られなければ、仮周期１５１０ａは間違いと判断して、信号１５２０ａによりフレーム特徴量ＤＢ１４２３から読出されるフレーム特徴量列のアドレスをシフトして、再度仮周期の検出を始める。
【００７４】
（移動周期検出部の制御手順）
図１５Ｂは、本実施形態に係る移動周期検出部１４２８の制御手順を示すフローチャートである。このフローチャートは、図８には図示されていないが、映像処理装置を構成する図８と同様のＣＰＵ８１０によりＲＡＭ８４０を使用しながら実行されて、図１４の機能構成部を実現する。
【００７５】
まず、ステップＳ１５０１〜Ｓ１５０９は初期準備である。ステップＳ１５０１において、撮影装置２１０から映像フレームを取得する。ステップＳ１５０３において、各フレーム画像のフレーム特徴量を抽出する。ステップＳ１５０５において、Ｎフレーム以上のフレーム特徴量列を特徴量バッファに保持する。ここで、Ｎは移動周期を正確に検出するために必要なフレーム特徴量列の最小限の数である。Ｎが小さ過ぎると間違った周期を検出する可能性が高くなる。一方、Ｎが大き過ぎると周期が見付からない場合が出てくる。適切な数が選択される。ステップＳ１５０７において、フレーム特徴量ＤＢの後方から、特徴量バッファに保持されたＮ以上のフレーム特徴量列と重複しない、Ｎフレームの一連のフレーム特徴量を読み込む。ステップＳ１５０９において、変数ｉ＝０とする。
【００７６】
ステップＳ１５１１〜Ｓ１５１７は特徴量バッファ内のフレーム特徴量列とフレーム特徴量ＤＢ内のフレーム特徴量列との比較処理である。ステップＳ１５１１においては、特徴量バッファ内のフレーム特徴量列とフレーム特徴量ＤＢ内のフレーム特徴量列とを比較して、照合するか否かを判定する。照合すればステップＳ１５１９に進んで、（ｉ＋Ｎ）
を仮周期のフレーム数として、この仮周期の検証を行なう。照合しなければステップＳ１５１３に進んで、変数ｉに“１”を加える。ステップＳ１５１５においては、照合がないままフレーム特徴量列の比較が全て終了したかの判断をする。まだ比較するフレーム特徴量列があればステップＳ１５１７に進んで、フレーム特徴量ＤＢから読出すフレーム特徴量列を１つ前にずらす。比較が全て終了しも照合がなかった場合はステップＳ１５０１に戻って、新たな映像フレームを取得して処理を繰り返す。
【００７７】
なお、ステップＳ１５０５からＳ１５１５までのステップを、仮周期の算出処理とまとめることもできる。
【００７８】
ステップＳ１５１１で照合すれば、ステップＳ１５１９において仮周期フレーム数を（ｉ＋Ｎ）に設定する。以下ステップＳ１５２１〜Ｓ１５３１は、この仮周期フレーム数（ｉ＋Ｎ）が正しい周期か否かの検証処理である。まず、ステップＳ１５２１において、変数ｊを２に初期化する。ステップＳ１５２３において、上記仮周期フレーム数（ｉ＋Ｎ）
の間隔を空けて、２つの一連のフレーム特徴量をフレーム特徴量ＤＢから読み込む。ステップＳ１５２５において、２つの一連のフレーム特徴量を比較する。そして、２つの一連のフレーム特徴量が合致するかを判定する。すなわち、仮周期フレーム数（ｉ＋Ｎ）が正しい周期であれば、仮周期フレーム数（ｉ＋Ｎ）の間隔を空けた２つの一連のフレーム特徴量は合致するはずである。２つの一連のフレーム特徴量が合致すればステップＳ１５３３に進んで、周期フレーム数を仮周期フレーム数として検出された（ｉ＋Ｎ）と確定して、処理を終了する。
【００７９】
一方、ステップＳ１５２５において合致しなければステップＳ１５２７に進んで、変数ｉに“１”を加える。ステップＳ１５２７〜Ｓ１５３１は、比較対象の一連のフレーム特徴量に間違いがないかの検証である。ステップＳ１５２９においては、照合がないままフレーム特徴量列の比較が全て終了したかの判断をする。比較が全て終了して無ければステップＳ１５３１に進んで、１つ前の一連のフレーム特徴量を読み込む。そして、ステップＳ１５２５に戻って、再度、仮周期フレーム数（ｉ＋Ｎ）の整数倍の間隔を空けた２つの一連のフレーム特徴量が比較される。比較が全て終了していれば、検出された仮周期フレーム数を間違いであると判断してステップＳ１５１３に戻り、仮周期フレーム数（ｉ＋Ｎ）を“１”加算して、仮周期の算出処理を繰り返す。
【００８０】
《映像処理装置の制御手順》
図１６は、本実施形態に係る映像処理装置の制御手順を示すフローチャートである。このフローチャートも、図８には図示されていないが、映像処理装置を構成する図８と同様のＣＰＵ８１０によりＲＡＭ８４０を使用しながら実行されて、図１４の機能構成部を実現する。
【００８１】
まず、ステップＳ１６０１において、撮影装置２１０から映像フレーム２１１ａを取得する。ステップＳ１６０３においては、取得した映像フレームからフレーム特徴量を抽出する。次に、ステップＳ１６０５において、フレーム特徴量をフレーム特徴量ＤＢに保存する。ステップＳ１６０７において、周期を既に特定済みかを判断する。周期の特定がまだの場合はステップＳ１６０９に進んで、周期の特定処理が行なわれる。かかるステップＳ１６０９の処理が、前述の図１５のフローチャートの処理に相当する。
【００８２】
一方、ステップＳ１６０７において周期特定済みと判断されればステップＳ１６１１に進んで、フレーム特徴量ＤＢから新たに抽出したフレーム特徴量の１周期前にあたるフレームのフレーム特徴量を読み込む。ステップＳ１６１３において、新たに抽出したフレーム特徴量と１周期前にあたるフレームのフレーム特徴量とを比較する。フレーム特徴量が一致すれば（閾値内の差であれば）、撮影対象には特別な変化は無いと判断し、ステップＳ１６１７においては、撮像した映像の録画も、監視員への表示も、監視員への通知も行なわないで、処理は終了する。一方、閾値を超える不一致があればステップＳ１６１５に進んで、撮影対象の異常を検出したとして、その後しばらく録画を行なう、あるいは監視員のモニタに表示する、あるいは警報などで監視員に通知して、処理を終了する。
なお、ビデオカメラ２１１が往復型であれば行き帰りに同じ背景のフレームがあり、その場合には行きと帰りとでフレーム順を反転することで、本実施形態の移動周期の検出時間を短縮し、かつ撮影対象の変化の検出時間の短縮することができる。
【００８３】
［第８実施形態］
第７実施形態においては、映像処理装置に撮影装置の周期が分からない場合に、周期を検出する構成を示した。しかしながら、予め映像処理装置が撮影装置の移動周期を知っている場合、あるいは映像処理装置が撮影装置の移動周期を制御している場合には、新たに周期を検出する必要はない。本実施形態では、設定された移動周期で移動制御部が制御し、ビデオカメラが設定通りの周期で撮影範囲を変化させているかを判定して、移動周期を補正する。本実施形態によれば、予め映像処理装置が撮影装置の移動周期を知っている場合に、その移動周期を使用して１周期離れたフレーム特徴量を比較した場合の照合ミスを回避することができる。なお、本実施形態の第２実施形態の図２及び第６実施形態の図１４との相違点は、移動周期記憶部と移動周期補正部とである。他の機能構成部の構成及び動作は第２実施形態及び第６実施形態と同様なので、説明は書略する。
【００８４】
《映像処理システムの構成》
図１７は、本実施形態に係る映像処理システム１７００の構成を示すブロック図である。図１７において、図２及び図１４と同じ参照番号の機能構成部は、第２実施形態及び第６実施形態と同様の構成を有し、同様の機能を果たす。
【００８５】
映像処理装置１７２０の移動周期記憶部１７２９は、予め設定された移動周期を記憶する。また、移動周期補正部１７３０はテーブル１７３０ａを有する。そして、フレーム特徴量から移動周期検出部１４２８により検出された移動周期と、移動周期記憶部１７２９に記憶された移動周期とから、移動周期の補正値を算出し、撮影装置２１０の移動制御部２１２に送信してビデオカメラ２１１の移動周期を補正する。
【００８６】
このようにして、移動制御部２１２による移動周期の補正により、１周期に相当する撮像したフレーム数と、移動周期検出部１４２８により検出した１周期に相当するフレーム数のずれが無くなる。したがって、移動に関する各処理部にずれがあっても、変化検出部１４２５による撮影対象の変化の検出を正確にできるようになる。
【００８７】
（移動周期補正部が有するテーブルの構成）
図１８は、本実施形態に係る移動周期補正部１７３０が有するテーブル１７３０ａの構成を示す図である。
【００８８】
図１８は、移動周期補正部１７３０が、フレーム特徴量から移動周期検出部１４２８により検出された移動周期と、移動周期記憶部１７２９に記憶された移動周期とから、移動周期の補正値を算出する構成の一例として示すテーブル１７３０ａである。テーブル１７３０ａは、移動周期記憶部１７２９に記憶された移動周期１８０１と、移動周期１８０１と移動周期検出部１４２８により検出した移動周期との差分１８０２とに対応付けて、移動制御部２１２へ送信する移動制御パラメータ１８０３を記憶している。
【００８９】
なお、本実施形態においては、テーブル１７３０ａによる移動周期の補正値算出を示したが、これに限定されるものではない。また、本実施形態では、移動周期の補正を行なった。しかし、移動周期補正部１７３０は、移動周期記憶部１７２９に記憶された移動周期１８０１と、移動周期１８０１と移動周期検出部１４２８により検出した移動周期との比較結果から、ビデオカメラ２１１の故障や破壊などの異常を検出することも可能である。
【００９０】
［他の実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステム又は装置も、本発明の範疇に含まれる。
【００９１】
また、本発明は、複数の機器から構成されるシステムに適用されても良いし、単体の装置に適用されても良い。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
【００９２】
この出願は、２０１１年３月２５日に出願された日本国特許出願  特願２０１１−０６７６４０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2012132531.tif 000003
【図２】
2012132531.tif 000004
【図３Ａ】
2012132531.tif 000005
【図３Ｂ】
2012132531.tif 000006
【図３Ｃ】
2012132531.tif 000007
【図４】
2012132531.tif 000008
【図５】
2012132531.tif 000009
【図６】
2012132531.tif 000010
【図７】
2012132531.tif 000011
【図８】
2012132531.tif 000012
【図９】
2012132531.tif 000013
【図１０】
2012132531.tif 000014
【図１１】
2012132531.tif 000015
【図１２】
2012132531.tif 000016
【図１３】
2012132531.tif 000017
【図１４】
2012132531.tif 000018
【図１５Ａ】
2012132531.tif 000019
【図１５Ｂ】
2012132531.tif 000020
【図１６】
2012132531.tif 000021
【図１７】
2012132531.tif 000022
【図１８】
2012132531.tif 000023
【手続補正書】
【提出日】平成25年5月21日(2013.5.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影範囲が変化する映像に基づいて、撮影対象の変化を検出する映像処理システムであって、
撮影範囲が変化する映像を撮影する撮影手段と、
撮影された前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出したフレーム特徴量をフレームごとに記憶する特徴量記憶手段と、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が合致する前記特徴量記憶手段に記憶したフレーム特徴量のフレームを検索するフレーム検索手段と、
前記新たに撮影されたフレームのフレーム特徴量と前記フレーム検索手段が検索したフレームのフレーム特徴量との差分から、撮影対象の変化を検出する変化検出手段と、
を備える映像処理システム。
【請求項２】
前記フレーム特徴量が合致する前記特徴量記憶手段に記憶したフレーム特徴量のフレームの周期を前記撮影手段の撮影範囲が変化する周期として検出する周期検出手段をさらに備え、
前記変化検出手段は、前記新たに撮影されたフレーム特徴量と、前記周期検出手段が検出した前記撮影手段の撮影範囲が変化する周期に対応して選別された前記特徴量記憶手段に記憶したフレーム特徴量との差分から、撮影対象の変化を検出する請求項１に記載の映像処理システム。
【請求項３】
前記撮影手段の撮影範囲が変更する周期を記憶する周期記憶手段と、
前記周期検出手段が検出した前記撮影手段の撮影範囲が変化する周期に基づいて、前記周期記憶手段に記憶された撮影範囲が変化する周期を補正する周期補正手段と、
をさらに備える請求項２に記載の映像処理システム。
【請求項４】
前記特徴量抽出手段は、各フレーム上に異なるサイズ又は形状で設定された複数の領域対の各領域対に対して算出された領域特徴量の差分を領域対の数だけ組み合せて、フレーム特徴量とする請求項１乃至３のいずれか１項に記載の映像処理システム。
【請求項５】
前記領域特徴量は、輝度で表わされる請求項４に記載の映像処理システム。
【請求項６】
前記フレーム特徴量は、複数の連続する各フレームのフレーム特徴量を含む請求項１乃至５のいずれか１項に記載の映像処理システム。
【請求項７】
前記変化検出手段が検出した撮影対象が変化したフレームを含む複数のフレームを蓄積する映像蓄積手段をさらに備える請求項１乃至６のいずれか１項に記載の映像処理システム。
【請求項８】
撮影された前記映像の各フレームを所定数の領域に分割する分割手段をさらに有し、
前記特徴量抽出手段は前記領域ごとに特徴量を抽出して、前記変化検出手段は前記領域ごとに撮影対象の変化を検出し、
前記映像蓄積手段は、前記変化検出手段が検出した撮影対象が変化したフレームを含む複数のフレームの前記領域を蓄積する請求項７に記載の映像処理システム。
【請求項９】
前記撮影手段は、首振り又はズームにより撮影範囲が変化する映像を撮影する請求項１乃至８のいずれか１項に記載の映像処理システム。
【請求項１０】
複数の前記撮影手段が接続されている請求項１乃至９のいずれか１項に記載の映像処理システム。
【請求項１１】
撮影範囲が変化する映像に基づいて、撮影対象の変化を検出する映像処理方法であって、
撮影範囲が変化する映像を撮影する撮影ステップと、
撮影された前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出したフレーム特徴量をフレームごとに特徴量記憶手段に記憶する特徴量記憶ステップと、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレーム特徴量のフレームを検索する検索ステップと、
前記新たに撮影されたフレームのフレーム特徴量と前記検索ステップにおいて検索したフレームのフレーム特徴量との差分から、撮影対象の変化を検出する変化検出ステップと、
を含む映像処理方法。
【請求項１２】
撮影範囲が変化する撮影手段により撮影された映像に基づいて、撮影対象の変化を検出する映像処理装置であって、
撮影された映像から抽出した各フレームが有するフレーム特徴量をフレームごとに記憶する特徴量記憶手段と、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレーム特徴量のフレームを検索するフレーム検索手段と、
前記新たに撮影されたフレームのフレーム特徴量と前記フレーム検索手段が検索したフレームのフレーム特徴量との差分から、撮影対象の変化を検出する変化検出手段と、
前記変化検出手段が検出した撮影対象が変化する映像を蓄積する映像蓄積手段と、
を備える映像処理装置。
【請求項１３】
撮影された映像から各フレームのフレーム特徴量を抽出する特徴量抽出手段をさらに備え、
前記特徴量記憶手段は、前記特徴量抽出手段が抽出したフレーム特徴量をフレームごとに記憶することを特徴とする請求項１２に記載の映像処理装置。
【請求項１４】
撮影された映像から抽出された各フレームのフレーム特徴量を受信する特徴量受信手段をさらに備え、
前記特徴量記憶手段は、前記特徴量受信手段が受信したフレーム特徴量をフレームごとに記憶する請求項１２に記載の映像処理装置。
【請求項１５】
撮影範囲が変化する撮影手段により撮影された映像に基づいて、撮影対象の変化を検出する映像処理装置の制御方法であって、
撮影された映像から抽出された各フレームが有するフレーム特徴量をフレームごとに特徴量記憶手段に記憶する特徴量記憶ステップと、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレーム特徴量のフレームを検索するフレーム検索ステップと、
前記新たに撮影されたフレームのフレーム特徴量と前記フレーム検索ステップにおいて検索したフレームのフレーム特徴量との差分から、撮影対象の変化を検出する変化検出ステップと、
前記変化検出ステップにおいて検出した撮影対象が変化したフレームを含む複数のフレームを蓄積する映像蓄積ステップと、
を含む映像処理装置の制御方法。
【請求項１６】
撮影範囲が変化する撮影手段により撮影された映像に基づいて、撮影対象の変化を検出する映像処理装置の制御プログラムであって、
撮影された映像から各フレームが有するフレーム特徴量をフレームごとに特徴量記憶手段に記憶する特徴量記憶ステップと、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレーム特徴量のフレームを検索するフレーム検索ステップと、
前記新たに撮影されたフレームのフレーム特徴量と前記フレーム検索ステップにおいて検索したフレームのフレーム特徴量との差分から、撮影対象の変化を検出する変化検出ステップと、
前記変化検出ステップにおいて検出した撮影対象が変化したフレームを含む複数のフレームを蓄積する映像蓄積ステップと、
をコンピュータに実行させる制御プログラム。
【請求項１７】
撮影範囲を変化させる移動手段を有し、撮影範囲が変化する映像を撮像する撮影装置であって、
撮影範囲が変化する撮影手段と、
前記撮影手段が撮影した前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出したフレーム特徴量に基づいて、同じ撮影範囲において撮影対象が変化する映像を選別する選別手段と、
を備える撮影装置。
【請求項１８】
前記選別手段は、
前記特徴量抽出手段が抽出したフレーム特徴量を送信する特徴量送信手段と、
前記特徴量の送信に基づいて送信先から返信された撮影対象の変化を示す情報を受信する受信手段と、を有し
前記受信手段が受信した前記撮影対象の変化を示す情報に対応する映像を選別する請求項１７に記載の撮影装置。
【請求項１９】
前記特徴量抽出手段が抽出したフレーム特徴量をフレームごとに記憶する特徴量記憶手段と、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレーム特徴量のフレームを検索するフレーム検索手段と、
前記新たに撮影されたフレームのフレーム特徴量と前記フレーム検索手段が検索したフレームのフレーム特徴量との差分から、撮影対象の変化を検出する変化検出手段と、
をさらに備え、
前記選別手段は、前記変化検出手段が検出した撮影対象の変化に対応する映像を選別する請求項１７に記載の撮影装置。
【請求項２０】
前記選別手段が選別した映像を送信する送信手段をさらに備える請求項１７乃至１９のいずれか１項に記載の撮影装置。
【請求項２１】
前記選別手段が選別した映像を蓄積する映像蓄積手段をさらに備える請求項１７乃至２０のいずれか１項に記載の撮影装置。
【請求項２２】
撮影範囲を変化させる移動手段を有し、撮影範囲が変化する映像を撮像する撮影装置の制御方法であって、
撮影範囲が変化する撮影手段が撮影した前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出したフレーム特徴量に基づいて、同じ撮影範囲において撮影対象が変化する映像を選別する選別ステップと、
を含む撮影装置の制御方法。
【請求項２３】
撮影範囲を変化させる移動手段を有し、撮影範囲が変化する映像を撮像する撮影装置の制御プログラムであって、
撮影範囲が変化する撮影手段が撮影した前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出したフレーム特徴量に基づいて、同じ撮影範囲において撮影対象が変化する映像を選別する選別ステップと、
をコンピュータに実行させる制御プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記目的を達成するため、本発明に係るシステムは、
撮影範囲が変化する映像に基づいて、撮影対象の変化を検出する映像処理システムであって、
撮影範囲が変化する映像を撮影する撮影手段と、
撮影された前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出したフレーム特徴量をフレームごとに記憶する特徴量記憶手段と、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が合致する前記特徴量記憶手段に記憶したフレームを検索するフレーム検索手段と、
前記新たに撮影されたフレーム特徴量と前記フレーム検索手段が検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出手段と、
を備える。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記目的を達成するため、本発明に係る方法は、
撮影範囲が変化する映像に基づいて、撮影対象の変化を検出する映像処理方法であって、
撮影範囲が変化する映像を撮影する撮影ステップと、
撮影された前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出したフレーム特徴量をフレームごとに特徴量記憶手段に記憶する特徴量記憶ステップと、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレームを検索する検索ステップと、
前記新たに撮影されたフレーム特徴量と前記検索ステップにおいて検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出ステップと、
を含む。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するため、本発明に係る装置は、
撮影範囲が変化する撮影手段により撮影された映像に基づいて、撮影対象の変化を検出する映像処理装置であって、
撮影された映像から抽出した各フレームが有するフレーム特徴量をフレームごとに記憶する特徴量記憶手段と、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレームを検索するフレーム検索手段と、
前記新たに撮影されたフレーム特徴量と前記フレーム検索手段が検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出手段と、
前記変化検出手段が検出した撮影対象が変化する映像を蓄積する映像蓄積手段と、
を備える。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記目的を達成するため、本発明に係る方法は、
撮影範囲が変化する撮影手段により撮影された映像に基づいて、撮影対象の変化を検出する映像処理装置の制御方法であって、
撮影された映像から抽出された各フレームが有するフレーム特徴量をフレームごとに特徴量記憶手段に記憶する特徴量記憶ステップと、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレームを検索するフレーム検索ステップと、
前記新たに撮影されたフレーム特徴量と前記フレーム検索ステップにおいて検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出ステップと、
前記変化検出ステップにおいて検出した撮影対象が変化したフレームを含む複数のフレームを蓄積する映像蓄積ステップと、
を含む。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
上記目的を達成するため、本発明に係るプログラムは、
撮影範囲が変化する撮影手段により撮影された映像に基づいて、撮影対象の変化を検出する映像処理装置の制御プログラムであって、
撮影された映像から各フレームが有するフレーム特徴量をフレームごとに特徴量記憶手段に記憶する特徴量記憶ステップと、
新たに撮影されたフレーム特徴量と前記特徴量記憶手段に記憶したフレーム特徴量とを比較して、前記新たに撮影されたフレームと撮影範囲が一致する前記特徴量記憶手段に記憶したフレームを検索するフレーム検索ステップと、
前記新たに撮影されたフレーム特徴量と前記フレーム検索ステップにおいて検索したフレーム特徴量との差分から、撮影対象の変化を検出する変化検出ステップと、
前記変化検出ステップにおいて検出した撮影対象が変化したフレームを含む複数のフレームを蓄積する映像蓄積ステップと、
をコンピュータに実行させる制御プログラム。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
上記目的を達成するため、本発明に係る装置は、
撮影範囲を変化させる移動手段を有し、撮影範囲が変化する映像を撮像する撮影装置であって、
撮影範囲が変化する撮影手段と、
前記撮影手段が撮影した前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出したフレーム特徴量に基づいて、同じ撮影範囲において撮影対象が変化する映像を選別する選別手段と、
を備える。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
上記目的を達成するため、本発明に係る方法は、
撮影範囲を変化させる移動手段を有し、撮影範囲が変化する映像を撮像する撮影装置の制御方法であって、
撮影範囲が変化する撮影手段が撮影した前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出したフレーム特徴量に基づいて、同じ撮影範囲において撮影対象が変化する映像を選別する選別ステップと、
を含む。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
上記目的を達成するため、本発明に係るプログラムは、
撮影範囲を変化させる移動手段を有し、撮影範囲が変化する映像を撮像する撮影装置の制御プログラムであって、
撮影範囲が変化する撮影手段が撮影した前記映像から各フレームが有するフレーム特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにおいて抽出したフレーム特徴量に基づいて、同じ撮影範囲において撮影対象が変化する映像を選別する選別ステップと、
をコンピュータに実行させる制御プログラム。
【国際調査報告】
2012132531.tif 000024
2012132531.tif 000025