(57)【要約】【課題】動画中の物体の軌跡を効率良く検出可能にすることを課題とする。【解決手段】監視カメラ（３０１）は、動画に含まれる一部のフレームから物体領域の座標を検出し、その動画及び物体領域の座標と、その物体領域の座標が検出されたフレームのフレームＩＤとを送信する。演算装置（３０３）は、監視カメラ（３０１）から送信された動画と物体領域の座標とフレームＩＤを受信し、フレームＩＤを基に物体領域の座標が検出されているフレームを同定し、その同定されたフレームとは異なるフレームから物体領域の座標を検出して、それら物体領域の座標を基に、動画の中の物体領域の軌跡を生成する。【選択図】図１
2018132879.tif 000002
【特許請求の範囲】
【請求項１】
動画の中で物体領域が検出されたフレームを特定する識別子と、該フレームにおける前記物体領域の座標とを、取得する取得手段と、
前記取得された識別子を基に、前記動画の中から、前記物体領域が検出された前記フレームを同定する同定手段と、
前記動画の中で、前記同定されたフレームとは異なるフレームから物体領域の座標を検出する検出手段と、
前記取得された前記物体領域の座標と、前記同定されたフレームとは異なるフレームから前記検出された前記物体領域の座標とを基に、前記動画の中の前記物体領域の軌跡を生成する生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記検出手段は、
前記動画の中で、前記同定されたフレームとは異なるフレームの中の一部のフレームから物体領域を検出して、前記物体領域の座標を検出する物体検出手段と、
前記取得された前記物体領域の座標と、前記物体検出手段が前記検出した前記物体領域の座標とを基に、前記動画の中で、前記物体領域の座標の検出が行われていないフレームについて物体領域の座標を算出する座標算出手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記座標算出手段は、前記取得された前記物体領域の座標と、前記物体検出手段が前記検出した前記物体領域の座標との、何れかを用いた線形補間により、前記物体領域の座標の検出が行われていないフレームの前記物体領域の座標を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記検出手段は、前記同定されたフレームとは異なるフレームから前記物体領域の座標を検出する際、前記同定されたフレームに対して時間方向で近傍のフレームの中で、前記同定されたフレームについて前記検出されている前記物体領域の座標の周辺で且つ前記物体領域よりも大きい領域から前記物体領域を検出して、前記物体領域の座標を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記検出手段は、前記同定されたフレームについて前記検出されている前記物体領域の座標の周辺で且つ前記物体領域の幅及び高さを所定倍した前記大きい領域から、前記物体領域を検出して前記物体領域の座標を検出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記識別子は、前記動画に含まれる各フレームの撮影時刻情報であることを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
【請求項７】
前記同定手段は、前記動画の中で、前記取得された識別子との類似度が最も高いフレームを、前記物体領域の座標が前記検出されている前記フレームとして同定することを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
【請求項８】
前記識別子は、前記座標が検出されている前記物体領域に含まれる各ピクセルの座標とピクセル値との集合を含み、
前記同定手段は、前記動画の中で、前記識別子の各ピクセル値と、前記識別子の各ピクセルの座標に対応したフレーム内の各ピクセル値との差の総和が、最小となる画像領域を有するフレームを、前記同定するフレームとすることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
動画に含まれるフレームの中で物体領域の座標の検出が行われた一部の部分領域の大きさを特定する情報と、前記部分領域から検出された物体領域の座標とを、取得する取得手段と、
前記取得された前記部分領域の大きさを特定する情報を基に、前記動画に含まれるフレームの中で、前記物体領域の座標の検出が行われていない部分領域を検出して、前記部分領域から物体領域の座標を検出する検出手段と、
前記取得された前記物体領域の座標と、前記検出された前記物体領域の座標とを基に、前記動画の中の前記物体領域の軌跡を生成する生成手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
前記取得手段は、前記部分領域の大きさを特定する情報として、前記動画に含まれるフレームの画像に対する縮小率の情報を取得し、
前記検出手段は、前記縮小率の情報を基に、前記フレームの中で前記物体領域の座標の検出が行われていない部分領域を検出し、前記部分領域から前記物体領域の座標を検出することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記検出手段は、前記フレームの画像を前記縮小率に基づいて縮小した縮小画像から所定の大きさの領域を切り出し、前記切り出した領域を基に前記物体領域の座標の検出が行われていない部分領域を求めて、前記部分領域から前記物体領域の座標を検出することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記取得手段は、動画に含まれる一部のフレームについてのみ前記一部の部分領域から前記物体領域の座標の検出が行われている場合には前記一部のフレームを特定する識別子をも取得し、
前記検出手段は、前記取得された識別子を基に、前記動画の中から、前記物体領域の座標が検出されている前記フレームを同定して、前記動画の中で、前記同定されたフレームとは異なるフレームから前記物体領域の座標を検出し、
前記生成手段は、前記同定されたフレームとは異なるフレームから前記検出された前記物体領域の座標をも用いて、前記動画の中の前記物体領域の軌跡を求めることを特徴とする請求項９から１１の何れか１項に記載の画像処理装置。
【請求項１３】
動画に含まれる一部のフレームから物体領域の座標を検出する検出手段と、
前記動画の中で前記物体領域の座標が検出された前記フレームを特定する識別子を取得する取得手段と、
前記物体領域の座標と前記識別子とを出力する出力手段と、
を有することを特徴とする画像処理装置。
【請求項１４】
前記取得手段は、前記識別子として、前記動画に含まれる各フレームの撮影時刻情報を取得することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記取得手段は、前記識別子として、フレームの類似度を表す情報を取得することを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記取得手段は、前記フレームの類似度を表す情報として、前記座標を検出した前記物体領域に含まれる各ピクセルの座標とピクセル値との集合を取得することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
動画に含まれるフレームの中の一部の部分領域から物体領域の座標を検出する検出手段と、
前記動画に含まれるフレームの中で前記物体領域の座標の検出が行われた部分領域の大きさを特定する情報を取得する取得手段と、
前記物体領域の座標と前記部分領域の大きさを特定する情報とを出力する出力手段と、
を有することを特徴とする画像処理装置。
【請求項１８】
前記検出手段は、前記部分領域の大きさを特定する情報として、前記動画に含まれるフレームの画像に対する縮小率の情報を検出することを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記検出手段は、前記フレームの画像を前記縮小率に基づいて縮小した縮小画像から所定の大きさの領域を切り出し、前記切り出した領域について前記物体領域の座標を検出する処理を行うことを特徴とする請求項１８に記載の画像処理装置。
【請求項２０】
前記取得手段は、動画に含まれる一部のフレームについてのみ前記検出手段が前記一部の部分領域から前記物体領域の座標の検出を行った場合には前記一部のフレームを特定する識別子をも取得し、
前記出力手段は、前記識別子をも出力することを特徴とする請求項１７から１９の何れか１項に記載の画像処理装置。
【請求項２１】
動画の中で物体領域が検出されたフレームを特定する識別子と、該フレームにおける前記物体領域の座標とを、取得する取得工程と、
前記取得された識別子を基に、前記動画の中から、前記物体領域の座標が検出されている前記フレームを同定する同定工程と、
前記動画の中で、前記同定されたフレームとは異なるフレームから物体領域の座標を検出する検出工程と、
前記取得された前記物体領域の座標と、前記同定されたフレームとは異なるフレームから前記検出された前記物体領域の座標とを基に、前記動画の中の前記物体領域の軌跡を生成する生成工程と、
を有することを特徴とする画像処理装置の画像処理方法。
【請求項２２】
動画に含まれるフレームの中で物体領域の座標の検出が行われた一部の部分領域の大きさを特定する情報と、前記部分領域から検出された物体領域の座標とを、取得する取得工程と、
前記取得された前記部分領域の大きさを特定する情報を基に、前記動画に含まれるフレームの中で、前記物体領域の座標の検出が行われていない部分領域を検出して、前記部分領域から物体領域の座標を検出する検出工程と、
前記取得された前記物体領域の座標と、前記検出された前記物体領域の座標とを基に、前記動画の中の前記物体領域の軌跡を生成する生成工程と、
を有することを特徴とする画像処理装置の画像処理方法。
【請求項２３】
動画に含まれる一部のフレームから物体領域の座標を検出する検出工程と、
前記動画の中で前記物体領域の座標が検出された前記フレームを特定する識別子を取得する取得工程と、
前記物体領域の座標と前記識別子とを出力する出力工程と、
を有することを特徴とする画像処理装置の画像処理方法。
【請求項２４】
動画に含まれるフレームの中の一部の部分領域から物体領域の座標を検出する検出工程と、
前記動画に含まれるフレームの中で前記物体領域の座標の検出が行われた部分領域の大きさを特定する情報を取得する取得工程と、
前記物体領域の座標と前記部分領域の大きさを特定する情報とを出力する出力工程と、
を有することを特徴とする画像処理装置の画像処理方法。
【請求項２５】
コンピュータを、請求項１から２０の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項２６】
動画に含まれる一部のフレームから物体領域の座標を検出する第１の検出手段と、前記動画の中で前記物体領域の座標が検出された前記フレームを特定する識別子を取得する第１の取得手段と、前記物体領域の座標と前記識別子とを出力する出力手段と、を備える第１の画像処理装置と、
前記第１の画像処理装置から出力された前記物体領域の座標と前記識別子とを取得する第２の取得手段と、前記識別子を基に前記動画の中から前記物体領域の座標が前記検出されている前記フレームを同定する同定手段と、前記動画の中で前記同定されたフレームとは異なるフレームから物体領域の座標を検出する第２の検出手段と、前記第２の取得手段により取得された前記物体領域の座標と前記同定されたフレームとは異なるフレームから前記第２の検出手段により検出された前記物体領域の座標とを基に前記動画の中の前記物体領域の軌跡を生成する生成手段とを備える第２の画像処理装置と、
を有することを特徴とする画像処理システム。
【請求項２７】
動画に含まれるフレームの中の一部の部分領域から物体領域の座標を検出する第１の検出手段と、前記動画に含まれるフレームの中で前記物体領域の座標の検出が行われた部分領域の大きさを特定する情報を取得する第１の取得手段と、前記物体領域の座標と前記部分領域の大きさを特定する情報を出力する出力手段と、を備える第１の画像処理装置と、
前記第１の画像処理装置から出力された前記物体領域の座標と前記部分領域の大きさを特定する情報とを取得する第２の取得手段と、前記取得された前記部分領域の大きさを特定する情報を基に前記動画に含まれるフレームの中で前記物体領域の座標の検出が行われていない部分領域を検出して、前記部分領域から物体領域の座標を検出する第２の検出手段と、前記第２の取得手段により取得された前記物体領域の座標と前記第２の検出手段により検出された前記物体領域の座標とを基に前記動画の中の前記物体領域の軌跡を生成する生成手段とを備える第２の画像処理装置と、
を有することを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データを処理する画像処理装置、画像処理方法、プログラム、及び画像処理システムに関する。
【背景技術】
【０００２】
従来、監視カメラで撮影した動画から物体を検出して追尾することにより、物体の軌跡を求める画像処理装置が知られている。また、例えば非特許文献１には、静止画を解析することにより、静止画内の人物を検出する技術が開示されている。ここで、画像内の物体を検出する場合には、物体検出のための演算を短時間に実行できる専用ハードウェアを用いることがある。一方、特許文献１には、ハードウェアからなる顔検出回路と、ソフトウェアにより顔検出処理を行う信号処理回路とを有する顔検出装置が開示されている。この特許文献１の顔検出装置は、顔検出回路と信号処理回路でそれぞれ顔検出を行うようにし、顔検出回路による顔検出結果を基に信号処理回路による顔検出処理を制御することで、顔検出の高速化を図っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−４０７０９号公報
【非特許文献】
【０００４】
【非特許文献１】Ｃｈｅｎｇｂｉｎ  Ｚｅｎｇ，  Ｈｕａｄｏｎｇ  Ｍａ，  Ｒｏｂｕｓｔ  Ｈｅａｄ−ｓｈｏｕｌｄｅｒ  Ｄｅｔｅｃｔｉｏｎ  ｂｙ  ＰＣＡ−Ｂａｓｅｄ  Ｍｕｌｔｉｌｅｖｅｌ  ＨＯＧ−ＬＢＰ  Ｄｅｔｅｃｔｏｒ  ｆｏｒ  Ｐｅｏｐｌｅ  Ｃｏｕｎｔｉｎｇ，  ＩＣＰＲ２０１０
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、動画中の物体（人物等）の軌跡を検出する場合において、例えば、軌跡検出の対象となる物体が動画中に多数存在していたり、対象となる動画が高解像度の動画や高フレームレートの動画であったりすると、処理が間に合わなくなることがある。特に、監視カメラ側に物体検出専用ハードウェアが搭載され、監視カメラによる物体検出結果と動画を基に、汎用的なＰＣサーバ等の情報処理装置が軌跡を検出するような場合には、情報処理装置側での演算に時間が掛かり、全体としての処理効率が低下する。
【０００６】
そこで、本発明は、動画中の物体の軌跡を効率良く検出可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、動画の中で物体領域が検出されたフレームを特定する識別子と、該フレームにおける前記物体領域の座標とを、取得する取得手段と、前記取得された識別子を基に、前記動画の中から、前記物体領域の座標が検出されている前記フレームを同定する同定手段と、前記動画の中で、前記同定されたフレームとは異なるフレームから物体領域の座標を検出する検出手段と、前記取得された前記物体領域の座標と、前記同定されたフレームとは異なるフレームから前記検出された前記物体領域の座標とを基に、前記動画の中の前記物体領域の軌跡を生成する生成手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動画中の物体の軌跡を効率良く生成可能となる。
【図面の簡単な説明】
【０００９】
【図１】監視カメラと演算装置の概略的なブロック構成を示す図である。
【図２】監視カメラと演算装置のハードウェア構成例を示す図である。
【図３】実施形態の監視システムの概略構成を示す図である。
【図４】監視カメラが撮影した動画のフレーム画像例を示す図である。
【図５】監視カメラが動画中で物体検出を行うフレームを説明する図である。
【図６】物体領域の座標と軌跡を説明する図である。
【図７】第２の実施形態のフレームＩＤ取得と同定処理のフローチャートである。
【図８】第３の実施形態の部分領域を説明する図である。
【図９】第４の実施形態における物体領域検出を説明する図である。
【発明を実施するための形態】
【００１０】
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態の画像処理装置が適用される監視カメラ３０１と、同じく本実施形態の画像処理装置が適用される演算装置３０３との、概略的な内部構成例を示す機能ブロック図である。また、図２（Ａ）は監視カメラ３０１の概略的なハードウェア構成例を示し、図２（Ｂ）は演算装置３０３の概略的なハードウェア構成例を示している。さらに、図３は、本実施形態の画像処理システムの適用例である監視カメラ３０１及び演算装置３０３からなる監視システムの概略構成と、この監視システムの監視カメラ３０１による撮影範囲の一例を示した図である。
【００１１】
先ず、図３に示した本実施形態の監視システムから説明する。
図３に示した監視システムにおいて、監視カメラ３０１は、図中の点線３０２で囲まれた範囲を撮影範囲３０５（カメラの視野）とする動画撮影可能なカメラであり、監視エリアの一例である通路等に設置されている。なお、図３の例の場合、監視エリアである通路には、矢印方向に歩行している複数の人物（例えば人物３１１〜３１３）が存在している。このため、監視カメラ３０１は、撮影範囲３０５内に存在している複数の物体、つまり通路を歩行している複数の人物３１１〜３１３が撮影された動画を取得する。また、監視カメラ３０１は、ネットワーク３０４を介して演算装置３０３に接続されている。
【００１２】
そして、本実施形態の監視システムでは、監視カメラ３０１と演算装置３０３とが協調して、撮影動画に対して後述するような物体検出及び軌跡を求める画像処理を行うことにより、それら人物３１１〜３１３の映像上における移動の軌跡を求める。なお、本実施形態の場合、監視カメラ３０１により撮影動画を取得する例を挙げたが、取得される動画は監視カメラによるものに限定されない。また、本実施形態において、物体の軌跡は、歩行者の軌跡に限定されず、例えば走行する車両等、製造ラインを流れる製品や部品等、物流センターのコンベア上を流れる荷物等、移動する動物等の様々な物体の軌跡であってもよい。
【００１３】
図３に示した本実施形態の監視カメラ３０１は、一例として図２（Ａ）に示すようなハードウェア構成を有している。なお、図２（Ａ）には監視カメラ３０１に接続されたネットワーク３０４も示されている。
図２（Ａ）において、ＣＰＵ２０２は、ＲＡＭ２０３に展開された本実施形態に係る制御プログラムを実行して、監視カメラ３０１全体を制御する。本実施形態の場合、ＣＰＵ２０２は、制御プログラムにより、後述する図１に示した監視カメラ３０１の各機能ブロックに対応した各処理の実行及び制御を行う。なお、本実施形態では、図１に示す監視カメラ３０１の各機能ブロックに対応した各処理は、ＣＰＵ２０２がソフトウェアにより実現してもよいし、それら処理の一部又は全部が電子回路などのハードウェアにより実現されてもよい。
【００１４】
ＲＡＭ２０３は、本実施形態の監視カメラ３０１に係る制御プログラム、各種パラメータデータや画像データ、各種情報を記憶する。本実施形態に係る制御プログラムは、図示しないＲＯＭや記録装置等から読み出され、或いは、ネットワーク３０４等を介して外部から取得されて、ＲＡＭ２０３に展開される。
【００１５】
撮像装置２０４は、動画や静止画を撮影可能なカメラである。撮像装置２０４は、撮像素子、レンズ、画像取得回路などを有して構成されている。撮像装置２０４にて撮影された動画は、時間軸方向に連続した複数の静止画により形成されている。本実施形態の場合、動画は、例えば１秒間に３０回、静止画を等時間間隔で撮影することにより形成されるものとする。なお、動画を形成している各静止画は一般にフレームと呼ばれており、以下の説明でもそれら各静止画をフレームと呼ぶ。
【００１６】
物体検出回路２０５は、撮像装置２０４が撮影した動画の各フレームから、物体（本実施形態では人物を例に挙げている。）に対応した画像領域（以下、物体領域とする。）を検出する。本実施形態の場合、物体検出回路２０５は、例えば非特許文献１等に開示されている検出手法を半導体回路やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）として実装したものであるとする。本実施形態の監視カメラ３０１は、半導体回路やＦＰＧＡよりなる物体検出回路２０５を備えているため、例えばＣＰＵ２０２上でソフトウェアの実行により検出処理を行う場合よりも高速な物体検出（人物検出）が可能となっている。
【００１７】
ただし、物体検出回路２０５が検出処理に要する時間は、画像の複雑さなどにより変動する。このため、特段の処理を施さない場合、動画を構成する静止画のフレーム１枚に対して物体検出回路２０５が物体検出処理を行うのに要する時間は、撮像装置２０４における各フレームの撮影間隔（撮影時間間隔）よりも長いとする。すなわち、本実施形態において、物体検出回路２０５は、動画の全フレームに対してリアルタイムに物体検出処理を行うことはできず、動画を構成するフレーム群のうち一部のフレームについてのみ物体検出処理を行うものとする。なお、画像の複雑さだけでなく、画像の解像度が高い場合や、動画のフレームレートが高フレームレートである場合にも、物体検出回路２０５は、動画の全フレームに対してリアルタイムに物体検出処理を行えなくなることがある。したがって、この場合も、物体検出回路２０５は、動画の中の一部のフレームについてのみ物体検出処理を行うものとする。
【００１８】
通信部２０１は、ネットワーク３０４を経由して、本実施形態の演算装置３０３との間で通信を行う。例えば、通信部２０１は、撮像装置２０４による撮影動画のデータや、物体検出回路２０５による物体検出結果のデータ、後述するフレームＩＤ等を、ネットワーク３０４を経由して演算装置３０３に送信する。
【００１９】
図３に示した本実施形態の演算装置３０３は、一例として図２（Ｂ）に示すようなハードウェア構成を有している。なお、図２（Ｂ）には演算装置３０３に接続されたネットワーク３０４も示されている。
図２（Ｂ）において、通信部２１１は、ネットワーク３０４を経由して、本実施形態の監視カメラ３０１との間で通信を行う。例えば、通信部２１１は、監視カメラ３０１から送信された撮影動画のデータや物体検出結果のデータ、後述するフレームＩＤ等を、ネットワーク３０４を経由して受信する。
【００２０】
ＣＰＵ２１２は、ＲＡＭ２１３に展開された本実施形態に係る制御プログラムを実行して、演算装置３０３全体を制御する。本実施形態の場合、ＣＰＵ２１２は、制御プログラムにより、後述する図１に示した演算装置３０３の各機能ブロックに対応した各処理の実行及び制御を行う。なお、本実施形態では、図１に示す演算装置３０３の各機能ブロックに対応した各処理は、ＣＰＵ２１２がソフトウェアにより実現してもよいし、それら処理の一部又は全部が電子回路などのハードウェアにより実現されてもよい。
【００２１】
ＲＡＭ２１３は、本実施形態の演算装置３０３に係る制御プログラム、各種パラメータデータや画像データ、各種情報を記憶する。本実施形態に係る制御プログラムは、図示しないＲＯＭや外部記録装置２１４等から読み出され、或いは、ネットワーク３０４等を介して外部から取得されて、ＲＡＭ２１３に展開される。
【００２２】
外部記録装置２１４は、ハードディスク、ソリッドステートディスク等の記録媒体を有した記録装置である。外部記録装置２１４は、本実施形態の演算装置３０３に係る制御プログラムや、監視カメラ３０１から送信されてきた動画のデータや物体検出結果のデータ等を格納可能となされている。
【００２３】
＜第１の実施形態＞
以下、図１を参照しながら、第１の実施形態における監視カメラ３０１と演算装置３０３の各構成要素の動作を説明する。本実施形態の監視カメラ３０１と演算装置３０３は、図１には図示しないネットワーク（３０４）を介して接続されており、それら監視カメラ３０１と演算装置３０３との協調処理により、動画に写っている物体（人物等）とその物体の移動の軌跡とを検出する。なお、本実施形態では、説明を簡略化するため、監視カメラ３０１と演算装置３０３がそれぞれ一つとなされている例を挙げるが、例えば複数の監視カメラ３０１と一つ又は複数の演算装置３０３とがネットワーク３０４を介して接続されていてもよい。
【００２４】
第１の実施形態の監視カメラ３０１は、図１に示したように、動画撮影部１００、物体検出部１０１、フレームＩＤ取得部１０３、検出結果送信部１０４、動画送信部１０５の各機能ブロックを有して構成されている。なお、監視カメラ３０１の座標算出部１０２については、後述する第３の実施形態において説明する。
【００２５】
動画撮影部１００は、図２（Ａ）の撮像装置２０４を含む機能ブロックであり、撮像装置２０４を制御して動画の撮影を行う。これにより、動画撮影部１００は、動画の各フレームの画像（静止画）を取得する。また、撮像装置２０４が動画を撮影した際の各フレームの静止画データには、そのフレームの静止画の撮影時刻の情報が例えばメタデータとして埋め込まれる。なお、本実施形態において、フレームの撮影時刻は、ミリ秒単位で表される時刻情報であるとする。図４は、前述した図３の撮影範囲３０５を監視カメラ３０１が撮影した動画の各フレームのうちの、或る一つのフレームの画像例を示した図である。図４に例示した画像には、図３の撮影範囲３０５内に存在している人物３１１，３１２，３１３が写っている。なお、図４には矩形の物体領域４０１，４０２，４０３も描かれているが、これら物体領域４０１，４０２，４０３は後述する物体検出部１０１にて検出されるものであり、撮影動画のフレームの画像内に実際に写っているものではない。動画撮影部１００は、撮像装置２０４により撮影された動画の各フレームの画像データを、物体検出部１０１に送る。また、動画撮影部１００にて取得された動画のデータは、後述する動画送信部１０５にも送られる。
【００２６】
監視カメラ３０１の物体検出部１０１は、図２（Ａ）の物体検出回路２０５を含む機能ブロックであり、動画撮影部１００が取得した動画のフレームから物体領域を検出してその物体領域の座標を求める。図４の画像例の場合、フレームからは、人物３１１，３１２，３１３の画像領域（人物領域）が検出される。さらに、物体検出部１０１は、それら各人物３１１，３１２，３１３の画像領域をそれぞれ囲う矩形の領域を物体領域４０１，４０２，４０３として検出し、それら各物体領域４０１，４０２，４０３の各座標を求める。具体的には、物体検出部１０１は、各物体領域４０１，４０２，４０３の各座標として、例えば矩形の領域の左上頂点と右下頂点の各座標を求める。なお、図４の例の場合、各物体領域４０１，４０２，４０３は、各人物３１１，３１２，３１３の画像領域をそれぞれ囲う領域となされているが、各人物３１１，３１２，３１３の画像領域に外接するような矩形の外接領域であってもよい。
【００２７】
ここで、本実施形態の場合、前述したように、物体検出回路２０５による物体検出は、動画を構成するフレーム群のうち一部のフレームについてのみ行われる。図５は、撮像装置２０４による動画撮影で取得される時間順の各フレームＦ１，Ｆ２，・・・，Ｆ１７，・・・からなるフレーム群を示している。図５の各フレームＦ１，Ｆ２，・・・のうち、黒く塗られたフレームＦ１，Ｆ４，Ｆ８，Ｆ１１，Ｆ１４が、物体検出回路２０５において物体検出処理が行われるフレームを表している。したがって、物体検出部１０１は、物体検出回路２０５がそれらフレームＦ１，Ｆ４，Ｆ８，Ｆ１１，Ｆ１４からそれぞれ検出した物体領域の座標（矩形の左上頂点と右下頂点の座標、以下適宜、物体座標と表記する。）を求める。そして、物体検出部１０１は、動画のデータと、物体検出回路２０５が検出した物体座標の情報とを、フレームＩＤ取得部１０３に送る。
【００２８】
フレームＩＤ取得部１０３は、物体検出回路２０５が物体領域を検出したフレームを、動画内で特定可能にするための識別子を取得する。以下、物体領域が検出されたフレームを動画内において特定可能にするための識別子を、フレームＩＤと呼ぶ。第１の実施形態の場合、監視カメラ３０１と演算装置３０３はミリ秒単位の時刻で同期がとられており、フレームＩＤは、物体検出回路２０５にて物体領域が検出されたフレームの画像データに埋め込まれているミリ秒単位の撮影時刻情報を用いることとする。したがって、第１の実施形態において、フレームＩＤ取得部１０３は、物体領域が検出されたフレームの画像データに埋め込まれている撮影時刻情報をフレームＩＤとして取得する。そして、フレームＩＤ取得部１０３は、物体領域が検出されたフレームのフレームＩＤと、そのフレームにおいて検出された物体領域の座標（物体座標）の情報とを、検出結果送信部１０４に送る。
【００２９】
検出結果送信部１０４は、図２（Ａ）の通信部２０１を介して、物体座標とフレームＩＤとを演算装置３０３に送信する。また、動画送信部１０５は、動画撮影部１００から供給された動画のデータを圧縮し、その圧縮した動画のデータを、通信部２０１を介して演算装置３０３に送信する。ここで、本実施形態において、動画の圧縮は、例えばいわゆるＨ．２６４やＨ．２６５等の公知の規格による非可逆的な圧縮符号化を想定する。また、圧縮符号化された動画のデータの送信は、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）やＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）等の、データ欠損が生じる可能性のある媒体を介した送信を想定する。なお、この例では圧縮された動画のデータとは別に座標及びフレームＩＤの情報を演算装置３０３に送信しているが、座標及びフレームＩＤの情報は例えばメタデータとして動画のデータに埋め込まれて送信されてもよい。
【００３０】
第１の実施形態の演算装置３０３は、図１に示すように、検出結果受信部１１０、動画受信部１１１、フレーム同定部１１２、物体検出部１１３、座標算出部１１４、軌跡統合部１１５の各機能ブロックを有して構成されている。
【００３１】
検出結果受信部１１０は、ネットワーク３０４を経由して監視カメラ３０１から送信されてきた情報を、図２（Ｂ）の通信部２１１を介して受信することで、物体座標及びフレームＩＤの情報を取得する。また、動画受信部１１１は、ネットワーク３０４を経由して監視カメラ３０１から送信されてきた、圧縮されている動画のデータを、通信部２１１を介して受信する。動画受信部１１１は、圧縮されている動画を伸張（伸張復号化）する。そして、検出結果受信部１１０にて受信された物体座標及びフレームＩＤの情報と、動画受信部１１１で伸張された動画のデータとは、フレーム同定部１１２に送られる。また、動画受信部１１１にて受信されて伸張された動画データは、図１の外部記録装置２１４に記録される。
【００３２】
フレーム同定部１１２は、動画の各フレームの中で、フレームＩＤに対応したフレームを同定（特定）する。本実施形態の場合、前述したように動画の各フレームには撮影時刻の情報がメタデータとして埋め込まれており、またフレームＩＤは撮影時刻の情報となされている。このため、フレーム同定部１１２は、動画の各フレームに埋め込まれている撮影時刻と、フレームＩＤの時刻情報とを比較することにより、動画の各フレームの中からフレームＩＤに対応したフレームを同定できる。つまり、フレーム同定部１１２は、フレームＩＤの時刻情報を基に、監視カメラ３０１において動画の各フレームの中で物体領域の検出処理が行われたフレームを同定する。例えば、伸張された動画が前述の図５に示したフレーム群からなる動画である場合、フレーム同定部１１２は、黒く塗られたフレームＦ１，Ｆ４，Ｆ８，Ｆ１１，Ｆ１４を、監視カメラ３０１で物体検出処理が行われたフレームとして同定する。そして、フレーム同定部１１２は、動画のデータと、フレームＩＤと、フレームＩＤを基に同定したフレームの物体座標の情報とを、物体検出部１１３に送る。
【００３３】
物体検出部１１３は、後述する座標算出部１１４が適切に動作できない程に物体座標が不足する場合に、座標算出部１１４が動作できる程度にまで物体座標を求める。前述した図５の例の場合、物体領域が検出されたフレームＦ４とフレームＦ８との間は、フレームＦ５，Ｆ６，Ｆ７の３フレーム分の間隔が空いている。ここで、座標算出部１１４が例えば２フレーム間隔以内のフレームの画像から座標を算出するものである場合、物体検出部１１３は、フレームＦ４からフレームＦ８までの間の例えばフレームＦ６についても物体座標を求める。これにより、後述する座標算出部１１４は、フレームＦ４とフレームＦ６とから座標を算出できるようになり、さらに、フレームＦ６とフレームＦ８とから座標を算出できることになる。なお、演算装置３０３の物体検出部１１３は、監視カメラ３０１の物体検出部１０１と同様にして物体座標を検出するが、物体検出回路２０５のような半導体回路等である必要はなく、ＣＰＵ２１２がプログラムを実行して物体座標を検出してもよい。そして、物体検出部１１３は、動画のデータと、前述のように検出した物体座標の情報と、フレーム同定部１１２にて同定されたフレームの物体座標（つまり監視カメラ３０１側で検出された物体座標）の情報と、を座標算出部１１４に送る。
【００３４】
座標算出部１１４は、動画の各フレームＦ１，Ｆ２，・・・の内、監視カメラ３０１の物体検出部１０１と演算装置３０３の物体検出部１１３の双方で物体座標の検出処理が行われていないフレームに対して、物体座標の検出処理を行う。前述した図５の例の場合、例えば、フレームＦ８と、そのフレームＦ８から２フレーム後のフレームＦ１１とは、監視カメラ３０１の物体検出部１０１により物体領域と座標の検出処理が行われたフレームである。一方、それらフレームＦ８とフレームＦ１１との間の２つのフレームＦ９，Ｆ１０は、監視カメラ３０１の物体検出部１０１と演算装置３０３の物体検出部１１３の何れにおいても物体座標の検出処理が行われていないフレームであるとする。この例の場合、座標算出部１１４は、フレームＦ８から検出された物体座標とフレームＦ１１から検出された物体座標との間を線形補間することにより、フレームＦ９に対応した物体座標とフレームＦ１０に対応した物体座標とを算出する。
【００３５】
ここで、図６は、動画の各フレームから求められた各物体領域を時間方向に並べて表した図である。図６の図中実線で示した物体領域６０２はフレームＦ８内の例えば前述した図４の人物３１１を検出した物体領域を表し、同じく図中実線で示した物体領域６０３はフレームＦ１１から人物３１１を検出した物体領域を表しているとする。図６の図中実線で示した物体領域６０１については後述する。一方、図６の図中点線で示した物体領域６１１はフレームＦ９内で人物３１１に対応した物体領域を表し、同じく図中点線で示した物体領域６１２はフレームＦ１０内で人物３１１に対応した物体領域を表しているとする。座標算出部１１４は、フレームＦ８の物体領域６０２の物体座標とフレームＦ１１の物体領域６０３の物体座標との間を線形補間することにより、フレームＦ９の物体領域６１２の物体座標とフレームＦ１０の物体領域６１２の物体座標とを求める。なお、図６の説明では、監視カメラ３０１の物体検出部１０１が検出した物体座標のみを用いた線形補間を例に挙げたが、線形補間に用いられる物体座標は、演算装置３０３の物体検出部１１３が求めた物体座標であってもよい。
【００３６】
前述したように、本実施形態では、監視カメラ３０１側の物体検出部１０１で物体座標検出処理が行われていない各フレームについて、物体検出部１１３又は座標算出部１１４による物体座標算出処理が行われる。これにより、動画の全てのフレームについて物体座標の検出処理が実現される。そして、座標算出部１１４は、監視カメラ３０１の物体検出部１０１及び演算装置３０３の物体検出部１１３にて検出された物体座標の情報と、前述のように算出した物体座標の情報とを、軌跡統合部１１５に送る。
【００３７】
軌跡統合部１１５は、前述のように監視カメラ３０１の物体検出部１０１、演算装置３０３の物体検出部１１３、座標算出部１１４での物体座標検出処理により求められた各物体座標を基に、物体の移動の軌跡を生成する。物体の移動の軌跡とは、人物等の物体領域の例えば中心座標をフレーム順に配列して得られる軌跡である。具体的には、前述のように座標算出部１１４での算出処理を介することで動画の全てのフレームについて物体座標が得られているので、軌跡統合部１１５は、先ず、動画の連続するフレーム間で最近傍にある物体座標同士を接続する。そして、軌跡統合部１１５は、それら物体座標からそれぞれ中心座標（左上頂点と右下頂点の中点の座標）を求めて、それら中心座標をフレーム順に配列して軌跡を求める。図６の例の場合、物体領域６０１、６０２、６１１、６１２、６０３の各物体座標が接続され、それら物体座標からそれぞれ求めた中心座標をフレーム順に配列した軌跡は、図中の矢印で示すような軌跡６２０となる。なお、図６では、例えば物体領域６０１の中心座標が軌跡の始端点になされている例を挙げている。そして、軌跡統合部１１５が求めた軌跡の情報は、本実施形態の監視システムにおいて、動画中の物体の軌跡の検出結果となされる。
【００３８】
また、軌跡統合部１１５は、動画の連続する各フレーム間で、物体座標間の距離がある閾値以上の距離になる場合には、そのときの物体領域は動画内に新規に登場若しくは物体領域の消失が生じたとし、軌跡を求める際の端点とする。例えば、動画内に新規に物体領域が登場した場合、その物体領域の物体座標から求められる中心座標は、軌跡の始端点となり、一方、動画内から物体領域が消失した場合には、その物体領域の物体座標から求められる中心座標が軌跡の終端点となる。
【００３９】
以上説明したように第１の実施形態によれば、演算装置３０３は、動画の物体領域の軌跡を求める際、監視カメラ３０１で検出された物体座標を基に、監視カメラ３０１にて物体領域の検出が行われていないフレームの物体座標を算出することができる。このように、演算装置３０３側では、監視カメラ３０１で物体領域が既に検出されているフレームについては物体領域の検出処理を行なわないため、監視システム全体での演算量が削減される。
【００４０】
また一般に、監視カメラ３０１と演算装置３０３とを有する監視システムでは、通信量や演算負荷の低減策として動画の圧縮が行われる。動画の圧縮が行われた場合、動画の画像内の細部の省略や解像度低下等が生ずることがあり、動画の画質は劣化することになる。ここで、前述の非特許文献１に記載の手法を含め、一般に、動画の画質が低下すると、その動画から物体領域を検出する際の検出精度が低下する。特に、物体領域の検出処理が演算装置３０３側で行われる場合、画質劣化は検出精度の低下に大きく影響する。これに対し、第１の実施形態においては、物体検出は監視カメラ３０１側で行われ、演算装置３０３では、監視カメラ３０１で物体領域の検出が行われていないフレームに対する物体座標の検出処理が行われる。すなわち、第１の実施形態の場合、画像の圧縮がなされる前の高品質な動画の画像に対して物体領域の検出が行われ、その検出された物体座標を基に、演算装置３０３側での物体座標検出が行われるため、高い検出精度で物体座標の検出が可能となる。したがって、第１の実施形態によれば、監視システム全体としての物体検出と追尾精度が向上し、精度の高い軌跡を得ることが可能となる。
【００４１】
＜第２の実施形態＞
前述した第１の実施形態では、監視カメラ３０１と演算装置３０３の間で動画の圧縮及び送信、受信及び伸張が発生し、圧縮前の動画のフレームから物体領域が検出され、一方、伸張後の動画から物体の軌跡が求められている。また、第１の実施形態では、撮影時刻に相当するフレームＩＤを用いて、圧縮前の動画から物体検出が行われたフレームを、伸張後の動画のフレーム群の中から同定している。このため、第１の実施形態では、監視カメラ３０１と演算装置３０３における時刻が或る程度高い精度で同期している必要がある。これに対し、第２の実施形態では、このような時刻の同期がさほど高精度ではない場合、或いは、時刻情報のフレームＩＤを必要とせず、画像の類似度を用いることで圧縮前と伸張後の動画からフレームを同定可能とする。
【００４２】
第２の実施形態の監視カメラ３０１及び演算装置３０３の構成は前述した図１、図２（Ａ）、図２（Ｂ）と同様であるため図示及び説明は省略する。以下、第２の実施形態において、図１の監視カメラ３０１のフレームＩＤ取得部１０３の動作を図７（Ａ）のフローチャートを用いて説明し、演算装置３０３のフレーム同定部１１２の動作を図７（Ｂ）のフローチャートを用いて説明する。以下の説明では、図７（Ａ）のフローチャートにおける各ステップＳ７０１〜Ｓ７０５をＳ７０１〜Ｓ７０５と略記し、同様に図７（Ｂ）のフローチャートにおける各ステップＳ７１１〜Ｓ７１４をＳ７１１〜Ｓ７１４と略記する。
【００４３】
先ず、図７（Ａ）のフローチャートを用い、監視カメラ３０１のフレームＩＤ取得部１０３の動作を説明する。
第２の実施形態において、フレームＩＤ取得部１０３には、撮像装置２０４が撮影した動画のフレームの画像データと、監視カメラ３０１の物体検出部１０１が検出した物体座標の情報とが入力される。一方、フレームＩＤ取得部１０３からは、第２の実施形態におけるフレームＩＤの情報が出力される。第２の実施形態におけるフレームＩＤは、前述した第１の実施形態で説明した撮影時刻情報ではなく、検出された物体領域の各ピクセルの座標とそのピクセル値の対の集合である。
【００４４】
このため第２の実施形態の場合、フレームＩＤ取得部１０３は、先ず、Ｓ７０１において、フレームＩＤを空集合として初期化する。次に、フレームＩＤ取得部１０３は、Ｓ７０２からＳ７０５のループ処理として、Ｓ７０３及びＳ７０４の処理を、事前に定められた回数だけ繰り返す。なお、繰り返し回数は経験的に求められた回数とすればよい。
【００４５】
Ｓ７０２からＳ７０５のループ処理に進むと、フレームＩＤ取得部１０３は、Ｓ７０３において、監視カメラ３０１の物体検出部１０１で求めた物体領域内に任意の座標を設定する。この座標は、物体領域内に存在する範囲でランダムに設定されてもよいし、事前に設定されていてもよい。
【００４６】
次に、Ｓ７０４において、フレームＩＤ取得部１０３は、Ｓ７０３で設定した座標のピクセル値を求め、そのピクセルの座標とピクセル値の対を、フレームＩＤの集合に追加する。なお、ピクセル値は、入力されたフレームの画像に応じた値となる。例えば、撮像装置２０４からＲ，Ｇ，ＢやＹ，Ｃｒ，Ｃｂなどで表されるカラー画像が取得されるのであれば、ピクセル値はそれらＲ，Ｇ，ＢやＹ，Ｃｒ，Ｃｂで表される値となる。また例えば、撮像装置２０４から例えば赤外画像のような単色画像が取得されるのであれば、ピクセル値は、単色で表される値となる。
【００４７】
そして、フレームＩＤ取得部１０３は、Ｓ７０２からＳ７０５のループ処理の繰り返し回数が事前に設定された回数になると、その繰り返し回数のループ処理で得られた各ピクセルの座標及びピクセル値の集合をフレームＩＤとして取得する。このフレームＩＤは、前述の実施形態と同様に、動画等と共に検出結果送信部１０４から演算装置３０３に送信される。
【００４８】
次に、図７（Ｂ）のフローチャートを用いて、演算装置３０３のフレーム同定部１１２の動作を説明する。
第２の実施形態において、フレーム同定部１１２には、検出結果受信部１１０が受信したフレームＩＤと動画受信部１１１が受信して伸張した動画のデータとが入力される。一方、フレーム同定部１１２からは、フレームＩＤを基に特定されたフレームの画像データが出力される。
【００４９】
第２の実施形態の場合、フレーム同定部１１２は、Ｓ７１１からＳ７１４のループ処理として、動画の所定時間範囲内の全てのフレームについて、Ｓ７１２とＳ７１３の処理を繰り返す。ここで、第２の実施形態において、動画の所定時間範囲は、監視カメラ３０１と演算装置３０３における時刻の同期精度の誤差に依存し、フレームＩＤに対応するフレームが必ず動画の範囲内に含まれる程度の範囲とする。
【００５０】
Ｓ７１１からＳ７１４のループ処理に進むと、フレーム同定部１１２は、Ｓ７１２において、動画の所定時間範囲内の各フレームの画像（静止画）について、それぞれフレームＩＤとの類似度（以下、フレーム類似度とする。）を求める。例えば、フレーム同定部１１２は、動画のフレーム画像を構成する各ピクセルのうちフレームＩＤの要素である各座標に対応したピクセルの値と、フレームＩＤの要素である各座標と対になされている各ピクセル値との差の総和を、フレーム類似度として求める。すなわち、差の総和の値が小さいほど、フレーム類似度は高いことになる。なお、ピクセル値の差は、フレームの画像がＲＧＢやＹＣａＣｂのカラー画像であれば３次元のユークリッド距離となり、単色画像であれば単に２つの値の差となる。
【００５１】
次に、フレーム同定部１１２は、Ｓ７１３において、Ｓ７１２で求めた差の総和の値が、動画の所定時間範囲内の全てのフレームに対するＳ７１１からＳ７１４のループ処理の中で最小値となる場合、その最小値となったフレームの画像データを記憶しておく。そして、フレーム同定部１１２は、Ｓ７１１からＳ７１４のループ処理の終了後、各ループ処理のＳ７１３で求めた差の総和の値が最小値となったフレーム、つまりフレーム類似度が最も高いフレームを、フレームＩＤに対応して同定されたフレームであるとする。
【００５２】
前述したように、第２の実施形態においては、フレームＩＤとして、第１の実施形態のような撮影時刻に基づく情報ではなく、各ピクセルの座標及びピクセル値の集合からなる情報を用いている。ここで、動画から検出される物体が動体である場合、動画の時間順のフレーム毎に、その動体の位置が徐々に変化していくと考えられる。第２の実施形態では、図７（Ａ）のＳ７０３において、物体領域内で座標を設定しているので、その座標は動体上の座標である可能性が高く、また、その座標上の色は背景の色とは異なる可能性が高いと考えられる。このため、圧縮前の動画と伸張後の動画の各フレームのなかで、その座標の色の差が最も小さいフレームの対は、圧縮前と伸張後の双方のフレーム内で同一の動体が同一座標に存在している同一フレームである可能性が高いと考えられる。これは、フレームＩＤの取得とフレーム同定との間で、動画の圧縮と伸張が行われても、動体と背景の色の差が、動画の圧縮／復号に起因する色の変化よりも小さい限り、成立すると考えられる。したがって、第２の実施形態によれば、各ピクセルの座標及びピクセル値の集合で表されるフレームＩＤを用いることにより、監視カメラ３０１の物体検出部１０１が物体領域を検出したフレームを、演算装置３０３側で同定することができる。なお、図７（Ａ）のＳ７０２の処理が繰り返される回数を増やすこと、つまりフレーム類似度を求める点を増やすようにすれば、フレーム同定の精度を更に高めることも可能となる。
【００５３】
＜第３の実施形態＞
前述した第１の実施形態の場合、演算装置３０３の物体検出部１１３は、監視カメラ３０１の物体検出部１０１が物体領域の検出処理を行っていないフレームに対して、検出処理を行うようになされている。これに対し、第３の実施形態の場合、演算装置３０３の物体検出部１１３は、受信して伸張した動画のうち、監視カメラ３０１側で物体領域の検出処理が行われていないフレームではなく、物体領域検出が行われていない部分領域について、検出処理を行う。
【００５４】
第３の実施形態の監視カメラ３０１及び演算装置３０３の構成は前述した図１、図２（Ａ）、図２（Ｂ）と同様であるため図示及び説明は省略する。第３の実施形態の場合、監視カメラ３０１の物体検出部１０１は、非特許文献１に記載の技術と同様に、入力されたフレームの任意の部分領域について、それが検出対象の物体であるか否かを識別する。そして、物体検出部１０１は、物体であると識別された部分領域の、フレーム内における座標を出力する。
【００５５】
このとき、物体検出部１０１は、任意の部分領域を形成するために、入力されたフレームの画像をそれぞれ異なる複数の縮小率により縮小して、それら異なる縮小率で縮小された画像から、それぞれ一定の大きさの画像領域を走査しながら切り出す。例えば、物体検出部１０１に入力されたフレームの画像は図８に示すような入力画像８０１であるとする。入力画像８０１には、図３の撮影範囲３０５内に存在している人物３１１，３１２，３１３が写っている。この例の場合、物体検出部１０１は、入力画像８０１を、縮小率Ａで縮小した縮小画像８０２、縮小率Ｂで縮小した縮小画像８０３のように、複数の縮小率でそれぞれ縮小した縮小画像を生成する。縮小率Ａと縮小率Ｂは、それぞれの縮小率の値が一定の比率で異なっているとする。そして、物体検出部１０１は、非特許文献１の技術と同様、入力画像８０１、縮小画像８０２、縮小画像８０３から、それぞれ一定の大きさの切り出し領域８１１に適合した大きさの物体領域を検出する。これにより入力画像８０１からは切り出し領域８１１に適合した大きさの物体領域８２１（人物３１３の画像領域）が検出される。以下同様に、縮小画像８０２からは物体領域８２２（人物３１２の画像領域）、縮小画像８０３からは物体領域８２３（人物３１１の画像領域）が検出される。つまり、第３の実施形態の場合、物体検出部１０１は、縮小率が大きな縮小画像になるほど、その画像内で大きな物体を検出することになる。
【００５６】
ここで、第３の実施形態の場合、前述した第１の実施形態とは異なり、監視カメラ３０１の物体検出部１０１における物体検出処理は、一定間隔毎、例えば動画撮影部１００が数フレーム分の画像を取得する毎に中断される。そして、物体検出部１０１は、処理が中断されることを前提に、縮小率の小さな画像から順に処理を行う。すなわち、物体検出部１０１は、小さな物体から検出する。したがって、処理が中断された場合には、小さな物体の検出が終了し、大きな物体の検出が終了していない状態となる。例えば、物体検出部１０１は、先ず入力画像８０１に検出処理を施して物体領域８２１を検出する。次に、物体検出部１０１は、縮小率が小さい縮小画像８０２から物体領域８２２を検出する。そして、縮小画像８０２から物体領域８２２を検出した時点で処理が中断されたとすると、縮小画像８０３に対する検出処理は行われないため物体領域８２３は検出されないことになる。この例の場合、監視カメラ３０１の物体検出部１０１において物体領域の検出処理が行われていない部分領域は、縮小画像８０３の物体領域８２３となる。すなわちこの場合、入力画像８０１の中で最も大きく写っている人物３１１については、検出処理が行われていないことになる。
【００５７】
なお、第３の実施形態の場合、物体検出部１０１による物体検出処理が行われていないフレームについては、例えば座標算出部１０２が、演算装置３０３の座標算出部１１４と同様の線形補間処理等により、部分領域の物体座標を算出してもよい。すなわち、座標算出部１０２は、物体検出部１０１による物体検出処理が行われていないフレームの中で、物体検出部１０１が物体検出処理を行ったフレームから物体領域が検出された部分領域については、前述同様の線形補間により物体座標を算出してもよい。これにより、物体検出部１０１による物体検出処理が行われた部分領域については、動画の全てのフレームについて物体座標が求められた状態にすることを保障することができる。もちろん、第３の実施形態の場合、動画の中の一部のフレームについてのみ、そのフレーム内の一部の部分領域から物体領域の座標を検出してもよい。
【００５８】
また、第３の実施形態において、フレームＩＤ取得部１０３は、前述の第１や第２の実施形態と同様にしてフレームＩＤを求める。第３の実施形態の場合、前述した処理の中断により検出処理が行われない部分領域を除き、物体座標の検出処理自体は毎フレーム実行されるので、フレームＩＤ取得部１０３は全てのフレームについてフレームＩＤを求める。なお、第３の実施形態において、動画の中の一部のフレームについてのみ、そのフレーム内の一部の部分領域から物体領域の座標を検出した場合、フレームＩＤ取得部１０３が取得するフレームＩＤは、当該一部のフレームのフレームＩＤとなる。
【００５９】
検出結果送信部１０４は、前述のようにして求められた物体座標及びフレームＩＤと共に、物体検出部１０１により検出処理が行われた部分領域の大きさを特定可能な情報を、演算装置３０３に送信する。第３の実施形態の場合、物体検出部１０１による検出処理が行われた部分領域の大きさを特定可能な情報として、検出処理が行われた縮小画像の縮小率の情報が送信される。演算装置３０３に送られる縮小率の情報は、検出処理が行われた各縮小画像の各縮小率の情報でもよいが、本実施形態では縮小率の小さな画像から順に検出処理が行われるため、処理が行われた各縮小率のうち最大値の情報のみを送信してもよい。前述した図８の例の場合、検出処理が行われたのは縮小画像８０２までであるため、縮小率Ａの情報が送信されることになる。
【００６０】
これにより、第３の実施形態の場合、演算装置３０３の検出結果受信部１１０は、物体座標とフレームＩＤと縮小率の情報を受信する。そして、演算装置３０３の物体検出部１１３は、監視カメラ３０１側で処理されていない領域を求め、この領域に対する物体検出処理を施す。具体的には、物体検出部１１３は、動画受信部１１１が受信した画像データから、検出結果受信部１１０が受信した縮小率を基に、監視カメラ３０１側で検出処理が行われていない縮小率の縮小画像を生成し、その縮小画像に対して検出処理を行う。前述の図８の例の場合、検出結果受信部１１０は、縮小率Ａの情報を受信する。このため、物体検出部１１３は、監視カメラ３０１側で検出処理が行われていない縮小画像として、縮小率Ａよりも大きい縮小率Ｂにより入力画像８０１を縮小した縮小画像８０３を生成する。そして、物体検出部１１３は、その縮小画像８０３に対し、物体検出部１０１の場合と同様に、切り出し領域８１１に適合した大きさの物体領域８２３（人物３１１の画像領域）を検出する。演算装置３０３の物体検出部１１３では、監視カメラ３０１側のような処理の中断は行われずに、動画の毎フレームについて検出処理を実行する。前述のように物体検出部１１３では、監視カメラ３０１側での検出処理が行われていない縮小画像を用いた物体検出処理を行うことにより、物体領域検出が行われていない部分領域から物体座標が検出される。なお、第３の実施形態の監視カメラ３０１側において、動画の中の一部のフレームについてのみ、その中の一部の部分領域から物体領域の座標が検出された場合、物体領域の座標検出が行われていないフレームに対する処理は前述の実施形態と同様でよい。
【００６１】
第３の実施形態の場合、座標算出部１１４は、監視カメラ３０１の物体検出部１０１が求めた物体領域８２１の座標及び物体領域８２２の座標と、演算装置３０３の物体検出部１１３が求めた物体領域８２３の座標とを、軌跡統合部１１５に送る。そして、軌跡統合部１１５は、前述の第１の実施形態の場合と同様に、時間順の各フレームの各物体座標から得られる中心座標群を繋いでそれら物体の軌跡を各々求める。
【００６２】
第３の実施形態によれば、監視カメラ３０１側でフレームの画像内の一部の物体領域の座標が求められていない場合でも、演算装置３０３の物体検出部１１３の処理によりそれら物体領域の座標を求めることができる。したがって、第３の実施形態においても、各物体の軌跡を求めることができる。ここで、通信量や演算負荷を低減するために動画の品質が劣化し、物体の検出精度が低下した場合には、特に小さな物体についての検出精度が低下すると考えられる。このため、第３の実施形態の監視カメラ３０１側の物体検出部１０１は、画質の劣化後に検出されにくくなる小さな物体から優先して検出処理を行い、一方、演算装置３０３側の物体検出部１１３では画質劣化後にも検出し易い大きな物体を検出する。したがって、第３の実施形態の監視システムによれば、システム全体として検出精度を向上させることができる。
＜第４の実施形態＞
以下、第４の実施形態について説明する。第４の実施形態の演算装置３０３の物体検出部１１３は、監視カメラ３０１側で検出処理が行われなかったフレームについて、監視カメラ３０１が求めた物体座標を基に、物体が存在する可能性のある領域を設定し、その領域のみに対して検出処理を行う。第４の実施形態の監視カメラ３０１及び演算装置３０３の構成は前述同様であるため図示及び説明は省略する。
【００６３】
図９は前述した図５の例えばフレームＦ８を表す図であり、物体領域９０１は図５のフレームＦ８内で図４の人物３１１に対応した物体領域（４０３）であるとする。また前述した図５の例のように、監視カメラ３０１の物体検出部１０１は、フレームＦ８で物体検出処理を行い、そのフレームＦ８から時間方向に後の二つのフレームＦ９，Ｆ１０では物体検出を行わず、フレームＦ１１で物体検出処理を行ったとする。さらに、図９において、物体領域９０２は、フレームＦ１１の画像から図４の人物３１１が検出された際の物体領域を表しているとする。そして、監視カメラ３０１からは、前述の第１の実施形態と同様に、それら物体領域９０１の座標及びフレームＦ８のフレームＩＤ、物体領域９０２の座標及びフレームＦ１１のフレームＩＤが演算装置３０３に送信されたとする。この場合、演算装置３０３側では、受信したフレームＩＤを基にフレーム同定が行われ、またその同定されたフレームの画像に対して物体座標が対応付けられる。図９の例の場合、フレームＦ８とフレームＦ１１がそれぞれ同定され、フレームＦ８の画像と物体領域９０１の座標が対応付けられ、フレームＦ１１の画像と物体領域９０２の座標が対応付けられる。
【００６４】
そして、第４の実施形態において、演算装置３０３の物体検出部１１３は、監視カメラ３０１側で物体検出処理が行われていないフレームについて、検出処理を施して物体座標を求める。図９の例の場合、監視カメラ３０１側で物体検出処理が行われていないフレームは、フレームＦ９とＦ１０である。
【００６５】
第４の実施形態の場合、演算装置３０３の物体検出部１１３は、図９の例でフレーム同定されたフレームＦ８とフレームＦ１１の物体座標を参考にして、フレームＦ９とＦ１０の物体座標を求める。具体的には、物体検出部１１３は、フレームＦ８の物体領域９０１の座標を基に、フレームＦ８の次のフレームＦ９内で物体領域９０１の物体が存在しそうな領域９１１を設定し、そのフレームＦ９の領域９１１に対して物体検出処理を行う。ここで、フレームＦ９内で物体領域９０１の物体が存在しそうな領域は、例えば、フレームＦ８内の物体領域９０１の座標の周辺で且つ物体領域９０１よりも大きい領域とする。物体領域９０１より大きい領域は、フレームＦ８内の物体領域９０１の中心座標と同じ座標を中心とし、矩形の幅及び高さが物体領域９０１の幅及び高さに対して所定倍された領域とする。そして、領域９１１内で例えば物体領域９２１を検出した場合、物体検出部１１３は、前述同様に、物体領域９２１の座標を基に次のフレームＦ１０内で物体領域９２１の物体が存在しそうな領域９１２を求め、その領域９１２に対する物体検出処理を行う。図９の例では、領域９１２内で物体領域９２２が検出されたとする。
これ以降は、前述した実施形態と同様に、座標算出部１１４は、不足している物体座標を求め、軌跡統合部１１５はこれら座標群を統合して軌跡を求める。
【００６６】
第４の実施形態の監視システムにおいても前述の各実施形態と同様に、監視システム全体としての検出追尾精度が向上する。特に、第４の実施形態の場合は、監視カメラ３０１側で物体検出処理が行われたフレームの物体座標に基づき、監視カメラ３０１側で物体検出処理が行われていないフレームの中で、物体が存在しそうな領域を設定し、その領域にする物体検出処理を行う。このため、第４の実施形態によれば、物体検出処理が行われていないフレーム全体に対して物体領域の検出処理を行う場合よりも演算量を低減できる。また、第４の実施形態によれば、物体が存在しそうな領域に対して物体領域検出処理を行うので、物体領域を検出できる可能性が高くなり、検出処理時間の短縮と高精度な検出が可能となる。
【００６７】
以上説明したように、第１〜第４の実施形態の監視システムでは、監視カメラ３０１側で物体検出処理が行えないフレームや部分領域等があったとしても、演算装置３０３側で物体検出処理を補うことにより、物体の軌跡を求めることができる。すなわち、演算装置３０３側では、監視カメラ３０１の物体検出部１０１で検出処理が行われていないフレームや部分領域に対する検出処理が行われるため、検出処理を施す領域が少なくなり、動画中の物体の軌跡を効率良く高い精度で検出可能となる。したがって、本実施形態の監視システムによれば、監視カメラ３０１の物体検出部１０１の処理が撮影フレームレートと比べて遅い場合、軌跡検出の対象となる物体が多数存在する場合、高解像度の動画の場合であっても、物体の軌跡を求めることができる。
【００６８】
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６９】
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７０】
１００：動画撮影部、１０１：物体検出部、１０２：座標算出部、１０３：フレームＩＤ取得部、１０４：検出結果送信部、１０５：動画送信部、１１０：検出結果受信部、１１１：動画受信部、１１２：フレーム同定部、１１３：物体検出部、１１４：座標算出部、１１５：軌跡統合部、３０１：監視カメラ、３０３：演算装置
【図１】
2018132879.tif 000003
【図２】
2018132879.tif 000004
【図３】
2018132879.tif 000005
【図４】
2018132879.tif 000006
【図５】
2018132879.tif 000007
【図６】
2018132879.tif 000008
【図７】
2018132879.tif 000009
【図８】
2018132879.tif 000010
【図９】
2018132879.tif 000011