(57)【特許請求の範囲】
【請求項１】
撮像された映像に対し、ユーザから受け付けた領域指定に基づいて複数の領域を設定する手段と、
前記領域ごとにユーザにより選択されたイベント解析処理のイベント種別を設定する手段と、
前記領域ごとに前記設定された前記イベント種別に対応するイベント解析処理の優先度を決定する手段と、
前記映像から物体を検知する手段と、
前記設定された領域のうち、前記物体がどの領域に属するか判定し、前記優先度に従って前記イベント種別に応じたイベント解析処理を行う手段と、
前記イベント解析処理の結果を出力する手段とを備えたことを特徴とする映像処理システム。
【請求項２】
前記領域ごとにイベント解析処理の解析処理期限を設定する手段をさらに備え、
前記優先度を決定する手段は、前記設定された解析処理期限の情報を用いて、前記決定された優先度を修正することを特徴とする請求項１に記載の映像処理システム。
【請求項３】
撮像された映像に対し、ユーザから受け付けた領域指定に基づいて複数の領域を設定する工程と、
前記領域ごとにユーザにより選択されたイベント解析処理のイベント種別を設定する工程と、
前記領域ごとに前記設定された前記イベント種別に対応するイベント解析処理の優先度を決定する工程と、
前記映像から物体を検知する工程と、
前記設定された領域のうち、前記物体がどの領域に属するか判定し、前記優先度に従って前記イベント種別に応じたイベント解析処理を行う工程と、
前記イベント解析処理の結果を出力する工程とを備えたことを特徴とする映像処理方法。
【請求項４】
請求項３に記載の映像処理方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、物体を検知して領域を解析する映像処理システム、映像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、店舗や工場などに設置されたカメラが撮影した映像を解析することにより、様々な事象をイベントとしたり、その統計情報として出力したりする技術が開示されている。例えば、特許文献１に記載の技術では、カメラが撮影した映像から、映像に存在する物体の位置など、映像に関連する情報（以下、メタデータと呼ぶ）を抽出する。そして、ネットワークを介してメタデータを配信し、メタデータの解析処理を行う機器によって、物体の存在、消失、通過などを検知している。
【０００３】
このような画像処理システムにおいて、複数の解析処理を行う場合がある。一例として、侵入とカウントとを解析する場合について、図７を用いて説明する。７００は店舗内に設定されたカメラで撮像されている画面全体である。７０１は通常は立ち入りの禁止されている非常用ドアであり、７０２と７０３は人物であり、７０４は商品棚である。７０５は、非常用ドア７０１への人物の侵入を検知するために、ユーザによって指定された解析対象の領域（以降、解析領域と記述する）であり、７０６は、商品棚の商品を手にした人物をカウントするための解析領域である。このように複数の解析処理を行う必要が生じたとき、解析処理の負荷が増大する。この課題に対応するために特許文献１では、複数の機器をネットワークで接続し、機器同士で解析処理を分担することにより、解析処理の分散を図っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１６８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、処理量の増大に伴って、機器を増やさなければならなかった。例えば、図７に示す例の場合、侵入検知とカウントとをそれぞれで１台の機器が必要であるとすると、２台必要である。侵入検知は、店舗の営業時間中、事象が発生したら、すぐに警備員が駆けつけるなどして対応する必要があるので、優先的に、即ち、リアルタイムに解析が行われる必要がある。しかし、カウントは一日の営業時間分の集計結果が必要なデータであるので、営業時間後、夜間に処理するなどして、優先度を低くしても構わない。このような場合であっても２台の機器を用意しておかなければならず、機器を効率良く活用することができなかった。
【０００６】
本発明は前述の問題点に鑑み、同一の映像に対して解析処理を複数行う必要がある場合に、解析領域ごとに解析処理の優先度を適切に決定し、システム中の機器を効率良く活用できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明の映像処理システムは、撮像された映像に対し、ユーザから受け付けた領域指定に基づいて複数の領域を設定する手段と、前記領域ごとにユーザにより選択されたイベント解析処理のイベント種別を設定する手段と、前記領域ごとに前記設定された前記イベント種別に対応するイベント解析処理の優先度を決定する手段と、前記映像から物体を検知する手段と、前記設定された領域のうち、前記物体がどの領域に属するか判定し、前記優先度に従って前記イベント種別に応じたイベント解析処理を行う手段と、前記イベント解析処理の結果を出力する手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、同一の映像に対して解析処理を複数行う必要がある場合であっても、解析領域ごとにイベント解析処理の優先度を適切に決定し、システム中の機器を効率良く活用することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る画像処理システムの構成例を示すブロック図である。
【図２】カメラによる撮影処理手順の一例を示すフローチャートである。
【図３】ＰＣによる解析領域の設定処理手順の一例を示すフローチャートである。
【図４】スケジューリング処理の手順の一例を示すフローチャートである。
【図５】メタデータの一例を示す図である。
【図６】ＰＣによる解析処理手順の一例を示す図である。
【図７】カメラで撮像されている画面全体の一例を示す図である。
【図８】実施形態におけるＰＣのハード構成例を示すブロック図である。
【図９】解析タイミングテーブルの一例を示す図である。
【図１０】領域解析情報の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
本実施形態における映像処理システムは、図１に示すようにカメラ１００とパーソナルコンピュータ（ＰＣ）１１０とから構成されている。
【００１１】
図８は、本実施形態におけるＰＣ１１０のハード構成例を示すブロック図である。
図８において、８０１はＣＰＵであり、本実施形態のＰＣ１１０における各種制御を実行する。８０２はＲＯＭであり、ＰＣ１１０の立ち上げ時に実行されるブートプログラムや各種データを格納する。８０３はＲＡＭであり、ＣＰＵ８０１が処理するための制御プログラムを格納するとともに、ＣＰＵ８０１が各種制御を実行する際の作業領域を提供する。８０４はキーボード、８０５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００１２】
８０６は外部記憶装置であり、ハードディスクやフレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ等で構成される。ただし、外部記憶装置８０６は、制御プログラムや各種データを全てＲＯＭ８０２が保持するようにする場合には、必ずしも必要な構成要素ではない。８０７は表示器であり、ディスプレイなどで構成され、撮影結果等をユーザに対して表示する。８０８はネットワークインターフェースであり、ネットワーク上の撮像部とＬＡＮケーブルを介した通信を可能とする。また、８１０は上記の各構成を接続するバスである。
【００１３】
なお、本実施形態におけるカメラ１００のハード構成については図示していないが、ＰＣ１１０と同様にＣＰＵ、ＲＡＭ、ＲＯＭ、ネットワークインターフェースなどで構成され、更に、撮像レンズや撮像センサなどを備えた構成である。
【００１４】
図１は、本実施形態に係る画像処理システムの構成例を示すブロック図である。
図１において、１００はカメラであり、１１０はＰＣである。それぞれはネットワークを介して通信可能な構成となっている。
【００１５】
まず、カメラ１００内の機能構成について説明する。
１０１は、撮像レンズ、および、ＣＣＤ、ＣＭＯＳなどの撮像センサからなる撮像部である。１０２は、物体検知部であり、撮像部１０１で撮像されたフレーム画像から物体を検知する。１０３は、送信部であり、物体検知部１０２の結果であるメタデータを、撮像部１０１で撮像されたフレーム画像に付与し、送信する。フレーム画像は、カメラ１００よりＬＡＮケーブルなどのネットワークを介してｈｔｔｐプロトコルのパケットデータとしてＰＣ１１０へ送られる。なお、送信する際のプロトコルは、ｈｔｔｐプロトコルに限定されるものではない。
【００１６】
次に、ＰＣ１１０の機能構成について説明する。
１１１は、受信部であり、カメラ１００から送られたフレーム画像のパケットデータをＰＣ１１０上のネットワークインターフェース８０８を介して受信する。そして、受信したパケットデータより前記フレーム画像とメタデータとへ分離する。１１２は、解析領域設定部であり、キーボード８０４及びマウス８０５により構成され、図７の解析領域７０５、７０６のような解析の対象となる領域と、侵入やカウントなどの解析する処理の内容とを、領域解析優先度決定部１１３へ設定するものである。
【００１７】
１１３は、領域解析優先度決定部であり、解析領域設定部１１２で設定された解析領域と解析する処理内容であるイベント種別とから、領域の処理のイベント解析処理の優先度を決定し、解析領域に関連付ける。１１４は、解析処理スケジューリング部であり、解析領域設定部１１２で各解析領域に関連付けられた解析優先度に基づいて解析処理のスケジューリングを行う。１１８は、解析ジョブ生成部であり、受信部１１１で受信したメタデータである物体情報がどの解析領域に属するかを判定し、解析処理スケジューリング部１１４によるスケジュールに従って、解析ジョブを生成する。そして、解析ジョブはキューへ入れられる。
【００１８】
１１５は、物体情報蓄積部であり、解析処理の開始が物体情報の受信よりも後になる物体情報を、イベント種別と共に蓄積するものである。１１６は、解析部であり、キューより解析ジョブを取り出し、物体情報に対してイベント種別に応じた解析処理を行う。１１７は、表示部であり、図８に示した表示器８０７で構成され、受信部１１１で受信したフレーム画像や、解析部１１６のイベント解析結果を表示し、ユーザに提示する。
【００１９】
次に、カメラ１００における処理の流れを図２のフローチャートを用いて説明する。図２は、カメラ１００による撮影処理手順の一例を示すフローチャートである。
まず、撮像部１０１により撮像を行い、フレーム画像を取得する（ステップＳ２００）。次に、物体検知部１０２により、フレーム画像から物体の検知を行い、物体情報を生成する（ステップＳ２０１）。物体検知の処理方法は特に限定されるものではないが、例えば以下の方法がある。人物のいないときのフレーム画像を背景画像として記憶する。そして、前記背景画像と現在のフレーム画像との差分量を、画素ごとに輝度の差分より求める。これにより、前記差分量が同一の画素同士を結合し、１つの領域を１つの物体として出力する。また、或いは、フレーム間差分による方法によってもよい。
【００２０】
次に、送信部１０３は、物体検知部１０２の結果である物体情報をメタデータとしてフレーム画像に付与し、ネットワークへ送信する。本実施形態では、メタデータをヘッダ領域に付与し、送信する（ステップＳ２０２）。なお、フレーム画像とメタデータとの同期が取れる方法であれば、本方法に限らない。例えば、フレーム画像とメタデータとをそれぞれタイムスタンプを付与して、別々に送信してもよい。このときは、受信側でタイムスタンプを参照することで、フレーム画像に対応するメタデータを取得することができる。
【００２１】
ここで、物体検知部１０２の出力であるメタデータについて説明する。図５は、メタデータの一例を示す図である。図５に示すように、メタデータとは、フレームの現在のフレーム番号（フレームの撮影時刻であってもよい）、フレームに含まれる物体数、物体の外接矩形座標の情報である。
【００２２】
次に、ＰＣ１１０での処理について説明する。まず、解析領域の設定時の処理について、図３のフローチャートを用いて説明する。図３は、ＰＣ１１０による解析領域の設定処理手順の一例を示すフローチャートである。
まず、受信部１１１は、ネットワークを介してカメラから送信されたフレーム画像を受信する（ステップＳ３００）。そして、受信したフレーム画像を表示部１１７に表示する（ステップＳ３０１）。これにより、ユーザは現在カメラで撮影されている映像を確認することができる。
【００２３】
次に、解析領域設定部１１２は、ユーザから例えば図７に示すような解析領域の設定を受け付ける（ステップＳ３０２）。なお、解析領域として、本実施形態では矩形を指定するものとしているが、頂点を３つもしくは５つ以上持つ多角形等で指定するようにしても、もちろん構わない。次に、解析領域設定部１１２は、ユーザから解析領域に対するイベント種別の設定を受け付ける（ステップＳ３０３）。イベント種別の設定方法としては、予め用意されているリストよりユーザが選ぶようにする。
【００２４】
次に、解析領域設定部１１２は、ユーザから解析領域に対する処理対象の時間帯の設定を受け付ける（ステップＳ３０４）。そして、受け付けて設定された値をＲＡＭ８０３に一時記憶する。このとき、例えば、店舗の営業時間帯を09:00から17:00などと、ユーザが入力する。もちろん、日付や曜日の指定ができるようにしてもよい。次に、解析領域設定部１１２は、解析処理期限の設定を行う（ステップＳ３０５）。解析処理期限は、現在時刻から翌日の解析対象時間の開始時刻までに解析できていればよいので、解析対象の時間帯を参照し、開始時刻（前記例では09:00）を設定する。なお、ユーザにより処理結果を参照する時刻を直接入力されるようにしてもよい。
【００２５】
次に、領域解析優先度決定部１１３は、解析タイミングテーブルを参照し、解析タイミングタイプを取得し、優先度として使用する（ステップＳ３０６）。図９は、解析タイミングテーブルの一例を示す図である。図９に示すように、イベント種別（侵入、置き去り、カウント）に対して、解析タイミングタイプとしてリアルタイム型、蓄積型が付与されている。本実施形態における画像処理システムでは、リアルタイム型の方が蓄積型よりも優先度が高いものとして解釈される。
【００２６】
次に、領域解析優先度決定部１１３は、現在の解析領域に対して、イベント種別と優先度、解析処理対象時間帯、解析処理期限とを関連付けて領域解析情報として、ＲＡＭ８０３に一時記憶する（ステップＳ３０７）。
【００２７】
図１０は、領域解析情報の一例を示す図である。ここで、解析領域数は、後述のステップＳ３０８で全ての領域解析情報をまとめたときに付与される。また、解析開始時刻は、後述のステップＳ３１１で解析処理スケジューリング部１１４によって解析処理がスケジューリングされた際に付与される。
図１０において、領域ＩＤは、ひとつの解析領域に対して発番されるＩＤである。解析領域は、左上と右下の点のｘ、ｙ座標で表される。イベント種別はイベントの種別ごとに発行されるＩＤが使用される。解析優先度は、解析タイミングタイプがリアルタイム型であれば１を蓄積型であれば２を記述する。なお、解析優先度は高いものほど小さな値であるとする。また、１つの領域に対して領域ＩＤ、領域座標、イベント種別ＩＤ、解析優先度、解析対象時間帯、解析処理期限が存在する。
【００２８】
次に、解析領域設定部１１２は、ユーザからの解析領域の設定終了の入力を受け付け、終了を指示されたか否かを判断する（ステップＳ３０８）。この判断の結果、終了指示されていない場合は、ステップＳ３００に戻る。一方、ステップＳ３０８の判断の結果、解析領域の設定処理の終了を指示された場合はステップＳ３０９に進む。このように、処理を繰り返すことによって、ユーザは複数の解析領域を設定することが可能になり、夫々の解析領域に対して解析優先度が付与され、領域解析情報が生成される。
【００２９】
次に、設定された解析領域の数をカウントし、領域数として領域解析情報に付与する（ステップＳ３０９）。次に、領域解析優先度決定部１１３は、優先度の再設定を行う（ステップＳ３１０）。蓄積型の領域については、解析処理期限が早いものほど、優先的に処理されるべきものである。従って、全ての蓄積型（優先度＝２）の領域について、解析処理期限を比較し、早いものから順にソートし、先頭より優先度を２からはじめて、３、４、・・・というように設定し直す。
【００３０】
次に設定された条件で解析処理を行う処理について、図６のフローチャートを用いて説明する。図６は、ＰＣ１１０による解析処理手順の一例を示す図である。なお、ステップＳ６００はステップＳ３００と同じであり、ステップＳ６０１はステップＳ３０１と同じであるので、説明は省略する。
【００３１】
そして、解析処理スケジューリング部１１４は、受信部１１１が受信したフレーム画像のヘッダ部分より、メタデータを取得する（ステップＳ６０２）。次に、メタデータ中の物体情報がどの解析領域に属するかを判定し、解析処理スケジューリング部１１４によって解析処理をスケジューリングして解析ジョブを生成し、キューへ入れる（ステップＳ６０３）。
【００３２】
次に、解析部１１６は、キューより解析ジョブを取り出し、物体情報の解析処理を行う（ステップＳ６０４）。この解析処理の詳細については後述する。なお、ステップＳ６００からステップＳ６０３までの処理と、ステップＳ６０４からステップＳ６０６までの処理は別のプロセスとして動作しており、（見かけ上）並列に動作可能であるものとする。次に、表示部１１７は、解析部１１６によって出力された解析結果を表示する（ステップＳ６０５）。この解析結果を表示する処理の詳細については後述する。
【００３３】
次に、ステップＳ６０３の解析処理におけるスケジューリング処理について、図４のフローチャートを用いて説明する。図４は、ステップＳ６０３におけるスケジューリング処理の手順の一例を示すフローチャートである。
まず、メタデータ中の物体の数をＮに設定する（ステップＳ４００）。次に、メタデータから物体情報として外接矩形座標を１つ取得する（ステップＳ４０１）。
【００３４】
次に、領域解析情報の解析領域座標を参照し、外接矩形がどの解析領域に属するかを判定する（ステップＳ４０２）。次に、領域解析情報中の現在処理している物体が属している解析領域に付与されている解析対象時間帯を参照して、現在時刻と比較する（ステップＳ４０３）。この比較の結果、解析対象時間内である場合は次のステップＳ４０４へ進み、解析対象時間外である場合はステップＳ４１２に進む。
【００３５】
次に、領域解析情報中の現在処理している物体が属している解析領域に付与されている解析優先度を参照し、１であるかどうかをチェックする（ステップＳ４０４）。このチェックの結果、解析優先度＝１である場合は、解析処理をすぐに開始しなければならないので、ステップＳ４０５へ進み、処理中の物体が属している解析領域のイベント種別と物体情報の組み合わせを解析ジョブとして、キューに入れる。
【００３６】
一方、ステップＳ４０４のチェックの結果、解析優先度＝１でない場合は、解析処理を行うのに必要な計算リソースが十分にあるか否かを確認する（ステップＳ４０６）。具体的には、ＣＰＵ８０１の負荷の量、ＲＡＭ８０３の空き容量である。複数の領域のそれぞれに、物体が同時に存在すると、それだけイベントの解析処理を同時に行わなければならなくなるので、この場合は、計算リソースは少なくなる。そこで、処理中の物体が属している解析領域のイベントを処理するのに十分な計算リソースがあるかどうかを判断する。なお、特定のイベント種別に必要な処理コストは、イベントを検知するために設定される条件の内容や数から見積もることができる。
【００３７】
ステップＳ４０６の確認の結果、現在のイベントを処理するのに十分な計算リソースがある場合は、物体情報蓄積部１１５に、既に蓄積された物体情報が存在するかどうかを判定する（ステップＳ４０７）。一方、ステップＳ４０６の確認の結果、現在のイベントを処理するのに十分な計算リソースが無い場合は、ステップＳ４１１に進む。
【００３８】
ステップＳ４０７の判定の結果、蓄積された物体情報が存在する場合は、過去の物体情報を現在の物体情報より先に処理するために、物体情報蓄積部１１５から物体情報を関連付けられた領域ＩＤと共に読み出す（ステップＳ４０８）。そして、領域解析情報を参照し、読み出した物体情報に関連付けられた領域ＩＤから、処理するイベント種別と優先度とを特定する。そして、イベント種別と物体情報との組み合わせを解析ジョブとし、これと優先度を関連付けてＲＡＭ８０３に一時保存する（ステップＳ４０９）。これは解析ジョブを後で優先度順にソートするために行われる処理である。そして、現在の物体情報を領域解析情報中の領域ＩＤを関連付けて、物体情報蓄積部１１５へ蓄積し（ステップＳ４１１）、ステップＳ４１２に進む。
【００３９】
一方、ステップＳ４０７の判定の結果、蓄積された物体情報がない場合は、ステップＳ４０９と同様に現在の物体情報とイベント種別との組み合わせを解析ジョブとし、これと優先度を関連付けてＲＡＭ８０３に一時保存する（ステップＳ４１０）。そして、ステップＳ４１２に進む。
【００４０】
次に、Ｎをディクリメントし（ステップＳ４１２）、Ｎが０となったかどうかを判定する（ステップＳ４１３）。この判定の結果、Ｎが０でない場合はステップＳ４０１に戻る。すなわち、メタデータに含まれる全ての物体情報について、ステップＳ４０１からステップＳ４１１の処理を行う。
【００４１】
一方、ステップＳ４１３の判定の結果、Ｎが０である場合は、メタデータ中の全ての物体情報について、ステップＳ４０１からステップＳ４１１の処理を行ったことになる。そこで、次に、ステップＳ４０９、Ｓ４１０において一時保存された解析ジョブがあるかどうかを判定する（ステップＳ４１４）。この判定の結果、一時保存された解析ジョブがある場合は、関連付けられている解析の優先度の昇順でソートし、キューに入れ（ステップＳ４１５）、処理を終了する。優先度は高いものほど小さな値が振られているため、このように優先度の高いイベントの解析から処理されることになる。一方、ステップＳ４１４の判定の結果、一時保存された解析ジョブがない場合は、そのまま処理を終了する。
【００４２】
次に、図６のステップＳ６０４の解析処理の詳細について説明する。
ステップＳ６０４においては、解析部１１６は、前述のキューより順次ジョブを取り出し、イベント種別に応じた解析処理を物体情報に対して処理する。例えば、イベント種別が侵入である場合、図７に示すように、設定された解析領域７０５で外接矩形が解析領域内にあり、物体が検知されると、侵入と検知する。また、商品棚へ手を伸ばした人物のカウントである場合、図７に示すように、解析領域７０６の中に所定時間以上連続した物体が存在したときに、人物が商品棚へ手を伸ばしたとみなし、１回とカウントする。このように解析領域内の物体に関する情報（外接矩形、存在時間）に対して所定の条件を設け、これを満たしたときに、イベントが発生したとする。
【００４３】
次に、ステップＳ６０５の解析結果の表示処理の詳細について述べる。
例えば、イベント種別が侵入である場合、侵入を検知すると、「侵入を検知しました」などのメッセージを表示部１１７に表示する。また、イベント種別がカウントである場合、集計時間で指定された時間分のカウント数を集計した後、「合計Ｎ人、毎時平均Ｍ人」などと表示部１１７に表示する。
【００４４】
以上のように、解析領域ごとに解析優先度を決定したことにより、解析処理を適切にスケジューリングできるようになるため、システム上の解析処理を行う機器を効率良く活用することが可能となる。
【００４５】
本実施形態では、図１に示したような構成を例にして説明したが、これは一例であって、例えば次のような構成としてもよい。解析領域設定部１１２及び領域解析優先度決定部１１３を他のＰＣに構成し、ＰＣ１１０は、ネットワークを介して領域解析情報を受信するように構成してもよい。更に、カメラ１００にも、解析処理スケジューリング部１１４、解析ジョブ生成部１１８及び解析部１１６を設け、領域解析情報を受信可能となるように受信部１１１を備えた構成とすれば、以下のような処理が可能になる。カメラ１００では、物体情報蓄積部１１５を持たないので、解析優先度＝１のリアルタイム型の解析処理のみを行い、リアルタイム型解析処理の処理結果と、解析優先度＝２の蓄積型で処理される物体情報とをＰＣ１１０へ送信する。そして、ＰＣ１１０では解析優先度＝２の蓄積型の処理のみを行う。このように構成することにより、ＰＣ１１０だけでなく、画像処理システム全体の計算リソースを効率的に使用することが可能となる。
【００４６】
また、解析結果の表示部を他のＰＣに構成し、ネットワークを介してＰＣ１１０より解析結果を取得して表示するようにしてもよい。また、物体検知部１０２をＰＣ１１０に構成し、カメラからは映像のみを受信するように構成してもよい。
【００４７】
また、本実施形態では、解析処理スケジューリング部１１４は物体情報ごとに計算リソースの確認を逐次行った。しかしながら、やや計算リソースの利用効率は劣るものの、解析処理の設定時にスケジューリングしてしまう方法もある。設定された全ての解析領域のうち、リアルタイム型の解析を行う領域については、常に解析処理されるものとして、残りの計算リソースを計算する。そして、残りの計算リソースで可能な蓄積型の解析処理を求め、これが常に行われるものとする。それでも解析が必要な領域が存在するときは、当該の領域の物体情報を物体情報蓄積部１１５に蓄積する。そして、リアルタイムに解析するようにスケジューリングされた領域の全ての解析対象時間帯を参照し、空いている時間帯をみつけて、この時間に処理されるようにスケジューリングする。
【００４８】
また、本実施形態では、解析結果を表示部１１７で表示するだけであった。一方、例えば、イベントが検知された時刻とイベント種別を関連付けてイベントログとして記憶しておいたり、カウントの集計結果を記憶しておいたりして、ユーザが後で読み出して自由に閲覧できるようにしておいてもよい。また、本実施形態では、物体情報として外接矩形座標を使用したが、物体に関する属性情報であればよく、例えば物体の中心位置とそのサイズで表してもよい。
【００４９】
さらに、本実施形態では、ステップＳ３０３においてイベント種別の設定を、画像処理システムで予め用意されているリストの中から選択するようにしたが、次の方法であってもよい。すなわち、解析部１１６でイベント種別ごとに決まっている物体情報に対する条件を、ユーザが自由に設定し、イベント種別を定義するようにしてもよい。このときに、解析タイミング型、及び、集計時間も同時にユーザに設定してもらうようにしてもよい。解析領域ごとにイベント種別と共に解析優先度が関連付けて定義されていれば、解析処理スケジューリング部１１４で、適切に解析処理のスケジューリングを行うことが可能となる。
【００５０】
また、本実施形態では、物体検知部１０２で得られる物体情報のみを用いて解析を行ったが、更にフレーム画像を解析する処理を追加してもよい。例えば、商品棚へ手を伸ばした人物のカウントでは、フレーム画像から、商品棚付近に出現した肌色領域を求め、手領域を検出するようにしてもよい。
【００５１】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５２】
１０２  物体検知部、１１２  解析領域設定部、１１３  領域解析優先度決定部、１１４  解析処理スケジューリング部、１１５  物体情報蓄積部、１１６  解析部、１１７  表示部、１１８  解析ジョブ生成部
【図１】
0005653105.tif 000002
【図２】
0005653105.tif 000003
【図３】
0005653105.tif 000004
【図４】
0005653105.tif 000005
【図５】
0005653105.tif 000006
【図６】
0005653105.tif 000007
【図７】
0005653105.tif 000008
【図８】
0005653105.tif 000009
【図９】
0005653105.tif 000010
【図１０】
0005653105.tif 000011