(57)【要約】      （修正有）【課題】複数のアプリケーションを用いてそれぞれ異なる監視処理を行う場合に、判定結果を時間的に適切に融合できるようにする、映像ストリーム処理装置、映像ストリーム処理プログラムおよび映像監視システムを提供する。【解決手段】映像ストリーム処理装置１０は、映像ストリームを構成する複数枚の画像を取得する機能と、画像のそれぞれに、映像ストリーム内において一意の識別子を関連付ける機能と、関連付けられたおよび各識別子の組を、通信ネットワークを介して人検知装置３１および置き去り検知装置３２に送信する機能と、を備える。【選択図】図１
2018113618.tif 000002
【特許請求の範囲】
【請求項１】
映像ストリームを構成する複数枚の画像を取得する機能と、
画像のそれぞれに、前記映像ストリーム内において一意の識別子を関連付ける機能と、
関連付けられた画像および識別子の組を、通信ネットワークを介して画像分析装置に送信する機能と、
を備える、映像ストリーム処理装置。
【請求項２】
各画像に対応する背景差分画像およびフレーム間差分画像を生成する機能と、
各画像について、対応する背景差分画像または対応するフレーム間差分画像と、その画像に関連付けられた識別子との組を、通信ネットワークを介して画像分析装置に送信する機能と、
をさらに備える、
請求項１に記載の映像ストリーム処理装置。
【請求項３】
前記識別子は、各画像について、その画像を取得した後、背景差分画像およびフレーム間差分画像を生成する前に取得される、
請求項２に記載の映像ストリーム処理装置。
【請求項４】
前記識別子はタイムスタンプである、請求項１〜３のいずれか一項に記載の映像ストリーム処理装置。
【請求項５】
前記画像のうち一部のみからなる、低レート映像ストリームを生成する機能と、
前記低レート映像ストリームについて、関連付けられた画像および識別子の組を、通信ネットワークを介して画像分析装置に送信する機能と、
をさらに備える、
請求項１〜４のいずれか一項に記載の映像ストリーム処理装置。
【請求項６】
コンピュータを、請求項１〜５のいずれか一項に記載の映像ストリーム処理装置として機能させる映像ストリーム処理プログラム。
【請求項７】
請求項１〜５のいずれか一項に記載の映像ストリーム処理装置と、
前記画像分析装置と、
画像加工装置と
を備える、映像監視システムであって、
前記映像ストリーム処理装置は、さらに、前記映像ストリームを前記画像加工装置に送信する機能を備え、
前記画像分析装置は、画像のうち、所定の判定基準を満たすものについて、その画像に関連付けられた識別子および判定結果を出力する機能を備え、
前記画像加工装置は、前記画像分析装置からの出力に応じて、各画像に加工を行う機能を備える、
映像監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像ストリーム処理装置、映像ストリーム処理プログラムおよび映像監視システムに関する。
【背景技術】
【０００２】
複数枚の画像が連続する映像ストリームに基づいて監視を行う装置が公知である。たとえば特許文献１には、ＴＶカメラからの映像に基づいて侵入者を監視する技術が記載されている。また、特許文献２には、映像から顔やナンバープレート等を検出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平３−０９７０８０号公報
【特許文献２】特開２０１５−５０８５９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、複数のアプリケーションを用いてそれぞれ異なる監視処理を行う場合に、判定結果を時間的に適切に融合することが困難であるという問題があった。
【０００５】
たとえば、それまで認識されていなかった侵入者が、あるフレームにおいて初めて認識された場合には、侵入者が認識されたことを表す判定結果と、そのフレームに対応する時間情報とが出力される。この時間情報は、映像ストリームの送受信処理や、アプリケーション等における処理遅延等に応じて、相対的に変動する可能性がある。これに起因して、複数のアプリケーションからの判定結果を融合する際に、あるアプリケーションがあるフレームを参照する時刻と、別のアプリケーションが同じフレームを参照する時刻とにずれが発生する場合がある。このような場合には、それぞれの判定結果を１つの映像ストリーム内に適切に融合させて表示するのは困難である。
【０００６】
この発明は、このような問題点を解決するためになされたものであり、複数のアプリケーションを用いてそれぞれ異なる監視処理を行う場合に、判定結果を時間的に適切に融合できるようにする、映像ストリーム処理装置、映像ストリーム処理プログラムおよび映像監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の問題点を解決するため、この発明に係る映像ストリーム処理装置は、
映像ストリームを構成する複数枚の画像を取得する機能と、
画像のそれぞれに、前記映像ストリーム内において一意の識別子を関連付ける機能と、
関連付けられた画像および識別子の組を、通信ネットワークを介して画像分析装置に送信する機能と、
を備える。
特定の態様によれば、
各画像に対応する背景差分画像およびフレーム間差分画像を生成する機能と、
各画像について、対応する背景差分画像または対応するフレーム間差分画像と、その画像に関連付けられた識別子との組を、通信ネットワークを介して画像分析装置に送信する機能と、
をさらに備える。
特定の態様によれば、
前記識別子は、各画像について、その画像を取得した後、背景差分画像およびフレーム間差分画像を生成する前に取得される。
特定の態様によれば、前記識別子はタイムスタンプである。
特定の態様によれば、
前記画像のうち一部のみからなる、低レート映像ストリームを生成する機能と、
前記低レート映像ストリームについて、関連付けられた画像および識別子の組を、通信ネットワークを介して少なくとも１つの画像分析装置に送信する機能と、
をさらに備える。
【０００８】
また、この発明に係る映像ストリーム処理プログラムは、コンピュータを、上述の映像ストリーム処理装置として機能させる。
【０００９】
また、この発明に係る映像監視システムは、
上述の映像ストリーム処理装置と、
前記複数の画像分析装置と、
画像加工装置と
を備える、映像監視システムであって、
前記映像ストリーム処理装置は、さらに、前記映像ストリームを前記画像加工装置に送信する機能を備え、
各画像分析装置は、画像のうち、所定の判定基準を満たすものについて、その画像に関連付けられた識別子および判定結果を出力する機能を備え、
前記画像加工装置は、前記画像分析装置からの出力に応じて、各画像に加工を行う機能を備える。
【発明の効果】
【００１０】
この発明に係る映像ストリーム処理装置、映像ストリーム処理プログラムおよび映像監視システムによれば、各画像に一意の識別子が関連付けられるので、識別子に基づいて判定結果を同期させることができ、判定結果を時間的に適切に融合することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係る映像ストリーム処理装置を含む映像監視システムの構成の例を示す図である。
【図２】図１の映像ストリーム処理装置が扱うデータの例を示す図である。
【図３】図１の映像ストリーム処理装置が画像を取得する際の処理の流れの例を示すフローチャートである。
【図４】図１の映像ストリーム処理装置が画像を送信する際の処理の流れの例を示すフローチャートである。
【図５】本発明の実施の形態１の変形例に係る映像ストリーム処理装置を含む映像監視システムの構成の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１．
図１に、本発明の実施の形態１に係る映像監視システム１００の構成の例を示す。映像監視システム１００は、映像ストリーム処理装置１０と、人検知装置３１および置き去り検知装置３２と、画像加工装置５０とを備える。また、映像監視システム１００は、図示のように、カメラ２０、処理結果格納ＤＢ４０、等を備えてもよい。人検知装置３１および置き去り検知装置３２は、画像分析装置の例であり、これら複数の画像分析装置が画像分析装置群３０を構成する。
【００１３】
本明細書において、「画像」とはたとえば静止画を表す画像またはデータを意味し、「映像ストリーム」とはたとえば動画またはビデオを表す画像の組またはデータを意味する。すなわち、複数枚の画像が映像ストリームを構成するということができる。
【００１４】
映像ストリーム処理装置１０は公知のコンピュータとしての構成を備え、演算を行う演算手段１１と、情報を格納する記憶手段１２とを備える。また、とくに図示しないが、映像ストリーム処理装置１０は、使用者の操作を受け付ける入力手段と、情報を出力する出力手段と、外部の通信ネットワークに対し情報の入出力を行う通信手段とを備える。
【００１５】
記憶手段１２は、本明細書に記載される映像ストリーム処理装置１０の動作に必要な情報に加え、映像ストリーム処理プログラムを格納する。演算手段１１がこの映像ストリーム処理プログラムを実行することにより、映像ストリーム処理装置１０は本明細書に記載される機能を実現する。すなわち、この映像ストリーム処理プログラムは、コンピュータを、本明細書に記載される映像ストリーム処理装置１０として機能させる。
【００１６】
人検知装置３１、置き去り検知装置３２および画像加工装置５０もまた公知のコンピュータとしての構成を備える。なお、画像分析装置群３０に含まれる各画像分析装置（たとえば人検知装置３１および置き去り検知装置３２）はそれぞれ異なるコンピュータであってもよいし、同一のコンピュータがそれぞれ異なるアプリケーションプログラムを実行することにより構成される装置であってもよい。
【００１７】
映像ストリーム処理装置１０、カメラ２０、人検知装置３１、置き去り検知装置３２、処理結果格納ＤＢ４０、および画像加工装置５０は、それぞれ、本明細書に記載されるように、情報を送信、受信、書き込みまたは読み出しすることができる。とくに、映像ストリーム処理装置１０は、通信ネットワークを介して、人検知装置３１、置き去り検知装置３２および画像加工装置５０との間で情報を送受信することができる。
【００１８】
処理結果格納ＤＢ４０は、人検知装置３１または置き去り検知装置３２等とともにコンピュータとして構成される記憶装置であってもよいし、独立した記憶装置として動作可能なコンピュータによって構成されてもよい。
【００１９】
図２に、映像ストリーム処理装置１０が扱うデータの例を示す。この例では、カメラ２０から７枚の画像が取得され、それぞれにタイムスタンプが関連付けられている。この例は３０フレーム毎秒（３０ｆｐｓ）程度の映像ストリームに対応し、たとえば各画像は３０ミリ秒置きに受信されるものとする。ここで、各画像はそれぞれ異なるタイミングで受信される（すなわち、定期的に受信されるものであっても、異なる時刻に受信される）ので、タイムスタンプは各画像を一意に特定する識別子として用いることができる。
【００２０】
なお、「画像＃１」等の数字によって表す画像の番号は、本明細書および図面において説明の便宜上付したものであって、実際の画像データに付されている必要はない。
【００２１】
図２に示すように、実施の形態１では、映像ストリーム処理装置１０は、取得した映像ストリームと同一のフレームレートの映像ストリーム（「通常レート映像ストリーム」）と、取得した映像ストリームよりも低いフレームレートの映像ストリーム（「低レート映像ストリーム」）とを生成する機能を備える。ここで、低レート映像ストリームとは、取得した映像ストリームを構成する画像のうち一部のみからなる映像ストリームであり、すなわち一部の画像を間引いた映像ストリームであるということができる。
【００２２】
以下、映像ストリーム処理装置１０の動作の例を説明する。映像ストリーム処理装置１０は、たとえば図３および図４に示す処理を実行することにより、図２に示すような通常レート映像ストリームおよび低レート映像ストリームを生成する。
【００２３】
図３は、映像ストリーム処理装置１０が画像を取得する際の処理の流れの例を示すフローチャートである。この処理は、たとえば映像ストリーム処理装置１０がカメラ２０等から映像ストリームを受信する際に実行される。
【００２４】
また、図３の処理は、たとえば画像ごとに独立して実行される。映像ストリーム処理装置１０の処理速度が十分に高い場合には、カメラ２０から画像を連続的に受信する際に、次の画像を受信するまでにその直前の画像について図３の処理を完了することができるが、実施形態はこれに限らない。
【００２５】
まず映像ストリーム処理装置１０は、画像を取得する（ステップＳ１）。次に、映像ストリーム処理装置１０は、タイムスタンプを取得し、画像にタイムスタンプを関連付ける（ステップＳ２）。このタイムスタンプは、たとえばステップＳ１またはステップＳ２が実行される時刻を表すものとして取得される。映像ストリーム処理装置１０は、時刻を決定または算出する基準となるクロック信号を生成するクロック装置を備えてもよく、そのようなクロック信号に基づいてタイムスタンプを生成することにより、タイムスタンプを取得してもよい。また、映像ストリーム処理装置１０は、画像およびタイムスタンプを関連付けて記憶手段１２に記憶してもよい。
【００２６】
次に、映像ストリーム処理装置１０は、画像に対応する背景差分画像を生成する（ステップＳ３）。背景差分画像の生成方法は任意であるが、たとえば、事前に所定の背景画像を記憶手段１２に記憶しておき、この背景画像との差分を算出することにより生成してもよい。「差分」とは、たとえば各画素を表す数値（ＲＧＢ値等）についての、各画像において対応する画素間の差分をいう。または、背景差分画像の生成方法として、特許文献１に記載される方法を用いてもよい。図２ではこの差分をマイナス記号を用いて表しており、たとえば「画像＃１−背景」とは、１枚目の画像と、背景画像との差分を表す。映像ストリーム処理装置１０は、生成した背景差分画像およびタイムスタンプを関連付けて記憶手段１２に記憶してもよい。
【００２７】
次に、映像ストリーム処理装置１０は、画像に対応するフレーム間差分画像を生成する（ステップＳ４）。フレーム間差分画像とは、映像ストリーム内の２枚の画像の差分を表す画像であり、たとえば、処理中の画像と、以前の画像（たとえば直前に受信した画像）との間の差分を表す画像を意味する。図２では、背景差分画像と同様に、フレーム間差分画像についてもマイナス記号を用いて表す。映像ストリーム処理装置１０は、生成したフレーム間差分画像およびタイムスタンプを関連付けて記憶手段１２に記憶してもよい。
【００２８】
次に、映像ストリーム処理装置１０は、低レートフレーム間差分画像を生成する（ステップＳ５）。低レートフレーム間差分画像とは、低レート映像ストリームにおけるフレーム間差分画像である。なお、ステップＳ１において取得した画像が、低レート映像ストリームに含まれない画像である場合には、ステップＳ５の処理は省略してもよい。図２の例では、偶数番目の画像についてはこの処理が省略されている。映像ストリーム処理装置１０は、生成した低レートフレーム間差分画像およびタイムスタンプを関連付けて記憶手段１２に記憶してもよい。
【００２９】
このようにして、映像ストリーム処理装置１０は、タイムスタンプを付与した通常レート映像ストリームおよび低レート映像ストリームを生成する。
【００３０】
図４は、映像ストリーム処理装置１０が画像を送信する際の処理の流れの例を示すフローチャートである。この処理は、たとえば映像ストリーム処理装置１０が人検知装置３１または置き去り検知装置３２に映像ストリームを送信する際に実行される。図４の処理は、図３の処理と一部または全部が並列的に実行されてもよい。
【００３１】
まず映像ストリーム処理装置１０は、画像送信要求を受信する（ステップＳ１１）。画像送信要求は、他のコンピュータ（たとえば人検知装置３１、置き去り検知装置３２または画像加工装置５０等）から送信される要求であり、送信すべき画像の種類を特定する情報を含む。
【００３２】
送信すべき画像の種類は、たとえば以下のパターンのいずれかとして特定される。
‐パターン１：通常レート映像ストリームの、画像、背景差分画像およびフレーム間差分画像
‐パターン２：低レート映像ストリームの、画像、背景差分画像およびフレーム間差分画像
‐パターン３：通常レート映像ストリームの画像のみ
‐パターン４：通常レート映像ストリームの背景差分画像のみ
‐パターン５：通常レート映像ストリームのフレーム間差分画像のみ
‐パターン６：低レート映像ストリームの画像のみ
‐パターン７：低レート映像ストリームの背景差分画像のみ
‐パターン８：低レート映像ストリームのフレーム間差分画像のみ
‐その他、上記の任意の組み合わせ
【００３３】
次に、映像ストリーム処理装置１０は、要求された種類の画像について、関連付けられた画像およびタイムスタンプの組を、通信ネットワークを介して、要求元（すなわち画像送信要求を送信してきた人検知装置３１、置き去り検知装置３２または画像加工装置５０）に送信する（ステップＳ１２）。
【００３４】
ここで、図４の処理は、画像送信要求ごとに独立して実行される。すなわち、たとえば人検知装置３１および置き去り検知装置３２が相次いで画像送信要求を送信してきた場合には、映像ストリーム処理装置１０は、これら複数の画像分析装置に対して、それぞれ要求された種類の画像およびタイムスタンプの組を送信することができる。
【００３５】
送信される画像は、画像送信要求の内容に応じて異なる。たとえば、映像ストリーム処理装置１０は、以下の処理のうち１つ以上を、画像送信要求の内容に応じて選択的に実行する。
‐通常レート映像ストリームの各画像について、その画像と、その画像に関連付けられたタイムスタンプとの組を、少なくとも１つの画像分析装置に送信する
‐通常レート映像ストリームの各画像について、対応する背景差分画像または対応するフレーム間差分画像と、その画像に関連付けられた識別子との組を、少なくとも１つの画像分析装置に送信する
‐低レート映像ストリームの各画像について、その画像と、その画像に関連付けられたタイムスタンプとの組を、少なくとも１つの画像分析装置に送信する
‐低レート映像ストリームの各画像について、対応する背景差分画像または対応するフレーム間差分画像と、その画像に関連付けられた識別子との組を、少なくとも１つの画像分析装置に送信する
【００３６】
このようにして、たとえば人検知装置３１にはパターン１の画像（通常レート映像ストリームの、画像、背景差分画像およびフレーム間差分画像）を送信し、置き去り検知装置３２にはパターン２の画像（低レート映像ストリームの、画像、背景差分画像およびフレーム間差分画像）を送信し、画像加工装置５０にはパターン３の画像（通常レート映像ストリームの画像のみ）を送信することができる。
【００３７】
具体的な送受信方法は任意に設計可能である。たとえば、人検知装置３１および置き去り検知装置３２が通信ネットワーク上で独立したコンピュータである場合には、それぞれ異なるＩＰアドレスを割り当てておき、映像ストリーム処理装置１０は異なるＩＰアドレスに対して送信処理を行ってもよい。または、人検知装置３１および置き去り検知装置３２が通信ネットワーク上で独立したコンピュータであるか否かに関わらず、それぞれ異なる通信ポートを割り当てておき、映像ストリーム処理装置１０は異なる通信ポート（またはソケット）に対して送信処理を行ってもよい。
【００３８】
映像ストリーム処理装置１０は、ステップＳ１２の処理を、通信中の画像分析装置から所定の画像停止要求を受信するまで継続する。画像停止要求を受信すると（ステップＳ１３）、映像ストリーム処理装置１０は、図４の処理を終了する。なお、画像停止要求は、明示的に送信されるパケット等の形式を取る必要はなく、たとえば通信途絶を暗黙に示すなんらかの情報であってもよい。
【００３９】
人検知装置３１および置き去り検知装置３２の動作については、とくにフローチャートには示さないが、図４に示す映像ストリーム処理装置１０の処理に対応して動作する。たとえば、人検知装置３１および置き去り検知装置３２は起動すると映像ストリーム処理装置１０に画像送信要求を送信し、これに応じて映像ストリーム処理装置１０が画像の送信を開始すると、その画像を受信する。要求する画像の種類は、人検知装置３１および置き去り検知装置３２がそれぞれ実行する分析処理の内容に応じ、事前に定義しておいてもよい。
【００４０】
人検知装置３１および置き去り検知装置３２は、画像のうち、所定の判定基準を満たすものについて、その画像に関連付けられたタイムスタンプおよび判定結果を出力する。
【００４１】
たとえば、人検知装置３１は、画像を分析し、人間が映っているか否かを判定する。また、人間が映っている場合には、その位置または領域を決定する。位置は２次元座標値（たとえばＸ座標およびＹ座標）として決定される。領域は、たとえば矩形の領域として決定され、２組の２次元座標値（たとえば、矩形の左上頂点のＸ座標およびＹ座標と、矩形のＸ方向サイズおよびＹ方向サイズ）によって表すことができる。
【００４２】
同様に、たとえば置き去り検知装置３２は、画像を分析し、置き去られた物が映っているか否かを判定する。また、置き去られた物が映っている場合には、その位置または領域を決定する。位置は２次元座標値（たとえばＸ座標およびＹ座標）として決定される。領域は、たとえば矩形の領域として決定され、２組の２次元座標値（たとえば、矩形の左上頂点のＸ座標およびＹ座標と、矩形のＸ方向サイズおよびＹ方向サイズ）によって表すことができる。
【００４３】
人検知装置３１および置き去り検知装置３２の分析処理の具体的内容（判定基準等）は、たとえば公知技術に基づいて設計可能である。たとえば特許文献１または特許文献２に記載される技術を用いてもよい。
【００４４】
人検知装置３１および置き去り検知装置３２は、判定結果を処理結果格納ＤＢ４０に記憶する。判定結果の形式は任意に設計可能であるが、たとえば人検知装置３１による判定結果は、各画像のタイムスタンプに、人間が映っているか否かを表すフラグと、映っている場合にはその位置または領域を表す情報とが関連付けられた組として表現することができる。判定結果に画像を含める必要はないが、含めてもよい。
【００４５】
ここで、各画像のタイムスタンプは映像ストリーム処理装置１０によって付与されており、画像分析装置群３０について共通なので、人検知装置３１と置き去り検知装置３２との間で直接の画像同期処理等を行わなくても、判定結果は同期される。たとえば、人検知装置３１と置き去り検知装置３２とで処理速度に差がある場合であっても、ある人が検知された時刻と、ある置き去り物が検知された時刻とは、それぞれ検知された画像のタイムスタンプに基づいて正確に比較可能である。
【００４６】
また、画像分析装置群３０は、人検知装置３１および置き去り検知装置３２に代えて、またはこれらに加えて、他の画像分析装置（人同定装置、シャッター開閉判定装置、滞留検知装置、等）を含んでもよい。
【００４７】
画像加工装置５０は、起動すると映像ストリーム処理装置１０に画像送信要求を送信し、これに応じて映像ストリーム処理装置１０が画像の送信を開始すると、その画像を受信する。要求する画像の種類は、たとえば通常レート映像ストリームの画像のみである。
【００４８】
また、画像加工装置５０は、処理結果格納ＤＢ４０に記憶された画像単位の判定結果に基づき、映像ストリーム処理装置１０から受信する画像に加工を行う。
【００４９】
加工の内容は任意に設計可能であるが、たとえば判定結果に応じて画像に所定のマーク、記号または図形等を重ね合わせる処理としてもよい。具体的には、人間が映っていると判定された画像については、該当する領域に特定の色（たとえば黄色）の矩形の枠を重ね合わせ、置き去り物が映っていると判定された画像については、該当する領域に別の特定の色（たとえば赤色）の矩形の枠を重ね合わせてもよい。
【００５０】
画像加工装置５０は、加工した画像を記憶する。また、画像加工装置５０は、加工した画像を、使用者の操作に応じて表示する。表示される画像には人や物の位置を示す枠が描かれているので、画像加工装置５０の使用者（たとえば施設の監視者等）は、カメラ２０の映像に映っている人や物を容易に認識することができる。
【００５１】
ここでも、各画像のタイムスタンプは映像ストリーム処理装置１０によって付与されており、画像分析装置群３０と画像加工装置５０とで共通なので、画像分析装置群３０と画像加工装置５０との間で直接の画像同期処理等を行わなくても、判定結果と加工処理とは同期される。たとえば、映像ストリーム処理装置１０から画像加工装置５０への画像の送信処理と、人検知装置３１による処理結果格納ＤＢ４０への判定結果の書き込み処理とで処理速度に差がある場合であっても、ある画像において人が検知された場合に、正確なタイミングでその人を示す枠を表示することが可能である。
【００５２】
以上説明するように、実施の形態１に係る映像ストリーム処理装置１０、映像ストリーム処理プログラムおよび映像監視システム１００によれば、各画像に一意の識別子としてタイムスタンプが関連付けられるので、タイムスタンプに基づいて判定結果を同期させることができ、判定結果を時間的に適切に融合することができる。
【００５３】
また、図３の例では、タイムスタンプは、各画像について、その画像を取得した後、かつ、背景差分画像、フレーム間差分画像および低レートフレーム間差分画像を生成する前に取得される。このため、画像ごとにステップＳ３〜Ｓ５の処理時間が変動する場合であっても、画像が発生した時刻を比較的正確に表すタイムスタンプとなる。
【００５４】
実施の形態１において、以下のような変形を施すことができる。
画像分析装置群３０に含まれる画像分析装置の数は、少なくとも１つあればよい。画像分析装置が１つの場合には、映像ストリーム処理装置１０は、関連付けられた画像およびタイムスタンプの組を、通信ネットワークを介して画像分析装置に送信する。また、映像ストリーム処理装置１０は、各画像について、対応する背景差分画像または対応するフレーム間差分画像と、その画像に関連付けられたタイムスタンプとの組を、通信ネットワークを介して画像分析装置に送信する。
【００５５】
実施の形態１のように画像分析装置が複数の場合には、映像ストリーム処理装置１０は、関連付けられた画像およびタイムスタンプの組を、通信ネットワークを介して複数の画像分析装置にそれぞれ送信する。また、映像ストリーム処理装置１０は、各画像について、対応する背景差分画像または対応するフレーム間差分画像と、その画像に関連付けられたタイムスタンプとの組を、通信ネットワークを介して少なくとも１つの画像分析装置に送信する。
【００５６】
画像加工装置５０は、加工した画像を表示するのではなく、他の方法で出力してもよい。たとえば記憶手段に記憶してもよいし、通信ネットワークを介して他のコンピュータに送信してもよい。
【００５７】
画像加工装置５０は省略してもよい。処理結果格納ＤＢ４０に記憶された判定結果は、他の用途で利用することも可能である。
【００５８】
画像分析装置群３０の処理結果に基づいて、より複雑な判定処理を行う装置を追加してもよい。たとえば、各画像において検知された人間の座標等に基づき、「ふらふら歩く人」が映っているか否かの判定を行う装置を追加してもよい。このような装置の判定結果もまた、人検知装置３１等の出力と同様の形式で、処理結果格納ＤＢ４０に記憶されてもよい。
【００５９】
図３に示す各ステップの順序はこれに限らない。ステップＳ３〜Ｓ５の順序は任意に入れ替え可能である。また、ステップＳ２の処理を、ステップＳ３〜Ｓ５の途中または後としてもよい。
【００６０】
図３のステップＳ３〜Ｓ５のいずれかまたはすべてを省略してもよい。たとえば、実施の形態１では、映像ストリーム処理装置１０は低レート映像ストリームを生成する機能を備えるが、この機能は省略してもよい。たとえば、画像分析装置がいずれも比較的高いレートの映像ストリームに対応している場合には、低レートの映像ストリームは不要である。また、実施の形態１では、映像ストリーム処理装置１０は背景差分画像およびフレーム間差分画像を生成する機能を備えるが、いずれか一方を生成する機能のみを備えるものであってもよい。または、いずれの機能も備えず、ステップＳ１で取得した画像についてのみステップＳ１２を実行してもよい。その場合には、送信すべき画像の種類を特定する情報を画像送信要求に含める必要はない。
【００６１】
実施の形態１では、画像の識別子としてタイムスタンプを用いたが、映像ストリーム内において一意となる識別子であれば任意のものを用いることができる。タイムスタンプのように、映像ストリーム処理装置１０が扱うすべての映像ストリームに共通して一意の識別子であってもよいし、映像ストリーム内における順序等のように、特定の映像ストリーム内でのみ一意の識別子であってもよい。
【００６２】
実施の形態１では、映像ストリーム処理装置１０はカメラ２０から画像を取得するが、カメラ２０に代えて、任意の映像ストリーム出力装置または映像ストリーム記憶装置を用いてもよい。
【００６３】
全体構成は図５のようにしてもよい。図５に示す通り、カメラ映像を入力とし、分析結果を描画した映像を出力としている。映像ＧＷ機能（実施の形態１の映像ストリーム処理装置１０に対応する）は、カメラ映像を構成する各画像を取得し各分析機能（実施の形態１の画像分析装置群３０に含まれる各装置に対応する）にフレーム画像を配布する機能を持つ。分析機能は置去・座込・滞留検知、領域内状態判定、領域内進入検知、異常行動判定、所有物判定の５種があり、必要なものだけ実行することが可能となっている。処理結果統合機能（実施の形態１の処理結果格納ＤＢ４０および画像加工装置５０に対応する）では、それぞれの分析結果、およびそれらを組み合わせた結果を元の画像上に対象を矩形で囲みラベルをつけてマージする。マージされた画像は、映像配信機能を用いて配信され、システムの利用者が分析結果を確認できる。
【００６４】
５つの分析機能は、処理速度がまちまちであり、それぞれ非同期で動作する。非同期で処理された結果を統合するため、映像ＧＷで画像だけではなくＩＤ（実施の形態１のタイムスタンプに対応する）を付与し、各機能に画像を配布する。ＩＤを付与することにより、各機能での処理結果の同期をとることが可能となる。
【００６５】
実施の形態１またはこの変形例の方式を用いることで、処理結果統合機能において映像ＧＷからの配布画像と各分析結果を結びつけることが可能となり、配布画像に対し複数の分析結果をまとめて描画した出力が可能となる。
【００６６】
また、複数の分析結果を組み合わせた検知条件を作成することも可能である。例えば、所有物判定で大きな荷物や杖の判定を行い、置去・座込・滞留検知で座り込んでいる人の検知を行った上で、これらの判定結果を組み合わせる。これにより、大きな荷物を持って困っていそうな人、高齢者で疲れていそうな人を検知し、援助することが可能になる。例えば、所持物判定でベビーカーの判定、置去・座込・滞留検知で置去り物の検知を行い、組み合わせることで、置き去りまたは人が押していないベビーカーの検知結果を示すことができる。
【００６７】
様々な検知ニーズに統一的に対応するために、本システムでは処理結果統合機能部に検知条件を集中させるとともに、個別の条件を組み込むことができるよう設計されている。
【符号の説明】
【００６８】
１０  映像ストリーム処理装置、３１  人検知装置（画像分析装置）、３２  検知装置（画像分析装置）、５０  画像加工装置、１００  映像監視システム。
【図１】
2018113618.tif 000003
【図２】
2018113618.tif 000004
【図３】
2018113618.tif 000005
【図４】
2018113618.tif 000006
【図５】
2018113618.tif 000007