(57)【要約】【課題】撮影に合わせたリアルタイムな画像の解析を完了することできなかった場合でも、すべての解析処理を行うことを可能にする技術を提供する。【解決手段】情報処理システムは、撮影装置と、記憶装置と、情報処理装置とを備える。撮影装置は、画像を撮影する撮影手段と、撮影手段により画像が撮影されたことに応じて、当該画像の解析を試みる第一の解析手段とを備える。記憶装置は、撮影手段により撮影された画像と、当該画像の第一の解析手段による解析内容を示す解析情報とを関連付けて記憶する。情報処理装置は、解析情報を参照して解析が未了の画像を判定する判定手段と、解析が未了であると判定された画像につき解析を行う第二の解析手段とを備える。【選択図】  図１
2017098897.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置と、記憶装置と、情報処理装置とを備えた情報処理システムであって、
前記撮影装置は、
画像を撮影する撮影手段と、
前記撮影手段により画像が撮影されたことに応じて、当該画像の解析を試みる第一の解析手段と
を備え、
前記記憶装置は、前記撮影手段により撮影された画像と、当該画像の前記第一の解析手段による解析内容を示す解析情報とを関連付けて記憶し、
前記情報処理装置は、
前記解析情報を参照して解析が未了の画像を判定する判定手段と、
解析が未了であると判定された画像につき解析を行う第二の解析手段と
を備える
ことを特徴とする情報処理システム。
【請求項２】
撮影画像と、当該撮影画像に対する解析内容を示す解析情報とが関連付けて記憶された記憶手段を参照する参照手段と、
前記参照手段による前記解析情報の参照の結果に基づき解析が未了の撮影画像を判定する判定手段と、
解析が未了であると判定された撮影画像につき解析を行う解析手段と
を備えることを特徴とする情報処理装置。
【請求項３】
前記記憶手段には、前記撮影画像の解析結果である解析データが当該撮影画像に関連付けてさらに記憶され、
前記解析手段による解析結果である解析データにより、前記記憶手段に記憶された解析データを更新する更新手段をさらに備える
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記更新手段は、前記解析手段による撮影画像の解析内容を示す解析情報により、前記記憶手段に記憶された解析情報を更新することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記記憶手段には、前記撮影画像の解析情報が解析の種類ごとに記憶され、
前記判定手段は、前記解析の種類ごとに解析が未了の撮影画像を判定し、
前記解析手段は、前記撮影画像につき解析が未了の種類の解析を行う
ことを特徴とする請求項２から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記撮影画像は複数のフレームからなる動画像であり、
前記記憶手段には、解析済みのフレームの範囲が前記解析情報として記憶され、
前記解析手段は、前記フレームの範囲に基づき、解析が未了のフレームに対して解析を行う
ことを特徴とする請求項２から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記解析済みのフレームの範囲は、解析済みのフレーム数により示されることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記記憶手段には、前記撮影画像において解析が行われた空間領域が前記解析情報として記憶され、
前記解析手段は、前記空間領域に基づき、前記撮影画像における解析が未了の空間領域に対して解析を行う
ことを特徴とする請求項２から７のいずれか１項に記載の情報処理装置。
【請求項９】
解析が完了している撮影画像から当該撮影画像の圧縮画像を取得する圧縮手段と、
前記記憶手段に記憶された解析が完了している撮影画像を当該撮影画像の圧縮画像により更新する更新手段と
をさらに備えることを特徴とする請求項２に記載の情報処理装置。
【請求項１０】
参照手段が、撮影画像と、当該撮影画像に対する解析内容を示す解析情報とが関連付けて記憶された記憶手段を参照する参照工程と、
判定手段が、前記参照工程による前記解析情報の参照の結果に基づき解析が未了の撮影画像を判定する判定工程と、
解析手段か、解析が未了であると判定された撮影画像につき解析を行う解析工程と
を備えることを特徴とする情報処理装置の制御方法。
【請求項１１】
コンピュータを請求項２から９のいずれか１項に記載の情報処理装置が備える各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置及びその制御方法、コンピュータプログラムに関する。
【背景技術】
【０００２】
監視およびモニタリングカメラシステムは、撮像装置と、その撮像装置から出力される映像を記録する記録装置と、撮像装置からの映像または記録装置に記録された映像を表示する表示装置とを備える。例えば、特許文献１には、これらの装置がネットワークで接続されて、撮像装置は記録装置に直接、映像を書き込み、表示装置は記録装置から直接、映像を読み込むことにより、管理に負荷をかけないシステムが記載されている。また、特許文献２には、画像認識によって異常発生時の映像を検出し、映像の記録と同時に異常情報も記録し、この異常情報の一覧を参照することにより、異常発生時の映像を素早く検索することができるようにしたシステムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１８４２１４号公報
【特許文献２】特開平１１−３２３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像装置で撮影すると同時に映像解析処理を行い、ネットワークで接続された記録装置に映像データと解析データを記録するシステムの場合、被写体によっては映像解析処理が重くなる可能性がある。撮像装置で行う映像解析処理の負荷が大きくなると解析処理がリアルタイムでは処理しきれずにネットワークで接続された記録装置への記録が間に合わなくなり、解析データが欠損する場合が生じる。
【０００５】
本発明は上記課題に鑑みなされたものであり、撮影に合わせたリアルタイムな画像の解析を完了することできなかった場合でも、すべての解析処理を行うことを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明による情報処理システムは以下の構成を備える。即ち、
撮影装置と、記憶装置と、情報処理装置とを備えた情報処理システムであって、
前記撮影装置は、
画像を撮影する撮影手段と、
前記撮影手段により画像が撮影されたことに応じて、当該画像の解析を試みる第一の解析手段と
を備え、
前記記憶装置は、前記撮影手段により撮影された画像と、当該画像の前記第一の解析手段による解析内容を示す解析情報とを関連付けて記憶し、
前記情報処理装置は、
前記解析情報を参照して解析が未了の画像を判定する判定手段と、
解析が未了であると判定された画像につき解析を行う第二の解析手段と
を備える。
【発明の効果】
【０００７】
本発明によれば、撮影に合わせたリアルタイムな画像の解析を完了することできなかった場合でも、すべての解析処理を行うことを可能にする技術を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】ネットワークカメラシステムの構成を示すブロック図。
【図２】映像解析サーバー装置のハードウェア構成例を示すブロック図。
【図３】記録装置の記録フォルダ構成を示す図である。
【図４】記録映像と解析データとの対応関係を示した図。
【図５】映像処理結果情報の内容を示した図。
【図６】映像解析サーバー装置の動作を示すフローチャート。
【図７】記録装置の記録フォルダ構成を示す図。
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、本発明をその実施形態に基づいて詳細に説明する。以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１０】
＜実施形態１＞
（ネットワークカメラシステム）
図１は、本発明の第一の実施形態（実施形態１）に係るネットワークカメラシステム（情報処理システム）のシステム構成を示したブロック図である。ネットワークカメラシステムにおいては、ネットワークカメラ１００、ネットワークストレージ２００、映像解析サーバー装置３００、映像情報表示装置４００がネットワーク回線であるＬＡＮ５００によって接続されている。
【００１１】
ネットワークカメラ１００は撮像装置（撮影装置）であり、被写体を撮影すると同時に撮影した映像に対して、動体検知、動体追尾、人体検知、顔認識、物体検知、などの映像解析処理を行う機能を有する。ネットワークストレージ２００は映像を記録する記録装置であり、ネットワークカメラ１００で撮影された映像と同時に映像解析処理が行われた解析データがＬＡＮ５００を介して記録される。映像解析サーバー装置３００は映像を解析する情報処理装置である。映像解析サーバー装置３００は、高速な計算能力を有するであるＣＰＵあるいはＧＰＵなどを備え、それを利用することによって、ネットワークカメラ１００の内部で行う映像解析処理を上回る能力、機能により映像解析処理を行うことができる。映像解析サーバー装置３００は、例えばＰＣ（パーソナルコンピュータ）や組込みシステム、タブレット端末などの情報処理装置により実現することができる。
【００１２】
映像情報表示装置４００は、ネットワークストレージ２００に記録された映像データと解析データを重畳して再生を行う。さらに解析データを基にしてイベントシーンなどの映像検索の操作を行うための入力手段の機能も有する。映像情報表示装置４００も、ＰＣやタブレット端末などの情報処理装置により実現することができる。
【００１３】
本実施形態では、上記各装置が有線ケーブルによりＬＡＮ５００に接続されている場合の例を説明するが、プロトコル的に接続されていれば、物理的な形態にこだわるものではない。例えば、映像情報表示装置４００を有線ケーブルのインタフェースを持たないタブレット端末で実現したような場合は、無線（例えば、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標））により接続するように構成してもよい。さらに、ネットワークカメラ１００、ネットワークストレージ２００、映像解析サーバー装置３００、映像情報表示装置４００がＬＡＮ５００に接続される数は、図１の例ように一つずつに限定されるものではない。例えば、アドレスなどで識別できれば複数存在してもかまわない。あるいは、これらの装置の全部又は一部を同一の汎用的な情報処理装置により実現してもよい。
【００１４】
●ネットワークカメラ
図１のように、ネットワークカメラ１００は、撮像センサ部１０１、現像処理部１０２、映像符号化部１０３、映像解析処理部１０４、及び、ＬＡＮ  Ｉ／Ｆ部１０５を備える。撮像センサ部１０１は、撮像面に結像された光像を光電変換によりデジタル電気信号に変換するＣＭＯＳなどの撮像素子により実現される。現像処理部１０２は、撮像センサ部１０１から光電変換により得られたデジタル電気信号に対して、所定の画素補間や色変換処理を行い、ＲＧＢあるいはＹＵＶなどの色空間により表されたデジタル画像を生成する。また、現像処理部１０２では、現像を施した後のデジタル画像を用いて所定の演算処理を行い、得られた演算結果に基づいてホワイトバランス、シャープネス、コントラスト、色変換などの画像処理を行う。映像符号化部１０３は、現像処理部１０２からのデジタル映像信号を圧縮し符号化する。映像符号化部１０３においては、配信用にデジタル映像信号の圧縮、フレームレート設定などが施される。ここでの配信用の圧縮方式は、所定の例えば、ＭＰＥＧ４、Ｈ．２６４、ＭＪＰＥＧまたはＪＰＥＧなどの規格に基づく。さらに、ｍｐ４やｍｏｖ形式などの映像データのファイル化をも行う。
【００１５】
映像解析処理部１０４は、現像処理部１０２からの映像を用いて、例えば、背景差分法により動体を検出する。検出した動体のフレーム間での位置関係から同定したものに固有のＩＤを付与することで動体の追尾処理を行う。以下、ＩＤが付与された動体を「オブジェクト」と称する。映像解析処理部１０４は、各オブジェクトに対して、それぞれ形状の特徴および行動特徴のパターンから、人（男性、女性）、動物、不動体、その他などの属性を付与する。さらに、オブジェクトの軌跡が画面上特定の場所を通過した通過イベント、オブジェクトが画面上の同一の場所に所定時間以上滞在した置去りイベントを検知する。これらの処理を行った結果、得られたイベントおよびオブジェクトから解析データファイルとして作成する。さらに、これらの解析処理の行った結果の情報を記述した処理結果情報ファイルも作成する。この処理結果情報とは、撮影画像に対する解析内容を示す解析情報であり、具体的には、どの映像ファイルに対して、どの種類の解析を、どのフレームまで、さらに画面上のどの部分まで、映像解析処理を行ったかの情報を記述したものである。映像解析処理部１０４の処理はここに例示したものに限定されず、フレーム間差分法やオプティカルフローを用いた動体追尾など映像を解析し解析データを作成する処理であればよい。また、オブジェクトの属性についても本方式に限定されるものではなく、エッジ特徴を用いた特定物体検出処理により属性付与など、属性を付与する方式であればよい。
【００１６】
ＬＡＮ  Ｉ／Ｆ部１０５は、ＬＡＮ５００に接続するためのネットワークインタフェースである。ＬＡＮ  Ｉ／Ｆ部１０５は、ネットワークストレージ２００のＬＡＮ  Ｉ／Ｆ部２０１と連携して、例えば、ＮＦＳやＣＩＦＳなどのネットワークファイルシステムを構築する。ＮＦＳはＮｅｔｗｏｒｋ  Ｆｉｌｅ  Ｓｙｓｔｅｍの略称であり、ＣＩＦＳはＣｏｍｍｏｎ  Ｉｎｔｅｒｎｅｔ  Ｆｉｌｅ  Ｓｙｓｔｅｍの略称である。
【００１７】
●ネットワークストレージ
ネットワークストレージ２００は、ＬＡＮ  Ｉ／Ｆ部２０１、映像蓄積部２０２、及び、解析データ蓄積部２０３を備えた記憶装置である。ＬＡＮ  Ｉ／Ｆ部２０１は、ＬＡＮ５００に接続するためのネットワークインタフェースである。ＬＡＮ  Ｉ／Ｆ部２０１は、ネットワークカメラ１００のＬＡＮ  Ｉ／Ｆ部１０５あるいは映像解析サーバー装置３００のＬＡＮ  Ｉ／Ｆ部３０１と連携してネットワークファイルシステムを構築する。映像蓄積部２０２は、ネットワークカメラ１００の映像符号化部１０３で符号化されファイル化された映像データファイルをネットワークファイルシステムによって記録する。解析データ蓄積部２０３は、ネットワークカメラ１００の映像解析処理部１０４で映像解析処理が行われファイル化された解析データファイルと処理結果情報ファイルをネットワークファイルシステムによって記録する。
【００１８】
●映像解析サーバー装置
映像解析サーバー装置３００は、ＬＡＮ  Ｉ／Ｆ部３０１、取得部（解析処理結果情報取得部）３０２、映像復号化部３０３、映像解析処理部３０４、及び、映像符号化部３０５を備える。ＬＡＮ  Ｉ／Ｆ部３０１はＬＡＮ５００に接続するためのネットワークインタフェースであり、ネットワークストレージ２００のＬＡＮ  Ｉ／Ｆ部２０１と連携してネットワークファイルシステムを構築する。取得部３０２は解析処理結果の情報を取得する機能要素である。具体的には、取得部３０２は、ネットワークストレージ２００の解析データ蓄積部２０３に記録されている処理結果情報ファイルをネットワークファイルシステムによって取得して解析処理結果情報を読み取る。そして、読み取った解析処理結果情報を基に映像復号化部３０３に対し、該当する映像データファイルをネットワークストレージ２００の映像蓄積部２０２から取得するように指示を行う。さらに映像解析処理部３０４に対し、映像復号化部３０３で復号化された映像データの映像解析処理の指示を行う。
【００１９】
映像復号化部３０３は、ネットワークストレージ２００の映像蓄積部２０２からネットワークファイルシステムによって取得した映像データファイルを、伸張し復号化してデジタル映像にする。復号されたデジタル映像は映像解析処理部３０４に出力する。映像解析処理部３０４は、基本的には、ネットワークカメラ１００の映像解析処理部１０４と同様の機能を有する。もっとも、ネットワークカメラ１００のような組み込み機器内での実装可能なリソースと比較して、ＰＣやワークステーションなどのようにより制限のない解析計算能力を有する機能の実装を可能とするものである。映像符号化部３０５は、映像復号化部３０３で復号化され、映像解析処理部３０４で解析処理が行われた映像データを再符号化しファイル化を施して、再び、ネットワークストレージ２００の映像蓄積部２０２に記録する。
【００２０】
（映像解析サーバー装置のハードウェア構成）
図２は、映像解析サーバー装置３００のハードウェア構成例を示すブロック図である。図２において、ＣＰＵ９９０は中央演算処理装置であり、コンピュータプログラムに基づいて他の構成要素と協働し、映像解析サーバー装置３００全体の動作を制御する。ＲＯＭ９９１は読出し専用メモリであり、基本プログラムや基本処理に使用するデータ等を記憶する。ＲＡＭ９９２は書込み可能メモリであり、ＣＰＵ９９０のワークエリア等として機能する。
【００２１】
外部記憶ドライブ９９３は記録媒体へのアクセスを実現し、ＵＳＢメモリ等のメディア（記録媒体）９９４に記憶されたコンピュータプログラムやデータを本システムにロードすることができる。ストレージ９９５はＳＳＤ（ソリッドステートドライブ）等の大容量メモリとして機能する装置である。ストレージ９９５には、各種コンピュータプログラムやデータが格納される。
【００２２】
操作部９９６はユーザからの指示やコマンドの入力を受け付ける装置であり、キーボードやポインティングデバイス、タッチパネル等がこれに相当する。ディスプレイ９９７は、操作部９９６から入力されたコマンドや、それに対する映像解析サーバー装置３００の応答出力等を表示する表示装置である。インターフェイス（Ｉ／Ｆ）９９８は外部装置とのデータのやり取りを中継する装置である。システムバス９９９は、映像解析サーバー装置３００内のデータの流れを司るデータバスである。
【００２３】
なお、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。また、映像情報表示装置４００も映像解析サーバー装置３００と同等のハードウェア構成により実現することができる。
【００２４】
（フォルダ構成）
図３は、ネットワークストレージ２００の映像蓄積部２０２および解析データ蓄積部２０３に階層化して映像データ（ｍｐ４）ファイル、解析データファイルおよび処理結果情報ファイルを記録したときのフォルダ構成を示した図である。最上位（図３ではＬａｙｅｒ０）には、記録する映像を撮影したネットワークカメラ１００ごとにフォルダを作成する。次に同じネットワークカメラ１００からの映像データファイルおよび解析データファイルを記録するとき、Ｌａｙｅｒ１およびＬａｙｅｒ２のフォルダを１つ作成する。それぞれのフォルダ名は作成した順に０００から９９９までの数字とする。次に、最下位層のＬａｙｅｒ３に映像データファイルおよび解析データファイルを記録する。この映像データファイルおよび解析データファイルは、予め設定されたフレーム数ごとに、１つのファイルとして作成される。例えば、１０ｆｐｓの映像の場合、１０フレーム分、すなわち、１秒の映像が１つのファイルとして作成される。さらに、このフォルダ内に記録されている映像データと解析データに対する解析処理結果情報を記録した処理結果情報ファイル”ＩＮＦＯ”を記録する。以降、ファイルを追加するとき、予め設定された階層上限数に従い、Ｌａｙｅｒ２の最も大きな数字のフォルダ名のファイル数が階層上限数より小さい場合、上記フォルダにファイルを記録する。一方で、階層上限数を超えた場合、Ｌａｙｅｒ２に新規フォルダを作成し、上記ファイルを記録する。ただし、Ｌａｙｅｒ２のフォルダ名の数字が９９９を超えた場合、Ｌａｙｅｒ１に新たなフォルダを作成し、上記同様フォルダを作成してファイルを記録する。Ｌａｙｅｒ１のファイル名の数字が上限９９９を超えた場合、Ｌａｙｅｒ１の０００フォルダを削除し、０００フォルダに同様に記録する。以降は同様に削除した上で記録を繰り返す。
【００２５】
図３では１０ｆｐｓのフレームを１０枚、すなわち、１秒分の映像を１つのファイルとしている。そして、６つのファイルをＬａｙｅｒ２の１つのフォルダに記録し、６秒ごとにＬａｙｅｒ２のフォルダを作成する例を示している。
【００２６】
（ファイル構成）
図４は、映像データをｍｐ４ファイル、解析データを連結ファイルとして記録したときのファイル構成図である。映像データファイルの”Ｍｏｖｉｅ  Ｈｅａｄｅｒ”はＭＰ４ＢＯＸ構造である。解析データは、サマリ情報を先頭に配置し、以降にネットワークカメラ１００の映像解析処理部３０４で作成された解析データを連続して配置したものである。図４に示した構成の映像データファイルおよび解析データファイルの名前は同一、拡張子は別として記録する。これにより映像データと解析データの対応付けをとることができる。さらに、解析データファイルを記録するとき、サマリ情報を作成および更新する。
【００２７】
（処理結果情報）
図５は、ネットワークカメラ１００の映像解析処理部１０４で撮影と同時に映像解析処理を行い、解析データを作成した際、同時に作成する処理結果情報ファイルの内容を示した図である。図５は、ファイル名が”Ｍ０００１．ｍｐ４”（５１）〜”Ｍ０００６．ｍｐ４”（５６）の６つの映像データについての処理結果情報を例示している。この処理結果情報をファイル”ＩＮＦＯ”として、図３に示したフォルダに記録する。処理結果情報は、同じフォルダ内に記録された映像データに対して処理を行った映像解析処理の内容とその進捗状況を記述したものである。図５では、処理の完了を”ｃｏｍｐｌｅｔｅｄ”により示している。例えば、図５の５１は、”Ｍ０００１．ｍｐ４”という映像データについて、動体検知、動体を追尾するためのＩＤ付与、人体検知、動物検知、置き去りなどを検知する不動体検出などの処理につきいずれも処理が完了していることを示している。
【００２８】
これに対して、リアルタイムに処理が間に合わず、途中で処理を切り上げて次の映像データの処理を行った場合には、どのフレームまで、さらに画面上のどの範囲（空間領域）まで処理を行ったかが記録される。
【００２９】
例えば、”Ｍ０００４．ｍｐ４”（５４）というフルＨＤサイズ（１９２０×１０８０）、１０フレームの映像データに対して、動体検知、動体ＩＤ付与の処理は完了している。これに対して、人体検知処理はフレーム数６枚目の９００×４５０まで、動物検知処理はフレーム数５枚目の５００×２５０まで、不動体検出処理は０×０、つまり全く処理できなかった、ということが示されている。さらに、”Ｍ０００５．ｍｐ４”（５５）の映像データについては、本来作成されるべき”Ｍ０００５．ｍｅｔａ”という解析データが作成されなかったことが示されている。
【００３０】
図５のように、処理結果情報は、撮影画像の解析内容が解析の種類ごとに記憶されている。このため、映像解析サーバー装置３００は、処理結果情報を有するファイル“ＩＮＦＯ”を受信することにより、解析の種類ごとに解析が未了の撮影画像を判定して、撮影画像につき解析が未了の種類の解析を行うことができる。また、解析済みのフレームの範囲が解析済みのフレーム数により処理結果情報ファイルに記憶されているときは、映像解析サーバー装置３００は、このフレーム数以外のフレームについて解析を行うことで解析を完了させることができる。また、撮影画像において解析が行われた空間領域が処理結果情報ファイルに記憶されているときは、映像解析サーバー装置３００は、この空間領域に基づき、撮影画像における解析が未了の空間領域を特定して、解析を完了させることができる。
【００３１】
（処理手順）
上記の構成で、本実施形態に係るネットワークカメラシステムの動作の詳細を説明する。本実施形態では、ネットワークカメラ１００は、撮影に応じてリアルタイムに画像解析を試み、撮影画像、解析データ、及び、処理結果情報をネットワークストレージ２００に記憶させる。そして、映像解析サーバー装置３００は、処理結果情報を参照して解析が未了の撮影画像を判定し、解析が未了であると判定された撮影画像につき解析を行う。このため、ネットワークカメラ１００における解析が完了しなかった場合であっても、映像解析サーバー装置３００において解析を補完することで、すべての解析処理を完了させることが可能となる。
【００３２】
図６は、本実施形態に係るネットワークカメラシステムの映像解析サーバー装置３００の動作を示すフローチャートである。以下に説明する各ステップは、映像解析サーバー装置３００のＣＰＵ９９０の制御に基づき実行される。
【００３３】
まず、ネットワークカメラ１００で撮影を開始されたことに応じて映像解析処理を行う。映像符号化部１０３で符号化されファイル化された映像データファイルが、ＬＡＮ５００を介して、ネットワークストレージ２００の映像蓄積部２０２に順次、記録される。さらに同時に映像解析処理部１０４で映像解析処理を行い、作成した解析データが、ＬＡＮ５００を介して、ネットワークストレージ２００の解析データ蓄積部２０３に順次、記録される。それぞれ、記録が開始されると、映像解析サーバー装置３００は、ネットワークカメラ１００より通知を受け取る（Ｓ１）。
【００３４】
通知を受け取った映像解析サーバー装置３００は、ネットワークストレージ２００の解析データ蓄積部２０３の図３に示すＬａｙｅｒ２の最初のフォルダをポーリングし、記録されている映像データファイルと解析データファイルの記録状況を参照する（Ｓ２）。そして、そのフォルダでの記録が終わり、最後に処理結果情報ファイルが記録されたかどうかを判定する（Ｓ３）。処理結果情報ファイルが記録されたことを確認された場合（Ｓ３でＹＥＳ）はＳ４へ進み、確認されなかった場合（Ｓ３でＮＯ）はＳ２へ戻って処理結果情報ファイルが記録されるまで待機する。
【００３５】
Ｓ４において、映像解析サーバー装置３００の取得部３０２は、ネットワークストレージ２００の解析データ蓄積部２０３より処理結果情報ファイルを取得し、解析処理結果情報の内容を確認する。解析処理結果情報の内容を確認して、フォルダ内のすべての映像データファイルに対して映像解析処理が完了しているか否かを判定する（Ｓ５）。すべての映像データファイルに対して映像解析処理が完了していると判定されたとき（Ｓ５でＹＥＳ）は、Ｌａｙｅｒ２の次のフォルダに対してポーリングを行う（Ｓ１２、Ｓ２）。解析処理結果情報の内容を確認して、映像解析処理が未処理である映像データがあったら（Ｓ５でＮＯ）、Ｓ６へ進む。
【００３６】
Ｓ６では、該当する映像データファイルをネットワークストレージ２００の映像蓄積部２０２から取得する。例えば、図５に示すような解析処理結果は、”Ｍ０００３．ｍｐ４”（５３）と”Ｍ０００４．ｍｐ４”（５４）の映像データファイルについて、映像解析処理が未完了であることを示している。また、”Ｍ０００５．ｍｐ４”（５５）と”Ｍ０００６．ｍｐ４”（５６）の映像データファイルについては、映像解析処理が全くなされていないということを示している。よって、Ｓ６では、これらの４つのファイルを取得することになる。取得した映像データは映像解析サーバー装置３００の映像復号化部３０３で復号され、映像解析処理部３０４に出力される。
【００３７】
次に、映像解析処理部３０４で映像解析処理を行う（Ｓ７）。そして解析データファイルを作成し、元にあったネットワークストレージ２００の解析データ蓄積部２０３へ上書き記録する（Ｓ８）。さらに、すべて映像解析処理を完了した内容の解析処理結果情報ファイルを作成し、同じように元にあったネットワークストレージ２００の解析データ蓄積部２０３へ上書き記録する（Ｓ９）。すべて映像解析処理を完了した映像データは映像符号化部３０５で再び符号化され、同じように元にあったネットワークストレージ２００の映像蓄積部２０２へ上書き記録する（Ｓ１０）。この際、元にネットワークストレージ２００の解析データ蓄積部２０３で記録されていた映像データの容量よりもさらに圧縮率を高めることによってネットワークストレージ２００の記録容量の増やすことが可能となる。
【００３８】
次に、ネットワークストレージ２００の映像蓄積部２０２に記録されたすべての映像データについて映像解析処理を完了させたかどうかを判定する（Ｓ１１）。すべての映像データについて映像解析処理を完了させていない場合（Ｓ１１でＮＯ）、図３に示したＬａｙｅｒ２の次のフォルダについて、同様の処理を行う手続きに入る（Ｓ１２、Ｓ２）。すべて終了していたら（Ｓ１１でＹＥＳ）、ネットワークカメラ１００より再び、通知を受け取る待機状態となる（Ｓ１３）。
【００３９】
上記のように、映像解析サーバー装置３００は、撮影画像と、当該撮影画像に対する解析内容を示す解析情報とが関連付けて記憶されたネットワークストレージ２００を参照し、解析情報の参照の結果に基づき解析が未了の撮影画像を判定する。そして、解析が未了であると判定された撮影画像につき解析を行う。このため、ネットワークカメラ１００における撮影に応じたリアルタイムの解析が間に合わない場合であっても解析を補完して、映像解析サーバー装置３００において全ての撮影画像につき解析を完了させることができる。
【００４０】
また、ネットワークストレージ２００には、ネットワークカメラ１００による撮影画像の解析結果である解析データが当該撮影画像に関連付けてさらに記憶されている。ここで、映像解析サーバー装置３００は、撮影画像を補完的に解析して解析結果である解析データを作成すると、その解析データにより、ネットワークストレージ２００に記憶された解析データを更新する。さらに、映像解析サーバー装置３００による撮影画像の解析内容を示す処理結果情報ファイルにより、ネットワークストレージ２００に記憶された処理結果情報を更新する。このため、ネットワークストレージ２００に全ての解析を完了した解析データと処理結果情報を記憶させることが可能となる。
【００４１】
また、映像解析サーバー装置３００は、解析が完了している撮影画像から当該撮影画像の圧縮画像を取得し、ネットワークストレージ２００に記憶された解析が完了している撮影画像をこの圧縮画像により更新する。このため、ネットワークストレージ２００のストレージ使用量を節約することができる。なお、本実施形態では、撮影対象の画像が複数のフレームからなる動画像（映像）の場合の例を説明したが、静止画像であってもよい。
【００４２】
＜実施形態２＞
上記のシステム構成では、ネットワークカメラ１００の映像解析処理部１０４と映像解析サーバー装置３００の映像解析処理部３０４が同じ機能の解析処理を行う場合について説明をした。しかし、映像解析処理の機能を分散させて、トータルですべての処理を行うように構成しても構わない。その場合、図７に示すように、Ｌａｙｅｒ３に記録されているすべての解析データが未完成のデータということになり、すべての映像データに対して、映像解析サーバー装置３００の映像解析処理部３０４で再び、映像解析処理を行うことになる。しかし、このような動作を行ったとしても、上記のシステム構成で問題なく対応できる。ネットワークカメラ１００の映像解析処理部１０４と映像解析サーバー装置３００の映像解析処理部３０４とで、映像解析処理のどちらがどの機能を持つかは、予め、決めてもいいし、装置の負荷状況に応じて、変えるようにしてもかまわない。
【００４３】
このように、装置の負荷状況に応じて画像解析処理の負担を装置間で動的に変更することで、装置のリソースを効率的に利用して画像解析を行うことができる。
【００４４】
上記のように、本発明の各実施形態によれば、撮影すると同時に映像解析処理を行う撮像装置で、リアルタイムに映像解析処理をできなかった場合でも、すべての映像解析処理を行った解析データを記録装置に記録することができる。
【００４５】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４６】
１００：ネットワークカメラ、２００：ネットワークストレージ、３００：映像解析サーバー装置、３０１：ＬＡＮ  Ｉ／Ｆ部、３０２：取得部、３０３：映像復号化部、３０４：映像解析処理部、３０５：映像符号化部
【図１】
2017098897.tif 000003
【図２】
2017098897.tif 000004
【図３】
2017098897.tif 000005
【図４】
2017098897.tif 000006
【図５】
2017098897.tif 000007
【図６】
2017098897.tif 000008
【図７】
2017098897.tif 000009