(57)【要約】【課題】多数のカメラの画像を検索装置に登録可能な技術を提供する。【解決手段】複数のカメラで撮影された画像について、画像のメタ情報又は画像処理の結果を用いて画像を間引く。また、未登録画像を検索時に追加登録できるようにする。【効果】検索装置に多数の画像の登録要求がある場合に、システムダウンを防止できる。また、検索漏れを抑えることができる。【選択図】図１２
2009239804.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラと、
複数の蓄積装置と、
登録要否判定部と入力部と画像検索処理部を有する検索装置とを備え、
前記蓄積装置は、当該蓄積装置に接続されたカメラが撮像した画像を撮影日時及びカメラＩＤと共に画像データとして蓄積し、
前記検索装置は、前記複数の蓄積装置から送信された画像データの登録要否を前記登録要否判定部によって判定し、登録要と判定された画像データを前記検索装置に登録し、前記入力部からキー画像の入力を受け、前記登録された画像データの中から前記キー画像と類似する画像を前記画像検索処理部によって検索し、検索された画像データを出力すること
を特徴とする監視システム。
【請求項２】
請求項１に記載の監視システムにおいて、前記検索装置は画像データ追加登録処理部を更に有し、前記画像データ追加登録処理部は、前記画像検索処理部によって検索された画像と同一のカメラＩＤを有し当該画像の撮影日時の前後に撮影された画像の登録数を計数し、前記登録数が予め定められた数より少ない場合に、前記カメラＩＤを有し当該画像の撮影日時の前後に撮影された画像データを対応する蓄積装置から取得して前記検索装置に追加登録することを特徴とする監視システム。
【請求項３】
請求項２に記載の監視システムにおいて、前記画像検索処理部は、前記登録された画像データと追加登録された画像データを合わせた画像データの中から前記キー画像と類似する画像を検索することを特徴とする監視システム。
【請求項４】
請求項１に記載の監視システムにおいて、前記登録要否判定部は、画像データの撮影日時情報又は画像処理の結果を用いて登録要否を判定することを特徴とする監視システム。
【請求項５】
請求項１に記載の監視システムにおいて、前記登録要否判定部は、顔画像が含まれている画像データを登録要と判定することを特徴とする監視システム。
【請求項６】
請求項１に記載の監視システムにおいて、前記登録要否判定部は、同一のカメラから直前に登録した画像の画素値との差分が閾値以上の画像を登録要と判定することを特徴とする監視システム。
【請求項７】
請求項１に記載の監視システムにおいて、前記登録要否判定部は、カメラ各々の画像データの前記検索装置への最終登録日時を取得し、前記最終登録日時からの経過時間が閾値以上の場合に登録要と判定することを特徴とする監視システム。
【請求項８】
登録要否判定部と、
入力部と、
画像検索処理部とを有し、
前記登録要否判定部は、複数のカメラによって撮像された複数の画像をそれぞれ蓄積している複数の蓄積装置から送信された画像データの登録要否を判定し、登録要と判定された画像データを登録し、
前記入力部は、キー画像の入力を受け、
前記画像検索処理部は、前記登録された画像データの中から前記キー画像と類似する画像を検索し、検索された画像データを出力すること
を特徴とする画像検索サーバ。
【請求項９】
請求項８に記載の画像検索サーバにおいて、画像データ追加登録処理部を更に有し、前記画像データ追加登録処理部は、前記画像検索処理部によって検索された画像と同一のカメラＩＤを有し当該画像の撮影日時の前後に撮影された画像の登録数を計数し、前記登録数が予め定められた数より少ない場合に、前記カメラＩＤを有し当該画像の撮影日時の前後に撮影された画像データを対応する蓄積装置から取得して前記検索装置に追加登録することを特徴とする画像検索サーバ。
【請求項１０】
請求項８に記載の画像検索サーバにおいて、前記画像検索処理部は、前記登録された画像データと追加登録された画像データを合わせた画像データの中から前記キー画像と類似する画像を検索することを特徴とする画像検索サーバ。
【請求項１１】
請求項８に記載の画像検索サーバにおいて、前記登録要否判定部は、画像データの撮影日時情報又は画像処理の結果を用いて登録要否を判定することを特徴とする画像検索サーバ。
【請求項１２】
請求項８に記載の画像検索サーバにおいて、前記登録要否判定部は、顔画像が含まれている画像データを登録要と判定することを特徴とする画像検索サーバ。
【請求項１３】
請求項８に記載の画像検索サーバにおいて、前記登録要否判定部は、同一のカメラから直前に登録した画像の画素値との差分が閾値以上の画像を登録要と判定することを特徴とする画像検索サーバ。
【請求項１４】
請求項８に記載の画像検索サーバにおいて、前記登録要否判定部は、カメラ各々の画像データの前記検索装置への最終登録日時を取得し、前記最終登録日時からの経過時間が閾値以上の場合に登録要と判定することを特徴とする画像検索サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ネットワークカメラで蓄積された画像データを用いる監視システム及び画像検索サーバに関する。
【背景技術】
【０００２】
監視システムのニーズが急速に拡大し、様々な場所に多数の監視カメラが設置されつつある。最近では、ネットワークで接続された複数の監視カメラによって撮影された画像を、サーバで一括管理するシステムが普及し、リアルタイム映像の確認や蓄積された過去の画像データの確認などの用途に用いられている。しかし、監視システムに利用できるネットワークの帯域は、データを転送する容量が十分に確保できない場合があり、多数の監視カメラから画像データが大量に送信された場合、画像データの保存が間に合わず、予期しない動作を招いたり、重要なシーンが写っている画像データの保存漏れを生じたりといった問題がある。
【０００３】
上記問題を解決する関連技術に、監視カメラのセンサ出力が条件を満たす画像を蓄積する技術が挙げられる。特開２００６−３１０９００号公報には、監視カメラのセンサ出力に応じて、保存期間や保存場所、及び画像圧縮率や画像を間引く方法が述べられている。また、監視カメラが接続されているローカルネットワークに、画像を蓄積する装置を設置し、ローカルネットワーク間をつなぐワイドネットワークには、画像のメタデータを蓄積する装置及び監視端末装置を設置することにより、ネットワークトラフィックの問題を解決する方法が述べられている。
【０００４】
【特許文献１】特開２００６−３１０９００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来の技術は、汎用のカメラを用いる監視システムの場合、センサ情報を利用できないという問題がある。また、蓄積装置についても専用の装置を用いなければならないという問題がある。また、運用中にカメラの台数が増加した場合や、ネットワーク構成が変更になった場合に、検索サーバの負荷が増大し、予期しない動作を招く可能性がある。
【０００６】
本発明は、汎用のカメラや、汎用の蓄積装置を用いた場合にも、検索装置に対して最適なデータ登録方法を実現することと、検索装置にすべての画像データを登録できない場合にも、影響を最小限に抑えるように画像の登録要否を判定して登録することを課題とする。
【０００７】
また、検索装置に未登録の画像についても、検索要求から追加登録すべき画像を判定し、追加登録して検索できるようにすることを第二の課題とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の監視システムは、各拠点に設置された撮影装置又は蓄積装置から送出された画像データを受信し、画像データ各々の登録要否を判定する。次に、登録要と判定された画像データから検索に用いる検索用データを生成し、検索装置に検索用データを格納する。次に、ユーザの検索要求から、第一の検索結果を取得し、第一の検索結果と関連性の高い未登録画像データを判定し、該未登録画像データを蓄積装置から取得して検索装置に追加登録する。次に、ユーザの検索要求から、第二の検索結果を取得し、検索結果として表示する。
【発明の効果】
【０００９】
本発明によれば、検索装置の登録処理の負荷に応じて、登録する画像データを間引くことができるので、登録要求が集中し、一部のカメラの撮影画像が長時間登録されない状況を防止できる。したがって、登録の遅延により一部拠点の監視ができない状況を抑えられる効果がある。また、検索時に必要に応じて画像を追加できるので、重要度の高い画像の確認漏れを抑えられる効果がある。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態を説明する。
［実施例１］
本発明の第１の実施例を説明する。図１は、本実施例の監視システムの構成例を示す図である。このシステムは、カメラ１０１と、蓄積装置１０２と、検索装置１０３とで構成される。
【００１１】
カメラ１０１は、ウェブカメラや監視カメラのように外部接続端子を有するカメラで、ネットワークケーブル又は、ＵＳＢケーブル、シリアルケーブル、無線通信などを用いて蓄積装置１０２に画像データを送信する。カメラ１０１は、蓄積装置１０２に画像を送信することが可能であれば、カメラ１０１とパソコンで構成されても構わないし、どのようなインターフェイスを用いても構わない。
【００１２】
蓄積装置１０２は、図２に示す構成図のように、ＣＰＵ２０１、主メモリ２０２、通信部２０３、記憶部２１０で構成される。記憶部２１０には、ＯＳ（オペレーティングシステム）２１１、画像データ２１２、カメラ情報データ２１３、検索装置情報データ２１４、画像データ取得プログラム２１５、画像データ管理プログラム２１６、配信データ生成プログラム２１７、データ送受信プログラム２１８が格納されている。
【００１３】
画像データ２１２には、図５に例を示すように、カメラ１０１で撮影された画像及び撮影日時、カメラＩＤ等が登録される。なお、画像データ２１２は、ＪＰＥＧ形式、ＴＩＦＦ形式、ＰＮＧ形式、ＢＭＰ形式、ＲＡＷデータ形式など画像として扱うことが出来れば形式は問わない。カメラ情報データ２１３には、図４に例を示すように、蓄積装置と接続されているカメラのＩＤ、機種情報、ＩＰアドレス、カメラからの画像取得間隔、及び設置場所等の情報が登録される。検索装置情報データ２１４には、検索装置のＩＰアドレスなど、画像データを検索装置に送信するために必要な情報が登録される。
【００１４】
画像データ取得プログラム２１５は、カメラ情報データ２１３に登録されている撮影条件を用いて、各々のカメラから、指定された時間間隔で画像を取得し、画像データ２１２を更新する。なお、画像データ２１２の更新は、カメラ１０１に取得要求を出して更新する方式であっても、カメラ１０１から常時送信されている画像データを指定された時間間隔で取得する方式であっても構わない。
【００１５】
画像データ管理プログラム２１６は、カメラ１０１から取得した画像を画像データ２１２に登録したり、画像データ２１２から指定された条件に合う画像を読み出したり、記憶装置の容量が不足した場合に古い画像を削除するなど、画像データ２１２の管理を行う。
【００１６】
配信データ生成プログラム２１７は、検索装置１０３に送信するデータを生成する。送信するデータは、検索装置が解析できれば、形式は問わない。例えば、撮影装置ＩＤ、カメラＩＤ、撮影日時、画像を、バイナリデータとして連結したデータでも構わないし、ＸＭＬやＨＴＭＬ形式のように構造化したデータでも構わない。
【００１７】
データ送受信プログラム２１８は、通信部２０３と蓄積装置１０２の間、及び通信部２０３と検索装置１０３の間の通信を行う。通信方式は、ＴＣＰ／ＩＰなどネットワークの標準的な送信方式、又は専用のケーブルを用いて通信するなど、通信が出来れば方式は問わない。また、カメラ１０１と蓄積装置１０２の間の通信は、カメラ１０１側からＰＵＳＨ方式で送信されるデータを通信部で受信しても構わないし、蓄積装置１０２から指定時間間隔で画像取得要求を出し、返信されたデータを通信部２０３で受信しても構わない。
【００１８】
検索装置１０３は、図３に例を示す構成図のように、ＣＰＵ３０１、主メモリ３０２、入力部３０３、表示部３０４、通信部３０５、記憶部３１０で構成される。記憶部３１０には、ＯＳ３１１、検索用データ３１２、蓄積装置情報データ３１３、カメラ情報データ３１４、画像データ取得プログラム３１５、登録要否判定プログラム３１６、データ管理プログラム３１７、検索用データ生成プログラム３１８、画像検索プログラム３１９、表示データ生成プログラムと３２０、追加登録要否判定プログラム３２１、追加登録データ選定プログラム３２２、データ送受信プログラム３２３、画像処理プログラム３２４が格納されている。
【００１９】
検索用データ３１２には、図９に例を示すように、画像を識別するための画像ＩＤ、画像の色情報や構図情報などを統計解析して得られた画像の類似度の計算に用いる数値情報、画像認識処理により得られた画像の種別を示すメタ情報など、検索に利用する画像の特徴量を格納したデータの格納先情報、及びサムネイル画像の格納先、カメラＩＤ、蓄積装置ＩＤ、撮影日時等の情報が登録される。
【００２０】
蓄積装置情報データ３１３には、図７に例を示すように、蓄積装置ＩＤ、ＩＰアドレスなどのアクセス先、及び設置場所等の情報が登録される。カメラ情報データ３１４には、図８に例を示すように、カメラＩＤ、カメラが接続されている蓄積装置を示す蓄積装置ＩＤ、カメラの設置場所、及び各々のカメラの画像を検索装置に最後に登録した日時情報等が登録される。
【００２１】
画像データ取得プログラム３１５は、蓄積装置１０２から通信部３０５で受信した画像データを取得する。登録要否判定プログラム３１６は、画像データ取得プログラム３１５で受信した画像データを、検索装置１０３に登録すべきかどうかを判定する。データ管理プログラム３１７は、検索用データ３１２、蓄積装置情報データ３１３、及びカメラ情報データ３１４の保存、読み出し、消去等を行う。検索用データ生成プログラム３１８は、登録要否判定プログラム３１６で登録要と判定された画像データから、検索に用いる検索用データを生成し、データ管理プログラム３１７で検索用データ３１２に登録する。
【００２２】
画像検索プログラム３１９は、入力部３０３で選択又は入力されたキー画像の検索用データを検索用データ生成プログラム３１８で生成し、キー画像の検索用データと登録済の検索用データ各々との類似度を計算し、類似度が高い画像を選定する。表示データ生成プログラム３２０は、画像検索プログラム３１９で出力した類似度が高い画像の一覧の表示情報を生成し、ディスプレイや、ネットワーク経由で接続されているＰＣの画面などに、検索結果を表示させる。
【００２３】
追加登録要否判定プログラム３２１は、検索要求に応じて、蓄積装置１０２に登録されている検索装置１０３に未登録の画像データで、追加登録すべきデータがあるかどうかを判定する。追加登録データ選定プログラム３２２は、追加登録すべきデータがあると判定された場合に、追加する画像データを選定する。データ送受信プログラム３２３は、蓄積装置１０２と検索装置１０３の間のデータの送受信を行う。画像処理プログラム３２４は、画像を解析し、画像の種別情報を取得する。
【００２４】
次に、蓄積装置１０２における画像データ登録処理の流れを、図１０に示すフローチャートを用いて説明する。まず、画像データ取得プログラム２１５で、カメラ情報データ２１３を参照し、蓄積装置１０２に接続されているカメラのカメラＩＤ、機種名、ＩＰアドレス、取得間隔、設置場所の情報を取得する（Ｓ１００１）。次に、画像データ取得プログラム２１５で、カメラ各々のＩＰアドレス及び事前に登録された機種別の取得方法を用いて、指定された時間間隔で、カメラ１０１から、画像、撮影日時を含む画像データを取得する（Ｓ１００２）。なお、カメラに撮影日時を取得する機能がない場合は、蓄積装置で取得した日時を撮影日時としても構わない。
【００２５】
次に、画像データ管理プログラム２１６で、連番又は撮影日時などの情報を用いて各々の画像データに対してユニークな画像ＩＤを生成し、画像ＩＤと共に、図５に例を示す画像データ２１２に保存する（Ｓ１００３）。なお、蓄積装置１０２にカメラ１０１で撮影された画像が登録できれば、カメラ１０１から常時送信される画像データを蓄積装置１０２で受信する方法など、他の画像データ登録方法を用いても構わない。
【００２６】
次に、配信データ生成プログラム２１７で、画像ＩＤ、画像、カメラＩＤ、蓄積装置ＩＤ、撮影日時を含む画像データを、配信可能な形式に変換し、蓄積装置１０２から検索装置１０３に送信する配信データを生成する（Ｓ１００４）。
【００２７】
次に、データ送受信プログラム２１８で、図６に例を示す検索装置情報データを参照し、検索装置のＩＰアドレス等、検索装置１０３にアクセスするために必要な情報を取得する。次に、データ送受信プログラム２１８で、ステップＳ１００４で生成した配信データを、蓄積装置１０２の通信部２０３から検索装置１０３の通信部３０５に送信する（Ｓ１００５）。ここで、送信プロトコルはｈｔｔｐプロトコル、アプリケーションの専用プロトコル等、配信データが送信できれば、どのようなプロトコルを用いても構わない。
【００２８】
上記ステップＳ１００２乃至ステップＳ１００５の処理を、終了指示があるまで繰り返す（Ｓ１００６）。なお、終了指示は、蓄積装置の電源遮断、キーボードやマウスなど入力装置からの入力情報など、終了指示を受けられれば、どのような方法を用いても構わない。また、検索装置情報データ２１４が取得できていれば、検索装置情報データ２１４を取得するステップを省略することができる。
【００２９】
次に、検索装置１０３のへの画像データの登録処理の流れを、図１１に示すフローチャートを用いて説明する。まず、画像データ取得プログラム３１５で、蓄積装置１０２から検索装置の通信部３０５に送信された画像データを取得する。ここで、蓄積装置が複数存在する場合は、各々の蓄積装置から送信される画像データを画像単位で逐次的に取得することによって、複数の蓄積装置の画像データを順次登録する（Ｓ１１０１）。例えば、１番目の蓄積装置から画像Ａ、画像Ｂ、画像Ｃが送信され、２番目の蓄積装置から画像Ｘ、画像Ｙ、画像Ｚが送信された場合は、画像Ａ、画像Ｘ、画像Ｂ、画像Ｙ、画像Ｃ、画像Ｚというように、検索装置１０３が受信した順序に順次登録する。
【００３０】
次に、画像処理プログラム３２４で、ステップＳ１１０１で取得した画像データに対して、画像処理を行い、以下の第一乃至第三の画像メタ情報を生成する（Ｓ１１０２）。
【００３１】
第一のメタ情報は、一般に広く知られている顔検出技術を用いて検出した、画像中に含まれている顔画像の個数とする。例えば、画像中に２人の顔がある場合は２、１人の顔がある場合は１、顔がない場合は０をメタ情報とする。顔画像の有無の判定には、オープンソースのライブラリOpenCV（http://www.intel.com/technology/computing/opencv/）などを用いることができる。なお、顔の個数でなく、画像全体に対する顔部分の面積の割合等をメタ情報としても構わない。
【００３２】
第二のメタ情報は、一般に広く知られている顔画像認証技術で取得する画像に写っている人物の氏名や人物を示す名前又はＩＤとする。顔画像認証技術は一般に広く知られており、例えば特許第３５６４９８４号に記載の技術を利用することができる。なお、複数の顔画像が含まれている場合には、複数の検出結果を登録しても構わない。また、登録データにない人物については、登録データにないことが分かるフラグ情報をメタ情報とする。
【００３３】
第三のメタ情報は、同一のカメラで直前に受信した画像の各画素のＲＧＢ情報との差分値ｄが事前に定めた閾値を超えている場合は変化有、超えていない場合は変化無と判定する。例えば、位置（ｉ，ｊ）のＧの画素値をＧ（ｉ，ｊ）、直前に取得した画像の画素値をＧ’（ｉ，ｊ）とすると、Ｍ×Ｎの画素数を持つ画像のｄは、次式で算出される。なお、画像処理のステップは省略しても構わない。
【００３４】
【数１】
2009239804.tif 000003
【００３５】
次に、登録要否判定プログラム３１６で、受信した画像の登録要否を以下の第一乃至第四の方法の何れかで判定する（Ｓ１１０３）。
【００３６】
第一の判定方法は、受信した画像データの撮影日時Ｔ１と、検索装置が受信した日時Ｔ２の差分時間Ｔｄ＝Ｔ２−Ｔ１を計算し、Ｔｄが事前に定めた閾値Ｌを超えた場合は、検索装置１０３への画像登録が遅延していると判断し、登録不要と判定する。例えば、受信した画像データの撮影日時Ｔ１が「０７／０１／１５  １０：２５：３０」で、検索装置が受信した日時Ｔ２が「０７／０１／１５  １０：２８：１０」である場合、Ｔｄは１６０秒となり、事前に閾値Ｌが３０秒と定められていた場合には、登録不要と判定する。第一の判定方法により、登録できていない画像データがネットワークなどに溜まっている場合に、蓄積装置１０２や検索装置１０３のエラー発生防止や、登録遅延の問題が拡大していくことを防止できるという効果がある。
【００３７】
第二の判定方法は、画像処理のステップＳ１１０２で得られた画像のメタ情報を用いて、登録要否を判定する。例えば、第一の画像のメタ情報である顔画像の個数をメタ情報として用いた場合、顔画像の個数が１以上の場合は登録要と判定し、顔画像の個数が０の場合は登録不要と判定することにより、監視対象である人物が写っている画像を優先的に登録できるという効果がある。また、第二の画像のメタ情報である人物情報を用いて、人物が認識されたが、事前に登録された人物以外と認識された場合は登録要と判定し、人物が認識されなかったり、事前に登録されている人など、安全な人と分かったりする場合には登録不要と判定することにより、不審人物が写っている画像を優先的に登録できるという効果がある。また、第三の画像のメタ情報である画像間の差分情報を用いて、直前の画像と変化があると判定された画像は登録要と判定することにより、人物がカメラの前を横切った画像など、撮影対象として何かしら写っている画像を優先的に登録できるという効果がある。
【００３８】
第三の判定方法は、図８に例を示すカメラ情報データ３１４を参照して、カメラ各々の最終登録日時情報を取得し、事前に定めた時間以上更新されていないカメラの登録は登録要と判定し、その他のカメラの登録は、事前に定めた割合で間引くことができるように登録要否を判定する。例えば、３０秒以上更新されていないカメラは登録要とし、その他のカメラは０．５秒毎に登録要と判定すると、３０秒以上更新されていないカメラは、無条件に登録要と判定され、その他のカメラは前回の登録から０．５秒以上経過している場合のみ登録要と判定される。第三の判定方法を用いることにより、一部のカメラの登録が他のカメラの多量の登録要求によって妨げられている場合に、登録漏れの影響を最小限に抑えることができる効果がある。
【００３９】
第四の判定方法は、過去Ｎ回の登録遅延時間を算出し、平均遅延時間よりも遅延しているカメラの登録要求は登録要と判定し、それ以外のカメラの登録要求は登録不要と判定する。なお、登録遅延時間は、撮影日時と登録要求が届いた日時との差分とする。第四の判定方法を用いることにより、登録が遅延しているカメラの画像を積極的に登録できるので、各々のカメラの登録画像数の偏りを最小限に抑えられるという効果がある。
【００４０】
次に、登録要否を判定するステップＳ１１０３で、登録不要と判定された場合には、画像データ取得のステップに戻り処理を継続し、登録要と判定された場合には、ステップＳ１１０５に進む（Ｓ１１０４）。
【００４１】
ステップＳ１１０５では、検索用データ生成プログラム３１８で、画像検索用の特徴量を抽出する。画像検索用の特徴量抽出では、画像の画素値情報を用いて、画像中の色情報やエッジパターンの分布を示す多次元ベクトルを生成する。色情報に基づいた特徴量抽出は、全体画像に対して格子状に構図分割を行い、分割された各領域の色ヒストグラムから作られる多次元ベクトルを、全体画像特徴量として用いる。なお、全体画像の特徴を表している特徴量ならば、色情報ではなく輝度値や明度値などの情報やそれらを組み合わせたものを用いても良い。エッジパターンに基づいた特徴量抽出は、特徴的なエッジパターンを予め複数設定する。次に、顔画像に対して格子状に構図分割を行い、各領域内に含まれるエッジパターン数を計数する。このエッジパターン数からヒストグラムを生成し、多次元ベクトルを生成する。なお、前記色情報やエッジパターンからの多次元ベクトル生成方法は、この分野では一般的に知られている。次に、主成分分析法などを用いて多次元ベクトルを次元圧縮して数十〜数百次元程度のベクトルを生成し、画像の検索用データとする。なお、画像処理のステップで取得した情報を併せて検索用データとして登録しても構わない。
【００４２】
次に、データ管理プログラム３１７で、生成した検索用データを図９に例を示すように、画像ＩＤ、カメラＩＤ、蓄積装置ＩＤ、撮影日時などの情報と共に、検索用データとして保存する（Ｓ１１０６）。なお、検索用データは、ファイルに格納されていても、ＤＢで管理されていても構わない。また、検索結果表示用に、サムネイル画像を生成し、検索用データと併せて保存する。図９の例では、XXXXXXXX.datファイルに検索用データが格納され、XX/XXXXX.jpgファイルにサムネイル画像が登録される。
【００４３】
上記ステップＳ１１０１乃至ステップＳ１１０６の処理を、電源遮断又はキーボードやマウスなどの入力装置からの終了指示があるまで繰り返し、終了指示があった場合には、処理を終了する（Ｓ１１０７）。
【００４４】
次に、検索装置１０３による検索処理の流れを、図１２のフローチャートを用いて説明する。まず、表示データ生成プログラム３２０で、ディスプレイなどの表示部３０４に、図１３に例を示す検索画面を表示させる。次に、キーボードやマウスなどの入力部３０３から、キー画像選択の指示の入力を受け、ランダムに表示された画像集合、又は指定した日時の前後の各々のカメラの画像集合を表示させ、入力部３０３からキー画像の選択の指示を受けた画像をキー画像として表示する（Ｓ１２０１）。なお、キー画像アップロードの指示を受けた場合には、デジタルカメラのデータやファイルなどを選択させる画面を表示させ、入力部３０３で選択されたデータ又はファイルをキー画像として表示する。キー画像の選択方法は、上記方法のほか、ランダムに表示した画像から選択させても、画像のメタ情報で絞り込んだ画像から選択させても、キー画像が選択できれば方式は問わない。
【００４５】
次に、画像検索プログラム３１９で、キーボードやマウスなどの入力部３０３から、検索実行の指示の入力を受け、キー画像の特徴量と類似した特徴量の画像リストを検索結果として取得する（Ｓ１２０２）。ここで、画像の類似度判定は、特徴量である多次元ベクトル間のコサイン距離など、見た目に類似する画像が検索結果として取得できれば方法は問わない。また、カメラＩＤや日時で範囲を絞り込んで検索しても構わない。
【００４６】
次に、追加登録要否判定プログラム３２１で、検索結果各々に関して他に検索装置に追加登録すべき画像がないかどうかを判定する（Ｓ１２０３）。追加登録要否の判定は、検索結果の上位Ｎ個の画像各々について、カメラＩＤ及び撮影日時情報を取得し、該カメラＩＤに対応するカメラの画像が、該撮影日時から事前に定めた時間内に、何個検索装置に登録されているかを計数し、個数が事前に定めた閾値以上である場合には、追加登録不要と判定し、それ以外の場合には、追加登録要と判定する。
【００４７】
次に、追加登録要と判定された場合には、追加登録データ選定プログラム３２２で、前記閾値の個数を充たす数の画像を前記撮影日時の前後からランダム又は事前に指定した時間間隔で取得し、追加登録する画像を選定する（Ｓ１２０５）。次に、選定した画像データを蓄積装置１０２から取得し、取得した画像各々に対して検索装置の検索用データの登録のステップＳ１１０５と同様に、追加登録データから特徴量を抽出し、検索装置１０３に登録する。なお、追加登録要否判定のステップＳ１２０３で、登録不要と判定された場合には、上記ステップＳ１２０５乃至ステップＳ１２０６の処理は省略できる（Ｓ１２０４）。追加登録を可能にすることにより、登録処理が間に合わず、登録ができなかった画像に関しても、検索すべき画像は検索時に登録でき、検索漏れを少なくできるという効果がある。
【００４８】
次に、上記ステップＳ１２０２と同様に画像検索を行い（Ｓ１２０７）、図１３に例を示す画面のように検索結果を表示する（Ｓ１２０８）。上記ステップＳ１２０１乃至ステップＳ１２０８の処理を必要に応じて繰り返し、終了指示があった場合には処理を終了する（Ｓ１２０９）。
【００４９】
本実施例によれば、カメラ１０１が多量にあり、検索装置１０３へ多量の登録要求が送信された場合にも、問題を最小限に抑えるように間引いて登録することができるので、一部のカメラの画像が登録されない問題や、検索装置１０３への登録待ちデータが大量に蓄積し、蓄積装置１０２又は検索装置１０３がシステムダウンすることを防止できるという効果がある。また、検索装置１０３へ登録ができなかった画像についても、検索時に必要に応じて追加登録できるという効果がある。
【００５０】
［実施例２］
本発明の第２の実施例を、図を用いて説明する。実施例２の構成図は、図１に示す実施例１の構成図と同様に、複数のカメラ１０１及び複数の蓄積装置１０２及び検索装置１０３で構成される。カメラ１０１と蓄積装置１０２の間の処理内容は、実施例１と同様であるため、説明は省略する。なお、本実施例の蓄積装置１０２の構成図は、実施例１と同様である。
【００５１】
図１４は、本実施例の検索装置１０３の構成例を示す図である。実施例１との違いは、カメラ選定プログラム３２５が含まれる点が異なる。カメラ選定プログラム３２５は、検索装置１０３に画像を登録するカメラを選定し、検索装置１０３に登録が完了したら次のカメラを選定し、選定を繰り返すことにより検索装置に画像データを登録する。実施例１では、蓄積装置１０２から検索装置１０３に画像データを随時送信するのに対して、実施例２では、検索装置１０３からの要求に応じて、蓄積装置１０２が画像データを送信する点が異なる。
【００５２】
次に、本実施例の検索装置の登録処理の流れを、図１５に示すフローチャートを用いて説明する。
【００５３】
まず、データ管理プログラム３１７で、図８に例を示すカメラ情報データ３１４を読み出し、カメラ選定プログラム３２５で、更新日時が古いカメラを画像取得先のカメラとして選択する（Ｓ１５０１）。ここで、カメラの不調等により、アクセスできないカメラは、アクセス不能カメラとして登録し、アクセスをしないようにする。また、直前に取得した画像に人物が含まれているかどうかを判定し、人物が含まれていない場合には、該当するカメラは、一定時間取得先から外すなど、カメラ選定に画像処理の結果を併用しても構わない。
【００５４】
次に、画像データ取得プログラム３１５で、ステップＳ１５０１で選択されたカメラが接続されている蓄積装置のＩＤをカメラ情報データ３１４で取得し、該蓄積装置１０２に該カメラの画像データの取得要求を送信する。蓄積装置１０２が、取得要求に対してカメラの画像データを送信することにより、検索装置は画像データを取得する（Ｓ１５０２）。ここで、同じ蓄積装置に対して取得要求が偏らないように、同一の蓄積装置に対して、事前に定めた時間内に、事前に定めた閾値以上の取得要求がある場合には、蓄積装置は取得要求を却下する。以降の処理は、実施例１と同様であるため、ここでは省略する。
【００５５】
本実施例によれば、一部のカメラの画像の登録が長期間されない問題を防止できるという効果がある。また、一部の蓄積装置に画像取得要求が偏ることが防止できるので、登録遅延や蓄積装置のシステムトラブルを抑えることができるという効果がある。
【産業上の利用可能性】
【００５６】
多数のカメラで撮影された画像を効率よく登録できる本方式は、検索機能付き監視システム全般に適用できる。
【図面の簡単な説明】
【００５７】
【図１】本発明による監視システムの構成例を示す図。
【図２】蓄積装置の構成例を示す図。
【図３】検索装置の構成例を示す図。
【図４】蓄積装置のカメラ情報データの例を示した図。
【図５】蓄積装置の画像データの例を示した図。
【図６】蓄積装置の検索装置情報データの例を示した図。
【図７】検索装置の蓄積装置情報データの例を示した図。
【図８】検索装置のカメラ情報データの例を示した図。
【図９】検索装置の検索用データの例を示した図。
【図１０】蓄積装置の画像データ登録処理の手順例を示したフローチャート。
【図１１】検索装置の画像データ登録処理の手順例を示したフローチャート。
【図１２】検索装置の検索処理の手順例を示したフローチャート。
【図１３】検索画面の例を示した図。
【図１４】検索装置の他の構成例を示す図。
【図１５】検索装置の登録処理の他の手順例を示したフローチャート。
【符号の説明】
【００５８】
１０１：カメラ、１０２：蓄積装置、１０３：検索装置、２０１：ＣＰＵ、２０２：主メモリ、２０３：通信部、２１０：記憶部、２１１：ＯＳ、２１２：画像データ、２１３：カメラ情報データ、２１４：検索装置情報データ、２１５：画像データ取得プログラム、２１６：画像データ管理プログラム、２１７：配信データ生成プログラム、２１８：データ送受信プログラム、３０１：ＣＰＵ、３０２：主メモリ、３０３：入力部、３０４：表示部、３０５：通信部、３１０：記憶部、３１１：ＯＳ、３１２：検索用データ、３１３：蓄積装置情報データ、３１４：カメラ情報データ、３１５：画像データ取得プログラム、３１６：登録要否判定プログラム、３１７：データ管理プログラム、３１８：検索用データ生成プログラム、３１９：画像検索プログラム、３２０：表示データ生成プログラム、３２１：追加登録要否判定プログラム、３２２：追加登録データ選定プログラム、３２３：データ送受信プログラム、３２４：画像処理プログラム、３２５：カメラ選定プログラム
【図１】
2009239804.tif 000004
【図２】
2009239804.tif 000005
【図３】
2009239804.tif 000006
【図４】
2009239804.tif 000007
【図５】
2009239804.tif 000008
【図６】
2009239804.tif 000009
【図７】
2009239804.tif 000010
【図８】
2009239804.tif 000011
【図９】
2009239804.tif 000012
【図１０】
2009239804.tif 000013
【図１１】
2009239804.tif 000014
【図１２】
2009239804.tif 000015
【図１３】
2009239804.tif 000016
【図１４】
2009239804.tif 000017
【図１５】
2009239804.tif 000018