(57)【特許請求の範囲】
【請求項１】
カメラと、
前記カメラで撮影された入力画像から対象物を検出する検出部と、
検出された前記対象物の特徴量を抽出する特徴量抽出部と、
前記入力画像と前記対象物と前記特徴量とを蓄積する記憶部と、
前記検出部と前記特徴量抽出部とを制御する選択制御部と、
前記検出部と前記特徴量抽出部とからの結果を評価する評価部と、を有し、
前記評価部からの出力に基づいて選択制御部は、前記検出部での検出方式および前記特徴量抽出部での抽出方式を選択することを特徴とする監視システム。
【請求項２】
請求項１記載の監視システムであって、
評価部から出力された結果を蓄積し、統計解析を行い、解析結果を制御選択部へ出力する統計解析部を、さらに有することを特徴とする監視システム。
【請求項３】
請求項２に記載の監視システムであって、
前記対象物として検出されるのは顔であることを特徴とする監視システム。
【請求項４】
請求項２に記載の監視システムであって、
前記記憶部は、特定の時間ごとに前記入力画像を蓄積し、
前記検出部および前記特徴量抽出部は、前記検出部および前記特徴量抽出部の処理負荷が少ないときに、前記入力画像に対して複数の検出方式および抽出方式を実行し、
前記評価部は、各前記検出方式および各前記抽出方式を実行した結果をそれぞれ評価し、前記記憶部に蓄積することを特徴とする監視システム。
【請求項５】
請求項４に記載の監視システムであって、
センサ情報取得部をさらに有し、
前記センサ情報取得部で取得された画像を、前記評価部で用いることを特徴とする監視システム。
【請求項６】
請求項２に記載の監視システムであって、
前記統計解析部は、前記評価部から出力された結果から、前記カメラの時間帯ごとの性能を算出することを特徴とする監視システム。
【請求項７】
請求項３に記載の監視システムであって、
前記統計解析部は、過去に検出した顔の前記入力画像中に占める位置と大きさとを解析することで、前記入力画像上の領域ごとの顔の出現頻度を算出し、
前記選択制御部は、前記出現頻度に応じて前記検出部が検出する領域または検出する対象物の大きさを制御することを特徴とする監視システム。
【請求項８】
請求項４に記載の前記監視システムと、
ユーザーからのクエリ画像の指定を受け付ける入力部と、
前記クエリ画像から抽出された特徴量と類似する特徴量を持つ前記対象物を前記記憶部から検索する検索部と、
前記検索部の結果を表示する表示部と、を有する画像検索システム。
【請求項９】
請求項８に記載の画像検索システムであって、
前記記憶部は、前記特徴量を蓄積する特徴量記憶部と、前記入力画像を記憶する画像記憶部と、を備え、
前記特徴量記憶部は、抽出された前記特徴量に対し、抽出の際に用いた前記検出方式および前記抽出方式を特定する情報を付加して蓄積し、
前記表示部は、前記検出方式または前記抽出方式ごとに検索結果を表示することを特徴とする画像検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像監視システムに係り、特に、カメラで取得した映像に対して顔・人検出などの検出処理する技術に関する。
【背景技術】
【０００２】
従来の大規模な監視システムでは、様々な場所に設置された監視カメラの映像から、顔や人、車両などの特定のオブジェクトを検出し、上記検出したオブジェクトから特徴量を抽出してデータベースに登録・管理を行っていた。これにより、蓄積されたオブジェクト特徴を用いて特定人物を検索することや、特定人物の移動軌跡などを瞬時に分析することができた。【０００３】
しかしながら従来システムでは、システムに接続されたネットワーク上の複数の監視カメラそれぞれで照明環境や俯角などが大きく異なるため、設置状況によって認識精度が劣化するという課題がある。例えば俯角が大きく設置されたカメラや、周囲の照明変動が激しい位置に設置されたカメラの映像に対しては顔検出精度が劣化するということがある。また、カメラ間で映る人物の顔向きが異なる場合、あるカメラ１で撮影された顔の特徴量を基に、カメラ１と俯角の異なるカメラ２から顔検索を行っても顔向きが異なることで同一人物の顔が見つかりにくくなるということが生じる。【０００４】
これに対して、特許文献１は使用環境の温度によって、事前に用意したテーブルを基に画像処理方法を選択することで、照明変動を安定化する方法を提案している。同様に、特許文献２は、２つのカメラを使って顔を撮影し、それぞれの画像から得られた顔の状況に応じて顔認証の閾値を切替えることで安定化を図っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１３４８７５号公報
【特許文献２】特開２００８−１０８２４３号公報
【非特許文献】
【０００６】
【非特許文献１】Ｐ．Ｖｉｏｌａ  ａｎｄ  Ｍ．Ｊｏｎｅｓ，「Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  Ｂｏｏｓｔｅｄ  ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ」，  ＣＶＰＲ２００１
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、温度のように別の手段を用いて計測しなければならずシステムが複雑化するという課題があった。また、特許文献２では、カメラを同位置に２台設置しなければならず、コストが増大していた。一方で、カメラ毎に異なる認識処理を人手で設定することも考えらえるが、これには専門知識が必要であり、カメラ台数が数１００台以上など膨大になると、この設定に多くの時間が必要であった。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、監視システムであって、カメラと、カメラで撮影された入力画像から対象物を検出する検出部と、検出された対象物の特徴量を抽出する特徴量抽出部と、入力画像と対象物と特徴量とを蓄積する記憶部と、検出部と特徴量抽出部とを制御する選択制御部と、検出部と特徴量抽出部とからの結果を評価する評価部と、を有し、評価部からの出力に基づいて選択制御部は、検出部での検出方式および特徴量抽出部での抽出方式を選択することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数の監視カメラ毎に異なる状況下において、カメラ毎に最適な検出・抽出処理を自動的に選択できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１の概要を示す図である。
【図２】本発明のシステム構成を示す図である。
【図３】オブジェクト検出部における検出処理の流れを示すフローチャートである。
【図４】オブジェクト検出部における検出方式の概要を示す図である。
【図５】特徴抽出部における特徴抽出処理の流れを示すフローチャートである。
【図６】認識結果出力部において出力する認識結果の一例を示す図である。
【図７】評価部の構成を示す図である。
【図８】画像収集部が行う評価画像の収集の流れを示すフローチャートである。
【図９】結果判定部における認識結果判定の概要を示す図である。
【図１０】統計解析部における統計解析結果の一例を示す図である。
【図１１】選択制御部における方式選択結果の一例を示す図である。
【図１２】表示部における認識部の管理画面の一例を示す図である。
【図１３】表示部における画像検索を行った結果を表示する画面の一例を示す図である。
【図１４】統計解析部における統計解析を検出したオブジェクトの画像上の位置とサイズに関して行った結果の一例を示す図である。
【図１５】本発明の実施例３における特殊条件時方式制御テーブルの一例を示すものである。
【発明を実施するための形態】
【実施例１】
【００１１】
図１は本発明の概要を示すものであり、本発明を用いた監視システムの一例を示す図である。本システムは、１または複数台のカメラ１１０ａ〜１１０ｂを有し、これらのカメラは通信基盤１２０を通じて繋がっている。通信基盤１２０は、ＬＡＮや映像伝送ケーブルであり、各カメラの映像は通信基盤１２０を通じて伝送される。画像認識部１３０はサーバ上またはカメラ内のＣＰＵ上に置かれる処理部であり、カメラ１１０から得られる画像に対して顔検出などの認識処理を実施し、認識結果を通信基盤１２０を通じて特徴量データベース１４０に伝送する。【００１２】
特徴量データベース１４０は、画像認識部１３０から得られた特徴量を格納し、管理する機能を有する。また、蓄積した複数の特徴量から類似する特徴量のデータを検索する機能を有する。特徴量データベース１４０に蓄積されている画像特徴量には、画像データベース１５０に蓄積されている画像とＩＤなどを用いて紐付けされている。画像データベース１５０は、各カメラ１１０から得られる画像データを蓄積する。【００１３】
ここで蓄積される画像データには、時間情報やカメラ情報などが付加されており、これらの情報を基に所定の画像を瞬時に検索する機能を有する。管理部１６０は、選択制御部で設定されている制御方式の統括など、画像認識部１３０を管理する機能を有する。表示部１７０は、画像データベースに蓄積された画像データなどを検索・閲覧することや、管理部１６０を通じて認識部１３０の状態を管理する。センサ１８０は、赤外線センサやＲＦＩＤリーダなどの各種センサであり、センサ情報は通信基盤１２０を通じて画像認識部１３０でも取得できるようになっている。ただし、センサ１８０は必須の構成ではない。【００１４】
画像認識部１３０では、カメラ１１０から得られた画像に対して、まず選択制御部１３１で、オブジェクト検出部１３２、特徴抽出部１３３で行う画像認識方式を決定する。オブジェクト検出部１３２は、複数の検出方式１〜Ｎを有しており、選択制御部１３１で選択された方式に従って、オブジェクト検出を行う。同様に、特徴抽出部１３３においても、選択制御部１３１で決められた抽出方式を用いて１３２で得られたオブジェクトから、そのオブジェクトの特徴量抽出を行う。【００１５】
認識結果出力部１３４では、得られたオブジェクト特徴量の情報を通信基盤１２０経由で特徴量データベース１４０に送付する。また、状況に応じて評価部１３５に送付する。評価部１３５では、オブジェクト検出部１３２と特徴抽出部１３３の有する各種方式の評価を実施し、評価結果を統計解析部１３６に送付する。統計解析部１３６では、得られた複数の評価結果を統計解析することで、カメラ毎、または各カメラの時間帯毎に最適なオブジェクト検出方式、特徴抽出方式が何であるかを判定し、方式選択テーブルを作成および定期的に更新する。選択制御部１３１では、統計解析部１３６の有する方式選択テーブルに従って、方式選択を行う。以上の構成をとることで、カメラ毎に事前に決められた最適な認識方式を用いてオブジェクト検出や特徴抽出処理を行うことができ、設置状況に応じた最適な認識処理が自動的に行える。【００１６】
図２は、本発明のシステム構成を示す図である。画像認識部１３０は、サーバ計算機２１０上で動作するソフトウェアである。サーバ計算機２１０は、情報を通信基盤に対して送受信するＩ／Ｆ２１１と、画像認識部１３０の処理を行うＣＰＵ２１２、メモリ２１３、情報記憶を行うＨＤＤ２１４で構成される。また、管理部１６０も同様にＣＰＵ２１２上で実行され、その管理情報はＨＤＤ２１４内に保管される。表示部１７０はクライアント計算機内で実現される。上記、システム構成上で、本発明は実行される。なお、サーバ計算機は１台でも複数台あってもよい。また、クライアント計算機１７０と同一機器上で実現してもよい。【００１７】
図３は、オブジェクト検出部１３２の処理の流れの一例を示す図である。ここでは、オブジェクトとして顔検出を行う例を示しているが、検出したい対象に応じて人や車両検出を行っても良い。Ｓ３１で得られた画像に対して、Ｓ３２で前処理を行う。例えば、画像スケール変更、超解像、平滑化や輪郭強調などのフィルタ処理などが候補となる。次にＳ３３では動体検出処理を行い、動体領域を抽出する。Ｓ３４では、Ｓ３３で得られた動体領域に対して顔検出を行い、顔を検出する。顔検出は例えば非特許文献１に記載された方式を用いることで事前に機械学習により構築した識別器を用いることで画像から顔を検出できる。【００１８】
この識別器の例を図４に示す。正面顔を検出可能な正面顔識別器、左横顔を検出可能な横顔識別器、下向き顔を検出可能な下向き顔識別器など、事前に顔向き毎に識別器を構築しておく。顔の回転ごとに識別器を用意しておくことや、人・車両などオブジェクトごとに識別器を用意しておいても良い。実行時は、これら複数の識別器の中から選択制御部１３１で選択された識別器を使って検出処理を行う。Ｓ３５では、Ｓ３４で得られた検出結果に対して誤検出判定を行って、Ｓ３６で検出結果を出力する。各ステップにおける処理の実行／未実行、複数方式の選択は、選択制御部１３１で決定されている結果に基づいて行われる。【００１９】
図５は、特徴抽出部におけるオブジェクト特徴量抽出処理の流れの一例を示す図である。Ｓ５１では、オブジェクト検出部１３２で得られたオブジェクト検出結果を受け取る。Ｓ５２では、検出したすべてのオブジェクトからオブジェクトｏを選択して、以下のＳ５３、Ｓ５４の処理を行う。Ｓ５３では、検出した顔画像に対して前処理を行う。前処理は、照明の正規化や、超解像による画像拡大、目鼻口などの顔器官位置検出による画像位置補正などを行う。【００２０】
次に、Ｓ５４において前記前処理がおこなわれた顔画像に対して特徴量抽出を行う。特徴量抽出では、ＰＣＡ（主成分分析）やＧａｂｏｒ  Ｆｉｌｔｅｒ、ＨＯＧ特徴量算出などによって複数次元Ｄの画像特徴量を抽出する。この特徴量抽出として、頭部全体からＤ１次元の特徴量を抽出する手法や、髪のある領域を除いた顔領域部分のみからＤ２次元の特徴量を抽出する手法や、Ｓ５４の前処理で得られた顔器官位置周辺から局所的な特徴量をＤ３次元抽出する手法などを用意しておき、これを選択制御部１３１の指定において切替える。ここでＤ１、Ｄ２、Ｄ３＜Ｄである。【００２１】
Ｓ５５では、検出した全てのオブジェクトに対して特徴量を抽出したかを判定し、未抽出のオブジェクトがあればＳＥ２に戻り、なければＳ５６へと移動する。Ｓ５６では得られた全オブジェクトの特徴量を出力する。これによって、例えば顔がカメラに小さく映る傾向にある場合は頭部全体のＤ１次元特徴量、大きく映る場合は、全体Ｄ１次元＋顔部分Ｄ２次元特徴量を抽出するという選択が行われる。このように複数の特徴量を抽出することで、顔が小さい映るカメラと大きく映るカメラ間では、Ｄ１次元の頭部全体特徴量のみを用いて検索を行い、顔が大きく映るカメラ間では、全ての特徴量を用いて検索を行うことが可能となる。【００２２】
図６は認識結果出力部１３４の出力結果の例を示す図である。認識結果出力部１３４では、オブジェクト検出部１３２、特徴抽出部１３３で得られたオブジェクト情報にカメラ番号や時間情報を付加して認識結果とし、特徴量データベース１４０に登録する。認識結果が要する情報は、撮影されたカメラ番号や、撮影時間などで固有なフレームＩＤ、選択制御部１３１で選択された検出処理方式と特徴抽出方式、画像上のオブジェクト位置を示す検出領域、そのオブジェクトから得られたＤ次元の特徴量などである。【００２３】
得られた認識結果情報は認識結果テーブル６１０として蓄積され、これを画像フレームごとに送っても良いし、一定時間ごとにまとめて送ってもよい。検出方式と特徴抽出方式の情報を付加しておくことで、特徴量データベースにおいて、これらの情報別にファイル管理して記録しておくことができる。これにより、データ検索の速度を高められる。また、同方式の結果得られた特徴量同士内で検索したり、別方式間は所定の変換を行って検索することも可能となり、検索精度を高められる。【００２４】
図７は、評価部１３５の詳細な構成を示した図である。画像収集部７０１では、評価画像を伝送部１２０から取得し、評価用データ蓄積部７０３に蓄積する。ただし、評価用データ蓄積部７０３への蓄積は、ある特定のセンサ情報と認識結果を取得した際のみ行われる。センサ情報取得部７０２では伝送部からセンサ情報を取得し、特定のセンサ情報を取得した際には画像収集部に通知する。このセンサ情報は、例えば人感センサや、ＲＦＩＤなどを用いた入退カード情報、携帯電話などによる電波情報などである。入退時のカード情報などを用いれば、何人がどこからカメラ撮影エリアに入ったかまで大体推定可能となる。評価データ蓄積部７０３では、画像収集部７０１で収集した画像を蓄積する。この際に、センサ情報や認識結果情報を付加して記録しておく。【００２５】
評価実行制御部７０４では、評価データ蓄積部７０３の画像に対する認識処理の実行命令を、選択制御部１３１に送付する。選択制御部１３１では、評価実行の際は全てのオブジェクト検出方式１〜Ｎ、特徴抽出方式１〜Ｍを実行するように制御命令を出す。この評価実行制御部は、例えば夜間などの時間帯や、人が誰も映っておらずにＣＰＵ２１２の処理負荷が軽い時間帯に、実行命令を出力する。【００２６】
評価実行制御部７０４で命令された評価画像に対する認識結果は、認識結果出力部１３４から認識結果取得部７０５に入力され、結果判定部７０５へと送られる。また、認識結果取得部７０５は、評価実行時以外の通常時の認識結果も取得しており、ある特定の認識結果を取得したら画像収集部に、その結果を通知する。この特定の認識結果とは例えば、検出したオブジェクト数が多い場合や、多くの動体があるのにオブジェクトがほとんど検出できなかった場合などである。これらはそれぞれ、多くの人がいたであろう画像や、検出漏れが生じたであろう画像として評価画像として適しているため、画像収集部７０１において、この画像を収集するか判断し、蓄積する。結果判定部７０６では、複数方式の認識結果に対して精度評価を行い、その結果をまとめて統計解析部１３６に送付する。【００２７】
以上の構成をとることで、評価に適した画像を定期的に収集でき、更にはセンサ情報や認識結果を基に、その評価画像における正解情報（人の位置や、その人が誰であるかなど）を自動的に収集できる。こうして得られた評価画像に対して、必要な認識処理を邪魔することなく、複数の認識方式の評価を実施できる。【００２８】
図８は、画像収集部７０１における画像収集の判断を行うフローチャートである。Ｓ８１にて判別処理を開始したら、まず、Ｓ８３においてセンサ情報取得部７０２から得られたセンサ値が閾値Ｓｓ以上であるかを判断する。この閾値は、例えばセンサが人感センサであればセンサの感知量であり、センサがＲＦＩＤなどによるゲートや扉に対する通過情報であれば、一定時間内の通過人数（たとえば３人以上）などとする。閾値以上であれば、Ｓ８６に遷移し、現在の画像を収集して一時メモリにキャッシュしておく。閾値未満であれば、Ｓ８４へと遷移する。Ｓ８４では、認識値を閾値Ｓｒと比較し、閾値以上であればＳ８６へ、閾値未満であれば、Ｓ８５へと遷移する。この認識値は例えば、動体領域数や、抽出した顔特徴量と事前登録された本人との距離の値となる。Ｓ８５では、以前に評価画像を記録した時間から、一定時間Ｔ２秒以上経過したかを判定し、経過してなければＳ８３の判定処理に戻り、経過していれば、Ｓ８７に遷移して一時保存していた画像を評価データ蓄積部に記録する。【００２９】
記録後は、Ｓ８２へと遷移して、Ｓ８２でＴ１秒間待機したのち、また画像収集を行うかを判別し続ける。Ｔ１秒待機するのは、同じような画像が保存されることを防ぐためである。以上の処理によって、一定間隔Ｔ２秒に一枚ずつ評価用画像を蓄積することができる。また、センサ値や認識値を用いて、より評価に適した画像が収集集可能となる。【００３０】
図９は、結果判定部７０６の判定結果の例を示す図である。例えば、出勤時の入退ゲートなどを通過する場所では、センサ情報として通過時のＩＤを基に、カメラに撮影されている人の数と、その人が誰であるかという情報を画像に付加して評価データ蓄積部７０３に記録される。この情報を基に、画像中の３人中何人を検出できたかという検出率と、特定人物から得た特徴量と登録されているその人物の特徴量との特徴量空間上の距離（類似度）とを評価結果として得られる。以上によって、センサ情報を基にオブジェクト検出と特徴量の精度を算出できる。【００３１】
図１０は統計解析部１３６が保有する解析結果の一例を示す図である。統計解析部１３６は、評価部１３５で得られた評価結果をＤＢに蓄積し、一定時間間隔でこれらの蓄積されたデータに対して統計解析を行う。この結果、統計解析部は、解析結果テーブル１０１０を得る。テーブル１０１０ａと１０１０ｂは、それぞれカメラ１１０ａと１１０ｂの解析結果テーブルの一例を示す。【００３２】
結果テーブルは、特定の時間帯、天気、検出方式、検出領域、特徴抽出方式などの項を有し、時間帯毎に認識結果を分けることで、選択制御部１３１において特定の時間帯毎に認識方式を切替えることを可能とする。同様に、その際の天気情報などを有することで天気毎に認識方式を変えることが可能となる。検出方式の項目では、検出方式毎の認識率として正検出精度が、特徴抽出方式では各特徴量抽出方式に対する認証精度が評価データすべてから平均を算出することで得られる。これによって、ある時間帯にどの認識方式が最高性能であるかを統計的に把握できる。【００３３】
また、検出領域は、検出したすべてのオブジェクトが存在した領域などを格納しておく。これによって、時間帯毎にオブジェクトが存在するであろう領域を把握できる。また、統計解析に用いた総データ数もこのテーブルに保存していても良い。これにより、各認識率の信頼度が判定でき、統計データが少ないときには方式選択を行わないということも可能である。このほかにも、照明状況毎、顔の大きさごと、ＣＰＵ負荷状況毎に統計解析テーブルを作成して出力しても良い。【００３４】
図１１は、選択制御部１３１の方式選択テーブルの一例である。各カメラ、時間帯毎にオブジェクト検出方式と特徴抽出方式を統計解析部１３６の結果を基に最高精度の認識処理行えるように規定する。実行中は、このテーブルに従ってオブジェクト検出部１３２と特徴抽出部１３３の処理内容を指定する。この方式制御テーブル１１１０は、１日毎や一週間毎など特定の期間で更新される。また、カメラ設置位置の変更などがあった場合は、リセットされる。【００３５】
以上の構成を取ることで、監視システムを構成する複数個所に設置された膨大な数のカメラに対して、それぞれの環境に応じた最適な認識方式で画像認識処理を行うことができる。【００３６】
図１２は、表示部１７０において監視システム管理画面を表示した一例である。監視システムの管理情報は、管理部１６０において管理されている。例えば、選択制御部１３１が保有する各カメラの方式制御テーブル１１１０や、統計解析部が保有する解析結果テーブル１０１０を一括して管理している。表示部１７０では、管理部１６０から必要な情報を抽出し、これを整形してわかりやすく表示する処理を行う。これらは、ＨＴＭＬやＦｌａｓｈなどを用いて構築できる。図１２（ａ）は、処理方式確認画面１２１０の一例であり、この画面上で各カメラで採用されているオブジェクト検出方式と特徴抽出方式を確認することができる。ここで各項目の設定を変更して、「更新」ボタンを押すことで管理部１６０を通じて選択制御部１３１の方式選択テーブルを変更することも可能である。これにより、多くの認識方式は統計解析結果を基に自動で決定して、微調整だけを手動を行うこともできる。また、「固定」ボタンを押すことで、決定した方式を今後更新しないで使用し続けることも可能となる。画面右下の現画像ウインドウには、カメラの現画像に対する認識結果を表示することで、画像を確認しながら認識方式の微調整が可能となる。【００３７】
図１２（ｂ）は、評価結果確認画面１２２０の一例である。ここでは、管理部１６０を通じて、統計解析部１３６で得られた評価結果を確認できる。また、確認したい方式を選択することで、画面下のウインドウに評価画像とその認識結果と正解情報などを重畳表示し、評価結果を確認することが可能である。画面下のボタンで画像送り、戻りなどの再生制御が行え、画面右横のボタンで、評価画像の削除や正解情報の追加・修正が行える。これにより、評価画像の質を高められ、より正確な精度評価を実現可能となる。【００３８】
図１３は、表示部１７０において画像検索を実施する画面の一例である。検索結果表示画面１３１０は、クエリ画像ウインドウにおいて特定の顔画像を選択し、ウインドウ横にある検索ボタンを押すことで、類似する顔が映っている画像の検索を行う。検索命令は、特徴量データベース１４０に伝送され、特徴量データベース１４０内でクエリの顔と類似する特徴量を有するデータを検索し、類似する順（距離の近い順）にデータベース内のデータを出力する。表示部１７０では、取得したデータ内のフレームＩＤ情報を基に画像データベース１５０から画像を吸出し、画面上に表示する。この際、検出方式と特徴抽出方式をクエリ画像と同じ処理だった画像に対してのみ限定して検索結果を表示することも可能である。また、１，２方式だけが異なる「近方式」間の結果や、それ以上で方式が異なる「別方式」間の検索結果という形で、分けて表示することも可能である。例えば、同方式間では同じ顔の距離が０．１であったのに対して、別方式間では、同じ人の顔の距離が最小でも０．３にしかならないということがある。これを同検索結果として表示すると、別方式で撮影された顔は検索結果の後の方になってしまい、発見が困難となる。同方式、別方式毎に分けて表示することにより、同じ顔の画像検索結果を発見しやすくなる。【００３９】
以上を踏まえ、本実施例に記載の監視システムは、カメラと、カメラで撮影された入力画像から対象物を検出する検出部と、検出された対象物の特徴量を抽出する特徴量抽出部と、入力画像と対象物と特徴量とを蓄積する記憶部と、検出部と特徴量抽出部とを制御する選択制御部と、検出部と特徴量抽出部とからの結果を評価する評価部と、を有し、評価部からの出力に基づいて選択制御部は、検出部での検出方式および特徴量抽出部での抽出方式を選択することを特徴とする。【００４０】
かかる特徴によって、評価に適した画像を定期的に収集でき、更にはセンサ情報や認識結果を基に、その評価画像における正解情報（人の位置や、その人が誰であるかなど）を自動的に収集できる。
【実施例２】
【００４１】
＜検出領域の限定＞
本発明の第２の実施例である検出領域限定方法について図１４を用いて説明する。図１４（ａ）は、あるカメラ１１０ａで撮影した通路の画像であり、図１４（ｂ）は統計解析部１３６に蓄積された認識結果を画像上に描画した一例を示した画像である。図１４（ｂ）に示すように、顔などのオブジェクトは通路上の限られたエリアに対してエリア毎に特定のサイズで出現する。このため、統計解析を行うことで図１４（ｃ）のように画像上の分割したエリア毎に存在するオブジェクトサイズを限定できる。図１４（ｃ）では、０と書かれた領域にはオブジェクトが出現しなかったことを示す。それ以外は、出現したオブジェクトの最小最大サイズを示している。このテーブルを選択制御部１３１で参照することで、オブジェクト検出を行う領域や、オブジェクトのサイズを制限することができ、処理時間の削減や誤検出除去を行うことが可能となる。
更には、統計処理で得られた出現分布を基に、カメラが設置されている位置のＭＡＰを推定することが可能となる。これをカメラが設置された施設等の地図データと照合することで、地図上のどこを撮影しているかを推定でき、自動的に現在のカメラ位置を推定できる。
【実施例３】
【００４２】
＜避難誘導＞
本発明の第３の実施例である特殊状況時の監視システムについて図１５を用いて説明する。図１５は、選択制御部１３１が保有する特殊条件時方式制御テーブル１５１０の一例を示すものである。特殊条件時優先方式テーブル１５１０には、特殊条件が発生した際のオブジェクト検出部１３２と特徴抽出部１３３の処理の優先度を示す。特殊条件時優先方式テーブル１５１０は、緊急時の対応のため統計的に多くのデータを収集することができないため手動で設定しておく。特殊条件時優先方式テーブル１５１０には特殊状況の項を有し、火災、地震などの特殊状況毎に切替え認識方式の優先度を付けて置く。なお火災や地震などの特殊状況の発生は通信基盤１２０を通じてセンサから得ることができる。火災は、センサ１８０として、煙り検知センサを付けることで感知でき、地震は緊急地震速報の通知や震度計のセンサ情報を取得することで感知できる。これらのセンサ情報を選択制御部１３１で受信したら、特殊条件時優先方式テーブル１５１０と解析結果テーブル１０１０とから生成した特殊条件時方式制御テーブル１５２０に従って認識処理を行うことにする。特殊条件時方式制御テーブル１５２０は、解析結果テーブル１０１０の有する各方式の認識率Ｒと特殊条件時優先方式テーブル１５１０の優先度Ｐを掛け合わせた値が一定の閾値以上であり、かつ別方式の中で最大となった方式を選択する。これにより例えば地震時は顔検出は行わずに動体検出に専念させることや、あるカメラには何の認識処理もさせず、別の災害時に重要となるカメラに認識処理を専念させるといった切替えが可能となる。特殊条件時優先方式テーブル１５１０が持つ最小検出サイズは、これら特殊状況時のオブジェクトが画像に映る最小サイズを規定しておく。この値と統計解析部１３６が有するオブジェクトの最小・最大サイズを比較することで、特殊状況時にカメラのズームやパン・チルトをいくつにするべきか決定できる。これをカメラ切替え値として特殊条件時方式制御テーブル１５２０に記載しておくことで、各カメラの統計解析結果に基づいて特殊状況発生時に最適なカメラパラメータを設定できる。例えば、通常時は人の顔が鮮明に映るようにズーム気味に設定されていたカメラを、地震発生時にはより広角に撮影できるように切替えて全体を監視することが可能となる。また、特殊状況としてＰＴＺカメラの設定値毎にテーブルを用意しておけば、カメラのＰＴＺ向き毎に検出方式を切替えることも可能となる。
以上の構成により、地震などの災害や、渋滞などの混雑時といった特殊状況においても、事前に手動で設定した優先度と過去の統計量に基づいて、カメラ環境毎に最適な認識方式を実施することが可能となる。
【符号の説明】
【００４３】
１１０ａ，１１０ｂ…カメラ、
１２０…通信基盤、
１３０…画像認識部、
１３１…選択制御部、
１３２…オブジェクト検出部、
１３３…特徴抽出部、
１３４…認識結果出力部、
１３５…評価部、
１３６…統計解析部、
１４０…特徴量データベース、
１５０…画像データベース、
１６０…管理部、
１７０…表示部、
１８０ａ…センサ
２１０…サーバ計算機、
２１１…Ｉ／Ｆ、
２１２…ＣＰＵ、
２１３…メモリ、
２１４…ＨＤＤ
６１０…認識結果テーブル
７０１…画像収集部、
７０２…センサ情報取得部、
７０３…評価データ蓄積部、
７０４…評価実行制御部、
７０５…認識結果取得部、
７０６…結果判定部
１０１０…解析結果テーブル
１１１０…方式制御テーブル
１２１０…処理方式確認画面、
１２２０…評価結果確認画面
１３１０…検索結果確認画面
１５１０…特殊条件時優先方式テーブル、
１５２０…特殊条件時方式制御テーブル。
【図１】
0005982557.tif 000002
【図２】
0005982557.tif 000003
【図３】
0005982557.tif 000004
【図４】
0005982557.tif 000005
【図５】
0005982557.tif 000006
【図６】
0005982557.tif 000007
【図７】
0005982557.tif 000008
【図８】
0005982557.tif 000009
【図９】
0005982557.tif 000010
【図１０】
0005982557.tif 000011
【図１１】
0005982557.tif 000012
【図１２】
0005982557.tif 000013
【図１３】
0005982557.tif 000014
【図１４】
0005982557.tif 000015
【図１５】
0005982557.tif 000016