(57)【要約】      （修正有）【課題】撮像装置の設置場所としての複数の地点を指定することで、その複数の地点に存在した人物を抽出できるようにする。【解決手段】多数の撮像装置１がそれぞれ異なる場所に固定設置される。撮像装置１は撮像した画像データに含まれている人物等の特徴データを生成する。そしてその特徴データと、カメラＩＤ、撮像日時情報を含む特徴データユニットを生成し、これをデータ保存サーバ３に送信する。データ保存サーバ３は各撮像装置１から送信されてくる特徴データユニットをデータベースに登録して保存する。検索処理装置４は、データベースから条件に該当する人物等をリストアップする。【選択図】図１
2007241377.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ異なる場所に固定配置される複数の撮像装置と、データ保存装置と、情報処理装置とから成る検索システムとして、
上記撮像装置は、
撮像を行って画像データを得る撮像手段と、
上記撮像手段で得られた画像データを記録媒体に記録する記録再生手段と、
上記撮像手段で得られた画像データを解析して被写体の特徴データを生成する特徴データ生成手段と、
送信データとして、少なくとも上記特徴データと、個々の撮像装置に与えられた撮像装置識別情報とを含む特徴データユニットを生成する送信データ生成手段と、
上記送信データ生成手段で生成された特徴データユニットを、上記データ保存装置に対して送信する送信手段と、
を備え、
上記データ保存装置は、
データベースと、
上記各撮像装置から送信されてきた特徴データユニットを上記データベースに登録して保存する登録手段と、
を備え、
上記情報処理装置は、
複数の上記撮像装置のうちで、複数の撮像装置を指定する入力を、条件入力として受け付ける条件入力手段と、
上記条件入力手段の処理で指定された各撮像装置にかかる上記特徴データユニットを、上記データベースから取得する取得手段と、
上記取得手段で取得した各特徴データユニットを、特徴データユニットに含まれる特徴データに基づいて分類し、同一又は類似の特徴データを有する複数の特徴データユニットを特徴データグループとして抽出する分類抽出手段と、
上記分類抽出手段で抽出された特徴データグループの情報を表示出力する表示処理手段と、
を備えたことを特徴とする検索システム。
【請求項２】
上記撮像装置の上記送信データ生成手段は、さらに、上記特徴データに係る画像データの撮像日時を示す日時情報を含む特徴データユニットを生成し、
上記情報処理装置の上記条件入力手段は、複数の撮像装置の指定とともに、各撮像装置についての日時の指定を条件入力として受け付け、
上記情報処理装置の上記取得手段は、上記データベースから、指定された各撮像装置において指定された日時に該当する上記特徴データユニットを取得することを特徴とする請求項１に記載の検索システム。
【請求項３】
所定場所に固定配置されるとともに、少なくとも外部のデータ保存装置と通信可能な撮像装置として、
撮像を行って画像データを得る撮像手段と、
上記撮像手段で得られた画像データを記録媒体に記録する記録再生手段と、
上記撮像手段で得られた画像データを解析して被写体の特徴データを生成する特徴データ生成手段と、
送信データとして、少なくとも上記特徴データと、個々の撮像装置に与えられた撮像装置識別情報とを含む特徴データユニットを生成する送信データ生成手段と、
上記送信データ生成手段で生成された特徴データユニットを、上記データ保存装置に対して送信する送信手段と、
を備えたことを特徴とする撮像装置。
【請求項４】
上記記録再生手段は、上記撮像部で得られた画像データを、撮像日時を示す日時情報とともに記録媒体に記録することを特徴とする請求項３に記載の撮像装置。
【請求項５】
上記送信データ生成手段は、さらに、上記特徴データに係る画像データの撮像日時を示す日時情報を含む特徴データユニットを生成することを特徴とする請求項３に記載の撮像装置。
【請求項６】
上記送信データ生成手段は、さらに、上記特徴データに係る画像データを含む特徴データユニットを生成することを特徴とする請求項３に記載の撮像装置。
【請求項７】
上記特徴データ生成手段は、上記撮像部で得られた画像データの被写体としての人物を抽出し、抽出された人物の特徴データを生成することを特徴とする請求項３に記載の撮像装置。
【請求項８】
上記撮像手段で撮像される被写体の情報を検出するセンサ手段を更に備え、
上記特徴データ生成手段は、上記センサ手段で得られた検出情報により上記特徴データを生成することを特徴とする請求項３に記載の撮像装置。
【請求項９】
外部の情報処理装置からの画像要求情報に応じて、該画像要求情報で指定された画像データを上記記録再生手段により読み出させて、上記通信手段により上記情報処理装置に送信させる画像送信制御手段を、更に備えることを特徴とする請求項３に記載の撮像装置。
【請求項１０】
外部の情報処理装置からの捜索要求情報に応じて、該捜索要求情報に含まれる特徴データを、捜索対象として設定する処理と、
上記特徴データ生成手段で生成された特徴データが、捜索対象とされた上記特徴データに該当するか否かを判断し、該当する場合は、上記情報処理装置に通知を行う処理と、
を行う捜索処理制御手段を、更に備えることを特徴とする請求項３に記載の撮像装置。
【請求項１１】
上記記録媒体に記録した画像データのうちで、記録時点から所定期間を経過した画像データのデータ量を減少させる保存データ量低減処理を上記記録再生手段に実行させるデータ量低減処理制御手段を、更に備えることを特徴とする請求項３に記載の撮像装置。
【請求項１２】
それぞれ異なる場所に固定配置される複数の撮像装置と、通信可能なデータ保存装置として、
データベースと、
上記各撮像装置から送信されてきた特徴データユニットを上記データベースに登録して保存する登録手段と、
を備えたことを特徴とするデータ保存装置。
【請求項１３】
それぞれ異なる場所に固定配置されている複数の撮像装置のうちで、複数の撮像装置を指定する入力を、条件入力として受け付ける条件入力手段と、
複数の上記撮像装置で生成された、被写体の特徴データを含む特徴データユニットを登録してあるデータベースから、上記条件入力手段の処理で指定された各撮像装置にかかる上記特徴データユニットを取得する取得手段と、
上記取得手段で取得した各特徴データユニットを、特徴データユニットに含まれる特徴データに基づいて分類し、同一又は類似の特徴データを有する複数の特徴データユニットを特徴データグループとして抽出する分類抽出手段と、
上記分類抽出手段で抽出された特徴データグループの情報を表示出力する表示処理手段と、
を備えたことを特徴とする情報処理装置。
【請求項１４】
上記条件入力手段は、複数の撮像装置の指定とともに、各撮像装置についての日時の指定を条件入力として受け付け、
上記取得手段は、上記データベースから、指定された各撮像装置において指定された日時に該当する上記特徴データユニットを取得することを特徴とする請求項１３に記載の情報処理装置。
【請求項１５】
上記分類抽出手段で抽出された特徴データグループに含まれる特徴データユニットに関して、該特徴データユニットを生成した撮像装置に対して特徴データユニットに対応する画像を要求する画像要求情報を送信する画像要求送信手段を更に備えるとともに、
上記表示処理手段は、上記画像要求情報に応じて上記撮像装置から送信されてきた画像データの表示出力を行うことを特徴とする請求項１３に記載の情報処理装置。
【請求項１６】
上記特徴データユニットにおける特徴データを含む捜索要求情報を生成し、上記各撮像装置に送信する捜索要求送信手段を、さらに備えたことを特徴とする請求項１３に記載の情報処理装置。
【請求項１７】
所定場所に固定配置されるとともに、少なくとも外部のデータ保存装置と通信可能な撮像装置の撮像画像処理方法として、
撮像を行って画像データを得る撮像ステップと、
上記撮像ステップで得られた画像データを記録媒体に記録する記録ステップと、
上記撮像ステップで得られた画像データを解析して被写体の特徴データを生成する特徴データ生成ステップと、
送信データとして、少なくとも上記特徴データと、個々の撮像装置に与えられた撮像装置識別情報とを含む特徴データユニットを生成する送信データ生成ステップと、
上記送信データ生成ステップで生成された特徴データユニットを、上記データ保存装置に対して送信する送信ステップと、
を備えたことを特徴とする撮像画像処理方法。
【請求項１８】
それぞれ異なる場所に固定配置されている複数の撮像装置のうちで、複数の撮像装置を指定する入力を、条件入力として受け付ける条件入力ステップと、
複数の上記撮像装置で生成された、被写体の特徴データを含む特徴データユニットを登録してあるデータベースから、上記条件入力ステップの処理で指定された各撮像装置にかかる上記特徴データユニットを取得する取得ステップと、
上記取得ステップで取得した各特徴データユニットを、特徴データユニットに含まれる特徴データに基づいて分類し、同一又は類似の特徴データを有する複数の特徴データユニットを特徴データグループとして抽出する分類抽出ステップと、
上記分類抽出ステップで抽出された特徴データグループの情報を表示出力する表示処理ステップと、
を備えたことを特徴とする情報処理方法。
【請求項１９】
所定場所に固定配置されるとともに、少なくとも外部のデータ保存装置と通信可能な撮像装置の動作を実行させるプログラムとして、
撮像を行って画像データを得る撮像ステップと、
上記撮像ステップで得られた画像データを記録媒体に記録する記録ステップと、
上記撮像ステップで得られた画像データを解析して被写体の特徴データを生成する特徴データ生成ステップと、
送信データとして、少なくとも上記特徴データと、個々の撮像装置に与えられた撮像装置識別情報とを含む特徴データユニットを生成する送信データ生成ステップと、
上記送信データ生成ステップで生成された特徴データユニットを、上記データ保存装置に対して送信する送信ステップと、
を撮像装置に実行させるプログラム。
【請求項２０】
それぞれ異なる場所に固定配置されている複数の撮像装置のうちで、複数の撮像装置を指定する入力を、条件入力として受け付ける条件入力ステップと、
複数の上記撮像装置で生成された、被写体の特徴データを含む特徴データユニットを登録してあるデータベースから、上記条件入力ステップの処理で指定された各撮像装置にかかる上記特徴データユニットを取得する取得ステップと、
上記取得ステップで取得した各特徴データユニットを、特徴データユニットに含まれる特徴データに基づいて分類し、同一又は類似の特徴データを有する複数の特徴データユニットを特徴データグループとして抽出する分類抽出ステップと、
上記分類抽出ステップで抽出された特徴データグループの情報を表示出力する表示処理ステップと、
を情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、データ保存装置、情報処理装置と、これらから成る検索システムに関する。また撮像装置における撮像画像処理方法とプログラム、さらに情報処理装置における情報処理方法とプログラムに関する。
【背景技術】
【０００２】
【特許文献１】特開２００３−２８１１５７号公報
【特許文献２】特開２００３−３２４７２０号公報
【０００３】
上記特許文献に記載されているように、人物検索システムや監視システムが知られている。
上記特許文献１の人物検索システムでは、人物の顔画像や指紋画像等を用いてデータベースから特定人物を検索したり追跡する技術が記載されている。
上記特許文献２の監視システムでは、複数のカメラを連動させて、移動する人物などの監視を実現する技術が記載されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、例えば不特定多数の人物のうちで、或る場所から或る場所に移動した人物を検索したいという場合に適したシステムはない。
刑事事件捜査の例を挙げる。或る事件が発生し、その犯人が、逃走経路としてＡ地点とＢ地点を通ったと推定されたとする。そしてこのＡ地点とＢ地点には常時撮像を行っている監視カメラが設置されていたとする。
この場合、捜査官は、Ａ地点のカメラで撮像された画像を再生し、またＢ地点のカメラで撮像された画像を再生し、Ａ，Ｂ両地点で共に撮像されている人物を犯人に該当する可能性のある人物としてリストアップすることになる。
ところが、このためには或る程度の時間長、Ａ地点のカメラの撮像画像を注意深く見て撮像されている全人物の顔を覚え、その後Ｂ地点のカメラの撮像画像を見て、同一人物を探し出すという作業となり、非常に困難かつ忍耐を強いる作業となる。また必ずしも正確に該当人物を捜し出せるとは限らない上、長時間を要する効率の悪い作業でもある。
【０００５】
そこで本発明では、複数の場所（撮像装置）を検索条件として入力したときに、それらの場所に存在した被写体（人物等）を検索できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の検索システムは、それぞれ異なる場所に固定配置される複数の撮像装置と、データ保存装置と、情報処理装置とから成る。
【０００７】
この検索システムの構成要素となる上記撮像装置は、 所定場所に固定配置されるとともに、少なくとも外部のデータ保存装置と通信可能な撮像装置であって、撮像を行って画像データを得る撮像手段と、上記撮像手段で得られた画像データを記録媒体に記録する記録再生手段と、上記撮像手段で得られた画像データを解析して被写体の特徴データを生成する特徴データ生成手段と、送信データとして少なくとも上記特徴データと個々の撮像装置に与えられた撮像装置識別情報とを含む特徴データユニットを生成する送信データ生成手段と、上記送信データ生成手段で生成された特徴データユニットを上記データ保存装置に対して送信する送信手段とを備える。
また上記記録再生手段は、上記撮像部で得られた画像データを、撮像日時を示す日時情報とともに記録媒体に記録する。
また上記送信データ生成手段は、さらに、上記特徴データに係る画像データの撮像日時を示す日時情報を含む特徴データユニットを生成する。
また上記送信データ生成手段は、さらに、上記特徴データに係る画像データを含む特徴データユニットを生成する。
また上記特徴データ生成手段は、上記撮像部で得られた画像データの被写体としての人物を抽出し、抽出された人物の特徴データを生成する。
また上記撮像手段で撮像される被写体の情報を検出するセンサ手段を更に備え、上記特徴データ生成手段は、上記センサ手段で得られた検出情報を含む上記特徴データを生成する。
また、外部の情報処理装置からの画像要求情報に応じて、該画像要求情報で指定された画像データを上記記録再生手段により読み出させて、上記通信手段により上記情報処理装置に送信させる画像送信制御手段を、更に備える。
また、外部の情報処理装置からの捜索要求情報に応じて該捜索要求情報に含まれる特徴データを捜索対象として設定する処理と、上記特徴データ生成手段で生成された特徴データが捜索対象とされた上記特徴データに該当するか否かを判断し、該当する場合は上記情報処理装置に通知を行う処理とを行う捜索処理制御手段を、更に備える。
また、上記記録媒体に記録した画像データのうちで、記録時点から所定期間を経過した画像データのデータ量を減少させる保存データ量低減処理を上記記録再生手段に実行させるデータ量低減処理制御手段を、更に備える。
【０００８】
本発明の検索システムの構成要素となる本発明のデータ保存装置は、それぞれ異なる場所に固定配置される複数の撮像装置と通信可能なデータ保存装置として、データベースと、上記各撮像装置から送信されてきた特徴データユニットを上記データベースに登録して保存する登録手段とを備える。
【０００９】
本発明の検索システムの構成要素となる本発明の情報処理装置は、それぞれ異なる場所に固定配置されている複数の撮像装置のうちで複数の撮像装置を指定する入力を条件入力として受け付ける条件入力手段と、複数の上記撮像装置で生成された、被写体の特徴データを含む特徴データユニットを登録してあるデータベースから、上記条件入力手段の処理で指定された各撮像装置にかかる上記特徴データユニットを取得する取得手段と、上記取得手段で取得した各特徴データユニットを、特徴データユニットに含まれる特徴データに基づいて分類し、同一又は類似の特徴データを有する複数の特徴データユニットを特徴データグループとして抽出する分類抽出手段と、上記分類抽出手段で抽出された特徴データグループの情報を表示出力する表示処理手段とを備える。
また上記条件入力手段は、複数の撮像装置の指定とともに、各撮像装置についての日時の指定を条件入力として受け付け、上記取得手段は、上記データベースから、指定された各撮像装置において指定された日時に該当する上記特徴データユニットを取得する。
また上記分類抽出手段で抽出された特徴データグループに含まれる特徴データユニットに関して、該特徴データユニットを生成した撮像装置に対して特徴データユニットに対応する画像を要求する画像要求情報を送信する画像要求送信手段を更に備えるとともに、上記表示処理手段は、上記画像要求情報に応じて上記撮像装置から送信されてきた画像データの表示出力を行う。
また、上記特徴データユニットにおける特徴データを含む捜索要求情報を生成し、上記各撮像装置に送信する捜索要求送信手段を、さらに備える。
【００１０】
本発明の撮像画像処理方法は、上記撮像装置の撮像画像処理方法であり、撮像を行って画像データを得る撮像ステップと、上記撮像ステップで得られた画像データを記録媒体に記録する記録ステップと、上記撮像ステップで得られた画像データを解析して被写体の特徴データを生成する特徴データ生成ステップと、送信データとして、少なくとも上記特徴データと、個々の撮像装置に与えられた撮像装置識別情報とを含む特徴データユニットを生成する送信データ生成ステップと、上記送信データ生成ステップで生成された特徴データユニットを、上記データ保存装置に対して送信する送信ステップとを備える。
また本発明の情報処理方法は、上記情報処理装置の情報処理方法であり、それぞれ異なる場所に固定配置されている複数の撮像装置のうちで、複数の撮像装置を指定する入力を、条件入力として受け付ける条件入力ステップと、複数の上記撮像装置で生成された、被写体の特徴データを含む特徴データユニットを登録してあるデータベースから、上記条件入力ステップの処理で指定された各撮像装置にかかる上記特徴データユニットを取得する取得ステップと、上記取得ステップで取得した各特徴データユニットを、特徴データユニットに含まれる特徴データに基づいて分類し、同一又は類似の特徴データを有する複数の特徴データユニットを特徴データグループとして抽出する分類抽出ステップと、上記分類抽出ステップで抽出された特徴データグループの情報を表示出力する表示処理ステップとを備える。
本発明のプログラムは、上記撮像装置に上記撮像画像処理方法を実行させるプログラム、及び上記情報処理装置に上記情報処理方法を実行させるプログラムである。
【００１１】
以上の本発明では、多数の撮像装置が、それぞれ異なる場所に固定設置される。撮像装置は、固定設置された場所で、例えば常時撮像を行い、撮像した画像データを記録すると共に、撮像した画像データに含まれている人物等の特徴データを生成する。特徴データを生成したら、その特徴データと、撮像装置識別情報、さらには撮像日時の情報を含む特徴データユニットを生成し、これをデータ保存装置に送信する。
各撮像装置がこのような動作を行うことで、データ保存装置には各撮像装置から多数の特徴データユニットが送信されてくるが、データ保存装置では、これらをデータベースに登録して保存する。
つまりデータベースには、各地の撮像装置で撮像された人物等の特徴データが保存されることになる。
情報処理装置は、このデータベースから条件に該当する人物等をリストアップするような検索を行う。例えばＡ地点からＢ地点に移動した人物を検索する。この場合、Ａ地点に設置されている撮像装置とＢ地点に設置されている撮像装置を指定する。そして、データベースから、Ａ地点の撮像装置により生成された特徴データユニットと、Ｂ地点の撮像装置により生成された特徴データユニットとを取り出し、両地点で特徴データが同一又は類似の特徴データユニットを特徴データグループとしてグループ化する。このグループ化された複数の特徴データユニットは、同一人物を被写体としたものである可能性が高い。そして特徴データグループにおける各特徴データユニットの情報を表示出力することで、検索結果として、Ａ地点からＢ地点に移動した人物を確認できることになる。
【発明の効果】
【００１２】
本発明によれば、複数の地点（撮像装置の設置場所）を指定することで、その複数の地点に存在した被写体としての人物等を抽出することができる。つまり或る場所に居た未知の人物を抽出するような検索が可能となる。これにより、例えば刑事捜査などで有効な検索を行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を次の順序で説明していく。
１．検索システムの構成
２．撮像装置の構成
３．検索処理装置及びデータ保存サーバの構成
４．特徴データの保存
５．特徴データによる人物検索
６．特徴データ及びその類似判断
７．検索における撮像装置の指定例
８．撮像装置におけるデータ保存
９．実施の形態の効果及び変形例
【００１４】
１．検索システムの構成
図１に実施の形態の検索システムを概略的に示す。
検索システムは、多数の撮像装置１と、データ保存サーバ３と、検索処理装置４とがネットワーク９０を介してデータ通信可能に接続されて成る。
【００１５】
撮像装置１は、それぞれがカメラ部１０により特定の場所の映像を撮像するように固定設置される。例えば街の交差点、繁華街の所要場所、駅前、駅の改札など、特定の場所の風景、特に周辺の人物を撮像できるようにそれぞれ固定設置される。そして各撮像装置１は、常時撮像を行っているものとされる。
【００１６】
データ保存サーバ３は、各撮像装置１から送信されてくる特徴データユニットを特徴データデータベース（以下、特徴データＤＢともいう）に登録して保存する。
検索処理装置４は、条件入力に基づいて、データ保存サーバ３の特徴データＤＢに登録されている特徴データユニットから、特徴データユニットの検索処理を行う。
ネットワーク９０としては、インターネットなどの公衆ネットワークが用いられても良いが、警察用途の場合、専用のネットワークを構築することも想定される。
データ保存サーバ３と検索処理装置４は、別体装置として示しているが、一体のコンピュータシステムでこれらを構成することもできる。またデータ保存サーバ３と検索処理装置４は、ネットワーク９０ではなく、警察署内部のＬＡＮ（Local Area Network）などで通信可能とされていても良い。
【００１７】
この検索システムの動作概略は次のようになる。
各撮像装置１は、設置箇所において常時画像撮像を行う。そして各撮像装置１は、撮像した画像データを記録するとともに、撮像した画像データに含まれている人物の特徴データを生成する。特徴データとは、被写体としての人物の顔の特徴や衣服の色などである。さらには所要のセンサを設け、画像以外から検出できる特徴を特徴データに含めても良い。
撮像装置１は、特徴データを生成したら、その特徴データと、撮像装置１に個別に与えられている識別情報としてのカメラＩＤと、撮像日時を示す日時情報を含む特徴データユニットを生成し、これをデータ保存サーバ３に送信する。
各撮像装置１が常時このような動作を行うことで、データ保存サーバ３には各撮像装置１のそれぞれから多数の特徴データユニットが送信されてくる。データ保存サーバ１は、これら送信されてくる特徴データユニットを全て特徴データＤＢに登録して保存する。
これにより特徴データＤＢには、各地に設置されている撮像装置で撮像された人物の特徴データが保存されることになる。
【００１８】
検索処理装置４では、居場所と時刻が特定或いは推定される人物の検索を行うことができる。例えば２００６年１月５日１０時３０分頃にＡ地点にいて、その約３０分後である１１時頃にＢ地点に居た人物を割り出したいとする。
この場合、検索処理装置４の使用者は、Ａ地点の撮像装置１と時刻（１０時３０分前後）という条件と、Ｂ地点の撮像装置１と時刻（１１時前後）という条件を入力する。
検索処理装置４は、データ保存サーバ３における特徴データＤＢから、上記条件に該当する特徴データユニットを全て取得する。即ちＡ地点の撮像装置１で１０時３０分前後に撮像された画像から生成された特徴データを含む特徴データユニットの全てと、Ｂ地点の撮像装置１で１１時前後に撮像された画像から生成された特徴データを含む特徴データユニットの全てを取得する。
そして検索処理装置４は、それぞれの特徴データユニットに含まれている特徴データを分類し、共通の特徴データ（同一又は類似の特徴データ）を含む特徴データユニットを特徴データグループとしてグループ化する。
グループ化された複数の特徴データユニットは、同一人物を被写体としたものである可能性が高い。そこで、特徴データグループにおける各特徴データユニットの情報を検索結果として表示出力する。ここで検索結果として表示される１つの特徴データグループの情報は、Ａ地点からＢ地点に移動した人物の特徴を示すものとなる。
【００１９】
２．撮像装置の構成
各地に固定設置される撮像装置１の構成例を図２に示す。
コントローラ（ＣＰＵ：Central Processing Unit）２１は撮像装置１の全体の動作制御を行う。コントローラ２１は、後述する各種動作を実現するために、動作プログラムに応じて各部を制御する。
メモリ部２２は、コントローラ２１において実行されるプログラムコードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。この図の場合、メモリ部２２は、揮発メモリ、不揮発性メモリの双方を含むものとして示している。例えばプログラムを格納するＲＯＭ（Read Only Memory）、演算ワーク領域や各種一時記憶のためのＲＡＭ（Random Access Memory）、ＥＥＰ−ＲＯＭ（Electrically Erasable and Programmable Read Only Memory）等の不揮発性メモリを含む。
時計部２８は現在の日時情報を発生させる。即ち常時現在の年月日時分秒を計数する。コントローラ２１は、時計部２８で計数される年月日時分秒の日時情報を記録再生処理部２３や送信データ生成部２６に供給する。
【００２０】
カメラ部１０は、固定設置された場所の光景を被写体として撮像する。カメラ部１０には撮像光学レンズ系、レンズ駆動系、ＣＣＤセンサやＣＭＯＳセンサによる撮像素子部、撮像信号処理回路系等が搭載されて形成されている。このカメラ部１０は入射する撮像光を撮像素子部によって検出し、撮像画像信号とする。そして撮像信号処理回路系でサンプリング、ゲイン調整、ホワイトバランス処理、補正処理、輝度処理、色処理などの所定の信号処理が行われて、撮像画像データとして出力する。
【００２１】
カメラ部１０から出力される画像データは記録再生処理部２３及び画像解析部２５に供給される。
記録再生処理部２３は、コントローラ２１の制御に基づいて、カメラ部１０から供給される画像データを記録メディアに記録する処理や、記録メディアに記録されている画像ファイルを読み出す処理を行う。ここでは記録メディアとしてＨＤＤ（Hard Disc Drive）２４を例に挙げる。
記録の際には、供給された撮像画像データに対して所定の圧縮方式によるデータ圧縮処理を施したり、ＨＤＤ２４に対して記録する際の記録フォーマットへのエンコード処理を行う。
カメラ部１０は、例えば常時動画撮像としての撮像動作を行って画像データを供給するが、この記録再生処理部２３は、動画を構成する各フレームに対してタイムコードを付加してＨＤＤ２４に記録する。この場合、タイムコードは、撮像開始時点を０時０分０秒０フレームとする相対時間情報だけでなく、時計部２８で計時されている実際の日時情報も記録する。即ち年／月／日／時／分／秒／フレームの情報である。
ＨＤＤ２４に記録された画像データを再生する際には、記録再生処理部２３はＨＤＤ２４から読み出されてくる画像データのデコード処理を行う。
【００２２】
画像解析部２５は、カメラ部１０から供給される画像データについて解析処理を行う。
この画像解析部２５は、撮像された画像データから人物の画像を処理対象として抽出する処理と、抽出した人物の画像から、特徴データを生成する処理を行う。
画像解析により生成する特徴データとは顔の特徴や、衣服の色、身長などである。これらについて詳しくは後述する。
画像解析部２５は、生成した特徴データを送信データ生成部２６に供給する。
なお、カメラ部１０の設置場所や被写体方向にもよるが、撮像された１画面内に複数の人物がうつることも考えられる。１画面から複数の人物の画像が抽出された場合、画像解析部２５は、それぞれの人物についての特徴データを生成することになる。
また、画像解析部２５は、カメラ部１０から供給される画像データについて解析処理を行うものとしているが、画像解析処理に要する時間によっては、カメラ部１０から連続的に供給される各フレーム画像に間に合わないことも想定される。このため、動画を構成する全てのフレームの内から、所定間隔でフレームを抽出して解析対象としてもよい。さらには、一旦ＨＤＤ２４に記録した画像データを読み出して、記録再生処理部２３から画像データが画像解析部２５に供給されるようにし、この読み出された画像データに対して画像解析処理を行うようにしても良い。例えば画像解析部２５での解析処理に要する時間に応じてＨＤＤ２４から画像データを再生させて画像解析を行うようにすることで、解析処理に時間を要しても対応できる。
【００２３】
センサ１１は、画像解析以外の検出処理で、被写体となった人物の特徴データを生成するための検出装置である。例えば床に設置した体重計（圧力センサ）や、金属探知機などが想定される。
例えばカメラ部１０が駅の改札に向けて設置されているとする。この場合、改札の床部分に設置される体重計や金属探知機がセンサ１１となる。
体重計をセンサ１１として想定した場合、カメラ部１０で得られる画像データの撮像タイミングにあわせて検出される体重値として、画像に含まれる人物の体重を検出できる。センス信号処理部２９は、センサ１１からの数値を、特徴データとして処理し、送信データ生成部２６に供給する。
【００２４】
送信データ生成部２６は、画像解析部２５及びセンス信号処理部２９から供給される特徴データを含む特徴データユニットを、図１に示したデータ保存サーバ３に送信する送信データとして生成する。
特徴データユニットの構造例を図３（ａ）（ｂ）に示す。
図３（ａ）はカメラＩＤ、日時情報、特徴データ、画像データにより特徴データユニットが構成される例である。また図３（ｂ）はカメラＩＤ、日時情報、特徴データにより特徴データユニットが構成される例である。
特徴データユニットの構成としては、図３（ａ）（ｂ）のいずれが採用されても良い。特にネットワーク通信負荷やデータ保存サーバ３のデータベース記憶容量負担を軽減する場合は図３（ｂ）の構造が用いられればよいし、これらの負荷を考慮する必要がなければ図３（ａ）の構造が用いられればよい。
カメラＩＤとは、撮像装置１の個々に与えられている識別情報であり、例えば製造時やセットアップ時などにメモリ部２２の不揮発性メモリ領域に記憶される。このカメラＩＤは、実際の撮像装置１の設置場所を示す識別情報ともなる。
日時情報は、時計部２８で計数されている年月日時分秒の情報であり、画像解析部２５はで特徴データを生成した画像データの撮像日時の情報となる。
特徴データは、画像解析部２５で生成された、人物の顔や衣服の色の特徴などを示すデータや、センス信号処理部２９で生成された特徴データを含む。
図３（ａ）のように画像データを含むものとする場合、その画像データは、特徴データを生成した画像、つまり特徴データを生成した人物がうつされている例えば１フレームの画像データである。この場合、画像解析部２５は特徴データとともに、その特徴データを生成した元の画像データを送信データ生成部２６に供給して特徴データユニットに含ませる。
また送信データ生成部２６は、検索処理装置４からの画像要求に対する送信画像データの生成として、ＨＤＤ２４で再生されて記録再生処理部２３から供給される画像データの通信用のエンコード処理や、検索処理装置４からの捜索要求に対する検出通知データの生成処理も行う。
【００２５】
通信部２７は、コントローラ２１の制御に基づいてネットワーク９０を介したデータ保存サーバ３や検索処理装置４との通信処理を行う。
送信データ生成部２６で図３（ａ）又は図３（ｂ）の特徴データユニットが生成された場合、この特徴データユニットは通信部２７に供給され、通信部２７の送信処理でデータ保存サーバ３に送信される。
また通信部２７は検索処理装置４からの画像要求、捜索要求を受信した場合に、その要求情報をコントローラ２１に伝える受信処理や、画像要求に対する画像データの送信処理や、捜索要求に対する検出通知の送信処理も行う。
【００２６】
コントローラ２１は、これら各部を制御して、後述する動作を実行させる。
コントローラ２１の制御処理としては、カメラ部１０の撮像動作制御、記録再生処理部２３に対する記録や再生の指示、画像解析部２５の解析動作制御、送信データ生成部２６に対する送信データ（特徴データユニットや通知情報）の生成の指示、通信部２７の通信動作制御を行う。
またコントローラ２１は画像送信制御を行う。これは検索処理装置４からの画像要求に応じて記録再生処理部２３で必要な画像データ再生を実行させ、再生画像データを送信データ生成部２６に供給させて送信画像データとしてのエンコード処理を実行させて通信部２７から検索処理装置４に送信させる処理である。
またコントローラ２１は捜索処理制御を行う。これは検索処理装置４からの捜索要求情報に応じて、その捜索要求情報に含まれる特徴データを、捜索対象として設定する処理と、画像解析部２５で生成された特徴データが、捜索対象とされた特徴データに該当するか否かを判断し、該当する場合は、送信データ生成部２６に検出通知情報を生成させ、通信部２７から検索処理装置４に送信させる処理である。
またコントローラ２１はデータ量低減処理制御を行う。これは、ＨＤＤ２４に記録された画像データのデータ量を低減させる処理であり、ＨＤＤ２４に記録した画像データのうちで、記録時点から所定期間を経過した画像データのデータ量を減少させるように、ＨＤＤ２４及び記録再生処理部２３に所要の動作を実行させる処理である。
【００２７】
本例の撮像装置１は例えば以上のように構成されるが、構成上の変形例は多様に考えられる。
図２に示した構成要素としての各ブロックは、全てが必須のものではなく、またこれ以外に構成要素が追加されても良い。
特徴データは画像解析部２５のみで生成するようにする場合は、センサ１１及びセンス信号処理部２９は設けられなくても良い。
画像解析部２５、送信データ生成部２６、センス信号処理部２９、時計部２８は、それぞれ図２のようにコントローラ２１（ＣＰＵ）とは別の回路部としてハードウエア的に構成されてもよいが、これらの各部の処理はいわゆるソフトウエア演算処理でも可能であり、コントローラ２１においてソフトウエアプログラムで実現される機能として実現されてもよい。
またマイクロホンが設けられ、撮像画像データの記録と共に周囲の音声の記録や送信を行うようにしてもよい。
また、カメラ部１０に対しては、パン・チルト機構やズーム機構を形成し、撮像方向を上下左右に変更できるようにしたり、画角を変更できるようにしてもよい。
パン・チルト動作やズーム動作は、システム管理者等の操作に応じて実行されるものとしても良いし、コントローラ２１が自動制御するようにしてもよい。
【００２８】
また記録メディアの例としてＨＤＤ２４を挙げているが、ＨＤＤ２４に限らず、例えば光ディスク、光磁気ディスク、固体メモリ、磁気テープなどの記録メディアが用いられるようにしても良い。
【００２９】
３．検索処理装置及びデータ保存サーバの構成
検索処理装置４及びデータ保存サーバ３の構成を図４，図５，図６で説明する。検索処理装置４やデータ保存サーバ３は、ハードウエア的にはパーソナルコンピュータやワークステーションとしてのコンピュータシステムで実現できる。まず図４では検索処理装置４及びデータ保存サーバ３として使用できるコンピュータシステム１００の構成を説明し、図５でデータ保存サーバ３と検索処理装置４としての機能構成を説明する。
【００３０】
図４はコンピュータシステム１００のハードウェア構成例を模式的に示している。図示するようにコンピュータシステム１００は、ＣＰＵ１０１、メモリ１０２、通信部（ネットワークインターフェース）１０３、ディスプレイコントローラ１０４、入力機器インターフェース１０５、外部機器インターフェース１０６、キーボード１０７、マウス１０８、ＨＤＤ（Hard Disc Drive）１０９、メディアドライブ１１０、バス１１１、表示装置１１２を有する。
【００３１】
コンピュータシステム１００のメインコントローラであるＣＰＵ１０１は、オペレーティングシステム（ＯＳ）の制御下で、各種のアプリケーションを実行するようになっている。例えばコンピュータシステム１００が検索処理装置４として用いられる場合、図５（ｂ）で述べる条件入力機能３１、特徴データ取得機能３２、分類・抽出機能３３、表示処理機能３４、画像要求機能３５、捜索要求機能３６をコンピュータシステム１００で実現するためのアプリケーションがＣＰＵ１０１で実行される。またコンピュータシステム１００がデータ保存サーバ３として用いられる場合、図５（ａ）の特徴データ登録機能４１，特徴データ提供機能４２、特徴データＤＢ４３をコンピュータシステム１００で実現するためのアプリケーションがＣＰＵ１０１で実行される。
図４に示す通り、ＣＰＵ１０１は、バス１１１によって他の機器類と相互接続されている。バス１１１上の各機器にはそれぞれ固有のメモリアドレス又はＩ／Ｏアドレスが付与されており、ＣＰＵ１０１はこれらアドレスによって機器アクセスが可能となっている。バス１１１の一例はＰＣＩ（Peripheral Component Interconnect）バスである。
【００３２】
メモリ１０２は、ＣＰＵ１０１において実行されるプログラムコードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。この図の場合、メモリ１０２は、揮発メモリ、不揮発性メモリの双方を含むものとして示している。例えばプログラムを格納するＲＯＭ、演算ワーク領域や各種一時記憶のためのＲＡＭや、ＥＥＰ−ＲＯＭ等の不揮発性メモリを含むものとする。
【００３３】
通信部１０３は、イーサネット（Ethernet：登録商標）などの所定の通信プロトコルに従って、コンピュータシステム１００をインターネットやＬＡＮ（Local Area Network）あるいは専用回線などとして、撮像装置１等と通信をおこなうネットワーク９０に接続することができる。ネットワークインターフェースとしての通信部１０３は、一般に、ＬＡＮアダプタカードという形態で提供され、マザーボード（図示しない）上のＰＣＩバススロットの装着して用いられる。但し、ネットワークインターフェースではなく、モデム（図示しない）経由で外部ネットワークに接続することもできる。
【００３４】
ディスプレイコントローラ１０４は、ＣＰＵ１０１が発行する描画命令を実際に処理するための専用コントローラであり、例えばＳＶＧＡ（Super Video Graphic Array）又はＸＧＡ（eXtended Graphic Array）相当のビットマップ描画機能をサポートする。ディスプレイコントローラ１０４において処理された描画データは、例えばフレームバッファ（図示しない）に一旦書き込まれた後、表示装置１１２に画面出力される。表示装置１１２は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイや、液晶表示ディスプレイ（Liquid Crystal Display）などである。
【００３５】
入力機器インターフェース１０５は、キーボード１０７やマウス１０８などのユーザ入力機器をコンピュータシステム１００に接続するための装置である。例えば警察署等における検索処理装置４を担当するオペレータの操作入力はコンピュータシステム１００上において、キーボード１０７及びマウス１０８を用いて行われる。
【００３６】
外部機器インターフェース１０６は、ハードディスクドライブ（ＨＤＤ）１０９、メディアドライブ１１０などの外部装置をコンピュータシステム１００に接続するための装置である。外部機器インターフェース１０６は、例えば、ＩＤＥ（Integrated Drive Electronics）やＳＣＳＩ（Small Computer System Interface）などのインターフェース規格に準拠する。
【００３７】
ＨＤＤ１０９は、周知の通り記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェアプログラムを実行可能な状態でＨＤＤ１０９上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１０９には、ＣＰＵ１０１が実行すべきオペレーティングシステムのプログラムコードや、アプリケーションプログラム、デバイスドライバなどが不揮発的に格納されている。
例えば、ＣＰＵ１０１で実行する各機能のためのアプリケーションプログラムがＨＤＤ１０９に格納される。またデータ保存サーバ３の場合、特徴データＤＢ４３がＨＤＤ１０９上に構築される。
【００３８】
メディアドライブ１１０は、ＣＤ（Compact Disc）やＭＯ（Magneto-Optical disc）、ＤＶＤ（Digital Versatile Disc）などの可搬型メディア１２０を装填して、データ記録面にアクセスするための装置である。可搬型メディア１２０は、主として、ソフトウェアプログラムやデータファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（販売・流通・配布を含む）する目的で使用される。
例えば、図５で説明する各機能を実現するアプリケーションなどを、これら可搬型メディア１２０を利用して流通・配布することができる。
【００３９】
例えばこのようなコンピュータシステム１００を用いて構築されるデータ保存サーバ３や検索処理装置４の機能構成を図５（ａ）（ｂ）に示す。
図５（ａ）に示すように、データ保存サーバ３としては、コンピュータシステム１００で特徴データ登録機能４１、特徴データ提供機能４２、及び特徴データＤＢ（特徴データデータベース）４３が設けられる。
【００４０】
特徴データＤＢ４３は、多数の撮像装置１から随時送信されてくる特徴データユニットを全て格納するデータベースである。図６に特徴データＤＢ４３に特徴データユニットが格納される様子を示している。
各特徴データユニットは、図３（ａ）（ｂ）に示したように、カメラＩＤ、日時情報、特徴データ、及び図３（ａ）の場合は画像データを含むものであり、これらの情報を含む特徴データユニットが全て格納される。
なお実際のデータベース管理構造として、各特徴データユニットが、カメラＩＤ毎及び日時情報順に管理されることが適切である。
【００４１】
特徴データ登録機能４１は、主に通信部１０３，ＣＰＵ１０１、メモリ１０２、外部機器インターフェース１０６、ＨＤＤ１０９の動作により実現される機能であり、多数の撮像装置１からそれぞれ随時送信されてくる特徴データユニットを受信し、デコードし、その特徴データユニットの情報内容を図６のように特徴データＤＢ４３に登録していく機能である。
【００４２】
特徴データ提供機能４１は、主に通信部１０３，ＣＰＵ１０１、メモリ１０２、外部機器インターフェース１０６、ＨＤＤ１０９の動作により実現される機能であり、検索処理装置４からのデータ要求に応じて、要求に該当する特徴データユニットを特徴データＤＢ４３から抽出し、その抽出した特徴データユニットを検索処理装置４に送信する機能である。
【００４３】
検索処理装置４としては図５（ｂ）のように条件入力機能３１、特徴データ取得機能３２、分類・抽出機能３３、表示処理機能３４、画像要求機能３５、捜索要求機能３６が設けられる。
【００４４】
条件入力機能３１は、主にキーボード１０７，マウス１０８、入力機器インターフェース１０５、ディスプレイコントローラ１０４、表示装置１１２、ＣＰＵ１０１、メモリ１０２の動作により実現される機能であり、検索処理のためのオペレータの条件入力を受け付ける機能である。条件入力としては、それぞれ異なる場所に設置されている複数の撮像装置１（カメラＩＤ）と時間帯（日時）を指定する入力や、絞り込みのための条件入力がある。ＣＰＵ１０１は、表示装置１１２に条件入力画面を表示させるとともに、画面に応じてオペレータがキーボード１０７やマウス１０８を用いて行う入力情報を受け付ける。
【００４５】
特徴データ取得機能３２は、主にＣＰＵ１０１、メモリ１０２、通信部１０３、外部機器インターフェース１０６、ＨＤＤ１０９の動作により実現される機能であり、データ保存サーバ３に特徴データユニットを要求し、特徴データユニットを取得する機能である。
ＣＰＵ１０１は、条件入力機能３１で受け付けた条件（カメラＩＤと日時）を示したデータ要求を、通信部１０３からデータ保存サーバ３に送信する。そしてそれに対してデータ保存サーバ３から送信されてくる特徴データユニットを受信させ、例えばＨＤＤ１０９もしくはメモリ１０２に取り込む。
即ち特徴データ取得機能３２は、特徴データＤＢ４３から、上記条件入力機能３１の処理で指定された各撮像装置と時刻に該当する特徴データユニットを取得する機能である。
【００４６】
分類・抽出機能３３は、主にＣＰＵ１０１、メモリ１０２、外部機器インターフェース１０６、ＨＤＤ１０９の動作により実現される機能であり、特徴データ取得機能３２でデータ保存サーバ３から取得した複数の特徴データユニットについて、その特徴データの異同により分類し、同一又は類似の特徴データを有する複数の特徴データユニットを特徴データグループとして抽出する機能である。
即ちＣＰＵ１０１は取得した多数の特徴データユニットの特徴データを比較し、異なる撮像装置１で共通（同一又は類似）の特徴データを有する特徴データユニットが存在するか否かを判別する。そして存在すれば、異なる撮像装置１での特徴データユニットを特徴データグループとしてグループ化する処理を行う。
分類・抽出処理による分類結果やグループ化の結果情報は、メモリ１０２又はＨＤＤ１０９に保持する。
【００４７】
表示処理機能３４は、主にディスプレイコントローラ１０４、表示装置１１２、ＣＰＵ１０１、メモリ１０２、キーボード１０７，マウス１０８、入力機器インターフェース１０５の動作により実現される機能であり、分類・抽出機能３３での処理の結果として抽出された特徴データグループの情報を表示出力する機能である。
ＣＰＵ１０１は、グループ化された特徴データグループとして、検索条件に該当する特徴データグループに含まれる特徴データユニットの情報を表示データとしてディスプレイコントローラ１０４に与え、表示装置１１２においてリスト表示や詳細表示を実行させる。表示の際には、画面上の操作ボタンやアイコンなどを指定する操作入力に応じて、表示内容を切り換える。
【００４８】
画像要求機能３５は、主にＣＰＵ１０１、メモリ１０２、通信部１０３、ＨＤＤ、１０９、外部機器インターフェース１０６、ディスプレイコントローラ１０４、表示装置１１２、キーボード１０７，マウス１０８、入力機器インターフェース１０５の動作により実現される機能であり、検索結果として表示された特徴データグループの特徴データユニットについての、実際に撮像された画像データを撮像装置１に要求する機能である。
例えば特徴データユニットが表示されているときに、その特徴データユニットに対応する画像の表示を要求する操作が行われた場合に、ＣＰＵ１０１は、その特徴データユニットを生成した撮像装置１に対して、通信部１０３から画像要求を送信させる。そして画像要求に応じて撮像装置１から送信されてきた画像データを通信部１０３で受信し、例えばＨＤＤ１０９に記憶した後、使用者の操作に応じて表示再生させる。
【００４９】
捜索要求機能３６は、主にＣＰＵ１０１、メモリ１０２、通信部１０３、ＨＤＤ、１０９、外部機器インターフェース１０６、ディスプレイコントローラ１０４、表示装置１１２、キーボード１０７，マウス１０８、入力機器インターフェース１０５の動作により実現される機能であり、検索結果として表示されている特徴データユニット（特徴データグループ）についての特徴データを、全ての撮像装置１に送信し（必ずしも全ての撮像装置１である必要はないが）、特徴データに該当する人物の捜索処理を要求する機能である。
また捜索要求に対応した撮像装置１側の処理により通知される通知情報の受信及び表示出力を行う。
【００５０】
４．特徴データの保存
以下、本例の検索システムの動作を説明していく。
まず撮像装置１で生成される特徴データユニットをデータ保存サーバ３が特徴データＤＢ４３に登録するまでの動作を図７で説明する。
図７においてステップＦ１０１〜Ｆ１１０は撮像装置１の処理を示している。
【００５１】
撮像装置１は、所定の場所に設置されて起動された後は、常時撮像動作を行うものとする。ステップＦ１０１は、撮像装置１が動作を開始する際の処理であり、コントローラ２１がカメラ部１０、記録再生処理部２３、ＨＤＤ２４に動作開始を指示することで、以降、カメラ部１０で撮像動作が行われ、撮像された画像データがＨＤＤ２４に記録されていくことになる。
【００５２】
撮像開始後は、撮像装置１はステップＦ１０２以降の処理を行う。
ステップＦ１０２では、画像解析部２５で画像解析が行われる。即ちカメラ部１０で撮像された画像データに対して画像解析部２５では人物の画像の抽出処理を行う。
画像解析処理において、もし、画像データに人物が含まれていないと判断されれば、ステップＦ１０３からＦ１０２に戻って、次の画像データに対する解析処理にうつる。
なお、画像解析部２５は、カメラ部１０で動画撮像された全てのフレームの画像データについて解析処理を行っても良いが、画像解析部２５の処理能力や処理時間を考慮して、例えば所定フレーム間隔毎に１フレームの画像データを取り出して解析処理を行うようにしてもよい。また一旦ＨＤＤ２４に記録した画像データを読み出して画像解析部２５に供給し、画像解析部２５で画像解析を行うようにする場合もある。
【００５３】
或るフレームの画像データにおいて人物の画像が含まれていたら、ステップＦ１０３からＦ１０４に進み、画像解析部２５は、その人物の画像部分を解析して、その人物の特徴を示す特徴データを生成する。例えば顔の特徴を数値化したり、衣服の色のデータを生成したり、身長の推定値を算出する。そして生成した特徴データを送信データ生成部２６に転送する。なお、図３（ａ）のように特徴データユニットに画像データを含ませる場合は、解析対象とした画像データも、送信データ生成部２６に転送する。
また、センサ１１及びセンス信号処理部２９が設けられている場合は、その際にセンス信号処理部２９で得られた特徴データ、例えば体重値なども送信データ生成部２６に供給される。
【００５４】
ステップＦ１０５では、送信データ生成部２６で図３（ａ）又は（ｂ）のような特徴データユニットが生成される。このためコントローラ２１は時計部２８で計時されている日時情報や、カメラＩＤを送信データ生成部２６に与える。
送信データ生成部２６は、供給されるカメラＩＤ、日時情報、特徴データ、（及び画像データ）を用いて図３（ａ）又は（ｂ）の特徴データユニットを生成する。
生成された特徴データユニットはステップＦ１０６で通信部２７からデータ保存サーバ３に送信される。
【００５５】
ステップＦ１０７ではコントローラ２１は捜索対象の設定の有無を確認する。このステップＦ１０７〜Ｆ１１０及び検索処理装置４の処理（Ｆ３０１，Ｆ３０２）については後述することとする。
捜索対象の設定がない場合は、ステップＦ１０７からステップＦ１０２に戻り、以上のステップＦ１０２〜Ｆ１０６までの処理を繰り返すことになる。
そしてこの処理により、撮像装置１では、撮像した画像データに人物が写し出されている場合には、その人物の特徴データを含む特徴データユニットをデータ保存サーバ３に送信することになる。
【００５６】
データ保存サーバ３の処理をステップＦ２０１，Ｆ２０２として示す。
撮像装置１がステップＦ１０６の送信処理で、特徴データユニットをデータ保存サーバ３に送信した場合、データ保存サーバ３ではその特徴データユニットの受信処理を行うことになる。データ保存サーバ３のＣＰＵ１０１は、受信処理によりステップＦ２０１で特徴データユニットの受信を確認したら、ステップＦ２０２に進み、受信した特徴データユニットを特徴データＤＢ４３に登録する処理を行う。
以上の動作により、図６に示したような特徴データＤＢ４３に１つの特徴データユニットが追加登録されていくことになる。
【００５７】
５．特徴データによる人物検索
上記のようにしてデータ保存サーバ３の特徴データＤＢ４３には、各地に設置された撮像装置１で撮像された人物についての特徴データユニットが蓄積されていく。
検索処理装置４は、この特徴データＤＢ４３を用いて人物検索を行うことができる。この場合の検索とは、オペレータが複数の撮像装置１、つまり撮像装置１の設置場所としての複数の地点と、各撮像装置１での時刻（時間帯）を検索条件として指定することで、その複数の地点に存在した被写体としての人物を抽出するという検索である。例えばＡ地点からＢ地点に移動した人物として未知の人物を抽出するような検索である。
このような検索は、例えば或る事件の犯人の逃走経路がわかっている場合に、容疑者の可能性のある人物の割り出しなどに好適となる。
図８〜図１８を用いて人物検索の動作を説明する。
【００５８】
図８では検索処理装置４の処理をステップＦ４０１〜Ｆ４０６で、データ保存サーバ３の処理をステップＦ５０１〜Ｆ５０３で示している。
検索処理装置４のオペレータはステップＦ４０１で検索のための条件入力を行う。検索処理装置４は条件入力機能３１によりオペレータの条件入力を受け付ける。この場合、検索条件として、複数の撮像装置１と時刻を指定する。
以下、例を挙げて説明していく。
図１２に、或る街の地図と、その街に設置されている撮像装置１を示す。路上の各場所や交差点などの各地点に撮像装置１が配置されており、それらの撮像装置１は、それぞれカメラＩＤとして「ＩＤ００１」〜「ＩＤ００８」が設定されているとする。
【００５９】
ここで、図中の◎の地点で或る事件が発生し、警察がその事件の捜査を行っているとする。そして、聞き込みによる不審者の目撃証言の収集や証拠物件の発見などの捜査状況から、犯人は事件発生現場から破線で示す経路で○○駅方面に逃走したと推定された状況を想定する。
すると犯人が「ＩＤ００５」「ＩＤ００２」「ＩＤ００８」の各撮像装置１に撮像されていることが推定される。
また事件発生日時が２００６年１月５日の１０時前後であったとし、その場合、「ＩＤ００５」の撮像装置１では１０時前後、「ＩＤ００２」の撮像装置１では１０時１５分前後、「ＩＤ００８」の撮像装置１では１０時２０分前後に、犯人が撮像されていると推定されたとする。
このような場合、検索処理装置４を使用するオペレータは、条件入力として「ＩＤ００５」「ＩＤ００２」「ＩＤ００８」の各撮像装置１を指定する。なお、カメラＩＤと設置場所を対応させたテーブルをメモリ１０２又はＨＤＤ１０９に記憶させておき、オペレータが場所の名称で撮像装置１を指定できるようにしたり、図１２のような撮像装置１の設置位置を示した地図画像を表示させて、オペレータが地図画像上で撮像装置１を指定できるようにすると使用上便利である。
また撮像装置１の指定と共に時刻も指定する。例えば「ＩＤ００５」の撮像装置１については「２００６年１月５日の１０時前後」と条件入力し、「ＩＤ００２」の撮像装置１については「２００６年１月５日の１０時１５分前後」と条件入力し、「ＩＤ００８」の撮像装置１については「２００６年１月５日の１０時２０分前後」と条件入力する。
もちろん時刻の入力方式は多様に考えられ、例えば「１０時前後」という以外に、「９時５０分〜１０時１０分」というように時間帯で入力できるようにしても良い。また事件等の時間が特定できない場合は、日にち単位で指定したり、１月４日〜１月６日のように複数の日を指定する場合も想定される。さらに条件入力は撮像装置１の指定のみとし、日時については指定しないこともあり得る。
また詳細な時刻は指定せずに、各撮像装置１の時間的な順序を指定するという条件入力も考えられる。例えば「２００６年１月５日」等の日付のみを指定したうえで、「ＩＤ００５」「ＩＤ００２」「ＩＤ００８」としての各撮像装置１の時間的な順番のみを指定する。
また、公知の通り一般に検索の条件としてはＡＮＤ条件、ＯＲ条件などがあるが、図１２のような推定逃走経路の犯人を捜すという目的の場合は、上記のように指定した３つの撮像装置１についてのＡＮＤ条件を指定することになる。
【００６０】
検索処理装置４は、ステップＦ４０１で以上のようなオペレータの条件入力を受け付けたら、ステップＦ４０２で特徴データ取得機能３２により、その条件入力に基づいてデータ保存サーバ３に対してデータ要求を行う。
例えば「ＩＤ００５：２００６年１月５日の１０時前後」「ＩＤ００２：２００６年１月５日の１０時１５分前後」「ＩＤ００８：２００６年１月５日の１０時２０分前後」という各条件を示したデータ要求をデータ保存サーバ３に送信する。
【００６１】
データ保存サーバ３では、特徴データ提供機能４２により、このようなデータ要求に対応してステップＦ５０１〜Ｆ５０３の処理を行う。
即ちデータ要求を受信したら処理をステップＦ５０１からＦ５０２に進め、特徴データＤＢ４３から、条件に該当する特徴データユニットを全て抽出する。そしてステップＦ５０３で、読み出した特徴データユニットを検索処理装置４に送信する。
検索処理装置４では特徴データ取得機能３２により、データ保存サーバ３から送信されてくる特徴データユニットを受信し、ＨＤＤ１０９又はメモリ１０２に格納する。
そして特徴データ取得機能３２による特徴データユニットの取得が完了したら、ステップＦ４０３からＦ４０４に進む。
【００６２】
この時点で検索処理装置４は、特徴データＤＢ４３から図１３のような各特徴データユニットを取得したことになる。
即ち図示するように、「ＩＤ００５」の撮像装置１で２００６年１月５日の１０時前後に撮像された画像データから生成された多数の特徴データユニットと、「ＩＤ００２」の撮像装置１で同日１０時１５分前後に撮像された画像データから生成された多数の特徴データユニットと、「ＩＤ００８」の撮像装置１で同日１０時２０分前後に撮像された画像データから生成された多数の特徴データユニットとが、取得できたことになる。
【００６３】
なお図１３に示す各特徴データユニットとしては、それぞれ「ＩＤ００５」等のカメラＩＤと、「０６／０１／０５  ０９：５５：２１」等の年月日時分秒の日時情報と、「Ｘ１」等で示す特徴データ、及び画像データＶＤが含まれている。但し、特徴データユニットが図３（ｂ）の構成の場合、画像データＶＤが含まれないことはいうまでもない。
各特徴データユニットにおける特徴データは、説明の便宜上、「Ｘ１」「Ｙ１」「Ｚ１」・・・のようにアルファベットと数字の組み合わせの記号で示している。ここで、アルファベットが異なる特徴データは、同一又は類似ではないと判断されるものとする。一方同一の特徴データは「Ｙ１」と「Ｙ１」のように示し、類似の特徴データは「Ｙ１」と「Ｙ２」のように示す。即ち同一又は類似と判断される特徴データは、同じアルファベット記号で示すものとする。
例えば図１３で「ＩＤ００５」の撮像装置についての特徴データユニットとして４つの特徴データユニットを例示しているが、これらに含まれる特徴データ「Ｘ１」「Ｙ１」「Ｚ１」「Ｗ１」は、それぞれ異なる人物の特徴データであると判断されるものである。
【００６４】
続いて検索処理装置４では分類・抽出機能３３により、ステップＦ４０４，Ｆ４０５の処理が行われる。これは図１３のように取得した多数の特徴データユニットの特徴データを比較し、同一、類似、或いは非類似を判断し、分類してグループ化する処理である。例えば同一とは、特徴データのデータ値が同一であって同一人物についてのものと考えて間違いない特徴データ、類似とは、特徴データのデータ値が互いに近い値であって同一人物の可能性がある特徴データである。
なお、実際の特徴データの例や類似判断の手法例については後述する。
【００６５】
図１３のように取得した特徴データユニットとして、「ＩＤ００５」の撮像装置１について８個の特徴データユニットがあったとする。そして各特徴データユニットにおける特徴データの内容は図１４（ａ）に示すように、「Ｘ１」「Ｙ１」「Ｚ１」「Ｗ１」「Ｘ２」「Ｑ１」「Ｒ１」「Ｐ１」であったとする。
また「ＩＤ００２」の撮像装置１について１０個の特徴データユニットが取得され、それぞれの特徴データの内容は図１４（ｂ）に示すように、「Ｖ１」「Ｑ２」「Ｓ１」「Ｒ２」「Ｗ２」「Ｗ３」「Ｘ３」「Ｐ１」「Ｑ１」「Ｙ２」であったとする。
また「ＩＤ００８」の撮像装置１について１２個の特徴データユニットが取得され、それぞれの特徴データの内容は図１４（ｃ）に示すように、「Ｕ１」「Ｙ１」「Ｓ２」「Ｖ１」「Ｚ２」「Ｓ１」「Ｕ２」「Ｌ１」「Ｍ１」「Ｎ１」「Ｐ１」「Ｓ３」であったとする。
【００６６】
これらは特徴データ同志の比較によって類似判断が行われた結果である。
例えば図１４（ａ）の場合は、各特徴データとして「Ｘ１」「Ｘ２」として類似のものがあったが、他は非類似と判断された結果である。つまり、ＩＤ００５の撮像装置１では、該当の時間帯で少なくとも７人が撮像されている。「Ｘ１」「Ｘ２」の特徴データを生成した際に被写体となっていた人物が同一人物であれば７人、偶然よく似た特徴を持つ異なる人物であったとしたら８人である。
【００６７】
このように各特徴データユニットの特徴データを比較して類似判断を行ったら、次に各撮像装置１で共通の特徴データを集めてグループ化を行う。
図１５にグループ化の結果を示す。
例えば特徴Ｙとして共通の特徴データを有する３つの特徴データユニットが、特徴データグループとしてまとめられる。即ち「ＩＤ００５」の撮像装置１で９時５９分５９秒の画像データから生成された特徴データＹ１の特徴データユニットと、「ＩＤ００２」の撮像装置１で１０時１９分３０秒の画像データから生成された特徴データＹ２の特徴データユニットと、「ＩＤ００８」の撮像装置１で１０時２４分１５秒の画像データから生成された特徴データＹ１の特徴データユニットがグループ化される。
同様に、特徴Ｐとして共通の特徴データを有する３つの特徴データユニットが、特徴データグループとしてまとめられる。
さらに同様に、特徴Ｘ、特徴Ｚ、特徴Ｑ・・・としてそれぞれ共通の特徴データを有する特徴データユニットがグループ化される。
【００６８】
ステップＦ４０５では図１５のようにグループ化された特徴データグループから、検索の目的に該当する特徴データグループを抽出する。
上記図１２のように逃走経路が推定される人物の検索が目的である場合、上記のように「ＩＤ００５」「ＩＤ００２」「ＩＤ００８」の３つの撮像装置１で撮像された人物を探すものであるため、３つの撮像装置１についてＡＮＤ条件に該当する特徴データグループを抽出することになる。
図１５のようにグループ化された場合、特徴Ｙ、特徴Ｐの特徴データグループが、ＡＮＤ条件に該当するため、これらが検索結果として抽出されることになる。
なお、ここでは図１２の逃走経路を移動した人物の検索を例にしているため、ＡＮＤ条件となるが、これは検索目的に応じて変更できることはいうまでもない。また、例えば図１２の逃走経路を移動した人物が、必ずしも３つの撮像装置１に撮像されているとは限らないため、ＡＮＤ条件を緩和し、特徴Ｘ、特徴Ｚの特徴データグループのように全ての撮像装置１に該当しなくても、候補として抽出するようにしても良い。
【００６９】
そして検索処理装置４は表示処理機能３４により、ステップＦ４０６で、検索結果の表示処理を行う。
検索結果の表示処理例は多様に考えられるが、一例を図９で説明する。図９は図８のステップＦ４０６の処理を詳しく示したものである。表示処理は検索処理装置４のＣＰＵ１０１がディスプレイコントローラ１０４を制御して表示装置１１２で実行させる。
検索処理装置４はステップＦ６０１で、まず検索結果として抽出した特徴データグループのリストを表示する。図１６に検索結果リスト６０の表示例を示している。
例えば検索結果リスト６０の表示内容としては、検索結果としてリストアップされた１又は複数の特徴データグループのリスト表示６１、各特徴データグループについての選択のためのチェックボックス６２、詳細表示指示ボタン６３、絞り込みボタン６４、終了ボタン１５などとする。
【００７０】
検索処理装置４を使用しているオペレータは、この検索結果リスト６０を見ることで、例えば逃走犯人に該当する人物の候補となる１又は複数の人物が検索されたことを知ることができる。
オペレータは、この検索結果リスト６０の表示から、リストアップされた各特徴データグループの詳細表示を求めたり、絞り込み検索を求めたり、或いは表示を終了させる操作を行うことができる。
検索処理装置４のＣＰＵ１０１は、キーボード１０７又はマウス１０８を用いたオペレータの操作として、選択操作、絞り込み操作、終了操作を、それぞれステップＦ６０２，Ｆ６０３，Ｆ６０４で監視する。
【００７１】
終了ボタン１５がクリックされた場合は、ＣＰＵ１０１はステップＦ６０４から表示処理を終了させる。
絞り込みボタン６４がクリックされた場合は、ＣＰＵ１０１は処理をステップＦ６０３からＦ６１１に進める。例えばリストアップされた特徴データグループが非常に多数となった場合など、オペレータはこの操作で絞り込みを行うことができる。
ステップＦ６１１では条件入力機能３１により絞り込み条件の入力を受け付ける。例えば不審者の目撃証言などで、犯人と思われる人物が赤い服を着ていたことがわかっている場合、特徴データとして赤い服装という条件を入力できる。
条件入力が行われたら、処理はステップＦ６１２に進み、入力された条件に応じて、分類・抽出機能３３により特徴データグループの絞り込みが行われる。そしてステップＦ６０１に戻り、絞り込みにより抽出された特徴データグループがリスト表示される。
【００７２】
次にリストアップされた特徴データグループについての詳細表示を実行する場合について述べる。
オペレータがチェックボックス６２の１つをチェックする操作を行って詳細ボタン６３をクリックすること、或いはリストアップされている特徴データグループ自体をクリックもしくはダブルクリックすることなど、或る特徴データグループを選択して詳細表示を求める所定の操作を行なった場合、検索処理装置４（ＣＰＵ１０１）はステップＦ６０２からＦ６０５に処理を進め、リストから選択された特徴データグループの詳細表示を実行させる。
図１７（ａ）（ｂ）に詳細表示例を示す。なお図１７（ａ）は図３（ａ）のように特徴データユニットに画像データが含まれている場合の詳細表示例、図１７（ｂ）は図３（ｂ）のように特徴データユニットに画像データが含まれていない場合の詳細表示例である。
【００７３】
選択された特徴データグループが、図１５の特徴Ｙの特徴データグループであったとする。この特徴データグループの詳細表示では、図１７（ａ）（ｂ）に示すように、特徴Ｙの特徴データグループに含まれる３つの特徴データユニットの内容を表示させる。
画面上の詳細表示７０としては、特徴データユニット内容７１として３つの特徴データユニットの内容が表示される。即ち、カメラＩＤ及びそのカメラＩＤの設置場所、撮像時刻、特徴データの内容が表示される。また特徴データユニットに含まれている画像データの画像７６も表示される。特徴データユニットの構造が図３（ｂ）の場合は、図１７（ｂ）に示すように各特徴データユニットについての画像は表示されない。
また各特徴データユニットについての画像ボタン７２が表示される。
また、他の特徴データグループの詳細表示に移行させる「前」及び「次」の表示送りボタン７３や、図１６の検索結果リスト６０の表示に戻るリストボタン７４、さらに捜索ボタン７５が表示される。
【００７４】
この図１７（ａ）又は図１７（ｂ）のように詳細表示が行われることで、オペレータは、図１２の破線の経路で移動した人物の一人の詳細な情報を見ることができる。図１７（ａ）の場合は、撮像された人物の画像についても確認できる。
オペレータは、この画面に対するクリック操作として、表示送りボタン７３、リストボタン７４、捜索ボタン７５、画像ボタン７２を操作することができる。検索処理装置４のＣＰＵ１０１は、ステップＦ６０６，Ｆ６０７，Ｆ６０８，Ｆ６０９で、これらのボタンのクリック操作を監視する。
【００７５】
表示送りボタン７３が操作された場合は、ステップＦ６０６からＦ６１０に進み、特徴データグループの選択変更として、リスト上の前又は後の特徴データグループの選択に切り換え、ステップＦ６０５で新たに選択された特徴データグループの詳細表示を行う。例えばＣＰＵ１０１は特徴Ｙの特徴データグループの詳細表示の際に「次」の表示送りボタン７３が操作されたら、特徴Ｐの特徴データグループの詳細表示に切り換える制御を行う。
リストボタン７４が操作された場合は、ステップＦ６０７からＦ６０１に戻り、ＣＰＵ１０１は図１６のような検索結果リスト６０の表示に戻すように制御する。
【００７６】
図１７（ｂ）のような詳細表示７０を見た場合、オペレータは、表示されている特徴データユニットに関して実際に撮像された画像を見ることができる。また図１７（ａ）のように画像７６が表示されている場合も、実際に撮像されたより詳細な画像を見ることができる。
特徴データユニットに関して撮像された画像を見たい場合、オペレータはその特徴データユニットについての画像ボタン７２をクリックすればよい。
この場合検索処理装置４のＣＰＵ１０１は、画像要求の操作が行われたとして、ステップＦ６０１から図１０のステップＦ６１３に進み画像要求機能３５による処理を実行する。即ちＣＰＵ１０１はステップＦ６１３で、画像要求操作が特徴データユニットに対応して、特定の撮像装置１に対する画像要求を送信することになる。
例えばユーザーがカメラＩＤ「ＩＤ００５」の特徴データユニットに関して画像ボタン７２をクリックした場合、ＣＰＵ１０１は、「ＩＤ００５」の撮像装置１に対して画像要求を、通信部１０３から送信する処理を行うことになる。
またその画像要求には、送信元の検索処理装置４の識別情報や、当該特徴データユニットの日時情報、例えば「２００６年１月５日  ９時５９分５９秒１５フレーム」等の日時情報を含むものとする。或いは、この日時情報の前後の時間帯を指定しても良い。例えば「２００６年１月５日  ９時５５分〜１０時０５分」のような時間帯を示す情報としてもよい。
【００７７】
例えば「ＩＤ００５」の撮像装置１は、検索処理装置４からの画像要求が受信されたら、処理をステップＦ７０１からＦ７０２に進め、指定された日時の画像データをＨＤＤ２４から読み出して、検索処理装置４に送信する処理を行う。
即ち撮像装置１のコントローラ２１は、画像要求に含まれている日時情報を確認し、その日時情報に該当する画像を、ＨＤＤ２４及び記録再生処理部２３で再生させる。そして再生された画像データについて、送信データ生成部２６で所定の送信用のエンコード処理を実行させ、通信部２７から検索処理装置４に送信させる。
この場合、ＨＤＤ２４から再生させる画像データとしては、多様に考えられる。画像要求に含まれている日時情報が、或る時刻であれば、その前後の時間帯として例えば±５分などと自動的に判断して、その１０分間の動画として画像データを再生させ、検索処理装置４に送信しても良いし、例えばその時刻の１フレームの静止画像、或いはその時刻の前後で抽出した複数フレームの静止画像を再生させて、検索処理装置４に送信しても良い。
また画像要求に含まれている日時情報として時間帯が指定されていれば、その時間帯での動画として画像データを再生させ、検索処理装置４に送信しても良いし、例えばその時間帯に含まれる複数フレームの静止画像を抽出して、それを検索処理装置４に送信しても良い。
【００７８】
検索処理装置４側ではステップＦ６１４で、このように撮像装置１から送信されてくる画像データを取り込む。例えばＣＰＵ１０１は、受信される画像データをＨＤＤ１０９或いはメモリ１０２に記憶させていく。
そして検索処理装置４は、撮像装置１から送信されてきた画像データの取り込みを完了したらステップＦ６１５で画像再生処理を行う。
例えば図１８のような再生画面８０を表示させる。例えば所定の時間帯の動画としての画像データが送信されてくるものとした場合、再生画面８０は、図１８のように画像８１、再生／一時停止ボタン８２、サーチボタン８３、プログレスバー８４、停止ボタン８５などを表示させ、オペレータの操作に基づいて画像８１として当該時間帯の撮像画像が再生されるようにする。
例えばオペレータは、再生／一時停止ボタン８２をクリックすることで、該当の時間帯に例えば「ＩＤ００５」の撮像装置１で撮像された画像を見ることができる。即ち、今回の画像要求に係る特徴データユニットが生成された際の、実際の撮像画像を確認することができる。これによって特徴データユニットにおける特徴データに対応する人物の容貌や、更には挙動までを実際に見ることができる。
【００７９】
オペレータが終了ボタン８５をクリックした場合は、ＣＰＵ１０１は処理を図１０のステップＦ６１６から図９のステップＦ６０５に進め、図１７（ａ）又は（ｂ）の元の詳細表示７０に戻す。
詳細表示７０では、各特徴データユニットに対して画像ボタン７２が用意されているため、それぞれの画像ボタン７２をクリックすることで、上記図１０の処理が行われ、それぞれ特徴データユニットがそれぞれの撮像装置１で生成された際の実際の画像を見ることができる。
【００８０】
ところで図１７に示すように、画面上では特徴データグループに対して捜索ボタン７５が用意されている。なお、図１６のリスト６０において各特徴データグループに対して捜索ボタンが用意されても良い。
本例の検索システムでは、この捜索ボタン７５の操作により、例えば容疑者などの現在の居場所を捜索する処理が実行可能とされている。
例えば上記のように検索結果としての特徴データグループの詳細や撮像された画像を見たオペレータ（警察スタッフ等）が、或る特徴データグループとして検索された人物を容疑者或いは参考人として考え、その人物を探し出したいと考えたとする。
そのような場合などで、特徴データグループの人物を、各地に配置されている撮像装置１で捜索したいときは、特徴データグループに対して設けられている捜索ボタン７５を操作すればよい。
【００８１】
オペレータが捜索ボタン７５をクリックした場合、検索処理装置４のＣＰＵ１０１は処理を図９のステップＦ６０８から図１１のステップＦ６１７に進め、捜索要求機能３６による処理を実行する。
ステップＦ６１７では、ＣＰＵ１０１は捜索要求操作の対象となった特徴データグループについての特徴データを含む捜索要求データを生成する。特徴データグループに含まれる各特徴データユニットが、それぞれ同一の特徴データを有するものであれば、その特徴データを含めばよいし、類似の特徴データを有するのであれば、その特徴データとしての数値に或る程度の幅を持たせればよい。
捜索要求データは、現時点以降、特徴データに該当する人物の捜索を各撮像装置１に求めるものであるため、捜索要求データに含まれる特徴データについては、捜索に適した特徴データ内容とする。つまり時間を経過しても変化しない特徴データが好ましく、例えば顔の特徴データとする。一方衣服の色などは、捜索対象の人物がいつも同じ服を着ているわけではないので、捜索要求データに含む特徴データからは除外することが好ましい。
【００８２】
捜索要求データを生成したら、ＣＰＵ１０１はステップＦ６１８で、通信部１０３から各撮像装置１に対して捜索要求データを送信させる。
送信先としての撮像装置１は、検索システム上の全ての撮像装置１とする。但し、例えばオペレータが送信先を選択できるようにして、特定の地域に配置された１又は複数の撮像装置１を送信先としてもよい。
捜索要求データを送信したら、処理は図９のステップＦ６０５に戻る。
【００８３】
各撮像装置１側では、捜索要求データを受信したらコントローラ２１は処理をステップＦ８０１からＦ８０２に進め、その捜索要求データに含まれている特徴データを、捜索対象として設定する。例えばメモリ２２に捜索対象設定としての特徴データの登録領域を設け、その登録領域に特徴データを登録しておく。
【００８４】
このような捜索対象の設定が行われた後は、各撮像装置１は、通常動作時において図７のステップＦ１０８〜Ｆ１１０の処理が行われることになる。
即ち撮像装置１では、上述したように撮像を行いながら撮像された画像データについて特徴データを生成し、特徴データユニットをデータ保存サーバ３に送る動作を繰り返しているわけだが、捜索対象の設定が行われている場合は、コントローラ２１は処理をステップＦ１０７からＦ１０８に進める。そして、ステップＦ１０４で生成した特徴データを、捜索対象設定された特徴データと比較する処理を行い、特徴データの内容が同一／類似か、或いは非類似かの判断を行う。
非類似であれば、ステップＦ１０９からＦ１０２に戻るが、同一又は類似と判断した場合は、ステップＦ１１０で通知処理を行う。即ちコントローラ２１は、送信データ生成部２６に、捜索対象とされた１つの特徴データについて、共通の特徴データの人物が撮像されたことの通知情報を生成させる。この通知情報の内容は、例えば図３のような特徴データユニットと同様にカメラＩＤ、日時情報、特徴データ内容、画像データなどを含む情報とすればよい。そしてコントローラ２１は、この通知情報を通信部２７から検索処理装置４に送信させる。
検索処理装置４のＣＰＵ１０１は、通知情報を受信することに応じて、処理をステップＦ３０１からＦ３０２に進め、通知情報の内容を表示装置１１２に表示させる。例えばカメラＩＤから判別できる撮像場所や、撮像画像、特徴データ内容、日時を表示させる。
【００８５】
このような動作が行われることで、捜索対象となった人物が、或る撮像装置１で撮像されたときに、検索処理装置４側で、それを知ることができる。つまり容疑者や参考人等の行方がわからない場合などに、現在の居場所を捜索でき、通知情報の内容を確認して、該当の人物であったら、その撮像装置１の近辺に捜査官を派遣するなどの対応をとることができる。
【００８６】
なお、図１１の処理で各撮像装置１に捜索要求対象として設定させた特徴データグループの内容については、検索処理装置４側で捜索中のリストなどとして一覧表示できるようにするとともに、事件解決などで捜索が不要となったものについては、各撮像装置１に対して設定キャンセルの送信を行うようにすることが適切である。設定キャンセルの情報を受信した撮像装置１側では、該当する特徴データを捜索対象の登録から削除すればよい。
【００８７】
６．特徴データ及びその類似判断
以上のような動作を行う本例の検索システムでは、特徴データに基づいて人物を検索したり、捜索を行う。
特徴データは、人物を識別するためのデータであり、具体的には顔データ、身長データ、体重データ、服装データなどが考えられる。
顔データ、身長データ、服装データは、画像解析部２５で撮像した画像データの解析を行うことで得ることができる。
【００８８】
人物識別のためにもっとも適切なものの１つとして顔データが挙げられる。
顔データの内容は各種考えられるが、一例として顔の構成要素の相対位置情報がある。
例えば図１９に示すように、目の中心と鼻との距離ＥＮと目（目の中心）の間隔の距離Ｅｄの比Ｆａとする。例えばＦａ＝Ｅｄ／ＥＮである。
また目の中心と口との距離ＥＭと目の間隔の距離Ｅｄの比Ｆｂとする。例えばＦｂ＝Ｅｄ／ＥＭである。
顔データとしては、このような値Ｆａ、Ｆｂを採用できる。
このような顔の構成要素の相対位置情報は、個人毎に特有となるとともに、髪型や眼鏡等の装着物などによる、外観上の変化の影響を受けない情報である。さらに加齢によっても変化しないことが知られている。
従って複数の撮像装置１で撮像されている人物が同一人物であるか異なる人物を判断するには適した特徴データとなる。
【００８９】
また顔データと共に身長データ、服装データ、体重データ等を用いることで、同一人物判断の正確性を向上させることができる。
身長データは、撮像された人物の位置と、頭部の上端、又は目の高さ等から計算することができる。撮像装置１が固定設置され、カメラ部１０の撮像方向や被写体に対する距離が一定であることを考えると、身長の推定計算は比較的容易である。例えば駅の改札を通過する人物を撮像するような撮像装置１では、改札装置の高さを基準として予め記憶させておく。そして撮像された画像データにおいて、画像内の改札装置の高さを基準にして計算することで、通過する人物の頭部位置の高さ、即ち身長を算出できる。
【００９０】
服装データは、特に服装の色の情報とすることで、画像データから容易に判断できる。即ち、画像データにおける服装部分のＲ（赤）値、Ｇ（緑）値、Ｂ（青）値としてＲＧＢ信号の飽和度を検出し、色の情報を生成すればよい。
【００９１】
体重データは、画像からは検出できないため、センサ１１として体重計を用いる。例えば駅の改札に設置される撮像装置１の場合、改札装置の床に圧力センサをセンサ１１として組み込んでおくことで、改札を通過した人物、つまり撮像されている人物の体重値を検出できる。
【００９２】
例えば顔データのみ、或いは顔データに身長データ、服装データ、体重データ等を組み合わせて、特徴データを生成することで、人物の識別に適した特徴データとすることができる。
もちろんこれ以外にも特徴データとして用いることのできる情報は多数ある。センサ１１として金属探知機を備えるようにし、その金属反応の情報を特徴データに含めるようにしてもよい。また画像から判断できる情報として、眼鏡の着用の有無、帽子有無、ひげや髪型の特徴などを、人物識別のための補助的な情報として用いても良い。
【００９３】
各撮像装置１で生成される特徴データは、同一人物であっても、必ずしも同一のデータ値となるとは限らない。例えば撮像される角度や時間の経過、計測誤差などにより、多少の変動はある。
そこで、例えば図８のステップＦ４０４、或いは図７のステップＦ１０８などでは、特徴データを比較する際に或る程度の数値幅をもたせ、それ以内なら類似と判断するようにする。即ち同一人物と推定される範囲を設ける。例えば顔データとしての上記Ｆａ、Ｆｂの値や、身長、体重などは、比較する特徴データの間で、例えば±５％の偏差以内であれば、類似とし、同一人物の可能性が高いと判断するようにする。
【００９４】
７．検索における撮像装置の指定例
本例の検索システムの動作として上述した説明では、図１２の破線のような逃走経路が推定されたときに、犯人を撮像した可能性のある撮像装置１として、３つの撮像装置１を指定して検索を行う例を挙げた。つまり個々の撮像装置１を指定して検索を行う例である。ところが、本例の検索システムでは、複数の撮像装置１を個別に特定するように指定する以外にも、検索時の指定手法が考えられる。
【００９５】
図２０は、東京駅構内の各所にカメラＩＤが「Ａ００１」〜「Ａ００５」の撮像装置１が配置されており、また仙台駅構内の各所にカメラＩＤが「Ｂ００１」〜「Ｂ００６」の撮像装置１が配置されている状態を示している。
例えば東京駅から仙台駅に向かった人物をリストアップしたいというような事情がある場合、「東京駅の撮像装置１」としてカメラＩＤ「Ａ＊＊＊」の複数台の撮像装置１と、「仙台駅の撮像装置１」としてカメラＩＤ「Ｂ＊＊＊」の複数台の撮像装置１を指定するような指定方式も考えられる。即ち撮像装置１のグループ単位で指定する方式である。
或る事件の容疑者が１５時に東京駅から新幹線で仙台に向かったとした場合、１５時近辺の東京駅の撮像装置と、約２時間後の１７時近辺の仙台駅の撮像装置を指定して、その場合の特徴データユニットの比較・分類処理を行うことで、該当の人物を抽出することができる。例えば「Ａ００２」と「Ｂ００３」の撮像装置１で撮像された人物、「Ａ００５」と「Ｂ００１」で撮像された人物・・・などとして、東京−仙台間を異動した人物をリストアップしたり、その特徴の詳細や画像を確認できることになる。
また時刻や時間帯については詳細に指定せずに、日付だけとし、時間的な順序として「東京駅の撮像装置１」と、「仙台駅の撮像装置１」を指定することで、該当日に東京から仙台に移動した人物を検索するということも可能である。
【００９６】
また図２１は、Ｃ町、Ｄ市、Ｅ市において各場所に配置されている撮像装置１を示している。Ｃ町には各所にカメラＩＤが「Ｃ００１」〜「Ｃ００４」の撮像装置１が配置され、Ｄ市には各所にカメラＩＤが「Ｄ００１」〜「Ｄ００４」の撮像装置１が配置され、Ｅ市には各所にカメラＩＤが「Ｅ００１」〜「Ｅ００４」の撮像装置１が配置されている。
【００９７】
例えばＣ町内で×で示す場所で或る事件が発生し、犯人が「Ｃ００３」の撮像装置１に撮像されている可能性が高いとする。
この場合に、「Ｃ００３」の撮像装置１と、それ以外のＣ町及びＣ町に隣接するＤ市、Ｅ市における全ての撮像装置１を指定して検索処理を行い、「Ｃ００３」の撮像装置１で撮像されたとともに、それ以外の撮像装置１で撮像された同一人物と推定される人物を抽出する。このときに、「Ｃ００３」の撮像装置１に写った人物と特徴データが共通する同一と思われる人物が「Ｃ００４」「Ｅ００３」で撮像されていたとしたら、その犯人の特徴と共に、破線で示すような逃走経路を推定するようなことも可能となる。
或いは、事件発生時刻の前後に「Ｃ００３」の撮像装置１に写った多数の人物のそれぞれが、どのような経路で移動したかを確認することもできるため、多数の人物の中から容疑者を推定するようなことも可能となる。
このように検索の際に、例えば「Ｃ００３」のような１つの撮像装置１と、その周辺の多数の撮像装置１を指定して、特徴データの比較による人物の分類・抽出も可能である。
【００９８】
さらには、迷子になった幼児が、「Ｄ００２」の撮像装置１で撮像された▲で示す地点９１で保護された場合に、「Ｄ００２」の撮像装置１と、他の全ての撮像装置１を指定して検索を行い、共通する特徴データの人物をリストアップした後、保護した子供に相当する特徴データグループの内容を調べることで、その子供がどのような経路で移動してきたかを確認することなどもできる。
【００９９】
８．撮像装置におけるデータ保存
前述したように撮像装置１では、常時撮像を行って撮像した画像データをＨＤＤ２４に記録しているが、常時撮像データを記録していくことで、ＨＤＤ２４の記録容量の負担が大きい。一方、上述のように警察の捜査に使用する場合を考えると、なるべく高画質の画像データを保存しておき、画像要求があったときに検索処理装置４に高精細な画像データを提供できるようにしておくことが好ましい。
そこで撮像装置１では、撮像時には比較的高精細な画質で画像データをＨＤＤ２４に記録し、或る程度の日時を経過したら、そのデータ量を削減していく処理を行う。
【０１００】
図２２は撮像装置１のコントローラ２１が実行する保存データ量削減処理を示している。コントローラ２１は、例えば１日１回、この処理を行って、所定期間を経過した画像データのデータ量を低減させる。
まずコントローラ２１はステップＦ９０１で、ＨＤＤ２４に記録されている画像データの内から、ｎ日前に記録したデータを読み出す。例えば記録して１週間を経過した画像データについて、データ量削減を行うものとすると、コントローラ２１はステップＦ９０１で７日前に記録した画像データを読み出す。
ステップＦ９０１では、コントローラ２１はｎ日前の２４時間分の画像データのうち、処理単位として所定データ量の読み出しを、ＨＤＤ２４及び記録再生処理部２３に実行させ、読み出した画像データを記録再生処理部２３内のバッファメモリに一時的に格納させる。
そしてステップＦ９０２で、記録再生処理部２３に、取り込んだ画像データのデータサイズ低減処理を実行させる。例えば読み出した画像データについて、より高い圧縮率で再圧縮処理を実行させる。
ステップＦ９０３では、再圧縮した画像データについて、再びＨＤＤ２４に供給させ、記録させる。
【０１０１】
以上の処理を、ステップＦ９０４で１日分の画像データについての再圧縮が完了したと判断されるまで、所定データ量毎に実行する。
この処理が行われることで、ｎ日を経過した画像データは、そのデータサイズが低減されることになり、全体としてなるべく長期間の画像データがＨＤＤ２４に保存できるようになる。
【０１０２】
なお、データ量削減の手法としては、圧縮率を高くして再圧縮を行う他、動画の場合はフレーム間引きを行ってフレーム数を削減しても良いし、例えば１秒ごとの１フレームを抽出して、１秒間隔の静止画データとしてもよい。
或いはフレーム削減と高圧縮率での圧縮を組み合わせても良い。
【０１０３】
また撮像時には動画として画像データ記録を行うとしたが。撮像時に１秒間隔などでの静止画記録を行うようにしてもよい。この場合は、データ量削減処理としては、例えば５秒間隔の静止画データのみを保存し、他を破棄するような手法も考えられる。
さらには、撮像時に行われる画像解析部２５の解析結果情報として、画像に人物が写されているか否かの情報を記録しておき、人物が写っていない期間の画像データを破棄するようなことも考えられる。
【０１０４】
また、保存データ量削減処理は１回だけでなく、数段階に行われるようにしても良い。例えば記録後３日経過したら第１回目のデータ量低減を行い、１週間経過したら第２回目のデータ量低減を行うなどして、期間の経過と共に徐々にデータ量を低減させるものである。
【０１０５】
９．実施の形態の効果及び変形例
以上のように実施の形態の検索システムによれば、多数の撮像装置１が、それぞれ異なる場所に固定設置され、常時撮像を行って撮像した画像データを記録すると共に、撮像した画像データに含まれている人物等の特徴データを生成する。そして特徴データ、カメラＩＤ、日時情報、（及び画像データ）を含む特徴データユニットを生成し、これをデータ保存サーバ３に送信する。
データ保存サーバ３では各撮像装置１からの特徴データユニットを特徴データＤＢ４３に保存する。従って特徴データＤＢ４３には、各地の撮像装置１で撮像された人物の特徴データが保存されることになる。
そして検索処理装置４は、この特徴データＤＢ４３から条件に該当する人物等をリストアップするような検索を行うことができる。
特に実施の形態の検索システムによれば、複数の撮像装置１として複数の地点を指定することで、その複数の地点に存在した被写体としての人物を抽出できる。つまり複数の場所に居た未知の人物を抽出するような検索が可能となる。これにより、例えば刑事捜査などで有効な検索を行うことができる。
【０１０６】
また、特徴データユニットに日時情報が含まれ、検索処理装置４では検索条件として各撮像装置１についての日時を指定できることで、より適切な検索が可能となる。
また、特徴データユニットに画像データが含まれていることで、検索結果表示として図１７（ａ）のように画像７６を表示させることができ、画像による人物確認を容易化できる。一方で、特徴データユニットには画像データは含まれないようにすれば、ネットワーク９０の通信負担や特徴データＤＢ４３の容量負担を低減できる。
またいずれの場合も、検索処理装置４では撮像装置１に対する画像要求により、撮像装置１においてＨＤＤ２４に保存されている画像を取得し、表示させることができる。これにより警察スタッフ等は実際の撮像画像を確認して該当人物の検討を行うことができる。さらには、検索結果として必要とされた場合のみに、ＨＤＤ２４からの画像データ、例えば動画データの検索処理装置４への送信が行われるものであるため、画像データの通信機会がむやみに多くなるものではなく、これも撮像装置１の処理負担やネットワーク通信の負荷の低減と、それによる快適な動作の実現に好適である。
また検索処理装置４からの捜索要求により、特徴データに該当する人物を各撮像装置１で検出するという捜索を行うことは、警察での捜査などに非常に有用となる。
【０１０７】
特徴データについては、例えば図１９に示した顔データＦａ、Ｆｂに基づく比較・分類を行うことで正確性が高い。また身長、体重、服の色なども併用することで、同一人物の判断の正確性を高めることができる。
もちろん検索処理装置４により人物の特徴を比較することで、スタッフがビデオを見ながら同一人物が存在するか否かを判断する作業に比べて、格段に効率化、時短化、正確化を実現できる。
【０１０８】
以上の実施の形態の構成及び処理は、一例であり、本発明としては多様な変形例が考えられる。
データ保存サーバ３は検索処理装置４と別体としたが、例えば検索処理装置４としてのコンピュータシステム１００において、ＨＤＤ１０９などで特徴データＤＢ４３を設け、また図５（ａ）の機能を設けることで、一体化してもよい。
撮像装置１の構成や動作も、多様な変形例が考えられる。マイクロホンを設け、画像と共に音声を記録しても良い。その場合、検索処理装置４からの画像要求があった場合、画像データと共に音声データも送信し、検索処理装置４側で撮像時の音声も確認できるようにすることができる。
【０１０９】
また撮像された人物について特徴データを生成するものとしたが、対象を人物に限る必要はなく、例えば自動車が被写体となったときに、その自動車の特徴データ（色や車種）を生成し、検索処理装置４側で例えばＡ地点からＢ地点に移動した自動車の検索などを実行できるようにしても良い。
また実施の形態では本例の検索システムを警察が使用するシステムとして述べたが、それ以外で利用されるシステムとしても適用できる。
【０１１０】
本発明のプログラムは、撮像装置１のコントローラ２１に図７の処理を実行させるプログラムとして実現できる。また本発明のプログラムは、検索処理装置４としてのコンピュータシステム１００において図８〜図１１の処理を実行させるプログラムとして実現できる。
【０１１１】
これらのプログラムは、コンピュータシステム等の情報処理装置における記録媒体としてのシステムＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等により提供されることで、コンピュータシステムにインストールできる。
またこのプログラムは、リムーバブル記録媒体からインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【図面の簡単な説明】
【０１１２】
【図１】本発明の実施の形態の検索システムの説明図である。
【図２】実施の形態の撮像装置のブロック図である。
【図３】実施の形態の特徴データユニットの説明図である。
【図４】実施の形態の検索処理装置を実現するコンピュータシステムのブロック図である。
【図５】実施の形態のデータ保存サーバ及び検索処理装置の機能構成のブロック図である。
【図６】実施の形態の特徴データＤＢの説明図である。
【図７】実施の形態の撮像時の処理のフローチャートである。
【図８】実施の形態の検索時の処理のフローチャートである。
【図９】実施の形態の検索結果表示処理のフローチャートである。
【図１０】実施の形態の画像要求時の処理のフローチャートである。
【図１１】実施の形態の捜索要求時の処理のフローチャートである。
【図１２】実施の形態の検索を行う場合の状況の説明図である。
【図１３】実施の形態の検索時にデータベースから取得する特徴データユニットの説明図である。
【図１４】実施の形態の特徴データユニットの比較処理の説明図である。
【図１５】実施の形態の特徴データユニットの分類処理の説明図である。
【図１６】実施の形態の検索結果リスト表示の説明図である。
【図１７】実施の形態の詳細表示の説明図である。
【図１８】実施の形態の再生画像表示の説明図である。
【図１９】実施の形態の顔データの説明図である。
【図２０】実施の形態の撮像装置の指定例の説明図である。
【図２１】実施の形態の撮像装置の指定例の説明図である。
【図２２】実施の形態の保存データ量削減処理のフローチャートである。
【符号の説明】
【０１１３】
１  撮像装置、２  検索処理装置、３  データ保存サーバ、１０  カメラ部、１１  センサ、２１  コントローラ、２２  メモリ部、２３  記録再生処理部、２４  ＨＤＤ、３５  画像解析部、２６  送信データ生成部、２７  通信部、２８  時計部、２９  センス信号処理部、３１  条件入力機能、３２  特徴データ取得機能、３３  分類・抽出機能、３４  表示制御機能、３５  画像要求機能、３６  捜索要求機能、４１  特徴データ登録機能、４２  特徴データ提供機能、４３  特徴データＤＢ、９０  ネットワーク、１０１  ＣＰＵ、１０３  通信部
【図１】
2007241377.tif 000003
【図２】
2007241377.tif 000004
【図３】
2007241377.tif 000005
【図４】
2007241377.tif 000006
【図５】
2007241377.tif 000007
【図６】
2007241377.tif 000008
【図７】
2007241377.tif 000009
【図８】
2007241377.tif 000010
【図９】
2007241377.tif 000011
【図１０】
2007241377.tif 000012
【図１１】
2007241377.tif 000013
【図１２】
2007241377.tif 000014
【図１３】
2007241377.tif 000015
【図１４】
2007241377.tif 000016
【図１５】
2007241377.tif 000017
【図１６】
2007241377.tif 000018
【図１７】
2007241377.tif 000019
【図１８】
2007241377.tif 000020
【図１９】
2007241377.tif 000021
【図２０】
2007241377.tif 000022
【図２１】
2007241377.tif 000023
【図２２】
2007241377.tif 000024