(57)【要約】【課題】撮影機器の特性によって取得できる特徴情報が限定されている場合であっても、撮影した映像から任意の被写体を特定することを支援する特徴情報付加システムを提供することを目的とする。【解決手段】複数の撮影手段が撮影した映像データから被写体の特徴情報をそれぞれ抽出する特徴情報抽出手段１０と、特徴情報抽出手段１０が抽出した特徴情報に基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定する判定手段２０と、判定手段２０が同一であると判定すると、異なる撮影手段のうちの一方の撮影手段が撮影した映像データに他方の撮影手段が撮影した映像データから抽出した特徴情報を付与する特徴情報付与手段３０とを含む【選択図】図４
2012048278.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影手段が撮影した映像データから被写体の特徴情報をそれぞれ抽出する特徴情報抽出手段と、
前記特徴情報抽出手段が抽出した特徴情報に基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定する判定手段と、
前記判定手段が同一であると判定すると、前記異なる撮影手段のうちの一方の撮影手段が撮影した映像データに他方の撮影手段が撮影した映像データから抽出した特徴情報を付与する特徴情報付与手段とを
含むことを特徴とする特徴情報付加システム。
【請求項２】
特徴情報抽出手段は、特徴情報として映像データから撮影時刻を示す時刻特徴情報を抽出し、
判定手段は、前記特徴情報抽出手段が抽出した時刻特徴情報に基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定する
請求項１記載の特徴情報付加システム。
【請求項３】
特徴情報抽出手段は、特徴情報として映像データから人物である被写体の顔特徴を示す顔特徴情報を抽出し、
判定手段は、前記特徴情報抽出手段が抽出した顔特徴情報と、時刻特徴情報とに基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定する
請求項２記載の特徴情報付加システム。
【請求項４】
特徴情報抽出手段は、特徴情報として、異なる撮影手段のうちの一方の撮影手段が撮影した映像データから被写体の色特徴を示す色特徴情報を抽出し、
特徴情報付与手段は、判定手段が前記被写体と前記異なる撮影手段のうちの他方の撮影手段が撮影した映像データに含まれる被写体とが同一であると判定すると、前記他方の撮影手段が撮影した映像データに前記色特徴情報を付与する
請求項１から請求項３のうちのいずれか１項に記載の特徴情報付加システム。
【請求項５】
特徴情報抽出手段は、特徴情報として、異なる撮影手段のうちの一方の撮影手段が撮影した映像データから被写体の温度特徴を示す温度特徴情報を抽出し、
特徴情報付与手段は、判定手段が前記被写体と前記異なる撮影手段のうちの他方の撮影手段が撮影した映像データに含まれる被写体とが同一であると判定すると、前記他方の撮影手段が撮影した映像データに前記温度特徴情報を付与する
請求項１から請求項４のうちのいずれか１項に記載の特徴情報付加システム。
【請求項６】
複数の撮影手段が撮影した映像データから被写体の特徴情報をそれぞれ抽出する特徴情報抽出手段と、
前記特徴情報抽出手段が抽出した特徴情報に基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定する判定手段と、
前記判定手段が同一であると判定すると、前記異なる撮影手段のうちの一方の撮影手段が撮影した映像データに他方の撮影手段が撮影した映像データから抽出した特徴情報を付与する特徴情報付与手段とを
備えたことを特徴とする特徴情報付加装置。
【請求項７】
複数の撮影手段が撮影した映像データから被写体の特徴情報をそれぞれ抽出し、
抽出した特徴情報に基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定し、
同一であると判定すると、前記異なる撮影手段のうちの一方の撮影手段が撮影した映像データに他方の撮影手段が撮影した映像データから抽出した特徴情報を付与する
ことを特徴とする特徴情報付加方法。
【請求項８】
コンピュータに、
複数の撮影手段が撮影した映像データから被写体の特徴情報をそれぞれ抽出する特徴情報抽出処理と、
抽出した特徴情報に基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定する判定処理と、
同一であると判定すると、前記異なる撮影手段のうちの一方の撮影手段が撮影した映像データに他方の撮影手段が撮影した映像データから抽出した特徴情報を付与する特徴情報付与処理とを
実行させるための特徴情報付加プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データに特徴情報を付加する特徴情報付加システム、特徴情報付加装置、特徴情報付加方法および特徴情報付加プログラムに関する。
【背景技術】
【０００２】
企業や個人の施設の安全性を確保するための手段として、または店舗等に訪れた来店者の年齢、性別などの特徴を把握する手段として、施設や店舗に監視カメラを設置することが一般的になっている。特に広範な施設や店舗では、人間による監視、観察に限界があることから、複数の監視カメラで撮影した映像によって現場を把握するということが行われている。
【０００３】
関連する技術として、例えば、特許文献１には、画像情報や音声情報から特徴量を収集して個人認識処理を行う方法が記載されている。
【０００４】
特許文献１に記載された方法では、複数種の特徴量を収集し、それらのうち有効な特徴量を特定して個人認識処理を行うことで、照合精度を高めている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２９３６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数の監視カメラを導入する際には、導入コストを考慮して比較的安価であるモノクロ監視カメラを導入する例がある。この場合、監視カメラの利用者は、モノクロ映像からでは人物の服装の色特徴などを認識することができず、人物を特定することができない場合がある。
【０００７】
また、パンデミック対策等でサーモグラフィカメラを導入することがある。この場合、サーモグラフィカメラは、人物の温度情報を取得することは可能であるが、人物を特定するための情報を取得することが難しい。そのため、リアルタイムでの人による監視等が別途必要であり、見逃した場合には、人物を特定することが困難になるということがある。
【０００８】
上記の例のように、撮影機器の特性によって取得できる特徴情報が限定されるため、利用者が知りたいと思っている特徴情報を得ることができない場合がある。
【０００９】
特許文献１に記載された方法を用いれば、複数種の特徴量を収集し、それらのうち有効な特徴量を特定して個人認識処理を行うため、照合精度を高めることができるが、これは特定した人物が予め登録された人物と合致するか否かを照合するにすぎない。そのため、この方法は、上記のような監視カメラなどが撮影した複数の人物が映るような映像から、任意の人物を特定することを支援する目的には適用できない。
【００１０】
そこで、本発明は、撮影機器の特性によって取得できる特徴情報が限定されている場合であっても、撮影した映像から任意の被写体を特定することを支援できる特徴情報付加システム、特徴情報付加装置、特徴情報付加方法及び特徴情報付加プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明による特徴情報付加システムは、複数の撮影手段が撮影した映像データから被写体の特徴情報をそれぞれ抽出する特徴情報抽出手段と、特徴情報抽出手段が抽出した特徴情報に基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定する判定手段と、判定手段が同一であると判定すると、異なる撮影手段のうちの一方の撮影手段が撮影した映像データに他方の撮影手段が撮影した映像データから抽出した特徴情報を付与する特徴情報付与手段とを含むことを特徴とする。
【００１２】
本発明による特徴情報付加装置は、複数の撮影手段が撮影した映像データから被写体の特徴情報をそれぞれ抽出する特徴情報抽出手段と、特徴情報抽出手段が抽出した特徴情報に基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定する判定手段と、判定手段が同一であると判定すると、異なる撮影手段のうちの一方の撮影手段が撮影した映像データに他方の撮影手段が撮影した映像データから抽出した特徴情報を付与する特徴情報付与手段とを備えたことを特徴とする。
【００１３】
本発明による特徴情報付加方法は、複数の撮影手段が撮影した映像データから被写体の特徴情報をそれぞれ抽出し、抽出した特徴情報に基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定し、同一であると判定すると、異なる撮影手段のうちの一方の撮影手段が撮影した映像データに他方の撮影手段が撮影した映像データから抽出した特徴情報を付与することを特徴とする。
【００１４】
本発明による特徴情報付加プログラムは、コンピュータに、複数の撮影手段が撮影した映像データから被写体の特徴情報をそれぞれ抽出する特徴情報抽出処理と、抽出した特徴情報に基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定する判定処理と、同一であると判定すると、異なる撮影手段のうちの一方の撮影手段が撮影した映像データに他方の撮影手段が撮影した映像データから抽出した特徴情報を付与する特徴情報付与処理とを実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、撮影機器の特性によって取得できる特徴情報が限定されている場合であっても、撮影した映像から任意の被写体を特定することを支援できる。
【図面の簡単な説明】
【００１６】
【図１】本発明による特徴情報付加システムの構成の一例を示すブロック図である。
【図２】映像特徴ＤＢ装置３００が記憶するデータベースの一例を示す説明図である。
【図３】特徴情報付加システムが実行する処理例を示す流れ図である。
【図４】特徴情報付加システムの最小の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について図面を参照して説明する。図１は、本発明による特徴情報付加システムの構成の一例を示すブロック図である。図１に示すように、特徴情報付加システムは、撮影機器１００と、情報処理装置２００と、映像特徴ＤＢ（データベース）装置３００とを含む。また、撮影機器１００と情報処理装置２００とは、相互に通信可能である。また、情報処理装置２００と映像特徴ＤＢ装置３００とは、相互に通信可能である。
【００１８】
撮影機器１００は、映像を撮影する装置である。撮影機器１００は、具体的には、カラーカメラやモノクロカメラ、サーモグラフィカメラなどによって実現される。なお、撮影する映像の形式や、映像送信の形式（同軸ケーブルを用いたアナログ形式や、イーサネットケーブル（イーサネットは登録商標）を用いた、デジタル方式等）はどのようなものでもよい。
【００１９】
撮影機器１００は、撮影手段１１０と、送信手段１２０とを含む。
【００２０】
撮影手段１１０は、映像を撮影する機能を備えている。撮影手段１１０は、レンズやＣＣＤ素子などといった、映像を撮影するための機器および機構によって実現される。
【００２１】
送信手段１２０は、外部に映像データを送信する機能を備えている。送信手段１２０は、撮影した映像をデータとして外部に送信するための機器および機構で実現される。なお、送信手段１２０が外部に送信する映像データの形式についてはどのようなものでもよい。
【００２２】
情報処理装置２００は、具体的には、プログラムに従って動作するパーソナルコンピュータやサーバ装置等によって実現される。情報処理装置２００は、通信手段２１０と、映像処理手段２２０と、映像解析手段２３０とを含む。
【００２３】
通信手段２１０は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵ及びネットワークインターフェース部によって実現される。通信手段２１０は、外部および内部の各手段との通信を行う機能を備えている。
【００２４】
映像処理手段２２０は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。映像処理手段２２０は、管理手段２２１と、変換手段２２２とを含む。
【００２５】
管理手段２２１は、撮影機器１００が複数存在する場合に、撮影機器１００を特定するために、それぞれの送信機器１００から、通信手段２１０を介して受信した映像データに対して、どの撮影機器から受信したかを識別するためのＩＤである撮影機器ＩＤを付与する機能を備えている。ここでは、管理手段２２１は、受信した映像データに付加されているＩＤをそのまま付与してもよいし、新たに生成したＩＤを付与してもよい。また、管理手段２２１は、例えば、付与したＩＤを記憶部に記憶しておき、同じ機器から受信した場合には、同じＩＤを付与するようにする。
【００２６】
変換手段２２２は、撮影機器１００から受信した映像データを、特定の形式のデータ形式に変換する機能と、変換した映像データをハードディスク装置などの記憶部の特定の場所に格納させる機能とを備えている。
【００２７】
データ形式の変換処理として、例えば、変換手段２２２は、撮影機器１００がコンポジット信号で送信した映像データを、デジタルデータであるＡＶＩ形式に変換する。
【００２８】
映像データを格納させる処理として、例えば、変換手段２２２は、変換した映像データを、特定のコンピュータ上の記憶部の特定のディレクトリに格納させる。また、その際に、変換手段２２２は、特定のコンピュータ上の特定のディレクトリに格納されていることを示すデータを作成する機能を備えている。
【００２９】
なお、変換手段２２２が変換した映像データは、変換した形式に応じて、一般的な付属データを含む。例えば、ＡＶＩ形式に変換した場合には、変換後の映像データは、データのタイムスタンプや解像度、ＦＰＳ（Ｆｒａｍｅｓ  Ｐｅｒ  Ｓｅｃｏｎｄ）といった情報を含む。
【００３０】
映像解析手段２３０は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。映像解析手段２３０は、識別手段２３１と、特徴抽出手段２３２と、照合手段２３３と、書込手段２３４とを含む。
【００３１】
識別手段２３１は、変換手段２２２が変換した映像データに対して、データを個々に識別するためのＩＤであるデータＩＤを付与する機能を備えている。
【００３２】
特徴抽出手段２３２は、映像データから様々な特徴を取り出す機能を備えている。例えば、特徴抽出手段２３２は、映像データのタイムスタンプから撮影時刻という特徴情報を抽出したり、映像データの先頭を画像情報として抽出したりする機能を備えている。
【００３３】
また、例えば、特徴抽出手段２３２は、特開２００７−１２２０９７号公報（係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム）に記載された方法などを用いて、映像中の人物の顔特徴を示す特徴情報を抽出する機能を備えている。また、例えば、特徴抽出手段２３２は、特開２００９−１１０４６０号公報（人物画像検索装置）に記載された方法などを用いて、服装の色特徴を示す特徴情報を抽出する機能を備えている。
【００３４】
照合手段２３３は、複数の映像データの特徴を照合するために、映像特徴ＤＢ装置３００に対して映像データを送信させるための命令を出力する機能を備えている。また、照合手段２３３は、受け取った映像データの特徴を照合し、条件に合致していれば一方の映像データの特徴を他方にも付与する命令を書込手段２３４に出力する機能を備えている。条件としては、例えば、複合的な設定や、一方の特徴情報を他方へ付与する場合に一致している必要のある特徴情報の設定が可能である。
【００３５】
書込手段２３４は、照合手段２３３が出力した命令に基づいて、映像特徴ＤＢ装置３００にデータを書き込む機能を備えている。具体的には、書込手段２３４がデータとともに所定の命令を映像特徴ＤＢ装置３００に送信することで、映像特徴ＤＢ装置３００が、受信した命令に従って、映像特徴ＤＢ装置３００が記憶するデータベース（以下、単にＤＢともいう）にデータを書き込む。
【００３６】
映像特徴ＤＢ装置３００は、具体的には、磁気ディスク装置や光ディスク装置などの記憶装置によって実現され、データベースを記憶する。なお、映像特徴ＤＢ装置３００は、情報処理装置２００内に実装されてもよいし、外部のコンピュータ上に実装されてもよい。
【００３７】
映像特徴ＤＢ装置３００は、外部から受信した一覧取得命令や書込命令、消去命令に基づいて、データベースにデータを追加または削除する機能を備えている。
【００３８】
映像特徴ＤＢ装置３００は、例えば、図２に示す撮影機器ＩＤ３１０と、データＩＤ３２０と、映像データ３３０と、時刻３４０と、色特徴３５０と、顔特徴３６０と、温度特徴３７０とを含むデータベースを記憶する。図２は、映像特徴ＤＢ装置３００が記憶するデータベースの一例を示す説明図である。
【００３９】
撮影機器ＩＤ３１０は、複数の撮影機器１００を区別するためのデータである。撮影機器ＩＤ３１０は、管理手段２２１によって付与され、書込手段２３４によって映像特徴ＤＢ装置３００内のデータベースに書き込まれる。
【００４０】
データＩＤ３２０は、各データを区別するためのデータである。データＩＤ３２０は、識別手段２３１によって付与され、書込手段２３４によって映像特徴ＤＢ装置３００内のデータベースに書き込まれる。
【００４１】
映像データ３３０は、実映像データ、実映像データの一部または実映像データが格納されている場所を示すデータである。映像データ３３０は、変換手段２２２によって作成され、書込手段２３４によって映像特徴ＤＢ装置３００内のデータベースに書き込まれる。
【００４２】
時刻３４０は、データを取得した時刻を示すデータである。時刻３４０は、特徴抽出手段２３２により抽出され、書込手段２３４によって映像特徴ＤＢ装置３００内のデータベースに書き込まれる。
【００４３】
色特徴３５０は、映像内の人物の服装の色特徴を示すデータである。例えば上下の服それぞれに対しての、ある色のＲＧＢ値と割合といった形式で表される。色特徴３５０は、特徴抽出手段２３２により抽出され、書込手段２３４によって映像特徴ＤＢ装置３００内のデータベースに書き込まれる。
【００４４】
顔特徴３６０は、映像内の人物の顔特徴を現すデータである。顔特徴３６０は、特徴抽出手段２３２により抽出され、書込手段２３４によって映像特徴ＤＢ装置３００内に書き込まれる。
【００４５】
温度特徴３７０は、映像内の人物の表面温度を現すデータであり、摂氏等の形式で表される。温度特徴３７０は、特徴抽出手段２３２により抽出され、書込手段２３４によって映像特徴ＤＢ装置３００内のデータベースに書き込まれる。
【００４６】
なお、映像処理手段２２０内の各手段および映像解析手段２３０内の各手段は、データの受け渡しのため、相互に通信が可能である。
【００４７】
次に、図１から３を参照して、特徴情報付加システムの動作について説明する。図３は、特徴情報付加システムが実行する処理例を示すシーケンス図である。
【００４８】
本実施形態では、撮影機器１００が３つ設置されており、それぞれ、カラーカメラ、モノクロカメラ、サーモグラフィカメラである。また、それぞれのカメラに対して、管理手段２２１が付与する撮影機器ＩＤは、「ａ００１」「ａ００２」「ａ００３」である。
【００４９】
カラーカメラとサーモグラフィカメラとは、同じ箇所を撮影している。また、モノクロカメラは、カラーカメラの近距離の箇所に設置されているが、同じ場所を撮影していない。また、映像特徴ＤＢ装置３００内には、初期状態ではひとつもデータが格納されていないものとする。なお、本実施形態では、撮影機器が３つ設置されている例について説明するが、これに限らず、本発明は、撮影機器の数は２つ以上であればいくつであっても適用可能である。本発明は、このように複数の相互に異なる形式の撮影機器が存在する環境で、相互に特徴情報を補完しあう場合に、特に有効である。
【００５０】
まず、カラーカメラで撮影を行う。撮影機器１００の撮影手段１１０は、撮影範囲に存在する人物のカラー映像を撮影し、カラー映像データとして送信手段１２０に出力する（図３のステップＳ１）。なお、本実施形態では、被写体が人物である例について説明するが、これに限らず、例えば、動物などであってもよい。
【００５１】
次いで、送信手段１２０は、カラー映像データを情報処理装置２００の通信手段２１０に送信する（図３のステップＳ２）。
【００５２】
次いで、通信手段２１０は、管理手段２２１に受信したカラー映像データを出力する（図３のステップＳ３）。
【００５３】
次いで、管理手段２２１は、受け取ったカラー映像データに撮影機器ＩＤ３１０を付与し、変換手段２２２に出力する（図３のステップＳ４）。ここで、管理手段２２１が付与する撮影ＩＤ３１０は「ａ００１」であるものとする。
【００５４】
次いで、変換手段２２２は、受け取ったカラー映像データの形式を変換する。本実施形態では、変換手段２２２は、カラー映像データ自体をＡＶＩ形式に変換するものとする。カラー映像データを変換した後、変換手段２２２は、ＡＶＩ形式に変換したカラー映像データを識別手段２３１に出力する（図３のステップＳ５）。
【００５５】
次いで、識別手段２３１は、受け取ったカラー映像データにデータＩＤ３２０を付与する。ここで、識別手段２３１が付与するデータＩＤ３２０は「Ａ００１」である。データＩＤを付与した後、識別手段２３１は、カラー映像データを特徴抽出手段２３２に出力する（図３のステップＳ６）。
【００５６】
次いで、特徴抽出手段２３２は、カラー映像データから特徴を抽出する。特徴抽出手段２３２が抽出する特徴は、カラー映像データの撮影した時刻を示す時刻３４０、撮影した人物の上下の服装の色の特徴を示す色特徴３５０および撮影した人物の顔の特徴を示す顔特徴３６０である。これらの特徴を抽出した後、特徴抽出手段２３２は、カラー映像データと抽出した特徴とを照合手段２３３に出力する（図３のステップＳ７）。
【００５７】
次いで、照合手段２３３は、受け取ったカラー映像データを映像特徴ＤＢ装置３００内に格納されている各データと照合するため、映像特徴ＤＢ装置３００内のデータ一覧を取得する命令を通信手段２１０に出力する（図３のステップＳ８）。本実施形態では、照合手段には以下の条件が設定されているものとする。なお、以下の条件は一例であり、これ以外の条件を設定してもよい。
【００５８】
第一の条件：時刻３４０が所定時間以内（本例では、１分以内）であり、かつ顔特徴３６０が一致するデータ同士の場合には、一方に色特徴３５０が存在し、他方に色特徴３５０が存在しなければ、存在しないデータのほうに存在する色特徴３５０を付与する。
【００５９】
第二の条件：撮影機器ＩＤ３１０が「ａ００１」または「ａ００３」のデータには、時刻ＩＤ３４０が一致する場合（厳密には異なる場合であっても、例えば、誤差が所定の範囲内であれば同一とみなす）、互いが保持している色特徴３５０、顔特徴３６０および温度特徴３７０のデータに関して、保持していないデータ箇所に対して保持している側のデータを付与する。
【００６０】
次いで、通信手段２１０は、照合手段２３３より受け取ったデータ一覧取得命令を映像特徴ＤＢ装置３００に送信する（図３のステップＳ９）。
【００６１】
次いで、映像特徴ＤＢ装置３００は、受け取ったデータ一覧取得命令に基づいて、ＤＢ内のデータ一覧を抽出し、通信手段２１０に送信する動作を行う。ただし、現時点ではＤＢ内にはデータが存在せず、該当データは存在しないため、映像特徴ＤＢ装置３００は、実データを送信せず、「データ一覧は存在しない」という状態を表すデータだけを通信手段２１０に送信する（図３のステップＳ１０）。
【００６２】
次いで、通信手段２１０は、「データ一覧は存在しない」という状態を表すデータを照合手段２３３に出力する（図３のステップＳ１１）。
【００６３】
次いで、照合手段２３３は、「データ一覧は存在しない」という状態を表すデータを受け取ったため、照合処理を行わない。そして、照合手段２３３は、現在の映像データ、付与した情報および抽出した特徴を全てそのまま映像特徴ＤＢ装置へ書き込む決定を行い、書き込み命令とともに、現在の映像データ、付与した情報および抽出した特徴を書込手段２３４に出力する（図３のステップＳ１３）。
【００６４】
次いで、書込手段２３４は、映像特徴ＤＢ装置３００に対して現在の映像データ、付与した情報および抽出した特徴を書き込む指示を通信手段２１０に出力する（図３のステップＳ１４）。
【００６５】
次いで、通信手段２１０は、ＤＢへの書き込み命令とともに、現在の映像データ、付与した情報および抽出した特徴を映像特徴ＤＢ装置３００に送信し、映像特徴ＤＢ装置３００内にデータを書き込ませる（図３のステップＳ１５）。具体的には、映像特徴ＤＢ装置３００が、書き込み命令に従って、現在の映像データ、付与した情報および抽出した特徴をデータベースに書き込む。この時点で、映像特徴ＤＢ装置３００内に存在するデータは、データＩＤ３２０が「Ａ００１」で識別されるものひとつである。
【００６６】
次に、処理をステップＳ１に移行し、モノクロカメラで撮影を行う。撮影機器１００の撮影手段１１０は、撮影範囲内に存在する人物のモノクロ映像を撮影し、モノクロ映像データとして送信手段１２０に出力する（図３のステップＳ１）。
【００６７】
次いで、送信手段１２０は、モノクロ映像データを情報処理装置２００の通信手段２１０に送信する（図３のステップＳ２）。
【００６８】
次いで、通信手段２１０は、管理手段２２１にモノクロ映像データを出力する（図３のステップＳ３）。
【００６９】
次いで、管理手段２２１は、受け取ったモノクロ映像データに撮影機器ＩＤ３１０を付与し、変換手段２２２に出力する（図３のステップＳ４）。ここで、管理手段２２１が付与する撮影ＩＤ３１０は「ａ００２」である。
【００７０】
次いで、変換手段２２２は、受け取ったモノクロ映像データの形式をＡＶＩ形式に変換する（図３のステップＳ５）。
【００７１】
次いで、識別手段２３１は、受け取ったモノクロ映像データにデータＩＤ３２０を付与する。ここで識別手段２３１が付与するデータＩＤ３２０は「Ａ００２」である。データＩＤを付与した後、識別手段２３１は、モノクロ映像データを特徴抽出手段２３２に出力する（図３のステップＳ６）。
【００７２】
次いで、特徴抽出手段２３２は、モノクロ映像データより特徴を抽出する。ここで特徴抽出手段２３２が抽出する特徴は、モノクロ映像データの撮影された時刻を示す時刻３４０および人物の顔の特徴を示す顔特徴３６０である。特徴を抽出した後、特徴抽出手段２３２は、モノクロ映像データと抽出した特徴とを照合手段２３３に出力する（図３のステップＳ７）。
【００７３】
次いで、照合手段２３３は、受け取ったモノクロ映像データを映像特徴ＤＢ装置３００内に格納されている各データと照合するため、映像特徴ＤＢ装置３００内のデータ一覧を取得する命令を通信手段２１０に出力する（図３のステップＳ８）。
【００７４】
次いで、通信手段２１０は、照合手段２３３より受け取ったデータ一覧取得命令を映像特徴ＤＢ装置３００に送信する（図３のステップＳ９）。
【００７５】
次いで、映像特徴ＤＢ装置３００は、受け取ったデータ一覧取得命令に基づいて、ＤＢ内のデータ一覧を抽出し、通信手段２１０に送信する。現時点で送信するデータは、データＩＤ３２０が「Ａ００１」で識別されるデータである（図３のステップＳ１０）。
【００７６】
次いで、通信手段２１０は、データＩＤ３２０が「Ａ００１」で識別されるデータを照合手段２３３に出力する（図３のステップＳ１１）。
【００７７】
次いで、照合手段２３３は、データＩＤ３２０が「Ａ００１」で識別されるデータ（以下、単に「Ａ００１」ともいう）と、データＩＤに「Ａ００２」を付与したデータ（以下、単に「Ａ００２」ともいう）とを照合する（図３のステップＳ１２）。
【００７８】
具体的には、「Ａ００１」と「Ａ００２」とは、時刻３４０が１分以内であり、かつ顔特徴３６０が一致するデータ同士である。また、「Ａ００１」には、色特徴３５０が存在し、「Ａ００２」には、色特徴３５０が存在しない。したがって、第１の条件に合致するため、照合機能２３３は、「Ａ００１」の色特徴３５０を「Ａ００２」の色特徴として、「Ａ００２」で識別されるデータに付与する。
【００７９】
そして、照合機能２３３は、「Ａ００２」の現在の映像データ、付与した情報、抽出した特徴および新たに付与した色特徴を映像特徴ＤＢ装置に書き込む決定を行い、現在の映像データ、付与した情報、抽出した特徴および新たに付与した色特徴を書込手段２３４に出力する（図３のステップＳ１３）。
【００８０】
次いで、書込手段２３４は、映像特徴ＤＢ装置３００に対して現在の映像データ、付与した情報、抽出した特徴および新たに付与した色特徴を書き込む指示を通信手段２１０に出力する（図３のステップＳ１４）。
【００８１】
次いで、通信手段２１０は、ＤＢへの書き込み命令とともに、現在の映像データ、付与した情報、抽出した特徴および新たに付与した色特徴を映像特徴ＤＢ装置３００に送信する（図３のステップＳ１５）。すると、映像特徴ＤＢ装置３００は、受信した書き込み命令に従って、現在の映像データ、付与した情報、抽出した特徴および新たに付与した色特徴をデータベースに書き込む。この時点で、映像特徴ＤＢ装置３００内に存在するデータは、データＩＤ３２０が「Ａ００１」と「Ａ００２」とで識別されるものである。
【００８２】
次に、処理をステップＳ１に移行し、カラーカメラおよびサーモグラフィカメラで撮影を行う。それぞれの撮影機器１００の撮影手段１１０は、撮影範囲内に存在する人物のカラー映像と表面温度映像とを撮影し、カラー映像データと表面温度映像データとして送信手段１２０に出力する（図３のステップＳ１）。
【００８３】
次いで、送信手段１２０は、カラー映像データと表面温度映像データとを情報処理装置２００の通信手段２１０に送信する（図３のステップＳ２）。
【００８４】
次いで、通信手段２１０は、管理手段２２１にカラー映像データと表面温度映像データとを出力する（図３のステップＳ３）。
【００８５】
次いで、管理手段２２１は、受け取ったカラー映像データに撮影機器ＩＤ３１０を付与する。ここで管理手段２２１が付与する撮影機器ＩＤ３１０は「ａ００１」である。
【００８６】
同様に、管理手段２２１は、表面温度映像データに撮影機器ＩＤ３１０を付与する。ここで管理手段２２１が付与する撮影機器ＩＤは「ａ００３」である。その後、管理手段２２１は、両映像データを変換手段２２２に出力する（図３のステップＳ４）。
【００８７】
次いで、変換手段２２２は、受け取った両映像データの形式をＡＶＩ形式に変換する（図３のステップＳ５）。
【００８８】
次いで、識別手段２３１は、受け取った両映像データにデータＩＤ３２０を付与する。ここで識別手段２３１が付与するデータＩＤ３２０は、カラー映像データには「Ａ００３」であり、表面温度映像データには「Ａ００４」である。データＩＤを付与した後、識別手段２３１は、映像データを特徴抽出手段２３２に出力する（図３のステップＳ６）。
【００８９】
次いで、特徴抽出手段２３２は、映像データより特徴を抽出する。ここでは、特徴抽出手段２３２は、カラー映像データと表面温度映像データとから、映像データの撮影された時刻を示す時刻３４０を抽出する。また、特徴抽出手段２３２は、カラー映像データから色特長３５０を抽出し、表面温度映像データから温度特徴３７０を抽出する。特徴を抽出した後、特徴抽出手段２３２は、それぞれの映像データと抽出した特徴とを照合手段２３３に出力する（図３のステップＳ７）。
【００９０】
次いで、照合手段２３３は、受け取った映像データを映像特徴ＤＢ装置３００内に格納されている各データと照合するため、映像特徴ＤＢ装置３００内のデータ一覧を取得する命令を通信手段２１０に出力する（図３のステップＳ８）。
【００９１】
次いで、通信手段２１０は、照合手段２３３より受け取ったデータ一覧取得命令を映像特徴ＤＢ装置３００に送信する（図３のステップＳ９）。
【００９２】
次いで、映像特徴ＤＢ装置３００は、受け取ったデータ一覧取得命令に基づいて、ＤＢ内のデータ一覧を抽出し、通信手段２１０に送信する（図３のステップＳ１０）。現時点で映像特徴ＤＢ装置３００送信するデータは、データＩＤ３２０が「Ａ００１」と「Ａ００２」とで識別されるデータである。
【００９３】
次いで、通信手段２１０は、データＩＤ３２０が「Ａ００１」で識別されるデータを照合手段２３３に出力する（図３のステップＳ１１）。
【００９４】
次いで、照合手段２３３は、データＩＤ３２０が「Ａ００１」と「Ａ００２」と「Ａ００３」と「Ａ００４」とで識別されるデータを照合する（図３のステップＳ１２）。
【００９５】
具体的には、データＩＤ３２０が「Ａ００３」と「Ａ００４」とのデータにおいて、それぞれ撮影機器ＩＤ３１０が「ａ００１」と「ａ００３」とであり、時刻ＩＤ３４０が一致する。したがって、第２の条件に合致するため、照合手段２３３は、互いが保持している色特徴３５０、顔特徴３６０および温度特徴３７０のデータについて、保持していないデータ箇所に対して保持している側のデータを付与する。
【００９６】
また、照合手段２３３は、データＩＤ３２０が「Ａ００３」のデータには、温度特徴３７０を付与し、データＩＤ３２０が「Ａ００４」のデータには、色特徴３５０を付与する。
【００９７】
また、照合手段２３３は、データＩＤ３２０が「Ａ００３」と「Ａ００４」とのデータに関して、映像データ、付与した情報、抽出した特徴および新たに付与した特徴を映像特徴ＤＢ装置３００に書き込む決定を行う。その後、照合手段２３３は、映像データ、付与した情報、抽出した特徴および新たに付与した特徴を書込手段２３４に出力する（図３のステップＳ１３）。
【００９８】
次いで、書込手段２３４は、映像特徴ＤＢ装置３００に対して映像データ、付与した情報、抽出した特徴および新たに付与した特徴を書き込む指示を、通信手段２１０に出力する（図３のステップＳ１４）。
【００９９】
次いで、通信手段２１０は、データベースへの書き込み命令とともに、映像データ、付与した情報、抽出した特徴および新たに付与した特徴を映像特徴ＤＢ装置３００に送信する。すると、映像特徴ＤＢ装置３００は、書き込み命令に従って、映像データ、付与した情報、抽出した特徴および新たに付与した特徴をデータベースに書き込む（図３のステップＳ１５）。この時点で、映像特徴ＤＢ装置３００内に存在するデータは、データＩＤ３２０が「Ａ００１」、「Ａ００２」、「Ａ００３」または「Ａ００４」のいずれかで識別されるものである。
【０１００】
その後、例えば、利用者が映像データを再生する操作を行うと、情報処理装置２００は、利用者の操作に従って、映像特徴ＤＢ装置３００から特徴情報の付与された映像データを抽出し、再生する。
【０１０１】
以上のように、本実施形態では、撮影機器が撮影した映像に映っている人物から、取得可能な特徴情報を取得し、同一人物と判断できる特徴情報が一致する場合、一方の特徴情報を他方の特徴情報として付与する。これにより、映像の特性によって本来は取得できないはずの人物の特徴情報を取得することができる。例として、人物の服装の色特徴という特徴情報に関して、この情報を本来なら持たないモノクロ映像に対しても、服装の色特徴を持っているカラー映像内の他の特定の特徴を照合し、同一であればモノクロ映像側にも服装の色特徴を付与することが可能である。
【０１０２】
本発明の効果は、本来ならば撮影機器の特性から取得することができない特徴情報を、その映像機器から撮影した映像データから取得できる点である。その理由は、複数の映像データに付与したそれぞれの特徴情報を照合することにより、本来取得していない特徴情報も付与できるためである。
【０１０３】
以上のことから、本発明は、撮影機器によって撮影した物体、主に人物の特徴情報に関して、撮影機器の特性から、単体では取得できない特徴情報を他の映像との照合により取得できるようにすることができる。
【０１０４】
また、本発明には、次のような背景や課題がある。昨今監視カメラは多数の施設や店舗で活用され、またその映像中から特定の人物を発見する必要のあるシーンが確実に広がっている。そのなかでも特に、服装の色に基づいて特定の人物を発見するという方法においては、事件の容疑者に対する目撃情報等、あいまいな外見の特徴を元に特定人物を発見する必要がある場合において非常に有効な手段である。
【０１０５】
しかし、監視カメラで撮影された映像がカラー映像ではなくモノクロ映像の場合、モノクロ映像から服装の色を見分けることが困難なため、効果を発揮するのが難しいという問題がある。
【０１０６】
実社会ではコスト面等の理由からモノクロ映像しか撮影できない監視カメラもまだ多く設置されており、服装の色を元に特定の人物を発見する技術が有効に活用できない場面も多々存在する。このように、撮影機器の特性によって、発見したい人物を発見できない例はカラーカメラ、モノクロカメラ以外でも存在している。
【０１０７】
以上の課題に対して、本発明により、特徴情報を相互に補完して付与することが可能になるので、モノクロ映像からも服装の色の特徴を見分けることが可能になり、効率的な特定の人物の発見が実現可能となる。
【０１０８】
次に、本発明による特徴情報付加システムの最小構成について説明する。図４は、特徴情報付加システムの最小の構成例を示すブロック図である。図４に示すように、特徴情報付加システムは、最小の構成要素として、特徴情報抽出手段１０、判定手段２０、特徴情報付加手段３０とを含む。
【０１０９】
図４に示す最小構成の特徴情報付加システムでは、特徴情報抽出手段１０は、複数の撮影手段が撮影した映像データから被写体の特徴情報をそれぞれ抽出する。次いで、判定手段２０は、特徴情報抽出手段１０が抽出した特徴情報に基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が合致するか否かを判定する。次いで、特徴情報付与手段３０は、判定手段２０が合致すると判定すると、異なる撮影手段のうちの一方の映像データに他方の映像データから抽出した特徴情報を付与する。
【０１１０】
従って、最小構成の特徴情報付加システムによれば、他の撮影手段が撮影した映像から抽出した被写体の特徴情報を付加することができるため、撮影手段の特性によって抽出できる特徴情報が限定されている場合であっても、映像から任意の被写体を特定することを支援することができる。
【０１１１】
なお、本実施形態では、以下の（１）〜（５）に示すような特徴情報付加システムの特徴的構成が示されている。
【０１１２】
（１）特徴情報付加システムは、複数の撮影手段（例えば、カラーカメラやモノクロカメラ、サーモグラフィカメラなど）が撮影した映像データから被写体（例えば、人物）の特徴情報をそれぞれ抽出する特徴情報抽出手段（例えば、特徴抽出手段２３２によって実現される）と、特徴情報抽出手段が抽出した特徴情報に基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定する判定手段（例えば、照合手段２３３によって実現される）と、判定手段が同一であると判定すると、異なる撮影手段のうちの一方の撮影手段が撮影した映像データに他方の撮影手段が撮影した映像データから抽出した特徴情報を付与する特徴情報付与手段（例えば、照合手段２３３や書込手段２３４によって実現される）とを含むことを特徴とする。
【０１１３】
（２）特徴情報付加システムにおいて、特徴情報抽出手段は、特徴情報として映像データから撮影時刻を示す時刻特徴情報（例えば、時刻３４０）を抽出し、判定手段は、特徴情報抽出手段が抽出した時刻特徴情報に基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定するように構成されていてもよい。
【０１１４】
（３）特徴情報付加システムにおいて、特徴情報抽出手段は、特徴情報として映像データから人物である被写体の顔特徴を示す顔特徴情報（例えば、顔特徴３６０）を抽出し、判定手段は、特徴情報抽出手段が抽出した顔特徴情報と、時刻特徴情報とに基づいて、異なる撮影手段が撮影した映像データに含まれる被写体が同一であるか否かを判定するように構成されていてもよい。
【０１１５】
（４）特徴情報付加システムにおいて、特徴情報抽出手段は、特徴情報として、異なる撮影手段のうちの一方の撮影手段（例えば、カラーカメラ）が撮影した映像データから被写体の色特徴を示す色特徴情報（例えば、色特徴３５０）を抽出し、特徴情報付与手段は、判定手段が被写体と異なる撮影手段のうちの他方の撮影手段（例えば、モノクロカメラ）が撮影した映像データに含まれる被写体とが同一であると判定すると、他方の撮影手段が撮影した映像データに色特徴情報を付与する（例えば、特徴情報を付与して映像特徴ＤＢ装置３００に格納する）ように構成されていてもよい。
【０１１６】
（５）特徴情報付加システムにおいて、特徴情報抽出手段は、特徴情報として、異なる撮影手段のうちの一方の撮影手段（例えば、サーモグラフィカメラ）が撮影した映像データから被写体の温度特徴を示す温度特徴情報（例えば、温度特徴３７０）を抽出し、特徴情報付与手段は、判定手段が被写体と異なる撮影手段のうちの他方の撮影手段（例えば、モノクロカメラ）が撮影した映像データに含まれる被写体とが同一であると判定すると、他方の撮影手段が撮影した映像データに温度特徴情報を付与するように構成されていてもよい。
【産業上の利用可能性】
【０１１７】
本発明は、監視カメラなどが撮影した映像から任意の人物を特定する作業を支援する用途に適用可能である。
【符号の説明】
【０１１８】
１０  特徴情報抽出手段
２０  判定手段
３０  特徴情報付加手段
１００  撮影機器
１１０  撮影手段
１２０  送信手段
２００  情報処理装置
２１０  通信手段
２２０  映像処理手段
２２１  管理手段
２２２  変換手段
２３０  映像解析手段
２３１  識別手段
２３２  特徴抽出手段
２３３  照合手段
２３４  書込手段
３００  映像特徴ＤＢ装置
【図１】
2012048278.tif 000003
【図２】
2012048278.tif 000004
【図３】
2012048278.tif 000005
【図４】
2012048278.tif 000006