(57)【特許請求の範囲】
【請求項１】
第１撮像装置および第２撮像装置を含む複数の撮像装置のそれぞれにより撮像された複数の動画を取得する画像取得部と、
前記第１撮像装置により得られた動画に複数含まれる第１動画構成画像および前記第２撮像装置により得られた動画に複数含まれる第２動画構成画像を含む、前記複数の動画のそれぞれに含まれる複数の動画構成画像から、複数の特徴領域を検出する特徴領域検出部と、
前記特徴領域検出部が前記第１動画構成画像から検出した第１特徴領域および前記特徴領域検出部が前記第２動画構成画像から検出した第２特徴領域を含む前記複数の特徴領域の間の相関値を算出する相関値算出部と、
前記第１特徴領域および前記第２特徴領域を含む予め定められた値より高い相関を有する前記複数の特徴領域の中から、当該複数の特徴領域を代表する特徴領域である代表特徴領域を決定する代表特徴領域決定部と、
前記代表特徴領域を特定する情報である代表特徴領域情報を、前記第１特徴領域および前記第２特徴領域を含む前記予め定められた値より高い相関を有する前記複数の特徴領域が検出された、前記第１動画構成画像および前記第２動画構成画像を含む複数の動画構成画像に対応づけて出力する出力部と
を備える画像処理システム。
【請求項２】
前記代表特徴領域決定部は、特徴領域の画像内容に関して予め定められた値より高い相関を有する前記複数の特徴領域の中から、前記代表特徴領域を決定する
請求項１に記載の画像処理システム。
【請求項３】
前記代表特徴領域決定部は、特徴領域の画像内容の一致度が予め定められた値より大きい前記複数の特徴領域の中から、前記代表特徴領域を決定する
請求項２に記載の画像処理システム。
【請求項４】
前記代表特徴領域決定部は、特徴領域の画像内容に関して予め定められた値より高い相関を有する前記複数の特徴領域の中から、予め定められた画像内容に関する条件に適合する特徴領域を、前記代表特徴領域として決定する
請求項２に記載の画像処理システム。
【請求項５】
前記代表特徴領域決定部は、特徴領域の画像に含まれるオブジェクトの種類に関して予め定められた値より高い相関を有する前記複数の特徴領域の中から、前記代表特徴領域を決定する
請求項２に記載の画像処理システム。
【請求項６】
前記代表特徴領域決定部は、特徴領域の画像に含まれるオブジェクトの形状に関して予め定められた値より高い相関を有する前記複数の特徴領域の中から、前記代表特徴領域を決定する
請求項２に記載の画像処理システム。
【請求項７】
前記代表特徴領域決定部は、特徴領域の画像に含まれる色に関して予め定められた値より高い相関を有する前記複数の特徴領域の中から、前記代表特徴領域を決定する
請求項２に記載の画像処理システム。
【請求項８】
前記代表特徴領域決定部は、特徴領域の形状に関して予め定められた値より高い相関を有する前記複数の特徴領域の中から、前記代表特徴領域を決定する
請求項１に記載の画像処理システム。
【請求項９】
前記代表特徴領域決定部は、特徴領域の大きさに関して予め定められた値より高い相関を有する前記複数の特徴領域の中から、前記代表特徴領域を決定する
請求項１に記載の画像処理システム。
【請求項１０】
前記代表特徴領域決定部は、特徴領域の位置に関して予め定められた値より高い相関を有する前記複数の特徴領域の中から、前記代表特徴領域を決定する
請求項１に記載の画像処理システム。
【請求項１１】
前記代表特徴領域決定部は、特徴領域の位置の変化に関して予め定められた値より高い相関を有する前記複数の特徴領域の中から、前記代表特徴領域を決定する
請求項１０に記載の画像処理システム。
【請求項１２】
前記代表特徴領域決定部は、特徴領域の位置の移動方向に関して予め定められた値より高い相関を有する前記複数の特徴領域の中から、前記代表特徴領域を決定する
請求項１１に記載の画像処理システム。
【請求項１３】
前記代表特徴領域決定部は、特徴領域の位置の移動速度に関して予め定められた値より高い相関を有する前記複数の特徴領域の中から、前記代表特徴領域を決定する
請求項１１に記載の画像処理システム。
【請求項１４】
前記予め定められた値より高い相関を有する前記第１特徴領域および前記第２特徴領域が前記第１撮像装置および前記第２撮像装置により略同一のタイミングで撮像された前記第１動画構成画像および前記第２動画構成画像から検出された特徴領域である場合に、当該略同一のタイミングで撮像された前記第１動画構成画像および前記第２動画構成画像の中から、予め定められた条件に適合する一の動画構成画像を、前記代表特徴領域情報を対応づけるべき動画構成画像として選択する選択手段
をさらに備え、
前記出力部は、前記選択手段により選択された前記一の動画構成画像に前記代表特徴領域情報を対応づけて出力する
請求項１から１３のいずれか一項に記載の画像処理システム。
【請求項１５】
複数の撮像装置のそれぞれにより撮像された複数の動画を取得する画像取得部と、
前記複数の動画のそれぞれに含まれる複数の動画構成画像から、複数の特徴領域を検出する特徴領域検出部と、
特徴領域の位置の移動速度に関して予め定められた値より高い相関を有する前記複数の特徴領域の中から、当該複数の特徴領域を代表する特徴領域である代表特徴領域を決定する代表特徴領域決定部と、
前記代表特徴領域を特定する情報である代表特徴領域情報を、前記予め定められた値より高い相関を有する前記複数の特徴領域を有する複数の動画構成画像に対応づけて出力する出力部と
を備える画像処理システム。
【請求項１６】
前記出力部から出力された複数の動画構成画像のうち、所定の条件に適合する代表特徴領域を示す前記代表特徴領域情報に対応づけられた前記複数の動画構成画像を検索する動画構成画像検索部
をさらに備える請求項１から１５のいずれか一項に記載の画像処理システム。
【請求項１７】
前記動画構成画像検索部により検索された前記複数の動画構成画像を含む動画を出力する動画出力部
をさらに備える請求項１６に記載の画像処理システム。
【請求項１８】
前記動画に含まれる動画構成画像を、前記特徴領域と前記特徴領域以外の背景領域とで異なる強度で圧縮する圧縮部
をさらに備え、
前記出力部は、前記圧縮部により圧縮された動画を出力する
請求項１から１７のいずれか一項に記載の画像処理システム。
【請求項１９】
前記圧縮部は、
前記動画に含まれる動画構成画像を、前記特徴領域と、前記特徴領域以外の背景領域とに分割する画像分割部と、
前記特徴領域の画像である特徴領域画像と前記背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する圧縮処理部と
を有する請求項１８に記載の画像処理システム。
【請求項２０】
前記画像分割部は、前記動画に含まれる複数の動画構成画像のそれぞれを、前記特徴領域と前記背景領域とに分割し、
前記圧縮処理部は、前記特徴領域画像を複数含む特徴領域動画と前記背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する
請求項１９に記載の画像処理システム。
【請求項２１】
前記圧縮部は、
前記動画に含まれる前記動画構成画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも前記特徴領域において前記低画質画像より高画質な特徴領域画像を生成する画像生成部と、
前記特徴領域画像における前記特徴領域の画像と、前記低画質画像における前記特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する差分処理部と、
前記特徴領域差分画像および前記低画質画像をそれぞれ符号化する符号化部と
を有する請求項１８に記載の画像処理システム。
【請求項２２】
前記画像生成部は、前記動画に含まれる前記動画構成画像から解像度が低減された前記低画質画像を生成し、
前記差分処理部は、前記特徴領域画像における前記特徴領域の画像と、前記低画質画像における前記特徴領域の画像を拡大した画像との間の前記特徴領域差分画像を生成する
請求項２１に記載の画像処理システム。
【請求項２３】
前記差分処理部は、前記特徴領域において前記特徴領域画像と前記拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、前記特徴領域以外の領域において前記空間周波数成分のデータ量が低減された前記特徴領域差分画像を生成する
請求項２２に記載の画像処理システム。
【請求項２４】
コンピュータを、請求項１から２３のいずれか一項に記載の画像処理システムとして機能させるためのプログラム。
【請求項２５】
第１撮像装置および第２撮像装置を含む複数の撮像装置のそれぞれにより撮像された複数の動画を取得する画像取得段階と、
前記第１撮像装置により得られた動画に複数含まれる第１動画構成画像および前記第２撮像装置により得られた動画に複数含まれる第２動画構成画像を含む、前記複数の動画のそれぞれに含まれる複数の動画構成画像から、複数の特徴領域を検出する特徴領域検出段階と、
前記特徴領域検出段階で前記第１動画構成画像から検出された第１特徴領域および前記特徴領域検出段階で前記第２動画構成画像から検出された第２特徴領域を含む前記複数の特徴領域の間の相関値を算出する相関値算出段階と、
前記第１特徴領域および前記第２特徴領域を含む予め定められた値より高い相関を有する前記複数の特徴領域の中から、当該複数の特徴領域を代表する特徴領域である代表特徴領域を決定する代表特徴領域決定段階と、
前記代表特徴領域を特定する情報である代表特徴領域情報を、前記第１特徴領域および前記第２特徴領域を含む前記予め定められた値より高い相関を有する前記複数の特徴領域が検出された、前記第１動画構成画像および前記第２動画構成画像を含む複数の動画構成画像に対応づけて出力する出力段階と
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法、およびプログラムに関する。本発明は、特に、画像を処理する画像処理システムおよび画像処理方法、ならびに画像処理システム用のプログラムに関する。
【背景技術】
【０００２】
撮像領域が重複して設定された複数のカメラからの画像から車番を認識する車番認識システムが知られている（例えば、特許文献１参照。）。この、車番認識システムでは、移動体が先頭のカメラで検知されると、各カメラが同時に撮像して、対応するカメラからの画像を処理してナンバープレート領域を絞り、文字認識により、車番および一連番号などの要素毎の部分データが抽出される。そして、同一車番の部分データを合成して完成データを作成して中央管制装置等に出力する。
【０００３】
また、一台の監視ビデオカメラの使用の下に、低解像度の全体画像および高解像度の部分画像を記録して、監視操作者の指示に応じて、高精細あるいは拡大して再生表示する追尾映像監視装置が知られている（例えば、特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−５３１６号公報
【特許文献２】特開２００６−３３７９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献に記載の技術では、各カメラにより得られた各映像の中から、同じ物体が写された部分のフレームを後で速やかに抽出することができない。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の第１の態様によると、画像処理システムであって、複数の撮像装置のそれぞれにより撮像された複数の動画を取得する画像取得部と、複数の動画のそれぞれに含まれる複数の動画構成画像から、複数の特徴領域を検出する特徴領域検出部と、予め定められた値より高い相関を有する複数の特徴領域の中から、当該複数の特徴領域を代表する特徴領域ある代表特徴領域を決定する代表特徴領域決定部と、代表特徴領域を特定する情報である代表特徴領域情報を、予め定められた値より高い相関を有する複数の特徴領域を有する複数の動画構成画像に対応づけて出力する出力部とを備える。
【０００７】
本発明の第２の態様によると、画像処理方法であって、複数の撮像装置のそれぞれにより撮像された複数の動画を取得する画像取得段階と、複数の動画のそれぞれに含まれる複数の動画構成画像から、複数の特徴領域を検出する特徴領域検出段階と、予め定められた値より高い相関を有する複数の特徴領域の中から、当該複数の特徴領域を代表する特徴領域である代表特徴領域を決定する代表特徴領域決定段階と、代表特徴領域を特定する情報である代表特徴領域情報を、予め定められた値より高い相関を有する複数の特徴領域を有する複数の動画構成画像に対応づけて出力する出力段階とを備える。
【０００８】
本発明の第３の態様によると、画像処理システム用のプログラムであって、コンピュータを、複数の撮像装置のそれぞれにより撮像された複数の動画を取得する画像取得部、複数の動画のそれぞれに含まれる複数の動画構成画像から、複数の特徴領域を検出する特徴領域検出部、予め定められた値より高い相関を有する複数の特徴領域の中から、当該複数の特徴領域を代表する特徴領域である代表特徴領域を決定する代表特徴領域決定部、代表特徴領域を特定する情報である代表特徴領域情報を、予め定められた値より高い相関を有する複数の特徴領域を有する複数の動画構成画像に対応づけて出力する出力部として機能させる。
【０００９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態に係わる画像処理システム１０の一例を示す図である。
【図２】画像処理装置１２０のブロック構成の一例を示す図である。
【図３】圧縮部２３０のブロック構成の一例を示す図である。
【図４】画像処理装置１７０のブロック構成の一例を示す図である。
【図５】圧縮部２３０の他のブロック構成の一例を示す図である。
【図６】異なる撮像装置１００から得られた動画の一例を示す図である。
【図７】対応付け処理部２０６によって撮像画像、特徴領域情報が関連づけされた状態をテーブル形式で示す図である。
【図８】表示装置１８０が表示する検索指示受付画面８００の一例を示す図である。
【図９】表示装置１８０によって表示される代表特徴領域の動画を示す図である。
【図１０】相関を算出する算出パラメータの一例を示す図である。
【図１１】画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、一実施形態に係わる画像処理システム１０の一例を示す。なお、画像処理システム１０は、以下に説明するように、監視システムとして機能することができる。
【００１３】
画像処理システム１０は、監視対象空間１５０を撮像する複数の撮像装置１００ａ−ｄ（以下、撮像装置１００と総称する。）、撮像装置１００により撮像された撮像画像を処理する画像処理装置１２０、通信ネットワーク１１０、画像処理装置１７０、画像ＤＢ１７５、および複数の表示装置１８０ａ−ｄ（以下、表示装置１８０と総称する。）を備える。画像処理装置１７０および表示装置１８０は、監視対象空間１５０と異なる空間１６０に設けられている。
【００１４】
撮像装置１００ａは、撮像部１０２ａおよび撮像動画圧縮部１０４ａを有している。撮像部１０２ａは、連続して監視対象空間１５０を撮像することによって複数の撮像画像を撮像する。そして、撮像部１０２ａは、複数の撮像画像を含む撮像動画を生成する。撮像動画圧縮部１０４ａは、撮像部１０２ａにより撮像された撮像動画をＭＰＥＧ符号化等により圧縮して、撮像動画データを生成する。このように、撮像装置１００ａは、監視対象空間１５０を撮像して得られた撮像動画を符号化して撮像動画データを生成する。撮像装置１００ａは、当該撮像動画データを画像処理装置１２０に出力する。
【００１５】
なお、撮像部１０２ａは、予め定められた基準撮像レートより高い撮像レートで被写体を連続的に撮像してよい。例えば、撮像部１０２ａは、監視対象である監視対象物の動き速度に応じて予め定められた基準撮像レートより高い撮像レートで被写体を連続的に撮像してよい。
【００１６】
なお、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄは、それぞれ撮像装置１００ａと同様の構成を有するので、撮像装置１００ｂ、撮像装置１００ｃ、および撮像装置１００ｄの各構成要素の説明を省略する。このようにして、画像処理装置１２０は、複数の撮像装置１００のそれぞれにより生成された撮像動画データを、複数の撮像装置１００のそれぞれから取得する。
【００１７】
そして、画像処理装置１２０は、撮像装置１００から取得した撮像動画データを復号して撮像動画を取得する。画像処理装置１２０は、取得した撮像動画に含まれる複数の撮像画像のそれぞれから、人物１３０が撮像された領域、車輌等の移動体１４０が撮像された領域等のように、特徴の種類が異なる複数の特徴領域を検出する。そして、画像処理装置１２０は、各撮像動画に含まれる各撮像画像の中から、検出された特徴領域の画像内容に関して相関が高い特徴領域の組を特定する。そして、画像処理装置１２０は、特定した特徴領域の組の中から代表的な特徴領域である代表特徴領域を決定して、当該代表特徴領域を識別する識別情報と、各撮像画像を識別する情報とが対応づけられた特徴領域情報を生成する。
【００１８】
なお、画像処理装置１２０は、撮像画像から検出された特徴領域を特定する情報を含む特徴領域情報を生成する。そして、画像処理装置１２０は、特徴領域情報を圧縮動画データに付帯して、通信ネットワーク１１０を通じて画像処理装置１７０に送信する。
【００１９】
画像処理装置１７０は、特徴領域情報が対応づけられた圧縮動画データを画像処理装置１２０から受信する。そして、画像処理装置１７０は、受信した圧縮動画データを、対応づけられている特徴領域情報を用いて伸張して表示用動画を生成して、生成した表示用動画を表示装置１８０に供給する。表示装置１８０は、画像処理装置１７０から供給された表示用動画を表示する。
【００２０】
また、画像処理装置１７０は、圧縮動画データに対応づけられている特徴領域情報に対応づけて、当該圧縮動画データを画像ＤＢ１７５に記録してもよい。そして、画像処理装置１７０は、表示装置１８０からの要求に応じて、画像ＤＢ１７５から圧縮動画データおよび特徴領域情報を読み出して、読み出した圧縮動画データを特徴領域情報を利用して伸張して表示用動画を生成して、表示装置１８０に供給してもよい。
【００２１】
なお、特徴領域情報は、代表特徴領域を識別する識別情報、特徴領域の位置、特徴領域の大きさ、特徴領域の数、特徴領域が検出された撮像画像を識別する識別情報等を含むテキストデータ、もしくは当該テキストデータに圧縮、暗号化等の処理が施されたデータであってよい。そして、画像処理装置１７０は、代表徴領域の画像を表示して、監視者に提示する。そして、画像処理装置１７０は、検索すべき被写体が撮像されている代表特徴領域の画像が監視者によって選択されると、選択された代表特徴領域を識別する識別情報に対応づけられた撮像画像を選択して、選択した撮像画像を連続して表示装置１８０に動画表示させる。
【００２２】
このように、画像処理システム１０によると、代表特徴領域を動画に対応づけて記録しているので、動画における所定の条件に適合する撮像画像群を高速に検索、頭出しをすることができる。また、画像処理システム１０によると、所定の条件に適合する撮像画像群だけ復号することができるので、再生指示に即応して速やかに所定の条件に適合する部分動画を表示することができる。
【００２３】
図２は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、画像取得部２５０、特徴領域検出部２０３、圧縮制御部２１０、特徴領域情報格納部２２０、圧縮部２３０、相関算出部２６０、代表特徴領域決定部２７０、対応付け処理部２０６、および出力部２０７を備える。画像取得部２５０は、圧縮動画取得部２０１および圧縮動画伸張部２０２を有する。
【００２４】
圧縮動画取得部２０１は、圧縮された動画を取得する。具体的には、圧縮動画取得部２０１は、撮像装置１００が生成した、符号化された撮像動画データを取得する。圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した撮像動画データを伸張して、撮像動画に含まれる複数の撮像画像を生成する。具体的には、圧縮動画伸張部２０２は、圧縮動画取得部２０１が取得した、符号化された撮像動画データを復号して、撮像動画に含まれる複数の撮像画像を生成する。なお、撮像動画に含まれる撮像画像は、フレーム画像およびフィールド画像であってよい。なお、本実施形態における撮像画像は、この発明における動画構成画像の一例であってよい。このように、画像取得部２５０は、複数の撮像装置１００のそれぞれにより撮像された複数の動画を取得する。
【００２５】
圧縮動画伸張部２０２によって得られた複数の撮像画像は、特徴領域検出部および圧縮部２３０に供給される。特徴領域検出部２０３は、複数の撮像画像を含む動画から特徴領域を検出する。具体的には、特徴領域検出部２０３は、複数の撮像画像のそれぞれから特徴領域を検出する。なお、上記における撮像動画は、以下の説明における動画の一例であってよい。
【００２６】
例えば、特徴領域検出部２０３は、動く物体を示すオブジェクトを含む領域を特徴領域として検出してよい。なお、特徴領域検出部２０３は、複数の撮像画像のそれぞれから、特徴の種類が異なる複数の特徴領域を検出してよい。なお、特徴の種類とは、人物と移動体等のように、オブジェクトの種類を指標にしてよい。オブジェクトの種類は、オブジェクトの形状またはオブジェクトの色の一致度に基づいて決定されてよい。このように、特徴領域検出部２０３は、複数の撮像画像から、含まれるオブジェクトの種類が異なる複数の特徴領域を検出してよい。
【００２７】
例えば、特徴領域検出部２０３は、予め定められた形状パターンに予め定められた一致度以上の一致度で一致するオブジェクトを複数の撮像画像のそれぞれから抽出して、抽出したオブジェクトを含む撮像画像における領域を、特徴の種類が同じ特徴領域として検出してよい。なお、形状パターンは、特徴の種類毎に複数定められてよい。また、形状パターンの一例としては、人物の顔の形状パターンを例示することができる。なお、複数の人物毎に異なる顔のパターンが定められてよい。これにより、特徴領域検出部２０３は、異なる人物をそれぞれ含む異なる領域を、異なる特徴領域として検出することができる。
【００２８】
このように、特徴領域検出部２０３は、複数の動画のそれぞれに含まれる複数の撮像画像から、複数の特徴領域を検出する。そして、特徴領域検出部２０３は、検出した特徴領域を示す情報を、圧縮制御部２１０および特徴領域情報格納部２２０に供給する。なお、特徴領域を示す情報とは、特徴領域の位置を示す特徴領域の座標情報、特徴領域の種類を示す種類情報、および特徴領域が検出された撮像動画を識別する情報を含む。
【００２９】
特徴領域情報格納部２２０は、複数の動画に含まれる複数の撮像画像から特徴領域検出部２０３によって検出された複数の特徴領域の画像および特徴領域の位置および大きさを識別する情報を格納する。なお、特徴領域情報格納部２２０は、当該特徴領域の画像を一時的に記憶してよい。また、特徴領域情報格納部２２０は、当該特徴領域の画像を一時的に記憶する揮発性メモリを含んでよい。
【００３０】
相関算出部２６０は、特徴領域情報格納部２２０に記憶された複数の特徴領域の間の相関を算出する。具体的には、相関算出部２６０は、特徴領域の画像内容に関する相関値を算出してよい。より具体的には、相関算出部２６０は、特徴領域の画像内容の一致度を指標とする相関値を算出してよい。例えば、相関算出部２６０は、画像内容の一致度がより大きい特徴領域の間の相関値をより高く算出してよい。
【００３１】
他にも、相関算出部２６０は、特徴領域の画像に含まれるオブジェクトの種類に関する相関値を算出してよい。例えば、相関算出部２６０は、同じ種類のオブジェクトを含む特徴領域の間の相関値をより高く算出してよい。他にも、相関算出部２６０は、特徴領域の画像に含まれるオブジェクトの形状に関する相関値を算出してよい。例えば、相関算出部２６０は、含まれるオブジェクトの形状の一致度がより大きい特徴領域の間の相関値をより高く算出してよい。他にも、相関算出部２６０は、特徴領域の画像に含まれる色に関する相関値を算出してよい。例えば、相関算出部２６０は、類似した色をより多く含む特徴領域の間の相関値をより高く算出してよい。
【００３２】
他にも、相関算出部２６０は、特徴領域の形状に関する相関値を算出してよい。例えば、相関算出部２６０は、特徴領域の形状の一致度がより大きい特徴領域の間の相関値をより高く算出してよい。他にも、相関算出部２６０は、特徴領域の大きさに関する相関値を算出してよい。例えば、相関算出部２６０は、特徴領域の大きさの一致度がより大きい特徴領域の間の相関値をより高く算出してよい。他にも、相関算出部２６０は、特徴領域の位置に関する相関値を算出してよい。例えば、相関算出部２６０は、撮像画像上においてより近い位置に存在する特徴領域の間の相関値をより高く算出してよい。
【００３３】
他にも、相関算出部２６０は、特徴領域の位置の変化に関する相関値を算出してよい。例えば、相関算出部２６０は、特徴領域の位置の変化の一致度がより大きい特徴領域の間の相関値をより高く算出してよい。具体的には、相関算出部２６０は、特徴領域の位置の移動方向に関する相関値を算出してよい。相関算出部２６０は、特徴領域の位置の移動方向の一致度がより大きい特徴領域の間の相関値をより高く算出してよい。他にも、相関算出部２６０は、特徴領域の位置の移動速度に関する相関値を算出してよい。例えば、相関算出部２６０は、特徴領域の位置の移動速度の一致度がより大きい特徴領域の間の相関値をより高く算出してよい。
【００３４】
そして、代表特徴領域決定部２７０は、相関算出部２６０が算出した相関値に基づき、予め定められた値より高い相関値を有する複数の特徴領域を選択する。そして、代表特徴領域決定部２７０は、当該予め定められた値より高い相関を有する複数の特徴領域の中から、当該複数の特徴領域を代表する特徴領域である代表特徴領域を決定する。
【００３５】
具体的には、代表特徴領域決定部２７０は、特徴領域の画像内容に関して予め定められた値より高い相関を有する複数の特徴領域の中から、代表特徴領域を決定する。例えば、代表特徴領域決定部２７０は、特徴領域の画像内容の一致度が予め定められた値より大きい複数の特徴領域の中から、代表特徴領域を決定してよい。
【００３６】
他にも、代表特徴領域決定部２７０は、特徴領域の画像内容に関して予め定められた値より高い相関を有する複数の特徴領域の中から、予め定められた画像内容に関する条件に適合する特徴領域を、代表特徴領域として決定してもよい。例えば、代表特徴領域決定部２７０は、撮像された被写体を識別し易い被写体像を含む特徴領域を、代表特徴領域としてより優先して決定してよい。一例として、代表特徴領域決定部２７０は、より大きい顔画像を含む特徴領域を、代表特徴領域としてより優先して決定してよい。他にも、代表特徴領域決定部２７０は、予め定められた角度により近い角度から撮像されて得られた顔画像を含む特徴領域を、代表特徴領域としてより優先して決定してよい。
【００３７】
他にも、代表特徴領域決定部２７０は、相関算出部２６０によって算出された他の相関値に基いて代表特徴領域を決定してよい。例えば、代表特徴領域決定部２７０は、特徴領域の画像に含まれるオブジェクトの種類に関して予め定められた値より高い相関を有する複数の特徴領域の中から、代表特徴領域を決定してよい。また、代表特徴領域決定部２７０は、特徴領域の画像に含まれるオブジェクトの形状に関して予め定められた値より高い相関を有する複数の特徴領域の中から、代表特徴領域を決定してよい。また、代表特徴領域決定部２７０は、特徴領域の画像に含まれる色に関して予め定められた値より高い相関を有する複数の特徴領域の中から、代表特徴領域を決定してよい。
【００３８】
また、代表特徴領域決定部２７０は、特徴領域の形状に関して予め定められた値より高い相関を有する複数の特徴領域の中から、代表特徴領域を決定してもよい。また、代表特徴領域決定部２７０は、特徴領域の大きさに関して予め定められた値より高い相関を有する複数の特徴領域の中から、代表特徴領域を決定してもよい。
【００３９】
また、代表特徴領域決定部２７０は、特徴領域の位置に関して予め定められた値より高い相関を有する複数の特徴領域の中から、代表特徴領域を決定してもよい。具体的には、代表特徴領域決定部２７０は、特徴領域の位置の変化に関して予め定められた値より高い相関を有する複数の特徴領域の中から、代表特徴領域を決定してよい。より具体的には、代表特徴領域決定部２７０は、特徴領域の位置の移動方向に関して予め定められた値より高い相関を有する複数の特徴領域の中から、代表特徴領域を決定してよい。他にも、代表特徴領域決定部２７０は、特徴領域の位置の移動速度に関して予め定められた値より高い相関を有する複数の特徴領域の中から、代表特徴領域を決定してもよい。
【００４０】
圧縮制御部２１０は、特徴領域検出部２０３から取得した特徴領域を示す情報に基づいて、特徴領域に応じて圧縮部２３０による動画の圧縮処理を制御する。圧縮部２３０は、特徴領域検出部２０３により検出された特徴領域以外の領域の画質を低減することによって、複数の撮像画像を圧縮する。なお、圧縮部２３０は、圧縮された複数の撮像画像を複数含む圧縮動画を生成する。なお、圧縮部２３０のより具体的な圧縮動作については、後に説明する。
【００４１】
対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報および代表特徴領域決定部２７０によって決定された代表特徴領域を特定する情報を、撮像画像に対応づける。具体的には、対応付け処理部２０６は、撮像画像から検出された特徴領域を特定する情報および代表特徴領域決定部２７０によって決定された代表特徴領域を特定する情報を、撮像画像を動画構成画像として含む圧縮動画に対応づける。そして、出力部２０７は、対応付け処理部２０６によって特徴領域が対応付けされた圧縮動画を、画像処理装置１７０に出力する。
【００４２】
このように、出力部２０７は、代表特徴領域を特定する情報である代表特徴領域情報を、予め定められた値より高い相関を有する複数の特徴領域を有する複数の撮像画像に対応づけて出力する。これにより、画像処理装置１７０において、所定の条件に適合する代表特徴領域を識別する情報が対応づけられた撮像画像を速やかに選択することができる。
【００４３】
図３は、圧縮部２３０のブロック構成の一例を示す。圧縮部２３０は、画像分割部２３２、複数の固定値化部２３４ａ−ｃ（以下、固定値化部２３４と総称する場合がある。）、および複数の圧縮処理部２３６ａ−ｄ（以下、圧縮処理部２３６と総称する場合がある。）を有する。
【００４４】
画像分割部２３２は、画像取得部２５０から複数の撮像画像を取得する。そして、画像分割部２３２は、複数の撮像画像を、特徴領域と、特徴領域以外の背景領域とに分割する。具体的には、画像分割部２３２は、複数の撮像画像を、複数の特徴領域のそれぞれと、特徴領域以外の背景領域とに分割する。このように、画像分割部２３２は、複数の撮像画像のそれぞれを、特徴領域と背景領域とに分割する。そして、圧縮処理部２３６は、特徴領域の画像である特徴領域画像と背景領域の画像である背景領域画像とを、それぞれ異なる強度で圧縮する。具体的には、圧縮処理部２３６は、特徴領域画像を複数含む特徴領域動画と背景領域画像を複数含む背景領域動画とを、それぞれ異なる強度で圧縮する。
【００４５】
具体的には、画像分割部２３２は、複数の撮像画像を分割することにより、複数の特徴の種類毎に特徴領域動画を生成する。そして、固定値化部２３４は、特徴の種類毎に生成された複数の特徴領域動画に含まれる特徴領域画像のそれぞれについて、それぞれの特徴の種類の特徴領域以外の領域の画素値を固定値化する。具体的には、固定値化部２３４は、特徴領域以外の領域の画素値を予め定められた画素値にする。そして、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類毎に、複数の特徴領域動画をＭＰＥＧ圧縮する。
【００４６】
固定値化部２３４ａ、固定値化部２３４ｂ、および固定値化部２３４ｃは、それぞれ第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を固定値化する。そして、圧縮処理部２３６ａ、圧縮処理部２３６ｂ、および圧縮処理部２３６ｃは、第１の特徴の種類の特徴領域動画、第２の特徴の種類の特徴領域動画、および第３の特徴の種類の特徴領域動画を圧縮する。
【００４７】
なお、圧縮処理部２３６ａ−ｃは、特徴の種類に応じて予め定められた強度で特徴領域動画を圧縮する。例えば、圧縮処理部２３６は、特徴の種類に応じて予め定められた異なる解像度に特徴領域動画を変換して、変換した特徴領域動画を圧縮してよい。他にも、圧縮処理部２３６は、ＭＰＥＧ符号化により特徴領域動画を圧縮する場合には、特徴の種類に応じて予め定められた異なる量子化パラメータで特徴領域動画を圧縮してよい。
【００４８】
なお、圧縮処理部２３６ｄは、背景領域動画を圧縮する。なお、圧縮処理部２３６ｄは、圧縮処理部２３６ａ−ｃのいずれによる強度より高い強度で背景領域動画を圧縮してよい。圧縮処理部２３６によって圧縮された特徴領域動画および背景領域動画は、対応付け処理部２０６に供給される。
【００４９】
なお、特徴領域以外の領域が固定値化部２３４によって固定値化されているので、圧縮処理部２３６がＭＰＥＧ符号化等によって予測符号化する場合に、特徴領域以外の領域において予測画像との間の画像の差分量を著しく低減することができる。したがって、特徴領域動画の圧縮率を著しく高めることができる。
【００５０】
図４は、画像処理装置１７０のブロック構成の一例を示す。画像処理装置１７０は、圧縮画像取得部３０１、対応付け解析部３０２、伸張制御部３１０、伸張部３２０、合成部３３０、出力部３４０、検索指示取得部３５０、動画構成画像検索部３６０、および動画出力部３７０を備える。
【００５１】
圧縮画像取得部３０１は、圧縮部２３０により圧縮された撮像画像を含む圧縮動画を取得する。具体的には、圧縮画像取得部３０１は、複数の特徴領域動画および背景領域動画を含む圧縮動画を取得する。より具体的には、圧縮画像取得部３０１は、特徴領域情報が付帯された圧縮動画を取得する。
【００５２】
そして、対応付け解析部３０２は、複数の特徴領域動画および背景領域動画と特徴領域情報とに分離して、複数の特徴領域動画および背景領域動画を伸張部３２０に供給する。また、対応付け解析部３０２は、特徴領域情報を解析して、特徴領域の位置および特徴の種類を伸張制御部３１０に供給する。伸張制御部３１０は、対応付け解析部３０２から取得した特徴領域の位置および特徴の種類に応じて、伸張部３２０による伸張処理を制御する。例えば、伸張制御部３１０は、特徴領域の位置および特徴の種類に応じて圧縮部２３０が動画の各領域を圧縮した圧縮方式に応じて、伸張部３２０に圧縮動画が示す動画の各領域を伸張させる。
【００５３】
以下に、伸張部３２０が有する各構成要素の動作を説明する。伸張部３２０は、複数の復号器３２２ａ−ｄ（以下、復号器３２２と総称する。）を有する。復号器３２２は、符号化された複数の特徴領域動画および背景領域動画のいずれかを復号する。具体的には、復号器３２２ａ、復号器３２２ｂ、復号器３２２ｃ、および復号器３２２ｄは、それぞれ第１特徴領域動画、第２特徴領域動画、第３特徴領域動、および背景領域動画を復号する。
【００５４】
合成部３３０は、伸張部３２０によって伸張された複数の特徴領域動画および背景領域動画を合成して、一の表示動画を生成する。具体的には、合成部３３０は、背景領域動画に含まれる撮像画像に、複数の特徴領域動画に含まれる撮像画像上の特徴領域の画像を合成することによって、一の表示動画を生成する。出力部３４０は、対応付け解析部３０２から取得した特徴領域情報および表示動画を表示装置１８０または画像ＤＢ１７５に出力する。なお、画像ＤＢ１７５は、特徴領域情報が示す特徴領域の位置、特徴領域の特徴の種類、特徴領域の数を、表示動画に含まれる撮像画像を識別する情報に対応づけて、ハードディスク等の不揮発性の記録媒体に記録してよい。
【００５５】
検索指示取得部３５０は、撮像画像を検索すべき旨の指示を取得する。例えば、監視者による監視者端末の操作により、表示すべき特徴領域である代表特徴領域を識別する識別情報が、監視者端末から画像処理装置１７０に送信される。検索指示取得部３５０は、監視者端末から送信された代表特徴領域を識別する識別情報を取得する。このように、検索指示取得部３５０は、監視者からの検索指示によって示される代表特徴領域が適合すべき条件を、動画構成画像検索部３６０に供給する。
【００５６】
そして、動画構成画像検索部３６０は、検索指示取得部３５０から供給された条件に適合する代表特徴領域を示す代表特徴領域に対応づけられた複数の撮像画像を検索する。このように、動画構成画像検索部３６０は、出力部２０７から出力された複数の撮像画像のうち、所定の条件に適合する代表特徴領域を示す代表特徴領域情報に対応づけられた複数の撮像画像を検索する。
【００５７】
動画出力部３７０は、動画構成画像検索部３６０により検索された複数の撮像画像を含む動画を出力する。具体的には、動画出力部３７０は、動画構成画像検索部３６０により検索された、複数の動画に含まれる複数の撮像画像を含む動画を出力する。なお、動画出力部３７０は、それら複数の撮像画像を含む動画を、表示装置１８０に表示させる。
【００５８】
図５は、圧縮部２３０の他のブロック構成の一例を示す。本構成における圧縮部２３０は、特徴の種類に応じた空間スケーラブルな符号化処理によって複数の撮像画像を圧縮する。
【００５９】
本構成における圧縮部２３０は、画質変換部５１０、差分処理部５２０、および符号化部５３０を有する。差分処理部５２０は、複数の階層間差分処理部５２２ａ−ｄ（以下、階層間差分処理部５２２と総称する。）を含む。符号化部５３０は、複数の符号器５３２ａ−ｄ（以下、符号器５３２と総称する。）を含む。
【００６０】
画質変換部５１０は、画像取得部２５０から複数の撮像画像を取得する。また、画質変換部５１０は、特徴領域検出部２０３が検出した特徴領域を特定する情報および特徴領域の特徴の種類を特定する情報を取得する。そして、画質変換部５１０は、撮像画像を複製することにより、特徴領域の特徴の種類の数の撮像画像を生成する。そして、画質変換部５１０は、生成した撮像画像を、特徴の種類に応じた解像度の画像に変換する。
【００６１】
例えば、画質変換部５１０は、背景領域に応じた解像度に変換された撮像画像（以後、低解像度画像と呼ぶ。）、第１の特徴の種類に応じた第１解像度に変換された撮像画像（第１解像度画像と呼ぶ。）、第２の特徴の種類に応じた第２解像度に変換された撮像画像（第２解像度画像と呼ぶ。）、および第３の特徴の種類に応じた第３解像度に変換された撮像画像（第３解像度画像と呼ぶ。）を生成する。なお、ここでは、第１解像度画像は低解像度画像より解像度が高く、第２解像度画像は第１解像度画像より解像度が高く、第３解像度画像は第２解像度画像より解像度が高いとする。
【００６２】
そして、画質変換部５１０は、低解像度画像、第１解像度画像、第２解像度画像、および第３解像度画像を、それぞれ階層間差分処理部５２２ｄ、階層間差分処理部５２２ａ、階層間差分処理部５２２ｂ、および階層間差分処理部５２２ｃに供給する。なお、画質変換部５１０は、複数の撮像画像のそれぞれについて上記の画質変換処理することにより、階層間差分処理部５２２のそれぞれに動画を供給する。
【００６３】
なお、画質変換部５１０は、特徴領域の特徴の種類に応じて、階層間差分処理部５２２のそれぞれに供給する動画のフレームレートを変換してよい。例えば、画質変換部５１０は、階層間差分処理部５２２ａに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｄに供給してよい。また、画質変換部５１０は、階層間差分処理部５２２ｂに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ａに供給してよく、階層間差分処理部５２２ｃに供給する動画より低いフレームレートの動画を階層間差分処理部５２２ｂに供給してよい。なお、画質変換部５１０は、特徴領域の特徴の種類に応じて撮像画像を間引くことによって、階層間差分処理部５２２に供給する動画のフレームレートを変換してよい。
【００６４】
階層間差分処理部５２２ｄおよび符号器５３２ｄは、複数の低解像度画像を含む背景領域動画を予測符号化する。具体的には、階層間差分処理部５２２は、他の低解像度画像から生成された予測画像との差分画像を生成する。そして、符号器５３２ｄは、差分画像を空間周波数成分に変換して得られた変換係数を量子化して、量子化された変換係数をエントロピー符号化等により符号化する。なお、このような予測符号化処理は、低解像度画像の部分領域毎に行われてよい。
【００６５】
また、階層間差分処理部５２２ａは、画質変換部５１０から供給された複数の第１解像度画像を含む第１特徴領域動画を予測符号化する。同様に、階層間差分処理部５２２ｂおよび階層間差分処理部５２２ｃは、それぞれ複数の第２解像度画像を含む第２特徴領域動画および複数の第３解像度画像を含む第３特徴領域動画を予測符号化する。以下に、階層間差分処理部５２２ａおよび符号器５３２ａの具体的な動作について説明する。
【００６６】
階層間差分処理部５２２ａは、符号器５３２ｄによる符号化後の第１解像度画像を復号して、復号した画像を第１解像度と同じ解像度の画像に拡大する。そして、階層間差分処理部５２２ａは、拡大した画像と低解像度画像との間の差分画像を生成する。このとき、階層間差分処理部５２２ａは、背景領域における差分値を０にする。そして、符号器５３２ａは、差分画像を符号器５３２ｄと同様に符号化する。なお、階層間差分処理部５２２ａおよび符号器５３２ａによる符号化処理は、第１解像度画像の部分領域毎にされてよい。
【００６７】
なお、階層間差分処理部５２２ａは、第１解像度画像を符号化する場合に、低解像度画像との間の差分画像を符号化した場合に予測される符号量と、他の第１解像度画像から生成された予測画像との間の差分画像を符号化した場合に予測される符号量とを比較する。後者の符号量の方が小さい場合には、階層間差分処理部５２２ａは、他の第１解像度画像から生成された予測画像との間の差分画像を生成する。なお、階層間差分処理部５２２ａは、低解像度画像または予測画像との差分をとらずに符号化した方が符号量が小さくなることが予測される場合には、低解像度画像または予測画像との間で差分をとらなくてもよい。
【００６８】
なお、階層間差分処理部５２２ａは、背景領域における差分値を０にしなくてもよい。この場合、符号器５３２ａは、特徴領域以外の領域における差分情報に対する符号化後のデータを０にしてもよい。例えば、符号器５３２ａは、周波数成分に変換した後の変換係数を０にしてよい。なお、階層間差分処理部５２２ｄが予測符号化した場合の動きベクトル情報は、階層間差分処理部５２２ａに供給される。階層間差分処理部５２２ａは、階層間差分処理部５２２ｄから供給された動きベクトル情報を用いて、予測画像用の動きベクトルを算出してよい。
【００６９】
なお、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は、第２解像度画像を符号化するという点、および第２解像度画像を符号化する場合に、符号器５３２ａによる符号化後の第１解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ｂおよび符号器５３２ｂの動作は階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。同様に、階層間差分処理部５２２ｃおよび符号器５３２ｃの動作は、第３解像度画像を符号化するという点、および第３解像度画像を符号化を符号化する場合に、符号器５３２ｂによる符号化後の第２解像度画像との差分をとる場合があるという点を除いて、階層間差分処理部５２２ａおよび符号器５３２ａの動作と略同一であるので、説明を省略する。
【００７０】
以上説明したように、画質変換部５１０は、複数の撮像画像のそれぞれから、画質を低画質にした低画質画像、および少なくとも特徴領域において低画質画像より高画質な特徴領域画像を生成する。そして、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像との間の差分画像を示す特徴領域差分画像を生成する。そして、符号化部５３０は、特徴領域差分画像および低画質画像をそれぞれ符号化する。
【００７１】
また、画質変換部５１０は、複数の撮像画像から解像度が低減された低画質画像を生成して、差分処理部５２０は、特徴領域画像における特徴領域の画像と、低画質画像における特徴領域の画像を拡大した画像との間の特徴領域差分画像を生成する。また、差分処理部５２０は、特徴領域において特徴領域画像と拡大した画像との間の差分が空間周波数領域に変換された空間周波数成分を持ち、特徴領域以外の領域において空間周波数成分のデータ量が低減された特徴領域差分画像を生成する。
【００７２】
以上説明したように、圧縮部２３０は、解像度が異なる複数の階層間の画像の差分を符号化することによって階層的に符号化する。このことからも明らかなように、本構成の圧縮部２３０による圧縮方式の一部は、Ｈ．２６４／ＳＶＣによる圧縮方式を含むことが明らかである。なお、画像処理装置１７０がこのような階層化された圧縮動画を伸張する場合には、各階層の動画データを復号して、階層間差分により符号化されている領域については、差分がとられた階層で復号された撮像画像との加算処理により、元の解像度の撮像画像を生成することができる。
【００７３】
図６は、異なる撮像装置１００から得られた動画の一例を示す。なお、動画Ａは、撮像装置１００ａにより得られた動画であり、動画Ｂは、撮像装置１００ｂにより得られた動画であるとする。
【００７４】
動画Ａは複数の撮像画像６０１ａ−ｆを動画構成画像として含む。特徴領域検出部２０３は、撮像画像６０１ａ−ｃから、それぞれ特徴領域６１１ａ−ｃを検出している。なお、動画Ｂは複数の撮像画像６０２ａ−ｆを動画構成画像として含む。特徴領域検出部２０３は、撮像画像６０２ａ−ｆから、それぞれ特徴領域６１２ａ−ｆを検出している。
【００７５】
特徴領域情報格納部２２０は、特徴領域６１１ａ−ｃの画像および特徴領域６１２ａ−ｆの画像を、予め定められた時間長さの期間だけ記憶する。そして、相関算出部２６０は、特徴領域情報格納部２２０に記憶されている特徴領域の相関値を算出する。相関算出部２６０は、撮像装置１００ａおよび撮像装置１００ｂのそれぞれが設けられた位置、および、撮像装置１００ａおよび撮像装置１００ｂのそれぞれの撮像方向、撮像画像６０１における特徴領域６１１の位置、ならびに撮像画像６０１における特徴領域６１２の位置に基づき、特徴領域の相関値を算出する。
【００７６】
例えば、相関算出部２６０は、同じ被写体が撮像された被写体像が存在すべき撮像画像上の位置を含む特徴領域の間の相関値を、予め定められた値より高く算出してよい。例えば、撮像画像６０１ａおよび撮像画像６０２ａが略同一のタイミングで撮像されており、特徴領域６１１ａに撮像される実空間上の領域と、特徴領域６１２ａに撮像される実空間上の領域とが、略同一領域である場合に、特徴領域６１１ａと特徴領域６１２ａとの間の相関値として、予め定められた値より高い相関値を算出してよい。同様のことは、特徴領域６１１ｂと特徴領域６１２ｂ、ならびに、特徴領域６１１ｃと特徴領域６１２ｃについても言える。
【００７７】
また、相関算出部２６０は、特徴領域６１１ａ−ｃについては、オブジェクト形状または色の一致度が予め定められた値より大きい。このため、相関算出部２６０は、特徴領域６１１ａ−ｃの間の相関値として、予め定められた値より高い相関値を算出する。また、相関算出部２６０は、特徴領域６１２ａ−ｆについては、特徴領域６１２の大きさの一致度、特徴領域６１２の動き方向の一致度、および特徴領域６１２の動き速度の一致度のいずれかが予め定められた値より大きい。したがって、相関算出部２６０は、特徴領域６１２ａ−ｆの相関値として、予め定められた値より高い相関値を算出する。
【００７８】
以上のようにして、相関算出部２６０は、特徴領域６１１ａ−ｃおよび特徴領域６１２ａ−ｆの間において、予め定められた値より高い相関値を算出した。そして、代表特徴領域決定部２７０は、特徴領域６１１ａ−ｃおよび特徴領域６１２ａ−ｆの中から、顔全体が正面から最も大きく撮像されている特徴領域６１１ｂを、代表特徴領域として決定する。そして、対応付け処理部２０６は、特徴領域６１１ｂが検出された撮像画像６０１ｂを識別する情報（例えば、後述するフレームＩＤ）、撮像画像６０１ｂが含まれる動画を識別する情報（例えば、後述する動画ＩＤ）、および撮像画像６０１ｂから検出された他の特徴領域（図示せず）から特徴領域６１１ｂを識別する情報（例えば、後述する特徴領域ＩＤ）を含む代表特徴領域情報を、特徴領域６１１ａ−ｃおよび特徴領域６１２ａ−ｆに付帯する。
【００７９】
なお、対応付け処理部２０６は、予め定められた値より高い相関を有する特徴領域が検出された撮像画像の中で、略同一のタイミングで撮像された撮像画像の中から予め定められた条件に適合する一の撮像画像を、代表特徴領域情報を付帯すべき撮像画像として選択してよい。そして、対応付け処理部２０６は、選択した撮像画像に当該代表特徴領域情報を付帯してよい。例えば、対応付け処理部２０６は、より正面から撮像されている特徴領域６１１ａ−ｃが検出された撮像画像６０１ａ−ｃに特徴領域情報を付帯して、特徴領域６１２ａ−ｃには特徴領域情報を付帯しなくてよい。
【００８０】
図７は、対応付け処理部２０６によって撮像画像に特徴領域情報が関連づけされた状態をテーブル形式で示す。対応付け処理部２０６は、撮像画像を識別する情報である動画ＩＤおよびフレームＩＤに、当該撮像画像から検出された特徴領域の位置を示す情報を対応づける。なお、本図に示す動画ＩＤがＡである動画は、図６に関連して説明した動画Ａであり、動画ＩＤがＢである動画は、図６に関連して説明した動画Ｂであるとする。
【００８１】
また、動画Ａおよび動画Ｂに含まれる撮像画像のそれぞれには、それぞれの撮像画像が撮像された順にフレームＩＤが与えられているとする。図６に関連して説明した撮像画像６０１ａ、撮像画像６０１ｂ、および撮像画像６０１ｃには、フレームＩＤとしてそれぞれ＃７０１、＃７０２、および＃７０３が与えられているとする。また、図６に関連して説明した撮像画像６０１ｄ、撮像画像６０１ｅ、および撮像画像６０１ｆには、フレームＩＤとしてそれぞれ＃７０４、＃７０５、および＃７０６が与えられているとする。
【００８２】
なお、特徴領域の位置を示す情報は、特徴領域の座標情報であってよい。例えば、特徴領域の位置を示す情報は、特徴領域が矩形である場合には、矩形の対角に位置する頂点の座標（例えば、本図における（ｘ２１，ｙ２１）および（ｘ２２，ｙ２２）など。）であってよい。なお、対応付け処理部２０６は、一の撮像画像から複数の特徴領域が検出された場合には、当該特徴領域を他の特徴領域から識別する情報（例えば、本図における＃１など。）を特徴領域の位置に対応づけてよい。
【００８３】
また、対応付け処理部２０６はさらに、動画ＩＤおよびフレームＩＤに、代表特徴領域情報の一例である代表ＩＤを対応づける。代表ＩＤは、一例として、代表特徴領域である特徴領域６１１ｂが検出された撮像画像のフレームＩＤ（＃７０２）、当該撮像画像が含まれる動画ＩＤ（Ａ）、および特徴領域６１１ｂの特徴領域ＩＤ（＃１）を所定のフォーマットでフォーマットされて生成された文字列であってよい。
【００８４】
代表ＩＤおよび特徴領域が検出された位置から、代表特徴領域として決定された特徴領域が検出された撮像画像を特定することができ、さらには当該特徴領域が検出された当該撮像画像における領域を特定することができる。なお、代表特徴領域情報は、本実施形態において代表特徴領域情報の一例として説明した代表ＩＤに限定されない。代表特徴領域情報は、代表特徴領域として決定された特徴領域が検出された撮像画像がいずれの動画に含まれており、代表特徴領域として決定された特徴領域が当該撮像画像のいずれの領域に存在するかを特定することができる情報であればよい。
【００８５】
図８は、表示装置１８０が表示する検索指示受付画面８００の一例を示す。画像処理装置１７０は、代表画像８０１ａ−ｄ（以後、代表画像８０１と総称する。）を含む検索指示受付画面８００を、表示装置１８０に表示させる。代表画像８０１ａ−ｄは、代表特徴領域として決定された特徴領域が検出された撮像画像における、当該特徴領域の画像であってよい。
【００８６】
監視者端末は、監視者による検索対象を指定する操作によって、検索指示受付画面８００上の代表画像８０１のうち、検索対象となる代表画像８０１を識別する情報を取得する。監視者端末は、当該情報によって識別される代表画像８０１を識別する代表特徴領域情報を、画像処理装置１７０に送信する。検索指示取得部３５０は、当該代表特徴領域情報を取得して、動画構成画像検索部３６０に供給する。
【００８７】
動画構成画像検索部３６０は、当該代表特徴領域情報が付帯されて画像ＤＢ１７５に記録されている撮像画像を選択する。例えば、動画構成画像検索部３６０は、代表画像８０１ａが指定された場合には、撮像画像６０１ａ−ｃおよび撮像画像６０２ｄ−ｆを選択する。
【００８８】
図９は、表示装置１８０によって表示される代表特徴領域の動画を示す。動画出力部３７０は、動画構成画像検索部３６０によって選択された撮像画像６０１ａ−ｃおよび撮像画像６０２ｄ−ｆを、図示されるように１ストリームの動画に変換して表示装置１８０に供給する。そして、表示装置１８０は、動画出力部３７０から供給された動画を表示する。
【００８９】
図６から図９にかけて説明したように、画像処理システム１０によると、複数の動画の中から相関の高いオブジェクトを含む撮像画像を、表示装置１８０に連続して表示することができる。これにより、異なる撮像装置１００によって撮像された同一人物の画像を連続して表示装置１８０に表示させることができる。
【００９０】
また、特定の撮像装置１００で撮像された１の動画に含まれる複数の撮像画像の中から、同一人物が撮像された撮像画像を選択して表示することもできる。また、１の動画において相関が予め定められた値より高い複数の撮像画像の中から、より少数の撮像画像を選択して表示装置１８０に提供してもよい。このように、画像処理システム１０によると、冗長なシーンをひとまとめにした映像を提供することができる。
【００９１】
なお、上記の説明では、監視者端末から代表特徴領域情報が送信される場合を例に挙げて各構成要素の動作の一例を説明したが、監視者端末は、検索すべき撮像画像から検出された特徴領域の画像が適合すべき条件を、画像処理装置１７０に送信してよい。そして、動画構成画像検索部３６０は、当該条件に適合する代表特徴領域を選択して、選択した代表特徴領域を識別する代表ＩＤに対応づけて画像ＤＢ１７５が記録している撮像画像を、表示すべき撮像画像として検索してよい。
【００９２】
図１０は、相関を算出する算出パラメータの一例を示す。相関算出部２６０は、オブジェクトの形状の相関、オブジェクトの見え方の相関、オブジェクトの動きの相関を算出する。本図において、相関算出部２６０が相関値を求めるために算出する形状のパラメータおよび動きのパラメータの一例が、オブジェクト１０００に付加されて示されている。
【００９３】
形状のパラメータとしては、オブジェクトの位置、オブジェクトのサイズ、オブジェクトのアスペクト比、および、オブジェクトの傾きを例示することができる。各形状のパラメータとオブジェクト間の相関について、以下に説明する。
【００９４】
相関算出部２６０は、オブジェクト位置の指標として、各撮像画像上に設定した共通の座標軸上での重心座標を算出してよい。本図に例示したように、相関算出部２６０は、オブジェクト１０００の重心１０１０の座標を算出する。相関算出部２６０は、２個の撮像画像から抽出された２個の特徴領域に含まれる２つのオブジェクト間の位置の相関値として、２つのオブジェクトの重心座標間の距離（ユークリッド距離）を算出してよい。なお、相関算出部２６０は、オブジェクトの重心座標間の距離ではなく、特徴領域の重心座標間の距離を、位置の相関値として算出してもよい。
【００９５】
相関算出部２６０は、オブジェクトのサイズの指標として、オブジェクトの面積を算出してよい。面積は画素数を用いて表されてよい。例えば、相関算出部２６０は、オブジェクト１０００内に含まれる画素数を算出する。相関算出部２６０は、２つのオブジェクト間のサイズの相関値を、２つのオブジェクト内の画素数の差に応じて算出してよい。なお、相関算出部２６０は、オブジェクト内の画素数の差ではなく、特徴領域内の画素数の差に応じて、サイズの相関値として算出してもよい。
【００９６】
相関算出部２６０は、オブジェクトの画像のモーメントに基づき、オブジェクトのアスペクト比を算出してよい。例えば、相関算出部２６０は、オブジェクトの画像の２次モーメントを算出して、算出した２次モーメントから主軸１０１１の傾き角を算出してよい。相関算出部２６０は、算出した主軸方向のオブジェクト幅１０１２ａと、主軸に垂直方向のオブジェクト幅１０１２ｂとの比から、オブジェクトのアスペクト比を算出してよい。
【００９７】
相関算出部２６０は、２つのオブジェクト間のアスペクト比の相関値として、アスペクト比の比を算出してよい。なお、相関算出部２６０は、オブジェクトのアスペクト比の比ではなく、特徴領域のアスペクト比の比を、アスペクト比の相関値として算出してもよい。また、相関算出部２６０は、オブジェクトに近似する矩形のアスペクト比、オブジェクトに近似する楕円のアスペクト比などから、オブジェクトのアスペクト比を算出してもよい。
【００９８】
相関算出部２６０は、オブジェクトの傾きの指標として、オブジェクトの主軸１０１１の傾きを算出してよい。主軸１０１１の傾き角は、上述したようにオブジェクトの画像のモーメントに基づき算出することができる。そして、相関算出部２６０は、２つのオブジェクト間の傾きの相関値として、主軸の傾き角の差を算出してよい。例えば、相関算出部２６０は、傾き角の差をθとした場合に、ｃｏｓθを相関値として算出してよい。
【００９９】
また、見え方のパラメータから相関値を算出する場合、見え方のパラメータとしては、オブジェクトのパターンおよびオブジェクトの色を指標とすることができる。例えば、オブジェクトが人物である場合、見え方のパラメータとしては、顔のパターンおよび服の色を指標とすることができる。
【０１００】
例えば、相関算出部２６０は、２つのオブジェクトの間のパターンの相関値として、パターンの重ね合わせ差分値を算出してよい。また、相関算出部２６０は、正規化相関値を相関値として算出してもよい。また、色を指標とする場合、相関算出部２６０は、オブジェクト内の色ヒストグラムの一致度を相関値として算出してよい。例えば、相関算出部２６０は、色ヒストグラムのバタッチャリア係数を、相関値として算出することができる。
【０１０１】
また、動きのパラメータから相関値を算出する場合、動きのパラメータとしては、オブジェクトの移動方向、オブジェクトの向きを例示することができる。例えば、相関算出部２６０は、動画における各オブジェクトの重心位置の移動方向を、オブジェクトの移動方向として算出することができる。そして、相関算出部２６０は、２つのオブジェクトの間のパターンの相関値を、２つのオブジェクトの移動方向がなす角度から算出してよい。例えば、相関算出部２６０は、当該角度をθとするとき、ｃｏｓθを相関値として算出してよい。
【０１０２】
また、オブジェクトが人物の顔である場合など、オブジェクトの向きの基準となる面を規定することができる場合には、当該面の向きを基準としてオブジェクトの向きを決定することができる。例えば、相関算出部２６０は、人物の顔の向き１０３０、または、視線の向き１０３２をオブジェクトの向きとして決定してよい。このとき、相関値は、移動方向と同様、２つのオブジェクトの向きがなす角度から相関値を算出することができる。
【０１０３】
以上説明したように、画像処理システム１０によると、相関の高い特徴領域が検出された複数の撮像画像に、代表特徴領域の画像を特定することができる代表特徴領域情報が付与される。そして、画像処理システム１０によると、当該代表特徴領域情報によって示される代表特徴領域の画像内容などから、指定された条件に適合する代表特徴領域を選択することができる。このため、画像処理システム１０によると、代表特徴領域の画像が条件に適合すべきか否かを判断すればよく、各撮像画像のそれぞれから検出された特徴領域が当該条件に適合するか否かをいちいち判断しなくてよい。したがって、撮像部１０２が高撮像レートで撮像しており、撮像動画に沢山の撮像画像が含まれる場合であっても、指定された条件に適合する撮像画像を含む部分動画を速やかに検索することができる。
【０１０４】
図１１は、画像処理装置１２０および画像処理装置１７０のハードウェア構成の一例を示す。画像処理装置１２０および画像処理装置１７０は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。
【０１０５】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【０１０６】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【０１０７】
入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１２０および画像処理装置１７０が起動するときに実行するブート・プログラム、あるいは画像処理装置１２０および画像処理装置１７０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【０１０８】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１２０を、図１から図１０に関連して説明した画像処理装置１２０が有する各構成要素として機能させ、画像処理装置１７０を、図１から図１０に関連して説明した、画像処理装置１７０が有する各構成要素として機能させる。
【０１０９】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１２０および画像処理装置１７０に提供してもよい。このように、プログラムにより制御されるコンピュータが、画像処理装置１２０および画像処理装置１７０として機能する。
【０１１０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１１１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１１２】
１０  画像処理システム、１００  撮像装置、１０２  撮像部、１０４  撮像動画圧縮部、１１０  通信ネットワーク、１２０  画像処理装置、１３０  人物、１４０  移動体、１５０  監視対象空間、１６０  空間、１７０  画像処理装置、１７５  画像ＤＢ、１８０  表示装置、２０１  圧縮動画取得部、２０２  圧縮動画伸張部、２０３  特徴領域検出部、２０６  対応付け処理部、２０７  出力部、２１０  圧縮制御部、２２０  特徴領域情報格納部、２３０  圧縮部、２３２   画像分割部 、２３４  固定値化部 、２３６  圧縮処理部 、２５０  画像取得部、２６０  相関算出部、２７０  代表特徴領域決定部、３０１  圧縮画像取得部、３０２  対応付け解析部、３１０  伸張制御部、３２０  伸張部、３２２  復号器 、３３０  合成部、３４０  出力部、３５０  検索指示取得部、３６０  動画構成画像検索部、３７０  動画出力部、５１０  画質変換部 、５２０  差分処理部 、５２２  階層間差分処理部 、５３０  符号化部、６０１  撮像画像、６０２  撮像画像、６１１  特徴領域、６１２  特徴領域、８００  検索指示受付画面、８０１  代表画像、１５０５  ＣＰＵ、１５１０  ＲＯＭ、１５２０  ＲＡＭ、１５３０  通信インターフェイス、１５４０  ハードディスクドライブ、１５５０  フレキシブルディスク・ドライブ、１５６０  ＣＤ−ＲＯＭドライブ、１５７０  入出力チップ、１５７５  グラフィック・コントローラ、１５８０  表示デバイス、１５８２  ホスト・コントローラ、１５８４  入出力コントローラ、１５９０  フレキシブルディスク、１５９５  ＣＤ−ＲＯＭ、１５９８  ネットワーク通信装置
【図１】
0005117424.tif 000002
【図２】
0005117424.tif 000003
【図３】
0005117424.tif 000004
【図４】
0005117424.tif 000005
【図５】
0005117424.tif 000006
【図６】
0005117424.tif 000007
【図７】
0005117424.tif 000008
【図８】
0005117424.tif 000009
【図９】
0005117424.tif 000010
【図１０】
0005117424.tif 000011
【図１１】
0005117424.tif 000012