(57)【要約】【課題】映像中におけるオブジェクトの移動の状態をより正確に特定するために用いる特徴量を抽出する方法を実現し、この特徴量を用いて、オブジェクト同士の重なり合い、衝突、消失を予測する方法、および効率的な映像符号化の方法を得る。【解決手段】映像信号１０から、オブジェクト抽出部１０１がオブジェクトの位置データ１１ａと低レベルメタデータ１１ｂを抽出し、このオブジェクトについて前回抽出されて既にオブジェクト特徴量バッファ１０６に格納されているオブジェクト特徴量データ１５を用いて速度算出部１０３が速度データ１３を、加速度算出部１０４が加速度データ１４を算出する。特徴量作成部１０５がこれらのデータをオブジェクト特徴量データ１５としてオブジェクト特徴量バッファ１０６に格納する。映像状態判別装置はオブジェクト特徴量データ１５を用いてオブジェクトの移動状態を判別する。【選択図】図１
2011053933.tif 000002
【特許請求の範囲】
【請求項１】
映像信号からオブジェクトと、当該オブジェクトの映像上の位置とを抽出するオブジェクト抽出ステップと、
前記オブジェクト抽出ステップで抽出した、異なる映像間のオブジェクトを同定し、識別番号を付与するオブジェクト同定ステップと、
同一識別番号のオブジェクトについて、異なる映像上の位置から速度を算出する速度算出ステップと、
同一識別番号のオブジェクトについて、異なる映像上の速度から加速度を算出する加速度算出ステップとを備える映像特徴量抽出方法。
【請求項２】
オブジェクト抽出ステップでは、オブジェクトの低レベルメタデータを抽出することを特徴とする請求項１記載の映像特徴量抽出方法。
【請求項３】
低レベルメタデータは、オブジェクトから抽出した色配置、代表色、色ヒストグラム、テクスチャ、または形状のうちの少なくとも１つの情報であることを特徴とする請求項２記載の映像特徴量抽出方法。
【請求項４】
オブジェクト同定ステップでは、前回抽出したオブジェクトの位置、速度および加速度の情報を用いて今回抽出するオブジェクトの予測位置を算出し、今回抽出したオブジェクトの位置を前記予測位置と比較して、同定することを特徴とする請求項１から請求項３のうちのいずれか１項記載の映像特徴量抽出方法。
【請求項５】
オブジェクト同定ステップでは、前回抽出したオブジェクトの位置、速度および加速度の情報を用いて今回抽出するオブジェクトの予測位置を算出し、オブジェクト同士の重なり合い、衝突、または消失を予測することを特徴とする請求項１から請求項４のうちのいずれか１項記載の映像特徴量抽出方法。
【請求項６】
映像信号から抽出したオブジェクトの位置、速度および加速度の情報からなる特徴量から、当該オブジェクトが映像上に初めて現れたときの初期中心位置および初期速度、ならびに当該オブジェクトの任意の映像上での加速度および大きさの時間方向の情報を抜き出して、当該特徴量を圧縮する特徴量圧縮ステップを備えることを特徴とする請求項１記載の映像特徴量抽出方法。
【請求項７】
請求項１から請求項５のうちのいずれか１項記載の映像特徴量抽出方法により映像信号から抽出したオブジェクトの速度および加速度の情報を用いて、当該オブジェクトの移動状態を判別する映像状態判別ステップを備える映像状態判別方法。
【請求項８】
請求項１から請求項５のうちのいずれか１項記載の映像特徴量抽出方法により映像信号から抽出したオブジェクトの速度および加速度の情報を用いて、動きベクトルの探索中心と探索範囲を決定して、動きベクトル探索を行う動きベクトル探索ステップと、
前記動きベクトル探索ステップで探索された動きベクトルを用いて、前記映像信号を符号化する映像符号化ステップとを備えることを特徴とする映像符号化方法。
【請求項９】
映像信号中に含まれる検索対象オブジェクトの検索条件を用いて、検索キーとなる特徴量を作成する検索条件入力ステップと、
請求項６記載の映像特徴量抽出方法により前記映像信号から抽出した各オブジェクトの特徴量を圧縮した圧縮オブジェクト特徴量として保持している圧縮特徴量バッファから、前記検索条件に一致する圧縮オブジェクト特徴量を取得して特徴量を抽出する特徴量伸張ステップと、
前記検索キーとなる特徴量と、前記圧縮オブジェクト特徴量から抽出した特徴量とを比較して、前記検索対象オブジェクトを前記映像信号中から検索するオブジェクト検索ステップとを備えるオブジェクト検索方法。
【請求項１０】
映像信号からオブジェクトと、当該オブジェクトの映像上の位置とを抽出するオブジェクト抽出部と、
前記オブジェクト抽出部で抽出した、異なる映像間のオブジェクトを同定し、識別番号を付与するオブジェクト同定部と、
同一識別番号のオブジェクトについて、異なる映像上の位置から速度を算出する速度算出部と、
同一識別番号のオブジェクトについて、異なる映像上の速度から加速度を算出する加速度算出部とを備える映像特徴量抽出装置。
【請求項１１】
映像信号から抽出したオブジェクトの位置、速度および加速度の情報からなる特徴量から、当該オブジェクトが映像上に初めて現れたときの初期中心位置および初期速度、ならびに当該オブジェクトの任意の映像上での加速度および大きさの時間方向の情報を抜き出して、当該特徴量を圧縮する特徴量圧縮部を備えることを特徴とする請求項１０記載の映像特徴量抽出装置。
【請求項１２】
請求項１０記載の映像特徴量抽出装置と、
前記映像特徴量抽出装置が映像信号から抽出したオブジェクトの速度および加速度の情報を用いて、当該オブジェクトの移動状態を判別する映像状態判別部とを備える映像状態判別装置。
【請求項１３】
請求項１０記載の映像特徴量抽出装置と、
前記映像特徴量抽出装置が映像信号から抽出したオブジェクトの速度および加速度の情報を用いて、動きベクトルの探索中心と探索範囲を決定して、動きベクトル探索を行う動きベクトル探索部と、
前記動きベクトル探索部で探索された動きベクトルを用いて、前記映像信号を符号化する映像符号化部とを備えることを特徴とする映像符号化装置。
【請求項１４】
映像信号中に含まれる検索対象オブジェクトの検索条件を用いて、検索キーとなる特徴量を作成する検索条件入力部と、
請求項１１記載の映像特徴量抽出装置が映像信号から抽出した各オブジェクトの特徴量を圧縮した圧縮オブジェクト特徴量として保持している圧縮特徴量バッファと、
前記圧縮特徴量バッファから、前記検索条件に一致する圧縮オブジェクト特徴量を取得して、特徴量を抽出する特徴量伸張部と、
前記検索キーとなる特徴量と、前記特徴量伸張部が抽出した特徴量とを比較して、前記検索対象オブジェクトを前記映像信号中から検索するオブジェクト検索部とを備えるオブジェクト検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像における特徴量を抽出する映像特徴量抽出方法とその装置、抽出した特徴量を利用した映像状態判別方法とその装置、抽出した特徴量を利用した映像符号化方法とその装置、および抽出した特徴量を利用したオブジェクト検索方法とその装置に関するものである。
【背景技術】
【０００２】
映像監視における不審者の検出、スポーツコンテンツにおけるハイライトシーンの検出等、映像データにおけるイベントをより効率的に、確実に検出するために多くの試みが行われている。映像監視における異常検出の例として、例えば非特許文献１がある。この非特許文献１では、オプティカルフロー等の手法を用いて、映像データ中の物体（以降、物体を“オブジェクト”と呼ぶ）の移動の様子を検知する手法が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】霧生要一、北澤仁志「移動物体抽出における一時静止物体・ゴースト・影の統一的処理手法」電子情報通信学会技術研究報告Ｖｏｌ．１０７、Ｎｏ．２３、ＩＥ２００７−２
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の映像特徴量抽出方法は以上のように構成されているので、オブジェクトの移動の状態（加速、等速度運動、減速）の判別方法や、オブジェクトの動きを予測することによって、オブジェクトが他のオブジェクトにより隠れることを予測したり、オブジェクト同士の衝突を予測したりすることについては述べられていない。そのため、オブジェクトの移動の状態を詳細に判別することや、オブジェクト同士の重なり合いまたは衝突を予測することはできない。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、映像中におけるオブジェクトの移動の状態（加速、等速度運動、減速）をより正確に特定するために用いる特徴量を抽出する方法を実現し、この特徴量を用いて、オブジェクト同士の重なり合い、衝突、消失を予測する方法、さらにはこの特徴量を用いてより効率的な映像符号化の方法を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る映像特徴量抽出方法は、映像信号からオブジェクトと、当該オブジェクトの映像上の位置とを抽出するオブジェクト抽出ステップと、オブジェクト抽出ステップで抽出した、異なる映像間のオブジェクトを同定し、識別番号を付与するオブジェクト同定ステップと、同一識別番号のオブジェクトについて、異なる映像上の位置から速度を算出する速度算出ステップと、同一識別番号のオブジェクトについて、異なる映像上の速度から加速度を算出する加速度算出ステップとを備えるものである。
【０００７】
この発明に係る映像状態判別方法は、上記映像特徴量抽出方法により映像信号から抽出したオブジェクトの速度および加速度の情報を用いて、当該オブジェクトの移動状態を判別する映像状態判別ステップを備えるものである。
【０００８】
この発明に係る映像符号化方法は、上記映像特徴量抽出方法により映像信号から抽出したオブジェクトの速度および加速度の情報を用いて、動きベクトルの探索中心と探索範囲を決定して、動きベクトル探索を行う動きベクトル探索ステップと、動きベクトル探索ステップで探索された動きベクトルを用いて、映像信号を符号化する映像符号化ステップとを備えるものである。
【０００９】
この発明に係るオブジェクト検索方法は、映像信号中に含まれる検索対象オブジェクトの検索条件を用いて、検索キーとなる特徴量を作成する検索条件入力ステップと、上記映像特徴量抽出方法により映像信号から抽出した各オブジェクトの特徴量を圧縮した圧縮オブジェクト特徴量として保持している圧縮特徴量バッファから、検索条件に一致する圧縮オブジェクト特徴量を取得して特徴量を抽出する特徴量伸張ステップと、検索キーとなる特徴量と、圧縮オブジェクト特徴量から抽出した特徴量とを比較して、検索対象オブジェクトを映像信号中から検索するオブジェクト検索ステップとを備えるものである。
【００１０】
この発明に係る映像特徴量抽出装置は、映像信号からオブジェクトと、当該オブジェクトの映像上の位置とを抽出するオブジェクト抽出部と、オブジェクト抽出部で抽出した、異なる映像間のオブジェクトを同定し、識別番号を付与するオブジェクト同定部と、同一識別番号のオブジェクトについて、異なる映像上の位置から速度を算出する速度算出部と、同一識別番号のオブジェクトについて、異なる映像上の速度から加速度を算出する加速度算出部とを備えるものである。
【００１１】
この発明に係る映像状態判別装置は、上述した映像特徴量抽出装置と、当該映像特徴量抽出装置が映像信号から抽出したオブジェクトの速度および加速度の情報を用いて、当該オブジェクトの移動状態を判別する映像状態判別部とを備えるものである。
【００１２】
この発明に係る映像符号化装置は、上述した映像特徴量抽出装置と、当該映像特徴量抽出装置が映像信号から抽出したオブジェクトの速度および加速度の情報を用いて、動きベクトルの探索中心と探索範囲を決定して、動きベクトル探索を行う動きベクトル探索部と、動きベクトル探索部で探索された動きベクトルを用いて、映像信号を符号化する映像符号化部とを備えるものである。
【００１３】
この発明に係るオブジェクト検索装置は、映像信号中に含まれる検索対象オブジェクトの検索条件を用いて、検索キーとなる特徴量を作成する検索条件入力部と、上述した映像特徴量抽出装置が映像信号から抽出した各オブジェクトの特徴量を圧縮した圧縮オブジェクト特徴量として保持している圧縮特徴量バッファと、圧縮特徴量バッファから、検索条件に一致する圧縮オブジェクト特徴量を取得して、特徴量を抽出する特徴量伸張部と、検索キーとなる特徴量と、特徴量伸張部が抽出した特徴量とを比較して、検索対象オブジェクトを映像信号中から検索するオブジェクト検索部とを備えるものである。
【発明の効果】
【００１４】
この発明によれば、映像信号からオブジェクトの速度および加速度を算出するようにしたので、速度と加速度の特徴量を用いればオブジェクトの状態判別を詳細に行うことのできる映像特徴量抽出方法および映像特徴量抽出装置を提供することができる。
【００１５】
この発明によれば、オブジェクトの速度と加速度の情報を用いて移動状態を判別するようにしたので、オブジェクトの移動の状態を詳細に行うことのできる映像状態判別方法および映像状態判別装置を提供することができる。
【００１６】
この発明によれば、オブジェクトの速度と加速度の情報を用いて、動きベクトルの探索中心と探索範囲を決定するようにしたので、高速かつ正確な動き補償予測ができる映像符号化方法および映像符号化装置を提供することができる。
【００１７】
この発明によれば、圧縮した特徴量を用いてオブジェクトの検索を行うようにしたので、特徴量の蓄積に要する蓄積媒体の容量を削減しつつ、オブジェクトの正確な検索ができるオブジェクト検索方法およびオブジェクト検索装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】この発明の実施の形態１に係る映像特徴量抽出装置の構成を示すブロック図である。
【図２】画像の原点位置を示す説明図である。
【図３】画像中のオブジェクトの一例を示す説明図である。
【図４】実施の形態１に係る映像状態判別装置の構成を示すブロック図である。
【図５】映像信号の一例を示し、自動車が移動するシーンの説明図である。
【図６】実施の形態１に係る映像特徴量抽出装置が抽出したオブジェクト特徴量のうちの速度を示すグラフである。
【図７】実施の形態１に係る映像特徴量抽出装置が抽出したオブジェクト特徴量のうちの加速度を示すグラフである。
【図８】実施の形態３に係る映像符号化装置の構成を示すブロック図である。
【図９】参照フレームの一例を示す説明図であり、オブジェクトＡを囲む長方形Ａ’にわずかでも含まれているマクロブロックを破線で示す。
【図１０】参照フレームの一例を示す説明図であり、オブジェクトＡを囲む長方形Ａ’に完全に含まれているマクロブロックを破線で示す。
【図１１】参照フレームの一例を示す説明図であり、オブジェクトＡを囲む長方形Ａ’に一定以上の割合の面積が含まれているマクロブロックを破線で示す。
【図１２】参照フレームの一例を示す説明図であり、オブジェクトＡ，Ｂを囲む長方形Ａ’，Ｂ’に含まれているマクロブロックを破線で示す。
【図１３】実施の形態４に係る特徴量圧縮装置の構成を示すブロック図である。
【図１４】実施の形態４に係るオブジェクト検索装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
実施の形態１．
図１は、実施の形態１に係る映像特徴量抽出装置１００の構成を示すブロック図である。図１に示す映像特徴量抽出装置１００は、映像信号１０からオブジェクトの位置と低レベルメタデータを抽出して位置データ１１ａおよび低レベルメタデータ１１ｂを出力するオブジェクト抽出部１０１と、映像信号１０中の同一オブジェクトを同定して識別用のｉｄ（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）データ１２を出力するオブジェクト同定部１０２と、オブジェクトの速度を算出して速度データ１３を出力する速度算出部１０３と、オブジェクトの加速度を算出して加速度データ１４を出力する加速度算出部１０４と、オブジェクトの位置、速度、加速度、低レベルメタデータの情報を所定フォーマットで記述したオブジェクト特徴量データ１５を生成する特徴量作成部１０５と、オブジェクト特徴量データ１５を記憶するオブジェクト特徴量バッファ１０６とからなる。
【００２０】
まず、オブジェクト特徴量について定義する。本実施の形態１では、映像信号１０のｉ番目のフレーム（画像）から算出されたオブジェクトＡのオブジェクト特徴量データ１５を下式（１）とする。
2011053933.tif 000003
【００２１】
ここで、式（１）中、ｉｄｉＡはオブジェクトの固有の番号を表し、ｉｄデータ１２に相当する。一般には、１フレーム中に複数のオブジェクトが存在する。従って、複数のフレーム間ではそれら複数のオブジェクトを個別に同定する必要がある。そこで、オブジェクト同定部１０２が、同定したオブジェクトに同一のｉｄを付与することで、オブジェクトとオブジェクト特徴量の管理を行う。
【００２２】
また、式（１）中、ＬＴｉＡおよびＲＢｉＡは画像中のオブジェクトの位置を表し、位置データ１１ａに相当する。
図２は、画像の原点位置を示す説明図であり、画像の水平方向をｘ軸、垂直方向をｙ軸とし、画像の左上隅を原点（ｘ，ｙ）＝（０，０）と定義する。なお、座標の原点位置は左上以外であってもよく、画像中央、画像右下等、いずれの位置を用いてもよい。
図３は、画像中のオブジェクトの一例を示す説明図であり、ｉ番目のフレームにオブジェクトＡが存在している。オブジェクトＡの画像中の位置は、左上および右下の座標で表し、位置ＬＴｉＡ＝（ｘＬＴ，ｉＡ，ｙＬＴ，ｉＡ）および位置ＲＢｉＡ＝（ｘＲＢ，ｉＡ，ｙＲＢ，ｉＡ）とする。一般に、オブジェクトは複雑な形状をしているが、本実施の形態１では簡易にオブジェクトを扱えるように、オブジェクトＡに接する長方形Ａ’の左上および右下の座標をオブジェクトＡの位置とする。
【００２３】
また、式（１）中、ｖｘｉＡおよびｖｙｉＡは、フレーム間の水平方向および垂直方向のオブジェクトの速度を表し、速度データ１３に相当する。
また、式（１）中、ａｘｉＡおよびａｙｉＡは、フレーム間の水平方向および垂直方向のオブジェクトの加速度を表し、加速度データ１４に相当する。
なお、本実施の形態における速度および加速度は、物理的な単位時間当たりの移動距離ではなく、画像中における移動量を指すものとする。
【００２４】
また、式（１）中、ＣｉＡは色ヒストグラムの特徴量であり、低レベルメタデータ１１ｂに相当する。ここでは一例として、ＲＧＢをそれぞれ線形に１６段階に分割した４８次元のベクトルで表すこととし、ＣｉＡ＝｛ｃ１，ｉＡ，ｃ２，ｉＡ，ｃ３，ｉＡ，・・・，ｃ４８，ｉＡ｝とする。もちろん、色ヒストグラムＣｉＡを異なる度数の分割方法や色空間で表すようにしてもよい。
なお、低レベルメタデータ１１ｂはオブジェクトのより正確な同定のために利用するものであり、色ヒストグラムＣｉＡ以外にも、「小特集  マルチメディア記述の国際標準ＭＰＥＧ−７  ２  標準化された技術  ２−１  ビジュアル記述」（山田昭雄、映像情報メディア学会誌Ｖｏｌ．５６、Ｎｏ．１１、ｐｐ．１７１１〜１７１４、２００２）に示されているように代表色、色配置、テクスチャ、形状等、他の特徴量を用いることもできる。また、低レベルメタデータ１１ｂを用いずにオブジェクトを同定することも可能であり、その場合は低レベルメタデータ１１ｂを使わずともよい。
【００２５】
なお、上述してきたオブジェクトＡの「Ａ」は、フレームからオブジェクトを抽出する時点で便宜的に付与した識別記号である。式（１）によれば、ｉ番目のフレームで算出されたオブジェクトＢのオブジェクト特徴量はＯｂｊ（ｉ，Ｂ）、ｊ番目のフレームで算出されたオブジェクトＡのオブジェクト特徴量はＯｂｊ（ｊ，Ａ）となるが、オブジェクトの同定が行われてｉｄｉＡ＝ｉｄｊＢと判定されれば、Ｏｂｊ（ｉ，Ａ）とＯｂｊ（ｊ，Ｂ）が同一オブジェクト（Ａ＝Ｂ）に関するオブジェクト特徴量として扱われることとなる。
【００２６】
次に、映像特徴量抽出装置１００の詳細を説明する。
まず、オブジェクト抽出部１０１の処理を説明する。
オブジェクト抽出部１０１は、まず、映像信号１０のフレームからオブジェクトの抽出処理を行う。オブジェクト抽出処理は、非特許文献１に開示された方法をはじめ多くの方法があるのでこれらの方法を用いればよく、本実施の形態ではオブジェクト抽出処理については問わない。
【００２７】
オブジェクト抽出部１０１は、続いて、オブジェクトのフレーム中の位置および色ヒストグラムを抽出する。オブジェクトの位置ＬＴｉＡ，ＲＢｉＡは、上述したように、オブジェクトに接する長方形の左上および右下の座標を用いる。色ヒストグラムＣｉＡは、オブジェクト内の画素から抽出する。オブジェクト抽出部１０１は、このようにして求めた位置データ１１ａと低レベルメタデータ１１ｂを、オブジェクト同定部１０２、速度算出部１０３および加速度算出部１０４に出力する。なお、既に述べたように、低レベルメタデータ１１ｂとしてここでは色ヒストグラムを用いるが、色ヒストグラム以外の特徴量を用いてもよい。
【００２８】
次に、オブジェクト同定部１０２の処理を説明する。
オブジェクト同定部１０２は、オブジェクト抽出部１０１から入力した位置データ１１ａおよび低レベルメタデータ１１ｂと、別のフレームで既に抽出されてオブジェクト特徴量バッファ１０６に記憶されている別フレームのオブジェクト特徴量データ１５とを比較して、オブジェクトの同定を行う。
【００２９】
例えば、ｉ番目のフレームにおいて、オブジェクト抽出部１０１から出力されたオブジェクトが２個あり、各オブジェクト特徴量がＯｂｊ（ｉ，Ａ），Ｏｂｊ（ｉ，Ｂ）だとする。ただし、この時点で判明しているのは、オブジェクト抽出部１０１で抽出されたオブジェクトＡ，Ｂの位置ＬＴｉＡ，ＲＢｉＡ，ＬＴｉＢ，ＲＢｉＢと色ヒストグラムＣｉＡ，ＣｉＢのみである。また、別フレームｊで既に抽出されてオブジェクト特徴量バッファ１０６に記憶されているオブジェクト特徴量データ１５は３個あり、それぞれオブジェクト特徴量Ｏｂｊ（ｊ，Ａ），Ｏｂｊ（ｊ，Ｂ），Ｏｂｊ（ｊ，Ｃ）とする。また、これらのオブジェクト特徴量のｉｄには、それぞれｉｄｊＡ＝１，ｉｄｊＢ＝２，ｉｄｊＣ＝３が割り当てられているものとする。
【００３０】
現時点で判明しているこれらの情報（オブジェクトの位置、大きさ、および色ヒストグラム）を用いて、オブジェクト同定部１０２がオブジェクトの同定を行う。まず、オブジェクト同定部１０２は、オブジェクトの中心座標を求める。オブジェクト特徴量Ｏｂｊ（ｉ，Ａ）で表されるオブジェクトＡの中心座標をＣｅｎｔｅｒｉＡ＝（ｘｃｅｎｔｅｒ，ｉＡ，ｙｃｅｎｔｅｒ，ｉＡ）とすると、中心座標は下式（２）となる。
2011053933.tif 000004
【００３１】
オブジェクト同定部１０２は、上式（２）を用いて、オブジェクトＡのフレームｉ，Ｊにおける位置の差を以下の式（３）により求める。さらに、オブジェクト同定部１０２は、オブジェクトＡのフレームｉ，Ｊにおける幅の違いを以下の式（４）により求め、高さの違いを以下の式（５）により求め、色ヒストグラムの違いを以下の式（６）によ
り求める。
2011053933.tif 000005
2011053933.tif 000006
2011053933.tif 000007
2011053933.tif 000008
【００３２】
オブジェクト同定部１０２は、上式（３）〜（６）から求めた各差ｄｃｅｎｔｅｒ，ｉＡ，ｊＡ，ｄｃｅｎｔｅｒ，ｉＡ，ｊＡ，ｄｈｅｉｇｈｔ，ｉＡ，ｊＡ，ｄＣｈｉｓｔｏ，ｉＡ，ｊＡの重み付け和ｄｔｏｔａｌ，ｉＡ，ｊＡを、下式（７）により算出する。ここで、ｗｃｅｎｔｅｒ，ｗｗｉｄｔｈ，ｗｈｅｉｇｈｔ，ｗＣｈｉｓｔｏは、各差に関する重みである。
2011053933.tif 000009
【００３３】
また、オブジェクト同定部１０２は同じように重み付け和ｄｔｏｔａｌ，ｉＡ，ｊＢ，ｄｔｏｔａｌ，ｉＡ，ｊＣ，ｄｔｏｔａｌ，ｉＢ，ｊＡ，ｄｔｏｔａｌ，ｉＢ，ｊＢ，ｄｔｏｔａｌ，ｉＢ，ｊＣをそれぞれ算出する。
【００３４】
ここで、オブジェクト同定部１０２は想定しうるオブジェクトの組み合わせについて、さらに和を算出する。この場合、想定しうる組み合わせは以下の６種類である。
（i）  Ｏｂｊ（ｉ，Ａ）とＯｂｊ（ｊ，Ａ）が同一オブジェクト、
Ｏｂｊ（ｉ，Ｂ）とＯｂｊ（ｊ，Ｂ）が同一オブジェクト、
Ｏｂｊ（ｊ，Ｃ）が消失したオブジェクト
（ii）  Ｏｂｊ（ｉ，Ａ）とＯｂｊ（ｊ，Ａ）が同一オブジェクト、
Ｏｂｊ（ｉ，Ｂ）とＯｂｊ（ｊ，Ｃ）が同一オブジェクト、
Ｏｂｊ（ｊ，Ｂ）が消失したオブジェクト
（iii）  Ｏｂｊ（ｉ，Ａ）とＯｂｊ（ｊ，Ｂ）が同一オブジェクト、
Ｏｂｊ（ｉ，Ｂ）とＯｂｊ（ｊ，Ａ）が同一オブジェクト、
Ｏｂｊ（ｊ，Ｃ）が消失したオブジェクト
（iv）  Ｏｂｊ（ｉ，Ａ）とＯｂｊ（ｊ，Ｂ）が同一オブジェクト、
Ｏｂｊ（ｉ，Ｂ）とＯｂｊ（ｊ，Ｃ）が同一オブジェクト、
Ｏｂｊ（ｊ，Ａ）が消失したオブジェクト
（v）  Ｏｂｊ（ｉ，Ａ）とＯｂｊ（ｊ，Ｃ）が同一オブジェクト、
Ｏｂｊ（ｉ，Ｂ）とＯｂｊ（ｊ，Ａ）が同一オブジェクト、
Ｏｂｊ（ｊ，Ｂ）が消失したオブジェクト
（vi）  Ｏｂｊ（ｉ，Ａ）とＯｂｊ（ｊ，Ｃ）が同一オブジェクト、
Ｏｂｊ（ｉ，Ｂ）とＯｂｊ（ｊ，Ｂ）が同一オブジェクト、
Ｏｂｊ（ｊ，Ａ）が消失したオブジェクト
【００３５】
従って、オブジェクト同定部１０２は、以下の式（８）〜（１３）から上記（i）〜（vi）の組み合わせの評価値ｍａｔｃｈ１〜ｍａｔｃｈ６を算出し、各評価値を比較して最も小さい値となる組み合わせを選ぶ。選ばれた組み合わせが、正しいオブジェクトの組み合わせとなる。
2011053933.tif 000010
2011053933.tif 000011
2011053933.tif 000012
2011053933.tif 000013
2011053933.tif 000014
2011053933.tif 000015
【００３６】
以上が、オブジェクトを同定する方法である。
なお、以降の説明の便宜上、正しいオブジェクトの組み合わせが上記（i）、即ちＯｂｊ（ｉ，Ａ）とＯｂｊ（ｊ，Ａ）が同一、Ｏｂｊ（ｉ，Ｂ）とＯｂｊ（ｊ，Ｂ）が同一であるものとし、Ｏｂｊ（ｉ，Ａ）はｉｄ＝１、Ｏｂｊ（ｉ，Ｂ）はｉｄ＝２であるものとする。
このようにして、オブジェクト同定部１０２ではオブジェクトの同定を行い、オブジェクトのｉｄデータ１２を速度算出部１０３、加速度算出部１０４および特徴量作成部１０５に出力する。
【００３７】
次に、速度算出部１０３の処理を説明する。
オブジェクト同定部１０２が出力したｉｄデータ１２より、ｉｄ＝１のオブジェクトの、フレームｉとフレームｊの間における水平方向の速度ｖｘｉＡおよび垂直方向の速度ｖｙｉＡは、下式（１４），（１５）となる。ここで、Δｔは、フレームｉとフレームｊの時間差である。なお、ｉ番とｊ番が隣接したフレームで、かつ、フレーム間の時間差が一定（固定フレームレート）である場合には、フレーム間の時間差を単位時間と定義することでΔｔでの除算を省略でき、位置の差分計算のみ行えばよい。
2011053933.tif 000016
2011053933.tif 000017
【００３８】
速度算出部１０３は、上式（１４），（１５）から、ｉｄ＝１のオブジェクトについて速度ｖｘｉＡ，ｖｙｉＡを算出する。ｉｄ＝２のオブジェクトについても同様に計算できる。オブジェクト数がさらに増えた場合でも同じように速度の算出が可能である。
このようにして、速度算出部１０３ではオブジェクトの速度を算出し、速度データ１３を加速度算出部１０４および特徴量作成部１０５に出力する。
【００３９】
次に、加速度算出部１０４の処理を説明する。
加速度算出部１０４は、速度算出部１０３が算出した現在のフレームの各オブジェクトの速度データ１３と、オブジェクト特徴量バッファ１０６に記憶されている別のフレームのオブジェクト特徴量データ１５とから、オブジェクトの加速度を算出する。フレームｉにおけるｉｄ＝１のオブジェクトの水平方向および垂直方向の加速度ａｘｉＡおよび垂直方向の加速度ａｙｉＡは、以下の式（１６），（１７）より算出する。速度算出部１０３における速度算出の場合と同様に、ｉ番とｊ番が隣接したフレームで、かつ、フレーム間の時間差が一定（固定フレームレート）である場合には、フレーム間の時間差を単位時間と定義することでΔｔでの除算を省略でき、位置の差分計算のみ行えばよい。
2011053933.tif 000018
2011053933.tif 000019
【００４０】
加速度算出部１０４は、上式（１６），（１７）から、ｉｄ＝１のオブジェクトについて加速度ａｘｉＡ，ａｙｉＡを算出する。ｉｄ＝２のオブジェクトについても同様に計算できる。オブジェクト数がさらに増えた場合でも同じように加速度の算出が可能である。
このようにして、加速度算出部１０４ではオブジェクトの加速度を算出し、加速度データ１４を特徴量作成部１０５に出力する。
【００４１】
次に、特徴量作成部１０５の処理を説明する。
特徴量作成部１０５は、各部から入力される、オブジェクトのｉｄ、フレーム番号、位置、速度、加速度、色ヒストグラムの情報を、定められたフォーマットに従ってオブジェクト特徴量データ１５として記述する。オブジェクト特徴量データ１５のフォーマットとしては、いわゆる２値の信号からなるバイナリデータや、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）形式のテキストデータ等があり、本実施の形態ではフォーマットの形式については問わない。
このようにして、オブジェクト特徴量バッファ１０６では各フレームの各オブジェクトについてオブジェクト特徴量データ１５を作成し、オブジェクト特徴量データ１５をオブジェクト特徴量バッファ１０６および上位のシステム（不図示）に出力する。
【００４２】
次に、オブジェクト特徴量バッファ１０６について説明する。
オブジェクト特徴量バッファ１０６はオブジェクト特徴量データ１５を記憶するバッファである。既に説明したように、オブジェクト特徴量バッファ１０６は、オブジェクト同定部１０２、速度算出部１０３および加速度算出部１０４での同定、速度算出および加速度算出に利用される、参照用のフレームのオブジェクト特徴量データ１５を格納し、さらに新たなフレームのオブジェクト特徴量データ１５を順次格納していく。
【００４３】
次に、映像特徴量抽出装置１００によって算出されたオブジェクト特徴量データ１５の利用方法を説明する。
例えば、オブジェクト特徴量データ１５の利用方法として、映像状態の判別、特にオブジェクトの移動状態の判別が挙げられる。図４は、オブジェクト特徴量データ１５利用の一例としての、映像状態判別装置２００の構成を示すブロック図である。図４に示す映像状態判別装置２００は、図１に示す映像特徴量抽出装置１００と、オブジェクト特徴量データ１５を用いて映像状態を判別する映像状態判別部２０１とからなる。
【００４４】
次に、映像状態判別部２０１の処理を説明する。
図５は、映像信号１０の一例であり、移動体（例えば自動車）が移動するシーンを表す説明図である。また、図５に示す移動体の速度を図６に示し、加速度を図７に示す。これら図６および図７は、この移動体に関するオブジェクト特徴量データ１５に含まれる速度データ１３および加速度データ１４を基に作成したグラフである。
【００４５】
図５に示すフレーム０では、移動体は停止している。移動体はフレーム１で移動を開始し、フレーム３０まで一定の加速度で加速して最高速度に到達し、フレーム７０まで最高速度で走行した後に減速を始め、フレーム１００で再び停止するものとする。このとき、画面上で移動体は画面左から右へ移動している。なお、ここでは説明を簡易にするために、移動体の垂直方向の移動はないものとする。
このような場合、移動体の移動の状態を、「静止」→「加速」→「等速度での走行」→「減速」→「静止」の４つの状態に分けることができる。これらの状態が判別結果データ２１となる。
【００４６】
図６では、移動体の速度はフレーム０とフレーム１００を除き常に正の値となる。そのため、映像状態判別部２０１が図６の速度データ１３から判別可能なのは「静止」および「走行」という２つの状態のみであり、「加速」、「等速度での走行」、「減速」という走行状態を判別するのは困難である。従って、移動体の正確な状態の判別はできない。
【００４７】
しかし、図７の加速度の状態をみると、フレーム０およびフレーム１００では「静止」、フレーム１からフレーム３０までは「加速」、フレーム７０からフレーム９９までは「減速」という状態が簡単に分かる。映像状態判別部２０１は、加速度データ１４と速度データ１３の情報とを合わせて用いることにより、フレーム３１からフレーム６９までは「等速度での走行」、という判別も可能になる。
このように、オブジェクト特徴量データ１５のうちの速度および加速度の特徴量を用いることで、映像中のオブジェクトの移動の状態の判別をより正確に、より詳細に行うことができる。
【００４８】
なお、実際には、速度および加速度の算出に画像のノイズ等の誤差が含まれるため、時間方向の平均値をそれぞれ用いるようにしてもよい。
【００４９】
以上より、実施の形態１によれば、映像特徴量抽出装置１００を、映像信号１０からオブジェクトと、このオブジェクトの映像上の位置データ１１ａと低レベルメタデータ１１ｂとを抽出するオブジェクト抽出部１０１と、オブジェクト抽出部１０１が抽出した、異なる映像間のオブジェクトを同定し、ｉｄデータ１２を付与するオブジェクト同定部１０２と、同一のｉｄデータ１２のオブジェクトについて、異なる映像上の位置データ１１ａから速度データ１３を算出する速度算出部１０３と、同一のｉｄデータ１２のオブジェクトについて、異なる映像上の速度データ１３から加速度データ１４を算出する加速度算出部１０４と、これらのデータを所定フォーマットで記述してオブジェクト特徴量データ１５を生成する特徴量作成部１０５と、オブジェクト特徴量データ１５を格納しておくオブジェクト特徴量バッファ１０６とを備えるように構成した。このため、この映像特徴量抽出装置１００が抽出するオブジェクト特徴量データ１５を用いれば、映像状態の判別、特にオブジェクトの移動状態の判別、移動の予測等をより詳細に、より正確に行うことが可能となる。
【００５０】
また、オブジェクト同定部１０２が、今回抽出したオブジェクトの位置データ１１ａおよび低レベルメタデータ１１ｂと、オブジェクト特徴量バッファ１０６に格納されているオブジェクト特徴量データ１５の位置データ１１ａおよび低レベルメタデータ１１ｂとを用いてオブジェクトを同定するように構成した。このため、オブジェクトを同定する際、特に位置の変化が小さいオブジェクトを正確に同定することができる。
【００５１】
また、実施の形態１によれば、映像状態判別装置２００を、上記映像特徴量抽出装置１００と、上記映像特徴量抽出装置１００が出力するオブジェクト特徴量データ１５に含まれる位置データ１１ａ、速度データ１３および加速度データ１４を用いて、オブジェクトの移動状態を判別する映像状態判別部２０１とを備えるように構成した。このため、オブジェクト特徴量データ１５の速度データ１３と加速度データ１４とを用いることにより、オブジェクトの移動の状態をより詳細に判別可能となる。
【００５２】
実施の形態２．
本実施の形態２の映像特徴量抽出装置１００は、図１に示す上記実施の形態１の映像特徴量抽出装置１００と図面上では同様の構成であるため、以下では図１を援用して説明する。上記実施の形態１と本実施の形態２とでは、オブジェクト同定部１０２の処理が異なるため、以下、オブジェクト同定部１０２を中心に説明する。
【００５３】
上記実施の形態１では、オブジェクト同定部１０２がオブジェクトの位置、大きさ、色ヒストグラムの情報を利用してオブジェクトを同定していた。この方法の場合、フレーム間で位置の変化が小さいほうがオブジェクトを同定しやすい性質があった。しかし、オブジェクトの速度が大きい場合にはフレーム間で位置の変化が大きくなり、同定を誤る可能性が高まる。そこで、本実施の形態２では、オブジェクト同定部１０２が、速度および加速度の特徴量を用いて、フレームｊのオブジェクトＡ、即ちオブジェクト特徴量Ｏｂｊ（ｊ，Ａ）の、フレームｉにおける位置（ｘｐｒｅｄ，ｊＡ，ｙｐｒｅｄ，ｊＡ）を予測する。位置予測には、以下の式（１８），（１９）を用いる。
2011053933.tif 000020
2011053933.tif 000021
【００５４】
ｘｐｒｅｄ，ｊＡは、オブジェクト特徴量バッファ１０６に記憶されているフレームｊにおけるオブジェクトＡの速度と加速度の特徴量を利用して、フレームｉにおけるオブジェクトＡのｘ座標を予測した値である。ｙｐｒｅｄ，ｊＡは、同じくフレームｊにおけるオブジェクトＡの速度と加速度の特徴量を利用して、フレームｉにおけるオブジェクトＡのｙ座標を予測した値である。
【００５５】
オブジェクト同定部１０２は、フレームｊのオブジェクトＡの予測位置と、フレームｉのオブジェクトＡの実際の位置との差ｄｃｅｎｔｅｒ２，ｉＡ，ｊＡを、下式（２０）により算出する。そして、オブジェクト同定部１０２は、下式（２０）から算出した差ｄｃｅｎｔｅｒ２，ｉＡ，ｊＡと上式（４）〜（６）から算出した各差ｄｗｉｄｔｈ，ｉＡ，ｊＡ，ｄｈｅｉｇｈｔ，ｉＡ，ｊＡ，ｄＣｈｉｓｔｏ，ｉＡ，ｊＡの重み付け和ｄｔｏｔａｌ，ｉＡ，ｊＡを、下式（２１）により算出する。
2011053933.tif 000022
2011053933.tif 000023
【００５６】
オブジェクト同定部１０２は、求めた重み付け和を使って、上記実施の形態１と同様にしてオブジェクトの各組み合わせについて評価値を求め、オブジェクトを同定する。ただし、予測位置ｘｐｒｅｄ，ｊＡ若しくはｙｐｒｅｄ，ｊＡ、またはその両方が画面外を指す場合、オブジェクト同定部１０２は、そのオブジェクトが画面外に移動したものとみなしてもよい。
【００５７】
また、例えば、２つ以上のオブジェクトの予測位置が非常に近くなった場合、即ち下式（２２），（２３）の両方を満たす場合、オブジェクトが他のオブジェクトに隠れる、またはオブジェクト同士が衝突する危険があるとみなすことができる。このことを利用して、参照用のフレーム（上記の場合はフレームｊ）において、オブジェクトの速度および加速度を算出した段階で本実施の形態２によるオブジェクト同定部１０２の処理を行って予測位置を算出し、予めオブジェクト同士の衝突を予測して警告を発するようにしてもよい。
2011053933.tif 000024
2011053933.tif 000025
【００５８】
以上のように、実施の形態２によれば、オブジェクト同定部１０２が、オブジェクト特徴量バッファ１０６に格納されている既に抽出されたオブジェクト特徴量データ１５の位置データ１１ａ、速度データ１３、加速度データ１４を用いて、今回抽出するオブジェクトの予測位置を算出し、この予測位置と今回抽出したオブジェクトの位置データ１１ａとを比較して同定するように構成した。このため、オブジェクトを同定する際、特に位置の変化が大きいオブジェクトを正確に同定することができる。
【００５９】
また、オブジェクト同定部１０２が、算出した予測位置を用いて、オブジェクト同士の重なり合い、衝突、または消失を予測するように構成した。このため、予めオブジェクト同士の衝突等を予測して警告を発することができる。
【００６０】
実施の形態３．
上記実施の形態１，２に係る映像特徴量抽出装置１００によって算出されたオブジェクト特徴量データ１５の利用方法を説明する。
本実施の形態３では、オブジェクト特徴量データ１５のうちの特に速度および加速度の特徴量を、映像符号化装置で利用する。図８は、オブジェクト特徴量データ１５利用の一例としての、映像符号化装置３００の構成を示すブロック図である。図８に示す映像符号化装置３００は、実施の形態１，２に係る映像特徴量抽出装置１００が算出したオブジェクト特徴量データ１５を記録しているオブジェクト特徴量バッファ３０３と、このオブジェクト特徴量データ１５を用いて映像信号１０から動きベクトルを抽出する動きベクトル探索部３０１と、映像符号化処理を行う映像符号化部３０２とからなる。
【００６１】
なお、本実施の形態３に係る映像符号化装置３００では、既に抽出されている参照フレームｊのオブジェクト特徴量データ１５を用いて動きベクトル探索を行うこととし、符号化映像信号３２の符号化フレームからオブジェクト特徴量の抽出は行わないものとする。
【００６２】
次に、映像符号化装置３００の詳細を説明する。
まず、動きベクトル探索部３０１の処理を説明する。
動きベクトル探索部３０１は、映像符号化における動きベクトルの算出を行う。
【００６３】
一般に映像符号化においては、「ユビキタス技術  動画像の高能率符号化―ＭＰＥＧ−４とＨ．２６４―」（小野定康、村上篤道、浅井光太郎、オーム社、ｐｐ．２７〜２８，５０〜５１）に示すような、動き補償予測と呼ばれる方法を用いて符号化映像信号３２の符号量を削減する。
上記文献に示されるように、符号化装置は、ブロックマッチング法等によりマクロブロック単位で動きベクトルを探索して映像信号を符号化し、符号化した符号化映像信号と符号化に用いた動きベクトルの情報を復号装置へ伝送する。一般にブロックマッチング法等による動きベクトル探索は、処理負荷が非常に大きい。そこで、本実施の形態３の動きベクトル探索部３０１では、オブジェクト特徴量を用いて処理の高速化を図る。
【００６４】
図９は、実施の形態３に係る映像符号化装置３００が用いる参照フレームの一例を示す説明図である。図９において、参照フレームｊから抽出したオブジェクトＡ（ｉｄｉＡ＝１）と、それに接する長方形Ａ’と、その対角線（オブジェクト中心）とを実線で示し、さらに、オブジェクトＡの一部を含むマクロブロックを破線で示す。ここで、破線で示したマクロブロックの動きベクトル探索中心をＭＣｃｅｎｔｅｒ＝（ｘｍｃ，ｃｅｎｔｅｒ，ｙｍｃ，ｃｅｎｔｅｒ）とすると、動きベクトル探索部３０１はこの探索中心を、オブジェクト特徴量バッファ３０３が記憶している参照フレームｊのオブジェクトＡについてのオブジェクト特徴量データ１５、即ちＯｂｊ（ｊ，Ａ）を用いて以下の式（２４），（２５）から算出する。
2011053933.tif 000026
2011053933.tif 000027
【００６５】
さらに、動きベクトル探索部３０１は、動きベクトルの探索範囲についてもオブジェクト特徴量データ１５に含まれる速度および加速度の情報から決定する。例えば、探索範囲の下限と上限をＭＣｍｉｎ＝（ｘｍｃ，ｍｉｎ，ｙｍｃ，ｍｉｎ），ＭＣｍａｘ＝（ｘｍｃ，ｍａｘ，ｙｍｃ，ｍａｘ）とすると、動きベクトル探索部３０１はこの探索範囲を、以下の式（２６）〜（２９）から算出する。ここで、αは１以上の定数であり、処理を行うハードウェアの性能に合わせて設定すればよい。
2011053933.tif 000028
2011053933.tif 000029
2011053933.tif 000030
2011053933.tif 000031
【００６６】
このようにして、動きベクトル探索部３０１では高速に動きベクトルの探索範囲を決定することができ、また、その際に参照フレームのオブジェクト特徴量データ１５を用いることで正確な動き補償予測が可能となる。動きベクトル探索部３０１で探索した動きベクトル、探索範囲等は動きベクトル３１として映像符号化部３０２へ出力する。なお、オブジェクトが存在しない部分については、通常の動き補償予測を行う。あるいは、その部分を、動きが少ない背景若しくは新規のオブジェクトとみなして動きベクトル（０，０）の動きベクトル３１を出力するようにしてもよい。または、その部分を、スキップマクロブロック若しくはイントラマクロブロックに設定するようにしてもよい。
【００６７】
なお、図９の例では、オブジェクトを囲む長方形にわずかでも含まれるマクロブロックについて、オブジェクト特徴量データ１５を利用して動きベクトルの探索中心と探索範囲を決定するようにしたが、これに限定されるものではなく、例えば図１０または図１１のようにしてもよい。図１０の例では、オブジェクトを囲む長方形に完全に含まれるマクロブロック（破線で示す）についてのみ、オブジェクト特徴量データ１５を利用して動きベクトルの探索中心および探索範囲を決定する。また、図１１の例では、一定以上の割合の面積がオブジェクトを囲む長方形に含まれるマクロブロック（破線で示す）についてのみ、オブジェクト特徴量データ１５を利用して動きベクトルの探索中心および探索範囲を決定する。
【００６８】
また、図１２は、２つのオブジェクトＡ，Ｂを含む参照フレームの一例を示す説明図であり、オブジェクトＡに接する長方形Ａ’と、オブジェクトＢに接する長方形Ｂ’とがある。図１２に示すように、マクロブロック（破線で示す）のうち、オブジェクトを囲む２個以上の長方形に含まれるマクロブロックＭＢについては、マクロブロック面積中に含まれるオブジェクトの面積割合に応じて、どのオブジェクトのオブジェクト特徴量データ１５を利用するか決定すればよい。あるいは、オブジェクト特徴量データ１５を利用せず、通常の動きベクトル探索を行ってもよい。
【００６９】
次に、映像符号化部３０２の処理を説明する。
映像符号化部３０２は、動きベクトル探索部３０１で得た動きベクトル３１を基に、映像符号化を行う。映像符号化の方式は、ＭＰＥＧ等の動き補償予測を行う符号化方式であればいずれの方式でもよく、本実施の形態３では動きベクトル探索部３０１を利用して探索された動きベクトル３１を用いること以外については問わない。
【００７０】
以上より、実施の形態３によれば、映像符号化装置３００を、映像特徴量抽出装置１００が出力したオブジェクト特徴量データ１５を格納するオブジェクト特徴量バッファ３０３と、オブジェクト特徴量バッファ３０３に格納されているオブジェクト特徴量データ１５のうちの速度データ１３および加速度データ１４を用いて、動きベクトルの探索中心と探索範囲を決定して、動きベクトル探索を行う動きベクトル探索部３０１と、動きベクトル探索部３０１で探索した動きベクトル３１を用いて、映像信号１０を符号化する映像符号化部３０２とを備えるように構成した。このため、映像符号化装置３００がオブジェクト特徴量データ１５を用いて映像符号化における動きベクトルの探索の中心とその範囲を決定することで、高速、かつ、正確な動き補償予測が可能となる。
【００７１】
実施の形態４．
図１３は、実施の形態４に係る特徴量圧縮装置４００の構成を示すブロック図であり、図１と同一または相当の部分については同一の符号を付し説明を省略する。図１３に示す特徴量圧縮装置４００は、映像信号１０からオブジェクト特徴量データ１５を抽出する映像特徴量抽出装置１００と、このオブジェクト特徴量データ１５を圧縮する特徴量圧縮部４０１とからなる。オブジェクト特徴量データ１５は、上式（１）で表されるとおりである。また、このオブジェクト特徴量データ１５は、フレーム毎、オブジェクト毎に算出可能であり、映像信号１０の入力に従って映像特徴量抽出装置１００から順次出力される。
【００７２】
特徴量圧縮部４０１は、オブジェクト特徴量データ１５を圧縮して、映像全体におけるオブジェクトの特徴量（以下、圧縮オブジェクト特徴量）４１を得ることを目的とする。
あるオブジェクトＡの圧縮オブジェクト特徴量４１は、下式（３０）で表される。
2011053933.tif 000032
【００７３】
ここで、式（３０）中、ｉｄＡはオブジェクトＡの固有の番号を表し、上式（１）のｉｄｉＡをそのまま用いる。
【００７４】
また、式（３０）中、ｓｔａｒｔＡはオブジェクトＡが画像中に初めて現れたときのフレーム番号であり、オブジェクト特徴量データ１５から容易に分かる。ここでは、便宜上ｓｔａｒｔ＝ｓとし、以下の説明ではオブジェクトＡが初めて現れたフレーム番号をｓＡと称す。
【００７５】
また、式（３０）中、ｘｓｔａｒｔ，Ａおよびｙｓｔａｒｔ，Ａは画像中におけるオブジェクトＡ中心位置の初期座標である。これらｘｓｔａｒｔ，Ａおよびｙｓｔａｒｔ，Ａは、ＬＴｓＡおよびＲＢｓＡから下式（３１），（３２）を用いて算出する。
2011053933.tif 000033
2011053933.tif 000034
【００７６】
また、式（３０）中、ｖｘｓｔａｒｔ，Ａおよびｖｙｓｔａｒｔ，ＡはオブジェクトＡの初期速度であり、オブジェクトＡが初めて現れたフレームｉ＝ｓとしたときの上式（１）のフレーム間の水平方向および垂直方向の速度ｖｘｉＡおよびｖｙｉＡをそのまま用いる。
2011053933.tif 000035
2011053933.tif 000036
【００７７】
また、式（３０）中、ａｘＡ（ｉ）およびａｙＡ（ｉ）はオブジェクトＡのｉ番目のフレームにおける加速度であり、上式（１）のフレームｉにおけるフレーム間の水平方向および垂直方向の加速度ａｘｉＡおよびａｙｉＡをそのまま用いる
2011053933.tif 000037
2011053933.tif 000038
【００７８】
また、式（３０）中、ｗＡ（ｉ）およびｈＡ（ｉ）はオブジェクトＡのｉ番目のフレームにおける大きさ（幅と高さ）であり、オブジェクトＡの画像中の位置ＬＴｉＡおよびＲＢｉＡから下式（３７），（３８）を用いて算出する。
2011053933.tif 000039
2011053933.tif 000040
【００７９】
また、式（３０）中、Ｃａｖｇ，ＡはオブジェクトＡの色ヒストグラムの平均値である。上記実施の形態１で示した４８次元のベクトルを用いる場合には、ＣｉＡ＝｛ｃ１，ｉＡ，ｃ２，ｉＡ，ｃ３，ｉＡ，・・・，ｃ４８，ｉＡ｝で表される色ヒストグラムの各ベクトルの平均値を用いればよい。
【００８０】
このようにして、特徴量圧縮部４０１は圧縮オブジェクト特徴量４１を得る。これにより、オブジェクトのフレーム毎の座標および速度の特徴量は、初期座標および初期速度、ならびにフレーム毎の加速度および大きさのデータに圧縮される。また、色ヒストグラムのデータはフレーム毎の平均値に圧縮される。
【００８１】
なお、上記説明では特徴量圧縮装置４００が映像特徴量抽出装置１００を備える構成であったが、これに限定されるものでなく、映像特徴量抽出装置１００が特徴量圧縮部４０１を備える構成であってもよい。
【００８２】
次に、特徴量圧縮装置４００によって圧縮された圧縮オブジェクト特徴量４１を伸張して所望のオブジェクトを検索する方法を説明する。
図１４は、実施の形態４に係るオブジェクト検索装置５００の構成を示すブロック図である。図１４に示すオブジェクト検索装置５００は、検索対象のオブジェクトに関する検索条件５０を受け付けて検索キーとなるオブジェクト特徴量データ５１を作成する検索条件入力部５０１と、圧縮オブジェクト特徴量４１を蓄積している圧縮特徴量バッファ５０３と、圧縮特徴量バッファ５０３から検索キーに一致する圧縮オブジェクト特徴量４１を取得して伸張する特徴量伸張部５０２と、伸張したオブジェクト特徴量データ１５ａと検索キーのオブジェクト特徴量データ５１とを比較して検索結果５４を得るオブジェクト検索部５０４とからなる。
【００８３】
以下、各部の処理を説明する。
まず、検索条件入力部５０１の処理を説明する。
検索条件入力部５０１は、入力された検索条件５０から、検索キーとなるオブジェクト特徴量データ５１を作成する。検索条件５０としては以下の［検索条件１］〜［検索条件５］が挙げられる。
［検索条件１］  フレーム番号
［検索条件２］  オブジェクトの左上座標、右下座標
［検索条件３］  オブジェクトの速度
［検索条件４］  オブジェクトの加速度
［検索条件５］  オブジェクトの色ヒストグラム
【００８４】
検索条件５０は、上記［検索条件１］〜［検索条件５］のうちの一つ以上を含む。ここでは、検索キーとなるオブジェクトをＱとし、さらに、検索条件５０が上記［検索条件１］〜［検索条件５］の全てを含む場合を例に用いて説明する。
このような検索条件５０に基づき、検索条件入力部５０１が、上式（１）で示すフォーマットで記述した検索キーのオブジェクト特徴量データ５１を作成する。検索条件入力部５０１が作成した、便宜上Ｏｂｊ（ｉ，Ｑ）で表す検索キーのオブジェクト特徴量データ５１は、オブジェクト検索部５０４へ出力される。
【００８５】
次に、特徴量伸張部５０２の処理を説明する。
特徴量伸張部５０２は、まず、検索条件５０に基づいて、圧縮特徴量バッファ５０３を参照し、一致する圧縮オブジェクト特徴量４１を取得する。このとき、特徴量伸張部５０２はフレーム番号等により参照する特徴量を絞り込めば、高速に検索できる。
なお、以下では、上述したように上記［検索条件１］〜［検索条件５］全て使用するものとして説明する。
【００８６】
特徴量伸張部５０２は、続いて、取得した圧縮オブジェクト特徴量４１を伸張してオブジェクト特徴量データ１５ａを得る。ここでは、検索キーのオブジェクト特徴量データ５１がＯｂｊ（ｉ，Ｑ）であることから圧縮オブジェクト特徴量４１のフレーム番号もｉとし、また、便宜上オブジェクトをＡとする。
特徴量伸張部５０２は、まず、下式（３９），（４０）により、加速度ａｘＡ（ｉ）およびａｙＡ（ｉ）の積分値と初期速度ｖｘｓｔａｒｔ，Ａおよびｖｙｓｔａｒｔ，Ａとからｉ番目のフレームのときの速度ｖｘｉＡおよびｖｙｉＡを得る。フレーム間隔は離散的であり、積分は和を取ることと等価である。
2011053933.tif 000041
2011053933.tif 000042
なお、フレーム間の時間差を単位時間とすれば、単純な加速度の和に初期速度を加算するだけで速度を得ることができる。
【００８７】
特徴量伸張部５０２は、続いて、下式（４１），（４２）により、ｉ番目のフレームのときの速度ｖｘｉＡおよびｖｙｉＡの積分値と、オブジェクトＡ中心位置の初期座標ｘｓｔａｒｔ，Ａおよびｙｓｔａｒｔ，Ａとからｉ番目のフレームのときの中心座標（ｘｃｅｎｔｅｒ，ｉＡ，ｙｃｅｎｔｅｒ，ｉＡ）の時間変化を得る。
2011053933.tif 000043
2011053933.tif 000044
なお、式（４１），（４２）でも、上式（３９），（４０）の場合と同様にフレーム間の時間差を単位時間とすれば、単純な速度の和に初期速度を加算することで中心座標を得ることができる。
【００８８】
特徴量伸張部５０２は、続いて、下式（４３）〜（４６）により、オブジェクトＡのｉ番目のフレームにおける左上の座標（ｘＬＴ，ｉＡ，ｙＬＴ，ｉＡ）および右下の座標（ｘＲＢ，ｉＡ，ｙＲＢ，ｉＡ）を算出する。
2011053933.tif 000045
2011053933.tif 000046
2011053933.tif 000047
2011053933.tif 000048
【００８９】
このようにしてオブジェクトＡの座標位置が判明するため、特徴量伸張部５０２は、色ヒストグラムＣｉＡを、対象フレームの画像データ５２と該当の座標（ｘＬＴ，ｉＡ，ｙＬＴ，ｉＡ）および（ｘＲＢ，ｉＡ，ｙＲＢ，ｉＡ）から求めることができる。このとき、オブジェクトの座標位置は計算により得られるので、オブジェクトの抽出処理等を行うことなく高速に色ヒストグラムＣｉＡを抽出することができる。なお、対象フレームの画像データ５２がない場合は、色ヒストグラムの平均値Ｃａｖｇ，Ａで代用すればよい。
【００９０】
以上が、圧縮オブジェクト特徴量４１を伸張する方法である。
特徴量伸張部５０２は、伸張したオブジェクト特徴量データ１５ａをオブジェクト検索部５０４に出力する。ここでは、ｉ番目のフレームにはオブジェクトＤとオブジェクトＥが存在したものとし、Ｏｂｊ（ｉ，Ｄ）とＯｂｊ（ｉ，Ｅ）のオブジェクト特徴量データ１５ａをオブジェクト検索部５０４へ出力する。
【００９１】
ここまで、上記［検索条件１］〜［検索条件５］を全て使用している前提で説明したため、圧縮特徴量バッファ５０３から得た全ての圧縮オブジェクト特徴量４１の伸張を行った。
しかし、入力された検索条件５０から、一部の検索条件が不要である場合、圧縮オブジェクト特徴量４１の全てを伸張する必要はない。例えば［検索条件３］が不要であれば、上式（３９），（４０）の処理が不要である。同様に、［検索条件２］が不要であれば、上式（４１），（４２）の処理が不要である。同様に、［検索条件５］が不要であれば、上記色ヒストグラムＣｉＡを求める処理が不要である。このように、検索条件を制限した場合、特徴量伸張部５０２の処理量の軽減が期待できる。
【００９２】
次に、圧縮特徴量バッファ５０３について説明する。
圧縮特徴量バッファ５０３は圧縮オブジェクト特徴量４１を記憶するバッファである。この圧縮オブジェクト特徴量４１は、既に説明した特徴量圧縮装置４００が生成したデータである。圧縮特徴量バッファ５０３は、特徴量伸張部５０２からの参照に基づいて、該当する圧縮オブジェクト特徴量４１を返送する。ここでは、オブジェクト特徴量データ１５に代えて圧縮オブジェクト特徴量４１を蓄積すればよいため、圧縮特徴量バッファ５０３を構成する蓄積媒体の容量を削減できる。
【００９３】
次に、オブジェクト検索部５０４の処理を説明する。
オブジェクト検索部５０４は、検索キーのオブジェクト特徴量データ５１、即ちＯｂｊ（ｉ，Ｑ）と、圧縮オブジェクト特徴量４１から算出されたオブジェクト特徴量データ１５ａ、即ちＯｂｊ（ｉ，Ｄ），Ｏｂｊ（ｉ，Ｅ）との距離を比較する。各特徴量の距離としては以下の［比較項目１］〜［比較項目６］があり、オブジェクト検索部５０４は各項目の距離をそれぞれ算出する。
［特徴量１］  オブジェクトの中心座標
［特徴量２］  オブジェクトの速度
［特徴量３］  オブジェクトの加速度
［特徴量４］  オブジェクトの幅
［特徴量５］  オブジェクトの高さ
［特徴量６］  オブジェクトの色ヒストグラム
【００９４】
オブジェクトの中心座標は上式（２）を用いて算出可能であり、オブジェクトの中心座標間の距離は上式（３）を用いて算出可能である。従って、オブジェクト検索部５０４は、オブジェクトＱとＤの中心座標間の距離を上式（２），（３）を用いて算出し、［特徴量１］の距離ｄｃｅｎｔｅｒ，ｉＱ，ｉＤとする。
【００９５】
オブジェクト検索部５０４は、オブジェクトＱとＤの速度の差を下式（４７）を用いて算出し、［特徴量２］の距離ｄｖ，ｉＱ，ｉＤとする。
同様に、オブジェクト検索部５０４はオブジェクトＱとＤの加速度の差を下式（４８）を用いて算出し、［特徴量３］の距離ｄａ，ｉＱ，ｉＤとする。
2011053933.tif 000049
2011053933.tif 000050
【００９６】
オブジェクト検索部５０４は、オブジェクトＱとＤの幅の差を上式（４）を用いて算出し、［特徴量４］の距離ｄｗｉｄｔｈ，ｉＱ，ｉＤとする。
オブジェクト検索部５０４は、オブジェクトＱとＤの高さの差を上式（５）を用いて算出し、［特徴量５］の距離ｄｈｅｉｇｈｔ，ｉＱ，ｉＤとする。
オブジェクト検索部５０４は、オブジェクトＱとＤの色ヒストグラムの違いを上式（６）を用いて算出し、［特徴量６］の距離ｄＣｈｉｓｔｏ，ｉＱ，ｉＤとする。
【００９７】
オブジェクト検索部５０４は、上式（２）〜（６），（４７），（４８）から求めた各特長量の距離ｄｃｅｎｔｅｒ，ｉＱ，ｉＤ，ｄｖ，ｉＱ，ｉＤ，ｄａ，ｉＱ，ｉＤ，ｄｗｉｄｔｈ，ｉＱ，ｉＤ，ｄｈｅｉｇｈｔ，ｉＱ，ｉＤ，ｄＣｈｉｓｔｏ，ｉＱ，ｉＤの重み付け和ｄｔｏｔａｌ２，ｉＱ，ｉＤを、下式（４９）により算出する。ここで、ｗｃｅｎｔｅｒ２，ｗｖ，ｗａ，ｗｗｉｄｔｈ２，ｗｈｅｉｇｈｔ２，ｗＣｈｉｓｔｏ２は、各距離に関する重みである。
2011053933.tif 000051
（４９）
【００９８】
さらに、オブジェクト検索部５０４は、上記同様に、オブジェクトＱとＥについても［特徴量１］〜［特徴量６］の距離を算出し、重み付け和ｄｔｏｔａｌ２，ｉＱ，ｉＥを得る。
そして、オブジェクト検索部５０４は、重み付け和ｔｏｔａｌ２，ｉＱ，ｉＤとｔｏｔａｌ２，ｉＱ，ｉＥとを比較し、差が小さい順に並べた検索結果５４を作成して、出力する。もちろん、オブジェクトがＤ，Ｅだけでなく、２つ以上あった場合も同様に処理する。
このようにして、オブジェクト特徴量データ１５ａから、検索キーのオブジェクト特徴量データ５１のオブジェクトとの特徴量間の距離を算出し、オブジェクトの検索を行うことができる。
【００９９】
以上より、実施の形態４によれば、特徴量圧縮装置４００を、映像信号１０から抽出したオブジェクトの位置、速度および加速度の情報からなるオブジェクト特徴量データ１５を出力する映像特徴量抽出装置１００と、オブジェクト特徴量データ１５から、当該オブジェクトが映像上に初めて現れたときの初期中心位置および初期速度、ならびに当該オブジェクトの任意の映像上での加速度および大きさの時間方向の情報を抜き出して、当該オブジェクト特徴量データ１５を圧縮して圧縮オブジェクト特徴量４１にする特徴量圧縮部４０１とを備えるように構成した。このため、オブジェクト特徴量データ１５を蓄積しておく場合に、オブジェクト特徴量データ１５に代えて圧縮オブジェクト特徴量４１を蓄積すればよいので、蓄積媒体の容量削減が可能となる。
【０１００】
また、オブジェクト検索装置５００を、映像信号１０中に含まれる検索対象オブジェクトの検索条件５０を用いて、検索キーとなるオブジェクト特徴量データ５１を作成する検索条件入力部５０１と、圧縮オブジェクト特徴量４１を蓄積している圧縮特徴量バッファ５０３と、圧縮特徴量バッファ５０３から、検索条件５０に一致する圧縮オブジェクト特徴量４１を取得して、オブジェクト特徴量データ１５ａを抽出する特徴量伸張部５０２と、検索キーのオブジェクト特徴量データ５１と特徴量伸張部５０２が抽出したオブジェクト特徴量データ１５ａとを比較して、検索対象オブジェクトを映像信号１０中から検索した結果を示す検索結果５４を出力するオブジェクト検索部５０４とを備えるように構成した。このため、加速度データからの積分を利用して圧縮されたオブジェクト特徴量を伸張し、オブジェクトの検索を行うことが可能になる。これにより、オブジェクト特徴量の蓄積に要する蓄積媒体の容量を削減しつつ、オブジェクトの正確な検索が可能になる。
【符号の説明】
【０１０１】
１０  映像信号、１１ａ  位置データ、１１ｂ  低レベルメタデータ、１２  ｉｄデータ、１３  速度データ、１４  加速度データ、１５，１５ａ  オブジェクト特徴量データ、２１  判別結果データ、３１  動きベクトル、３２  符号化映像信号、４１  圧縮オブジェクト特徴量、５０  検索条件、５１  検索キーのオブジェクト特徴量データ、５２  対象フレームの画像データ、５４  検索結果、１００  映像特徴量抽出装置、１０１  オブジェクト抽出部、１０２  オブジェクト同定部、１０３  速度算出部、１０４  加速度算出部、１０５  特徴量作成部、１０６，３０３  オブジェクト特徴量バッファ、２００  映像状態判別装置、２０１  映像状態判別部、３００  映像符号化装置、３０１  動きベクトル探索部、３０２  映像符号化部、４００  特徴量圧縮装置、４０１  特徴量圧縮部、５００  オブジェクト検索装置、５０１  検索条件入力部、５０２  特徴量伸張部、５０３  圧縮特徴量バッファ、５０４  オブジェクト検索部。
【図１】
2011053933.tif 000052
【図２】
2011053933.tif 000053
【図３】
2011053933.tif 000054
【図４】
2011053933.tif 000055
【図５】
2011053933.tif 000056
【図６】
2011053933.tif 000057
【図７】
2011053933.tif 000058
【図８】
2011053933.tif 000059
【図９】
2011053933.tif 000060
【図１０】
2011053933.tif 000061
【図１１】
2011053933.tif 000062
【図１２】
2011053933.tif 000063
【図１３】
2011053933.tif 000064
【図１４】
2011053933.tif 000065