(57)【特許請求の範囲】
【請求項１】
動画像内の移動物体である特定物体を認識する方法において、
動画像信号の符号化データを復号化して得られる再生画像信号と該符号化の過程で生成される単位領域毎の「符号化」か「非符号化」かを示す符号化モード情報及び１フレーム前の再生画像信号である参照画像信号を参照して、（ａ）前記符号化モード情報が「符号化」でかつ前記参照画像信号が第１の閾値より大きい場合、（ｂ）前記符号化モード情報が「符号化」で前記参照画像信号が第１の閾値以下かつ背景メモリ内の背景画像信号との相関が第２の閾値より大きい場合、及び（ｃ）前記符号化モード情報が「非符号化」で前記参照画像信号の単位領域が非背景領域と判定されかつ前記参照画像信号の単位領域と背景メモリ内の背景画像信号との相関が第２の閾値より大きい場合は前記再生画像信号の単位領域を非背景領域と判定するステップと、
前記再生画像信号の非背景領域の画素値と前記背景メモリ内の背景画像信号の画素値との絶対値差分和が第３の閾値より大きい画素を前記特定物体と判定するステップと、
前記背景メモリ内の前記背景画像信号のうち前記非背景領域判定ステップにより前記非背景領域と判定されなかった単位領域を背景領域と判定し、かつ該背景領域のうち「符号化」の単位領域を前記再生画像信号によって更新するステップと、
前記再生画像信号の前記特定物体を含む特定領域の特徴量を抽出するステップと、
抽出された前記特定領域の特徴量と予め辞書として登録された複数の特徴量との比較によって前記特定物体の識別処理を行うステップとを有することを特徴とする動画像内の特定物体認識方法。
【請求項２】
動画像内の移動物体である特定物体を認識する方法において、
動画像信号または該動画像信号を符号化する過程で生成される局部復号画像信号と単位領域毎の「符号化」か「非符号化」かを示す符号化モード情報及び１フレーム前の局部復号画像信号である参照画像信号を参照して、（ａ）前記符号化モード情報が「符号化」でかつ前記参照画像信号が第１の閾値より大きい場合、（ｂ）前記符号化モード情報が「符号化」で前記参照画像信号が第１の閾値以下かつ背景メモリ内の背景画像信号との相関が第２の閾値より大きい場合、及び（ｃ）前記符号化モード情報が「非符号化」で前記参照画像信号の単位領域が非背景領域と判定されかつ前記参照画像信号の単位領域と背景メモリ内の背景画像信号との相関が第２の閾値より大きい場合は前記動画像信号または局部復号画像信号の単位領域を非背景領域と判定するステップと、
前記動画像信号または局部復号画像信号の非背景領域の画素値と前記背景メモリ内の背景画像信号の画素値との絶対値差分和が第３の閾値より大きい画素を前記特定物体と判定するステップと、
前記背景メモリ内の前記背景画像信号のうち前記非背景領域判定ステップにより前記非背景領域と判定されなかった単位領域を背景領域と判定し、かつ該背景領域のうち「符号化」の単位領域を前記動画像信号または局部復号画像信号によって更新するステップと、
前記動画像信号または局部復号画像信号の前記特定物体を含む特定領域の特徴量を抽出するステップと、
抽出された前記特定領域の特徴量と予め辞書として登録された複数の特徴量との比較によって前記特定物体の識別処理を行うステップとを有することを特徴とする動画像内の特定物体認識方法。
【請求項３】
動画像信号の符号化データを復号化して得られる再生画像信号と該符号化の過程で生成される単位領域毎の「符号化」か「非符号化」かを示す符号化モード情報及び１フレーム前の再生画像信号である参照画像信号を参照して、（ａ）前記符号化モード情報が「符号化」でかつ前記参照画像信号が第１の閾値より大きい場合、（ｂ）前記符号化モード情報が「符号化」で前記参照画像信号が第１の閾値以下かつ背景メモリ内の背景画像信号との相関が第２の閾値より大きい場合、及び（ｃ）前記符号化モード情報が「非符号化」で前記参照画像信号の単位領域が非背景領域と判定されかつ前記参照画像信号の単位領域と背景メモリ内の背景画像信号との相関が第２の閾値より大きい場合は前記再生画像信号の単位領域を非背景領域と判定する手段と、
前記再生画像信号の非背景領域の画素値と前記背景メモリ内の背景画像信号の画素値との絶対値差分和が第３の閾値より大きい画素を前記特定物体と判定する手段と、
前記背景メモリ内の前記背景画像信号のうち前記非背景領域判定手段により前記非背景領域と判定されなかった単位領域を背景領域と判定し、かつ該背景領域のうち「符号化」の単位領域を前記再生画像信号によって更新する手段と、
前記再生画像信号の前記特定物体を含む特定領域の特徴量を抽出する手段と、
抽出された前記特定領域の特徴量と予め辞書として登録された複数の特徴量との比較によって前記特定物体の識別処理を行う手段とを有することを特徴とする動画像内特定物体認識装置。
【請求項４】
動画像信号または該動画像信号を符号化する過程で生成される局部復号画像信号と単位領域毎の「符号化」か「非符号化」かを示す符号化モード情報及び１フレーム前の局部復号画像信号である参照画像信号を参照して、（ａ）前記符号化モード情報が「符号化」でかつ前記参照画像信号が第１の閾値より大きい場合、（ｂ）前記符号化モード情報が「符号化」で前記参照画像信号が第１の閾値以下かつ背景メモリ内の背景画像信号との相関が第２の閾値より大きい場合、及び（ｃ）前記符号化モード情報が「非符号化」で前記参照画像信号の単位領域が非背景領域と判定されかつ前記参照画像信号の単位領域と背景メモリ内の背景画像信号との相関が第２の閾値より大きい場合は前記動画像信号または局部復号画像信号の単位領域を非背景領域と判定する手段と、
前記動画像信号または局部復号画像信号の非背景領域の画素値と前記背景メモリ内の背景画像信号の画素値との絶対値差分和が第３の閾値より大きい画素を前記特定物体と判定する手段と、
前記背景メモリ内の前記背景画像信号のうち前記非背景領域判定手段により前記非背景領域と判定されなかった単位領域を背景領域と判定し、かつ該背景領域のうち「符号化」の単位領域を前記動画像信号または局部復号画像信号によって更新する手段と、
前記動画像信号または局部復号画像信号の前記特定物体を含む特定領域の特徴量を抽出する手段と、
抽出された前記特定領域の特徴量と予め辞書として登録された複数の特徴量との比較によって前記特定物体の識別処理を行う手段とを有することを特徴とする動画像内特定物体認識装置。
【請求項５】
前記抽出された前記特定領域の特徴量に基づいて前記辞書を作成する辞書作成手段をさらに有することを特徴とする請求項３または４記載の動画像内特定物体認識装置。
【請求項６】
動画像信号の符号化データを復号化して得られる再生画像信号と該符号化の過程で生成される単位領域毎の「符号化」か「非符号化」かを示す符号化モード情報及び１フレーム前の再生画像信号である参照画像信号を参照して、（ａ）前記符号化モード情報が「符号化」でかつ前記参照画像信号が第１の閾値より大きい場合、（ｂ）前記符号化モード情報が「符号化」で前記参照画像信号が第１の閾値以下かつ背景メモリ内の背景画像信号との相関が第２の閾値より大きい場合、及び（ｃ）前記符号化モード情報が「非符号化」で前記参照画像信号の単位領域が非背景領域と判定されかつ前記参照画像信号の単位領域と背景メモリ内の背景画像信号との相関が第２の閾値より大きい場合は前記再生画像信号の単位領域を非背景領域と判定する処理と、
前記再生画像信号の非背景領域の画素値と前記背景メモリ内の背景画像信号の画素値との絶対値差分和が第３の閾値より大きい画素を前記特定物体と判定する処理と、
前記背景メモリ内の前記背景画像信号のうち前記非背景領域判定処理により前記非背景領域と判定されなかった単位領域を背景領域と判定し、かつ該背景領域のうち「符号化」の単位領域を前記再生画像信号によって更新する処理と、
前記再生画像信号の前記特定物体を含む特定領域の特徴量を抽出する処理と、
抽出された前記特定領域の特徴量と予め辞書として登録された複数の特徴量との比較によって前記特定物体の識別処理を行う処理を含む動画像内の特定物体認識処理をコンピュータに実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。
【請求項７】
動画像信号または該動画像信号を符号化する過程で生成される局部復号画像信号と単位領域毎の「符号化」か「非符号化」かを示す符号化モード情報及び１フレーム前の局部復号画像信号である参照画像信号を参照して、（ａ）前記符号化モード情報が「符号化」でかつ前記参照画像信号が第１の閾値より大きい場合、（ｂ）前記符号化モード情報が「符号化」で前記参照画像信号が第１の閾値以下かつ背景メモリ内の背景画像信号との相関が第２の閾値より大きい場合、及び（ｃ）前記符号化モード情報が「非符号化」で前記参照画像信号の単位領域が非背景領域と判定されかつ前記参照画像信号の単位領域と背景メモリ内の背景画像信号との相関が第２の閾値より大きい場合は前記動画像信号または局部復号画像信号の単位領域を非背景領域と判定する処理と、
前記動画像信号または局部復号画像信号の非背景領域の画素値と前記背景メモリ内の背景画像信号の画素値との絶対値差分和が第３の閾値より大きい画素を前記特定物体と判定する処理と、
前記背景メモリ内の前記背景画像信号のうち前記非背景領域判定処理により前記非背景領域と判定されなかった単位領域を背景領域と判定し、かつ該背景領域のうち「符号化」の単位領域を前記動画像信号または局部復号画像信号によって更新する処理と、
前記動画像信号または局部復号画像信号の前記特定物体を含む特定領域の特徴量を抽出する処理と、
抽出された前記特定領域の特徴量と予め辞書として登録された複数の特徴量との比較によって前記特定物体の識別処理を行う処理を含む動画像内の特定物体認識処理をコンピュータに実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、動画像符号化装置または復号化装置を利用して物体の認識処理を行う動画像内特定物体認識方法及び装置に関する。
【０００２】
【従来の技術】
動画像内の特定の物体を検出し、さらにその特定物体を認識するには、一般に画素値を調べることが必要である。しかし、画素値に関わる処理は実際には非常に多くの計算量を必要とする。例えば、動画像圧縮の国際標準であるＩＴＵ−ＴＨ．２６１，Ｈ．２６３，ＩＳＯ／ＩＥＣ ＭＰＥＧ−４でよく用いられるＣＩＦフォーマットの場合、横３５２画素×縦２８８画素、合計１０１，３７６画素もの非常に多数の画素について、処理を行うことが必要である。このような計算量の多い処理に対しては、専用のハードウェアを用意する必要があり、コスト面でも大きな問題があった。
【０００３】
そこで、動画像中の移動物体を検出する手法として、特開平９−２５２４６７号公報「移動物体検出装置」では、動画像符号化装置内で生成された動きベクトルを用いる方法が考案されている。この方法によれば、動画像符号化装置で生成されるブロック毎の動きベクトルを用いるので、移動物体検出のために特別に画素の動きを調べる必要がなく、大幅に計算量を減らすことができる。
【０００４】
しかし、このような動きベクトルを利用した移動物体検出方法では、動きベクトルが大きいブロックや書き換わっているブロックが必ずしも移動物体とは限らず、また、移動物体の内部のブロックでも、書き換わっていないブロックが存在することがあるため、監視などに用いることを考えた場合、必ずしも必要な映像を得ることができなかった。
【０００５】
また、動画像中の特定色の物体を検出する手法として、例えば特開２０００−１９７０６４及び特開２０００−２１７１２９では、物体検出機能を動画像符号化装置あるいは動画像復号化装置と組み合わせることにより、物体の探索範囲を限定して、計算量を大幅に削減する技術を開示している。しかし、これらの方法では、少ない計算量で移動物体や特定色の物体を検出することはできても、具体的にその物体が何であるかを認識するには機能が不足していた。
【０００６】
【発明が解決しようとする課題】
上述したように従来の技術によると、特定の物体を検出し、その物体が何であるか認識するには、多くの計算量を必要とし、また動きベクトルのような符号化パラメータを用いて移動物体を検出する従来の技術においては、精度が十分でないという問題点があった。
【０００７】
そこで、本発明は高速かつ安定して物体認識を行うことのできる動画像内特定物体認識方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、本発明の一つの態様では、動画像信号の符号化データを復号化して得られる再生画像信号と該復号化の過程で生成される情報を用いて再生画像信号中の認識対象となる特定物体を含む特定領域が判定される。次に、再生画像信号の該判定された特定領域の特徴量が抽出され、この抽出された特定領域の特徴量と予め辞書として登録された複数の特徴量との比較によって特定物体の識別処理が行われる。
【０００９】
本発明の他の態様によると、動画像信号または該動画像信号を符号化する過程で生成される局部復号画像信号と該符号化の過程で生成される情報を用いて動画像信号または局部復号画像信号中の認識対象となる特定領域が判定され、動画像信号または局部復号画像信号の該判定された特定領域の特徴量が抽出され、この抽出された特定領域の特徴量と予め辞書として登録された複数の特徴量との比較によって特定物体の識別処理が行われる。
【００１０】
このように本発明においては、動画像符号化／復号化技術を用いることで、動画像認識処理を行う領域を絞り込むことができるので、少ない計算量で高速かつ安定して認識することが可能となる。また、物体を識別するに当たり、特徴量を登録した辞書を利用しており、さらにその辞書を作成する機能を持たせることにより、汎用的な物体認識が可能となる。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。本実施形態では、動画像信号の符号化データを復号化すると共に、この復号化によって生成される再生画像信号と、復号化の過程で生成される情報を利用して動画像内の特定物体を認識する。図１は、本実施形態に係る動画像内特定物体認識装置の構成を示している。この動画像内特定物体認識装置は、動画像復号化部１００と特定物体認識部１１０の２つの部分から成り立っている。
【００１２】
［動画像復号化部１００について］
動画像復号化部１００は、例えばＭＰＥＧ方式に基づく動画像復号化装置、いわゆるＭＰＥＧデコーダであり、この動画像復号化部１００には図示しないＭＰＥＧエンコーダのような動画像符号化部により動画像信号を圧縮符号化して得られた符号化データが伝送路または蓄積系を介して入力される。
【００１３】
入力された符号化データは、入力バッファ１０１に一度蓄えられる。入力バッファ１０１から読み出された符号化データは、多重化分離部１０２により１フレーム毎にシンタクスに基づいて分離された後、可変長復号化部１０３に入力される。可変長復号化部１０３では、可変長符号化されている量子化ＤＣＴ係数情報、符号化モード情報及び動きベクトル情報などの各シンタクスの情報がマクロブロック毎に復号化される。なお、以降の説明で処理対象となっている単位領域であるマクロブロックを注目マクロブロックという。
【００１４】
可変長復号化部１０３において、注目マクロブロックの符号化モードがＩＮＴＲＡ（フレーム内符号化）ならば、可変長復号化部１０３から出力される符号化モード情報に従って、符号化モード切替スイッチ１０９がオフ状態とされる。この場合、可変長符号化部１０３で復号化された量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ（逆離散コサイン変換）部１０５で逆離散コサイン変換されることにより、再生画像信号が生成される。この再生画像信号は、加算器１０６を経由してフレームメモリ１０７に参照画像信号として蓄積されると共に、特定物体認識部１１０内の特定物体合成表示部１１６に入力される。
【００１５】
一方、可変長復号化部１０３において、注目マクロブロックの符号化モードがＩＮＴＥＲ（フレーム間符号化）及びＮＯＴ＿ＣＯＤＥＤ（非符号化）ならば、可変長復号化部１０３から出力される符号化モード情報に従って、符号化モード切替スイッチ１０９がオン状態とされる。この場合は、可変長復号化部１０３で復号化された予測誤差信号についての量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、予測誤差信号が生成される。
【００１６】
そして、可変長復号化部１０３で復号化された動きベクトル情報に基づいて、動き補償部１０８においてフレームメモリ１０７からの参照画像信号について動き補償がなされ、この動き補償後の参照画像信号とＩＤＣＴ部１０５からの予測誤差信号が加算器１０６で加算されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ１０７に参照画像信号として蓄積されると共に、特定物体認識部１１０内の特定物体合成表示部１１５に入力される。
【００１７】
［特定物体認識部１１０について］
次に、特定物体認識部１１６について説明する。特定物体認識部１１６においては、まず動画像復号化部１００内の加算器１０６から出力される再生画像信号と、動画像復号化部１００における復号化の過程で生成される情報（具体的には、可変長復号化部１０３から出力されるモード情報及びフレームメモリ１０７から読み出される１フレーム前の再生画像信号である参照画像信号）から、注目マクロブロックが移動物体かどうかの判定が移動物体判定部１１１によって行われる。
【００１８】
すなわち、移動物体判定部１１１では再生画像信号中の認識対象となる特定物体（移動物体）を含む特定領域が判定されることにより、認識対象となる領域の絞り込みが行われる。この移動物体判定部１１１の判定結果は、移動物体特徴抽出部１１２に送られる。
【００１９】
移動物体特徴抽出部１１２では、移動物体と判定された特定領域の画像の特徴量が抽出され、この抽出された特徴量が識別・学習スイッチ１１３に送られる。識別・学習スイッチ１１３はモードによって切り替えられ、特定物体を識別する識別モードでは移動物体特徴抽出部１１２によって抽出された特徴量を特定物体識別演算部１１４に送る。
【００２０】
特定物体識別演算部１１４では、移動物体特徴抽出部１１２で抽出された特徴量が特定物体識別辞書部１１５に登録された特徴量と照合され、その移動物体が何であるかの識別が行われる。すなわち、特定物体識別辞書部１１５には種々の複数の移動物体に関する特徴量が辞書として登録されており、特定物体識別演算部１１４は特定物体識別辞書部１１５に登録された特徴量のうち移動物体特徴抽出部１１２で抽出された特徴量に最も近い特徴量を探索して、識別結果とする。この特定物体識別演算部１１４の識別結果は、特定物体合成表示部１１６に入力され、必要に応じて動画像内特定物体認識装置の外部にも送出される。
【００２１】
一方、識別・学習スイッチ１１３は、特定物体を学習する学習モードでは移動物体特徴抽出部１１２により抽出された特徴量を特定物体識別辞書作成部１１７に送る。特定物体識別辞書作成部１１７では、移動物体特徴抽出部１１２により抽出された特徴量を基に、後述のようにして特定物体の識別辞書を特定物体識別辞書部１１５上に作成する。すなわち、移動物体特徴抽出部１１２により特徴量が抽出される毎に、その特徴量を用いて新たに辞書が作成される。
【００２２】
（移動物体判定部１１１について）
次に、特定物体認識部１１０の中の移動物体判定部１１１について詳しく説明する。図２は、移動物体判定部１１１の内部構成を示している。移動物体判定部１１１は減算器１２１，１２２、背景メモリ１２３、非背景マクロブロック判定部１２４及び移動物体／背景分離処理部１２５から構成される。
【００２３】
移動物体判定部１１１は、前述したようにマクロブロック毎にモード情報と再生画像信号と１フレーム前の再生画像信号である参照画像信号から、当該マクロブロック中の移動物体の判定を行う。この移動物体判定部１１１の１フレーム毎の処理の流れを図２及び図３を用いて説明する。。
【００２４】
まず、非背景マクロブロック判定部１２４によってマクロブロック毎にモード情報、再生画像信号、参照画像信号、及び背景メモリ１２３に格納された背景画像信号から、当該マクロブロックが非背景か否かを判定する（ステップＳ１０１）。
【００２５】
引き続き、非背景マクロブロック判定部１２４はステップＳ１０１で非背景マクロブロックと判定されたマクロブロックを包含するような長方形の物体を検出し、これを非背景マクロブロックの判定に加えると同時に、検出する移動物体の大きさの制限に応じて包含する否かを判定する（ステップＳ１０２）。以後の処理は、このステップＳ１０２で非背景マクロブロックと判定された長方形のマクロブロック領域のみについて処理を行う。
【００２６】
次に、移動物体背景分離処理部１２５によって非背景マクロブロックの画素値と、背景メモリ１２３に格納された背景画像信号の画素値の絶対値差分和を計算し、次式（１）のように絶対値差分和が閾値ＴＨ３より大きい画素を移動物体と判定する（ステップＳ１０３）。ここで、Ｓ(ｍ,ｎ)は移動物体の画素値、Ｆc(ｍ,ｎ)は当該マクロブロックの再生画像信号の輝度の画素値、Ｂ(ｍ,ｎ)は背景メモリ１２３内の背景画像信号の画素値を示している。ここで、ｍとｎはマクロブロック内の画素値の垂直方向、水平方向のアドレスで、ｍ＝０…１５，ｎ＝０…１５となる。
【００２７】
【数１】
0003711022.tif 000002
【００２８】
次に、非背景マクロブロック判定部１２４は、背景メモリ１２３内の非背景マクロブロックと判定しなかったマクロブロックを背景マクロブロックと判定し、かつＣＯＤＥＤのマクロブロックを再生画像信号によって更新する（ステップＳ１０４）。本実施形態においては、次式（２）のように当該マクロブロックの再生画像信号の輝度の画素値Ｆc(ｍ,ｎ)をｗ（０以上、１以下の実数）で重み付け平均し、それを背景メモリ１２３内の背景画像信号Ｂ(ｍ,ｎ)に足し込む。
【００２９】
【数２】
0003711022.tif 000003
【００３０】
また、背景メモリ１２３にまだ背景画像信号が書き込まれていない場合、当該マクロブロックの再生画像信号Ｆc(ｍ,ｎ)を背景メモリ１２３に背景画像信号Ｂ(ｍ,ｎ)として書き込む。
【００３１】
次に、図３中の非背景マクロブロック判定処理（ステップＳ１０１）の具体的な処理の流れを図４に示すフローチャートにより説明する。ここで、ｉとｊはフレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表している。２次元配列Ｍ[ｉ][ｊ]は、各マクロブロックが背景マクロブロックか否かの情報を蓄える配列であり、ＴＲＵＥならば非背景物体マクロブロック、ＦＡＬＳＥならば背景マクロブロックを表す。なお、２次元配列Ｍの初期値はＦＡＬＳＥである。
【００３２】
まず、マクロブロック毎に可変長復号化部１０３からのモード情報ＭＯＤＥの判定を行う（ステップＳ２０３）。ここで、モード情報ＭＯＤＥがＣＯＤＥＤならば、その注目マクロブロックの再生画像信号とフレームメモリ１０７内の１フレーム前の再生画像信号である参照画像信号との相関を計算し、閾値ＴＨ１と比較する（ステップＳ２０４）。相関が閾値ＴＨ１よりも大きい場合、注目マクロブロックは非背景マクロブロックと判定し、Ｍ[ｉ][ｊ]にＴＲＵＥが代入される（ステップＳ２０７）。相関が閾値ＴＨ１以下の場合、さらに背景か否かを判定するためにステップＳ２０６へ移行する。
【００３３】
一方、モード情報ＭＯＤＥがＮＯＴ＿ＣＯＤＥＤならば、参照画像信号の注目マクロブロックが非背景マクロブロックと判定されたか、つまりＭ[ｉ][ｊ]の値がＴＲＵＥと判定されていたか否かを判定する（ステップＳ２０５）。ここで、Ｍ[ｉ][ｊ]の値がＦＡＬＳＥ、つまり参照画像信号の注目マクロブロックが背景マクロブロックならば、現フレームも背景マクロブロックと判定し、Ｍ[ｉ][ｊ]にＦＡＬＳＥが代入される（ステップＳ２０８）。
【００３４】
ステップＳ２０５において参照画像信号の注目マクロブロックが非背景マクロブロックであるか、参照画像信号との相関が閾値ＴＨ１以下の場合、背景メモリ１２３内の背景画像との相関を計算し、閾値ＴＨ２と比較する（ステップＳ２０６）。もし、相関が閾値ＴＨ２よりも大きい場合は、注目マクロブロックは非背景マクロブロックと判定し、Ｍ[ｉ][ｊ]にＴＲＵＥが代入される（ステップＳ２０７）。相関が閾値ＴＨ２以下の場合、注目マクロブロックは背景マクロブロックと判定し、Ｍ[ｉ][ｊ]にＦＡＬＳＥが代入される（ステップＳ２０８）。
【００３５】
本実施形態では、相関の計算として正規化相関値Ｔを用いる方法を例として示す。正規化相関は、次式（３）によって求められる。
【００３６】
【数３】
0003711022.tif 000004
【００３７】
ここで、Ｆc(ｉ,ｊ)は注目マクロブロックの再生画像信号の輝度の画素値、またＦｒ(ｉ,ｊ)は対象となるフレームの同一位置のマクロブロックの輝度の画素値である。また、μc，μr，σc，σrは、それぞれのマクロブロック内の平均値及び標準偏差である。
【００３８】
なお、再生画像信号とフレームメモリ１０７内の参照画像信号との相関演算については、可変長復号化部１０３からの動きベクトル情報及びＤＣＴ係数情報から、注目マクロブロックの動きベクトルの絶対値和Σ｜ＭＶ｜及びＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜を計算し、それぞれの閾値と比較を行う方法を用いることもできる。その場合、動きベクトルの絶対値和とＤＣＴ係数の絶対値和の大きさを判定に用いる。
【００３９】
（移動物体特徴抽出部１１２について）
次に、特定物体認識部１１０の中の移動物体特徴抽出部１１２について説明する。図５は、移動物体特徴抽出部１１２の処理の流れを示すフローチャートである。
【００４０】
（識別辞書作成部１１７について）
識別辞書作成部１１７では、識別・学習スイッチ１１３を学習モードに切り替えたとき、部分空間法によって特定物体識別辞書部１１５に特徴量を辞書として作成する。すなわち、部分空間法に基づき認識対象となる特定物体の部分空間を作成し、これを特定物体識別辞書部１１５に辞書として登録する。具体的には、まず移動物体特徴抽出部１１２により抽出された複数の特定物体ωi(ｉ＝１，…，ｃ)の特徴量である特徴ベクトルｘをｎパターン揃え、その自己相関行列Ｒiを次式（４）で計算する。
【数４】
0003711022.tif 000005
【００４１】
この自己相関行列Ｒiの固有値を大きい順に並べたときのｊ番目の固有値をλij(ｊ＝１，…，ｄi ）とし、固有値λijの対応する固有ベクトルをｕijとする。次に、固有値λijの累積寄与率α(di)を式（５）で計算する。
【数５】
0003711022.tif 000006
【００４２】
次に、式（５）の累積寄与率α(di)がα(di)＞ＴＨ４（ＴＨ４：閾値）を満足する最小のdi を求めて次元数を削減して、固有ベクトルｕij(ｊ＝１，…，ｄi）からなる部分空間を構成し、これを特定物体ωiの辞書として特定物体識別辞書部１１５に登録する。
【００４３】
（特定物体識別演算部１１４について）
特定物体識別演算部１１４は、部分空間法によって移動物体（特定物体）の識別処理を行う。すなわち、特定物体識別演算部１１４では、まず移動物体特徴抽出部１１２で作成された特徴ベクトルｘと、特定物体識別辞書１１５に登録されている部分空間との類似度Ｓi(x)を式（６）によって計算する。
【数６】
0003711022.tif 000007
【００４４】
そして、特定物体識別演算部１１４は、移動物体特徴抽出部１１２で特徴ベクトル（特徴量）が抽出された物体は、式（６）の類似度Ｓi(x)が最も大きい部分空間を持つ物体であると認識する。但し、最も大きい類似度Ｓi(x)の値が一定値以下の場合は、特定物体識別演算部１１４は移動物体がどの物体であるとも認識せずに、リジェクトする。
【００４５】
上述した移動物体特徴抽出部１１２及び特定物体識別演算部１１４の処理を主体とする認識処理は、移動物体判定部１１１によって移動物体と判定されたマクロブロックのみについて行われる。このように再生画像信号の画面全体の情報について認識処理を行うことなく、動画像復号化部１１０から出力される再生画像信号や符号化の過程で生成される情報を有効に用い、移動物体として判定されたマクロブロック、すなわち絞り込まれた特定領域のみについて処理を行うことによって、認識性能を落とすことなく計算量を大幅に削減することが可能となる。
【００４６】
なお、本実施形態においては特定物体識別演算部１１４の認識処理及び識別辞書作成部１１７での辞書作成処理に部分空間法を用いた例を示したが、その他の種々の手法を用いてもよいことは言うまでもない。
また、本実施形態においては、移動物体マクロブロックを検出することで特定領域の絞り込みを行ったが、他の条件、例えば、特定の色物体、色の領域等によって特定領域を絞り込んでもよい。
【００４７】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、動画像信号を符号化すると共に、符号化の過程で生成される局部復号画像信号その他の情報を利用して動画像内の特定物体を認識する。また、その認識結果を符号化データに多重化して伝送した後、復号化側で再生する。
【００４８】
図６は、本実施形態に係る動画像内特定物体認識装置の符号化側の構成を示している。本実施形態に係る動画像内特定物体認識装置の符号化側は、大きく動画像符号化部２００と特定物体解析部２２０の２つの部分からなっている。
【００４９】
［動画像符号化部２００について］
図６において、動画像符号化部２００に入力された入力動画像信号は、まずブロック化部２０１でマクロブロックに分割される。各マクロブロックの入力動画像信号は減算器２０２に入力され、ここで予測画像信号との差分がとられて予測残差信号が生成される。この予測残差信号とブロック化部２０１からの入力動画像信号のいずれか一方が符号化モード選択スイッチ２０３によって選択され、ＤＣＴ（離散コサイン変換）部２０４により離散コサイン変換される。ＤＣＴ部２０４で得られＤＣＴ係数情報は、量子化部２０５で量子化される。量子化部２０５で量子化されたＤＣＴ係数情報は二分岐され、一方は可変長符号化部２１４で可変長符号化される。
【００５０】
量子化部２０５で量子化され二分岐されたＤＣＴ係数情報の他方は、逆量子化部２０６及びＩＤＣＴ（逆離散コサイン変換）部２０７によって量子化部２０５及びＤＣＴ部２０４の処理と逆の処理を順次受けた後、加算器２０８でスイッチ２１１を介して入力される予測画像信号と加算されることにより、局部復号画像信号が生成される。局部復号画像信号はフレームメモリ２０９に蓄えられ、フレームメモリ２０９から動き補償部２１０に入力される。動き補償部２１０では、予測画像信号を生成するとともに、符号化モード選択部２１２に必要な情報を送る。
【００５１】
符号化モード選択部２１２では、マクロブロック単位に動き補償部２１０からの予測情報Ｐに基づいて、フレーム間符号化を行うマクロブロックとフレーム内符号化を行うマクロブロックを選択する。フレーム内符号化（イントラ符号化）を行う場合は、符号化モード選択スイッチ情報ＭをＡとし、スイッチ情報ＳをＡとする。フレーム間符号化（インター符号化）を行う場合は、符号化モード選択スイッチ情報ＭをＢとし、スイッチ情報ＳをＢとする。符号化モード選択スイッチ２０３は符号化モード選択スイッチ情報Ｐに基づいて切り換えられ、またスイッチ２１１はスイッチ情報Ｓに基づいて切り換えられる。
【００５２】
ここで、符号化モードとしてイントラ符号化モード（ＩＮＴＲＡ）、インター符号化モード（ＩＮＴＥＲ）及び非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）があり、これらの符号化モードが各マクロブロック毎に対応付けられている。ＩＮＴＲＡマクロブロックはフレーム内符号化される画像領域、ＩＮＴＥＲマクロブロックはフレーム間符号化される画像領域、ＮＯＴ＿ＣＯＤＥＤマクロブロックは符号化不要の画像領域である。
【００５３】
［特定物体認識部２２０について］
一方、特定物体認識部２２０においては、可変長符号化部２１４からのモード情報と、加算器２０８からの局部復号画像信号、及びフレームメモリ２０９からの１フレーム前の局部復号画像信号である参照画像信号から、注目マクロブロックが移動物体かどうかの判定が移動物体判定部２２１で行われ、判定結果が移動物体特徴抽出部２２２に送られる。
【００５４】
移動物体特徴抽出部２２２では、移動物体と判定された特定領域の画像の特徴量が抽出され、この抽出された特徴量が識別・学習スイッチ２２３に送られる。識別・学習スイッチ２２３はモードによって切り替えられ、特定物体を識別する識別モードでは移動物体特徴抽出部２２２によって抽出された特徴量を特定物体識別演算部２２４に送る。
【００５５】
特定物体識別演算部２４４では、移動物体特徴抽出部２２２で抽出された特徴量が特定物体識別辞書部２２５に登録された特徴量と照合され、その移動物体が何であるかの識別が行われる。すなわち、特定物体識別辞書部２２５には種々の複数の移動物体に関する特徴量が辞書として登録されており、特定物体識別演算部２２４は特定物体識別辞書部２２５に登録された特徴量のうち移動物体特徴抽出部２２２で抽出された特徴量に最も近い特徴量を探索して、識別結果とする。この特定物体識別演算部２２４の識別結果は、特定物体合成表示部２２６に入力される。特定物体合成部２２６では、動画像符号化部２００によって作成された局部復号画像信号による動画像と、識別された特定物体の画像の合成画像を作成して表示する。
【００５６】
一方、識別・学習スイッチ２２３は、特定物体を学習する学習モードでは移動物体特徴抽出部２２２により抽出された特徴量を特定物体識別辞書作成部２２７に送る。特定物体識別辞書作成部２２７では、移動物体特徴抽出部２２２により抽出された特徴量を基に特定物体の識別辞書を特定物体識別辞書部２２５上に作成する。
【００５７】
上述した移動物体判定部２２１、移動物体特徴抽出部２２２、識別・学習スイッチ２２３、特定物体識別演算部２２４、特定物体合成表示部２２６、特定物体識別辞書作成部２２７の具体的な処理内容は、第１の実施形態において図２〜図５及び式（１）〜（６）を用いて説明した処理と同一であるため、詳細な説明を省略する。
【００５８】
符号化制御部２１３は、符号化部２１７（動画像符号化部２００のうち多重化部２１５より前の部分）での符号化情報と出力バッファ２１６のバッファ量を基に、符号化部２１７における量子化部２０５での量子化ステップサイズ等のパラメータを制御する。可変長符号化部２１４で符号化された符号化データは、特定物体認識部２２３からの特定物体認識結果とともに多重化部２１６で多重化された後、出力バッファ２１７で送信レートが平滑化され、伝送系または蓄積系に伝送される。
【００５９】
なお、図６の特定物体認識部２２４においては、局部復号信号と１フレーム前のフレームメモリの局部復号画像信号と用いたが、入力動画像信号と、１フレーム前の入力動画像信号とを用いる方法もある。この方法の場合、１フレーム分の入力動画像メモリが必要となるが、局部復号画像信号を使わないため、符号化による映像の劣化の影響を受けないという利点がある。
【００６０】
図７は、本実施形態に係る動画像内特定物体認識装置の復号化側の構成を示している。図７の装置は図５に示した動画像符号化部２００から伝送系または蓄積系を介して伝送されてきた符号化データを受け、この符号化データに基づき動画像内の特定物体を認識する装置であり、動画像復号化部３００に特定物体合成表示部３１１を組み合わせて構成される。
【００６１】
まず、動画像復号化部３００において、伝送路または蓄積系から受信した符号化データは入力バッファ３０１に一度蓄えられ、多重化分離部３０２によりフレーム毎にシンタクスに基づいて分離され、可変長復号化部３０３に出力される。可変長復号化部３０３では、各シンタクスの情報の可変長符号が復号化される。
【００６２】
符号化モード切替スイッチ３０９は可変長復号化部３０３から出力されるマクロブロック毎の符号化モード情報に従って制御され、符号化モードがＩＮＴＲＡならばオフとなる。このとき、可変長復号化部３０３で復号化された量子化ＤＣＴ係数情報は逆量子化部３０４で逆量子化され、ＩＤＣＴ部３０５で逆離散コサイン変換処理されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ３０７に参照画像として蓄積されるとともに、特定物体合成表示部３１０に入力される。
【００６３】
マクロブロックの符号化モードがＩＮＴＥＲ及びＮＯＴ＿ＣＯＤＥＤならば、符号化モード切替スイッチ３０９はオンとなり、可変長復号化部３０３で復号化された量子化ＤＣＴ係数情報は逆量子化部３０４で逆量子化され、ＩＤＣＴ部３０５で逆離散コサイン変換処理された後、加算器３０６に入力され、ここで可変長復号化部３０３で復号化された動きベクトル情報に基づいて動き補償部３０８においてフレームメモリ３０７から読み出される参照画像信号を動き補償した信号と関されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ３０７に参照画像信号として蓄積されるとともに、特定色物体合成表示部３１０に入力される。
【００６４】
一方、多重化分離部３０２で分離された特定物体認識結果も特定色物体合成表示部３１０に入力される。これにより特定物体合成表示部３１０では、再生画像上に特定物体が合成表示される。
【００６５】
本実施形態では、第１の実施形態で動画像復号化部と組み合わせて行っていた特定物体の認識処理を動画像符号化部との組み合わせで行い、認識結果を多重化しているが、特定物体を含むと判定したマクロブロックを包含する長方形の画像自体をＩＳＯ／ＩＥＣ ＭＰＥＧ−４のマルチオブジェクト符号化で別のオブジェクトとして符号化し、多重化して動画像復号化装置に送る方法を用いてもよい。
【００６６】
また、以上の実施形態では動画像符号化方式としてＤＣＴと動き補償及び可変長符号化を組み合わせた方式を例に説明したが、その他の圧縮符号化技術、例えばウェーブレット変換等を用いた場合でも同様に本発明に基づく動画像解析を適用することができる。
【００６７】
さらに、以上の実施形態においてはマクロブロック単位で処理を行う例を示したが、マクロブロックより小さな単位での処理でも、大きな単位での処理でも同様の方法ができることは言うまでもない。
【００６８】
上述した本発明に基づく動画像内特定物体識別処理は、パーソナルコンピュータのようなコンピュータを用いてソフトウェアにより実行することが可能である。従って、本発明によれば以下に挙げるようなプログラムを格納したコンピュータ読み取り可能な記録媒体、あるいはプログラムを提供することができる。
【００６９】
（１）動画像信号の符号化データを復号化して得られる再生画像信号と該復号化の過程で生成される情報を用いて前記再生画像信号中の認識対象となる前記特定物体を含む特定領域を判定する判定処理と、前記再生画像信号の前記特定領域の特徴量を抽出する抽出処理と、抽出された前記特定領域の特徴量と予め辞書として登録された複数の特徴量との比較によって前記特定物体の識別処理を行う識別処理とを含む動画像内の特定物体認識処理をコンピュータに実行させるためのプログラム、あるいは該プログラムを格納したコンピュータ読み取り可能な記録媒体。
【００７０】
（２）動画像信号または該動画像信号を符号化する過程で生成される局部復号画像信号と該符号化の過程で生成される情報を用いて前記動画像信号または局部復号画像信号中の認識対象となる特定領域を判定する判定処理と、前記動画像信号または局部復号画像信号の前記特定領域の特徴量を抽出する抽出処理と、抽出された前記特定領域の特徴量と予め辞書として登録された複数の特徴量との比較によって前記特定物体の識別処理を行う識別処理とを含む動画像内の特定物体認識処理をコンピュータに実行させるためのプログラム、あるいは該プログラムを格納したコンピュータ読み取り可能な記録媒体。
【００７１】
【発明の効果】
以上説明したように、本発明によれば高速でかつ安定して精度よく動画像内の特定物体を認識することができる。
【図面の簡単な説明】
【図１】  本発明の第１の実施形態に係る動画像内特定物体認識装置の構成を示すブロック図
【図２】  図１の移動物体判定部の詳細な構成を示すブロック図
【図３】  図１の移動物体判別部の動作を示すフローチャート
【図４】  図２の非背景マクロブロック判定処理の具体的な動作を示すフローチャート
【図５】  本発明の移動物体特徴抽出部の動作を示すフローチャート
【図６】  本発明の第２の実施形態に係る動画像内特定物体認識装置の符号化側の構成を示すブロック図
【図７】  同第２の実施形態に係る動画像内特定物体認識装置の復号化側の構成を示すブロック図
【符号の説明】
１００…動画像復号化部
１０１…入力バッファ
１０２…多重化分離部
１０３…可変長復号化部
１０４…逆量子化部
１０５…ＩＤＣＴ部
１０６…加算器
１０７…フレームメモリ
１０８…動き補償部
１０９…モード切替スイッチ
１１０…特定物体認識部
１１１…移動物体判定部
１１２…移動物体特徴抽出部
１１３…識別・学習切替スイッチ
１１４…特定物体識別演算部
１１５…特定物体識別辞書部
１１６…特定物体合成表示部
１１７…特定物体識別辞書作成部
２０１…ブロック化部
２０２…減算器
２０３…モード選択スイッチ
２０４…離散コサイン変換部
２０５…量子化部
２０６…逆量子化部
２０７…逆離散コサイン変換部
２０８…加算器
２０９…フレームメモリ
２１０…動き補償部
２１１…スイッチ
２１２…モード選択部
２１３…符号化制御部
２１４…可変長符号化部
２１５…多重化部
２１６…出力バッファ
２１７…符号化部
２００…動画像符号化部
２２０…特定物体認識部
２２１…移動物体判定部
２２２…移動物体特徴抽出部
２２３…識別・学習切替スイッチ
２２４…特定物体識別演算部
２２５…特定物体識別辞書部
２２６…特定物体合成表示部
２２７…特定物体識別辞書作成部
３００…動画像復号化部
３０１…入力バッファ
３０２…多重化分離部
３０３…可変長復号化部
３０４…逆量子化部
３０５…逆離散コサイン変換部
３０６…加算器
３０７…フレームメモリ
３０８…動き補償部
３０９…モード切替スイッチ
３１１…特定物体合成表示部
【図１】
0003711022.tif 000008
【図２】
0003711022.tif 000009
【図３】
0003711022.tif 000010
【図４】
0003711022.tif 000011
【図５】
0003711022.tif 000012
【図６】
0003711022.tif 000013
【図７】
0003711022.tif 000014