(57)【特許請求の範囲】
【請求項１】
圧縮された動画像のデータを入力とし、該動画像のデータに移動領域情報を付加して出力する動画像内の移動物体検出追跡装置において、
前記圧縮された動画像データを部分復号して、符号化モード情報、予測誤差情報および動き予測情報を出力する可変長復号部と、
前記符号化モード情報と動き予測された領域の位置情報とを基に、移動物体の検出処理対象ブロックを設定する検出対象設定部と、
該検出対象設定部によって設定された検出処理対象ブロックが移動領域に属するか否かを検出する移動領域検出部と、
該移動領域検出部で検出された移動領域から、該移動領域全体の動きを予測する領域動き予測部とを具備し、
前記移動領域検出部は、前記予測誤差情報と動き予測情報の双方を包含するブロック、もしくはフレーム内情報だけで符号化されたブロックを移動領域として検出し、
前記領域動き予測部は、前記移動領域内の動き補償情報に対し前記予測誤差情報のパワーに応じた重み付け平均をとり、該重み付け平均を該移動領域全体の動き予測とし、該動き予測を前記検出対象設定部に提供することを特徴とする動画像内の移動物体検出追跡装置。
【請求項２】
請求項１に記載の動画像内の移動物体検出追跡装置において、
前記予測誤差情報のパワー表現に、前記移動領域内の閾値以上の値を持つＤＣＴ係数の個数、ＤＣＴ係数の絶対値和、２乗和および部分和のいずれかを選択的に用いることを特徴とする動画像内の移動物体検出追跡装置。
【請求項３】
請求項１に記載の動画像内の移動領域検出追跡装置において、
前記動き予測された領域の位置情報は、前記領域動き予測部で予測された領域の動き予測位置情報であり、前記検出対象設定部は該領域の動き予測位置の内縁部を移動物体と決定することを特徴とする動画像内の移動物体検出追跡装置。
【請求項４】
請求項１に記載の動画像内の移動物体検出追跡装置において、    前記動き予測された領域の位置情報は、前記領域動き予測部で予測された領域の動き予測位置情報であり、前記検出対象設定部は該領域の動き予測位置の外周部を移動領域の検出対象とすることを特徴とする動画像内の移動物体検出追跡装置。
【請求項５】
請求項１に記載の動画像内の移動領域検出追跡装置において、    前記動き予測された領域の位置情報は、前記領域動き予測部で予測された領域の動き予測位置情報であり、前記検出対象設定部は前記領域動き予測部で予測された領域の動き予測位置の外周部であって、前記符号化モード情報中の所定のブロック符号化情報に該当する予測位置を、移動領域の検出対象とすることを特徴とする動画像内の移動物体検出追跡装置。
【請求項６】
請求項１ないし５のいずれかに記載の動画像内の移動領域検出追跡装置において、
前記領域動き予測部は、前記動き予測された領域全体の動き情報に基づいて、フレーム間の時間的距離によるスケーリングを行った後、領域全体を追跡することを特徴とする動画像内の移動物体検出追跡装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は動画像内の移動物体検出追跡装置に関し、特に、圧縮符号化データそのもの、またはその一部だけを復号した情報から、高速かつ高精度に移動領域を抽出できる動画像内の移動物体検出追跡装置に関する。
【０００２】
【従来の技術】
従来の移動領域を検出する方式（以下、第１の検出方式）、特に移動する物体の検出方式として、あらかじめ保持されている背景画像に対して、対象フレームにおけるある走査線の微分や差分の絶対値和を移動物体の検出判定に使用する方式がある。また、オプティカルフローから移動物体を求める方式、小領域の輝度分布の相関や距離情報、速度情報を考慮して移動領域を検出する方法などが提案されている。これらの方式は、動画像の各画素の輝度値一つ一つに様々なアルゴリズムを適用して移動領域を抽出する方式である。
【０００３】
この第１の検出方式を圧縮符号化された動画像データに適用するには、符号化データを一旦復号する必要があり、例えば、図９のブロック図で示される構成により実現される。図９の可変長復号部５１は圧縮された画像符号化データを入力とし、可変長復号、逆量子化や係数範囲制限等の復号処理を行う。該可変長復号部５１からは、復号されたフレームやブロックの動き予測誤差情報ａ、動き予測情報ｂ、符号化情報等が出力される。該動き予測誤差情報ａは画像生成部５２に入力され、該画像生成部５２で逆変換されて１フレームの画像を生成する。また、動き補償部５３は動き予測の参照フレームを保持している画像メモリ５４から動き予測情報ｂを使って参照画像ｃを抽出する。加算器５５は、画像生成部５２からの出力画像と、動き補償部５３からの動き補償画像とを加算し、完全な１フレームの復号画像ｄを生成する。該復号画像ｄは移動領域検出部５６へ送られて前記した第１の検出方式の移動領域検出処理がなされる。また、該復号画像ｄが次フレーム以降の参照画像となるフレームであれば、画像メモリ５４に蓄積される。移動領域検出部５６で移動領域検出処理がされた画像は画像表示部５７で表示される。
【０００４】
また、従来の他の移動領域検出方式（以下、第２の検出方式）として、画素そのものを利用するのではなく、圧縮符号化された動画像の符号化データそのものを利用する方式が提案されている。この方式は圧縮の際に求められる各種のパラメータや符号化データを直接操作することで移動領域の検出処理を達成する。検出処理は画像内の符号単位ブロックが持つ動き予測情報を中心に、必要な情報のみを取捨選択して移動領域の抽出が行われる。このため、抽出される解像度は動き予測情報を持つ各圧縮方式の符号化単位ブロックの大きさに設定される。
【０００５】
さらに、従来の移動領域追跡方式（以下、第３の検出方式）として、検出処理と並んで過去の検出の結果を未来のフレームの検出処理に活かす技術がある。この技術は、前記第１、第２の検出方式のいずれにも有効である。前記第１の検出方式では、前フレームの目標物体の領域とオプティカルフローなどの速度から移動領域を推定する。前記第２の検出方式では動き予測情報をもとに移動領域を推定する。これらの方式は過去数フレームの移動領域の軌跡から未来の予測位置を領域単位で推定し、推定結果を次フレームの検出処理判定に利用する。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記した第１〜３の検出方式には次のような問題がある。動画像は非常に広い信号帯域を持ち膨大なデータ量を必要とするので、一般的に動画像は圧縮された形で記録や伝送に広く利用されている。したがって、１フレームの復号処理の後、初めて画素領域での移動領域検出処理が施される第１の検出方式では、本来の移動領域検出処理のコストに加えて、動画像の復号処理という大きなコストを必要とする問題がある。
【０００７】
一方、前記の第２の検出方式は、移動領域の判定に、動き補償をなす動き予測情報の有無を利用している。したがって、復号処理過程が省略でき検出処理も高速に実行できる。しかし、実際の動画像には環境光の煌き、散乱、大気の揺らぎなどの要因によって、圧縮過程においては本来静止した背景領域であってもその変化に動きベクトルが割り当てられることがある。特に画素が均一な領域においてはこの影響が大きく、静止領域を移動領域と誤認識するなど検出精度が劣るという問題がある。
【０００８】
また、前記の第３の検出方式には、符号化データ領域での追跡処理において、移動物体の軌跡は重心の軌跡や領域内動きベクトルの平均から求める方法がある。しかし、重心の軌跡では、移動物体が小さな場合、ブロック数の僅かな増減で重心が大きく変動する可能性がある。また、単純な動きベクトル平均の場合、平坦部における動き予測情報のように信頼性の低い情報の影響も受けるという問題がある。
【０００９】
本発明の目的は、前述した従来技術の問題点を解消し、圧縮された符号化データそのもの、またはその一部だけを復号した情報から、移動物体を高速かつ高精度に検出および追跡できる移動物体検出追跡装置を提供することにある。
【００１０】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、圧縮された動画像のデータを入力とし、該動画像のデータに移動領域情報を付加して出力する動画像内の移動物体検出追跡装置において、前記圧縮された動画像データを部分復号して、符号化モード情報、予測誤差情報および動き予測情報を出力する可変長復号部と、前記符号化モード情報と動き予測された領域の位置情報とを基に、移動物体の検出処理対象ブロックを設定する検出対象設定部と、該検出対象設定部によって設定された検出処理対象ブロックが移動領域に属するか否かを検出する移動領域検出部と、該移動領域検出部で検出された移動領域から、該移動領域全体の動きを予測する領域動き予測部とを具備し、前記移動領域検出部は、前記予測誤差情報と動き予測情報の双方を包含するブロック、もしくはフレーム内情報だけで符号化されたブロックを移動領域として検出し、前記領域動き予測部は、前記移動領域内の動き補償情報に対し前記予測誤差情報のパワーに応じた重み付け平均をとり、該重み付け平均を該移動領域全体の動き予測とし、該動き予測を前記検出対象設定部に提供するようにした点に特徴がある。
【００１１】
この発明によれば、圧縮符号化された動画像データを部分的に復号することに加え、移動物体の検出処理の対象を動き予測された領域の位置情報を基に設定し、該設定されたブロックにつき移動領域に属するか否かを検出するようにしたので、従来の画素領域の検出方式（前記第１の検出方式）に対しては無論のこと、符号データ領域での検出方式（前記第２の検出方式）と比較しても、はるかに処理コストを抑えることができるようになる。
【００１２】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図である。
【００１３】
可変長復号部１は、入力してくる動画像の圧縮符号化データを部分的に復号し、現フレームの符号化モード情報ｐと、予測誤差情報ａと、動き予測情報ｂを出力する。符号化モード情報ｐは検出対象設定部２と移動領域検出処理部３に送られ、予測誤差情報ａと動き予測情報ｂは移動領域検出処理部３に送られる。
【００１４】
前記符号化モード情報ｐには、フレーム符号化モードとブロック符号化モードがあり、フレーム符号化モードには、フレーム内符号化フレーム（Ｉピクチャ）、順方向予測フレーム（Ｐピクチャ）、双方向予測フレーム（Ｂピクチャ）の３種類が存在する。一方、ブロック符号化モードには、動き補償と符号化の有無から分類される、フレーム内符号化ブロック（Intra ）、動き補償符号化ブロック（MC coded）、フレーム差分符号化ブロック（no MC coded ）、動き補償ブロック（MC no coded ）の４種類が存在する。また、動き予測には、順方向、逆方向、両方向の３種類が存在する。
【００１５】
次に、検出対象設定部２は、可変長復号部１からの符号化モード情報ｐと、領域動き予測部４からの領域の動き予測位置情報ｑを入力とし、検出対象ブロック位置情報ｒと検出結果を出力する。該検出対象設定部２の機能を、図２のフローチャート、および図３を参照して説明する。なお、該検出対象設定部２は、符号化モード情報ｐ中のブロック符号化モードを用いて処理を行う。
【００１６】
領域動き予測部４の詳細な機能は後述するが、いま検出結果メモリ５から提供された移動領域Ｃが、図３(a) のブロックＢ１〜Ｂ５からなる領域であるとすると、領域動き予測部４は該領域Ｃと現在のブロックデータとを比較して、領域Ｃの動き予測ＭＶを用い、同図(b) に示されているような、領域の動き予測位置情報ｑを出力する。
【００１７】
図２のステップＳ２では、例えば同図(b) の各ブロックが１つずつ、領域の動き予測位置ｑの内縁部、すなわち該予測位置ｑに完全に覆われているか否かの判断がなされる。この判断が肯定の時には、移動領域の時間的連続性から見て当該ブロックは移動物体と判定し（ステップＳ１０）、ステップＳ８に進む。ステップＳ８では、検出対象フラグを立てない処理を行う。例えば、同図(b) のブロックＢm は移動物体と判定される。一方、この判断が否定の時には、ステップＳ３に進み、当該ブロックは領域の動き予測位置ｑの外周部、すなわち該予測位置ｑに一部だけ覆われているか否かの判断がなされる。例えば同図(b) のブロックＢn 、Ｂn+1 等は外周部であると判断され、ブロックＢs などは、外周部にないと判断される。
【００１８】
この判断が肯定の場合にはステップＳ４に進む。ステップＳ４は符号化モード情報を用いて移動領域の可能性を判断し、検出判定の処理対象として妥当か否かを決定する。Ｐピクチャ、Ｂピクチャ内に存在するIntra ブロックは、移動領域の後ろに隠れていた背景が現れる場面など動き補償では十分な画質が維持できない場合に現れることが多いため、検出対象とする。
【００１９】
一方、no MC coded は動き予測情報を持たないので移動領域である可能性は低く、検出判定の処理対象から外すとともに静止領域と決定する。MC no coded は動きを表す動き予測情報を持つが予測誤差情報を持たない。予測誤差情報が無いことは該当ブロックがベクトルの信頼性が低い平坦領域であるか、若しくは完全に静止した領域で予測誤差情報を必要としないことを示している。よって、予測誤差情報を持たず動き予測情報の信頼性に乏しいMC no coded は検出判定の処理対象から外すとともに静止領域と決定する。MC codedは動き予測情報と予測誤差情報をともに持つので、これを検出対象とする。
【００２０】
ステップＳ４の判断が肯定の時には、ステップＳ５に進んで当該ブロックに検出対象フラグが立てられる。一方、前記ステップＳ３の判断が否定の時、または前記ステップＳ４の判断が否定の時、すなわち当該ブロックのブロック符号化モードがＭＣ no coded またはno  ＭＣ codedの時には、ステップＳ６に進んで静止領域と判定される。ステップＳ７では、当該ブロックに検出対象フラグを立てない処理をする。
【００２１】
ステップＳ９では、１フレームの全部のブロックに対して該検出対象処理が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ１に戻って、次のブロックに対する処理が行われる。
【００２２】
したがって、同図(b) においては、ブロックＢn 、Ｂn+1 等が領域の動き予測位置ｑの外周部にあると判定され、これらのブロックのブロック符号化モードがＭＣ codedまたはIntra であれば、これらのブロックに検出対象フラグが立てられる。そして、これらのブロックは、現フレームにおける移動領域検出対象として、前記移動領域検出処理部３に送られる。具体的には、前記ステップＳ５で検出対象フラグが立てられたブロックの位置情報ｒが該移動領域検出処理部３に送られる。また、検出対象設定部において移動領域若しくは静止領域と決定されたブロックについては検出結果表示部および検出結果メモリへ送る。
【００２３】
次に、前記移動領域検出処理部３の機能を、図４を参照して説明する。該移動領域検出処理部３には、可変長復号部１からの符号化モード情報ｐ、予測誤差情報ａ、および動き予測情報ｂと、検出対象設定部２からの検出対象ブロック位置情報ｒが入力される。
【００２４】
ステップＳ１１では、検出対象ブロック位置情報ｒが入力したか否かの判断がなされ、この判断が肯定になると、ステップＳ１２に進んで、ＤＣＴ係数判定、すなわち、ＤＣＴ係数を用いて、当該ブロックが移動領域候補に該当するか否かの判定が行われる。この判定で、当該ブロックが移動領域候補であると判定されるとステップＳ１３に進み、否定と判定されるとステップＳ１７に進む。ステップＳ１３では、当該ブロックのマクロブロックのタイプがＭＣ codedであるか否かの判断がなされ、この判断が肯定の時にはステップＳ１４に進み、否定の時にはステップＳ１５に進む。
【００２５】
ステップＳ１５では、動きベクトルにより、当該ブロックが移動領域候補に該当するか否かの判定が行われる。この判定で、当該ブロックが移動領域候補であると判定されると、ステップＳ１５に進み、逆に静止領域と判定されると、ステップＳ１７に進む。次に、ステップＳ１５では、空間的相関により、当該ブロックが移動領域候補に該当するか否かの判定が行われる。そして、この判定で、当該ブロックが移動領域候補であると判定されると、ステップＳ１６に進み、当該ブロックは最終的に移動領域候補であると判定される。逆に該判断が否定になると、ステップＳ１７に進み静止領域であると判定される。
【００２６】
ステップＳ１８では、全ての移動領域検出対象ブロックに対して前記した処理が終わったか否かの判断が行われ、この判断が否定の時には、ステップＳ１１に戻って前記と同じ処理が繰り返される。
【００２７】
以上の処理によって得られた処理結果は、必要に応じて、領域の形状を整形され、検出結果表示部６に出力されると同時に、検出結果メモリ５に出力され保存される。
【００２８】
次に、動き予測誤差情報をもとにしたステップＳ１２の詳細を説明する。ここでは、動き予測誤差情報としてＤＣＴ係数を用いる。移動物体の形状や模様を表す情報として、ＤＣＴ係数を用いることができる。しかし、ブロックのＤＣＴ係数そのものを用いた場合、複雑なテクスチャを持つ領域ならば移動の有無に関わらず全て抽出される。動き予測誤差のＤＣＴ係数については、動き予測が情報の大半を補償するため複雑な模様を持った背景が静止している場合、僅かなＤＣＴ係数しか持たない。従って、動き予測誤差量が大きい場合、移動領域候補とすることができる。
【００２９】
本判定を満足する場合、動きベクトル相関判定部へ進む．そうでなければ静止領域とする。具体的なDCT 係数による判定方法については閾値以上のＤＣＴ係数の個数やＤＣＴ係数の絶対値和、２乗和などの閾値処理を用いることができる。また、以下のような方法も用いることができる。図５(a) に示されるようにＤＣＴ係数部分和判定はＤＣ成分を除く低周波寄りのＡＣ成分の部分和を判定基準に用いて、有意な誤差情報を持つ領域を候補領域として絞り込む。ここでいう低周波寄りのＡＣ成分とは予測誤差情報においてジグザグスキャンなど符号化スキャンオーダーで1 番目からthr １番目までのＤＣＴ係数情報を指す。このＡＣ成分はフレームｉのブロックｊにおける動き補償による差分値Ｃi,j,z  (0 ≦z ≦63) である。このとき、図１１の式(1) を満たすことを判定基準とする。また、判定に用いる閾値thr ２はフレーム符号化モード別に設定する。
【００３０】
この判断が肯定の時には、当該ブロックは有意な誤差情報をもつ領域であるので、ステップＳ３２に進んで移動領域候補とする。一方、該判定が否定の時には、ステップＳ３３に進んで静止領域のブロックであると判定する。なお、ＡＣ成分は、動き補償による差分値であり、前記閾値はフレーム符号化モード別に設定する。
【００３１】
次に、前記ステップＳ１４の動きベクトル判定の詳細を、図６(a) 〜(d) を参照して説明する。ステップＳ４１では、当該ブロックの動きベクトル（ＭＶ）の長さが予め定められた閾値以上であるか否かの判断を行う（同図(b) 参照）。長さの短い動きベクトルは、様々な外乱によるノイズベクトルと考えられるので、該長さの短い動きベクトルをもつブロックは静止領域とする。
【００３２】
動きベクトル長が閾値以上の場合は空間的判定部に進む。ここで、移動領域の動きベクトルは参照フレームと入力フレーム間距離におおよそ比例する．したがって，フレーム間距離に応じた閾値処理で移動領域候補を決定することができる。例えば，ベクトル長を判定する閾値は参照フレームまでの時間的距離によって変化させ、Ｉピクチャ若しくはＰピクチャが出力される時点で初期の閾値に再設定する。フレームｉにおけるブロックｊの順方向動きベクトルと逆方向動きベクトルをそれぞれｆｍｖi,j とｂｍｖi,j とし、入力フレームから順方向参照フレームまでの距離をｕi 、Ｐピクチャ間隔をｍ、初期閾値をthr ３とすると、例えば移動領域候補の決定に下記の式(2) 、式(3) のような判別式を用いることができる。但し、｜｜はユークリッドノルムを表す。
｜ｆｍｖi,j ｜≧ｕi ・thr ３  …(2)
｜ｂｍｖi,j ｜≧（ｍ−ｕi ）・thr ３  …(3)
【００３３】
入力ブロックが双方向予測ベクトルの場合、順方向予測、逆方向予測ベクトルについて双方のベクトル長を検証する。両方の式の成立を持って移動領域候補とする。そうでなければ、背景領域と決定する。片方向予測の場合、順方向予測、逆方向予測ベクトルいずれかのみについて検証する。条件を満足するとき、動きベクトルは十分な長さを保有していると判断し次の判定処理に移る。そうでなければ、静止領域と判定する。
【００３４】
次に、ステップＳ４２では、当該ブロックが双方向予測ブロックであるか否かの判断がなされる。この判断が肯定の場合にはステップＳ４３に進み、否定の場合にはステップＳ４４に進む。双方向予測ブロックは２つの動き予測ベクトルを内包する。短時間での移動領域の動きを線形と仮定すると、２つの動き予測ベクトルが示す向きは互いに反対方向となるため，判定Ｓ４３では順方向と逆方向を指すベクトルの角度を調査する。２つのベクトルの方向を調べる方法としては下記の式(4) のように内積値を用いる方法を使用する。thr ４は２つのベクトルが作る角度の閾値を設定する。式４を満たせば動きベクトル間の相関が高いと判断し、時間相関判定へ進む。そうでなければ静止領域と決定する。
ｆｍｖi,j ・ｂｍｖi,j ／｜ｆｍｖi,j ｜・｜ｂｍｖi,j ｜≦cos(thr ４) …(4)
【００３５】
ステップＳ４３では、双方向予測において、順方向と逆方向を指すベクトルの角度θが予め定められた閾値以上であるか否かを判断し（同図(c) 参照）、閾値以上のブロックは移動領域候補とし、該閾値より小さい場合は静止領域であると判断する。
【００３６】
次に、ステップＳ４４では、動きベクトルＭＶの時間的変化率がフレーム間距離に比例するか否かの判断をする（同図(d) 参照）。物体の移動は、局所的には、線形移動であると仮定し、現ブロックが参照する領域の動き予測情報と、現ブロックの動き予測情報の時間的な相関があるブロックを、移動領域候補として選択する。双方向予測ブロックについては、前方予測、後方予測ベクトルと、参照フレーム間の動きベクトルとの時間的相関を調査し、時間的相関があるブロックを、移動領域候補として選択する。
【００３７】
もし、動きベクトルに時間的相関が存在しないならば、そのブロックは静止領域と決定する。そうでなければ，動きベクトル情報に関して移動領域と判定する。時間的相関を判定する一例を図６(d) に示す。図６(d) は参照フレームにある同じ移動領域を指す動きベクトル同士はその長さがフレーム間距離に比例することを利用している。現フレームｉのブロックｊに対して，比較対象となるフレームk における比較対象ブロックをｌとしたとき、閾値thr ５で抑えられる式(5) 、式(6) を時間相関の判別式とする。ここで、ブロックｌの決定法については後述するが、ブロックｊとｌはそれぞれのフレームにおいて同じ移動物体に相当する。入力ブロックが双方向予測ベクトルの場合、順方向予測、逆方向予測ベクトルについて時間的相関を検証する。両方の式の成立を持って移動領域候補とする。そうでなければ、静止領域とする．片方向予測の場合、順方向予測、逆方向予測ベクトルいずれかのみで判断する。
｜ｕk ・ｆｍｖi,j −ｕi ・ｆｍｖk,l ｜≦thr ５  …(5)
｜（ｍ−ｕk ）・ｂｍｖi,j −（ｍ−ｕi ）・ｂｍｖk,j ｜≦thr ５  …(6)
【００３８】
比較対象となるフレームk の選択については自由度が存在する。例えばフレームｋをフレームｉの直前のフレーム（ｉ−１）とする。但し、フレームｋがＩピクチャやＰピクチャの場合は、フレームｉの参照フレームとフレームｋの参照フレームが異なるので、未来の参照フレーム（ｉ−１＋ｍ）を比較対象フレームｋとする。フレームｋ内の比較対象ブロックｌは、図６(e) に示すように参照フレームまでの距離の比で現在の動きベクトルを内分した場所を占めるブロックとする。判別式を満足する場合、ブロックｊ、ブロックｌの動きベクトル長の比が参照フレームまでの距離の比に近く、信頼性が高い動き予測情報と判断する。そうでなければ、信頼性の低い動き予測情報と判断し、そのブロックは静止領域とする。
【００３９】
また、Ｂピクチャが存在しない符号化方式では、連続するＰピクチャにおいて各動きベクトルが直前の参照フレームの動き予測情報量と類似する。このような場合、直前のＰピクチャの動きベクトルとの相関を調査することができる。例えば、下記の式(7) のように直前のＰピクチャの動きベクトルと現ブロックの絶対差分値を用いて相関を調査する．
｜ｆｍｖi,j −ｆｍｖi-1,ｌ ｜≦thr ６
【００４０】
次に、前記ステップＳ１５の空間的相関判定の詳細を、図７を参照して説明する。図７(a) は同一領域生成部をフローチャートで表したものであり、該フローチャートで空間的な相関関係を調べる。入力情報は符号化モード情報，動き予測情報，予測誤差情報，移動領域候補情報から構成される。まず、入力情報は同一領域生成部に移り、同一領域を形成する。
【００４１】
図７(a) の符号化モード判定（ステップＳ５１）では、MC codedとIntra を調べる。MC codedの場合、ベクトル長判定（ステップＳ５２）へ進み、Intra の場合はＤＣ判定（ステップＳ５４）へ進む。動きベクトル長判定では、近傍の移動領域候補ブロックに対して式(8) 、式(9) で動きベクトル長の類似性を判定する。入力ブロックが双方向予測ベクトルの場合、順方向予測、逆方向予測ベクトルについて双方のベクトル長を検証する。両方の式が成立する場合、動きベクトル角度判定（ステップＳ５３）へ進む。そうでなければ同一領域でないと決定する（ステップＳ５６）。片方向予測の場合には、順方向予測、逆方向予測ベクトルいずれかのみについて検証する。もしブロックｊとブロックｎが持つベクトル長の差が閾値以下ならば動きベクトル角度判定（ステップＳ５３）へ進む．そうでなければ、同一領域ではないと決定する（ステップＳ５６）。例えば、近傍ブロックｎは入力ブロックｊを中心とした周囲８ブロックを指す。
｜ｆｍｖi,j ｜−｜ｆｍｖi,n ｜≦thr ７  …(8)
｜ｂｍｖi,j ｜−｜ｂｍｖi,n ｜≦thr ７  …(9)
【００４２】
動きベクトル角度判定（ステップＳ５３）では近傍の移動領域候補ブロックに対して式(10)、式(11)で角度の類似性を判定する。入力ブロックが双方向予測ベクトルの場合、順方向予測、逆方向予測ベクトルについて双方のベクトル角度を検証する。片方向予測の場合、順方向予測、逆方向予測ベクトルいずれかのみについて検証する。もしブロックｊとブロックｎのベクトルが作る角度が閾値以下ならば、ＤＣ成分判定（ステップＳ５４）へ移る。そうでなければ、同一領域ではないと決定する。
ｆｍｖi,j ・ｆｍｖi,n ／｜ｆｍｖi,j ｜・｜ｆｍｖi,n ｜≦cos(thr8)   …(10)
ｂｍｖi,j ・ｂｍｖi,n ／｜ｂｍｖi,j ｜・｜ｂｍｖi,n ｜≦cos(thr8)   …(11)
【００４３】
ＤＣ成分判定（ステップＳ５４）ではＤＣＴ係数ＤＣ成分の類似性を判定する。但し、ＤＣＴ係数の類似度判定には動き補償後の差分値ではなく本来のＤＣＴ係数にて判定を行う。ＤＣ成分は参照フレームｋにおける参照ブロックｌのＤＣ成分Ｃk,j,0 と予測誤差ＤＣ成分Ｃi,j,0 を足すことで求める．もし式(12)で示す近傍ブロックｎとのＤＣ成分の差が閾値thr ９以下ならば同一領域と決定し（ステップＳ５５）、そうでなければ同一領域ではないと決定する。ここで、ブロックｓはブロックｎの近傍ブロックである。
｜（Ｃi,j,0 ＋Ｃk,ｌ,0 ）−（Ｃi,n,0 ＋Ｃk,s,0 ）｜≦thr ９  …(12)
【００４４】
全ての移動領域候補ブロックにおいて、十分な類似性を持つブロック同士を同一移動領域と判定し互いに結合する（ステップＳ５７）。同時に結合情報を同一移動領域情報として出力する。
【００４５】
図７(a) から求められた同一領域情報は、図１０の空間相関判定に入力される（ステップＳ６１）。この判定は移動領域の空間的相関を検証する。同一領域を形成するブロック数が閾値よりも小さな領域は近傍に類似ブロックが存在しない孤立ブロックである。よって、もし領域ブロック数が閾値以下の空間的な相関が乏しいブロックならば（ステップＳ６２の判断が否定）、静止領域とする（ステップＳ６４）。そうでなければ（ステップＳ６２の判断が肯定）、移動領域候補とする（ステップＳ６３）。
【００４６】
全ての移動領域検出対象ブロックに対する処理が終了すると（ステップＳ６５）、検出処理結果は検出結果表示部６に出力すると同時に、この結果を未来のフレームにおける検出に利用するため、検出結果メモリ５にも出力し記録する。
【００４７】
例えば、図７(b) に矢示されているような各ブロックごとの動きベクトルがあった場合、移動領域候補ブロックＢ１〜Ｂ５に対して、隣接ブロックの動きベクトルの長さと角度、ＤＣＴ係数ＤＣ成分の相関を調べて、近傍のブロックとの連結度合いを計算する。これをもとに類似した角度と長さの動きベクトルをもつブロックを統合して同一領域を形成し、これを移動物体領域を決定する。
【００４８】
次に、前記領域動き予測部４（図１参照）の機能を説明する。領域動き予測部４では、領域毎の動き予測を行い、未来のフレームでの領域の出現位置を予測する。移動物体の形状は局所時間ではほぼ同一と仮定して、直前のフレームにおける移動物体判定結果を用いて移動物体の追跡に利用する。
【００４９】
図８(a) 、(b) 、(c) は、検出処理で求められた領域全体の動きを予測する方法を表している。領域動き予測部４（図１参照）への入力情報は、同図(b) に示されているような、移動領域検出処理部３の出力である移動領域の構成情報である。
【００５０】
領域毎の動き予測の推定は次のように行う。領域全体の動き予測はテクスチャを表すＤＣＴ係数のパワーを反映させる。テクスチャを持たない平坦領域では動きベクトルが物体の動きを正確に捉えることが困難なので、ＤＣＴ係数のパワーを動きベクトルの信頼性の基準とすることができる。よって、入力情報の予測誤差情報をもとにＤＣＴ係数のパワーに応じて動きベクトルを重み付け平均して領域全体の動きを求める（ステップＳ７１）。ここで、重み計算部は重みｗi,j のパワー表現にはＤＣＴ係数の絶対値和、２乗和、閾値以上の個数等の情報を利用することが可能である。例えば、図１１の式(13)にＤＣＴ係数の絶対値和を重み係数とした具体式を示す。ここで、thr １は式(1) にてＤＣＴ係数の低周波と高周波の分離に用いた閾値である。
【００５１】
重み計算部で求められた重み情報は動きベクトル計算部へ進む。重み情報に対して動きベクトル計算部では、重み計算部で求めた重み係数ｗi,j を用いて動きベクトルの重み付け平均を求める（ステップＳ７２）。ある移動領域Ｒ全体の動き予測ベクトルをｆｍｖR 、ｂｍｖR とするとき、それぞれ、図１１の式(14)、式(15)にて求める。この計算結果はスケーリング部へ移る。
【００５２】
スケーリング部では領域全体の動き予測ベクトルをフレーム間距離情報でスケーリング補正を行い、次フレームでの存在場所を示す動き予測位置情報とする（ステップＳ７３）。次フレームでの予測ベクトルｍｖR は、移動領域Ｒ内に逆方向動き予測情報の重み付け平均ｂｍｖR が存在する場合は式(16)から求める。一方、移動領域Ｒ内に逆方向動き予測情報が無い場合やＰピクチャの場合は、順方向動き予測情報の重み付け平均ｆｍｖR を反転して式(17)から求める。Ｉピクチャでは直前のフレームでの動きを保持する。この領域毎の動き予測情報は前述の検出対象設定部に出力される。
ｍｖR ＝ｂｍｖR ／（ｍ−ｕi ）  …(16)
ｍｖR ＝−ｆｍｖR ／ｕi   …(17)
【００５３】
【発明の効果】
以上の説明から明らかなように、本発明によれば、圧縮符号化された動画像データを部分的に復号することに加え、移動領域検出処理の対象を動き予測情報と予測誤差情報の両方を備えたブロックに限定することにより、従来の画素領域の検出方式（前記第１の検出方式）に対しては無論のこと、符号データ領域での検出方式（前記第２の検出方式）と比較してもはるかに処理コストを抑えることが可能となる。
【００５４】
また、過去の検出処理結果をもとに検出処理対象を限定するようにしたので、効果的に処理コストの削減を達成することができる。また、過去からの処理結果情報は時間的な連続性を維持し、検出結果を再生画像と重ね合わせて確認するとき自然な形状を保証することができる。
【００５５】
また、本発明によれば、過去における移動領域の動き予測を、動き予測情報の信頼性を考慮した重み付け動き予測ベクトルに求めるようにしたので、移動領域を確実に追跡することができる。この結果、調査対象のブロック数やフレームを大幅に削減しても、検出精度を劣化させずに移動物体検出を行うことができるようになる。つまり、本発明方式は検出判定の適用範囲を必要最小限に抑えることができるため、圧縮符号化データ上での移動領域抽出の高速性をさらに活かすことが可能である。
【図面の簡単な説明】
【図１】  本発明の一実施形態の概略の構成を示すブロック図である。
【図２】  図１の検出対象設定部の動作を示すフローチャートである。
【図３】  図１の検出対象設定部の動作の説明図である。
【図４】  図１の移動領域検出処理部の動作を示すフローチャートである。
【図５】  図４のステップＳ１２の詳細説明図である。
【図６】  図４のステップＳ１４の詳細説明図である。
【図７】  図４のステップＳ１５の詳細説明図である。
【図８】  図１の領域動き予測部の詳細説明図である。
【図９】  従来装置の一構成を示す概略ブロック図である。
【図１０】  図４のステップＳ１５の他の詳細説明図である。
【図１１】  数式を表す図である。
【符号の説明】
１…可変長復号部、２…検出対象設定部、３…移動領域検出処理部、４…領域動き予測部、５…検出結果メモリ、６…検出結果表示部。
【図１】
0003948596.tif 000002
【図２】
0003948596.tif 000003
【図３】
0003948596.tif 000004
【図４】
0003948596.tif 000005
【図５】
0003948596.tif 000006
【図６】
0003948596.tif 000007
【図７】
0003948596.tif 000008
【図８】
0003948596.tif 000009
【図９】
0003948596.tif 000010
【図１０】
0003948596.tif 000011
【図１１】
0003948596.tif 000012