(57)【要約】  【課題】符号化動画像の符号情報そのものを周波数上の情報として利用することで動画像における移動物体を効率的に高速かつ高精度に追跡することを可能にすること。  【解決手段】入力部１０は、伝送または蓄積された符号化動画像を入力する。復号部１１は、入力された符号化動画像から符号情報の抽出および復号を行う。特徴点選択部１２は、符号情報を用いて移動物体を形成する複数の特徴点を選択する。動き推定部１３は、特徴点の位置情報および復号された動画像を用いて移動物体の動きを推定する。整合部１４は、動き推定部１３により推定された移動物体の動きに基づいて移動物体を追跡する。表示部１５は、整合部１４により追跡された移動物体の軌跡を、復号された動画像に重畳して表示する。  【選択図】図１
2006350618.tif 000002
【特許請求の範囲】
【請求項１】
符号化動画像の符号情報を利用して動画像における移動物体を追跡する動画像処理装置において、 
伝送または蓄積された符号化動画像を入力する入力部と、
入力された符号化動画像から符号情報の抽出および復号を行う復号部と、
前記符号情報を用いて移動物体を形成する複数の特徴点を選択する特徴点選択部と、
前記特徴点の位置情報および復号された動画像を用いて移動物体の動きを推定する動き推定部と、
前記動き推定部により推定された移動物体の動きに基づいて移動物体を追跡する整合部を備えたことを特徴とする動画像処理装置。
【請求項２】
さらに、前記整合部により追跡された移動物体の軌跡を、復号された動画像に重畳して表示する表示部を備えたことを特徴とする動画像処理装置。
【請求項３】
前記入力部は、動画像における移動物体領域を指定可能であり、前記特徴点選択部は、まず該移動物体領域内で特徴点を選択することを特徴とする請求項１に記載の動画像処理装置。
【請求項４】
前記復号部は、符号化動画像の符号化係数および発生符号量を符号情報として抽出する手段を備えたことを特徴とする請求項１に記載の動画像処理装置。
【請求項５】
前記特徴点選択部は、フレームごとの特徴点を対応付け、特徴点を囲う外接領域を移動物体の領域とする手段を備えたことを特徴とする請求項１に記載の動画像処理装置。
【請求項６】
前記特徴点選択部は、符号化係数のテクスチャと分布、およびブロック境界についての評価を判定して特徴点を選択する手段を備えたことを特徴とする請求項４に記載の動画像処理装置。
【請求項７】
前記特徴点選択部は、符号化係数のテクスチャを基に、符号領域で平坦領域およびノイズ領域を排除して特徴点の候補を選択する手段を備えたことを特徴とする請求項６に記載の動画像処理装置。
【請求項８】
前記特徴点選択部は、発生符号量のビット量、あるいは符号化係数の最高次係数まで連続する０の個数、あるいは符号化係数の交流成分の絶対値和を利用して、符号領域で平坦領域およびノイズ領域を判断することを特徴とする請求項７に記載の動画像処理装置。
【請求項９】
前記特徴点選択部は、符号領域で平坦領域およびノイズ領域を判断するための閾値を適応的に変化させることを特徴とする請求項７または８に記載の動画像処理装置。
【請求項１０】
前記閾値は、ブロック毎の量子化情報に依存した数値であることを特徴とする請求項９に記載の動画像処理装置。
【請求項１１】
前記特徴点選択部は、符号化係数の分布を基に、符号領域で単純な形状を持つ領域を排除して特徴点を選択する手段を備えたことを特徴とする請求項６に記載の動画像処理装置。
【請求項１２】
前記特徴点選択部は、符号化係数の分布の偏りを利用して、単純な形状を持つ領域を判断することを特徴とする請求項１１に記載の動画像処理装置。
【請求項１３】
前記特徴点選択部は、符号化係数の水平方向の交流成分の絶対値和および垂直方向の交流成分の絶対値和およびその他の低域の交流成分の絶対値和を利用して、単純な形状を持つ領域を判断することを特徴とする請求項１２に記載の動画像処理装置。 
【請求項１４】
前記特徴点選択部は、ブロック境界についての評価を判定するに際し、複数のブロックの境界を跨ぐブロックにおいて符号領域で特徴点を選択する手段を備えたことを特徴とする請求項６に記載の動画像処理装置。
【請求項１５】
前記特徴点選択部は、ブロック境界についての評価を判定するに際し、近似した復号処理とハイパスフィルタを合成して予め得られる定数行列を利用して判定基準を算出することを特徴とする請求項１４に記載の動画像処理装置。
【請求項１６】
前記特徴点選択部は、前記判定基準の算出過程での途中の計算結果を保持することで演算回数を削減する手段を備えたことを特徴とする請求項１５に記載の動画像処理装置。 
【請求項１７】
前記動き推定部は、特徴点の位置情報から特徴点の動きを推定する動き探索手段と、復号された動画像を用いて探索時に得られる予測誤差から特徴点を再選択する判定手段を備えたことを特徴とする請求項１に記載の動画像処理装置。
【請求項１８】
前記動き探索手段は、特徴点を含む小領域単位で予測誤差評価関数を最小化するように動きベクトルを探索することを特徴とする請求項１７に記載の動画像処理装置。
【請求項１９】
前記予測誤差評価関数は、特徴点に対して任意に設定される重み係数を含むことを特徴とする請求項１８に記載の動画像処理装置。
【請求項２０】
前記重み係数として、符号化係数の交流成分の絶対値和、あるいは非０係数の個数を利用可能であることを特徴とする請求項１９に記載の動画像処理装置。
【請求項２１】
前記判定手段は、予測誤差の分布を利用して特徴点を選択する手段を備えたことを特徴とする請求項１７に記載の動画像処理装置。
【請求項２２】
前記判定手段は、前記動き探索手段による動き探索で決定された動きベクトルが指す場所の予測誤差が十分に小さく、かつ近傍の予測誤差が比較的大きい特徴点を選別する手段を備えたことを特徴とする請求項２１に記載の動画像処理装置。
【請求項２３】
前記整合部は、複数の特徴点の相対的位置関係、過去の特徴点と予測された特徴点との空間的距離、特徴点ごとの色情報の少なくとも１つを用いてフレーム間での特徴点対応付けを行って移動物体の軌跡を追跡する手段を備えたことを特徴とする請求項１に記載の動画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理装置に関し、特に、符号化動画像の復号情報だけでなく、符号情報を利用して動画像における移動物体を効率的に高速かつ高精度に追跡することができる動画像処理装置に関する。
【背景技術】
【０００２】
動画像における移動物体を追跡する方式には、画素領域で追跡する方式と符号領域で追跡する方式がある。画素領域で移動物体を追跡する方式としては、背景差分法やKLT法などが知られている。背景差分法では、背景画像と対象画像との差分絶対値和を移動物体検出の判定に使用する。また、KLT法では、画像の勾配に関する拘束式を解くことにより移動物体を検出する。
【０００３】
符号領域で移動物体を追跡する方式としては、圧縮符号化された動画像の符号情報そのものを利用する方式が提案されており、これでは、圧縮符号化の際に求められた各種パラメータや符号情報を直接操作することで移動物体検出の処理を達成する。移動物体検出の処理では、画像内の符号単位ブロックが持つ動き予測情報を中心に必要な情報のみが取捨選択されて処理され、これによる検出結果に従って移動物体が追跡される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、画素領域で移動物体を追跡する方式は、動画像が符号化されている場合、該方式を適用するに際し、符号化動画像の符号情報を一旦画素領域まで復号し、画素領域で全ての処理を行うので、復号処理や追跡処理の計算量負荷が大きくなるという課題がある。
【０００５】
一方、符号領域で移動物体を追跡する方法は、圧縮効率を高めるように決定された動きベクトルに依存し、この動きベクトルを元に検出された動画像における動きは本来の動きと一致するとは限らないため、追跡の信頼性に欠けるという課題がある。例えば、平坦な画像領域ではノイズの影響が大きく、動きベクトルは本来の動きと異なる場合が多いので、動きベクトルを元に検出された動きの信頼性は、特に乏しくなる。
【０００６】
移動物体の検出や追跡などの画像理解には、画素そのものだけではなく周波数上での特徴量を解析することが有効である。しかし、符号化動画像の内容を周波数上で解析するために、一度画素領域まで復号した後に改めて周波数領域に変換すると、処理コストが大きくなってしまう。
【０００７】
本発明の目的は、上記課題を解決し、符号化動画像の符号情報そのものを周波数上の情報として利用することで動画像における移動物体を効率的に高速かつ高精度に追跡することができる動画像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、符号化動画像の符号情報を利用して動画像における移動物体を追跡する動画像処理装置において、伝送または蓄積された符号化動画像を入力する入力部と、入力された符号化動画像から符号情報の抽出および復号を行う復号部と、前記符号情報を用いて移動物体を形成する複数の特徴点を選択する特徴点選択部と、前記特徴点の位置情報および復号された動画像を用いて移動物体の動きを推定する動き推定部と、前記動き推定部により推定された移動物体の動きに基づいて移動物体を追跡する整合部を備えたことを基本的特徴としている。
【発明の効果】
【０００９】
本発明では、符号化動画像の復号情報だけでなく、符号情報も利用して移動物体の検出と追跡を行う。この際、移動物体を複数の特徴点として構成し、移動物体の検出および追跡処理では、該特徴点に追跡対象を限定して処理することにより、画素領域で追跡する方式と比較して処理コストを低減することができる。また、符号領域で追跡する方式と比較しても処理コストを低減することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明について説明する。図１は、本発明に係る動画像処理装置の一実施形態の機能ブロック図である。本実施形態の動画像処理装置は、入力部１０、復号部１１、特徴点選択部１２、動き推定部１３、整合部１４および表示部１５を備える。
【００１１】
以下、各部の機能を順に説明する。なお、以下では、入力される動画像が国際標準であるMPEG-1 ビデオ(ISO/IEC11172-2)に従って符号化された符号化動画像であるとして説明するが、本発明は、その他の方式の符号化動画像に対しても適用でき、対象とする符号化動画像を限定するものではない。
【００１２】
符号化動画像は、入力部１０を介して復号部１１に入力される。入力される符号化動画像は、遠隔地から伝送されてきたものでも、装置内外のデータベースから読み出されたものでもよい。
【００１３】
復号部１１は、入力された符号化動画像を復号し、また、符号化動画像から符号化係数や発生符号量などの符号情報を抽出する。抽出された符号情報は、特徴点選択部１２に送出され、復号情報は、動き推定部１３へ送出される。 
【００１４】
特徴点選択部１２は、復号部１１から送出される符号情報を入力とし、移動物体の動きが正確に捕捉できるように、フレーム間での一致の対応付けが容易な動き物体を形成する特徴点を選択する。
【００１５】
例えば、変化の乏しい平坦な画像領域は、追跡する際に正確な動きを推定することが困難であるため、特徴点としては相応しくない。また、ノイズが大きい画像領域やランダムな画素値を持つ画像領域も特徴点として相応しくない。逆に、明確なエッジが存在する画像領域は、位置の特定が容易であるので特徴点として相応しい。特に、物体の角や端点など、複数のエッジが交差する部分を含む画像領域は特徴点として相応しい。移動物体の領域は、複数の特徴点を囲う外接領域として形成することができる。
【００１６】
以下では、エッジに着目した特徴点選択について説明する。図２は、特徴点選択部１２の機能を具体的に示す機能ブロック図である。本例の特徴点選択部１２は、テクスチャ判定２１、分布判定２２およびブロック境界について判定２３の３種類の判定を順次実行して、入力された符号情報から特徴点を選択する。
【００１７】
まず、テクスチャ判定２１について説明する。テクスチャ判定２１は、符号化係数のテクスチャを基に、平坦領域とノイズ領域を排除し、適度なエッジを持った領域を特徴点候補とする。発生符号量やDCT係数を判定することにより、特徴点候補を符号領域上で選定することができる。
【００１８】
例えば、可変長符号化されているビット量(発生符号量)を判定し、このビット量が所定の範囲内に収まる領域を特徴点候補とすることができる。また、量子化されたDCT係数の最高次係数まで連続する０の長さを判定し、この長さが所定の範囲内に収まる領域を特徴点候補とすることができる。また、DCT係数のAC成分絶対値和を判定し、この絶対値和が所定の範囲内に収まる領域を特徴点候補とすることもできる。これらの判定の元となる情報は、いずれも符号情報として格納されているので、簡単に取得できる。
【００１９】
また、テクスチャ判定２１に用いる閾値は、量子化パラメータなどの量子化情報や、符号化係数がフレームDCTによるものであるかフィールドDCTによるものであるかなどの符号化パラメータなどに応じて適応的に変化させてもよい。
【００２０】
次に、分布判定２２について説明する。分布判定２２は、テクスチャ判定２１で選定された特徴点候補から単純な形状を持つ候補を排除し、適度な複雑度を持った領域を特徴点として選定する。適度な複雑度を持った領域は、例えば、DCT係数の分布の偏りを基に符号領域上で選定することができる。
【００２１】
具体的には、DCT係数の水平方向のAC成分の絶対値和および垂直方向のAC成分の絶対値和およびその他の低域のAC成分の絶対値和がともに閾値を超えることを判定基準にして判定することができる。
【００２２】
次に、ブロック境界について判定２３について説明する。テクスチャ判定２１および分布判定２２では、ブロックを単位とした判定であるため、複数のブロックを跨ぐ特徴点を判定できない。例えば、ブロック境界にエッジが存在する場合、ブロックのDCT係数のAC成分は大きな係数とならない。このため、DCT係数を用いる判定では、このようなエッジを判定できない。
【００２３】
テクスチャ判定２１および分布判定２２では判定できない特徴点を判定して選択するため、ブロック境界についての判定２３では、複数のブロックからブロックを跨ぐブロックを構成し、テクスチャ判定２１および分布判定２２とは異なる階層のブロックで階層的に特徴点を選択する。
【００２４】
例えば、隣接する4組のDCT係数X，Y，Z，Wの各DCT係数をそれぞれxi，yi，zi，wi(ここで、iは、DCT係数を水平方向かつ垂直方向に並べたときの順番であるとする)とし、1/4の縮小画像で4個のブロックを跨ぐブロックを構成することを考えると、式(1)で4個のブロックを跨ぐ縮小されたブロックが得られる。なお、式(1)では、4個のブロックそれぞれのDC成分と3つの低域AC成分を用いてIDCT(復号処理)を近似している。
【００２５】
【数１】
2006350618.tif 000003
【００２６】
次に、エッジ検出に用いられるハイパスフィルタとして2次微分のラプラシアンフィルタをベクトルの積に分離すると、式(2)が得られる。
【００２７】
【数２】
2006350618.tif 000004
【００２８】
式(2)のベクトルを式(1)で縮小されたブロックに適用すると、ラプラシアンフィルタによるコンボリューション演算は行列積の形の式(3)で表現される。式(3)の定数をまとめると、式(4)が得られる。式(4)を用いてDCT係数から直接ラプラシアンフィルタの結果を導くことができる。
【００２９】
【数３】
2006350618.tif 000005
【００３０】
【数４】
2006350618.tif 000006
【００３１】
式(4)の計算結果である判定基準が閾値よりも大きい場合はブロック境界にエッジが存在するとして特徴点に加える。式(4)の演算は、途中の計算結果を保持することにより定数行列と任意のベクトル(a,b,c,d)ｔ（tは転置を表す）の積の演算量を削減することができる。図３は、演算過程と途中の計算結果の保持による演算量削減を示している。
【００３２】
例えば左側2行列を演算して結果行列の1列目2要素を求める際には、a,b,c,dをそれぞれx０,x８,z０,z８とすればよい。結果行列の他の要素、さらに結果行列と右側行列の演算による各要素も、a,b,c,dに適宜の値を与えて同様にして求めることができる。
【００３３】
なお、上記実施形態では、DCT係数のDC成分とそれに隣接する3つの低域AC成分で近似したIDCTとハイパスフィルタを統合して1/4縮小画像でブロック境界におけるエッジ検出を行っているが、他の解像度でもIDCTを近似して同様にエッジ検出を行うことができる。ブロック境界について判定２３では、エッジの存在を見極めさえすればよいのでIDCTの近似は任意であり、演算の高速化が優先されるようにIDCTを近似できる。
【００３４】
追跡すべき移動物体が分かっている場合には、手動で特徴点を選択する領域を初めから指定して該領域に処理を限定することもできる。この場合、移動物体の詳細な形状を指定する必要はなく、矩形や円などの大まかな形状で領域を指定するだけで構わない。指定された領域の中から自動的に追跡に適した複数の特徴点が選択され、選択された特徴点を囲う最小の多角形が移動物体追跡の初期領域となるからである。
【００３５】
図４は、動き推定部１３の機能を具体的に示す機能ブロック図である。動き推定部１３は、動き探索４１と予測誤差判定４２の機能を有し、探索時に得られる予測誤差を判定し、移動物体を形成する複数の特徴点を個々に追跡することで移動物体の動きを推定する。動き探索MPEGの符号情報としてMV(動きベクトル)が格納されているので、領域内MVの重み平均から移動物体の動きを推定するようにすることも考えられるが、移動物体が小さい場合、マクロブロック(MB)数の僅かな増減で動きが大きく変動する可能性があり、逆に、移動物体が大きい場合には平坦部におけるMVのように信頼性の低いベクトルの影響を受ける可能性がある。MVはMB(マクロブロック)という面単位で予測誤差を最小にするように決定されているため、特徴点の動きを正確に表現していない。そこで、本発明では特徴点を含む小領域単位で動きを推定し直すこととしている。
【００３６】
特徴点の動きは、エッジ保存性、ノイズ耐性、計算負荷の観点から、予測誤差評価関数を最小化するベクトルを決定することで推定するのがよい。特徴点を含む小領域は画素の変化に富んでいるので、MPEGのMBに比べ大幅に小さな領域でも正確な動きを推定することが可能である。また、動き推定の単位をMPEGのMBより小領域にすることで、計算量が削減されるだけでなく、予測誤差評価関数の最小化方向と勾配方向が一致しやすくなる。
【００３７】
特徴点の座標を〈x〉＝(x,y)で表し，座標〈x〉かつ時刻tの画素値をI(〈x〉,t)で表すと、特徴点の動きベクトル〈v〉＝(vｘ,vｙ) の予測誤差評価関数e(〈v〉)は、式(5)で定義される。
【００３８】
【数５】
2006350618.tif 000007
【００３９】
ここで、Wは特徴点を含む小領域を示し、w(〈x〉) は重み係数を示す。重み係数w(〈x〉) を常に1にすれば式(5)を簡略化できるが、DCT係数AC成分の絶対値和やDCT係数の非0の個数など、重み係数を任意に設定することも可能である。
【００４０】
予測誤差評価関数e(〈v〉)の値を最小化する最適な動きベクトル〈vａ〉は、ある初期ベクトル〈v０〉を使って式(6)〜(9)を反復繰り返すことによって求めることができる。ただし、IｘおよびIｙは、I(〈x〉,t)のそれぞれx方向、y方向の微分であり、式(10)、式(11)で表される。また、ΔIｋは、I(〈x〉,t)の動き予測誤差であり、式(12)で表される。 
【００４１】
反復繰り返しの終了条件は、Δ〈vｋ〉のノルムが予め定めた閾値より小さくなったとき、あるいは反復繰り返しの回数が予め定められた回数に達したときとすることができる。また、初期ベクトル〈v０〉としてMPEGのMVを用いれば、収束するまでの反復繰り返しの回数を抑えることができる。
【００４２】
【数６】
2006350618.tif 000008
【００４３】
【数７】
2006350618.tif 000009
【００４４】
【数８】
2006350618.tif 000010
【００４５】
【数９】
2006350618.tif 000011
【００４６】
【数１０】
2006350618.tif 000012
【００４７】
【数１１】
2006350618.tif 000013
【００４８】
【数１２】
2006350618.tif 000014
【００４９】
平坦な画像領域などでは動きベクトルはノイズに影響されるので、本来の動きを捉えることは困難であるが、平坦な画像領域などは特徴点選択部１２において特徴点から排除されている。しかし、特徴点選択部１２により選択された特徴点でも真の動きを捉えにくい場合があるので、動き推定部１３で該当する画像領域を排除するのが好ましい。例えば、大きなDCT係数が存在する周期的なエッジ領域は、特徴点選択部１２で排除しきれないが、この領域は誤った動きベクトルを誘発しやすい。この誤った動きベクトルが誘発されるのを防ぐため、特徴点選択部１２で選択された特徴点(エッジ領域)をすべて特徴点とするのではなく、動き探索の過程で得られる誤差評価関数の値を基にエッジ領域を分別し、特徴点としての信頼性を高める。
【００５０】
動きベクトルは、上述したように、画素値の差の2乗和や絶対値和などで定義される予測誤差評価関数の値が最小になるよう決定されるが、周期的なエッジ領域の場合には予測誤差評価関数の値が極小となる場所が一定間隔で複数存在する。また、例えば、単純なエッジ領域では、予測誤差評価関数は、エッジに沿った方向で同程度の値を取る。
【００５１】
このような誤った動きベクトルが誘発されやすい周期的なエッジ領域や単純なエッジ領域を排除するために、画素領域で動きベクトル情報を用いて特徴点を分別する。この分別は、予測誤差の分布をみることで達成できる。例えば動きベクトルが指す場所の予測誤差評価関数の値とその周囲の予測誤差評価関数の値を比較判断すればよい。
【００５２】
比較判断の結果、動きベクトルが指す場所だけが十分小であれば特徴点として相応しい複雑性を持つ特徴点として分別でき、複数の場所で同程度の値であれば特徴点として相応しくない特徴点として分別できる。比較判断には、例えば、動きベクトルが指す場所とその隣接8つの近傍を利用することができる。あるいは数画素離れた近傍地点を利用することもできる。
【００５３】
整合部１４は、動き推定部１３により推定された特徴点の動きに基づいて移動物体を追跡する。整合部１４で監視カメラを制御するようにすれば、移動物体を検出・追跡可能な監視システムを構築することができる。具体的には、特徴点の動きベクトル〈v〉を用いてフレーム毎の特徴点を対応付け、特徴点を囲う領域を形成することによって移動物体とし、その軌跡を追跡する。フレーム間の特徴点の対応付けは、複数の特徴点の相対的位置関係、過去の特徴点の位置と動きベクトル〈v〉による予測位置の空間的距離を用いて行うことができる。
【００５４】
また、さらに特徴点ごとの色情報などを考慮して対応付けを行うことにより、一部特徴点が誤って選択された場合に該特徴点を誤って対応付けてしまうことを、より低減できる。
【００５５】
表示部１５は、整合部１４により追跡された移動物体の軌跡を、復号された動画像に重畳して表示する。この表示を見れば、移動物体がどのように動いたかを簡単に把握できる。
【図面の簡単な説明】
【００５６】
【図１】本発明に係る動画像処理装置の一実施形態の機能ブロック図である。
【図２】特徴点選択部の機能を示す機能ブロック図である。
【図３】境界判定における演算過程と途中の計算結果の保持による演算量削減を示す説明図である。
【図４】動き推定部の機能を示す機能ブロック図である。
【符号の説明】
【００５７】
１０・・・入力部、１１・・・復号部、１２・・・特徴点選択部、１３・・・動き推定部、１４・・・整合部、１５・・・表示部、２１・・・テクスチャ判定、２２・・・分布判定、２３・・・境界判定、４１・・・動き探索、４２・・・予測誤差判定
【図１】
2006350618.tif 000015
【図２】
2006350618.tif 000016
【図３】
2006350618.tif 000017
【図４】
2006350618.tif 000018