(57)【特許請求の範囲】
【請求項１】
動画像を符号化したデータをマクロブロック毎に復号化する動画像復号化部と、
前記動画像復号化部からの符号化情報と、当該動画像復号化部で生成された再生画像とに基いて背景画像を作成する背景画像作成部と、
前記再生画像と前記背景画像とのマッチングを行なうことにより動画像中の侵入物体を認識する侵入物体認識部と、
を具備し、
前記侵入物体認識部は、前記マクロブロック毎に前記再生画像における小ブロックと、前記背景画像における小ブロックとの検出誤差を求めるマクロブロック内マッチングを行ない、
前記小ブロックは、前記マクロブロックの画素数未満の画素数にて、前記マクロブロック内に設定されたブロックであることを特徴とする物体認識装置。
【請求項２】
動画像を符号化したデータをマクロブロック毎に復号化する動画像復号化ステップと、
前記動画像復号化ステップでの符号化情報と、当該動画像復号化ステップで生成された再生画像とに基いて背景画像を作成する背景画像作成ステップと、
前記再生画像と前記背景画像とのマッチングを行なうことにより動画像中の侵入物体を認識する侵入物体認識ステップと、
を具備し、
前記侵入物体認識ステップは、前記再生画像における小ブロックと、前記背景画像信号における小ブロックとの検出誤差を求めるマクロブロック内マッチングを行ない、前記小ブロックは、前記マクロブロックの画素数未満の画素数にて、前記マクロブロック内に設定されたブロックであることを特徴とする物体認識方法。
【請求項３】
動画像をマクロブロック毎に符号化する動画像符号化部と、
この動画像符号化部からの符号化情報と、当該動画像符号化部で生成された局部再生画像とに基いて背景画像を作成する背景画像作成部と、
前記局部再生画像と前記背景画像とのマッチングを行なうことにより動画像中の侵入物体を認識する侵入物体認識部と、
を具備し、
前記侵入物体認識部は、前記マクロブロック毎に前記局部再生画像における小ブロックと、前記背景画像における小ブロックとの検出誤差を求めるマクロブロック内マッチングを行ない、
前記小ブロックは、前記マクロブロックの画素数未満の画素数にて、前記マクロブロック内に設定されたブロックであることを特徴とする物体認識装置。
【請求項４】
入力動画像をマクロブロック毎に符号化する動画像符号化部と、
前記動画像符号化部からの符号化情報と、前記入力動画像とに基いて背景画像を作成する背景画像作成部と、
前記入力動画像と前記背景画像とのマッチングを行なうことにより動画像中の侵入物体を認識する侵入物体認識部と、
を具備し、
前記侵入物体認識部は、前記マクロブロック毎に入力動画像における小ブロックと、前記背景画像における小ブロックとの検出誤差を求めるマクロブロック内マッチングを行ない、
前記小ブロックは、前記マクロブロックの画素数未満の画素数にて、前記マクロブロック内に設定されたブロックであることを特徴とする物体認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、物体認識装置及び物体認識方法に関し、特に、動画像符号化装置または復号化装置の出力から動画像中に侵入してきた物体を認識する装置及び方法に関する。
【０００２】
【従来の技術】
動画像中の特定の物体を検出し、その物体を認識するには、一般に画素値を調べる必要がある。例えば、岡崎彰夫 著、“初めての画像処理技術”，工業調査会，ｐｐ．１０２−１０３，２０００，では、背景差分による動物体切り出しの処理を紹介している。この手法は、基準となる背景画像と入力画像の画素値の差分値を閾値で２値化することで、動物体の切り出しを実現している。しかし、このような画素値に関わる処理は、実は、多くの計算量を必要とするという問題がある。例えば、動画像符号化の標準方式であるＩＴＵ−Ｔ  Ｈ．２６１，Ｈ．２６３，ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４等でよく用いられるＣＩＦフォーマットの場合、横３５２画素、縦２８８画素で合計１０１３７６画素もの画素について、処理が必要となっていた。このような計算量の多い処理に対しては、専用のハードウェアを用意する必要があったりして、コスト面でも大きな問題があった。
【０００３】
そこで、動画像中の移動物体を検出する手法として、特開平９−２５２４６７号公報「移動物体検出装置」では、動画像符号化装置で作られた動きベクトルを用いる方法が考案されている。この方法によれば、動画像符号化装置で作成されるマクロブロック毎の動きベクトルを用いるので、移動物体検出のために特別に画素の動きを調べる必要がなく、大幅に計算量を減らすことができる。
【０００４】
しかし、従来の符号化データを用いた移動物体検出技術の問題点としては、動きベクトルが大きいマクロブロックや書き換わっているマクロブロックが必ずしも移動物体とは限らず、また、移動物体の内部のマクロブロックでも、書き換わっていないブロックが存在したりして、監視などに用いることを考えた場合、必ずしも必要な映像を得ることができなかった。
【０００５】
また、マクロブロック単位の検出では、マクロブロックの一部に対象物体がかかっていた場合、マクロブロック単位としては、誤差が小さいために見逃されてしまうという問題があった。具体的には、図８のような場合、侵入者５００の頭や、左足、左腕の部分は、マクロブロック単位の場合、ほんの少ししか誤差が生じないため、侵入物体の一部として判定することが難しかった。
【０００６】
【発明が解決しようとする課題】
上述したように、特定の物体を検出し、その物体が何であるかを認識するには多くの計算量を必要とし、一方、符号化データを用いた従来技術においては、認識精度が十分でないという問題があった。
【０００７】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、計算量が少なく、認識精度のよい侵入物体認識装置及び侵入物体認識方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記した目的を達成するために、第１の発明は物体認識装置であって、動画像を符号化したデータをマクロブロック毎に復号化する動画像復号化部と、前記動画像復号化部からの符号化情報と、当該動画像復号化部で生成された再生画像とに基いて背景画像を作成する背景画像作成部と、前記再生画像と前記背景画像とのマッチングを行なうことにより動画像中の侵入物体を認識する侵入物体認識部と、を具備し、前記侵入物体認識部は、前記マクロブロック毎に前記再生画像における小ブロックと、前記背景画像における小ブロックとの検出誤差を求めるマクロブロック内マッチングを行ない、前記小ブロックは、前記マクロブロックの画素数未満の画素数にて、前記マクロブロック内に設定されたブロックであることを特徴とする。
【０００９】
また、第２の発明は物体認識方法であって、動画像を符号化したデータをマクロブロック毎に復号化する動画像復号化ステップと、前記動画像復号化ステップでの符号化情報と、当該動画像復号化ステップで生成された再生画像とに基いて背景画像を作成する背景画像作成ステップと、前記再生画像と前記背景画像とのマッチングを行なうことにより動画像中の侵入物体を認識する侵入物体認識ステップと、を具備し、前記侵入物体認識ステップは、前記再生画像における小ブロックと、前記背景画像信号における小ブロックとの検出誤差を求めるマクロブロック内マッチングを行ない、前記小ブロックは、前記マクロブロックの画素数未満の画素数にて、前記マクロブロック内に設定されたブロックであることを特徴とする。
【００１０】
また、第３の発明は物体認識装置であって、動画像をマクロブロック毎に符号化する動画像符号化部と、この動画像符号化部からの符号化情報と、当該動画像符号化部で生成された局部再生画像とに基いて背景画像を作成する背景画像作成部と、前記局部再生画像と前記背景画像とのマッチングを行なうことにより動画像中の侵入物体を認識する侵入物体認識部、を具備し、前記侵入物体認識部は、前記マクロブロック毎に前記局部再生画像における小ブロックと、前記背景画像における小ブロックとの検出誤差を求めるマクロブロック内マッチングを行ない、前記小ブロックは、前記マクロブロックの画素数未満の画素数にて、前記マクロブロック内に設定されたブロックであることを特徴とする。
【００１１】
また、第４の発明は物体認識装置であって、入力動画像をマクロブロック毎に符号化する動画像符号化部と、前記動画像符号化部からの符号化情報と、前記入力動画像とに基いて背景画像を作成する背景画像作成部と、前記入力動画像と前記背景画像とのマッチングを行なうことにより動画像中の侵入物体を認識する侵入物体認識部と、を具備し、前記侵入物体認識部は、前記マクロブロック毎に入力動画像における小ブロックと、前記背景画像における小ブロックとの検出誤差を求めるマクロブロック内マッチングを行ない、前記小ブロックは、前記マクロブロックの画素数未満の画素数にて、前記マクロブロック内に設定されたブロックであることを特徴とする。
【００１２】
【発明の実施の形態】
（第１の実施の形態）
以下、図面を参照して本発明の第１の実施形態を説明する。図１は、本発明の実施形態の動画像侵入物体認識装置の構成を示すブロック図である。図１に示す動画像侵入物体認識装置は、動画像復号化部１１０と侵入物体認識部１１８の２つの部分から成り立っている。
【００１３】
動画像復号化部１１０においては、まず、伝送路または蓄積系から受信した符号化データは、入力バッファ１０１に一度蓄えられ、多重化分離部１０２により１フレーム毎にシンタクスに基づいて分離された後、可変長復号化部１０３に出力される。
【００１４】
可変長復号化部１０３では、各シンタクスの情報の可変長符号の復号をおこなう。可変長復号化部１０３において、マクロブロックのモードがＩＮＴＲＡならば、モード切替スイッチ１０９をオフに選択する。この場合、可変長復号化部１０３で復号化された量子化ＤＣＴ係数情報は、逆量子化部１０４で逆量子化され、ＩＤＣＴ部１０５で逆離散コサイン変換処理を施すことにより、再生画像信号を生成させる。この再生画像信号は、フレームメモリ１０７に参照画像として蓄積される一方、侵入物体認識部１１８内の侵入物体合成表示部１１７に入力される。
【００１５】
可変長復号化部１０３において、マクロブロックのモードがＩＮＴＥＲ及びＮＯＴ＿ＣＯＤＥＤならば、モード切替スイッチ１０９をオンに選択する。この場合、可変長復号化部１０３で復号化された量子化ＤＣＴ係数情報は、逆量子化部１０４で逆量子化され、ＩＤＣＴ部１０５で逆離散コサイン変換処理をおこない、可変長復号化部１０３で復号化された動きベクトル情報に基づいて動き補償部１０８において参照画像を動き補償し、加算器１０６で足しあわせて、再生画像信号を生成させる。この再生画像信号は、フレームメモリ１０７に参照画像として蓄積される一方、侵入物体認識部１１８内の侵入物体合成表示部１１７に入力される。
【００１７】
一方、侵入物体認識部１１８においては、可変長復号化部１０３からの符号化情報と再生画像信号と背景メモリ１１５の画像信号から、当該マクロブロックが侵入物体かどうかの判定を、物体認識部１１６で行い、認識結果を侵入物体合成表示部１１７と背景メモリ更新スイッチ１１１に送る。
【００１８】
背景メモリ更新スイッチ１１１は、当該マクロブロックの認識結果が侵入物体の場合、オフとし、侵入物体以外の場合、オンとする。この背景メモリ更新スイッチ１１１がオンの場合、現在の背景メモリ１１５の当該マクロブロックと同一の位置の画像信号を、当該マクロブロックの復号画像信号から、加算器１１２で減じて、その値に乗算器１１３でＷ／（Ｗ＋１）（Ｗは背景更新のパラメータで０以上の実数）を乗じた値を、当該マクロブロックの復号画像信号から、加算器１１４で減じ、その値を背景メモリ１１５に新しい背景として書き込むことによって、背景メモリ１１５の値が更新される。このようにして背景画像が生成される。
【００１９】
侵入物体合成表示部１１７は、物体認識部１１６から送られてきた認識結果と再生画像信号から、侵入物体の位置を再生画像に合成して表示する。
【００２０】
図２は、侵入物体認識部１１８の１フレーム毎の流れ図を示している。まず、非背景マクロブロック判定処理（ステップＳ１０１）では、マクロブロック毎に、符号化情報と再生画像信号と背景メモリ１１５の画像信号から、当該マクロブロックが非背景か否かを判定する。
【００２１】
次に、雑音マクロブロック除去処理（ステップＳ１０２）では、非背景マクロブロックと判定されたマクロブロックの内、近傍８マクロブロックが全て背景マクロブロックのものに関しては、雑音と判断して、非背景マクロブロックから除去する。
【００２２】
背景メモリ更新処理（ステップＳ１０３）では、図１で説明したように、背景マクロブロックと判定されたマクロブロック部分の背景メモリ１１５を再生画像信号で更新する。ここで、Ｆc （ｍ，ｎ）は、当該マクロブロックの再生画像信号の輝度信号の画素値、Ｂ（ｍ，ｎ）は、背景メモリの画素値を示している。ここで、ｍとｎは、マクロブロック内の画素値の垂直方向、水平方向のアドレスで、ｍ＝０…１５，ｎ＝０…１５となる。
【００２３】
本実施の形態においては、以下の（１）式のように、当該マクロブロックの再生画像信号の輝度値Ｆc （ｍ，ｎ）を背景更新のパラメータＷ（０以上の実数）で重み付け平均して、背景メモリＢ（ｍ，ｎ）に足し込む。
【００２４】
【数１】
0003732760.tif 000002
【００２５】
また、背景メモリに画像がまだ書き込まれていない場合、当該マクロブロックの再生画像信号Ｆc （ｍ，ｎ）を背景メモリＢ（ｍ，ｎ）に書き込む。
【００２６】
なお、図１の背景メモリ１１５の更新のブロック構成は、重み付け平均を式（１）の右辺のように式を変形した場合に相当する。
【００２７】
最後に、非背景マクロブロック包含処理（ステップＳ１０４）では、非背景マクロブロックと判定されたマクロブロックを包含するような長方形の物体を検出し、検出する侵入物体の大きさの制限に応じて包含するか否かを判定する。包含した長方形は、検出結果として、図５のように、再生画像信号４００と合成して表示する。
【００２８】
図３は、非背景マクロブロック判定処理（ステップＳ１０１）の具体的な流れ図である。ここで、ｉとｊは、フレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表している。２次元配列Ｍ［ｉ］［ｊ］は、各マクロブロックが背景マクロブロックか否かの情報を蓄える配列で、ＴＲＵＥならば非背景物体マクロブロック、ＦＡＬＳＥならば背景マクロブロックを表す。なお、配列Ｍの初期値は、ＦＡＬＳＥである。
【００２９】
まず、マクロブロック毎に可変長復号化部１０３からのモード情報ＭＯＤＥの判定を行う（ステップＳ２０３）。もし、ＭＯＤＥがＣＯＤＥＤならば、そのマクロブロックの再生画像信号と背景メモリ１１５の画像信号とで、マクロブロック内マッチング部で検出誤差を求める。（ステップＳ２０４）
この検出誤差を閾値ＴＨと比較し（ステップＳ２０５）、もし、閾値ＴＨよりも大きい場合には、そのマクロブロックは非背景マクロブロックであると判定し、Ｍ［ｉ］［ｊ］にＴＲＵＥが代入される（ステップＳ２０６）。また、閾値ＴＨ以下の場合には背景マクロブロックであると判定し、Ｍ［ｉ］［ｊ］にＦＡＬＳＥが代入される（ステップＳ２０７）。もし、ＭＯＤＥが、ＮＯＴ＿ＣＯＤＥＤならば、なにもせずに、次のマクロブロックの処理に移る。
【００３０】
図４は、ステップＳ２０４のマクロブロック内マッチング部の動作を説明するための図である。この例では、ＣＩＦの輝度信号のフォーマットを示しており、縦２８８画素、横３５２画素である。１つのマクロブロックは、縦１６画素、横１６画素である。ここでは、マクロブロック内に、縦Ｍ1 画素、横Ｍ2 画素の小ブロックを設定し、再生画像信号の小ブロックと、背景メモリの小ブロックの検出誤差を求める。この時、小ブロックは、周囲のマクロブロックと重なるように設定されてもよい。
【００３１】
本実施の形態では、探索範囲内で最も検出誤差の値が大きいものを当該マクロブロック内マッチング部の検出誤差の結果とする。この時、探索範囲は、小ブロックの左上隅の画素を起点として、
縦は、ｉ×１６−Ｍ1 ／２〜（ｉ＋１）×１６−Ｍ1 ／２−１の範囲、
横は、ｊ×１６−Ｍ2 ／２〜（ｊ＋１）×１６−Ｍ2 ／２−１の範囲
となる。
【００３２】
本実施の形態では、検出誤差の計算として、式（２）で示される再生画像信号と背景メモリの画像信号の差分の絶対値と、背景メモリの画像信号の比を平均したものを採用する。
【００３３】
【数２】
0003732760.tif 000003
【００３４】
ここで、Ｆc （ｍ，ｎ）は、再生画像信号の輝度信号の画素値、Ｂ（ｍ，ｎ）は、背景メモリの画素値を示している。ここで、ｍとｎは、小ブロック内の画素値の垂直方向、水平方向のアドレスで、ｍ＝０…Ｍ1 −１，ｎ＝０…Ｍ2 −１となる。
【００３５】
このように、マクロブロック内に小ブロックを設定して誤差を検出することにより、マクロブロック内の一部に侵入物体が存在しても、検出することが可能である。
【００３６】
なお、本実施の形態においては、小ブロックの形状は長方形で説明を行なったが、別の形状を用いてもよい。また、本実施の形態においては、式（２）で示した再生画像信号と背景メモリの画像信号の差分の絶対値と、背景メモリの画像信号の比を平均したもので説明を行なったが、別の評価尺度、例えば、特定の色や、テキスチャ、形状等を用いても構わない。
【００３７】
本実施の形態においては、動画像復号化器の符号化情報を有効に使うことによって、再生画像信号全体を処理することなく、部分的に処理できることから、少ない計算量で画像認識処理を行なうことができ、かつ、マクロブロック内に小ブロックを設定し、マッチングにより誤差を検出することにより、精度のよい侵入物体認識結果を実現できる。
【００３８】
（第２の実施の形態）
図６と図７は、本発明の第２の実施形態の動画像侵入物体認識装置の構成を示すブロック図である。この実施の形態において、侵入物体認識部は、動画像符号化部と組み合わされている。
【００３９】
図６において、入力動画像信号は、ブロック化部２０１でマクロブロックに分割される。マクロブロックに分割された入力動画像信号は、減算器２０２に入力され、予測画像信号との差分がとられて、予測残差信号が生成される。この予測残差信号と、ブロック化部２０１からの入力動画像信号のいずれか一方を、モード選択スイッチ２０３によって選択し、ＤＣＴ（離散コサイン変換）部２０４により離散コサイン変換される。ＤＣＴ部２０４で得られたＤＣＴ係数データは、量子化部２０５で量子化される。量子化器２０５で量子化された信号は２分岐され、一方は可変長符号化部２１４で可変長符号化される。一方、量子化部２０５で量子化され２分岐された信号の他方は、逆量子化部２０６及びＩＤＣＴ（逆離散コサイン変換）部２０７により量子化部２０５およびＤＣＴ部２０４の処理と逆の処理を順次受けた後、加算器２０８でスイッチ２１１を介して入力される予測画像信号と加算されることにより、局部復号信号が生成される。この局部復号信号は、フレームメモリ２０９に蓄えられ、動き補償部２１０に入力される。動き補償部２１０では、予測画像信号が生成されるとともに、モード選択部２１２に必要な情報を送る。
【００４０】
モード選択部２１２では、マクロブロック単位に動き補償部２１０からの予測情報Ｐに基づいて、フレーム間符号化をおこなうマクロブロックとフレーム内符号化をおこなうマクロブロックを選択する。フレーム内符号化（イントラ符号化）をおこなう場合は、モード選択スイッチ情報ＭをＡとし、スイッチ情報ＳをＡとする。フレーム間符号化（インター符号化）をおこなう場合は、モード選択スイッチ情報ＭをＢとし、スイッチ情報ＳをＢとする。
【００４１】
モード選択スイッチ２０３ではモード選択スイッチ情報Ｐに基づき、スイッチを変更し、また、スイッチ２１１ではスイッチ情報Ｓに基づき、スイッチを変更する。ここで、モードとして、イントラモード（ＩＮＴＲＡ）、インターモード（ＩＮＴＥＲ）、非符号化モード（ＮＯＴ＿ＣＯＤＥＤ）があり、各マクロブロック毎に対応づけられ、ＩＮＴＲＡのマクロブロックはフレーム内符号化される画像領域、ＩＮＴＥＲのマクロブロックはフレーム間符号化される画像領域、ＮＯＴ＿ＣＯＤＥＤのマクロブロックは、符号化不要の画像領域である。
【００４２】
一方、侵入物体認識部２２６においては、可変長符号化部２１４からの符号化情報と局部再生画像信号と背景メモリの画像信号から、当該マクロブロックが侵入物体かどうかの判定を物体認識部２２４で行い、認識結果を侵入物体合成表示部２２５と背景メモリ更新スイッチ２１９に送る。背景メモリ更新スイッチ２１９は、当該マクロブロックの認識結果が侵入物体の場合、オフとし、侵入物体以外の場合、オンとする。背景メモリ２２３は、背景メモリ更新スイッチ２１９がオンの場合、現在の背景メモリ２２３の当該マクロブロックと同一の位置の画像信号を、当該マクロブロックの復号画像信号から、加算器２２０で減じて、その値に乗算器２２１でＷ／（Ｗ＋１）（Ｗは背景更新のパラメータで０以上の実数）を乗じた値を、当該マクロブロックの復号画像信号から、加算器２２２で減じて、その値を背景メモリ２２３に新しい背景として書き込むことによって、背景メモリ２２３の値が更新される。このようにして背景画像が作成される。
【００４３】
侵入物体合成表示部２２５は、物体認識部２２４から送られてきた認識結果と再生画像信号から、侵入物体の位置を再生画像に合成して表示する。
【００４４】
なお、物体認識部２２４、侵入物体合成表示部２２５等の具体的な処理内容は、上記した第１実施形態での図２〜図５及び式（１）、（２）の処理と同一である。
【００４５】
符号化制御部２１３では、符号化部２１７の符号化情報と出力バッファ２１６のバッファ量をもとに符号化部２１７を制御する。可変長符号化部２１４で符号化された符号化データは、物体認識部２２４からの認識結果とともに、多重化部２１５で多重化され、出力バッファ２１６で送信レートを平滑化され、符号化データとして伝送系または蓄積系に送られる。
【００４６】
なお、図６の侵入物体認識部２２６においては、局部再生信号と背景メモリの画像信号とを用いたが、入力動画像信号と背景メモリの画像信号とを用いる方法もある。この方法の場合、１フレーム分の入力動画像メモリが必要となるが、局部再生画像信号を使わないため、符号化による映像の劣化の影響を受けないという利点がある。
【００４７】
図７は、図６の符号化側に対する復号化側のブロック図である。
【００４８】
まず、動画像復号化部３１０においては、まず、伝送路または蓄積系から受信した符号化データは、入力バッファ３０１に一度蓄えられ、多重化分離部３０２により１フレーム毎にシンタクスに基づいて分離し、可変長復号化部３０３に出力する。可変長復号化部３０３では、各シンタクスの情報の可変長符号の復号をおこなう。
【００４９】
可変長復号化部３０３において、マクロブロックのモードがＩＮＴＲＡならば、モード切替スイッチ４０９をオフに選択して、可変長復号化部３０３で復号化された量子化ＤＣＴ係数情報は、逆量子化部３０４で逆量子化され、ＩＤＣＴ部３０５で逆離散コサイン変換処理をおこなうことにより、再生画像信号を生成させる。この再生画像信号は、フレームメモリ３０７に参照画像として蓄積される一方、侵入物体合成表示部３１１に入力される。
【００５０】
可変長復号化部３０３において、マクロブロックのモードがＩＮＴＥＲ及びＮＯＴ＿ＣＯＤＥＤならば、モード切替スイッチ４０９をオンに選択して、可変長復号化部３０３で復号化された量子化ＤＣＴ係数情報は、逆量子化部３０４で逆量子化され、ＩＤＣＴ部３０５で逆離散コサイン変換処理をおこない、可変長復号化部３０３で復号化された動きベクトル情報に基づいて、動き補償部３０８において参照画像を動き補償し、加算器３０６で足し合わせて、再生画像信号を生成させる。この再生画像信号は、フレームメモリ３０７に参照画像として蓄積される一方、侵入物体合成表示部３１１に入力される。一方、多重化分離部３０２で、分離された侵入物体判定結果は、侵入物体合成表示部３１１に入力される。
【００５１】
本実施の形態では、第１の実施の形態で動画像復号化器で行っていた侵入物体の認識処理を動画像符号化器と組み合わせで行い、認識結果を多重化したものであるが、侵入物体を含むと判定したマクロブロックを包含する長方形の画像自体をＩＳＯ／ＩＥＣ  ＭＰＥＧ−４のマルチオブジェクト符号化で別のオブジェクトとして符号化し、多重化して動画像復号化装置に送る方法でもよい。
【００５２】
以上、本実施の形態においては、全てマクロブロックを単位に処理を行う例を示したが、それよりの小さな単位での処理でも大きな単位での処理でも同様の方法ができることは、言うまでもない。また、動画像符号化方式として、ＤＣＴを使った方式の例で説明したが、その他の変換手法、例えばＷａｖｅｌｅｔ変換等でも同様の方法が使える。
【００５３】
本実施の形態においては、動画像符号化部の符号化情報を有効に使うことによって、再生画像信号全体を処理することなく、部分的に処理できることから、少ない計算量で画像認識処理を行なうことができ、かつ、マクロブロック内に小ブロックを設定し、マッチングにより誤差を検出することにより、精度のよい侵入物体認識結果を実現できる。
【００５４】
上記した第１及び第２実施形態によれば、動画像符号化／復号化技術を用いることで、画素単位で処理する部分を絞り込むことができるので、少ない計算量で処理することが可能であり、また、侵入物体の特徴量を検出するための小領域を設定して、入力画像と背景画像のマッチングを行なうことにより、認識精度のよい物体認識を実現することが可能となる。
【００５５】
【発明の効果】
以上、説明したように本発明によれば、高速でかつ安定して精度よく特定の物体を認識することのできる物体認識装置及び物体認識方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の動画像侵入物体認識装置の構成を示すブロック図である。
【図２】図１の侵入物体認識部の動作を示す流れ図である。
【図３】図２の非背景マクロブロック判定結果の具体的な動作を示す流れ図である。
【図４】本発明の移動物体特徴抽出部の動作を示す流れ図である。
【図５】検出結果を表示した図である。
【図６】本発明の第２の実施形態の動画像侵入物体検出装置の符号化側の構成を示すブロック図である。
【図７】本発明の第２の実施形態の動画像侵入物体検出装置の復号化側の構成を示すブロック図である。
【図８】検出結果を表示した図である。
【符号の説明】
１０１…入力バッファ
１０２…多重化分離部
１０３…可変長復号化部
１０４…逆量子化部
１０５…ＩＤＣＴ部
１０６…加算器
１０７…フレームメモリ
１０８…動き補償部
１０９…モード切替スイッチ
１１０…動画像復号化部
１１１…背景メモリ更新スイッチ
１１２…加算器
１１３…乗算器
１１４…加算器
１１５…背景メモリ
１１６…侵入物体認識部
１１７…侵入物体合成表示部
１１８…侵入物体認識部
２０１…ブロック化部
２０２…減算器
２０３…モード選択スイッチ
２０４…ＤＣＴ部
２０５…量子化部
２０６…逆量子化部
２０７…ＩＤＣＴ部
２０８…加算器
２０９…フレームメモリ
２１０…動き補償部
２１１…スイッチ
２１２…モード選択部
２１３…符号化制御部
２１４…可変長符号化部
２１５…多重化部
２１６…出力バッファ
２１７…符号化部
２１８…動画像符号化部
２１９…背景メモリ更新スイッチ
２２０…加算器
２２１…乗算器
２２２…加算器
２２３…背景メモリ
２２４…物体認識部
２２５…侵入物体合成表示部
２２６…侵入物体認識部
３０１…入力バッファ
３０２…多重化分離部
３０３…可変長復号化部
３０４…逆量子化部
３０５…ＩＤＣＴ部
３０６…加算器
３０７…フレームメモリ
３０８…動き補償部
３０９…モード切替スイッチ
３１０…動画像復号化部
３１１…侵入物体合成表示部
【図１】
0003732760.tif 000004
【図２】
0003732760.tif 000005
【図３】
0003732760.tif 000006
【図４】
0003732760.tif 000007
【図５】
0003732760.tif 000008
【図６】
0003732760.tif 000009
【図７】
0003732760.tif 000010
【図８】
0003732760.tif 000011