(57)【特許請求の範囲】
【請求項１】
フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に符号化された動画像データを復号する動画像復号化部と、復号した画像が移動物体か否かを判定して移動物体の領域を表す矩形画像を生成する移動物体検出部を有し、前記動画像復号化部により復号された画像信号と前記矩形画像を合成して表示部に表示するようにした動画像移動物体検出装置において、
前記移動物体検出部は、
前記復号されたマクロブロック毎の画像を前記符号化モードの種類に応じて静止状態か動状態かを判定し、前記第１のモードにより符号化されていた場合には、復号された画像信号と１フレーム前の画像信号との差分値に基いて静動を判定し、前記第２のモードにより符号化されていた場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基いて静動を判定し、前記第３のモードにより符号化されていた場合には、当該マクロブロックの画像は静止状態と判定するマクロブロック静動判定手段と、
前記マクロブロック静動判定手段の判定結果に基いて、周囲全てが静マクロブロックで囲まれた単一の動マクロブロックを静マクロブロックとして書き換えて雑音除去処理を行う雑音除去手段と、
前記雑音除去後のフレーム内のマクロブロックを探索し、動マクロブロックが隣接して存在する領域を包含する最小の矩形画像を生成する移動物体包含処理手段とを有して成り、
前記動画像復号化部により復号された画像信号と前記矩形画像を合成して表示部に表示することを特徴とする動画像移動物体検出装置。
【請求項２】
フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に動画像を符号化する符号化部と、この符号化部により符号化された動画像データをマクロブロック毎に局部復号する動画像復号化部と、前記符号化部で符号化した画像が移動物体か否かを判定して移動物体の領域を表す画像を生成する移動物体検出部を有し、前記動画像復号化部により復号された画像信号と前記移動物体の領域を表す画像を合成して表示部に表示するようにした動画像移動物体検出装置において、
前記移動物体検出部は、
前記符号化されたマクロブロック毎の画像を前記符号化モードの種類に応じて静止状態か動状態かを判定し、前記第１のモードにより符号化された場合には、そのマクロブロックが前記動画像復号化部により復号された画像信号と１フレーム前の画像信号との差分値の大きさに基づいて静動を判定し、前記第２のモードにより符号化された場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基づいて静動を判定し、前記第３のモードにより符号化された場合には、当該マクロブロックの画像は静止状態と判定するマクロブロック静動判定手段と、
前記マクロブロック静動判定手段の判定結果に基いて、周囲全てが静マクロブロックで囲まれた単一の動マクロブロックを静マクロブロックとして書き換えて雑音除去処理を行う雑音除去手段と、
前記雑音除去後のフレーム内のマクロブロックを探索し、動マクロブロックが隣接して存在する領域を包含する最小の矩形画像を生成する移動物体包含処理手段とを有して成り、
前記動画像復号化部により局部復号された画像信号と前記矩形画像を合成して表示部に表示することを特徴とする動画像移動物体検出装置。
【請求項３】
フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に符号化された動画像データを復号する動画像復号化ステップと、復号した画像が移動物体か否かを判定して移動物体の領域を表す矩形画像を生成する移動物体検出ステップを有し、前記動画像復号化部により復号された画像信号と前記矩形画像を合成して表示部に表示するようにした動画像移動物体検出方法において、
前記移動物体検出ステップは、
前記復号されたマクロブロック毎の画像を前記符号化モードの種類に応じて静止状態か動状態かを判定するため、復号されたマクロブロックが前記第１のモードにより符号化されていた場合には、復号された画像信号と１フレーム前の画像信号との差分値の大きさに基づいて静動を判定し、復号されたマクロブロックが前記第２のモードにより符号化されていた場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基づいて静動を判定し、復号されたマクロブロックが前記第３のモードにより符号化されていた場合には、当該マクロブロックの画像は静止状態と判定するマクロブロック静動判定ステップと、
前記マクロブロック静動判定手段の判定結果に基いて、周囲全てが静マクロブロックで囲まれた単一の動マクロブロックを静マクロブロックとして書き換え雑音除去処理を行うステップと、
前記雑音除去後のフレーム内のマクロブロックを探索し、動マクロブロックが隣接して存在する領域を包含する最小の矩形画像を生成する移動物体包含処理ステップとを有して成り、
前記動画像復号化ステップにより復号された画像信号と前記矩形画像を合成して表示部に表示することを特徴とする動画像移動物体検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、動画像移動物体検出装置及び方法に関する。
【０００２】
【従来の技術】
移動物体検出をするためには、一般に画素毎の動きを調べること必要がある。
しかし、画素毎に動きを調べる処理は、実は、多くの計算量を必要とするという問題がある。例えば、ITU-T H。２６１、H。２６３、ISO/IEC MPEG-４等でよく用いられるCIFフォーマットの場合、横３５２画素、縦２８８画素で合計１０１３７６画素もの画素について、動きを検出することになる。このような計算量の多い処理に対しては、専用のハードウェアを用意する必要があったりして、コスト面でも大きな問題があった。
【０００３】
そこで、特開平９-２５２４６７号公報「移動物体検出装置」では、動画像符号化装置で作られた動きベクトルから、移動物体を検出する手法が考案されている。この方法によれば、動画像符号化装置で作成されるブロック毎の動きベクトルを用いるので、移動物体検出のために特別に画素の動きを調べる必要がなく、大幅に計算量を減らすことができる。
【０００４】
しかし、従来の符号化データを用いた移動物体検出技術の問題点としては、動きベクトルが大きいブロックや書き換わっているブロックが必ずしも移動物体とは限らず、また、移動物体の内部のブロックでも、書き換わっていないブロックが存在したりして、監視などに用いることを考えた場合、必ずしも必要な映像が得ることができなかった。
【０００５】
【発明が解決しようとする課題】
上述したように、従来技術によると移動物体を検出するためには、多くの計算量を必要とするという問題点があり、動画像符号化データを用いた方法では精度に問題があった。
【０００６】
本発明は、高速でかつ安定して精度よく移動物体を検出することのできる動画像移動物体検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の動画像移動物体検出装置は、フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に符号化された動画像データを復号する動画像復号化部と、復号した画像が移動物体か否かを判定して移動物体の領域を表す矩形画像を生成する移動物体検出部を有し、前記動画像復号化部により復号された画像信号と前記矩形画像を合成して表示部に表示するようにした動画像移動物体検出装置において、
前記移動物体検出部は、前記復号されたマクロブロック毎の画像を少なくとも前記第１，第２，第３の符号化モードの種類を表すモード情報を用いて、それぞれのモード毎に静止状態か動状態かを判定するマクロブロック静動判定手段と、前記マクロブロック静動判定手段の判定結果に基いて、周囲全てが静マクロブロックで囲まれた単一の動マクロブロックを静マクロブロックとして書き換えて雑音除去処理を行い、雑音除去後のフレーム内のマクロブロックを探索して、動マクロブロックが隣接して存在する領域を包含する最小の矩形画像を生成する移動物体判定部とを有して成り、前記動画像復号化部により復号された画像信号と前記矩形画像を合成して表示部に表示することを特徴とする。
【０００８】
また、本発明の動画像移動物体検出装置は、フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に動画像を符号化する符号化部と、この符号化部により符号化された動画像データをマクロブロック毎に局部復号する動画像復号化部と、前記符号化部で符号化した画像が移動物体か否かを判定して移動物体の領域を表す矩形画像を生成する移動物体検出部を有し、前記動画像復号化部により復号された画像信号と前記矩形画像を合成して表示部に表示するようにした動画像移動物体検出装置において、
前記移動物体検出部は、前記符号化されたマクロブロック毎の画像を少なくとも前記第１，第２，第３の符号化モードの種類を表すモード情報を用いて、それぞれのモード毎に静止状態か動状態かを判定するマクロブロック静動判定手段と、
前記マクロブロック静動判定手段の判定結果に基いて、周囲全てが静マクロブロックで囲まれた単一の動マクロブロックを静マクロブロックとして書き換えて雑音除去処理を行い、雑音除去後のフレーム内のマクロブロックを探索して、動マクロブロックが隣接して存在する領域を包含する最小の矩形画像を生成する移動物体判定部とを有して成り、前記動画像復号化部により復号された画像信号と前記矩形画像を合成して表示部に表示することを特徴とする。
【０００９】
また、本発明の動画像移動物体検出装置は、フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に符号化された動画像データを復号する動画像復号化部と、復号した画像が移動物体か否かを判定して移動物体の領域を表す矩形画像を生成する移動物体検出部を有し、前記動画像復号化部により復号された画像信号と前記矩形画像を合成して表示部に表示するようにした動画像移動物体検出装置において、
前記移動物体検出部は、前記復号されたマクロブロック毎の画像を前記符号化モードの種類に応じて静止状態か動状態かを判定し、前記第１のモードにより符号化されていた場合には、復号された画像信号と１フレーム前の画像信号との差分値に基いて静動を判定し、前記第２のモードにより符号化されていた場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基いて静動を判定し、前記第３のモードにより符号化されていた場合には、当該マクロブロックの画像は静止状態と判定するマクロブロック静動判定手段と、前記マクロブロック静動判定手段の判定結果に基いて、周囲全てが静マクロブロックで囲まれた単一の動マクロブロックを静マクロブロックとして書き換えて雑音除去処理を行う雑音除去手段と、前記雑音除去後のフレーム内のマクロブロックを探索し、動マクロブロックが隣接して存在する領域を包含する最小の矩形画像を生成する移動物体包含処理手段とを有して成り、前記動画像復号化部により復号された画像信号と前記矩形画像を合成して表示部に表示することを特徴とする。
【００１０】
また、本発明の動画像移動物体検出装置は、フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に動画像を符号化する符号化部と、この符号化部により符号化された動画像データをマクロブロック毎に局部復号する動画像復号化部と、前記符号化部で符号化した画像が移動物体か否かを判定して移動物体の領域を表す画像を生成する移動物体検出部を有し、前記動画像復号化部により復号された画像信号と前記移動物体の領域を表す画像を合成して表示部に表示するようにした動画像移動物体検出装置において、
前記移動物体検出部は、前記符号化されたマクロブロック毎の画像を前記符号化モードの種類に応じて静止状態か動状態かを判定し、前記第１のモードにより符号化された場合には、そのマクロブロックが前記動画像復号化部により復号された画像信号と１フレーム前の画像信号との差分値の大きさに基づいて静動を判定し、前記第２のモードにより符号化された場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基づいて静動を判定し、前記第３のモードにより符号化された場合には、当該マクロブロックの画像は静止状態と判定するマクロブロック静動判定手段と、前記マクロブロック静動判定手段の判定結果に基いて、周囲全てが静マクロブロックで囲まれた単一の動マクロブロックを静マクロブロックとして書き換えて雑音除去処理を行う雑音除去手段と、前記雑音除去後のフレーム内のマクロブロックを探索し、動マクロブロックが隣接して存在する領域を包含する最小の矩形画像を生成する移動物体包含処理手段とを有して成り、前記動画像復号化部により局部復号された画像信号と前記矩形画像を合成して表示部に表示することを特徴とする。
【００１１】
さらに、本発明の動画像移動物体検出方法は、フレーム内符号化を行う第１のモード、フレーム間符号化を行う第２のモードおよび符号化不要として符号化する第３のモードのいずれかのモードによりマクロブロック毎に符号化された動画像データを復号する動画像復号化ステップと、復号した画像が移動物体か否かを判定して移動物体の領域を表す矩形画像を生成する移動物体検出ステップを有し、前記動画像復号化部により復号された画像信号と前記矩形画像を合成して表示部に表示するようにした動画像移動物体検出方法において、
前記移動物体検出ステップは、前記復号されたマクロブロック毎の画像を前記符号化モードの種類に応じて静止状態か動状態かを判定するため、復号されたマクロブロックが前記第１のモードにより符号化されていた場合には、復号された画像信号と１フレーム前の画像信号との差分値の大きさに基づいて静動を判定し、復号されたマクロブロックが前記第２のモードにより符号化されていた場合には、当該マクロブロックの動きベクトル及び変換係数の大きさに基づいて静動を判定し、復号されたマクロブロックが前記第３のモードにより符号化されていた場合には、当該マクロブロックの画像は静止状態と判定するマクロブロック静動判定ステップと、前記マクロブロック静動判定手段の判定結果に基いて、周囲全てが静マクロブロックで囲まれた単一の動マクロブロックを静マクロブロックとして書き換え雑音除去処理を行うステップと、前記雑音除去後のフレーム内のマクロブロックを探索し、動マクロブロックが隣接して存在する領域を包含する最小の矩形画像を生成する移動物体包含処理ステップとを有して成り、前記動画像復号化ステップにより復号された画像信号と前記矩形画像を合成して表示部に表示することを特徴とする。
【００１２】
このように本発明では、動画像復号化部と移動物体検出部を組み合わせることにより、復号化と同時に、マクロブロック毎の静動判定結果から移動物体を検出する範囲を大幅に絞り込むことができるため、高速に移動物体の検出が可能となる。
【００１５】
また本発明では、動画像符号化部と移動物体検出部を組み合わせることにより、符号化と同時に、マクロブロック毎の静動判定結果から、移動物体を検出する範囲を大幅に絞り込むことができるため、高速に移動物体検出が可能となる。
【００１６】
また、マクロブロック毎の静動判定結果に基いて移動物体を判定する手段は、ブロック内の画像が動状態のブロックを包含する矩形画像（例えば長方形状の画像）を生成して移動物体を判定することができる。
【００１７】
このような処理により、検出誤差の影響を抑えることができ、検出結果をより明確に表示することができる。
【００１８】
【発明の実施の形態】
（第１の実施の形態）
以下、図面を参照して本発明の第１の実施形態を説明する。図１は、本発明の実施形態の動画像移動物体検出装置の構成を示すブロック図である。
【００１９】
図１は、本発明の実施形態の動画像移動物体検出装置の構成を示すブロック図である。図１の動画像移動物体検出装置は、動画像復号化部１１０と移動物体検出部１１５の２つの部分から成り立っている。
【００２０】
動画像復号化部１１０においては、まず、伝送路または蓄積系から受信した符号化データは、入力バッファ１０１に一度蓄えられ、多重化分離部１０２により１フレーム毎にシンタクスに基づいて分離し、可変長復号化部１０３に出力する。可変長復号化部１０３では、各シンタクスの情報の可変長符号の復号をおこなう。
【００２１】
可変長復号化部１０３において、マクロブロックのモードがINTRAならば、モード切替スイッチ１０９をオフに選択して、可変長復号化部１０３で復号化された量子化DCT係数情報は、逆量子化部１０４で逆量子化され、IDCT部１０５で逆離散コサイン変換処理をおこなうことにより、再生画像信号を生成させる。この再生画像信号は、フレームメモリ１０７に参照画像として蓄積される一方、移動物体検出部１１５内の移動物体合成表示部１１４に入力される。
【００２２】
可変長復号化部１０３において、マクロブロックのモードがINTER及びNOT_CODEDならば、モード切替スイッチ１０９をオンに選択して、可変長復号化部１０３で復号化された量子化DCT係数情報は、逆量子化部１０４で逆量子化され、IDCT部１０５で逆離散コサイン変換処理をおこない、可変長復号化部１０３で復号化された動きベクトル情報に基づいて、動き補償部１０８において参照画像を動き補償し、加算器１０６で足しあわせて、再生画像信号を生成させる。この再生画像信号は、フレームメモリ１０７に参照画像として蓄積される一方、移動物体検出部１１５内の移動物体合成表示部１１４に入力される。
【００２３】
一方、移動物体検出部１１５においては、図２の流れ図のように、１フレーム毎にマクロブロック静動判定（S１０１）、移動物体判定（S１０２）、移動物体合成表示（S１０３）の３つの処理をそれぞれ、マクロブロック静動判定部１１１、移動物体判定部１１２、移動物体合成表示部１１４で行う。
【００２４】
マクロブロック静動判定部１１１では、可変長復号部１０３において復号されたモード情報、動きベクトル情報、DCT係数情報と、減算器１１２で求めたINTRAマクロブロックの時の再生画像信号と１フレーム前のフレームメモリとの差分絶対値和（SAD）から、フレーム内のマクロブロック毎の静動判定を行う。
【００２５】
図３は、マクロブロック静動判定（S１０１）の具体的な流れ図である。ここで、ｉとｊは、フレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、V_NMBとH_NMBはフレーム内の垂直方向と水平方向のマクロブロック数を表している。２次元配列M[ｉ][ｊ]は、各マクロブロックが動マクロブロックか否かの情報を蓄える配列で、TRUEならば動マクロブロック、FALSEならば静止マクロブロックを表す。
【００２６】
まず、マクロブロック毎に可変長復号化部１０３からのモード情報MODEの判定を行う。（S２０３）
もし、MODEがINTRAならば、そのマクロブロックの再生画像信号と１フレーム前のフレームメモリとの差分絶対値和（SAD）を計算し、閾値T０と比較を行う。（S２０４）もし、閾値T０よりも大きい場合、そのマクロブロックは動マクロブロックと判定し、 M[ｉ][ｊ]にTRUEが代入される。（S２０６）閾値T０以下の場合、そのマクロブロックは静止マクロブロックと判定し、 M[ｉ][ｊ]にFALSEが代入される。（S２０７）
もし、MODEがINTERならば、可変長復号化部１０３からの動きベクトル情報及びDCT係数情報から、そのマクロブロックの動きベクトルの絶対値和Σ｜MV|及び、DCT係数の絶対値和Σ|COF|を計算し、それぞれの閾値T１、T２と比較を行う。（S２０５）もし、動きベクトルの絶対値和と、DCT係数の絶対値和が閾値よりも小さければ、そのマクロブロックは静止マクロブロックと判定し、 M[ｉ][ｊ]にFALSEが代入される。（S２０７）そうでない場合には、そのマクロブロックは動マクロブロックと判定し、 M[ｉ][ｊ]にTRUEが代入される。（S２０６）
もし、NOT_CODEDならは、そのマクロブロックは静止マクロブロックと判定し、 M[ｉ][ｊ]にFALSEが代入される。（S２０７）
移動物体判定部１１３では、マクロブロック静動判定部１１２のマクロブロック毎の静動判定情報から、移動物体の判定を行う。図４は、その具体的な流れ図である。図４で示すように処理内容は、雑音除去処理（S３０１）と移動物体包含処理（S３０２）の２つから成り立っている。雑音除去処理（S３０１）では、背景画像の小物体の揺らぎや画像取り込み時の雑音によって動マクロブロックと誤検出されてしまう防止するために、周囲８マクロブロックが全て静止している動マクロブロックを取り除いている。移動物体包含処理（S３０２）は、雑音を取り除いた後の静動判定結果から、隣接して動マクロブロックが存在する領域を包含する最小の長方形の検出する処理を行う。この処理で、移動物体を包含する長方形を見つけることができる。
【００２７】
図５は、雑音除去処理の具体的な処理内容である。図３と同様に、ｉとｊは、フレーム内の垂直方向と水平方向のマクロブロックのアドレスをそれぞれ表し、V_NMBとH_NMBはフレーム内の垂直方向と水平方向のマクロブロック数を表している。２次元配列M[ｉ][ｊ]は、各マクロブロックが動マクロブロックか否かの情報を蓄える配列で、TRUEならば動マクロブロック、FALSEならば静止マクロブロックを表す。
【００２８】
まず、マクロブロック毎の静動判定結果をみる。（S４０３）もし、２次元配列M[ｉ][ｊ]の値がFALSE、つまり、静止マクロブロックならば、そのマクロブロックでは何も行わず、次のマクロブロックにいく。もし、２次元配列M[ｉ][ｊ]の値がTURE、つまり、動マクロブロックならば、そのマクロブロックの周囲８マクロブロックの静動判定結果をチェックし（S４０５）、全て、FALSEつまり静止マクロブロックならば、そのマクロブロックは、雑音であると判定し、静止マクロブロックに書き換える。（S４０６）もし、周囲８マクロブロックのうち一つでもTUREがあれば、雑音とは判定せず、次のマクロブロックに移る。なお、画面の外側については、静止マクロブロックとして仮定している。
【００２９】
図６から図８は、移動物体包含処理の具体的な処理内容である。ここで、ｎは、移動物体の数を示すカウンタであり、S１~S４は、移動物体を包含する長方形を探索する範囲を示すパラメータで、S１、S２は、垂直方向のアドレスの始点と終点であり、S３、S４は、水平方向のアドレスの始点と終点である。
【００３０】
図６の流れ図は、探索範囲としてフレーム全体を指定するように、初期化を行う。（S５０１）次に指定された探索範囲で移動物体を包含する最小の長方形を探索する関数Rectangularを呼び出す。（S５０２）
図７、図８の流れ図は、関数Rectangularの処理の内容を示している。関数Rectangularは、探索範囲であるS１〜S４と移動物体の数を示すｎと各マクロブロックの静動判定結果の格納された２次元配列Mを入力とし、探索結果の長方形のアドレスを格納した１次元配列B１〜B４と移動物体の数を示すｎとを出力とする。
【００３１】
ここで、１次元配列HVは、垂直方向の動マクロブロックの数のヒストグラムを作成するための作業配列であり、１次元配列HHは、水平方向の動マクロブロックの数のヒストグラムを作成するための作業配列である。また、変数VFLAGは、水平方向のヒストグラムの値が０でない状態の時にTRUEとなり、値が０の時にFALSEとなるように変更されるフラグであり、変数HFLAGは、垂直方向のヒストグラムの値が０でない状態の時にTRUEとなり、値が０の時にFALSEとなるように変更されるフラグである。
【００３２】
まず、垂直方向の動マクロブロックの数のヒストグラムを作成するための作業配列HVの探索範囲であるS１〜S２の範囲を値０で初期化する。（S６０１）次のLOOP１とLOOP２の２重ループでは、探索範囲での垂直方向の動マクロブロックの数のヒストグラムを作成している。つまり、マクロブロック毎の静動判定結果M[ｉ][ｊ]の値を比較し（S６０４）、値がTURE、つまり、動マクロブロックならば、HV[ｉ]をプラス１し（S６０５）、FALSEの場合は、何もしないという動作をとっている。
【００３３】
次に、その垂直方向のヒストグラムの中から、０でない連続した部分を探索する。まず、フラグVFLAGをFALSEにセットする。（S６０８）次に、探索範囲S１からS２の順序で、ヒストグラムHVが０でなく、VFLAGがFALSEであるかをチェックする。（S６１０）この条件に当てはまるのは、ヒストグラムが０でない連続した部分の始点の部分である。従って、探索している長方形の垂直方向の始点の候補となるので、１次元配列B１[n]にアドレスｉを格納し、VFLAGをTUREにセットする。（S６１１）
次に、ヒストグラムHVが０あるいは、探索範囲の終点で、VFLAGがTUREであるかをチェックする。（S６１２）この条件に当てはまるのは、ヒストグラムが０でない連続した部分の終点の部分である。従って、探索している長方形の垂直方向の終点の候補となるので、もし、ヒストグラムHVが０の場合は、１次元配列B２[n]にアドレスｉ-１を格納し（S６１４）、そうでない場合は、１次元配列B２[n]にアドレスｉを格納する。（S６１５）そして、VFLAGを再びFALSEにセットする。（S６１１）
図８は、図７の流れ図の続きである。今度は、水平方向の動マクロブロックの数のヒストグラムを作成するための作業配列HVの探索範囲であるS３〜S４の範囲を値０で初期化する。（S６１７）次のLOOP４とLOOP５の２重ループでは、探索範囲での水平方向の動マクロブロックの数のヒストグラムを作成している。つまり、マクロブロック毎の静動判定結果M[ｉ][ｊ]の値を比較し（S６０４）、値がTURE、つまり、動マクロブロックならば、HH[ｉ]をプラス１し（S６０５）、FALSEの場合は、何もしないという動作をとっている。
【００３４】
次に、その水平方向のヒストグラムの中から、０でない連続した部分を探索する。まず、フラグHFLAGをFALSEにセットする。（S６２４）次に、探索範囲S３からS４の順序で、ヒストグラムHHが０でなく、HFLAGがFALSEであるかをチェックする。（S６２６）この条件に当てはまるのは、ヒストグラムが０でない連続した部分の始点の部分である。従って、探索している長方形の水平方向の始点の候補となるので、１次元配列B３[n]にアドレスｊを格納し、HFLAGをTUREにセットする。（S６２７）
次に、ヒストグラムHHが０あるいは、探索範囲の終点で、HFLAGがTUREであるかをチェックする。（S６２８）この条件に当てはまるのは、ヒストグラムが０でない連続した部分の終点の部分である。従って、探索している長方形の水平方向の終点の候補となるので、もし、ヒストグラムHHが０の場合は、１次元配列B４[n]にアドレスｊ-１を格納し（S６３０）、そうでない場合は、１次元配列B４[n]にアドレスｊを格納する。（S６３１）そして、HFLAGを再びFALSEにセットする。（S６３２）
ここで、１通りの垂直方向と水平方向のヒストグラムによる探索が終了したが、探索した結果B１[ｎ]〜B４[ｎ]が探索範囲S１〜S４と一致するかをチェックして（S６３３）、一致する場合は、もうこれ以上探索する範囲がないので、最小の長方形が求まっていると判定できる。（S６３４）そして、移動物体の数を表すｎをプラス１して（S６３５）、次の移動物体の探索に移る。探索した結果B１[ｎ]〜B４[ｎ]が探索範囲S１〜S４と一致しない場合、探索した結果の範囲にまだ複数の移動物体が存在するので、探索した結果B１[ｎ]〜B４[ｎ]をS１〜S４に移し替えて（S６３７）、再び、関数Rectangularを呼び出す。（S６３７）
図９は、移動物体判定部１１３の判定結果の例である。ここでは、２つの移動物体を判定した。それぞれの判定結果は、図に示すようにこの例では、マクロブックのアドレスの原点は、フレームの左上であり、B１[０]〜B４[０]とB１[１]〜B４[１]のような配置で移動物体を判定している。
【００３５】
移動物体合成表示部１１４では、移動物体判定部１１３で判定した移動物体の領域と再生動画像信号を合成した画像を作成する。図１０は、その具体的な流れ図である。ここで、ｎは、移動物体判定部１１３で求めたフレーム内の移動物体数を示している。処理の流れとしては、移動物体毎に、B１[i]〜 B４[i]が移動物体の４角のマクロブロックを表しているので、それを囲むような長方形の白い線を描き、再生画像と合成する。（S６０２）
図１１は、移動物体合成表示部によって作成された画像の例である。
（第２の実施の形態）
図１２と図１３は、本発明の第２の実施形態の動画像移動物体検出装置の構成を示すブロック図である。この実施の形態において、移動物体検出部は、動画像符号化部と組み合わされている。
【００３６】
図１２において、入力動画像信号は、ブロック化回路２０１でマクロブロックに分割される。マクロブロックに分割された入力動画像信号は、減算器２０２に入力され、予測画像信号との差分がとられて、予測残差信号が生成される。この予測残差信号と、ブロック化回路２０１からの入力動画像信号のいずれか一方を、モード選択スイッチ２０３によって選択し、DCT（離散コサイン変換）回路２０４により離散コサイン変換される。DCT回路２０４で得られDCT係数データは、量子化回路２０５で量子化される。量子化器２０５で量子化された信号は２分岐され、一方は可変長符号化回路２１５で可変長符号化される。
【００３７】
一方、量子化回路２０５で量子化され２分岐された信号の他方は、逆量子化回路２０６及びIDCT（逆離散コサイン変換）回路２０７により量子化回路２０５およびDCT回路２０４の処理と逆の処理を順次受けた後、加算器２０８でスイッチ２１１を介して入力される予測画像信号と加算されることにより、局部復号信号が生成される。この局部復号信号は、フレームメモリ２０９に蓄えられ、動き補償回路２１０に入力される。動き補償回路２１０では、予測画像信号が生成されるとともに、モード選択回路２０３に必要な情報を送る。
【００３８】
モード選択回路２１２では、マクロブロック単位に動き補償回路２１０からの予測情報Pに基づいて、フレーム間符号化をおこなうマクロブロックとフレーム内符号化をおこなうマクロブロックを選択する。フレーム内符号化（イントラ符号化）をおこなう場合は、モード選択スイッチ情報MをAとし、スイッチ情報SをAとする。フレーム間符号化（インター符号化）をおこなう場合は、モード選択スイッチ情報MをBとし、スイッチ情報SをBとする。モード選択スイッチ２０３ではモード選択スイッチ情報Pに基づき、スイッチを変更し、また、スイッチ２１６ではスイッチ情報Sに基づき、スイッチを変更する。
【００３９】
ここで、モードとして、イントラモード（INTRA）、インターモード（INTER）、非符号化モード（NOT_CODED）があり、各マクロブロック毎に対応づけられ、INTRAのマクロブロックはフレーム内符号化される画像領域、INTERのマクロブロックはフレーム間符号化される画像領域、NOT_CODEDのマクロブロックは、符号化不要の画像領域である。
【００４０】
一方、移動物体検出部２２２においては、まず、可変長符号化部２１４に入力されたモード情報、動きベクトル情報、DCT係数情報をマクロブロック静動判定部に入力し、その判定結果を移動物体判定部２２０に入力する。移動物体判定部２２０で、判定された結果は、移動物体合成表示部に入力されるとともに、動画像符号化部２１８の多重化部２１５に入力される。移動物体合成部２２１では、動画像符号化部によって作成された局部復号信号と移動物体を合成した画像を作成し、局部再生信号として出力する。なお、マクロブロック静動判定部２１９、移動物体判定部２２０、移動物体合成表示部２２１の具体的な処理内容は、第１の実施の形態のでの図２〜図１１の処理と同一である。
【００４１】
符号化制御回路２１４では、符号化部２１８の符号化情報と出力バッファ２１６のバッファ量をもとに符号化部２１７を制御する。可変長符号化回路２１４で符号化された符号化データは、移動物体判定部２２０からの移動物体判定結果とともに、多重化回路２１６で多重化され、出力バッファ２１７で送信レートを平滑化され、符号化データとして伝送系または蓄積系に送られる。
【００４２】
図１３は、図１２の符号化側に対する復号化側のブロック図である。
【００４３】
まず、動画像復号化部３１０においては、まず、伝送路または蓄積系から受信した符号化データは、入力バッファ３０１に一度蓄えられ、多重化分離部３０２により１フレーム毎にシンタクスに基づいて分離し、可変長復号化部３０３に出力する。可変長復号化部３０３では、各シンタクスの情報の可変長符号の復号をおこなう。
【００４４】
可変長復号化部３０３において、マクロブロックのモードがINTRAならば、モード切替スイッチ３０９をオフに選択して、可変長復号化部３０３で復号化された量子化DCT係数情報は、逆量子化部３０４で逆量子化され、IDCT部３０５で逆離散コサイン変換処理をおこなうことにより、再生画像信号を生成させる。この再生画像信号は、フレームメモリ３０７に参照画像として蓄積される一方、移動物体検出部１１５内の移動物体合成表示部３１１に入力される。
【００４５】
可変長復号化部３０３において、マクロブロックのモードがINTER及びNOT_CODEDならば、モード切替スイッチ３０９をオンに選択して、可変長復号化部３０３で復号化された量子化DCT係数情報は、逆量子化部３０４で逆量子化され、IDCT部３０５で逆離散コサイン変換処理をおこない、可変長復号化部３０３で復号化された動きベクトル情報に基づいて、動き補償部３０８において参照画像を動き補償し、加算器３０６で足しあわせて、再生画像信号を生成させる。この再生画像信号は、フレームメモリ３０７に参照画像として蓄積される一方、移動物体合成表示部３１１に入力される。
【００４６】
一方、多重化分離部で、分離された移動物体判定結果は、移動物体合成表示部３１１に入力され、図１０の流れ図に従って動作する。
【００４７】
【発明の効果】
以上、説明したように本発明のよれば、高速でかつ安定して精度よく移動物体を検出することのできる動画像移動物体検出装置及び方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の動画像移動物体検出装置の構成を示すブロック図である。
【図２】本発明の移動物体検出部の動作を示す流れ図である。
【図３】本発明のマクロブロック静動判定部の動作を示す流れ図である。
【図４】本発明の移動物体判定部の動作を示す流れ図である。
【図５】本発明の移動物体判定部の雑音処理の動作を示す流れ図である。
【図６】本発明の移動物体判定部の移動物体包含処理の動作を示す流れ図（その１）である。
【図７】本発明の移動物体判定部の移動物体包含処理の動作を示す流れ図（その２）である。
【図８】本発明の移動物体判定部の移動物体包含処理の動作を示す流れ図（その３）である。
【図９】本発明の移動物体判定部の判定結果の例を示す図である。
【図１０】本発明の移動物体合成表示部の動作を示す流れ図である。
【図１１】本発明の移動物体判定部の表示結果の例を示す図である。
【図１２】本発明の第２の実施形態の動画像移動物体検出装置の符号化側の構成を示すブロック図である。
【図１３】本発明の第２の実施形態の動画像移動物体検出装置の復号化側の構成を示すブロック図である。
【符号の説明】
１０１…入力バッファ
１０２…多重化分離部
１０３…可変長復号化部
１０４…逆量子化部
１０５…IDCT部
１０６…加算器
１０７…フレームメモリ
１０８…動き補償部
１０９…モード切替スイッチ
１１０…動画像復号化部
１１１…マクロブロック静動判定部
１１２…減算器
１１３…移動物体判定部
１１４…移動物体合成表示部
１１５…移動物体検出部
２０１…ブロック化回路
２０２…減算器
２０３…モード選択スイッチ
２０４…DCT回路
２０５…量子化回路
２０６…逆量子化回路
２０７…IDCT回路
２０８…加算器
２０９…フレームメモリ
２１０…動き補償回路
２１１…スイッチ
２１２…モード選択回路
２１３…符号化制御回路
２１４…可変長符号化回路
２１５…多重化回路
２１６…出力バッファ
２１７…符号化部
２１８…動画像符号化部
２１９…マクロブロック静動判定部
２２０…移動物体判定部
２２１…移動物体合成表示部
２２２…移動物体検出部
３０１…入力バッファ
３０２…多重化分離部
３０３…可変長復号化部
３０４…逆量子化部
３０５…IDCT部
３０６…加算器
３０７…フレームメモリ
３０８…動き補償部
３０９…モード切替スイッチ
３１０…動画像復号化部
３１１…移動物体合成表示部
【図１】
0003873000.tif 000002
【図２】
0003873000.tif 000003
【図３】
0003873000.tif 000004
【図４】
0003873000.tif 000005
【図５】
0003873000.tif 000006
【図６】
0003873000.tif 000007
【図７】
0003873000.tif 000008
【図８】
0003873000.tif 000009
【図９】
0003873000.tif 000010
【図１０】
0003873000.tif 000011
【図１１】
0003873000.tif 000012
【図１２】
0003873000.tif 000013
【図１３】
0003873000.tif 000014