(57)【特許請求の範囲】
【請求項１】
動画像を構成する連続した静止画像を入力し、各静止画像において、オブジェクト画像と背景画像の夫々を符号化し、外部に伝送する画像処理装置であって、
前記背景画像を格納する格納手段と、
１フレーム分の静止画像からブロックｘを抽出すると共に、前記格納手段に格納されている背景画像から前記ブロックｘに対応する対応ブロックｘを抽出し、前記ブロックｘと前記対応ブロックｘとの差分を示す差分ブロックｘを生成する処理を、ｘ＝１，２，…，Ｎ（Ｎ＞１）について行う差分画像生成手段と、
予め設定されたフレーム数に渡って前記差分画像生成手段が各フレームについて生成した差分ブロックｘの平均ブロックｘを求める処理を、ｘ＝０，１，…，Ｎについて行う平均手段と、
前記平均ブロックｘに対して周波数変換を施して係数ブロックｘを生成する処理を、ｘ＝０，１，…，Ｎについて行う周波数変換手段と、
前記係数ブロックｘと、比較対象のブロックと、の絶対差分和が予め設定された閾値よりも大きいか否かを判定する処理を、ｘ＝０，１，…，Ｎについて行う判定手段と、
前記判定手段がｘ＝０，１，…，Ｎについて判定した結果、大きいと判定した回数が予め設定された閾値よりも大きい場合には、新たな背景画像として、前記予め設定されたフレーム数分の静止画像のうち何れか１つを符号化し、外部に出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記出力手段は、出力した静止画像を前記格納手段に新たな背景画像として格納することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段がｘ＝０，１，…，Ｎについて判定した結果、大きいと判定した回数が予め設定された閾値以下である場合、前記出力手段は、出力する背景画像がない旨を示す信号を出力することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
動画像を構成する連続した静止画像を入力し、各静止画像において、オブジェクト画像と背景画像の夫々を符号化し、外部に伝送する画像処理装置が行う画像処理方法であって、
１フレーム分の静止画像からブロックｘを抽出すると共に、メモリに格納されている背景画像から前記ブロックｘに対応する対応ブロックｘを抽出し、前記ブロックｘと前記対応ブロックｘとの差分を示す差分ブロックｘを生成する処理を、ｘ＝１，２，…，Ｎ（Ｎ＞１）について行う差分画像生成工程と、
予め設定されたフレーム数に渡って前記差分画像生成工程で各フレームについて生成した差分ブロックｘの平均ブロックｘを求める処理を、ｘ＝０，１，…，Ｎについて行う平均工程と、
前記平均ブロックｘに対して周波数変換を施して係数ブロックｘを生成する処理を、ｘ＝０，１，…，Ｎについて行う周波数変換工程と、
前記係数ブロックｘと、比較対象のブロックと、の絶対差分和が予め設定された閾値よりも大きいか否かを判定する処理を、ｘ＝０，１，…，Ｎについて行う判定工程と、
前記判定工程でｘ＝０，１，…，Ｎについて判定した結果、大きいと判定した回数が予め設定された閾値よりも大きい場合には、新たな背景画像として、前記予め設定されたフレーム数分の静止画像のうち何れか１つを符号化し、外部に出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項５】
コンピュータに読み込ませることで、当該コンピュータを請求項１乃至３のいずれか１項に記載の画像処理装置として機能させる為のコンピュータプログラム。
【請求項６】
コンピュータに請求項４に記載の画像処理方法を実行させる為のコンピュータプログラム。
【請求項７】
請求項５または６に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を構成する連続した静止画像において、オブジェクトのみが含まれるオブジェクト画像と、オブジェクトを含む背景画像の夫々を符号化し、外部に伝送する画像処理装置、画像処理方法、プログラム、記憶媒体に関するものである。
【０００２】
【従来の技術】
従来、画像の符号化方式としてフレーム内符号化方式であるMotion JPEGやDigital Video等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１，Ｈ．２６３，ＭＰＥＧ−１，ＭＰＥＧ−２等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（International Organization for Standardization：国際標準化機構）やＩＴＵ（International Telecommunication Union：国際電気通信連合）によって国際標準化されている。フレーム内符号化方式はフレーム単位で独立に符号化を行うもので、フレームの管理がしやすいため、動画像の編集や特殊再生が必要な装置に最適である。また、フレーム間予測符号化方式は、フレーム間での画像データの差分に基づくフレーム間予測を用いるため、符号化効率が高いという特徴を持っている。
【０００３】
さらにコンピュータ・放送・通信など多くの領域で利用できる、汎用的な次世代マルチメディア符号化規格としてMPEG-４の国際標準化作業が進められている。MPEG-4の大きな特徴として、オブジェクト・ベース符号化を行う機能がある。
【０００４】
オブジェクト・ベース符号化とは、ＭＰＥＧ（Moving Picture ExpertGroup）-１やＭＰＥＧ-２で採用されているような長方形の画像全体を符号化する方法ではなく、予め何等かの方法で生成された形状情報の画像によって、画像の中の切り出された人物やその他の物体、つまり画像のオブジェクト毎に符号化を行う方法である。以降ではこの形状情報画像と区別するため、一般的に処理対象とする画像を自然画像と称する。
【０００５】
形状情報画像とは、符号化対象となっている自然画像と全く同じ縦横の画素数を持ち、オブジェクトの形状を表す画像である。形状情報画像には各画素が１bitで表されるバイナリ・アルファ・プレーンと、各画素が２bit以上で表されるグレイスケール・アルファ・プレーンがある。バイナリ・アルファ・プレーンは通常、画素の値が“１”の領域はオブジェクト領域、“０”の領域はオブジェクト外の領域を表す。
【０００６】
尚、その他のMPEG-4の詳細内容については、ISO／IECによる国際標準の文書に委ねることとする。
【０００７】
【発明が解決しようとする課題】
図６を用いてオブジェクト・ベース符号化方法について説明する。図６(a)は自然画像、(b)は(a)に対応した形状情報画像である。
【０００８】
形状情報画像はオブジェクトの内外を示す画素群で構成される画像で、オブジェクトの内部を示す画素群（同図（ｂ）において白の部分）の画素値は１以上で、オブジェクトの外部を示す画素群（同図（ｂ）において斜線部分）の画素値は０である。よって、この形状情報画像を参照することで、自然画像におけるオブジェクトを構成する画素群を特定することができる。
【０００９】
これにより自然画像においてオブジェクトの内部（オブジェクト画像）と外部（背景画像）に分けて符号化し、外部に伝送することができるが、背景画像はオブジェクト画像に比べてその面積は大きい。これは構成する画素数がオブジェクト画像よりも背景画像のほうが多いことを示している。これにより背景画像の扱いによっては自然画像を外部に伝送する場合、その効率に大きな影響を与えることになる。
【００１０】
本発明は以上の問題に鑑みてなされたものであり、背景画像を含む画像全体の符号化効率、そして背景画像の伝送効率を向上させることを目的とする。
【００１１】
【課題を解決するための手段】
本発明の問題を解決するために、たとえば本発明の画像処理装置は以下の構成を備える。
【００１２】
すなわち、動画像を構成する連続した静止画像を入力し、各静止画像において、オブジェクト画像と背景画像の夫々を符号化し、外部に伝送する画像処理装置であって、
前記背景画像を格納する格納手段と、
１フレーム分の静止画像からブロックｘを抽出すると共に、前記格納手段に格納されている背景画像から前記ブロックｘに対応する対応ブロックｘを抽出し、前記ブロックｘと前記対応ブロックｘとの差分を示す差分ブロックｘを生成する処理を、ｘ＝１，２，…，Ｎ（Ｎ＞１）について行う差分画像生成手段と、
予め設定されたフレーム数に渡って前記差分画像生成手段が各フレームについて生成した差分ブロックｘの平均ブロックｘを求める処理を、ｘ＝０，１，…，Ｎについて行う平均手段と、
前記平均ブロックｘに対して周波数変換を施して係数ブロックｘを生成する処理を、ｘ＝０，１，…，Ｎについて行う周波数変換手段と、
前記係数ブロックｘと、比較対象のブロックと、の絶対差分和が予め設定された閾値よりも大きいか否かを判定する処理を、ｘ＝０，１，…，Ｎについて行う判定手段と、
前記判定手段がｘ＝０，１，…，Ｎについて判定した結果、大きいと判定した回数が予め設定された閾値よりも大きい場合には、新たな背景画像として、前記予め設定されたフレーム数分の静止画像のうち何れか１つを符号化し、外部に出力する出力手段と
を備えることを特徴とする。
【００１３】
本発明の問題を解決するために、たとえば本発明の画像処理方法は以下の構成を備える。
【００１４】
すなわち、動画像を構成する連続した静止画像を入力し、各静止画像において、オブジェクト画像と背景画像の夫々を符号化し、外部に伝送する画像処理装置が行う画像処理方法であって、
１フレーム分の静止画像からブロックｘを抽出すると共に、メモリに格納されている背景画像から前記ブロックｘに対応する対応ブロックｘを抽出し、前記ブロックｘと前記対応ブロックｘとの差分を示す差分ブロックｘを生成する処理を、ｘ＝１，２，…，Ｎ（Ｎ＞１）について行う差分画像生成工程と、
予め設定されたフレーム数に渡って前記差分画像生成工程で各フレームについて生成した差分ブロックｘの平均ブロックｘを求める処理を、ｘ＝０，１，…，Ｎについて行う平均工程と、
前記平均ブロックｘに対して周波数変換を施して係数ブロックｘを生成する処理を、ｘ＝０，１，…，Ｎについて行う周波数変換工程と、
前記係数ブロックｘと、比較対象のブロックと、の絶対差分和が予め設定された閾値よりも大きいか否かを判定する処理を、ｘ＝０，１，…，Ｎについて行う判定工程と、
前記判定工程でｘ＝０，１，…，Ｎについて判定した結果、大きいと判定した回数が予め設定された閾値よりも大きい場合には、新たな背景画像として、前記予め設定されたフレーム数分の静止画像のうち何れか１つを符号化し、外部に出力する出力工程と
を備えることを特徴とする。
【００１５】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１６】
［第１の実施形態］
本実施形態における画像処理装置は外部の撮像装置によって撮像された動画（連続する静止画像により構成されている）を入力し、撮像画像を構成する各静止画像に含まれるオブジェクトの画像領域、背景の画像領域の夫々を符号化し、必要に応じて多重化し、ストリームとして出力する。
【００１７】
本実施形態における画像処理装置の機能構成を示すブロック図である図１を参照して、本実施形態における画像処理装置の各部について説明する。なお、以下の説明では入力した画像を符号化する際に所定のサイズのブロックに分割し、更にそのサイズを８画素×８ラインとするが、このサイズに限定されるものではない。また以下、撮影画像、背景画像は共に、上記動画を構成する１フレームの静止画とする。
【００１８】
１００は背景画像を記憶する背景画像メモリ、１０１は現在撮像している画像と、背景画像メモリ１００内の背景画像とを用いて伝送すべき新たな背景画像の出力制御を行う伝送背景画像出力制御器である。１０２は伝送背景画像出力制御器１０１からの背景画像を符号化する背景画像符号化器である。１０３は現在撮像している画像から、オブジェクト領域を抽出し、オブジェクト画像を生成するオブジェクト画像生成器である。１０４はオブジェクト画像生成器１０３からのオブジェクト画像を符号化するオブジェクト画像符号化器である。１０５は背景画像符号化器１０２および／またはオブジェクト画像符号化器１０４からの符号化データを多重化し、ストリームを出力する多重化器である。
【００１９】
次に、以上の構成を備える本実施形態における画像処理装置の動作について説明する。まず、予めオブジェクトの無い状態の背景画像を撮像し、この画像を背景画像メモリ１００へ蓄積する。同時に、伝送背景画像出力制御器１０１、背景画像符号化器１０２を介して、背景画像の符号化データが生成される。具体的には、撮像された画像を規定のフレームレートで伝送背景画像出力制御器１０１へ入力する。伝送背景画像出力制御器１０１は入力される画像と既に背景画像メモリ１００に蓄積された背景画像とを用いて、伝送すべき新たな背景画像の出力制御を行う。この制御方法については後述する。背景画像は、背景画像符号化器102により符号化され、多重化器１０５へ入力される。
【００２０】
一方、撮像された画像は、オブジェクト画像生成器１０３、オブジェクト画像符号化器１０４を介し、多重化器１０５へ入力される。多重化器１０５からは多重化されたストリームが出力される。
【００２１】
次に、伝送背景画像出力制御器１０１が行う、伝送すべき背景画像の出力制御の処理について図２を参照して説明する。図２は伝送背景画像出力制御器１０１の機能構成を示すブロック図である。
【００２２】
２００は背景画像メモリ１００から入力される背景画像から画像中の所定の位置にあるブロックを抽出するブロック抽出器である。２０１は撮像された画像から画像中の所定の位置にあるブロックを抽出するブロック抽出器である。２０２はブロック抽出器２００，２０１から入力される夫々のブロックから差分ブロック（差分画像）を生成する差分画像生成器である。２０３は差分画像生成器２０２から入力される差分ブロックを蓄積し、積分する差分画像積分器である。
【００２３】
２０４は差分画像積分器２０３からの積分された差分ブロックを入力し、DCT(離散コサイン変換)を施すDCT器である。このDCT器２０４により、差分ブロックの周波数成分を獲得し、各成分の値を見ることで、画像の変化量をみることができる。２０５はDCT器２０４からのDCT係数ブロックと、このＤＣＴ係数ブロックと比較するための係数ブロック、そして閾値ブロックを入力し、背景画像を更新するかどうかの制御信号を出力するDCT係数比較器である。２０６はDCT係数比較器２０５からの制御信号に応じて、撮像された画像を新背景画像として選択し、出力する新背景画像出力器である。
【００２４】
図３(a)に、ブロック抽出器２００，２０１が抽出するブロックの位置の例を示す。たとえば撮像された画像が図３（ｂ）に示す画像とし、背景画像メモリ１００に格納されている画像が図３（ｃ）に示された画像とする場合、図３（ｂ）に示した４つの位置のブロックを夫々の画像から抽出する。なお、同図では抽出するブロックの数は４つとしているが、これに限定されるものではない。また、これらの位置に限定されるものではない。
【００２５】
図４に、伝送背景画像出力制御器１０１が行う処理のフローチャートを示す。まず差分画像積分器２０３内の背景出力フラグoutf＝０，処理ブロックカウンタbcnt＝０（ステップＳ３００）と初期化し、更に蓄積回数カウンタcnt＝０、蓄積ブロックInt＝０と初期化する（ステップＳ３０１）。次にブロック抽出器２００により背景画像内のブロックを入力する（ステップＳ３０２）。また撮像された画像（第１のフレーム）からブロック抽出器２０１により撮像画像内のブロックを入力する（ステップＳ３０３）。
【００２６】
そして差分画像生成器２０２において夫々のブロックの差分をとり、差分ブロックDiffを生成する（ステップＳ３０４）。次に差分画像積分器２０３でこの差分ブロックDiffを蓄積ブロックIntへ累積（各要素ごとに累積）すると同時に、cntを＋１する（ステップＳ３０５）。そして以上のステップＳ３０２からステップＳ３０４までをcnt＝２となるまで繰り返す。すなわち、次の撮像画像（上記撮像画像の次のフレームの画像である第２のフレーム）から上記撮像画像と同じ位置のブロックを抽出し、このブロックと背景画像のブロックとの差分をとり、差分ブロックDiffを生成し、差分ブロックDiffを蓄積ブロックIntへ累積（各要素ごとに累積）する。
【００２７】
次に差分画像積分器２０３はIntを繰り返し回数、すなわち２で除算する（ステップＳ３０７）。次にDCT器２０４はIntに対してDCTを施す（ステップＳ３０８）。次にDCT係数比較器２０５において比較係数ブロックと閾値ブロックを入力し（ステップＳ３０９，ステップＳ３１０）、DCT器２０４からの係数ブロック（Int係数ブロック）と比較係数ブロックとの差分絶対値和と、閾値ブロックの値とを比較する（ステップＳ３１１）。比較式は否に示す式に従うものとする。
【００２８】
Σ｜Ａi−Ｂi｜  ＞  閾値ブロック
ここで、ＡiはInt係数ブロックのi番目の要素、Ｂiは比較係数ブロックのi番目の要素を示し、左辺はInt係数ブロックと比較係数ブロックとで位置的に対応する要素間の差分をすべての要素に対して加算した結果を示す。また、上記比較係数ブロックの各要素、および閾値ブロックの値はここでは特に決めていないが、画像の性質などに応じて適宜決める。
【００２９】
左辺＞右辺の場合、処理をステップＳ３１２に進め、DCT係数比較器２０５はoutfを＋１する（ステップＳ３１２）。次にbcntを＋１し（ステップＳ３１３）、bcntが4以上かどうかを判定する（ステップＳ３１４）。すなわち、４つのブロック（図３（ａ）における４つの白の矩形）すべてに対して行ったか否かを判定する。次にoutfが２より大かどうかを判定し（ステップＳ３１５）、３以上の場合、処理をステップＳ３１５に進め、DCT係数比較器２０５は新背景画像出力器２０６に対して制御信号を出力する。新背景画像出力器２０６はこの制御信号に基づいて新背景画像として撮像画像（上記第１のフレーム、第２のフレームのいずれでもよい）を背景画像符号化器１０２に出力すると共に、背景画像メモリ１００に出力する（ステップＳ３１６）。すなわち、３つ以上のブロックにおいて、背景画像メモリ１００内の背景画像が撮像画像と大きく異なる（上記式において左辺が閾値ブロック以上となる程異なる）と判定された場合には、新背景画像として撮像画像を用いる。
【００３０】
一方、ステップＳ３１５においてDCT係数比較器２０５がoutfが２以下であると判定した場合、処理をステップＳ３１７に進め、DCT係数比較器２０５は新背景画像出力器２０６に対して制御信号を出力する。新背景画像出力器２０６はこの制御信号に基づいて背景画像を出力しない旨を示すＮＵＬＬを背景画像符号化器１０２に出力する（ステップＳ３１７）。すなわち、背景画像メモリ１００内の背景画像が撮像画像と大きく異なる（上記式において左辺が閾値ブロック以上となる程異なる）と判定されたブロックが半数以下であるということは、背景にほとんど変化がないということを意味しているので、新たに背景画像を出力する必要がない（ストリームを受信し、復号する装置は従前に復号した背景画像を用いることになる）。
【００３１】
なお、背景画像符号化器２０６はＮＵＬＬを入力すると符号化処理を行わず、従ってこの場合、多重化器１０５が出力するストリームにはオブジェクトの符号化データのみ含まれることになる。
【００３２】
このようにすることで、背景画像にほとんど変化がない場合には背景画像の符号化、伝送といった処理を行わなくてもよいので、処理量の軽減、そして伝送効率の向上といった効果が得られる。
【００３３】
以上の説明により、本実施形態における画像処理装置は背景画像を、撮像画像が従前に保持しておいた背景画像と大きく異なる場合にのみ撮像画像を符号化し、伝送し、ほとんど変わらない場合には背景画像の伝送を行わないことで、全体の伝送処理の軽減、そして伝送の効率の向上を図ることができる。
【００３４】
［第２の実施形態］
第１の実施形態ではMPEG-4に適用しているが、その他のオブジェクト・ベース符号化方式に適用してもよい。また、第１の実施形態では、差分画像積分器２０３内のcnt＝２の場合までを積分対象としたが（つまり第１のフレームと第２のフレームのみを用いたが）、その他の値でもかまわない。また、上記第１の実施形態では差分ブロックに対する周波数変換としてＤＣＴを用いたが、これに限定されるものではない。
【００３５】
［第３の実施形態］
第１の実施形態で説明した各処理は、図５に示す構成を有する一般のコンピュータにおいても実行可能である。図５は第１の実施形態で説明した各処理を実行するコンピュータの基本構成を示すブロック図である。５００はコンピュータ全体の制御、及び種々の処理を行う中央演算装置（CPU）、５０１は本コンピュータの制御に必要なオペレーティングシステム（OS）、ソフトウエア、データ、演算に必要な記憶領域を提供するメモリである。また、CPU５００が各種の処理を行う際のワークエリアとしても用いられる。
【００３６】
５０２は種々の装置をつなぎ、データ、制御信号をやりとりするバス、５０３は各種のソフトウエアを蓄積する記憶装置、５０４は動画像データを蓄積する記憶装置、５０５は画像やコンピュータからのシステムメッセージなどを表示するモニタである。
【００３７】
５０７は通信回路５０８に符号化データを送信する通信インターフェースで、装置外部とLAN、公衆回線、無線回線、放送電波等により接続されている。５０６はコンピュータを起動したり、ビットレート等の各種条件を設定したりするために、各種の指示を入力する操作部である。
【００３８】
メモリ５０１には上述のとおりコンピュータ全体を制御し、各種ソフトウエアを動作させるためのOSや動作させるソフトウエアを格納し、画像データを符号化のために読み込むエリア、一時的に符号データを格納する符号エリア、各種演算のパラメータ等を格納しておくワーキングエリアが存在する。
【００３９】
このような構成において、上記符号化処理に先立ち、操作部５０６から記憶装置５０４に蓄積されている動画像データから符号化する動画像データを選択している。すると、記憶装置５０３に格納されているソフトウエアがバス５０２を介してメモリ５０１に展開され、ソフトウエアが起動される。
【００４０】
そして、CPU５００による記憶装置５０４に格納されている動画像データの符号化動作は図３に示したフローチャートに従ったプログラムコード（前述のソフトウエア）が実行されることになる。
【００４１】
以上の説明により、本実施形態におけるコンピュータは、第１の実施形態におけるオブジェクト・ベース画像符号化を実現する装置として機能する。
【００４２】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４４】
【発明の効果】
以上の説明により、本発明によって、背景画像を含む画像全体の符号化効率、そして背景画像の伝送効率を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における画像処理装置の機能構成を示すブロック図である。
【図２】伝送背景画像出力制御器１０１の機能構成を示すブロック図である。
【図３】（ａ）はブロック抽出器２００が抽出するブロックの位置の例を示す図で、（ｂ）はブロック抽出器２０１が抽出するブロックの位置の例を示す図である。
【図４】伝送背景画像出力制御器１０１が行う処理のフローチャートである。
【図５】本発明の第３の実施形態におけるコンピュータの基本構成を示すブロック図である。
【図６】オブジェクト・ベース符号化方法を説明する図である。
【図１】
0004136403.tif 000002
【図２】
0004136403.tif 000003
【図３】
0004136403.tif 000004
【図４】
0004136403.tif 000005
【図５】
0004136403.tif 000006
【図６】
0004136403.tif 000007