(57)【特許請求の範囲】
【請求項１】
連続して入力される動画像である入力画像から背景部分と動き物体とに分離する画像信号処理装置であって、
上記入力画像に対して遅延を行うフレームメモリと、
上記入力画像と上記フレームメモリにて遅延された画像とから画素毎に差分値を計算する第１の差分手段と、
上記第１の差分手段から得られる差分値を絶対値化した後、第１のしきい値と比較することによって２値化した第１のフラグを設定し、上記設定された第１のフラグが第１のフラグ値から第２のフラグ値へ変化するところ、または第２のフラグ値から第１のフラグ値へ変化するところを上下左右から判断し、動き物体領域の第１の候補を判定する第１の判定手段と、
上記背景部分を静止画として格納する更新可能な背景メモリと、
上記入力画像の各画素毎に上記背景メモリに格納されている上記静止画の対応する画素の画素値との差分値を計算する第２の差分手段と、
上記第２の差分手段から得られる差分値を絶対値化した後、第２のしきい値と比較し、上記絶対値化された差分値が上記第２のしきい値より大きいとき、第２のフラグに第３のフラグ値を設定し、上記設定された第２のフラグを動き物体領域の第２の候補と判定する第２の判定手段と、
上記第１の候補と上記第２の候補との論理積から第３の候補を得る論理積手段と、
上記第３の候補を縮小した後、拡大する縮小／拡大手段と、
上記第３の候補の内部において、上記入力画像の各画素と上記背景メモリに格納されている上記静止画の各画素との輝度値の比率を計算する比率計算手段と、
上記第３の候補と上記比率とをブロック化し、ブロック化された上記第３の候補と上記比率毎に上記比率の平均値及び標準偏差を計算する値計算手段と、
上記平均値を上記第１および第２のしきい値と比較し、上記標準偏差を第３および第４のしきい値と比較し、上記平均値が上記第２のしきい値より大きく、且つ上記標準偏差が上記第４のしきい値より大きい場合に上記ブロック化された第３の候補を上記動き物体と判定し、上記平均値が上記第１のしきい値より大きく、上記第１のしきい値より大きい上記第２のしきい値より小さく、且つ上記標準偏差が上記第３のしきい値より小さい場合に上記ブロック化された第３の候補を上記背景部分と判定し、上記平均値が上記第１のしきい値より小さく、且つ上記標準偏差が上記第３のしきい値より大きく、上記第３のしきい値より大きい上記第４のしきい値より小さい場合に上記ブロック化された第３の候補を上記動き物体の影部分と判定する第３の判定手段とを有し、
上記２値化された第１のフラグから連続して動きがないと判定された回数を計数し、上記回数に応じた比率で、上記入力画像と上記背景メモリに格納されている上記静止画とを加重平均して上記背景メモリに格納される静止画を更新するようにしたことを特徴とする画像信号処理装置。
【請求項２】
上記回数と第８のしきい値とを比較し、上記第８のしきい値より上記回数が多くなると、上記入力画像の当該画素について上記回数に応じて比率を高めて加重平均を行い、上記背景メモリに格納される静止画を更新することを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
連続して入力される動画像である入力画像から背景部分と動き物体とに分離する画像信号処理方法であって、
上記入力画像に対して遅延を行うフレームメモリと、
上記入力画像と上記フレームメモリにて遅延された画像とから画素毎に差分値を計算する第１の差分ステップと、
上記第１の差分ステップから得られる差分値を絶対値化した後、第１のしきい値と比較することによって２値化した第１のフラグを設定し、上記設定された第１のフラグが第１のフラグ値から第２のフラグ値へ変化するところ、または第２のフラグ値から第１のフラグ値へ変化するところを上下左右から判断し、動き物体領域の第１の候補を判定する第１の判定ステップと、
上記背景部分を静止画として格納する更新可能な背景メモリと、
上記入力画像の各画素毎に上記背景メモリに格納されている上記静止画の対応する画素の画素値との差分値を計算する第２の差分ステップと、
上記第２の差分ステップから得られる差分値を絶対値化した後、第２のしきい値と比較し、上記絶対値化された差分値が上記第２のしきい値より大きいとき、第２のフラグに第３のフラグ値を設定し、上記設定された第２のフラグを動き物体領域の第２の候補と判定する第２の判定ステップと、
上記第１の候補と上記第２の候補との論理積から第３の候補を得る論理積ステップと、
上記第３の候補を縮小した後、拡大する縮小／拡大ステップと、
上記第３の候補の内部において、上記入力画像の各画素と上記背景メモリに格納されている上記静止画の各画素との輝度値の比率を計算する比率計算ステップと、
上記第３の候補と上記比率とをブロック化し、ブロック化された上記第３の候補と上記比率毎に上記比率の平均値及び標準偏差を計算する値計算ステップと、
上記平均値を上記第１および第２のしきい値と比較し、上記標準偏差を第３および第４のしきい値と比較し、上記平均値が上記第２のしきい値より大きく、且つ上記標準偏差が上記第４のしきい値より大きい場合に上記ブロック化された第３の候補を上記動き物体と判定し、上記平均値が上記第１のしきい値より大きく、上記第１のしきい値より大きい上記第２のしきい値より小さく、且つ上記標準偏差が上記第３のしきい値より小さい場合に上記ブロック化された第３の候補を上記背景部分と判定し、上記平均値が上記第１のしきい値より小さく、且つ上記標準偏差が上記第３のしきい値より大きく、上記第３のしきい値より大きい上記第４のしきい値より小さい場合に上記ブロック化された第３の候補を上記動き物体の影部分と判定する第３の判定ステップとを有し、
上記２値化された第１のフラグから連続して動きがないと判定された回数を計数し、上記回数に応じた比率で、上記入力画像と上記背景メモリに格納されている上記静止画とを加重平均して上記背景メモリに格納される静止画を更新するようにしたことを特徴とする画像信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像信号から動き物体を抽出するための画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
画像信号を圧縮するための１つの方法として、画像を背景部分（すなわち、静止画）と動き物体とに分離して、背景部分については、静止画であることを利用して、その伝送を省略する（間引く）ことによって、大幅に伝送データ量を削減することが可能である。このように、更新が可能な背景メモリおよび入力画像のフレーム差分情報を用いて、動き物体と背景部分を分離する手法が従来より提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の手法では、例えば照明の角度によっては動き物体の影が生じることがあり、その影の部分も含めて動き物体領域と判定されることがあった。影を含めて動き物体として扱われることは、上述のような符号化の圧縮を低下させる問題を生じる。
【０００４】
従って、この発明の目的は、背景部分と動き物体を分離する場合に、動き物体の影の部分を新たな判定によって区別し、動き物体のみを抽出する画像信号処理装置および方法を提案することにある。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、連続して入力される動画像である入力画像から背景部分と動き物体とに分離する画像信号処理装置であって、入力画像に対して遅延を行うフレームメモリと、入力画像とフレームメモリにて遅延された画像とから画素毎に差分値を計算する第１の差分手段と、第１の差分手段から得られる差分値を絶対値化した後、第１のしきい値と比較することによって２値化した第１のフラグを設定し、設定された第１のフラグが第１のフラグ値から第２のフラグ値へ変化するところ、または第２のフラグ値から第１のフラグ値へ変化するところを上下左右から判断し、動き物体領域の第１の候補を判定する第１の判定手段と、背景部分を静止画として格納する更新可能な背景メモリと、入力画像の各画素毎に背景メモリに格納されている静止画の対応する画素の画素値との差分値を計算する第２の差分手段と、第２の差分手段から得られる差分値を絶対値化した後、第２のしきい値と比較し、絶対値化された差分値が第２のしきい値より大きいとき、第２のフラグに第３のフラグ値を設定し、設定された第２のフラグを動き物体領域の第２の候補と判定する第２の判定手段と、第１の候補と第２の候補との論理積から第３の候補を得る論理積手段と、第３の候補を縮小した後、拡大する縮小／拡大手段と、第３の候補の内部において、入力画像の各画素と背景メモリに格納されている静止画の各画素との輝度値の比率を計算する比率計算手段と、第３の候補と比率とをブロック化し、ブロック化された第３の候補と比率毎に比率の平均値及び標準偏差を計算する値計算手段と、平均値を第１および第２のしきい値と比較し、標準偏差を第３および第４のしきい値と比較し、平均値が第２のしきい値より大きく、且つ標準偏差が第４のしきい値より大きい場合にブロック化された第３の候補を動き物体と判定し、平均値が第１のしきい値より大きく、第１のしきい値より大きい第２のしきい値より小さく、且つ標準偏差が第３のしきい値より小さい場合にブロック化された第３の候補を背景部分と判定し、平均値が第１のしきい値より小さく、且つ標準偏差が第３のしきい値より大きく、第３のしきい値より大きい第４のしきい値より小さい場合にブロック化された第３の候補を動き物体の影部分と判定する第３の判定手段とを有し、２値化された第１のフラグから連続して動きがないと判定された回数を計数し、回数に応じた比率で、入力画像と背景メモリに格納されている静止画とを加重平均して背景メモリに格納される静止画を更新するようにしたことを特徴とする画像信号処理装置である。
【０００６】
また、請求項３に記載の発明は、連続して入力される動画像である入力画像から背景部分と動き物体とに分離する画像信号処理方法であって、入力画像に対して遅延を行うフレームメモリと、入力画像とフレームメモリにて遅延された画像とから画素毎に差分値を計算する第１の差分ステップと、第１の差分ステップから得られる差分値を絶対値化した後、第１のしきい値と比較することによって２値化した第１のフラグを設定し、設定された第１のフラグが第１のフラグ値から第２のフラグ値へ変化するところ、または第２のフラグ値から第１のフラグ値へ変化するところを上下左右から判断し、動き物体領域の第１の候補を判定する第１の判定ステップと、背景部分を静止画として格納する更新可能な背景メモリと、入力画像の各画素毎に背景メモリに格納されている静止画の対応する画素の画素値との差分値を計算する第２の差分ステップと、第２の差分ステップから得られる差分値を絶対値化した後、第２のしきい値と比較し、絶対値化された差分値が第２のしきい値より大きいとき、第２のフラグに第３のフラグ値を設定し、設定された第２のフラグを動き物体領域の第２の候補と判定する第２の判定ステップと、第１の候補と第２の候補との論理積から第３の候補を得る論理積ステップと、第３の候補を縮小した後、拡大する縮小／拡大ステップと、第３の候補の内部において、入力画像の各画素と背景メモリに格納されている静止画の各画素との輝度値の比率を計算する比率計算ステップと、第３の候補と比率とをブロック化し、ブロック化された第３の候補と比率毎に比率の平均値及び標準偏差を計算する値計算ステップと、平均値を第１および第２のしきい値と比較し、標準偏差を第３および第４のしきい値と比較し、平均値が第２のしきい値より大きく、且つ標準偏差が第４のしきい値より大きい場合にブロック化された第３の候補を動き物体と判定し、平均値が第１のしきい値より大きく、第１のしきい値より大きい第２のしきい値より小さく、且つ標準偏差が第３のしきい値より小さい場合にブロック化された第３の候補を背景部分と判定し、平均値が第１のしきい値より小さく、且つ標準偏差が第３のしきい値より大きく、第３のしきい値より大きい第４のしきい値より小さい場合にブロック化された第３の候補を動き物体の影部分と判定する第３の判定ステップとを有し、２値化された第１のフラグから連続して動きがないと判定された回数を計数し、回数に応じた比率で、入力画像と背景メモリに格納されている静止画とを加重平均して背景メモリに格納される静止画を更新するようにしたことを特徴とする画像信号処理方法である。
【０００７】
このように、背景部分と動き物体とを分離後、背景部分はほどんど変化がないため、時間方向で見たとき超高圧縮を実現することが可能となる。
【０００８】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。図１は、この発明の画像信号処理装置の一実施例のブロック図を示す。１で示す入力端子にディジタル化された画像が入力され、そのディジタル画像は、フレームメモリ２、減算器３、１０、除算器１８および遅延回路２９へ供給される。フレームメモリ２へ供給されたディジタル画像は、１フレーム遅延の後、減算器３において、現フレームとの画素毎の差分が計算され、その差分値は、絶対値（ＡＢＳ）化回路４へ供給される。
【０００９】
絶対値化回路４において、絶対値化された差分値が、比較回路６へ供給され、比較回路６において、端子５から供給されるしきい値ｔｈ１と比較され、２値化される。この比較回路６では、しきい値ｔｈ１より差分値が大きい場合、第０フラグ（flag０）は `１' とし、しきい値ｔｈ１より差分値が小さい場合、第０フラグ（flag０）は `０' として、計数制御回路７および動き領域判定回路８へ供給される。この第０フラグ（flag０）が `１' である領域は、動き物体の輪郭と判断される。例えば、画像の中で比較的大きな物体が動いているものとして、後述する動き領域判定回路８では、この輪郭から動き物体の内部領域を判断するための処理が行われ、第１フラグ（flag１）が第１の動き物体領域候補（flag１＝ `１' ）として、ＡＮＤゲート１５へ供給される。
【００１０】
そして、入力されたディジタル画像は、減算器１０において、更新可能な背景メモリ回路３７から供給された信号との差分が計算され、その差分値は絶対値（ＡＢＳ）化回路１１へ供給される。その差分値は、比較回路１３および遅延回路２３へ供給され、比較回路１３では、端子１２から供給されるしきい値ｔｈ２との比較が行われ、その結果２値化された第２フラグ（flag２）が遅延回路１４を介して、ＡＮＤゲート１５へ供給される。すなわち、比較回路１３において、しきい値ｔｈ２より絶対値化された差分値が大きい場合、第２フラグ（flag２）を `１' とし、しきい値ｔｈ２より小さい場合、第２フラグ（flag２）を `０' として、第２フラグ（flag２）は、遅延回路１４へ供給される。遅延回路１４では、上述した動き領域判定回路８にかかる時間だけ遅延され、第２の動き物体領域候補（flag２＝ `１' ）として、ＡＮＤゲート１５へ供給される。
【００１１】
第１の動き物体領域候補（flag１＝ `１' ）および第２の動き物体領域候補（flag２＝ `１' ）が供給されたＡＮＤゲート１５では、それらの論理積をとり、第３の動き物体領域候補（flag３＝ `１' ）が生成され、縮小／拡大回路１６へ供給される。一方、第０フラグ（flag０）に関して、後で使用する連続回数メモリ９の制御を行う。この連続回数メモリ９は、画素位置毎に対応して、第０フラグ（flag０）が `１' である場合、０にリセットし、第０フラグ（flag０）が `０' である場合、カウントアップするように制御される。これは、フレーム差の小さい現象が時間方向でどれだけ連続するかをカウントするものであり、これによって動かない背景部分の確率的な判断材料を得ることと、仮に動き物体が停止した場合に、背景部分にその情報が更新されていくようにするための判断材料とするものである。
【００１２】
次に、縮小／拡大回路１６では、図２に示すように第３の動き物体領域候補（flag３＝ `１' ）の領域を上下左右方向に数画素程度の縮小／拡大を行う。図２Ａは、縮小／拡大回路１６へ供給されたディジタル画像を示し、そのディジタル画像に対して、縮小処理を行うことで図２Ｂに示すように孤立点の除去が行われる。孤立点の除去が行われたディジタル画像は、元の大きさへ戻すために図２Ｃに示すように拡大処理を行う。この結果を第４フラグ（flag４）として、遅延回路１７および入力／背景比率判定回路２０へ供給される。
【００１３】
入力されたディジタル画像が供給された除算器１８は、背景メモリ３７からの信号と除算される。すなわち、第４フラグ（flag４）が `１' である領域内において、例えば動き物体領域候補であっても、それが実際は背景部分であった場合、ある程度の広がりの入力画像と背景部分との輝度値の比率は、ほとんど１に近い値を示すはずである。また、比率が１からある程度離れた領域は背景部分に落とした動き物体の影の領域であり、それ以外は動き物体と判断できる。
【００１４】
除算器１８からの比率は、遅延回路１９において、所定の遅延がなされた後、その除算された結果は、入力／背景比率判定回路２０へ供給される。入力／背景比率判定回路２０では、端子２１からしきい値ｔｈ１、ｔｈ２、ｔｈ３およびｔｈ４が供給され、第５フラグ（flag５）が作成される。この入力／背景比率判定回路２０の詳細な説明は、後述する。第５フラグ（flag５）は、背景部分と判定したときは `０' となり、動き物体と判定したときは `１' となり、さらに影と判定したときは `２' となるようにコード化される。この第５フラグ（flag５）は、遅延回路２２および動き領域判定回路２４へ供給される。
【００１５】
背景メモリ３７からの信号と、入力されたディジタル画像との差分の絶対値が絶対値化回路１１から供給される遅延回路２３では、所定の遅延が施された後、動き領域判定回路２４へ供給され、さらに端子２５からしきい値ｔｈ５が動き領域判定回路２４へ供給される。このしきい値ｔｈ５は、上述したしきい値ｔｈ２より大きく（ｔｈ５＞ｔｈ２）、すなわちしきい値ｔｈ２よりきびしく動き物体領域か否かが判断される。そして、動き物体領域と判断されたとき、第６フラグ（flag６）を `１' として、縮小／拡大回路２６へ供給される。
【００１６】
この縮小／拡大回路２６は、上述の縮小／拡大回路１６と同様に孤立点を除去するために、第６フラグ（flag６＝ `１' ）の領域を上下左右方向で数画素程度の縮小および拡大を行い、第７フラグ（flag７）を `１' とし、動き物体領域が作成される。その第７フラグ（flag７）は、影判定回路２７、動き物体判定回路２８および背景更新制御回路３６へ供給される。
【００１７】
影判定回路２７では、入力されたディジタル画像が遅延回路２９を介して供給され、そのディジタル画像は、第４フラグ（flag４）、第５フラグ（flag５）および第７フラグ（flag７）に基づいて、影の領域が判定される。入力されたディジタル画像が遅延回路３０を介して影メモリ３１へ供給され、そのディジタル画像は、影判定回路２７から供給される信号に応じて、影と判定された領域のみ記憶される。また、既に記憶されている場合、新たに影と判定された領域が影メモリ３１へ更新され、記憶される。記憶された影の領域は、出力端子３２から伝送される。
【００１８】
さらに、動き物体判定回路２８では、入力されたディジタル画像が遅延回路２９を介して供給され、そのディジタル画像は、第７フラグ（flag７）に基づいて、動き物体の領域が判定される。入力されたディジタル画像が遅延回路３０を介して動き物体メモリ３３へ供給され、そのディジタル画像は、動き物体判定回路２８から供給される信号に応じて、動き物体と判定された領域のみ記憶される。また、既に記憶されている場合、新たに動き物体と判定された領域が動き物体メモリ３３へ更新され、記憶される。記憶された動き物体の領域は、出力端子３４から伝送される。
【００１９】
また、背景更新制御回路３６では、入力されたディジタル画像が遅延回路２９を介して供給され、そのディジタル画像は、第７フラグ（flag７）および遅延回路３５を介して連続回数メモリ９からの信号に基づいて、背景部分の領域が判定される。判定された背景部分は、背景メモリを別途定める比率（ｒおよび１−ｒ）で加重平均して、背景メモリの更新を行い、出力端子３８からその背景部分は、伝送される。
【００２０】
ここで、上述した動き領域判定回路８の詳細なブロック図を図３に示す。この動き領域判定回路８では、第０フラグ（flag０）が `１' で示される動き輪郭であると判断される動き物体領域に対して、さらに上下左右から走査することで動き物体領域の第１の候補が判定され、第１フラグ（flag１）として、後段へ伝送される。
【００２１】
４１で示す入力端子を介して、比較回路６から供給される第０フラグ（flag０）がフラグフレームメモリ４２へ供給される。そのフラグフレームメモリ４２は、アドレス制御回路４３からの信号により制御される。左０／１検出回路４４では、左から右の走査に対して第０フラグが `０' から `１' へ変化するところを判断し、第１内部候補回路４５において、その変化点より右側を第１の内部候補とする。その第１の内部候補は、ＡＮＤゲート５２へ供給される。
【００２２】
次に、右０／１検出回路４６では、右から左の走査に対して第０フラグが `０' から `１' へ変化するところを判断し、第２内部候補回路４７において、その変化点より左側を第２の内部候補とする。その第２の内部候補は、ＡＮＤゲート５２へ供給される。同様に、上０／１検出回路４８では、上から下の走査に対して第０フラグが `０' から `１' へ変化するところを判断し、第３内部候補回路４９において、その変化点より下側を第３の内部候補とし、その第３の内部候補は、ＡＮＤゲート５３へ供給され、下０／１検出回路５０では、下から上の走査に対して第０フラグが `０' から `１' へ変化するところを判断し、第４内部候補回路５１において、その変換点より上側を第４の内部候補とし、その第４の内部候補は、ＡＮＤゲート５３へ供給される。
【００２３】
ＡＮＤゲート５２では、第１の内部候補と第２の内部候補との論理積が求められ、ＡＮＤゲート５３では、第３の内部候補と第４の内部候補との論理積が求められる。そして、ＡＮＤゲート５２および５３の出力は、ＯＲゲート５４へ供給され、その論理和により第１の動き物体領域候補（第１フラグ（flag１）＝ `１' ）が出力端子５５から伝送される。この第１の動き物体領域候補には、複雑な形状をした物体であれば、その全体を包含するような閉領域を形成することとなり、この領域内には、背景の部分も一部含まれる場合がある。
【００２４】
次に、上述した入力／背景比率判定回路２０の詳細なブロック図を図４に示す。６１で示す入力端子から除算器１８からの比率がブロック化回路６３へ供給され、入力端子６２から縮小／拡大回路１６からの第４フラグ（flag４）がブロック化回路６３へ供給される。そのブロック化回路６３では、入力画像と背景メモリの比率を第４フラグ（flag４）とともにブロック化が行われ、平均値回路６４および遅延回路６５へ供給される。平均値回路６４では、第４フラグが `１' に等しい領域内で比率の局所ブロック内の平均値が計算され、その時間だけ遅延回路６５では、遅延される。
【００２５】
平均値回路６４の出力は、遅延回路６６および標準偏差回路６７へ供給され、遅延回路６５の出力は、標準偏差回路６７へ供給される。標準偏差回路６７では、平均値回路６４と同様に第４フラグが `１' に等しい領域内で比率の局所ブロック内の標準偏差が計算され、その時間だけ遅延回路６６では、遅延される。計算された標準偏差は、比較回路６９および７１へ供給され、端子６８および７０から供給されるしきい値ｔｈ３およびｔｈ４と比較される。また、計算された平均値は、比較回路７３および７５へ供給され、端子７２および７４から供給されるしきい値ｔｈ１およびｔｈ２と比較される。
【００２６】
すなわち、図５に示すように入力画像と背景メモリの値の比率を各画素毎にもとめ、注目画素を中心とした微小ブロック内でその比率の平均値および標準偏差が求められる。その後、しきい値ｔｈ１、ｔｈ２、ｔｈ３およびｔｈ４と比較することで動き物体、背景部分、影の部分を分離する。ここでは、図５に示すように一例として、平均値に対するしきい値は、ｔｈ１＜ｔｈ２の関係となり、標準偏差に対するしきい値はｔｈ３＜ｔｈ４の関係となる。よって、コード化回路７６では、比較回路６９、７１、７３および７５で比較された結果が供給され、下記のように判定される。
【００２７】
（ｔｈ１＜平均値＜ｔｈ２）ａｎｄ（標準偏差＜ｔｈ３）の場合、第５フラグ（flag５）は `０' とし、背景部分と判定され、出力端子７７から後段へ伝送される。（平均値＜ｔｈ１）ａｎｄ（ｔｈ３＜標準偏差＜ｔｈ４）の場合、第５フラグ（flag５）は `１' とし、影と判定され、出力端子７７から後段へ伝送される。背景部分および影と判定されない領域を動き物体と判定し、第５フラグ（flag５）は `２' として出力端子７７から後段へ伝送される。
【００２８】
ここで、上述した背景更新制御回路３６および背景メモリ３７の詳細なブロック図を図６に示す。この図６のブロック図では、動き物体領域および影の領域の外を背景部分の領域として入力画像と背景メモリを別途定める比率（ｒおよび１−ｒ）で加重平均した後、背景メモリの更新を行うものである。
【００２９】
連続回数メモリ９からの連続回数フラグが入力端子８１からｒ設定回路８５へ供給され、さらに端子８４からしきい値ｔｈ６およびｔｈ７がｒ設定回路８５へ供給される。ｒ設定回路８５では、図７に示すように連続回数フラグがしきい値ｔｈ６より小さい場合、入力画像の比率ｒを０とするため、背景メモリの比率（１−ｒ）は１となる。しきい値ｔｈ６より大きく、しきい値ｔｈ７より小さい場合、連続回数フラグの回数に応じて入力画像の比率ｒを上げるようにし（すなわち、背景メモリの比率（１−ｒ）は下がる）、入力画像の比率ｒは、１を越えないように制御する。また、連続回数フラグがしきい値ｔｈ７より大きい場合、入力画像の比率ｒを１とするため、背景メモリの比率（１−ｒ）は０となる。
【００３０】
ｒ設定回路８５から背景メモリの比率（１−ｒ）が乗算器８７へ供給され、背景メモリ３７から記憶されている背景部分が乗算器８７へ供給される。その乗算器８７の演算結果は、加算器８９へ供給される。ｒ設定回路８５から入力画像の比率ｒが乗算器８８へ供給され、入力端子８３を介して入力画像が乗算器８８へ供給される。その乗算器８８の演算結果は、加算器８９へ供給される。加算器８９では、乗算器８７から背景部分が供給され、乗算器８８から入力画像が供給され、それぞれ加算され背景メモリ３７へ記憶される。この背景メモリ３７は、端子８２から供給される第７フラグ（flag７）に応じてＲ／Ｗ制御回路８６により、読み出しおよび書き込みが制御される。
【００３１】
ここで、この発明の影の部分の分離方法について図８を使用して簡単に説明する。まず、図８Ａに示すような影と動き物体があり、図８Ｂに示すように第４フラグ（flag４）が `１' である領域が動き物体、影および背景部分の一部を含んだ比較的大きな領域となる。そして、図８Ｃに示すように、この領域（flag４＝ `１' ）内で入力画像／背景メモリの比率判定を行った結果、背景部分の領域（flag５＝ `０' ）、動き物体の領域（flag５＝ `１' ）、影の領域（flag５＝ `２' ）に分離されるが、この判定に若干の誤差があるため、図８Ｃに示すように本来の動き物体の領域内にも微小な背景部分や微小な影の部分が誤判定の部分として生じる。
【００３２】
上述のように動き物体の領域の確定には、第５フラグ（flag５）が `１' である領域と背景メモリとの差の絶対値をしきい値（ｔｈ５）で比較した結果、限定した第６フラグ（flag６＝ `１' ）を生成し、その第６フラグが `１' の領域、すなわち動き物体の領域を拡大／縮小することで、第７フラグ（flag７＝ `１' ）が生成される。また、以上のことから影の領域は下記の論理で求めることができる。
（flag４＝ `１' ）and （flag７≠ `１' ）and （flag５≠ `０' ）
【００３３】
ここで、この発明の画像信号処理方法の一実施例を実現するためのフローチャートを図９に示す。まず、ステップ９１の｜フレーム差｜では、供給された入力画像と１フレーム遅延された画像との差分の絶対値が求められ、求められたフレーム差分の絶対値がしきい値ｔｈ１と比較される。その結果、しきい値ｔｈ１より大きいと第０フラグ（flag０）は、 `１' として、しきい値ｔｈ１より小さいと第０フラグ（flag０）は、 `０' として２値化され、ステップ９２および９５へ制御が移る。ステップ９２の動き領域判定では、第０フラグ（flag０）が `１' である領域は、動き物体の輪郭と判断され、第１の動き物体領域候補（flag１＝ `１' ）として、ステップ９４へ制御が移る。
【００３４】
ステップ９３の｜入力−背景｜では、入力画像と背景メモリとの差分の絶対値が算出され、その差分の絶対値は、しきい値ｔｈ２と比較される。このしきい値ｔｈ２より大きいとき第２フラグ（flag２）が `１' とし、しきい値ｔｈ２より小さいとき第２フラグ（flag２）が `０' として２値化され、ステップ９４へ制御が移る。このステップ９３において、第２フラグ（flag２）が `１' である領域は、第２の動き物体領域候補（flag２＝ `１' ）として、ステップ９４へ制御が移る。ステップ９４の論理積では、ステップ９２からの第１フラグ（flag１）とステップ９３からの第２フラグ（flag２）との論理積をとり、第３の動き物体領域候補（flag３＝ `１' ）が生成され、ステップ９７へ制御が移る。
【００３５】
ステップ９５の連続回数計数では、第０フラグ（flag０）の `０' である場合、カウントするように制御され、第０フラグが `１' となった場合、そのカウント値を０にリセットするように制御されている。これによって、移動のない背景部分の確率的な判断材料を得ることと、仮に動き物体が停止した場合に、背景部分にその情報が更新されていくようにするための判断材料となる連続回数フラグが生成される。そして、ステップ９５からステップ９６へ制御が移る。
【００３６】
ステップ９７の縮小／拡大では、図２に示すように第３の動き物体領域候補（flag３＝ `１' ）の領域を上下左右方向に数画素程度の縮小／拡大を行う。上述したように縮小することで、孤立点の除去が行われ、拡大し元の大きさへ戻す。この結果を第４フラグ（flag４）として、ステップ９８および９９へ制御が移る。ステップ９９の入力／背景では、入力画像と背景メモリの比率が算出され、算出されたその比率は、局所ブロック内平均値および標準偏差が算出され、それぞれを上述のようにしきい値ｔｈ１、ｔｈ２、ｔｈ３およびｔｈ４と比較することによって、第５フラグ（flag５）が生成され、ステップ１００へ制御が移る。この第５フラグは、上述したように背景部分のとき `０' を示し、動き物体のとき `１' を示し、影のとき `２' を示すようにコード化される。
【００３７】
ステップ１００の｜入力−背景｜では、入力画像と背景メモリとの差分の絶対値がしきい値ｔｈ５と比較され、動き物体領域が判断されると、第６フラグ（flag６）が `１' となる。ステップ１０１の縮小／拡大では、上述のステップ９７（縮小／拡大）と同様に第６フラグが `１' となる領域の上下左右方向に数画素程度の縮小を行い孤立点の除去を行った後、元の大きさに拡大する。ステップ９８の影の判定では、上述したように（（flag４＝ `１' ）and （flag７≠１）and （flag５≠０））が成り立つときに影の領域と判断し、影の領域と判断された領域は、伝送される。
【００３８】
ステップ１０２のflag７＝０では、第７フラグ（flag７）が０か否か、すなわち動き物体領域か否かが判断される。上述と同様にflag７＝１の場合、その領域は、動き物体として伝送され、flag７＝０の場合、ステップ９６へ制御が移る。ステップ９６の背景更新では、ステップ９５（連続回数計数）からの背景部分の連続回数フラグが得られ、図７に示すように入力画像と背景メモリとの比率が定まり、新たな背景部分に更新され、その背景部分が伝送される。
【００３９】
【発明の効果】
この発明に依れば、背景部分と動き物体およびその影の部分の分離を精度良く行うことができるため、その後の処理のバリエーションを広げることが可能となる。
【００４０】
さらに、この発明に依れば、背景部分と動き物体とを分離後、背景部分はほどんど変化がないため、時間方向で見たとき超高圧縮がはかれることから、ＭＤ（Mini Disk ）のような低ビットレートの記録媒体においても、高画質、長時間の記録を行うことが可能となる。
【図面の簡単な説明】
【図１】この発明の画像信号処理装置の一実施例を示すブロック図である。
【図２】この発明に係る縮小／拡大処理の説明に使用する略線図である。
【図３】この発明に係る動き領域判定回路の一例の詳細なブロック図である。
【図４】この発明に係る入力／背景比率判定の一例の詳細なブロック図である。
【図５】この発明に係る平均値と標準偏差を示した一例のグラフである。
【図６】この発明に係る背景更新制御と背景メモリの一例の詳細なブロックである。
【図７】この発明に係る入力画像と背景メモリからの画像との比率の一例を示すグラフである。
【図８】この発明の物体と影を抜き取る説明に用いる略線図である。
【図９】この発明の画像信号処理方法の一例を示すフローチャートである。
【符号の説明】
２  フレームメモリ
３、１０  減算器
４、１１  絶対値化回路
６、１３  比較回路
７  計数制御回路
８、２４  動き領域判定回路
９  連続回数メモリ
１４、１７、１９、２２、２３、２９、３０、３５  遅延回路
１５  ＡＮＤゲート
１６、２６  縮小／拡大回路
１８  除算器
２０  入力／背景比率判定回路
２７  影判定回路
２８  動き物体判定回路
３１  影メモリ
３３  動き物体メモリ
３６  背景更新制御回路
３７  背景メモリ
【図１】
0003852120.tif 000002
【図２】
0003852120.tif 000003
【図３】
0003852120.tif 000004
【図４】
0003852120.tif 000005
【図５】
0003852120.tif 000006
【図６】
0003852120.tif 000007
【図７】
0003852120.tif 000008
【図８】
0003852120.tif 000009
【図９】
0003852120.tif 000010