(57)【要約】【課題】照明変動等の環境光変動が起こった場合であっても、その変動がキー画像に現れることがなく、入力画像の背景と前景とを正しく判別可能なキー画像を生成する。【解決手段】背景差分装置１は、背景画像を記憶する背景画像記憶手段２０、入力画像と背景画像とを第１の閾値に基づいて比較し、比較結果を生成して背景画像の生成タイミングを制御する背景更新制御手段３０、過去の複数時点の入力画像を記憶する過去画像記憶手段１１、過去画像記憶手段１１に記憶された入力画像に対し、時間方向にフィルタ処理を行って背景画像を生成する時間フィルタ手段１２、前記比較結果に基づいて過去画像記憶手段１１及び時間フィルタ手段１２の処理タイミングを制御する制御手段１３、及び、入力画像と背景画像とを第２の閾値に基づいて比較し、キー画像を生成するキー画像生成手段４０を備える。【選択図】図１
2010219665.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の背景と前景とを区別したキー画像を、前記入力画像から背景画像を差し引く背景差分処理により生成する画像処理装置において、
過去の複数時点の前記入力画像から背景画像を生成する背景画像生成手段と、
前記背景画像生成手段により生成された背景画像を記憶する背景画像記憶手段と、
前記入力画像と前記背景画像記憶手段により記憶された背景画像とを第１の閾値に基づいて比較し、その比較結果に基づいて、前記背景画像生成手段により背景画像が生成されるタイミングを制御する背景更新制御手段と、
前記入力画像と前記背景画像記憶手段により記憶された背景画像とを第２の閾値に基づいて比較し、前記キー画像を生成するキー画像生成手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記背景画像生成手段は、
過去の複数時点の前記入力画像を記憶する過去画像記憶手段と、
前記過去画像記憶手段により記憶された入力画像の各画素位置に関して時間方向のフィルタ処理を行い、背景画像を生成する時間フィルタ手段と、
前記背景更新制御手段による比較結果に基づいて、前記時間フィルタ手段によりフィルタ処理が行われて背景画像が生成されるタイミングを制御する制御手段と、を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記背景画像生成手段の制御手段は、
前記背景更新制御手段による比較結果に基づいて、前記過去画像記憶手段により入力画像が記憶されるタイミング、及び、前記時間フィルタ手段によりフィルタ処理が行われて背景画像が生成されるタイミングを制御することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の閾値及び前記第２の閾値を設定するための閾値設定手段、を備えることを特徴とする請求項１から請求項３までのいずれか一項に記載の画像処理装置。
【請求項５】
入力画像の背景と前景とを区別したキー画像を、前記入力画像から背景画像を差し引く背景差分処理により生成する画像処理プログラムであって、コンピュータに、
過去の複数時点の前記入力画像から背景画像を生成するステップと、
前記生成した背景画像を記憶するステップと、
前記入力画像と前記記憶した背景画像とを第１の閾値に基づいて比較し、その比較結果に基づいて、前記背景画像を生成するタイミングを制御するステップと、
前記入力画像と前記記憶した背景画像とを第２の閾値に基づいて比較し、前記キー画像を生成するステップと、を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像の背景と前景とを区別したキー画像を生成する画像処理技術に関し、特に、入力画像と背景画像との間の差異に基づいてキー画像を生成する装置及びプログラムに関する。
【背景技術】
【０００２】
従来、動画像（入力画像）から動物体のみを検出する手法の研究開発が進められており、その手法として、例えば、クロマキー法、赤外光を用いた手法、背景差分法が知られている。クロマキー法は、ブルーバック等の特定の色を背景とするスタジオ等において被写体（動物体）を撮像し、撮像により得られた画像（入力画像）から、特定の色を判別して背景画像を生成し、背景画像以外を動物体であるとして、入力画像から動物体を検出するものである。赤外光を用いた手法は、被写体に赤外光を照射して距離画像を生成し、この距離画像を用いて入力画像から動物体を検出するものである。背景差分法は、入力画像には背景画像及び動物体の画像が含まれているとして、入力画像から背景画像を生成し、入力画像と背景画像との間の差異を求めることにより、入力画像から動物体を検出するものである。
【０００３】
クロマキー法を用いた例として、背景色の色の範囲を指定し、その指定した背景色に属するか否かを入力画像中において画素毎に判定することにより、キー画像を生成するクロマキー装置が知られている（特許文献１、特許文献２を参照）。
【０００４】
また、赤外光を用いた手法の例として、被写体に赤外光を照射することにより赤外光の往復遅延時間を算出し、往復遅延時間に基づいて画素毎の距離情報を抽出し、距離情報に基づいてキー画像を生成する装置が知られている（特許文献３を参照）。
【０００５】
さらに、背景差分法を用いた例として、過去の入力画像から背景画像を生成し、背景画像と入力画像との間の差分に基づいて、画素値変化が閾値未満の領域を背景とみなすことにより、キー画像を生成する背景差分装置（ディファレンスキー装置）が知られている（特許文献４、特許文献５、特許文献６を参照）。
【０００６】
ここで、キー画像とは、入力画像の背景と前景とを区別した画像をいい、例えば、背景と前景とを２値により区別した画像、または多値により区別した画像をいう。入力画像を分析してキー画像を生成する画像処理装置においては、入力画像の背景と前景とを正しく判別することが可能な精度の高いキー画像を生成することが重要視されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４００４８６３号公報
【特許文献２】特開２００７−１４２７２６号公報
【特許文献３】特許第４０３１３０６号公報
【特許文献４】特許第３２２８６３８号公報
【特許文献５】特許第３１２３５８７号公報
【特許文献６】特許第２８２８３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述した特許文献１，２のクロマキー装置では、クロマキーバックまたはクロマキースクリーン等と呼ばれる緑色または青色等の一様な色を有する布、板、壁等を背景として使用するか、または、芝生等の一様な自然物または人工物を背景として使用する必要があった。このため、予め設定された色を有する背景を用いる必要があり、画像処理を行うには制約を受けるという問題があった。
【０００９】
また、前述した特許文献３の、赤外光による往復遅延時間を用いた装置では、投射した赤外光が被写体に届く場合、すなわち、赤外光を照射可能な被写体を前景として扱う場合に、本手法を適用することができる。しかしながら、遠方に被写体が存在するため、投射した赤外光が被写体に届かない場合、すなわち、遠方の被写体を前景として扱いたい場合には、本手法の適用が難しいという問題があった。
【００１０】
さらに、前述した特許文献４，５の背景差分装置では、入力画像の空間的に局所的な特徴に基づいて背景画像の更新を制御し、キー画像を生成する。しかしながら、生成されるキー画像には、意図しないパターンが現れる恐れがあり、入力画像の背景と前景とを正しく判別することが可能な精度の高いキー画像が生成されないという問題があった。これは、例えば、照明変動等の環境光変動が起こり、入力画像の画素値が変化した場合であっても、一旦キー画像が生成されてしまい、その後に、変化した画素値に対応して背景画像が更新されるからである。つまり、変化した画素値によって意図しないパターンがキー画像に現れ、その後に、その意図しないパターンをキー画像から排除するための背景画像が生成されるからである。
【００１１】
また、前述した特許文献６の背景差分装置では、キー画像に含まれる意図しないノイズを除去するためのフィルタを用いている。しかしながら、このフィルタは、生成されたキー画像に対して処理を行い、キー画像のノイズを軽減するものである。したがって、このフィルタは、背景差分法を実行した後に使用されるものであり、その過程において使用されるものではない。すなわち、背景差分法のために用いるフィルタではない。
【００１２】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、背景差分法を用いてキー画像を生成する際に、照明変動等の環境光変動が起こった場合であっても、その変動がキー画像に現れることのない画像処理装置及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明では前記課題を解決するために、以下の構成に係るものとした。
【００１４】
請求項１に記載の画像処理装置は、入力画像の背景と前景とを区別したキー画像を、前記入力画像から背景画像を差し引く背景差分処理により生成する画像処理装置において、過去の複数時点の前記入力画像から背景画像を生成する背景画像生成手段と、前記背景画像生成手段により生成された背景画像を記憶する背景画像記憶手段と、前記入力画像と前記背景画像記憶手段により記憶された背景画像とを第１の閾値に基づいて比較し、その比較結果に基づいて、前記背景画像生成手段により背景画像が生成されるタイミングを制御する背景更新制御手段と、前記入力画像と前記背景画像記憶手段により記憶された背景画像とを第２の閾値に基づいて比較し、前記キー画像を生成するキー画像生成手段と、を備える構成とした。
【００１５】
かかる構成によれば、画像処理装置は、背景画像生成手段において、過去の入力画像から動物体を含む前景の映っていない背景のみの画像を合成し、背景画像記憶手段に記憶する。また、画像処理装置は、キー画像生成手段において、背景画像記憶手段に記憶された背景画像と入力画像とを比較して、キー画像を生成する。さらに、画像処理装置は、背景更新制御手段において、背景画像記憶手段に記憶された背景画像と入力画像とを比較して、背景画像生成手段が背景画像を生成するタイミングを制御する。
【００１６】
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記背景画像生成手段が、過去の複数時点の前記入力画像を記憶する過去画像記憶手段と、前記過去画像記憶手段により記憶された入力画像の各画素位置に関して時間方向のフィルタ処理を行い、背景画像を生成する時間フィルタ手段と、前記背景更新制御手段による比較結果に基づいて、前記時間フィルタ手段によりフィルタ処理が行われて背景画像が生成されるタイミングを制御する制御手段と、を備える構成とした。
【００１７】
かかる構成によれば、画像処理装置は、時間フィルタ手段において、制御手段によるタイミング制御に従って、過去画像記憶手段に記憶された過去の入力画像の各画素について時間方向のフィルタ処理を行って該画素の代表値を求めることにより背景画像を生成する。
【００１８】
請求項３に記載の画像処理装置は、請求項２に記載の画像処理装置において、前記背景画像生成手段の制御手段が、前記背景更新制御手段による比較結果に基づいて、前記過去画像記憶手段により入力画像が記憶されるタイミング、及び、前記時間フィルタ手段によりフィルタ処理が行われて背景画像が生成されるタイミングを制御するように構成した。
【００１９】
かかる構成によれば、画像処理装置は、過去画像記憶手段において、制御手段によるタイミング制御に従って、過去の複数時点の入力画像を順次記憶する。また、画像処理装置は、時間フィルタ手段において、制御手段によるタイミング制御に従って、過去画像記憶手段に記憶された過去の入力画像の各画素について時間方向のフィルタ処理を行って該画素の代表値を求めることにより背景画像を生成する。
【００２０】
請求項４に記載の画像処理装置は、請求項１から請求項３までのいずれか一項に記載の画像処理装置において、前記第１の閾値及び前記第２の閾値を設定するための閾値設定手段を備える構成とした。
【００２１】
かかる構成によれば、画像処理装置は、閾値設定手段において、背景更新制御手段にて使用される第１の閾値と、キー画像生成手段にて使用される第２の閾値とを、使用者の操作に従って設定及び変更する。
【００２２】
本発明を画像処理装置として説明したが、本発明はこれらに実質的に相当するプログラムとしても実現し得るものであり、本発明には、画像処理プログラムも包含される。すなわち、請求項５に記載の画像処理プログラムは、入力画像の背景と前景とを区別したキー画像を、前記入力画像から背景画像を差し引く背景差分処理により生成する画像処理プログラムであって、コンピュータに、過去の複数時点の前記入力画像から背景画像を生成するステップと、前記生成した背景画像を記憶するステップと、前記入力画像と前記記憶した背景画像とを第１の閾値に基づいて比較し、その比較結果に基づいて、前記背景画像を生成するタイミングを制御するステップと、前記入力画像と前記記憶した背景画像とを第２の閾値に基づいて比較し、前記キー画像を生成するステップと、を実行させる構成とした。
【発明の効果】
【００２３】
以上のように、本発明によれば、照明変動等の環境光変動が起こって背景が変わった場合であっても、その変動がキー画像に反映される前に、背景画像を更新して、その変動が反映された背景画像を生成するようにした。したがって、キー画像は、その変動が反映された背景画像に基づいて生成されるから、その変動がキー画像に現れることがない。したがって、入力画像の背景と前景とを精度高く判別することが可能なキー画像を生成することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態による背景差分装置の構成を示すブロック図である。
【図２】背景画像生成手段の構成を示すブロック図である。
【図３】背景差分装置における動作の概略を説明するフロー図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について図面を参照して詳細に説明する。
〔背景差分装置の構成〕
まず、背景差分装置の構成について説明する。図１は、本発明の実施形態による背景差分装置の構成を示すブロック図である。この背景差分装置（画像処理装置）１は、背景画像生成手段１０、背景画像記憶手段２０、背景更新制御手段３０、キー画像生成手段４０及び閾値設定手段５０を備えている。
【００２６】
閾値設定手段５０は、マンマシンインタフェースであり、第１の閾値θ１及び第２の閾値θ２を設定する。閾値設定手段５０により設定された第１の閾値θ１は背景更新制御手段３０に出力され、第２の閾値θ２はキー画像生成手段４０に出力される。例えば、回転式のつまみまたは並進式のスライダを操作する使用者（オペレータ）が第１の閾値θ１及び第２の閾値θ２を増減することにより、閾値設定手段５０は、第１の閾値θ１及び第２の閾値θ２を設定する。尚、使用者のキー操作による閾値の増減または数値指定によって、設定するようにしてもよい。ここで、第１の閾値θ１を使用する背景更新制御手段３０が、第２の閾値θ２を使用するキー画像生成手段４０よりも、入力画像の変動に対して敏感に動作するように、θ１＜θ２に設定される。
【００２７】
背景更新制御手段３０は、入力画像を入力すると共に、背景画像記憶手段２０から背景画像を読み出して入力し、閾値設定手段５０から第１の閾値θ１を入力する。そして、背景更新制御手段３０は、現在の入力画像の画素値Ｉ（ｔ，ｘ，ｙ）、背景画像の画素値Ｂ（ｘ，ｙ）及び閾値θ１に基づいて、判定結果ｆを生成する。背景更新制御手段３０により生成された判定結果ｆは、背景画像生成手段１０に出力される。ここで、時刻ｔ、画素位置（ｘ，ｙ）（ｘは水平座標、ｙは垂直座標）における入力画像の画素値をＩ（ｔ，ｘ，ｙ）とし、背景画像の画素値をＢ（ｘ，ｙ）とする。
【００２８】
具体的には、背景更新制御手段３０は、第１の閾値θ１を画像全体に対する閾値として扱い、入力画像の画素値Ｉ（ｔ，ｘ，ｙ）と背景画像の画素値Ｂ（ｘ，ｙ）との間で差分値の絶対値を画素毎に算出し、全ての画素における絶対値の和が第１の閾値θ１を超えたか否かを判定し、判定結果ｆを求める。以下の式により、絶対値の和が第１の閾値θ１を超えたと判定した場合はｆ＝１に設定し、超えていないと判定した場合はｆ＝０に設定する。
【数１】
2010219665.tif 000003
【００２９】
尚、背景更新制御手段３０は、第１の閾値θ１を１つの画素に対する閾値として扱い、入力画像の画素値Ｉ（ｔ，ｘ，ｙ）と背景画像の画素値Ｂ（ｘ，ｙ）との間で差分値の絶対値を画素毎に算出し、画素毎の絶対値が第１の閾値θ１を越えたか否かを判定し、第１の閾値θ１を越えた画素の数を算出する。そして、その数が一定の割合φを超えたか否かを判定し、判定結果ｆを求めるようにしてもよい。以下の式により、その数が一定の割合φを越えたと判定した場合はｆ＝１に設定し、越えていないと判定した場合はｆ＝０に設定する。
【数２】
2010219665.tif 000004
【００３０】
また、背景更新制御手段３０は、第１の閾値θ１を画像全体に対する閾値として扱い、入力画像の画素値Ｉ（ｔ，ｘ，ｙ）と背景画像の画素値Ｂ（ｘ，ｙ）との間で差分値の絶対値を画素毎に算出し、全ての画素における絶対値の和を第１の閾値θ１で除算し、その除算結果を判定結果ｆとして求めるようにしてもよい。以下の式により判定結果ｆが求められる。
【数３】
2010219665.tif 000005
【００３１】
このように、背景更新制御手段３０により生成される判定結果ｆは、入力画像と背景画像との間の差異の程度を表した数値であり、その差異が大きいほど大きな値が設定される。また、判定結果ｆは、第２の閾値θ２よりも小さい値の第１の閾値θ１に基づいて生成されるから、背景に変動があった場合には、その背景の変動は、キー画像生成手段４０において第２の閾値θ２に基づいて生成されるキー画像よりも、判定結果ｆの方に時間的に速く反映される。
【００３２】
背景画像生成手段１０は、入力画像を入力すると共に、背景更新制御手段３０から判定結果ｆを入力し、判定結果ｆに基づいて、入力画像を所定の時間間隔Ｓでメモリに記憶する。また、判定結果ｆに基づいて、メモリから所定量の入力画像（過去画像）を読み出し、過去の入力画像群に対して時間的なフィルタ処理を行い、背景画像を生成する。背景画像生成手段１０により生成された背景画像は、背景画像記憶手段２０に出力され記憶される。
【００３３】
入力画像の画素値Ｉ（ｔ，ｘ，ｙ）は、モノクロームのカメラ（赤外カメラ等を含む）においては輝度情報を表わすスカラー量であり、カラーまたは多波長のカメラにおいては色（または波長、分光特性）毎の輝度情報を表わすベクトル量である。
【００３４】
一方、背景画像の画素値Ｂ（ｘ，ｙ）は、入力画像の画素値Ｉ（ｔ，ｘ，ｙ）と同様の次元のスカラー量またはベクトル量を表すものであってもよいし、カラー画像をモノクローム化したスカラー量であってもよい。また、画素毎の分散値を記憶するための、より高次元のベクトル量またはテンソル量であってもよい。以下、背景画像の画素値Ｂ（ｘ，ｙ）は、入力画像の画素値Ｉ（ｔ，ｘ，ｙ）と同様の次元を有するスカラー量またはベクトル量であるとして説明する。
【００３５】
図２は、図１に示した背景画像生成手段１０の構成を示すブロック図である。この背景画像生成手段１０は、過去画像記憶手段１１、時間フィルタ手段１２及び制御手段１３を備えている。
【００３６】
制御手段１３は、背景更新制御手段３０から判定結果ｆを入力し、判定結果ｆに基づいて時間間隔Ｓを設定し、その時間間隔Ｓ毎に記憶タイミング信号を生成する。制御手段１３により生成された記憶タイミング信号は、過去画像記憶手段１１に出力される。これにより、過去画像記憶手段１１は、入力画像を時間間隔Ｓで、画像メモリに記憶することになる。詳細については後述する。時間間隔Ｓは、前回入力画像を過去画像記憶手段１１に記憶させたタイミングと、今回入力画像を過去画像記憶手段１１に記憶させるタイミングとの間の時刻差である。
【００３７】
具体的には、制御手段１３は、判定結果ｆの値が小さい場合は時間間隔Ｓが長くなり、判定結果ｆの値が大きい場合は時間間隔Ｓが短くなるように、時間間隔Ｓを設定する。また、背景更新制御手段３０は、以下の式により、値域が０を超える減少関数ｇ（ｆ）を用いて、時間間隔Ｓを設定するようにしてもよい。
【数４】
2010219665.tif 000006
例えば、減少関数ｇ（ｆ）として、以下のステップ関数を用いるようにしてもよい。
【数５】
2010219665.tif 000007
ここで、Ｓ０＞Ｓ１＞０とする。また、以下の折れ線関数を用いるようにしてもよい。
【数６】
2010219665.tif 000008
【００３８】
また、制御手段１３は、前述した時間間隔Ｓの設定及び記憶タイミング信号の生成に加え、判定結果ｆに基づいて、動作信号または非動作信号を生成する。制御手段１３により生成された動作信号または非動作信号は、時間フィルタ手段１２に出力される。これにより、時間フィルタ手段１２は、動作信号を入力すると、過去画像記憶手段１１から所定量の入力画像群を読み出し、時間方向のフィルタ処理を行い、背景画像を生成する。詳細については後述する。
【００３９】
具体的には、制御手段１３は、判定結果ｆの値と予め設定された一定値とを比較し、判定結果ｆの値が一定値を超えたとき（例えば、ｆ＞０．５のとき）に、時間フィルタ手段１２を動作させるための動作信号を生成し、時間フィルタ手段１２に出力する。また、制御手段１３は、判定結果ｆの値が一定値を超えないとき（例えば、ｆ≦０．５のとき）に、時間フィルタ手段１２を動作させないための非動作信号を生成し、時間フィルタ手段１２に出力する。
【００４０】
過去画像記憶手段１１は、画像メモリを有しており、入力画像を入力すると共に、制御手段１３から時間間隔Ｓ毎の記憶タイミング信号を入力し、記憶タイミング信号を入力したタイミングで、入力画像を画像メモリに記憶する。過去画像記憶手段１１の画像メモリには、過去の入力画像の画素値Ｉ（ｔ’，ｘ，ｙ）（但し、ｔ’＜現在の時刻ｔ）がＮ時点分（Ｎは２以上の整数）記憶される。以下、過去画像記憶手段１１に記憶される過去の入力画像の時刻を、ｔ１，ｔ２，・・・，ｔＮ（但し、ｔ＞ｔ１＞ｔ２＞・・・＞ｔＮ）とする。過去画像記憶手段１１は、すでにＮ時点分の入力画像を記憶している場合、記憶タイミング信号を入力したタイミングで新たな入力画像を画像メモリに記憶するには、記憶しているＮ時点分の入力画像（Ｎ枚の過去の入力画像）のうち、最も過去の入力画像に上書きする。この場合、新たな入力画像は、入力画像の画素値Ｉ（ｔ１，ｘ，ｙ）として記憶される。これにより、過去画像記憶手段１１は、常に、Ｎ時点分における過去の入力画像の画素値（ｔ’，ｘ，ｙ）を画像メモリに記憶することができる。尚、過去画像記憶手段１１は、現在の入力画像の画素値も記憶するようにしてもよい。
【００４１】
時間フィルタ手段１２は、制御手段１３から動作信号または非動作信号を入力し、動作信号を入力したタイミングで、過去画像記憶手段１１から最大Ｎ枚の過去の入力画像群を過去画像として読み出す。そして、時間フィルタ手段１２は、これらの入力画像群である過去画像に基づいて、時間方向のフィルタ処理を行って背景画像を生成する。時間フィルタ手段１２により生成された背景画像は、背景画像記憶手段２０の画像メモリに記憶される。
【００４２】
時間フィルタ手段１２は、制御手段１３から非動作信号を入力しているときには、入力画像の読み出し処理、フィルタ処理等を行わず、動作信号を入力したタイミングで、過去画像記憶手段１１から入力画像群を読み出してフィルタ処理を行い、背景画像を生成して背景画像記憶手段２０に書き込む。
【００４３】
尚、時間フィルタ手段１２は、過去画像記憶手段１１から読み出した最大Ｎ枚の過去の入力画像群の全てを用いて処理を行うようにしてもよいし、一部を用いて処理を行うようにしてもよい。過去画像記憶手段１１から読み出した過去の入力画像群の時刻のうち、時間フィルタ手段１２がフィルタ処理を行う入力画像の時刻の集合をＴとすると、典型的には、以下の式で表される。
【数７】
2010219665.tif 000009
【００４４】
時間フィルタ手段１２は、フィルタ処理において、例えば、過去画像記憶手段１１から読み出した過去の入力画像群に対し、画素位置毎に時間方向の順序統計を行い、生成する背景画像Ｂ（ｘ，ｙ）における画素位置の画素値を決定する。具体的には、時間フィルタ手段１２は、順序統計フィルタとして機能し、順序統計として以下の式によって中央値（メディアン）演算を行い、背景画像の画素値Ｂ（ｘ，ｙ）を生成する。ｍｅｄは中央値演算を表す。
【数８】
2010219665.tif 000010
尚、入力画像がカラー画像の場合、時間フィルタ手段１２は、色成分毎に中央値演算処理を行ってもよいし、入力画像をモノクローム画像に変換してから中央値演算処理を行い、モノクロームにおける背景画像の画素値Ｂ（ｘ，ｙ）を生成するようにしてもよい。
【００４５】
このように、背景画像生成手段１０の制御手段１３によれば、判定結果ｆに基づいて、入力画像を記憶する時間間隔Ｓを設定するようにした。これにより、入力画像において背景の変動が速い場合には、入力画像と背景画像との間の差異の程度を表す判定結果ｆは大きな値になり、時間間隔Ｓが短くなるから、過去画像記憶手段１１には細かく刻んだ時刻毎の入力画像が記憶される。これに対し、背景の変動がほとんどない場合には、判定結果ｆは小さな値になり、時間間隔Ｓが長くなるから、過去画像記憶手段１１にはさほど細かく刻まれない時刻毎の入力画像が記憶される。したがって、背景の変動速度が反映された時間長の入力画像群によって、時間フィルタ手段１２によりフィルタ処理が行われるから、背景の変動速度が反映された背景画像が生成され、それによってキー画像が生成される。つまり、その変動がキー画像に現れることがなく、入力画像の背景と前景とを精度高く判別することが可能なキー画像を生成することが可能となる。
【００４６】
尚、背景画像生成手段１０の制御手段１３は、予め設定された固定の時間間隔Ｓ（例えば、１００フレーム間隔の時間長）によって記憶タイミング信号を生成し、過去画像記憶手段１１は、その固定の時間間隔Ｓで入力画像を記憶するようにしてもよい。
【００４７】
また、背景画像生成手段１０の制御手段１３によれば、判定結果ｆに基づいて、時間フィルタ手段１２を動作させるための動作信号、または動作させないための非動作信号を生成し、時間フィルタ手段１２に出力するようにした。これにより、入力画像において背景の変動が速い場合には、入力画像と背景画像との間の差異の程度を表す判定結果ｆは大きな値になり、一定値を超えると動作信号が生成されるから、時間フィルタ手段１２が動作して、背景の変動が反映された背景画像が生成される。したがって、背景の変動が反映された背景画像によってキー画像が生成される。つまり、その変動がキー画像に現れることがなく、入力画像の背景と前景とを精度高く判別することが可能なキー画像を生成することが可能となる。これに対し、背景に変動がほとんどない場合には、判定結果ｆは小さな値になり、非動作信号が生成されるから、時間フィルタ手段１２は動作せず、すでに記憶されている背景画像によってキー画像が生成される。この場合、背景の変動がほとんどないから、生成されるキー画像の精度が低下することはない。また、キー画像の精度に影響を及ぼすことがないときには、時間フィルタ手段１２を動作させないようにしたから、無駄な動作がなくなり、効率的な処理を実現することができる。
【００４８】
尚、背景画像生成手段１０は制御手段１３を備えるようにしたが、背景更新制御手段３０が制御手段１３を備えるようにしてもよい。この場合、背景画像生成手段１０は、過去画像記憶手段１１及び時間フィルタ手段１２を備え、背景更新制御手段３０の制御手段１３は、記憶タイミング信号を背景画像生成手段１０の過去画像記憶手段１１に出力し、動作信号または非動作信号を背景画像生成手段１０の時間フィルタ手段１２に出力する。
【００４９】
図１に戻って、背景画像記憶手段２０は、画像メモリを有しており、背景画像生成手段１０により生成された背景画像Ｂ（ｘ，ｙ）を入力し、画像メモリに記憶する。
【００５０】
キー画像生成手段４０は、入力画像を入力すると共に、背景画像記憶手段２０から背景画像を読み出して入力し、閾値設定手段５０から第２の閾値θ２を入力する。そして、キー画像生成手段４０は、現在の入力画像の画素値Ｉ（ｔ，ｘ，ｙ）、背景画像の画素値Ｂ（ｘ，ｙ）及び閾値θ２に基づいて、キー画像Ｋ（ｔ，ｘ，ｙ）を生成して出力する。
【００５１】
キー画像Ｋ（ｔ，ｘ，ｙ）は２値であってもよいし、多値であってもよい。２値の場合は、例えば、キー画像Ｋ（ｔ，ｘ，ｙ）＝１のときに、その入力画像Ｉ（ｔ，ｘ，ｙ）の画素位置（ｘ，ｙ）における画像は前景にあり、キー画像Ｋ（ｔ，ｘ，ｙ）＝０のときに、その入力画像Ｉ（ｔ，ｘ，ｙ）の画素位置（ｘ，ｙ）における画像は背景にあるものとして定義される。多値の場合は、例えば、キー画像Ｋ（ｔ，ｘ，ｙ）∈［０，１］とし、キー画像Ｋ（ｔ，ｘ，ｙ）の値が大きいほどその画素位置（ｘ，ｙ）における画像は前景にある可能性が高く、その値が小さいほど背景にある可能性が高いものとして定義される。
【００５２】
具体的には、キー画像生成手段４０は、以下の式により、２値のキー画像Ｋ（ｔ，ｘ，ｙ）を生成する。
【数９】
2010219665.tif 000011
【００５３】
また、キー画像生成手段４０は、以下の式により、多値のキー画像Ｋ（ｔ，ｘ，ｙ）を生成する。
【数１０】
2010219665.tif 000012
ここで、第２の閾値θ２は、下側閾値θ２ａ及び上側閾値θ２ｂであるものとする。尚、θ２ａ＜θ２ｂである。
【００５４】
このようにして、キー画像生成手段４０は、現在の入力画像の画素値Ｉ（ｔ，ｘ，ｙ）、背景画像の画素値Ｂ（ｘ，ｙ）及び閾値θ２に基づいて、キー画像Ｋ（ｔ，ｘ，ｙ）を生成して出力する。キー画像Ｋ（ｔ，ｘ，ｙ）は第２の閾値θ２に基づいて生成されるから、入力画像において背景に変動があった場合には、その背景の変動は、先に、背景更新制御手段３０において第１の閾値θ１に基づいて生成される判定結果ｆ、及び、背景画像生成手段１０においてその判定結果ｆに基づいて生成される背景画像に反映される。そして、キー画像生成手段４０は、背景の変動が反映された背景画像に基づいてキー画像Ｋ（ｔ，ｘ，ｙ）を生成するから、背景の変動は、キー画像Ｋ（ｔ，ｘ，ｙ）に現れることがない。したがって、入力画像の背景と前景とを精度高く判別することが可能なキー画像Ｋ（ｔ，ｘ，ｙ）を生成することが可能となる。尚、入力画像の背景に変動があった場合に、まずその変動が背景画像に反映され、その後に、その背景画像に基づいてキー画像Ｋ（ｔ，ｘ，ｙ）が生成されるように、閾値設定手段５０において、第１の閾値θ１及び第２の閾値θ２が設定される。また、制御手段１３において、時間フィルタ手段１２を動作させて背景画像を生成させるための動作信号の生成条件である一定値が設定される。
【００５５】
〔動作〕
次に、図１に示した背景差分装置１の動作について説明する。図３は、背景差分装置１における動作の概略を説明するフロー図である。まず、背景差分装置１の閾値設定手段５０は、第１の閾値θ１及び第２の閾値θ２を設定する（ステップＳ３０１）。ここで設定される第１の閾値θ１及び第２の閾値θ２は、θ１＜θ２である。これは、入力画像の背景が変動した場合に、その変動がキー画像に反映される前に、変動が反映された背景画像を生成し、変動がキー画像に影響を与えないようにするためである。すなわち、第２の閾値θ２を用いてキー画像を生成するキー画像生成手段４０よりも先に、第１の閾値θ１を用いる背景更新制御手段３０が、背景画像生成手段１０に背景画像を生成させるためである。
【００５６】
背景画像生成手段１０の制御手段１３は、入力画像、背景画像及び第１の閾値θ１に基づいて、判定結果ｆを生成する（ステップＳ３０２）。ここで生成される判定結果ｆには、入力画像の背景が変動した場合、後述するステップＳ３０５において生成されるキー画像よりも先に、その変動が反映される。
【００５７】
背景画像生成手段１０の過去画像記憶手段１１は、制御手段１３において生成された判定結果ｆによる記憶タイミング信号に従って、入力画像を記憶する（ステップＳ３０３）。また、背景画像生成手段１０の時間フィルタ手段１２は、制御手段１３において生成された判定結果ｆによる動作信号に従って、過去画像記憶手段１１から入力画像群を過去画像として読み出し、時間方向のフィルタ処理を施して背景画像を生成する（ステップＳ３０４）。ここで生成される背景画像には、判定結果ｆと同様に、入力画像の背景が変動した場合、後述するステップＳ３０５において生成されるキー画像よりも先に、その変動が反映される。
【００５８】
キー画像生成手段４０は、入力画像、背景画像及び第２の閾値θ２（第１の閾値θ１よりも大きい値）に基づいて、キー画像を生成する（ステップＳ３０５）。
【００５９】
以上のように、本発明の実施形態による背景差分装置１によれば、照明変動等の環境光変動が起こって入力画像の背景が変動した場合、まず、背景更新制御手段３０が背景画像生成手段１０に、その変動が反映された背景画像を生成させるようにした。そして、その後に、キー画像生成手段４０が、変動が反映された背景画像を用いて、キー画像を生成するようにした。これにより、入力画像の変動は背景画像に吸収されるから、キー画像に影響を及ぼすことがない。したがって、入力画像の背景の変動に起因して、キー画像にノイズが発生することがなく、そのノイズの発生を未然に防ぐことができる。すなわち、入力画像の背景と前景とを精度高く判別するキー画像を生成することができる。
【００６０】
また、本発明の実施形態による背景差分装置１によれば、背景画像生成手段１０の過去画像記憶手段１１が、過去の入力画像を所定時点分記憶するようにした。これにより、過去の入力画像群を用いて背景画像を生成するために、フィルタとして時間フィルタを用いることができる。
【００６１】
また、本発明の実施形態による背景差分装置１によれば、閾値設定手段５０が、背景更新制御手段３０により使用される第１の閾値θ１、及び、キー画像生成手段４０により使用される第２の閾値θ２を、θ１＜θ２になるよう設定するようにした。これにより、背景更新制御手段３０が背景画像生成手段１０に、入力画像の変動が反映された背景画像を生成させた後に、キー画像生成手段４０が、その変動が反映された背景画像を用いて、キー画像を生成することができる。したがって、入力画像の背景の変動に起因して、キー画像にノイズが発生することがなく、そのノイズの発生を未然に防ぐことができる。すなわち、入力画像の背景と前景とを精度高く判別するキー画像を生成することができる。また、第１の閾値θ１及び第２の閾値θ２を調整することにより、所望のキー画像を生成することができる。
【００６２】
尚、背景差分装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。背景差分装置１に備えた背景画像生成手段１０、背景画像記憶手段２０、背景更新制御手段３０、キー画像生成手段４０及び閾値設定手段５０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【符号の説明】
【００６３】
１  背景差分装置
１０  背景画像生成手段
１１  過去画像記憶手段
１２  時間フィルタ手段
１３  制御手段
２０  背景画像記憶手段
３０  背景更新制御手段
４０  キー画像生成手段
５０  閾値設定手段
【図１】
2010219665.tif 000013
【図２】
2010219665.tif 000014
【図３】
2010219665.tif 000015