(57)【要約】【課題】使用するメモリの量を抑えつつ、継続的に画像の前景部分を検出すること。【解決手段】時系列の画像を入力する画像入力部と、画像入力部が入力した画像の部分領域毎に、時系列の画素値の変動の度合いを表す変動度を算出する変動度算出部と、変動度算出部が算出した変動度に応じて、部分領域毎に前景らしさを表す前景度を取得する前景度取得部と、前景度取得部が算出した前景度に基づいて入力画像の前景部分を検出する前景検出部と、を備え、前景度取得部は、変動度が所定の閾値を超えた場合に最も大きい前景度を取得し、変動度が所定の閾値を超えた画像から時系列上で離れた画像であるほど減少した前景度を取得する前景検出装置。【選択図】図１
2014081676.tif 000002
【特許請求の範囲】
【請求項１】
時系列の画像を入力する画像入力部と、
前記画像入力部が入力した前記画像の部分領域毎に、時系列の画素値の変動の度合いを表す変動度を算出する変動度算出部と、
前記変動度算出部が算出した前記変動度に応じて、前記部分領域毎に前景らしさを表す前景度を取得する前景度取得部と、
前記前景度取得部が算出した前記前景度に基づいて入力画像の前景部分を検出する前景検出部と、
を備え、
前記前景度取得部は、前記変動度が所定の閾値を超えた場合に最も大きい前景度を取得し、前記変動度が所定の閾値を超えた画像から時系列上で離れた画像であるほど減少した前景度を取得する前景検出装置。
【請求項２】
前記部分領域のカウンタ値として、前記変動度が所定の閾値を超えた場合に初期値を設定し、前記変動度が所定の閾値を超えた画像から時系列上で離れたことに応じて前記カウンタ値を前記初期値から離れた値に更新するカウンタ値更新部を更に備え、
前記前景度取得部は、前記カウンタ値に基づいて前記前景度を取得する請求項１に記載の前景検出装置。
【請求項３】
前記前景度又は前記変動度に応じて、前記カウンタ値更新部が前記カウンタ値を更新する際に用いる係数を変更する更新係数調整部を更に備える請求項２に記載の前景検出装置。
【請求項４】
時系列の画像を入力する画像入力ステップと、
前記画像の部分領域毎に、時系列の画素値の変動の度合いを表す変動度を算出する変動度算出ステップと、
前記変動度に応じて、前記部分領域毎に前景らしさを表す前景度を取得する前景度取得ステップと、
前記前景度に基づいて入力画像の前景部分を検出する前景検出ステップと、
を有し、
前記前景度取得ステップにおいて、前記変動度が所定の閾値を超えた場合に最も大きい前景度を取得し、前記変動度が所定の閾値を超えた画像から時系列上で離れた画像であるほど減少した前景度を取得する前景検出方法。
【請求項５】
コンピュータを、請求項１から３のいずれか１項に記載の前景検出装置として動作させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の前景を検出する画像処理技術に関する。
【背景技術】
【０００２】
撮影された映像を人物が同じ場所に留まりあまり大きく動かない状況について、図４を用いて具体的に説明する。図４は、人物が同じ場所に留まりあまり大きく動かない状況を表した図である。図４（Ａ）は、時刻Ｔ＝Ｔ１に撮影された画像３０１−１を表す図である。図４（Ｂ）は、時刻Ｔ＝Ｔ２に撮影された画像３０１−２を表す図である。図４（Ｃ）は、時刻Ｔ＝Ｔ３に撮影された画像３０１−３を表す図である。図４（Ａ）〜（Ｃ）に示される符号３０２−１〜３０２−３は、それぞれの画像に写っている人物の輪郭を表す。
【０００３】
一般にカメラで撮影される画像は、被写体（例えば、人物）が殆ど動かない場合（図４（Ａ）〜（Ｃ）に示されている状態）であっても一定の変動を持っている。例えば、ノイズの影響により一定の変動が生じる。ノイズは、半導体素子や電子回路で発生したり、照明光の細かな明滅などの影響で発生する。上記事情により、撮影される画像の画素値の変動は、一般的には背景部分と前景部分とでそれぞれ以下のようになる。
ａ．背景部分（壁など静止している被写体が撮影された領域）：一定の画素値の変動が観測される。
ｂ．前景部分（人や車などの動く被写体が撮影された領域）：画素値の変動が背景部分よりも大きい。また、自然な状況では生物（人間など）は静止し続けることが困難であるため、時折大きな画素値の変動が生じる。ただし、前景部分の被写体がほぼ静止している状況（例えば被写体が眠っている状況）では、前景部分の画素値の変動と背景部分の画素値の変動との差は小さい。
【０００４】
図５は、上記ａ及びｂそれぞれの状況において撮影された画像（フレーム）の画素値の変動量の具体例を表す図である。図５に示される折れ線グラフは、フレームに応じた画素値の変動量を表す。折れ線４００は前景部分の画素値の変動量を表し、折れ線５００は背景部分の画素値の変動量を表す。画像の画素値の変動量は、複数の画像間で同箇所の画素値に基づいて算出される。例えば、画素値の変動量は、ｎ−１番目の画像及びｎ番目の画像において同箇所の画素値の差分であっても良いし、過去一定枚数の画像の画素値の平均値と最新の画像の画素値との差分であっても良い。
一般に、映像中の前景部分と背景部分とを分類する技術は前景検出技術と呼ばれる。前景検出技術の具体例には、背景差分技術や動体検知技術がある。前景検出技術には、様々な方法が提案されている。
【０００５】
現在、最も有効とされている方法の一つとして以下のような方法がある。まず、過去に撮影された画像の画素値の変動を統計的にモデル化する。次に、画素値の変動を表す統計量を算出する。そして、算出された統計量に基づいて、相対的に画素値の変動が大きくなる（前景部分と思われる画素値に近くなったと判断される）画素を前景部分とみなす。なお、推定する背景部分や前景部分のモデルは、単一もしくは複数のガウス分布で近似する方法が一般的である（例えば、非特許文献１参照）。
非特許文献１の方法は、背景部分（又は前景部分）の画素値の変動状況を学習することができる。そのため、前景部分と背景部分とを区別するための閾値を予め設定しておく必要がないというメリットがある。しかし、上述したように人物がほぼ同じ場所に留まる状況においては、本来は前景部分と判断されるべき人物部分の画素値の変動を背景部分として学習してしまう。その結果、前景部分が前景部分として正しく検出されない（前景部分を背景部分と誤って判断してしまう）ケースが生じる。したがって、人物がほぼ同じ場所に留まる状況では、学習を行わない方法が有効となることが多い。学習を行わない方法の具体例として、以下に示す２つの方法がある。
【０００６】
一つ目の方法として特許文献１に示す方法がある。特許文献１では、過去一定時間（一定のフレーム数）の画像をメモリ上に記録しておき、過去一定時間に撮影された画像の各画素値の変動量（画素値の分散もしくは標準偏差）を算出する。そして、その変動量の大きさに従ってぼかし強度を調整しながら、前景部分に相当する人物領域をぼかす処理を行っている。この際、画素値の変動量の大きさとぼかし強度との関係は予め固定的に設定されている。
特許文献１の方法であれば、予め画素値の変動量の大きさとぼかし強度との関係を指定しておく必要はあるものの、人物がほぼ同じ場所に留まる状況においても継続的に人物領域を前景部分と判断することが可能となる。したがって、前景部分をぼかし続けることも可能となる。
【０００７】
さらに特許文献１について具体的に説明する。例えば、秒５フレームのフレームレートで２０フレーム、４秒分の画像を全て記録しながら、分散値（画素値の変動度合い）を算出する場合を考える。前景部分に対応する画素においては、動きの小さい場合でも背景部分より少し大きめの分散値が算出されると共に、これに加わる形で、時折発生する大きな変動を含めた分散値が算出される。そのため、例えば、４秒の間に１〜２回であっても大きな画素値の変動が観測されると、その画素の分散は背景のノイズレベルと比べて有意に大きな値をとる。したがって背景部分と前景部分とを区別する（もしくは背景らしさ、前景らしさを適正に算出する）ことが可能となる。
【０００８】
次に二つ目の方法について説明する。二つ目の方法として指数加重平均を用いた方法がある。これは、時刻ｔに撮影された画像の画素の画素値をＩ（ｔ）とし、時刻ｔ−１まで計算された画素値の平均値をＩａｖｇ（ｔ−１）として、時刻ｔにおける平均値Ｉａｖｇ（ｔ）を式１に基づいて算出する方法である。
【数１】
2014081676.tif 000003
ただし、α（更新係数）の値は、０＜α＜１である。
【０００９】
この方法によって、更新された新たな平均値Ｉａｖｇ（ｔ）が反映され、かつ過去の平均値の寄与が徐々に小さくなっていく。その結果、実質的に過去一定時間（一定フレーム数）の統計量を算出することができる。具体的には、Ｉ（ｔ）を画像の画素値とすれば、Ｉａｖｇ（ｔ）は画素値の平均値（移動平均値）となる。また、Ｉ（ｔ）を、上記の平均値Ｉａｖｇ（ｔ）と最新の画像の画素値との差分（差分の二乗）とすれば、画素値の変動度合い（分散）を算出できる。この方法を用いれば、一定の係数αに従い最新の統計量（平均や分散など）を一つ前の統計量にブレンド（加重平均を算出）する形で統計量を更新していくことができる。さらに、統計量を記録するメモリは各々１つずつあれば良いので、少ないメモリでも実装できる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１２−１０３７４２号公報
【非特許文献】
【００１１】
【非特許文献１】C. Stauffer, W. E. L. Grimson, “Adaptive background mixture models for real-time tracking”, Computer Vision and Pattern Recognition, IEEE Computer Society Conference on. vol. 2, 1999.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
特許文献１の方法では、過去一定の枚数の画像をメモリ上に記録しておく必要がある。そのため、利用できるメモリ容量によっては、特許文献１の方法を適用できないケースがある。
それに対して指数加重平均を用いた方法は、少ないメモリでの実装が可能である。しかし、指数加重平均を用いた方法では、後述するように、統計量の更新が指数関数的になる。そのため、特許文献１の方法と比べ、前景部分を検出する精度が低下してしまう。
【００１３】
図６を用いて具体的に説明する。図６は、統計量における寄与率の変化を表す図である。図６において、縦軸は統計量における寄与率を表し、横軸はフレーム数を表す。寄与率とは、あるフレームにおいて前景部分に生じた画素値の変化が、その後のフレームに対して与える影響の大きさを表す。図６には、ｔ＝０の時点で前景部分の画素値に大きな変化が生じた場合の寄与率の変化について、複数の手法それぞれの想定値が示されている。
『過去フレーム記憶』は、過去２０フレームを記憶し、その２０枚から平均値と分散を算出する方法である。この手法の場合、ｔ＝０のフレームで生じた画素値の変化は、その後の２０フレームにわたり均等に反映され続けることになる。この場合、分散値を算出する２０フレームの一つであるから、一回の変動の分散値に対する寄与率は１／２０となる。従って４秒に１回程度の割合で大きな動きが観測されると、その画素は継続的に前景と判断されるか、もしくは前景らしさを示す値が継続して高い値となる。
【００１４】
『更新係数０．５』、『更新係数０．１』及び『更新係数０．０４』は、指数加重平均を用いた方法である。更新係数０．５では、大きな動きが観測されてからわずか５フレームでその情報は反映されなくなる。例えば、背景部分のノイズレベル（背景部分の画素値の変動）が信号値の２％程度である場合、４秒に１回程度の割合で大きな動きが観測されたとしても、頻繁に前景部分と背景部分との区別がつかなくなる状況が発生する。なぜなら、前景部分と背景部分とで分散値が同じような値となってしまうためである。
更新係数０．１では、更新係数０．５と比べて寄与率は多くのフレーム数に渡って維持される。しかし、１２，３フレームでノイズレベルと区別がつかなくなってしまう。
更新係数０．０４では、更新係数があまりに小さいため、大きな変動があった場合の寄与率が最初から小さい値となってしまう。そのため、寄与率の変化は小さいものの、ノイズとの区別がつきにくくなってしまう。
このように、指数加重平均法による統計量の更新方法は、前景部分の被写体がほぼ静止しており散発的に動く状況では、継続的に前景を検出することが困難であるという問題があった。
【００１５】
上記事情に鑑み、本発明は、使用するメモリの量を抑えつつ、継続的に画像の前景部分を検出する技術の提供を目的としている。
【課題を解決するための手段】
【００１６】
本発明の一態様は、時系列の画像を入力する画像入力部と、前記画像入力部が入力した前記画像の部分領域毎に、時系列の画素値の変動の度合いを表す変動度を算出する変動度算出部と、前記変動度算出部が算出した前記変動度に応じて、前記部分領域毎に前景らしさを表す前景度を取得する前景度取得部と、前記前景度取得部が算出した前記前景度に基づいて入力画像の前景部分を検出する前景検出部と、を備え、前記前景度取得部は、前記変動度が所定の閾値を超えた場合に最も大きい前景度を取得し、前記変動度が所定の閾値を超えた画像から時系列上で離れた画像であるほど減少した前景度を取得する前景検出装置である。
【００１７】
本発明の一態様は、上記の前景検出装置であって、前記部分領域のカウンタ値として、前記変動度が所定の閾値を超えた場合に初期値を設定し、前記変動度が所定の閾値を超えた画像から時系列上で離れたことに応じて前記カウンタ値を前記初期値から離れた値に更新するカウンタ値更新部を更に備え、前記前景度取得部は、前記カウンタ値に基づいて前記前景度を取得する。
【００１８】
本発明の一態様は、上記の前景検出装置であって、前記前景度又は前記変動度に応じて、前記カウンタ値更新部が前記カウンタ値を更新する際に用いる係数を変更する更新係数調整部を更に備える。
【００１９】
本発明の一態様は、時系列の画像を入力する画像入力ステップと、前記画像の部分領域毎に、時系列の画素値の変動の度合いを表す変動度を算出する変動度算出ステップと、前記変動度に応じて、前記部分領域毎に前景らしさを表す前景度を取得する前景度取得ステップと、前記前景度に基づいて入力画像の前景部分を検出する前景検出ステップと、を有し、前記前景度取得ステップにおいて、前記変動度が所定の閾値を超えた場合に最も大きい前景度を取得し、前記変動度が所定の閾値を超えた画像から時系列上で離れた画像であるほど減少した前景度を取得する前景検出方法である。
【００２０】
本発明の一態様は、コンピュータを、請求項１から３のいずれか１項に記載の前景検出装置として動作させるためのコンピュータプログラムである。
【発明の効果】
【００２１】
本発明により、使用するメモリの量を抑えつつ、継続的に画像の前景部分を検出することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】前景検出装置１０の機能構成を表す概略ブロック図である。
【図２】本発明の処理の流れを表すフローチャートである。
【図３】前景検出装置１０の変形例（前景検出装置１０ａ）の概略を表すブロック図である。
【図４】人物が同じ場所に留まりあまり大きく動かない状況を表した図である。
【図５】上記ａ及びｂそれぞれの状況において撮影された画像（フレーム）の画素値の変動量の具体例を表す図である。
【図６】統計量における寄与率の変化を表す図である。
【発明を実施するための形態】
【００２３】
以下、前景検出装置１０の具体的な構成について説明する。図１は、前景検出装置１０の機能構成を表す概略ブロック図である。前景検出装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、前景度算出プログラムを実行する。前景度算出プログラムの実行によって、前景検出装置１０は、画像入力部１００、平均画像生成部１０１、分散画像生成部１０２、変動度算出部１０３、カウンタ画像生成部１０４、前景度算出部１０５、前景検出部１０６を備える装置として機能する。なお、前景検出装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。また、前景検出プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、前景検出プログラムは、電気通信回線を介して送受信されても良い。
【００２４】
画像入力部１００は、前景検出装置１０に対して入力される画像のデータを時系列順に入力する。画像入力部１００は、例えば、ＣＤ−ＲＯＭやＵＳＢメモリ（Universal Serial Bus memory）等の記録媒体に記録された画像のデータを読み出しても良い。また、画像入力部１００は、スチルカメラやビデオカメラによって撮像された画像を、カメラから受信しても良い。また、前景検出装置１０がスチルカメラやビデオカメラに内蔵されている場合、画像入力部１００は撮像された画像又は撮像前の画像をバスから受信しても良い。また、画像入力部１００は、ネットワークを介して他の情報処理装置から画像のデータを受信しても良い。画像入力部１００は、画像のデータの入力が可能な構成であれば、さらに異なる態様で構成されても良い。以下の説明では、画像入力部１００によって入力された画像を、「入力画像」という。
【００２５】
平均画像生成部１０１は、入力画像を用いて、入力画像の各画素（ｘ，ｙ）の平均値を指数加重平均法により算出することによって平均画像を生成する。平均画像では、各画素（ｘ，ｙ）の画素値は、指数加重平均法により算出された平均値である。なお、以下の説明では、簡単化のため画素位置（ｘ，ｙ）を指定する記述、サフィックスは省略する。
【００２６】
分散画像生成部１０２は、入力された入力画像の画素値と、平均画像生成部１０１によって生成された平均画像の画素値との分散を算出することによって分散画像を生成する。分散画像では、各画素の画素値は入力画像と平均画像との分散の値である。
変動度算出部１０３は、分散画像生成部１０２が生成した分散画像を用いて各画素の変動度を算出する。変動度とは画素毎の画素値の変動の度合いを表す。
【００２７】
カウンタ画像生成部１０４は、変動度算出部１０３によって算出された変動度に基づいて、カウンタ画像を生成する。カウンタ画像では、各画素の画素値はカウンタ値であり、処理の進行に応じて増減する。
前景度算出部１０５は、変動度算出部１０３が算出した変動度とカウンタ画像生成部１０４が生成したカウンタ画像とを用いて、画素毎に前景度を算出する。前景度とは、画像に撮像されている被写体の前景らしさを表す度合いである。すなわち、前景度が高いほど、その画素は前景部分である可能性が高く、前景度が低いほど、その画素は前景部分である可能性が低い。
前景検出部１０６は、前景度算出部１０５が算出した前景度に応じて入力画像から前景部分を検出する。
【００２８】
次に、平均画像生成部１０１の処理について詳細に説明する。
平均画像生成部１０１は、時刻ｔに入力された入力画像（以下、「最新画像」という。）の画素の画素値Ｉ（ｔ）と、時刻（ｔ−１）における画素値の平均値Ｉａｖｇ（ｔ−１）とに基づいて、指数加重平均法（式２）を用いて、時刻ｔにおける平均値Ｉａｖｇ（ｔ）を算出する。時刻（ｔ−１）における平均値Ｉａｖｇ（ｔ−１）は、過去（例えば、時刻０〜時刻（ｔ−１））に入力された複数の画像（以下、「過去画像」という。）の平均値である。平均画像生成部１０１は、入力画像の各画素について平均値Ｉａｖｇ（ｔ）を算出することによって平均画像を生成する。
【数２】
2014081676.tif 000004
なお、処理開始時の平均値Ｉａｖｇ（ｔ−１）は、ユーザによって適当な値（例えば、“０”）で予め初期化されても良い。
【００２９】
次に、分散画像生成部１０２の処理について詳細に説明する。
分散画像生成部１０２は、最新画像の画素値Ｉ（ｔ）と、過去画像の画素値の平均値Ｉａｖｇ（ｔ−１）と、分散値Ｉｖａｒ（ｔ−１）とに基づいて、式３を用いて時刻ｔにおける分散値Ｉｖａｒ（ｔ）を算出する。
【数３】
2014081676.tif 000005
αの値は、０＜α＜１である。分散画像生成部１０２は、入力画像の各画素について分散値Ｉｖａｒ（ｔ）を算出することによって分散画像を生成する。
【００３０】
なお、処理開始時の分散値Ｉｖａｒ（ｔ−１）は、ユーザによって適当な値（例えば、“０“）で予め初期化されても良い。
また、式３のバリエーションとして、時刻ｔ−１における平均値Ｉａｖｇ（ｔ−１）の代わりに時刻ｔにおける平均値Ｉａｖｇ（ｔ）を用いても良い。また、画素値の平均からのばらつき（変動の程度）は、上記のように平均値Ｉａｖｇ（ｔ−１）と画素値Ｉ（ｔ）との差分の２乗として計算しても良いし、差分の絶対値｜Ｉａｖｇ（ｔ−１）−Ｉ（ｔ）｜として計算しても良い。
【００３１】
次に、変動度算出部１０３の処理について詳細に説明する。
変動度算出部１０３は、式４に基づいて変動度Ｖ（ｔ）を算出する。
【数４】
2014081676.tif 000006
変動度Ｖ（ｔ）は、式４に表されるように分散値の大きさに応じた値となるように算出される。ここで、式４のａ及びｂの各値は、ユーザによって予め設定される。また、変動度Ｖ（ｔ）を算出する式は、分散値が大きい場合に変動度Ｖ（ｔ）の値が大きくなるような式であれば、どのような式であっても良い。変動度算出部１０３は、入力画像の各画素について上記の処理を行うことによって画素毎に変動度Ｖ（ｔ）を算出する。
【００３２】
次に、カウンタ画像生成部１０４の処理について詳細に説明する。
カウンタ画像生成部１０４は、変動度Ｖ（ｔ）が閾値Ｖ＿ｔｈｒ以上であるか否かを判断する。変動度Ｖ（ｔ）が閾値Ｖ＿ｔｈｒ以上である場合、カウンタ画像生成部１０４は、画素のカウンタ値を初期値（例えば、“１００”）に設定する。
【００３３】
一方、変動度Ｖ（ｔ）が閾値Ｖ＿ｔｈｒ未満である場合、カウンタ画像生成部１０４は、画素のカウンタ値を一定値（例えば、“−５”）減算する。カウンタ画像生成部１０４は、上記の処理を各画素に行うことによってカウンタ画像を生成する。このようにカウンタ値が一定値ずつ減算されるカウンタ画像を、減算型のカウンタ画像と呼ぶ。なお、処理開始時のカウンタ画像の各カウンタ値には、初期値や、初期値とは異なる値（例えば、“５０”）が与えられても良い。また、閾値Ｖ＿ｔｈｒは、カウンタ画像生成部１０４が出荷時に予め記憶していても良いし、ユーザによって任意に決定されても良い。
なお、減算後のカウンタの値が“０”以下になった場合、カウンタ画像生成部１０４は、カウンタ値を“０”のままに設定しても良い。以下の説明では、カウンタ画像をＣ（ｔ）と表す。
【００３４】
次に、前景度算出部１０５の処理について詳細に説明する。
前景度算出部１０５は、カウンタ画像Ｃ（ｔ）と変動度Ｖ（ｔ）とに基づいて、式５を用いて前景度Ｆ（ｔ）を算出する。
【数５】
2014081676.tif 000007
ここで、Ｃｃ（ｔ）は、カウンタ画像Ｃ（ｔ）の各画素のカウンタ値を表す。また、δ及びμの各値はユーザによって予め設定される。前景度算出部１０５は、前景度Ｆ（ｔ）を算出する処理を各画素に対して行い、各画素の前景度Ｆ（ｔ）を算出する。また、前景度Ｆ（ｔ）は式５以外の関数で算出されても良い。例えば、カウンタ値Ｃｃ（ｔ）及び変動度Ｖ（ｔ）の各値が大きいほど、前景度Ｆ（ｔ）の値が大きくなるような関数であればどのような関数が用いられても良い。
【００３５】
次に、前景検出部１０６の処理について詳細に説明する。
前景検出部１０６は、前景度算出部１０５によって算出された前景度Ｆ（ｔ）の値が所定の閾値以上の画素を前景部分の画素として判定する。一方、前景検出部１０６は、前景度Ｆ（ｔ）の値が所定の閾値未満の画素を背景部分の画素として判定する。
【００３６】
図２は、本発明の処理の流れを表すフローチャートである。
画像入力部１００は、撮影された画像を時系列順に入力する（ステップＳ１０１）。平均画像生成部１０１は、入力画像の各画素に対して指数加重平均法により各画素の平均値を算出することによって平均画像を生成する（ステップＳ１０２）。分散画像生成部１０２は、入力画像と平均画像とを用いて分散画像を生成する（ステップＳ１０３）。変動度算出部１０３は、分散画像を用いて変動度Ｖ（ｔ）を算出する（ステップＳ１０４）。
【００３７】
カウンタ画像生成部１０４は、変動度Ｖ（ｔ）に基づいてカウンタ画像を生成する（ステップＳ１０５）。前景度算出部１０５は、変動度Ｖ（ｔ）の値とカウンタ画像Ｃ（ｔ）とを用いて前景らしさを表す前景度Ｆ（ｔ）を算出する（ステップＳ１０６）。前景検出部１０６は、前景度算出部１０５によって算出された前景度Ｆ（ｔ）の値に基づいて各画素が前景部分であるか否かを判定し、前景部分を検出する（ステップＳ１０７）。その後、処理を終了する。
【００３８】
以上のように構成された前景検出装置１０によれば、過去一定の枚数の画像をメモリ上に記録しておく必要が無い。そのため、使用するメモリの量を抑える事が可能となる。また、上述した処理では、変動度Ｖ（ｔ）が閾値Ｖ＿ｔｈｒを超えた画素において、一定フレーム数の間カウンタ値は“０”でない値を持つ。例えば、カウンタ値の初期値が“１００”であり“−５”ずつ減算が行われる場合、２０フレームの間に一度でも変動度Ｖ（ｔ）が閾値Ｖ＿ｔｈｒを超えると、その画素のカウンタ値は“０”以外の値を持つ。そのため、このようなカウンタ値を前景度Ｆ（ｔ）の算出に用いることによって、統計量における寄与率を継続して高い値とすることが可能となる。そのため、継続的に画像の前景部分を検出することが可能である。
【００３９】
図６の『カウンタ（減算）』として示されるグラフは、上述した処理によって算出されたカウンタ値を用いて前景部分を検出した場合の寄与率の変化を表す。具体的には、図６のグラフは、初期値を０．１４、減算幅を０．００５と設定した場合の寄与率を表している。数値の絶対値は本質的な意味を持っておらず、一定フレーム数の経過で０になるという点が本質的である。そのため図６では、直観的な見易さのため、他の寄与率と縮尺を合わせるために上記のように初期値を０．１４、減算値を０．００５としている。
【００４０】
＜変形例＞
前景検出装置１０は、ぼかし処理部を更に備えても良い。ぼかし処理部は、前景度算出部１０５によって算出された前景度Ｆ（ｔ）の値に応じて、入力画像に対してぼかし処理を行う。例えば、ぼかし処理部は、前景度Ｆ（ｔ）が高い画素ほど強くぼかす処理を行う。なお、ぼかし処理部は前景度Ｆ（ｔ）が低い画素ほど強くぼかす処理を行っても良い。
また、前景検出装置１０による検出結果は、その後にどのような処理に用いられても良い。例えば、検出された前景部分の画像のみが背景部分と切り離されて情報処理装置へ送信されても良い。また、検出された前景部分の画像のみが表示されても良い。
【００４１】
カウンタ画像Ｃ（ｔ）は、上記の減算型で生成される必要はなく、加算型で生成されても良い。この場合、カウンタ画像生成部１０４は、変動度Ｖ（ｔ）が閾値Ｖ＿ｔｈｒ以上である画素のカウンタ値に対して一定値（例えば、“＋５”）を加算する。一方、カウンタ画像生成部１０４は、変動度Ｖ（ｔ）が閾値Ｖ＿ｔｈｒ未満である画素のカウンタ値に対して初期値（例えば、“０”）を設定する。このようにしてカウンタ画像生成部１０４は、加算型のカウンタ画像Ｃ（ｔ）を生成しても良い。なお、処理開始時のカウンタ画像Ｃ（ｔ）の各画素値は、任意の値（例えば、“０”）で初期化されても良い。
【００４２】
変動度算出部１０３は、平均画像及び分散画像の両方の画像を用いて画素毎の変動度Ｖ（ｔ）を算出しても良い。
変動度算出部１０３は、変動度Ｖ（ｔ）を上述した式４によって算出するのではなく、以下の式６によって算出しても良い。
【数６】
2014081676.tif 000008
ここで、ｃ及びｄの各値は、ユーザによって予め設定される。
変動度算出部１０３は、画素（部分領域）毎に時系列の画素値の変動の度合いを表す値を算出できれば、どのような方法で変動度を算出しても良い。
【００４３】
更新係数α及びカウンタ値Ｃｃ（ｔ）の減算値は、前景度Ｆ（ｔ）又は変動度Ｖ（ｔ）の値の大小に応じて変更されても良い。以下、図３を用いて説明する。
図３は、前景検出装置１０の変形例（前景検出装置１０ａ）の概略を表すブロック図である。図３に示すように、前景検出装置１０ａは、更新係数調整部２０１を更に備えるように構成される。更新係数調整部２０１は、前景度Ｆ（ｔ）に応じて、更新係数α及びカウンタ値Ｃｃ（ｔ）の減算値などの更新パラメータを画素毎に調整する。以下、更新係数調整部２０１の処理について説明する。
【００４４】
例えば、前景度Ｆ（ｔ）が高い画素には、前景部分が撮影されている可能性が高い。しかし、背景部分と比べて前景部分は画素値の変動が不規則であることが多く、長い時間で統計量を算出することによって処理が安定する場合もある。上記事情に基づき、更新係数調整部２０１は、前景度Ｆ（ｔ）が高い画素に対して更新係数αの値を小さくして統計量（平均、分散）の更新を遅くする。また、更新係数調整部２０１は、前景度Ｆ（ｔ）が高い画素に対して、カウンタ値Ｃｃ（ｔ）の減算値の絶対値を小さくする。
なお、更新係数調整部２０１は、前景度Ｆ（ｔ）ではなく変動度Ｖ（ｔ）に応じて更新係数α及びカウンタ値Ｃｃ（ｔ）の減算値などの更新パラメータを画素毎に調整しても良い。
【００４５】
このように、前景検出装置１０ａは、更新係数調整部２０１を備えることにより前景部分を継続的に前景と判断しやすくなる。また、更新係数調整部２０１は、前景度Ｆ（ｔ）の値に応じて連続的に更新パラメータを調整しても良い。また、更新係数調整部２０１は、前景度Ｆ（ｔ）に対して予め閾値Ｖ＿ｔｈｒを記憶しておき、前景度Ｆ（ｔ）が閾値Ｖ＿ｔｈｒ以上の画素と、前景値Ｆ（ｔ）が閾値Ｖ＿ｔｈｒ未満の画素とで、更新パラメータを変更しても良い。
【００４６】
複数の値（例えば、ａ，ｂ，ｃ，ｄ，δ，μ）、閾値Ｖ＿ｔｈｒなどのパラメータは、ユーザによって予め設定されるのではなく、ユーザによって適宜変更されても良い。例えば、ユーザは、各パラメータを変化させながら、変動度Ｖ（ｔ）やカウンタ画像Ｃ（ｔ）などの中間データを目視確認し、パラメータを設定しても良い。また、ユーザは、ぼかし処理の状態を目視確認しながらパラメータを設定しても良い。
【００４７】
変動度Ｖ（ｔ）、前景度F（ｔ）の各値は、画素毎に算出される必要はなく、例えば複数の画素を含む部分領域毎に算出されても良い。以下のように算出されても良い。１．被写体が一定のサイズを持ち、画像空間上で連続した領域（位置）に存在していること。２．画素単位の処理は必ずしも正しくないこと（画素毎に見ると、前景部分なのに背景部分と判断されたり、背景部分なのに前景部分と判断されたりすることが頻発すること）。以上の１及び２の点に基づいて、変動度Ｖ（ｔ）、前景度Ｆ（ｔ）、カウンタ画像Ｃ（ｔ）等が算出されても良い。この処理で算出された結果に対してぼかし処理を行うことによって安定した結果を得ることができる。
【００４８】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４９】
１０，１０ａ…前景検出装置，  １００…画像入力部，  １０１…平均画像生成部，  １０２…分散画像生成部，  １０３…変動度算出部，  １０４…カウンタ画像生成部（カウンタ値更新部），  １０５…前景度算出部（前景度取得部），  １０６…前景検出部，  ２０１…更新係数調整部
【図１】
2014081676.tif 000009
【図２】
2014081676.tif 000010
【図３】
2014081676.tif 000011
【図４】
2014081676.tif 000012
【図５】
2014081676.tif 000013
【図６】
2014081676.tif 000014