(57)【要約】【課題】より簡単に且つより正確に、入力画像から物体を抽出する。【解決手段】顔検出部３１は、入力画像から顔を検出し、マスク領域設定部３３は、顔検出部３１により検出された顔の位置に基づいて、入力画像における人物をマスクするマスク領域を設定し、背景モデル更新部５１は、入力画像におけるマスク領域以外の領域を背景画像として学習することで、背景画像を更新し、分離部５４は、背景モデル更新部５１により更新された背景画像および入力画像に基づいて、入力画像を、背景画像と、入力画像における人物の領域である前景画像とに分離する。本発明は、例えば、入力画像から人物を抽出する画像処理装置に適用することができる。【選択図】図１
2011209966.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から動体を検出する検出手段と、
前記検出手段により検出された前記動体の位置に基づいて、前記入力画像における前記動体をマスクするマスク領域を設定する設定手段と、
前記入力画像における前記マスク領域以外の領域を背景画像として学習することで、前記背景画像を更新する更新手段と、
前記更新手段により更新された前記背景画像および前記入力画像に基づいて、前記入力画像を、前記背景画像と、前記入力画像における前記動体の領域である前景画像とに分離する分離手段と
を備える画像処理装置。
【請求項２】
前記検出手段は、前記入力画像のフレーム毎に前記動体を検出し、
前記設定手段は、フレーム間での前記動体の位置の変化が所定の閾値より大きい場合、前記マスク領域を設定し、
前記更新手段は、フレーム間での前記動体の位置の変化が所定の閾値より大きい場合に設定された前記マスク領域以外の領域を前記背景画像として学習することで、前記背景画像を更新する
請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、前記入力画像の所定のフレームにおいて検出された前記動体をマスクする初期マスク領域を設定し、
前記更新手段は、前記入力画像において前記初期マスク領域に対応する対応領域が全て、前記背景画像として学習されるまで、前記所定のフレーム以降のフレーム間での前記動体の位置の変化が所定の閾値より大きい場合に設定された前記マスク領域以外の領域を前記背景画像として学習する
請求項２に記載の画像処理装置。
【請求項４】
前記更新手段により更新された前記背景画像を記憶する記憶手段をさらに備え、
前記更新手段は、フレーム間での前記動体の位置の変化が所定の閾値より小さい場合、前記入力画像と、前記記憶手段により記憶されている前記背景画像とに基づいて、前記背景画像を更新する
請求項３に記載の画像処理装置。
【請求項５】
前記更新手段は、前記対応領域が全て前記背景画像として学習された場合、所定数フレーム毎に、前記入力画像と、前記記憶手段により記憶されている前記背景画像とに基づいて、前記背景画像を更新する
請求項４に記載の画像処理装置。
【請求項６】
入力画像から動体を検出する検出ステップと、
前記検出ステップの処理により検出された前記動体の位置に基づいて、前記入力画像における前記動体をマスクするマスク領域を設定する設定ステップと、
前記入力画像における前記マスク領域以外の領域を背景画像として学習することで、前記背景画像を更新する更新ステップと、
前記更新ステップの処理により更新された前記背景画像および前記入力画像に基づいて、前記入力画像を、前記背景画像と、前記入力画像における前記動体の領域である前景画像とに分離する分離ステップと
を含む画像処理方法。
【請求項７】
入力画像から動体を検出する検出ステップと、
前記検出ステップの処理により検出された前記動体の位置に基づいて、前記入力画像における前記動体をマスクするマスク領域を設定する設定ステップと、
前記入力画像における前記マスク領域以外の領域を背景画像として学習することで、前記背景画像を更新する更新ステップと、
前記更新ステップの処理により更新された前記背景画像および前記入力画像に基づいて、前記入力画像を、前記背景画像と、前記入力画像における前記動体の領域である前景画像とに分離する分離ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、より簡単に且つより正確に、入力画像から物体を抽出することができるようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、背景差分を用いて物体を抽出する技術がある。
【０００３】
背景差分においては、予め用意した背景画像と、抽出対象の物体を含む観測画像（入力画像）との差分を計算することにより、物体に関する事前知識を必要とせずに、物体領域を前景画像として抽出することができる。
【０００４】
しかしながら、静的な背景画像と入力画像との差分を単純に計算するだけでは、入力画像の背景に含まれる、木々の揺らめきや抽出対象以外の物体の微動、天候の変化や室内の照明の変化による明るさの変化などのノイズが、前景画像として抽出されてしまう。
【０００５】
そこで、このような背景における変化に柔軟に対応するために、混合ガウス分布（GMM（Gaussian Mixture Model））を用いた背景モデルの推定手法など、様々な背景のモデル化手法が提案されている（例えば、非特許文献１，２参照）。混合ガウス分布を用いた背景モデルの推定手法によれば、一時的な背景変動や急激な背景変動に対してロバストに対応することができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】島田敬士、有田大作、谷口倫一郎「混合ガウス分布による動的背景モデルの分布数増減法」、画像の認識・理解シンポジウム（MIRU2006）、2006年7月
【非特許文献２】浮田宗伯、加藤丈和「背景差分と色検出の統合によるターゲット色の自動学習と背景変動に頑健な実時間対象検出」、画像の認識・理解シンポジウム（MIRU2004）, Vol.2 pp.24-29、2004年
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した手法においては、予め背景画像を学習するプロセスが必要であり、その際、背景画像には、前景画像となる情報が含まれないようにしなければならず、ユーザにとって、その設定は面倒なものとなる。また、上述した手法を複雑な背景画像に適用した場合、実時間動作の実現や背景モデルの設定が困難であった。
【０００８】
また、上述した手法では、抽出された物体が、前景画像として抽出され続けるか、背景画像として抽出されないようになるかは、物体抽出の用途によって多様であり、これに柔軟に対応した背景のモデル化手法は提案されていなかった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、より簡単に且つより正確に、入力画像から物体を抽出することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の画像処理装置は、入力画像から動体を検出する検出手段と、前記検出手段により検出された前記動体の位置に基づいて、前記入力画像における前記動体をマスクするマスク領域を設定する設定手段と、前記入力画像における前記マスク領域以外の領域を背景画像として学習することで、前記背景画像を更新する更新手段と、前記更新手段により更新された前記背景画像および前記入力画像に基づいて、前記入力画像を、前記背景画像と、前記入力画像における前記動体の領域である前景画像とに分離する分離手段とを備える。
【００１１】
前記検出手段には、前記入力画像のフレーム毎に前記動体を検出させ、前記設定手段には、フレーム間での前記動体の位置の変化が所定の閾値より大きい場合、前記マスク領域を設定させ、前記更新手段には、フレーム間での前記動体の位置の変化が所定の閾値より大きい場合に設定された前記マスク領域以外の領域を前記背景画像として学習させることで、前記背景画像を更新させることができる。
【００１２】
前記設定手段には、前記入力画像の所定のフレームにおいて検出された前記動体をマスクする初期マスク領域を設定させ、前記更新手段には、前記入力画像において前記初期マスク領域に対応する対応領域が全て、前記背景画像として学習されるまで、前記所定のフレーム以降のフレーム間での前記動体の位置の変化が所定の閾値より大きい場合に設定された前記マスク領域以外の領域を前記背景画像として学習させることができる。
【００１３】
前記情報処理装置には、前記更新手段により更新された前記背景画像を記憶する記憶手段をさらに設け、前記更新手段には、フレーム間での前記動体の位置の変化が所定の閾値より小さい場合、前記入力画像と、前記記憶手段により記憶されている前記背景画像とに基づいて、前記背景画像を更新させることができる。
【００１４】
前記更新手段には、前記対応領域が全て前記背景画像として学習された場合、所定数フレーム毎に、前記入力画像と、前記記憶手段により記憶されている前記背景画像とに基づいて、前記背景画像を更新させることができる。
【００１５】
本発明の一側面の画像処理方法は、入力画像から動体を検出する検出ステップと、前記検出ステップの処理により検出された前記動体の位置に基づいて、前記入力画像における前記動体をマスクするマスク領域を設定する設定ステップと、前記入力画像における前記マスク領域以外の領域を背景画像として学習することで、前記背景画像を更新する更新ステップと、前記更新ステップの処理により更新された前記背景画像および前記入力画像に基づいて、前記入力画像を、前記背景画像と、前記入力画像における前記動体の領域である前景画像とに分離する分離ステップと含む。
【００１６】
本発明の一側面のプログラムは、入力画像から動体を検出する検出ステップと、前記検出ステップの処理により検出された前記動体の位置に基づいて、前記入力画像における前記動体をマスクするマスク領域を設定する設定ステップと、前記入力画像における前記マスク領域以外の領域を背景画像として学習することで、前記背景画像を更新する更新ステップと、前記更新ステップの処理により更新された前記背景画像および前記入力画像に基づいて、前記入力画像を、前記背景画像と、前記入力画像における前記動体の領域である前景画像とに分離する分離ステップを含む処理をコンピュータに実行させる。
【００１７】
本発明の一側面においては、入力画像から動体が検出され、検出された動体の位置に基づいて、入力画像における動体をマスクするマスク領域が設定され、入力画像におけるマスク領域以外の領域が背景画像として学習されることで、背景画像が更新され、更新された背景画像および入力画像に基づいて、入力画像が、背景画像と、入力画像における動体の領域である前景画像とに分離される。
【発明の効果】
【００１８】
本発明の一側面によれば、より簡単に且つより正確に、入力画像から物体を抽出することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明を適用した画像処理装置の一実施の形態の機能構成例を示すブロック図である。
【図２】画像処理装置の動作モードの例を示すモード遷移図である。
【図３】初期モードにおける初期処理について説明するフローチャートである。
【図４】人物領域の設定について説明する図である。
【図５】初期マスク領域の設定について説明する図である。
【図６】過渡モードにおける過渡処理について説明するフローチャートである。
【図７】定常モードにおける定常処理について説明するフローチャートである。
【図８】初期モードにおける初期処理の他の例について説明するフローチャートである。
【図９】画像処理装置の動作モードの他の例を示すモード遷移図である。
【図１０】図９の動作モードの過渡モードにおける過渡処理について説明するフローチャートである。
【図１１】画像処理装置の他の機能構成例を示すブロック図である。
【図１２】図１１の画像処理装置の初期モードにおける初期処理について説明するフローチャートである。
【図１３】図１１の画像処理装置の過渡モードにおける過渡処理について説明するフローチャートである。
【図１４】物体検出部の機能構成例を示すブロック図である。
【図１５】物体検出処理について説明するフローチャートである。
【図１６】物体検出部の他の機能構成例を示すブロック図である。
【図１７】物体検出処理の他の例について説明するフローチャートである。
【図１８】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（人物を抽出する例）
２．第２の実施の形態（人物を抽出する他の例）
３．第３の実施の形態（物体を抽出する例）
【００２１】
＜１．第１の実施の形態＞
［画像処理装置の機能構成例について］
図１は、本発明を適用した画像処理装置の一実施の形態の機能構成例を示している。
【００２２】
図１の画像処理装置１１は、入力される動画像において、フレーム単位で、注目すべき動体（人物）の領域以外の領域を背景画像として学習することで、人物の領域としての前景画像と、背景画像とを区別することを繰り返す、いわゆる背景差分を用いた人物の抽出処理を実現する。
【００２３】
画像処理装置１１は、顔検出部３１、位置情報取得部３２、マスク領域設定部３３、背景差分算出部３４、モード設定部３５、および入力部３６から構成される。
【００２４】
画像処理装置１１に入力された入力画像である動画像は、フレーム単位で、顔検出部３１、マスク領域設定部３３、および背景差分算出部３４に供給される。
【００２５】
顔検出部３１は、入力画像から顔を検出し、検出された顔の領域（顔領域）を表す領域情報を、位置情報取得部３２に供給する。
【００２６】
位置情報取得部３２は、顔検出部３１からの領域情報に基づいて、顔検出部３１によって検出された顔の位置を示す位置情報を取得（算出）する。位置情報取得部３２は、算出した位置情報を、必要に応じて、マスク領域設定部３３に供給する。
【００２７】
また、位置情報取得部３２は、位置情報保持部３２ａおよび位置情報比較部３２ｂを備えている。位置情報保持部３２ａは、取得された位置情報を１フレーム毎に記憶（保持）する。位置情報比較部３２ｂは、位置情報保持部３２ａに保持されている１フレーム前の位置情報と、新たに取得（算出）された位置情報とを比較する。位置情報比較部３２ｂによる比較の結果に応じて、算出された位置情報がマスク領域設定部３３に供給されたり、比較の結果が背景差分算出部３４に供給される。
【００２８】
マスク領域設定部３３は、位置情報取得部３２からの位置情報に基づいて、入力画像における人物をマスクするマスク領域を設定し、マスク領域を表す情報を、背景差分算出部３４に供給する。具体的には、マスク領域設定部３３は、人物領域推定部３３ａを備え、人物領域推定部３３ａは、位置情報取得部３２からの位置情報で示される顔の位置から、入力画像における人物の領域である人物領域を推定する。マスク領域設定部３３は、人物領域推定部３３ａにより推定された人物領域をマスク領域として設定する。
【００２９】
背景差分算出部３４は、フレーム単位で入力される入力画像に対して、背景差分を用いて、前景画像と背景画像とを区別し、図示せぬ外部の表示装置等に出力する。
【００３０】
背景差分算出部３４は、背景モデル更新部５１、初期マスク領域保持部５２、背景画像保持部５３、分離部５４、前景画像更新部５５、カウント部５６、および初期マスク領域判定部５７を備えている。
【００３１】
背景モデル更新部５１は、マスク領域設定部３３からのマスク領域を表す情報に基づいて、入力画像において、マスク領域以外の領域を背景画像として学習し、背景画像保持部５３に保持されている背景画像を更新する。更新された背景画像は、適宜、図示せぬ外部の表示装置等に出力される。
【００３２】
初期マスク領域保持部５２は、例えば、画像処理装置１１が、背景差分を用いた人物の抽出処理を開始して、マスク領域設定部３３によって最初に設定されたマスク領域（初期マスク領域）を表す情報を記憶（保持）する。保持されている情報は、必要に応じて、初期マスク領域判定部５７に読み出される。
【００３３】
背景画像保持部５３は、背景モデル更新部５１による学習によって更新された背景画像を記憶（保持）する。保持されている背景画像は、必要に応じて、背景モデル更新部５１または分離部５４に読み出される。
【００３４】
分離部５４は、背景モデル更新部５１またはカウント部５６からの情報に基づいて、フレーム単位で入力される入力画像を、背景画像保持部５３から読み出した背景画像と、背景画像以外の画像である前景画像とに分離し、その前景画像を、前景画像更新部５５に供給する。
【００３５】
前景画像更新部５５は、分離部５４からの前景画像を１フレーム毎に記憶（保持）し、分離部５４から供給される毎に更新して、外部の表示装置等に出力する。
【００３６】
カウント部５６は、入力された入力画像のフレーム数をカウントし、そのカウント値に応じた指示を背景モデル更新部５１または分離部５４に供給する。
【００３７】
初期マスク領域判定部５７は、初期マスク領域保持部５２に保持されている初期マスク領域を表す情報に基づいて、背景モデル更新部５１によって更新される背景画像において、初期マスク領域が残っているか否かを判定する。
【００３８】
モード設定部３５は、背景差分算出部３４から供給される動作モードについての情報に基づいて、画像処理装置１１の動作モードを設定し、設定された動作モードを表す情報を、画像処理装置１１を構成する各部に供給する。画像処理装置１１の動作モードについては、図２を参照して後述する。
【００３９】
入力部３６は、画像処理装置１１に対する指示を入力するためにユーザに操作される。入力部３６は、例えば、各種の操作ボタン、キー、タッチパネルなどから構成され、ユーザからの操作を受け付け、その操作内容を表す情報をマスク領域設定部３３に供給する。
【００４０】
［画像処理装置の動作モードについて］
次に、図２のモード遷移図を参照して、画像処理装置１１の動作モードのモード遷移について説明する。
【００４１】
図２のモード遷移図において、各動作モードは、１つの楕円により表されている。すなわち、図２のモード遷移図においては、モードＡ，Ｂ，Ｃの３つの動作モードが示されている。
【００４２】
モードＡは、画像処理装置１１の動作モードが初期モード、すなわち、入力画像から人物を抽出する抽出処理において、最初のフレームに対する初期処理を行うモードである。画像処理装置１１が初期処理を終えると、動作モードは、モードＡからモードＢへと遷移する。
【００４３】
モードＢは、画像処理装置１１の動作モードが過渡モード、すなわち、入力画像から人物を抽出する抽出処理において、人物の位置に応じて、入力画像からフレーム毎に背景画像を学習し、背景画像の更新を繰り返す過渡処理を行うモードである。画像処理装置１１においては、このような過渡処理が行われるので、予め背景画像を学習する必要がない。画像処理装置１１が背景画像の学習を所定の段階まで終えると、動作モードは、モードＢからモードＣへと遷移する。
【００４４】
モードＣは、画像処理装置１１の動作モードが定常モード、すなわち、入力画像から人物を抽出する抽出処理において、従来の背景のモデル化（更新）手法と同様の定常処理を行うモードである。但し、画像処理装置１１の定常処理においては、所定数フレーム毎に背景のモデル化が行われるようになされる。
【００４５】
次に、図２で説明した、画像処理装置１１の各動作モードにおける処理の詳細について説明する。
【００４６】
［画像処理装置の初期処理について］
まず、図３のフローチャートを参照して、画像処理装置１１の初期モードにおける初期処理について説明する。画像処理装置１１は、例えば、電源投入後や、動画像の入力が終了した後などにおいて、初期モードになり、その状態で所定の動画像が入力画像として入力されると初期処理を開始する。
【００４７】
ステップＳ１１において、顔検出部３１は、入力された入力画像の１フレーム目から、人物の顔を検出する。例えば、顔検出部３１は、様々な方向を向いている顔の顔画像を学習しておくことで、入力画像から人物の顔を検出し、矩形領域として検出された顔領域を表す領域情報を、位置情報取得部３２に供給する。ここで、領域情報は、顔領域である矩形領域の、例えば左上および右下の頂点の座標などとされる。
【００４８】
ステップＳ１２において、位置情報取得部３２は、顔検出部３１からの領域情報に基づいて、顔検出部３１によって検出された顔の位置を示す位置情報を取得（算出）し、マスク領域設定部３３に供給する。また、位置情報取得部３２は、位置情報保持部３２ａに、取得した１フレーム目における顔の位置情報を記憶させる。ここで、位置情報は、位置情報取得部３２からの領域情報と、その領域情報で表わされる矩形領域の重心位置の座標とを含む情報などとされる。なお、位置情報は、入力画像における顔領域の位置を、入力画像のフレーム間で特定できるものであればよく、例えば、位置情報取得部３２からの領域情報そのものであってもよい。
【００４９】
ステップＳ１３において、マスク領域設定部３３は、位置情報取得部３２からの位置情報に基づいて、入力画像の１フレーム目において、人物をマスクする初期マスク領域を設定し、初期マスク領域を表す情報を、背景差分算出部３４に供給する。
【００５０】
具体的には、マスク領域設定部３３の人物領域推定部３３ａは、図４に示されるような、入力画像における人物Ｈの顔について求められた顔領域Rfに基づいて、入力画像における人物Ｈの上半身領域Rhを推定する。
【００５１】
ここで、図４に示されるように、顔領域Rfの幅をRf_wとすると、人物領域推定部３３ａは、以下の式（１）で与えられる幅Rh_wの上半身領域Rhを推定する。
【００５２】
Rh_w = Rf_w × N                              ・・・（１）
【００５３】
なお、式（１）において、値Ｎは、一般的な人間の顔の幅と肩幅との比を表す値であり、例えば、2.5などの値として、予め決められている。
【００５４】
図５は、入力画像に対して設定された初期マスク領域の例を示している。
【００５５】
図５に示されるように、マスク領域設定部３３は、上述した顔領域Rfおよび上半身領域Rhを人物領域として、１フレーム目の入力画像Ｌにおいて、室内を背景にして略中心に位置する人物を囲う破線の内側の領域（網掛けされている領域）を、初期マスク領域Rmaskとして設定される。
【００５６】
このようにして、マスク領域設定部３３は、人物領域推定部３３ａにより推定された人物領域を初期マスク領域として設定し、初期マスク領域を表す情報を、背景差分算出部３４の背景モデル更新部５１および初期マスク領域保持部５２に供給する。
【００５７】
ステップＳ１４において、背景モデル更新部５１は、マスク領域設定部３３からの初期マスク領域を表す情報に基づいて、入力画像の１フレーム目において、初期マスク領域以外の領域を背景画像として学習し、背景画像保持部５３に保持させる。このとき、背景モデル更新部５１は、初期モードにおける初期処理が終了した旨の情報をモード設定部３５に供給する。
【００５８】
モード設定部３５は、背景モデル更新部５１からの、初期モードにおける初期処理が終了した旨の情報に基づいて、画像処理装置１１の動作モードを過渡モードに設定し、過渡モードを表す情報を、画像処理装置１１を構成する各部に供給する。
【００５９】
これにより、画像処理装置１１は、過渡モードで動作するようになる。
【００６０】
［画像処理装置の過渡処理について］
続いて、図６のフローチャートを参照して、画像処理装置１１の過渡モードにおける過渡処理について説明する。
【００６１】
ステップＳ３１において、顔検出部３１は、図３のステップＳ１１の処理と同様にして、入力された入力画像の２フレーム目から、人物の顔を検出し、矩形領域として検出された顔領域を表す領域情報を、位置情報取得部３２に供給する。
【００６２】
ステップＳ３２において、位置情報取得部３２は、図３のステップＳ１２の処理と同様にして、顔検出部３１からの領域情報に基づいて、顔検出部３１によって検出された顔の位置を示す位置情報を取得（算出）し、マスク領域設定部３３に供給する。また、位置情報取得部３２は、位置情報保持部３２ａに、算出した２フレーム目における顔の位置情報を記憶させる。
【００６３】
ステップＳ３３において、位置情報取得部３２の位置情報比較部３２ｂは、位置情報保持部３２ａに記憶されている１フレーム前の位置情報と、ステップＳ３２において新たに取得された位置情報とを比較する。具体的には、例えば、位置情報比較部３２ｂは、１フレーム目の位置情報に含まれる顔領域の重心位置の座標と、２フレーム目の位置情報に含まれる顔領域の重心位置とを比較することで、フレーム間での顔の位置の変化を求める。
【００６４】
ステップＳ３４において、位置情報比較部３２ｂは、ステップＳ３２で算出したフレーム間での顔の位置の変化、すなわち、１フレーム目と２フレーム目との間での顔の移動量が、例えばユーザによって予め決められた所定の閾値Tdより大きいか否かを判定する。
【００６５】
ステップＳ３４において、顔の移動量が所定の閾値Tdより大きいと判定された場合、位置情報取得部３２は、ステップＳ３２で取得した２フレーム目の位置情報を、マスク領域設定部３３に供給し、処理はステップＳ３５に進む。
【００６６】
ステップＳ３５において、マスク領域設定部３３は、図３のステップＳ１３の処理と同様にして、位置情報取得部３２からの位置情報に基づいて、入力画像の２フレーム目においてマスク領域を設定し、マスク領域を表す情報を、背景差分算出部３４に供給する。
【００６７】
ステップＳ３６において、背景モデル更新部５１は、マスク領域設定部３３からのマスク領域を表す情報に基づいて、入力画像の２フレーム目において、マスク領域以外の領域を背景画像として学習し、例えば、GMM（Gaussian Mixture Model）を用いた背景モデル更新処理を行うことで、背景画像保持部５３に保持されている１フレーム目についての背景画像を更新する。背景モデル更新部５１は、背景画像を更新した旨の情報を、分離部５４に供給する。
【００６８】
なお、背景モデル更新部５１は、GMMを用いた背景モデル更新処理を行うようにしたが、他の背景モデル推定手法を用いるようにしてももちろんよい。
【００６９】
背景画像保持部５３に保持されていた１フレーム目についての背景画像においては、初期マスク領域に対応する領域、すなわち、１フレーム目において人物のいた部分の情報は存在しない。
【００７０】
そこで、１フレーム目と２フレーム目との間で、人物（顔）が大きく移動した場合、２フレーム目においては、初期マスク領域と異なるマスク領域が設定され、そのマスク領域に基づいて背景画像が得られる。この２フレーム目についての背景画像（マスク領域）と、１フレーム目についての背景画像（初期マスク領域）とを比較すると、人物が移動した分だけ、１フレーム目には存在しなかった領域の情報が得られるようになる。
【００７１】
すなわち、ステップＳ３６の処理によれば、前のフレームについての背景画像において存在しなかった領域（部分）の情報を得ることができる。
【００７２】
一方、ステップＳ３４において、顔の移動量が所定の閾値Tdより大きくないと判定された場合、位置情報取得部３２は、顔の移動量が所定の閾値Tdより大きくない旨の情報を背景モデル更新部５１に供給し、処理はステップＳ３７に進む。
【００７３】
ステップＳ３７において、背景モデル更新部５１は、位置情報取得部３２からの情報に基づいて、入力画像の２フレーム目と、背景画像保持部５３に保持されている１フレーム目についての背景画像とに基づいて、例えば、GMMを用いた背景モデル更新処理を行うことで、背景画像保持部５３に保持されている１フレーム目についての背景画像を更新する。背景モデル更新部５１は、背景画像を更新した旨の情報を、分離部５４に供給する。
【００７４】
ステップＳ３６の後、または、ステップＳ３７の後、ステップＳ３８において、分離部５４は、背景モデル更新部５１からの情報に基づいて、２フレーム目の入力画像を、背景画像保持部５３から読み出した２フレーム目について背景画像と、前景画像とに分離し、分離した前景画像を、前景画像更新部５５に供給する。
【００７５】
ステップＳ３９において、前景画像更新部５５は、分離部５４からの前景画像を１フレーム毎に記憶（保持）し、分離部５４から供給される毎に更新する。なお、分離部５４から２フレーム目についての前景画像が供給された場合、１フレーム目についての前景画像は記憶されていないので、前景画像更新部５５は何もしない。
【００７６】
ステップＳ４０において、前景画像更新部５５は、更新した前景画像を、図示せぬ外部の表示装置等に出力する。また、同一のタイミングで、背景モデル更新部５１は、ステップＳ３６またはステップＳ３７において更新された背景画像を、図示せぬ外部の表示装置等に出力する。
【００７７】
ステップＳ４１において、初期マスク領域判定部５７は、初期マスク領域保持部５２に保持されている初期マスク領域を表す情報に基づいて、背景モデル更新部５１において更新された背景画像と初期マスク領域とを比較し、更新された背景画像において、初期マスク領域が残っているか否かを判定する。すなわち、初期マスク領域判定部５７は、ステップＳ３６の処理によって、前のフレームについての背景画像において存在しなかった領域の情報が得られることで、初期マスク領域に対応する領域が全て背景画像として学習されたか否かを判定する。
【００７８】
ステップＳ４２において、ステップＳ４１における判定の結果、背景モデル更新部５１において更新された背景画像において、初期マスク領域が残っていると判定された場合、すなわち、初期マスク領域に対応する領域が全て背景画像として学習されていない場合、処理はステップＳ３１に戻り、３フレーム目、４フレーム目、・・・と、ステップＳ３１乃至Ｓ４２の処理が繰り返される。
【００７９】
一方、ステップＳ４２において、ステップＳ４１における判定の結果、背景モデル更新部５１において更新された背景画像において、初期マスク領域が残っていないと判定された場合、すなわち、初期マスク領域に対応する領域が全て背景画像として学習された場合、初期マスク領域判定部５７は、過渡モードにおける過渡処理が終了した旨の情報をモード設定部３５に供給する。
【００８０】
モード設定部３５は、背景モデル更新部５１からの、過渡モードにおける過渡処理が終了した旨の情報に基づいて、画像処理装置１１の動作モードを定常モードに設定し、定常モードを表す情報を、画像処理装置１１を構成する各部に供給する。
【００８１】
これにより、画像処理装置１１は、定常モードで動作するようになる。
【００８２】
以上の処理によれば、入力画像における人物の位置の変化が大きい場合には、背景画像を学習した上で、背景モデル更新処理を行い、人物の位置の変化が大きくない場合には、その時点での背景画像に基づいて、背景モデル更新処理を行うようにできる。これにより、入力画像から背景画像を学習することができるので、予め背景画像を学習する必要がなく、より簡単に、入力画像から人物を抽出することが可能となる。また、前景画像となる人物領域の移動量が大きい場合であっても、移動後の人物領域が確保された背景画像により背景モデル更新処理が行われるので、背景変動に柔軟に対応することができ、より正確に、入力画像から人物を抽出することが可能となる。
【００８３】
［画像処理装置の定常処理について］
次に、図７を参照して、画像処理装置１１の定常モードにおける定常処理について説明する。定常処理においては、入力画像は、背景差分算出部３４のみに供給されるようになる。
【００８４】
ステップＳ７１において、背景差分算出部３４のカウント部５６は、モード設定部３５から定常モードを表す情報が背景差分算出部３４に供給されたことに応じて、内部で保持しているカウント値ｉを０に初期化する。
【００８５】
ステップＳ７２において、カウント部５６は、入力画像が１フレーム入力される毎に、カウント値ｉを１インクリメントする。
【００８６】
ステップＳ７３において、カウント部５６は、カウント値ｉが、例えばユーザにより予め設定された所定の閾値Tiより大きいか否かを判定する。
【００８７】
ステップＳ７３において、カウント値ｉが所定の閾値Tiより大きくないと判定された場合、カウント部５６は、カウント値ｉが所定の閾値Tiを超えていない旨の情報を、分離部５４に供給し、処理はステップＳ７４に進む。
【００８８】
ステップＳ７４において、分離部５４は、カウント部５６からの情報に基づいて、入力画像を、背景画像保持部５３から読み出した背景画像と、前景画像とに分離し、分離した前景画像を、前景画像更新部５５に供給する。
【００８９】
ステップＳ７５において、前景画像更新部５５は、分離部５４からの前景画像を１フレーム毎に記憶（保持）し、分離部５４から供給される毎に更新する。
【００９０】
ステップＳ７６において、前景画像更新部５５は、更新した前景画像を、図示せぬ外部の表示装置等に出力する。また、同一のタイミングで、背景モデル更新部５１は、最後に更新された背景画像を、図示せぬ外部の表示装置等に出力する。その後、処理はステップＳ７２に戻り、ステップＳ７２乃至Ｓ７６の処理が繰り返される。
【００９１】
一方、ステップＳ７３において、カウント値ｉが所定の閾値Tiより大きいと判定された場合、カウント部５６は、カウント値ｉが所定の閾値Tiを超えた旨の情報を、背景モデル更新部５１に供給し、処理はステップＳ７７に進む。
【００９２】
ステップＳ７７において、カウント部５６は、内部で保持しているカウント値ｉを０に初期化する。
【００９３】
ステップＳ７８において、背景モデル更新部５１は、カウント部５６からの情報に基づいて、入力画像と、背景画像保持部５３に保持されている背景画像とに基づいて、例えば、GMMを用いた背景モデル更新処理を行うことで、背景画像保持部５３に保持されている背景画像を更新する。背景モデル更新部５１は、背景画像を更新した旨の情報を、分離部５４に供給する。ステップＳ７８の後、処理はステップＳ７４に進む。
【００９４】
ステップＳ７８の後のステップＳ７４においては、分離部５４は、背景モデル更新部５１からの情報に基づいて、入力画像を、背景画像保持部５３から読み出した背景画像と、前景画像とに分離し、分離した前景画像を、前景画像更新部５５に供給する。以降、上述した処理が繰り返される。
【００９５】
以上の処理によれば、入力画像のフレーム数が所定の閾値を超えたときのみ、すなわち、所定数フレーム毎に、背景モデル更新処理を行うようにできる。これにより、入力画像のフレーム数が所定の閾値を超えない間は、背景モデル更新処理を行わずに前景画像と背景画像とを分離するようになるので、フレーム毎に背景モデル更新処理を行う従来の手法と比較して、より少ない負荷で、入力画像から人物を抽出することが可能となる。
【００９６】
なお、以上においては、画像処理装置１１の初期モードにおける初期処理において、顔の位置情報に基づいて人物領域を推定して、初期マスク領域を設定するようにしたが、ユーザの入力部３６に対する操作によって設定された領域を、初期マスク領域として設定するようにしてもよい。
【００９７】
［画像処理装置の初期処理の他の例について］
そこで、図８のフローチャートを参照して、ユーザによって設定された領域を、初期マスク領域として設定するようにした画像処理装置１１の初期モードにおける初期処理について説明する。
【００９８】
なお、図８のフローチャートのステップＳ１１１，Ｓ１１２，Ｓ１１５における処理は、図３のフローチャートのステップＳ１１，Ｓ１２，Ｓ１４における処理と同様であるので、その説明は省略する。
【００９９】
すなわち、ステップＳ１１３において、マスク領域設定部３３は、入力部３６からの、ユーザに設定された領域を表す情報と、位置情報取得部３２からの位置情報とに基づいて、入力画像の１フレーム目において、ユーザにより設定された領域に人物がいるか否かを判定する。
【０１００】
具体的には、マスク領域設定部３３は、人物領域推定部３３ａによって推定された人物領域が、ユーザにより設定された領域に略一致するか否かを判定する。
【０１０１】
ステップＳ１１３において、ユーザにより設定された領域に人物がいないと判定された場合、ユーザにより設定された領域と、推定された人物領域とが略一致するまで、ステップＳ１１１乃至Ｓ１１３の処理が繰り返される。
【０１０２】
一方、ステップＳ１１３において、ユーザにより設定された領域に人物がいると判定された場合、処理はステップＳ１１４に進み、マスク領域設定部３３は、ユーザにより設定された領域を初期マスク領域として設定し、初期マスク領域を表す情報を、背景差分算出部３４に供給する。
【０１０３】
以上の処理によれば、ユーザに設定された領域を初期マスク領域とすることができる。特に、ユーザに設定された領域と、推定された人物領域とが略一致するまで、初期マスク領域が設定されないので、ユーザは、予め内容のわかっている入力画像に対して、所望のタイミングで人物の抽出処理を開始させたり、人物が複数存在する場合でも、特定の人物の抽出処理を行わせることができる。
【０１０４】
以上においては、画像処理装置１１は、初期モード、過渡モード、および定常モードの３種類の動作モードを有するものとして説明してきたが、図９のモード遷移図に示されるように、初期モードおよび過渡モードの２種類の動作モードを有するようにすることもできる。
【０１０５】
＜２．第２の実施の形態＞
［画像処理装置の動作モードの他の例について］
図９のモード遷移図においては、モードＡおよびＢの２つの動作モードが示されている。
【０１０６】
モードＡは、画像処理装置１１の動作モードが初期モード、すなわち、入力画像から人物を抽出する抽出処理において、最初のフレームに対する初期処理を行うモードである。画像処理装置１１が初期処理を終えると、動作モードは、モードＡからモードＢへと遷移する。
【０１０７】
モードＢは、画像処理装置１１の動作モードが過渡モード、すなわち、入力画像から人物を抽出する抽出処理において、人物の位置に応じて、フレーム毎の入力画像から背景画像を学習し、背景画像の更新を繰り返す過渡処理を行うモードである。
【０１０８】
このように、図９に示されるモード遷移図の動作モードを有する画像処理装置１１においては、初期モードの後、過渡モードに遷移して過渡処理を繰り返す。
【０１０９】
次に、図９で説明したモード遷移図の動作モードを有する画像処理装置１１の各動作モードにおける処理の詳細について説明するが、初期モードにおける初期処理は、図３（または図８）のフローチャートを参照して説明した初期処理と同様であるので、その説明は省略する。
【０１１０】
［画像処理装置の過渡処理について］
次に、図１０のフローチャートを参照して、図９で説明したモード遷移図の過渡モードにおける過渡処理について説明する。
【０１１１】
なお、図１０のフローチャートにおけるステップＳ１３１乃至Ｓ１４０の処理は、図６のフローチャートにおけるステップＳ３１乃至Ｓ４０の処理と同様であるので、その説明は省略する。
【０１１２】
但し、図１０においては、ステップＳ１４０の後、処理はステップＳ１３１に戻る。すなわち、図１０のフローチャートで示される過渡処理においては、更新された背景画像において、初期マスク領域が残っているか否か、すなわち、初期マスク領域に対応する領域が全て背景画像として学習されたか否かに関わらず、処理が繰り返される。したがって、初期マスク領域に対応する領域が全て背景画像として学習された後でも、入力画像における人物の位置の変化に応じて、背景モデル更新処理が行われる。
【０１１３】
以上の処理によれば、入力画像における人物の位置の変化が大きい場合には、背景画像を学習した上で、背景モデル更新処理を行い、人物の位置の変化が大きくない場合には、その時点での背景画像に基づいて、背景モデル更新処理を行うようにできる。これにより、入力画像から背景画像を学習することができるので、予め背景画像を学習する必要がなく、より簡単に、入力画像から人物を抽出することが可能となる。また、前景画像となる人物領域の移動量が大きい場合であっても、移動後の人物領域が確保された背景画像により背景モデル更新処理が行われるので、背景変動に柔軟に対応することができ、より正確に、入力画像から人物を抽出することが可能となる。
【０１１４】
以上においては、入力画像から、動体としての人物を抽出する画像処理装置について説明してきたが、入力画像における動体は人物に限られない。そこで、以下では、入力画像から、人物以外の動体を抽出する画像処理装置について説明する。
【０１１５】
＜３．第３の実施の形態＞
［画像処理装置の他の機能構成例について］
図１１は、本発明を適用した画像処理装置の他の実施の形態の機能構成例を示している。
【０１１６】
図１１の画像処理装置２１１は、入力される動画像において、フレーム単位で、注目すべき動体（人物以外の物体）の領域以外の領域を背景画像として学習することで、動体の領域としての前景画像と、背景画像とを区別することを繰り返す、いわゆる背景差分を用いた動体の抽出処理を実現する。
【０１１７】
なお、図１１の画像処理装置２１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１１８】
すなわち、図１１の画像処理装置２１１において、図１の画像処理装置１１と異なるのは、顔検出部３１およびマスク領域設定部３３のそれぞれに代わり、物体検出部２３１およびマスク領域設定部２３２を設けた点である。
【０１１９】
物体検出部２３１は、入力画像から動体としての物体を検出し、検出された物体の領域（物体領域）を表す領域情報を、位置情報取得部３２に供給する。なお、物体検出部２３１の詳細については後述する。
【０１２０】
マスク領域設定部２３２は、位置情報取得部３２からの位置情報に基づいて、入力画像における物体をマスクするマスク領域を設定し、マスク領域を表す情報を、背景差分算出部３４に供給する。
【０１２１】
ここで、図１１の画像処理装置２１１は、図２で説明したモード遷移図に従って動作するものとする。
【０１２２】
［画像処理装置の初期処理について］
まず、図１２のフローチャートを参照して、画像処理装置２１１の初期モードにおける初期処理について説明する。画像処理装置２１１は、例えば、電源投入後や、動画像の入力が終了した後などにおいて、初期モードになり、その状態で所定の動画像が入力画像として入力されると初期処理を開始する。
【０１２３】
ステップＳ２１１において、物体検出部２３１は、物体検出処理を実行し、入力された入力画像の１フレーム目から、物体を検出し、矩形領域として検出された物体領域を表す領域情報を、位置情報取得部３２に供給する。なお、物体検出処理の詳細については後述する。
【０１２４】
ステップＳ２１２において、位置情報取得部３２は、物体検出部２３１からの領域情報に基づいて、物体検出部２３１によって検出された物体の位置を示す位置情報を取得（算出）し、マスク領域設定部２３２に供給する。また、位置情報取得部３２は、位置情報保持部３２ａに、取得した１フレーム目における物体の位置情報を記憶させる。
【０１２５】
ステップＳ２１３において、マスク領域設定部２３２は、位置情報取得部３２からの位置情報に基づいて、入力画像の１フレーム目において、物体をマスクする初期マスク領域を設定し、初期マスク領域を表す情報を、背景差分算出部３４に供給する。
【０１２６】
ステップＳ２１４において、背景モデル更新部５１は、マスク領域設定部２３２からの初期マスク領域を表す情報に基づいて、入力画像の１フレーム目において、初期マスク領域以外の領域を背景画像として学習し、背景画像保持部５３に保持させる。このとき、背景モデル更新部５１は、初期モードにおける初期処理が終了した旨の情報をモード設定部３５に供給する。
【０１２７】
モード設定部３５は、背景モデル更新部５１からの、初期モードにおける初期処理が終了した旨の情報に基づいて、画像処理装置２１１の動作モードを過渡モードに設定し、過渡モードを表す情報を、画像処理装置２１１を構成する各部に供給する。
【０１２８】
これにより、画像処理装置２１１は、過渡モードで動作するようになる。
【０１２９】
［画像処理装置の過渡処理について］
続いて、図１３のフローチャートを参照して、画像処理装置２１１の過渡モードにおける過渡処理について説明する。
【０１３０】
なお、図１３のフローチャートにおけるステップＳ２３６乃至Ｓ２４２の処理は、図６のフローチャートを参照して説明したステップＳ３６乃至２４２の処理と同様であるので、その説明は省略するものとする。
【０１３１】
ステップＳ２３１において、物体検出部２３１は、図１２のステップＳ２１１の処理と同様にして、物体検出処理を実行し、入力された入力画像の２フレーム目から、物体を検出し、矩形領域として検出された物体領域を表す領域情報を、位置情報取得部３２に供給する。
【０１３２】
ステップＳ２３２において、位置情報取得部３２は、図１２のステップＳ２１２の処理と同様にして、物体検出部２３１からの領域情報に基づいて、物体検出部２３１によって検出された物体の位置を示す位置情報を取得（算出）し、マスク領域設定部２３２に供給する。また、位置情報取得部３２は、位置情報保持部３２ａに、算出した２フレーム目における物体の位置情報を記憶させる。
【０１３３】
ステップＳ２３３において、位置情報取得部３２の位置情報比較部３２ｂは、位置情報保持部３２ａに記憶されている１フレーム前の位置情報と、ステップＳ２３２において新たに取得された位置情報とを比較する。具体的には、例えば、位置情報比較部３２ｂは、１フレーム目の位置情報に含まれる物体領域の重心位置の座標と、２フレーム目の位置情報に含まれる物体領域の重心位置とを比較することで、フレーム間での物体の位置の変化を求める。
【０１３４】
ステップＳ２３４において、位置情報比較部３２ｂは、ステップＳ２３２で算出したフレーム間での物体の位置の変化、すなわち、１フレーム目と２フレーム目との間での物体の移動量が、例えばユーザによって予め決められた所定の閾値Tdより大きいか否かを判定する。
【０１３５】
ステップＳ２３４において、物体の移動量が所定の閾値Tdより大きいと判定された場合、位置情報取得部３２は、ステップＳ２３２で取得した２フレーム目の位置情報を、マスク領域設定部３３に供給し、処理はステップＳ２３５に進む。
【０１３６】
ステップＳ２３５において、マスク領域設定部３３は、図１２のステップＳ２１３の処理と同様にして、位置情報取得部３２からの位置情報に基づいて、入力画像の２フレーム目においてマスク領域を設定し、マスク領域を表す情報を、背景差分算出部３４に供給する。
【０１３７】
そして、ステップＳ２３６以降の処理は、上述したように、図６のフローチャートのステップＳ３６以降の処理と同様にして行われる。
【０１３８】
［物体検出部の機能構成例について］
ここで、図１４を参照して、図１１の物体検出部２３１の詳細な機能構成例について説明する。
【０１３９】
図１４の物体検出部２３１は、車両検出部２７１を備えている。
【０１４０】
車両検出部２７１は、入力画像から車両（自動車）を検出し、検出された車両の領域を表す領域情報を、位置情報取得部３２に供給する。
【０１４１】
［物体検出部の物体検出処理について］
次に、図１５のフローチャートを参照して、図１４の物体検出部２３１により実行される、図１２のステップＳ２１１および図１３のステップＳ２３１における物体検出処理について説明する。
【０１４２】
ステップＳ２７１において、車両検出部２７１は、入力された入力画像の所定フレームから、車両を検出する。例えば、車両検出部２７１は、様々な方向を向いている車両の画像を学習しておくことで、入力画像から車両を検出し、矩形領域として検出された車両の領域を表す領域情報を、位置情報取得部３２に供給する。
【０１４３】
このようにして、入力画像における車両の位置の変化に応じて、背景モデル更新処理が行われる。
【０１４４】
以上の処理によれば、入力画像における車両の位置の変化が大きい場合には、背景画像を学習した上で、背景モデル更新処理を行い、車両の位置の変化が大きくない場合には、その時点での背景画像に基づいて、背景モデル更新処理を行うようにできる。これにより、入力画像から背景画像を学習することができるので、予め背景画像を学習する必要がなく、より簡単に、入力画像から車両を抽出することが可能となる。また、前景画像となる車両の領域の移動量が大きい場合であっても、移動後の車両の領域が確保された背景画像により背景モデル更新処理が行われるので、背景変動に柔軟に対応することができ、より正確に、入力画像から車両を抽出することが可能となる。
【０１４５】
以上においては、物体検出部２３１によって検出される物体が車両である場合の構成および処理について説明したが、例えば、物体検出部２３１によって検出される物体を動物とするようにしてもよい。
【０１４６】
［物体検出部の他の機能構成例について］
ここで、図１６を参照して、図１１の物体検出部２３１の他の機能構成例について説明する。
【０１４７】
図１６の物体検出部２３１は、動物検出部２８１を備えている。
【０１４８】
動物検出部２８１は、入力画像から動物を検出し、検出された動物の領域を表す領域情報を、位置情報取得部３２に供給する。
【０１４９】
［物体検出処理の他の例について］
次に、図１７のフローチャートを参照して、図１６の物体検出部２３１により実行される、図１２のステップＳ２１１および図１３のステップＳ２３１における物体検出処理の他の例について説明する。
【０１５０】
ステップＳ２８１において、動物検出部２８１は、入力された入力画像の１フレーム目から、動物を検出する。例えば、動物検出部２８１は、様々な方向を向いている、犬、猫、馬、牛などの４足の動物の画像を学習しておくことで、入力画像から動物を検出し、矩形領域として検出された動物の領域を表す領域情報を、位置情報取得部３２に供給する。
【０１５１】
このようにして、入力画像における動物の位置の変化に応じて、背景モデル更新処理が行われる。
【０１５２】
以上の処理によれば、入力画像における動物の位置の変化が大きい場合には、背景画像を学習した上で、背景モデル更新処理を行い、動物の位置の変化が大きくない場合には、その時点での背景画像に基づいて、背景モデル更新処理を行うようにできる。これにより、入力画像から背景画像を学習することができるので、予め背景画像を学習する必要がなく、より簡単に、入力画像から動物を抽出することが可能となる。また、前景画像となる動物の領域の移動量が大きい場合であっても、移動後の動物の領域が確保された背景画像により背景モデル更新処理が行われるので、背景変動に柔軟に対応することができ、より正確に、入力画像から動物を抽出することが可能となる。
【０１５３】
なお、以上においては、物体検出部２３１によって検出される物体が車両や動物である場合の構成および処理について説明したが、入力画像において検出可能な動体であれば、本発明を適用することが可能である。
【０１５４】
また、図１１の画像処理装置２１１においては、図１の画像処理装置１１と同様に、ユーザの入力部３６に対する操作によって設定された領域を、初期マスク領域として設定したり、図９のモード遷移図に示されるように、初期モードおよび過渡モードの２種類の動作モードを有するようにしてもよい。
【０１５５】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０１５６】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１５７】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１５８】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０１５９】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１６０】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１６１】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１６２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６３】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１６４】
１１  画像処理装置，  ３１  顔検出部，  ３２  位置情報取得部，  ３２ａ  位置情報保持部，  ３２ｂ  位置情報比較部，  ３３  マスク領域設定部，  ３３ａ  人物領域推定部，  ３４  背景差分算出部，  ３５  モード設定部，  ３６  入力部，  ５１  背景モデル更新部，  ５２  初期マスク領域保持部，  ５３  背景画像保持部，  ５４  分離部，  ５５  前景画像更新部，  ５６  カウント部，  ５７  初期マスク領域判定部，  ２１１  画像処理装置，  ２３１  物体検出部，  ２３２  マスク領域設定部，  ２７１  車両検出部，  ２８１  動物検出部
【図１】
2011209966.tif 000003
【図２】
2011209966.tif 000004
【図３】
2011209966.tif 000005
【図４】
2011209966.tif 000006
【図５】
2011209966.tif 000007
【図６】
2011209966.tif 000008
【図７】
2011209966.tif 000009
【図８】
2011209966.tif 000010
【図９】
2011209966.tif 000011
【図１０】
2011209966.tif 000012
【図１１】
2011209966.tif 000013
【図１２】
2011209966.tif 000014
【図１３】
2011209966.tif 000015
【図１４】
2011209966.tif 000016
【図１５】
2011209966.tif 000017
【図１６】
2011209966.tif 000018
【図１７】
2011209966.tif 000019
【図１８】
2011209966.tif 000020