(57)【特許請求の範囲】
【請求項１】
入力動画像における検出対象動体の画像を前景画像として特定する画像処理装置であって、
第１背景モデルに基づいて、前記入力動画像のフレーム画像に含まれる画素が、前景画素か背景画素かを暫定的に判定する第１判定処理を行う第１判定部と、
前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第１の値が、当該複数の画素の位置に応じて並ぶ第１マップを更新する第１マップ更新処理を行う第１マップ更新部と、
前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第２の値が、当該複数の画素の位置に応じて並ぶ第２マップを更新する第２マップ更新処理を行う第２マップ更新部と、
前記フレーム画像に基づいて前記第１背景モデルを更新する第１背景モデル更新処理を行う第１背景モデル更新部と、
前記入力動画像に写る撮影領域において、前記検出対象動体の微動が発生している微動発生領域を特定する第１特定処理を行う微動特定部と
を備え、
前記第１マップ更新部は、前記第１マップ更新処理において、
前記フレーム画像に含まれる、前記第１判定処理で前記前景画素であると判定された画素に対応する、前記第１マップでの前記第１の値を、第１所定値だけ増加し、
前記フレーム画像に含まれる、前記第１判定処理で前記背景画素であると判定された画素に対応する、前記第１マップでの前記第１の値を、第２所定値だけ減少し、
前記第２マップ更新部は、前記第２マップ更新処理において、
前記第１特定処理で前記微動発生領域が特定されると、前記第１マップにおける、特定された前記微動発生領域に対応する微動対応領域内の前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用するコピー処理を実行し、
前記第２マップにおいて、前記コピー処理が実行される前記第２の値以外の前記第２の値を第３所定値だけ減少し、
前記画像処理装置は、前記第１判定処理、前記第１マップ更新処理、前記第２マップ更新処理、前記第１背景モデル更新処理及び前記第１特定処理を繰り返し実行し、
前記第２マップ更新処理が行われた前記第２マップに基づいて前記前景画像を特定する前景特定部をさらに備える、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記第３所定値は、前記第２所定値よりも大きい、画像処理装置。
【請求項３】
請求項１及び請求項２のいずれか１つに記載の画像処理装置であって、
前記第２マップ更新部は、前記第１マップにおいて、前記撮影領域での、前記検出対象動体が存在する可能性が高い領域に対応する、互いに独立した複数の検出対象対応領域を特定し、
前記第２マップ更新部は、前記微動対応領域を含む前記検出対象対応領域内の前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用する、画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記第２マップ更新部は、前記微動対応領域を含む前記検出対象対応領域内の前記第１の値のうち、第１しきい値以上あるいは当該第１しきい値よりも大きい前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用する、画像処理装置。
【請求項５】
請求項３及び請求項４のいずれか１つに記載の画像処理装置であって、
前記第２マップ更新部は、互いに独立する複数の微動対応領域を含む前記検出対象対応領域の面積が第２しきい値以上あるいは当該第２しきい値よりも大きい場合には、当該複数の微動対応領域の外接矩形を求め、前記検出対象対応領域内の第１の値のうち、求めた当該外接矩形内の前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用する、画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記第２マップ更新部は、互いに独立する複数の微動対応領域を含む前記検出対象対応領域の面積が前記第２しきい値以上あるいは当該第２しきい値よりも大きい場合には、当該検出対象対応領域に対して、互いに距離が近い複数の微動対応領域を１つの微動グループとする微動グループ分け処理を行い、
前記第２マップ更新部は、前記検出対象対応領域に対する前記微動グループ分け処理で得られた各微動グループについて、当該微動グループを構成する複数の微動対応領域の外接矩形を求め、求めた各外接矩形について、当該検出対象対応領域内の第１の値のうち、当該外接矩形内の前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用する、画像処理装置。
【請求項７】
請求項１乃至請求項６のいずれか１つに記載の画像処理装置であって、
前記微動特定部は、
前記入力動画像の第１及び第２フレーム画像間の差分画像を生成し、
前記差分画像における互いに独立する複数の動体領域を動体領域群として特定し、
前記動体領域群に対して、互いに距離が近い複数の動体領域を１つの第１グループとする第１グループ分け処理を行い、
前記微動特定部は、前記第１グループ分け処理において、動体領域が近くに存在しない孤立動体領域が前記動体領域群に存在する場合には、当該孤立動体領域を１つの前記第１グループとし、
前記差分画像に対する前記第１グループ分け処理の結果得られる複数の第１グループのそれぞれについての、当該第１グループを構成する動体領域を含む第１包含領域のうち、第１及び第２条件を満たす第１包含領域を特定する第２特定処理を行い、
前記第１条件は、前記第１包含領域の面積が第３しきい値以下あるいは当該第３しきい値未満であるという条件であって、
前記第２条件は、前記第１包含領域から所定距離以内に、前記第１条件を満たさない前記第１包含領域が存在しないという条件であり、
前記微動特定部は、前記撮影領域のうち、前記第２特定処理で特定された前記第１包含領域に対応する対応領域を前記微動発生領域とする、画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
前記微動特定部は、前記第１グループ分け処理において、処理対象に対して１つの第２グループを決定するグループ決定処理を繰り返し行う第２グループ分け処理を繰り返し実行し、
前記微動特定部は、最初の前記第２グループ分け処理での最初の前記グループ決定処理では、前記動体領域群を構成する複数の動体領域を前記処理対象とし、
前記微動特定部は、前記グループ決定処理において、
前記処理対象において、基準となる動体領域との距離が第４しきい値以下あるいは第４しきい値未満の他の動体領域が存在する場合には、当該基準となる動体領域と当該他の動体領域とを１つの前記第２グループとして決定し、
前記処理対象において前記他の動体領域が存在しない場合には、前記基準となる動体領域を１つの前記第２グループとして決定し、
前記微動特定部は、前記第２グループ分け処理において、２回目以降の前記グループ決定処理を行う場合には、直近の前記グループ決定処理での前記処理対象から、直近の前記グループ決定処理で決定された前記第２グループを除いた残りの部分を、新たな前記処理対象として前記グループ決定処理を実行し、
前記微動特定部は、前記第２グループ分け処理において、前記第２グループが決定できなくなるまで前記グループ決定処理を繰り返し実行すると、次の前記第２グループ分け処理を実行し、
前記微動特定部は、２回目以降の前記第２グループ分け処理を実行する場合には、直近の前記第２グループ分け処理で決定された各前記第２グループについての、当該第２グループを構成する動体領域を含む第２包含領域を新たな動体領域とし、当該新たな動体領域を前記処理対象として、前記第２グループ分け処理の最初の前記グループ決定処理を実行し、
前記微動特定部は、前記第２グループ分け処理で決定される前記第２グループの数がその前の前記第２グループ分け処理で決定される前記第２グループの数よりも減少しなくなるまで前記第２グループ分け処理を繰り返し実行したとき、前記第１グループ分け処理を終了し、
前記微動特定部は、前記第１グループ分け処理において最終的に得られた各前記第２グループについての、当該第２グループを構成する動体領域を、前記第１包含領域とする、画像処理装置。
【請求項９】
請求項１乃至請求項８のいずれか１つに記載の画像処理装置であって、
前記第１背景モデルと異なる第２背景モデルに基づいて、前記入力動画像のフレーム画像に含まれる画素が、前景画素か背景画素かを暫定的に判定する第２判定処理を行う第２判定部と、
前記フレーム画像に基づいて、前記第１背景モデル更新部とは異なる方法で前記第２背景モデルを更新する第２背景モデル更新部と
をさらに備え、
前記前景特定部は、前記第２マップと、前記第２判定処理の結果とに基づいて、前記前景画像を特定する、画像処理装置。
【請求項１０】
請求項１乃至請求項９のいずれか１つに記載の画像処理装置であって、
前記第１背景モデル更新部は、前記フレーム画像でのある画素において、同程度の画素値が現れる頻度に応じて、前記第１背景モデルに含まれる、当該ある画素に対応する背景情報を更新する、画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置であって、
前記第１背景モデルは、過去の前記フレーム画像の画素値をモデル化した混合正規分布に基づく背景モデルであって、
前記第１背景モデル更新部は、前記第１背景モデル更新処理において、前記フレーム画像のある画素の画素値に基づいて、当該ある画素に対応する前記混合正規分布を更新し、更新後の前記混合正規分布に含まれる複数の正規分布から、当該ある画素に対応する前記背景情報として使用する正規分布を決定する、画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置であって、
前記第１背景モデル更新部は、前記第２マップ更新部が前記コピー処理を実行したとき、前記フレーム画像における、前記第１マップの前記微動対応領域内の前記第１の値に対応する画素に応じた前記混合正規分布を更新する際の学習率を減少させる、画像処理装置。
【請求項１３】
請求項９に記載の画像処理装置であって、
前記第２背景モデル更新部は、前記フレーム画像に含まれる画素の画素値が一定期間連続して同程度の値を示す場合に、当該画素値に基づいて前記第２背景モデルを更新する、画像処理装置。
【請求項１４】
コンピュータに、入力動画像における検出対象動体の画像を前景画像として特定させるための制御プログラムであって、
前記コンピュータに、
（ａ）背景モデルに基づいて、前記入力動画像のフレーム画像に含まれる画素が、前景画素か背景画素かを暫定的に判定する工程と、
（ｂ）前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第１の値が、当該複数の画素の位置に応じて並ぶ第１マップを更新する工程と、
（ｃ）前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第２の値が、当該複数の画素の位置に応じて並ぶ第２マップを更新する工程と、
（ｄ）前記フレーム画像に基づいて、前記背景モデルを更新する工程と、
（ｅ）前記入力動画像に写る撮影領域において、前記検出対象動体の微動が発生している微動発生領域を特定する特定処理を行う工程と
を実行させ、
前記工程（ｂ）において、
（ｂ−１）前記フレーム画像に含まれる、前記判定処理で前記前景画素であると判定された画素に対応する、前記第１マップでの前記第１の値を、第１所定値だけ増加する工程と、
（ｂ−２）前記フレーム画像に含まれる、前記判定処理で前記背景画素であると判定された画素に対応する、前記第１マップでの前記第１の値を、第２所定値だけ減少する工程と
を実行させ、
前記工程（ｃ）において、
（ｃ−１）前記特定処理で前記微動発生領域が特定されると、前記第１マップにおける、特定された前記微動発生領域に対応する微動対応領域内の前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用するコピー処理を実行する工程と、
（ｃ−２）前記第２マップにおいて、前記コピー処理が実行される前記第２の値以外の前記第２の値を第３所定値だけ減少する工程と
を実行させ、
前記工程（ａ）〜（ｅ）を繰り返し実行させ、
（ｆ）前記工程（ｃ）で更新された前記第２マップに基づいて前記前景画像を特定する工程をさらに実行させるための制御プログラム。
【請求項１５】
入力動画像における検出対象動体の画像を前景画像として特定する画像処理装置での前景画像特定方法であって、
（ａ）背景モデルに基づいて、前記入力動画像のフレーム画像に含まれる画素が、前景画素か背景画素かを暫定的に判定する工程と、
（ｂ）前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第１の値が、当該複数の画素の位置に応じて並ぶ第１マップを更新する工程と、
（ｃ）前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第２の値が、当該複数の画素の位置に応じて並ぶ第２マップを更新する工程と、
（ｄ）前記フレーム画像に基づいて、前記背景モデルを更新する工程と、
（ｅ）前記入力動画像に写る撮影領域において、前記検出対象動体の微動が発生している微動発生領域を特定する特定処理を行う工程と
を備え、
前記工程（ｂ）は、
（ｂ−１）前記フレーム画像に含まれる、前記判定処理で前記前景画素であると判定された画素に対応する、前記第１マップでの前記第１の値を、第１所定値だけ増加する工程と、
（ｂ−２）前記フレーム画像に含まれる、前記判定処理で前記背景画素であると判定された画素に対応する、前記第１マップでの前記第１の値を、第２所定値だけ減少する工程と
を有し、
前記工程（ｃ）は、
（ｃ−１）前記特定処理で前記微動発生領域が特定されると、前記第１マップにおける、特定された前記微動発生領域に対応する微動対応領域内の前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用するコピー処理を実行する工程と、
（ｃ−２）前記第２マップにおいて、前記コピー処理が実行される前記第２の値以外の前記第２の値を第３所定値だけ減少する工程と
を有し、
前記工程（ａ）〜（ｅ）は繰り返し実行され、
（ｆ）前記工程（ｃ）で更新された前記第２マップに基づいて前記前景画像を特定する工程をさらに備える、前景画像特定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関する。
【背景技術】
【０００２】
特許文献１〜５に記載されているように、従来から様々な画像処理技術が提案されています。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１５８８３７号公報
【特許文献２】特開２０１５−１２５６９６号公報
【特許文献３】特開２０１３−６５１５１号公報
【特許文献４】特開２０１１−１２３７４２号公報
【特許文献５】特開２０１０−３１７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１及び２等に記載されているように、入力動画像における前景画像を特定する場合には、前景画像を精度良く特定できることが望まれる。
【０００５】
そこで、本発明は上述の点に鑑みて成されたものであり、入力動画像における前景画像を特定する際の特定精度を向上することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
画像処理装置の一態様は、入力動画像における検出対象動体の画像を前景画像として特定する画像処理装置であって、第１背景モデルに基づいて、前記入力動画像のフレーム画像に含まれる画素が、前景画素か背景画素かを暫定的に判定する第１判定処理を行う第１判定部と、前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第１の値が、当該複数の画素の位置に応じて並ぶ第１マップを更新する第１マップ更新処理を行う第１マップ更新部と、前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第２の値が、当該複数の画素の位置に応じて並ぶ第２マップを更新する第２マップ更新処理を行う第２マップ更新部と、前記フレーム画像に基づいて前記第１背景モデルを更新する第１背景モデル更新処理を行う第１背景モデル更新部と、前記入力動画像に写る撮影領域において、前記検出対象動体の微動が発生している微動発生領域を特定する第１特定処理を行う微動特定部とを備え、前記第１マップ更新部は、前記第１マップ更新処理において、前記フレーム画像に含まれる、前記第１判定処理で前記前景画素であると判定された画素に対応する、前記第１マップでの前記第１の値を、第１所定値だけ増加し、前記フレーム画像に含まれる、前記第１判定処理で前記背景画素であると判定された画素に対応する、前記第１マップでの前記第１の値を、第２所定値だけ減少し、前記第２マップ更新部は、前記第２マップ更新処理において、前記第１特定処理で前記微動発生領域が特定されると、前記第１マップにおける、特定された前記微動発生領域に対応する微動対応領域内の前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用するコピー処理を実行し、前記第２マップにおいて、前記コピー処理が実行される前記第２の値以外の前記第２の値を第３所定値だけ減少し、前記画像処理装置は、前記第１判定処理、前記第１マップ更新処理、前記第２マップ更新処理、前記第１背景モデル更新処理及び前記第１特定処理を繰り返し実行し、前記第２マップ更新処理が行われた前記第２マップに基づいて前記前景画像を特定する前景特定部をさらに備える。
【０００７】
また、画像処理装置の一態様では、前記第３所定値は、前記第２所定値よりも大きい。
【０００８】
また、画像処理装置の一態様では、前記第２マップ更新部は、前記第１マップにおいて、前記撮影領域での、前記検出対象動体が存在する可能性が高い領域に対応する、互いに独立した複数の検出対象対応領域を特定し、前記第２マップ更新部は、前記微動対応領域を含む前記検出対象対応領域内の前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用する。
【０００９】
また、画像処理装置の一態様では、前記第２マップ更新部は、前記微動対応領域を含む前記検出対象対応領域内の前記第１の値のうち、第１しきい値以上あるいは当該第１しきい値よりも大きい前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用する。
【００１０】
また、画像処理装置の一態様では、前記第２マップ更新部は、互いに独立する複数の微動対応領域を含む前記検出対象対応領域の面積が第２しきい値以上あるいは当該第２しきい値よりも大きい場合には、当該複数の微動対応領域の外接矩形を求め、前記検出対象対応領域内の第１の値のうち、求めた当該外接矩形内の前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用する。
【００１１】
また、画像処理装置の一態様では、前記第２マップ更新部は、互いに独立する複数の微動対応領域を含む前記検出対象対応領域の面積が前記第２しきい値以上あるいは当該第２しきい値よりも大きい場合には、当該検出対象対応領域に対して、互いに距離が近い複数の微動対応領域を１つの微動グループとする微動グループ分け処理を行い、前記第２マップ更新部は、前記検出対象対応領域に対する前記微動グループ分け処理で得られた各微動グループについて、当該微動グループを構成する複数の微動対応領域の外接矩形を求め、求めた各外接矩形について、当該検出対象対応領域内の第１の値のうち、当該外接矩形内の前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用する。
【００１２】
また、画像処理装置の一態様では、前記微動特定部は、前記入力動画像の第１及び第２フレーム画像間の差分画像を生成し、前記差分画像における互いに独立する複数の動体領域を動体領域群として特定し、前記動体領域群に対して、互いに距離が近い複数の動体領域を１つの第１グループとする第１グループ分け処理を行い、前記微動特定部は、前記第１グループ分け処理において、動体領域が近くに存在しない孤立動体領域が前記動体領域群に存在する場合には、当該孤立動体領域を１つの前記第１グループとし、前記差分画像に対する前記第１グループ分け処理の結果得られる複数の第１グループのそれぞれについての、当該第１グループを構成する動体領域を含む第１包含領域のうち、第１及び第２条件を満たす第１包含領域を特定する第２特定処理を行い、前記第１条件は、前記第１包含領域の面積が第３しきい値以下あるいは当該第３しきい値未満であるという条件であって、
前記第２条件は、前記第１包含領域から所定距離以内に、前記第１条件を満たさない前記第１包含領域が存在しないという条件であり、前記微動特定部は、前記撮影領域のうち、前記第２特定処理で特定された前記第１包含領域に対応する対応領域を前記微動発生領域とする。
【００１３】
また、画像処理装置の一態様では、前記微動特定部は、前記第１グループ分け処理において、処理対象に対して１つの第２グループを決定するグループ決定処理を繰り返し行う第２グループ分け処理を繰り返し実行し、前記微動特定部は、最初の前記第２グループ分け処理での最初の前記グループ決定処理では、前記動体領域群を構成する複数の動体領域を前記処理対象とし、前記微動特定部は、前記グループ決定処理において、前記処理対象において、基準となる動体領域との距離が第４しきい値以下あるいは第４しきい値未満の他の動体領域が存在する場合には、当該基準となる動体領域と当該他の動体領域とを１つの前記第２グループとして決定し、前記処理対象において前記他の動体領域が存在しない場合には、前記基準となる動体領域を１つの前記第２グループとして決定し、前記微動特定部は、前記第２グループ分け処理において、２回目以降の前記グループ決定処理を行う場合には、直近の前記グループ決定処理での前記処理対象から、直近の前記グループ決定処理で決定された前記第２グループを除いた残りの部分を、新たな前記処理対象として前記グループ決定処理を実行し、前記微動特定部は、前記第２グループ分け処理において、前記第２グループが決定できなくなるまで前記グループ決定処理を繰り返し実行すると、次の前記第２グループ分け処理を実行し、前記微動特定部は、２回目以降の前記第２グループ分け処理を実行する場合には、直近の前記第２グループ分け処理で決定された各前記第２グループについての、当該第２グループを構成する動体領域を含む第２包含領域を新たな動体領域とし、当該新たな動体領域を前記処理対象として、前記第２グループ分け処理の最初の前記グループ決定処理を実行し、前記微動特定部は、前記第２グループ分け処理で決定される前記第２グループの数がその前の前記第２グループ分け処理で決定される前記第２グループの数よりも減少しなくなるまで前記第２グループ分け処理を繰り返し実行したとき、前記第１グループ分け処理を終了し、前記微動特定部は、前記第１グループ分け処理において最終的に得られた各前記第２グループについての、当該第２グループを構成する動体領域を、前記第１包含領域とする。
【００１４】
また、画像処理装置の一態様では、前記第１背景モデルと異なる第２背景モデルに基づいて、前記入力動画像のフレーム画像に含まれる画素が、前景画素か背景画素かを暫定的に判定する第２判定処理を行う第２判定部と、前記フレーム画像に基づいて、前記第１背景モデル更新部とは異なる方法で前記第２背景モデルを更新する第２背景モデル更新部とをさらに設けられ、前記前景特定部は、前記第２マップと、前記第２判定処理の結果とに基づいて、前記前景画像を特定する。
【００１５】
また、画像処理装置の一態様では、前記第１背景モデル更新部は、前記フレーム画像でのある画素において、同程度の画素値が現れる頻度に応じて、前記第１背景モデルに含まれる、当該ある画素に対応する背景情報を更新する。
【００１６】
また、画像処理装置の一態様では、前記第１背景モデルは、過去の前記フレーム画像の画素値をモデル化した混合正規分布に基づく背景モデルであって、前記第１背景モデル更新部は、前記第１背景モデル更新処理において、前記フレーム画像のある画素の画素値に基づいて、当該ある画素に対応する前記混合正規分布を更新し、更新後の前記混合正規分布に含まれる複数の正規分布から、当該ある画素に対応する前記背景情報として使用する正規分布を決定する。
【００１７】
また、画像処理装置の一態様では、前記第１背景モデル更新部は、前記第２マップ更新部が前記コピー処理を実行したとき、前記フレーム画像における、前記第１マップの前記微動対応領域内の前記第１の値に対応する画素に応じた前記混合正規分布を更新する際の学習率を減少させる。
【００１８】
また、画像処理装置の一態様では、前記第２背景モデル更新部は、前記フレーム画像に含まれる画素の画素値が一定期間連続して同程度の値を示す場合に、当該画素値に基づいて前記第２背景モデルを更新する。
【００１９】
また、制御プログラムの一態様は、コンピュータに、入力動画像における検出対象動体の画像を前景画像として特定させるための制御プログラムであって、前記コンピュータに、（ａ）背景モデルに基づいて、前記入力動画像のフレーム画像に含まれる画素が、前景画素か背景画素かを暫定的に判定する工程と、（ｂ）前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第１の値が、当該複数の画素の位置に応じて並ぶ第１マップを更新する工程と、（ｃ）前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第２の値が、当該複数の画素の位置に応じて並ぶ第２マップを更新する工程と、（ｄ）前記フレーム画像に基づいて、前記背景モデルを更新する工程と、（ｅ）前記入力動画像に写る撮影領域において、前記検出対象動体の微動が発生している微動発生領域を特定する特定処理を行う工程とを実行させ、前記工程（ｂ）において、（ｂ−１）前記フレーム画像に含まれる、前記判定処理で前記前景画素であると判定された画素に対応する、前記第１マップでの前記第１の値を、第１所定値だけ増加する工程と、（ｂ−２）前記フレーム画像に含まれる、前記判定処理で前記背景画素であると判定された画素に対応する、前記第１マップでの前記第１の値を、第２所定値だけ減少する工程とを実行させ、前記工程（ｃ）において、（ｃ−１）前記特定処理で前記微動発生領域が特定されると、前記第１マップにおける、特定された前記微動発生領域に対応する微動対応領域内の前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用するコピー処理を実行する工程と、（ｃ−２）前記第２マップにおいて、前記コピー処理が実行される前記第２の値以外の前記第２の値を第３所定値だけ減少する工程とを実行させ、前記工程（ａ）〜（ｅ）を繰り返し実行させ、（ｆ）前記工程（ｃ）で更新された前記第２マップに基づいて前記前景画像を特定する工程をさらに実行させるためのものである。
【００２０】
また、前景画像特定方法の一態様は、入力動画像における検出対象動体の画像を前景画像として特定する画像処理装置での前景画像特定方法であって、（ａ）背景モデルに基づいて、前記入力動画像のフレーム画像に含まれる画素が、前景画素か背景画素かを暫定的に判定する工程と、（ｂ）前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第１の値が、当該複数の画素の位置に応じて並ぶ第１マップを更新する工程と、（ｃ）前記フレーム画像に含まれる複数の画素にそれぞれ対応する複数の第２の値が、当該複数の画素の位置に応じて並ぶ第２マップを更新する工程と、（ｄ）前記フレーム画像に基づいて、前記背景モデルを更新する工程と、（ｅ）前記入力動画像に写る撮影領域において、前記検出対象動体の微動が発生している微動発生領域を特定する特定処理を行う工程とを備え、前記工程（ｂ）は、（ｂ−１）前記フレーム画像に含まれる、前記判定処理で前記前景画素であると判定された画素に対応する、前記第１マップでの前記第１の値を、第１所定値だけ増加する工程と、（ｂ−２）前記フレーム画像に含まれる、前記判定処理で前記背景画素であると判定された画素に対応する、前記第１マップでの前記第１の値を、第２所定値だけ減少する工程とを有し、前記工程（ｃ）は、（ｃ−１）前記特定処理で前記微動発生領域が特定されると、前記第１マップにおける、特定された前記微動発生領域に対応する微動対応領域内の前記第１の値を、前記第２マップにおける、当該第１の値に対応する前記第２の値として採用するコピー処理を実行する工程と、（ｃ−２）前記第２マップにおいて、前記コピー処理が実行される前記第２の値以外の前記第２の値を第３所定値だけ減少する工程とを有し、前記工程（ａ）〜（ｅ）は繰り返し実行され、（ｆ）前記工程（ｃ）で更新された前記第２マップに基づいて前記前景画像を特定する工程をさらに備える。
【発明の効果】
【００２１】
入力動画像における前景画像を特定する際の特定精度を向上することができる。
【図面の簡単な説明】
【００２２】
【図１】画像処理システムの構成を示す図である。
【図２】フレーム画像の一例を示す図である。
【図３】画像処理装置の構成を示す図である。
【図４】背景モデルを説明するための図である。
【図５】出現画素値情報を説明するための図である。
【図６】判定部の動作を説明するための図である。
【図７】判定部の動作を説明するための図である。
【図８】画素単位背景更新処理を示すフローチャートである。
【図９】初期学習処理を示すフローチャートである。
【図１０】画像処理装置の動作を示すフローチャートである。
【図１１】微動特定処理を示すフローチャートである。
【図１２】差分画像における動体領域群の一例を示す図である。
【図１３】微動特定部の動作を説明するための図である。
【図１４】微動特定部の動作を説明するための図である。
【図１５】第１グループ分け処理の概要を示す図である。
【図１６】グループ決定処理を示すフローチャートである。
【図１７】微動特定部の動作を説明するための図である。
【図１８】微動特定部の動作を説明するための図である。
【図１９】微動特定部の動作を説明するための図である。
【図２０】微動特定部の動作を説明するための図である。
【図２１】微動特定部の動作を説明するための図である。
【図２２】微動特定部の動作を説明するための図である。
【図２３】微動特定部の動作を説明するための図である。
【図２４】微動特定部の動作を説明するための図である。
【図２５】微動特定部の動作を説明するための図である。
【図２６】微動特定部の動作を説明するための図である。
【図２７】微動特定部の動作を説明するための図である。
【図２８】微動特定部の動作を説明するための図である。
【図２９】微動特定部の動作を説明するための図である。
【図３０】微動特定部の動作を説明するための図である。
【図３１】微動特定部の動作を説明するための図である。
【図３２】微動特定部の動作を説明するための図である。
【図３３】微動特定部の動作を説明するための図である。
【図３４】微動特定部の動作を説明するための図である。
【図３５】第１頻度マップの一例を示す図である。
【図３６】第２頻度マップの一例を示す図である。
【図３７】第２マップ更新部の動作を説明するための図である。
【図３８】第２マップ更新部の動作を説明するための図である。
【図３９】第２マップ更新部の動作を説明するための図である。
【図４０】第２マップ更新部の動作を説明するための図である。
【図４１】前景特定部の動作を説明するための図である。
【図４２】２つの矩形領域の外形間の最短距離を求める方法の一例を説明するための図である。
【図４３】画像処理装置の変形例の構成を示す図である。
【図４４】背景モデル更新部の動作を示すフローチャートである。
【発明を実施するための形態】
【００２３】
＜画像処理システムの構成＞
図１は画像処理システム１の構成を示す図である。画像処理システム１は、画像処理を用いて、所定空間に存在する検出対象動体を検出するシステムである。画像処理システム１は、例えば、オフィス、学校等に導入される。画像処理システム１は、オフィス等の室内に存在する人を検出する。なお、検出対象動体は人以外であっても良い。
【００２４】
図１に示されるように、画像処理システム１は、カメラ２及び画像処理装置３を備える。カメラ２は、例えば、室内の天井に取り付けられる。カメラ２は、例えば全方位カメラであって、室内を俯瞰撮影する。したがって、カメラ２の撮影範囲は室内となる。カメラ２は、所定のフレームレート（例えば３０ｆｐｓ）で動画像１００を撮影して出力する。カメラ２から出力される動画像１００は画像処理装置３に入力される。つまり、動画像１００を構成する複数枚のフレーム画像は、順次画像処理装置３に入力される。以後、動画像１００を「入力動画像１００」と呼ぶことがある。また、入力動画像１００のフレーム画像を「入力フレーム画像１０１」と呼ぶことがある。
【００２５】
本例では、入力動画像１００は、カラー画像であるが、グレースケール画像であっても良い。また、カメラ２は、天井以外に取り付けられても良い。また、カメラ２は全方位カメラ以外であっても良い。
【００２６】
図２は入力フレーム画像１０１の一例を示す図である。入力フレーム画像１０１は魚眼画像とも呼ばれる。図２に示されるように、入力フレーム画像１０１に写る室内３００の床３２０の上には、複数の机３３０と複数の椅子３４０とが配置されている。室内３００には複数の人２００が存在する。具体的には、室内３００には、壁３５０の傍に立っている２人の人２００ａ，２００ｂと、椅子３４０に座っている１人の人２００ｃが存在している。したがって、入力フレーム画像１０１には、３人の人２００ａ，２００ｂ，２００ｃが写っている。
【００２７】
画像処理装置３は、入力動画像１００における人２００の画像を前景画像として特定することによって、カメラ２の撮影範囲内、つまり室内３００に存在する人２００を検出する。
【００２８】
本例では、画像処理装置３は、室内３００に存在する人をすべて検出するのではなく、室内３００に存在する人のうち、静止している人、言い換えれば移動していない人を検出する。つまり、画像処理装置３は、入力動画像１００における、静止している人２００の画像（移動していない人２００の画像）を前景画像として特定する。静止している人としては、例えば、図２に示される、椅子３４０に座っている人２００ｃ、室内３００内で立ち話をしている人、室内３００内の本棚の前で本を読んでいる人などが挙げられる。
【００２９】
画像処理装置３は、例えば、一種のコンピュータであって、図１に示されるように、ＣＰＵ４+（Central Processing Unit）及び記憶部５を備えている。画像処理装置３は、一種の回路構成であると言える。記憶部５は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の、ＣＰＵ４が読み取り可能な非一時的な記録媒体で構成されている。記憶部５には、画像処理装置３（コンピュータ）を制御するための制御プログラム６が記憶されている。ＣＰＵ４が記憶部５内の制御プログラム６を実行することによって、画像処理装置３には様々な機能ブロックが形成される。
【００３０】
なお、画像処理装置３の機能の一部又は全部は、その機能の実現のためにプログラム（ソフトフェア）が不要な、論理回路等を含むハードウェア回路で実現しても良い。また記憶部５は、ＲＯＭ及びＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていても良い。記憶部５は、例えば、小型のハードディスクドライブ及びＳＳＤ（Solid State Drive）等を備えていても良い。
【００３１】
＜画像処理装置の構成＞
図３は画像処理装置３の構成を示す図である。図３に示されるように、画像処理装置３は、前処理部３０、判定部３１、背景モデル更新部３２、微動特定部３３、前景特定部３４、第１マップ更新部４１及び第２マップ更新部４２を備えている。
【００３２】
前処理部３０は、カメラ２からの入力動画像１００に対して前処理を実行し、前処理後の入力動画像１００を入力動画像１１０として出力する。具体的には、前処理部３０は、カメラ２から順次入力される入力フレーム画像１０１に対してグレースケール変換及びサイズ縮小処理を行い、処理後の入力フレーム画像１０１を入力フレーム画像１１１として順次出力する。したがって、前処理部３０から出力される入力動画像１１０はグレースケール画像となる。なお、カメラ２から出力される入力動画像１００の形式によっては、前処理部３０は不要となる。以後、入力動画像１１０の入力フレーム画像１１１の画素「入力画素」と呼ぶことがある。
【００３３】
判定部３１は、記憶部５内の背景モデル５００に基づいて、入力フレーム画像１１１の入力画素が前景画素か背景画素かを暫定的に判定する暫定判定処理を行う。背景モデル５００は、入力動画像１１０に写る背景をモデル化した情報である。判定部３１は、入力画素が、移動している人を示す画素であるか、静止している人を示す画素であるかを区別せずに、人を示す入力画素を前景画素として判定する。
【００３４】
背景モデル更新部３２は、入力フレーム画像１１１と、記憶部５内の後述する出現画素値情報５１０とに基づいて、背景モデル５００を更新する背景モデル更新処理を行う。
【００３５】
微動特定部３３は、入力動画像１１０に基づいて、当該入力動画像１１０に写る撮影領域において、検出対象動体である人の微動が発生している微動発生領域を特定する微動特定処理を行う。
【００３６】
第１マップ更新部４１は、判定部３１での判定結果に基づいて、記憶部５内の第１マップ４１０を更新する第１マップ更新処理を行う。第１マップ４１０は、入力フレーム画像１１１での前景画素の特定頻度（検出頻度）の分布を示す情報である。以後、第１マップ４１０を「第１頻度マップ４１０」と呼ぶことがある。
【００３７】
第２マップ更新部４２は、微動特定部３３で特定された微動発生領域と第１頻度マップ４１０に基づいて、記憶部５内の第２マップ４２０を更新する第２マップ更新処理を行う。第２マップ４２０は、入力フレーム画像１１１における、撮影範囲の微動発生領域が写る領域での前景画素の特定頻度の分布を示す情報である。以後、第２マップ４２０を「第２頻度マップ４２０」と呼ぶことがある。
【００３８】
前景特定部３４は、第２頻度マップ４２０に基づいて、入力フレーム画像１１１における静止している人の画像を、前景画像として特定する前景特定処理を行う。
【００３９】
画像処理装置３は、カメラ２から入力フレーム画像１０１が入力されるたびに、入力された入力フレーム画像１０１を処理対象として、前処理、暫定判定処理、背景モデル更新処理、微動特定処理、第１マップ更新処理、第２マップ更新処理及び前景特定処理を行う。以後、前処理部３０が処理対象の入力フレーム画像１０１に対して前処理を行うことによって得られた入力フレーム画像１１１を「処理対象の入力フレーム画像１１１」と呼ぶことがある。
【００４０】
＜画像処理装置の詳細動作＞
次に画像処理装置３の各構成要素の詳細な動作について説明する。画像処理装置３の動作を理解し易くするために、まず、背景モデル、暫定判定処理及び背景モデル更新処理について説明する。
【００４１】
＜背景モデル＞
本例では、背景モデル５００は、過去のフレーム画像の画素値をモデル化した混合正規分布（ＭｏＧ）に基づく背景モデルである。このような背景モデルの一例については、例えば、上述の特許文献４及び５に開示されている。本例での画素値は例えば輝度である。
【００４２】
図４は背景モデル５００の構成を示す図である。図４に示されるように、背景モデル５００では、入力フレーム画像１１１を構成する複数の画素のそれぞれに対して、少なくとも１つの背景情報５０１が対応付けられている。背景情報５０１は正規分布で表されている。以後、背景情報５０１を「背景正規分布５０１」と呼ぶことがある。
【００４３】
一方で、記憶部５には出現画素値情報５１０が記憶されている。出現画素値情報５１０は、過去のフレーム画像において現れた画素値に関する情報である。出現画素値情報５１０には、図５に示されるように、入力フレーム画像１１１を構成する複数の画素にそれぞれ対応する複数の混合正規分布５１１が含まれている。
【００４４】
混合正規分布５１１は、それに対応する画素についての過去の画素値をモデル化したものである。混合正規分布５１１は、それに対応する画素についての画素値ごとの出現確率を示している。言い換えれば、混合正規分布５１１は、それに対応する画素についての画素値ごとの出現頻度を示している。
【００４５】
混合正規分布５１１は、複数の正規分布５１２と、当該複数の正規分布５１２にそれぞれ設定された複数の重みｗとで表される。混合正規分布５１１に含まれる複数の正規分布５１２のうちの一部が、当該混合正規分布５１１に対応する画素に対応する背景正規分布５０１として採用される。具体的には、混合正規分布５１１に含まれる複数の正規分布５１２のうち、重みｗが第１しきい値よりも大きい正規分布５１２が、当該混合正規分布５１１に対応する画素に対応する背景正規分布５０１として採用される。
【００４６】
＜暫定判定処理の詳細＞
判定部３１は、暫定判定処理において、処理対象の入力フレーム画像１１１の各入力画素について、当該入力画素が前景画素か背景画素であるか否かを暫定的に判定する。判定部３１は、ある入力画素が前景画素か背景画素であるか否かを暫定的に判定する場合には、背景モデル５００における、当該入力画素に対応する背景正規分布５０１と、出現画素値情報５１０における、当該入力画素に対応する混合正規分布５１１とを使用する。以後、説明対象の入力画素を「対象入力画素」と呼ぶことがある。
【００４７】
判定部３１は、対象入力画素に対応する混合正規分布５１１に含まれる複数の正規分布５１２において、対象入力画素の画素値に適合する正規分布５１２（以後、「適合正規分布５１２」と呼ぶことがある）が存在するか否かを判定する。判定部３１は、対象入力画素に対応する混合正規分布５１１に含まれる複数の正規分布５１２に、適合正規分布５１２が存在しない場合には、対象入力画素が前景画素であると判定する。
【００４８】
一方で、判定部３１は、対象入力画素に対応する混合正規分布５１１に含まれる複数の正規分布５１２に、適合正規分布５１２が存在する場合には、背景モデル５００における、対象入力画素に対応する背景正規分布５０１において、当該適合正規分布５１２と一致する背景正規分布５０１が存在するか否かを判定する。判定部３１は、背景モデル５００における、対象入力画素に対応する背景正規分布５０１に、適合正規分布５１２と一致する背景正規分布５０１が存在しない場合には、対象入力画素が前景画素であると判定する。これに対して、判定部３１は、背景モデル５００における、対象入力画素に対応する背景正規分布５０１に、適合正規分布５１２と一致する背景正規分布５０１が存在する場合には、対象入力画素が背景画素であると判定する。
【００４９】
判定部３１は、入力画素の画素値が、正規分布５１２の所定範囲内に存在する場合、当該正規分布５１２を適合正規分布５１２とする。ここで、正規分布の平均値及び分散値をそれぞれμ及びσで表すと、所定範囲は、例えば、正規分布５１２のμ±３σの範囲である。図６は、入力画素の画素値１１５に適合する適合正規分布５１２の一例を示す図である。図７は、入力画素の画素値１１５に適合しない正規分布５１２の一例を示す図である。
【００５０】
なお、入力画素の画素値が正規分布５１２に適合するということは、背景モデル５００における、当該入力画素に対応する、当該正規分布５１２と同じ背景正規分布５０１にも適合することを意味する。したがって、判定部３１は、背景モデル５００における、対象入力画素に対応する背景正規分布５０１に、対象入力画素の画素値に適合する背景正規分布５０１が存在しない場合には、対象入力画素が前景画素であると判定すると言える。また、判定部３１は、背景モデル５００における、対象入力画素に対応する背景正規分布５０１に、対象入力画素の画素値に適合する背景正規分布５０１が存在する場合には、対象入力画素が背景画素であると判定すると言える。
【００５１】
＜背景モデル更新処理の詳細＞
背景モデル更新処理において、背景モデル更新部３２は、処理対象の入力フレーム画像１１１のある入力画素に対する判定部３１での暫定判定処理の結果に基づいて、出現画素値情報５１０での当該ある入力画素に対応する混合正規分布５１１を更新し、更新後の混合正規分布５１１に基づいて、背景モデル５００での当該ある入力画素に対応する背景情報５０１（背景正規分布５０１）を更新する処理を行う。この処理を「画素単位背景更新処理」と呼ぶ。背景モデル更新部３２は、背景モデル更新処理において、入力フレーム画像１１１の各画素について画素単位背景更新処理を行う。
【００５２】
図８は画素単位背景更新処理を示すフローチャートである。図８を用いて画素単位背景更新処理を説明する。以後、処理対象の入力フレーム画像１１１の対象入力画素に対応する混合正規分布５１１を「対象混合正規分布５１１」と呼ぶ。また、対象入力画素に対応する背景情報５０１を「対象背景情報５０１」と呼ぶ。
【００５３】
図８に示されるように、ステップｓ１において、背景モデル更新部３２は、対象入力画素に対する判定部３１での暫定判定処理の結果に基づいて、対象混合正規分布５１１を更新する。そしてステップｓ２において、背景モデル更新部３２は、更新後の対象混合正規分布５１１に基づいて対象背景情報５０１を更新する。ステップｓ１はステップｓ１１〜ステップｓ１４で構成されている。
【００５４】
ステップｓ１１において、背景モデル更新部３２は、対象混合正規分布５１１に含まれる各正規分布５１２の重みｗを更新する。背景モデル更新部３２は、以下の式（１）に従って重みｗを更新する。
【００５５】
【数１】
0006630140.tif 000002
【００５６】
式（１）中のｗ０、ｗ１は、それぞれ、現在の重みｗ及び更新後の重みｗを示している。式（１）中のＭは、１あるいは０に設定される値である。対象混合正規分布５１１に含まれる複数の正規分布５１２のうち、判定部３１において、対象入力画素の画素値に適合すると判定された適合正規分布５１２の重みｗを更新する際にはＭ＝１に設定される。一方で、対象混合正規分布５１１に含まれる複数の正規分布５１２のうち、判定部３１において、対象入力画素の画素値に適合しないと判定された正規分布５１２の重みｗを更新する際にはＭ＝０に設定される。
【００５７】
式（１）中のαは学習率であって、０＜α＜１である。学習率αは、重みｗを現在の値を元にして更新する際に、現在の値に対して、暫定判定処理の結果をどの程度影響させるかを示している。学習率αが大きいほど、更新後の重みｗは、暫定判定処理の結果の影響を大きく受ける。したがって、学習率αが小さいほど重みｗは変化しにくくなる。
【００５８】
背景モデル更新部３２は、対象混合正規分布５１１の複数の重みｗを更新すると、更新後の複数の重みｗの総和が“１”となるように各重みｗを正規化する。
【００５９】
式（１）から理解できるように、対象混合正規分布５１１に含まれる複数の正規分布５１２のうち、対象入力画素の画素値に適合する正規分布５１２の重みｗは大きくなり、対象入力画素の画素値に適合しない正規分布５１２の重みｗは小さくなる。
【００６０】
ステップｓ１１の後、ステップｓ１２において、背景モデル更新部３２は、対象混合正規分布５１１に適合正規分布５１２が含まれていると判定すると、ステップｓ１３において、適合正規分布５１２の平均値μ及び分散値σを更新する。
【００６１】
背景モデル更新部３２は、以下の式（２）に従って適合正規分布５１２の平均値μを更新する。また、背景モデル更新部３２は、以下の式（３）に従って適合正規分布５１２の分散値σを更新する。
【００６２】
【数２】
0006630140.tif 000003
【００６３】
【数３】
0006630140.tif 000004
【００６４】
式（２）中のμ０、μ１は、それぞれ、更新前の平均値μ及び更新後の平均値μを示している。式（３）中のσ０、σ１は、それぞれ、更新前の分散値σ及び更新後の分散値σを示している。式（２），（３）中のＸは、対象入力画素の画素値を示している。
【００６５】
式（２），（３）中のβは学習率を示しており、０＜β＜１である。式（２）での学習率βは、平均値μを現在の値を元にして更新する際に、現在の値に対して、対象入力画素の画素値Ｘをどの程度影響させるかを示している。学習率βが大きいほど、更新後の平均値μは、対象入力画素の画素値Ｘの影響を大きく受ける。したがって、学習率βが小さいほど平均値μは変化しにくくなる。また、式（３）での学習率βは、分散値σを現在の値を元にして更新する際に、現在の値に対して、対象入力画素の画素値Ｘをどの程度影響させるかを示している。学習率βが大きいほど、更新後の分散値σは、対象入力画素の画素値Ｘの影響を大きく受ける。したがって、学習率βが小さいほど分散値σは変化しにくくなる。
【００６６】
学習率α，βは例えば以下の式（４），（５）で表される。
【００６７】
【数４】
0006630140.tif 000005
【００６８】
【数５】
0006630140.tif 000006
【００６９】
式（４）に示されるように、学習率αは、基準値ＲＥＦに対して定数Ａを足し合わせた値である。また式（５）に示されるように、学習率βは、基準値ＲＥＦに対して定数Ｂを足し合わせた値である。基準値ＲＥＦは、固定値であって、学習率α，βで共通に使用される。定数Ａは学習率αに固有の値である。定数Ｂは学習率βに固有の値である。定数Ａと定数Ｂとは互いに異なっている。
【００７０】
一方で、背景モデル更新部３２は、ステップｓ１２において、対象混合正規分布５１１に適合正規分布５１２が含まれていないと判定すると、ステップｓ１３を実行する。
【００７１】
ステップｓ１３において、背景モデル更新部３２は、対象入力画素の画素値を平均値μとした正規分布を新たに作成する。そして、背景モデル更新部３２は、対象混合正規分布５１１に含まれる複数の正規分布５１２のうちの１つの正規分布５１２を削除して、削除した正規分布５１２の代わりに新たに作成した正規分布を使用する。新たに作成された正規分布の重みｗ及び分散値σは、削除された正規分布５１２の重みｗ及び分散値σとそれぞれ一致する。背景モデル更新部３２は、対象混合正規分布５１１に含まれる複数の正規分布５１２のうち、例えば、重みｗが最小の正規分布５１２を削除する。
【００７２】
背景モデル更新部３２がステップｓ１３を実行すると、対象混合正規分布５１１の更新が完了する。つまりステップｓ１が終了する。また、背景モデル更新部３２がステップｓ１４を実行すると、対象混合正規分布５１１の更新が完了する。つまりステップｓ１が終了する。
【００７３】
背景モデル更新部３２は、ステップｓ１の後、ステップｓ２において、更新後の対象混合正規分布５１１に基づいて対象背景情報５０１を更新する。具体的には、背景モデル更新部５１１は、更新後の対象混合正規分布５１１に含まれる複数の正規分布５１２から、背景情報５０１として使用する正規分布５１２を決定する。背景モデル更新部５１１は、更新後の対象混合正規分布５１１に含まれる複数の正規分布５１１のうち、例えば、重みｗが第１しきい値よりも大きい正規分布５１２を、背景情報として５０１として使用することを決定する。更新後の対象混合正規分布５１１に含まれる複数の正規分布５１１において、重みｗが第１しきい値よりも大きい正規分布５１２が複数存在する場合には、複数の正規分布５１２が、背景情報として５０１として使用されると決定される。そして、背景モデル更新部３２は、現在の対象背景情報５０１を、決定した新たな背景情報５０１に置き換える。これにより、対象背景情報５０１が更新される。
【００７４】
以上の説明から理解できるように、対象入力画素において、同程度の画素値が現れる頻度が大きくなれば、対象入力画素に現れる画素値に応じた正規分布５１２が対象入力画素に対応する背景情報５０１として採用されるようになる。したがって、対象入力画素において、同程度の画素値が現れる頻度が大きくなれば、対象入力画素は判定部３１において背景画素として判定されるようになる。一方で、対象入力画素において、同程度の画素値が現れる頻度が小さくなれば、その画素値に応じた背景正規分布５０１は削除される。したがって、対象入力画素において、同程度の画素値が現れる頻度が小さくなれば、対象入力画素は判定部３１において前景画素として判定されるようになる。
【００７５】
このように、背景モデル更新部３２は、対象入力画素において、同程度の画素値が現れる頻度に応じて、背景モデル５００に含まれる、対象入力画素に対応する背景情報５０１を更新している。以後、このような背景情報の更新を「頻度型背景更新」と呼ぶ。
【００７６】
以上のような背景モデル５００及びその更新方法を使用することによって、一時的に背景が変化する場合や、急激に背景が変化する場合であっても、適切に背景モデル５００を更新することが可能となる。
【００７７】
＜画像処理装置の動作段階＞
画像処理装置３の動作段階として、準備段階と実動作段階とが存在する。画像処理装置３は、準備段階において、背景モデル５００の初期学習処理を行う。背景モデル５００の初期学習処理では、人が存在しない室内３００が写る入力動画像１００に基づいて背景モデル５００が繰り返し更新される。画像処理装置３では、初期学習処理が完了すると、動作段階が準備段階から実動作段階へ移行する。画像処理装置３は、実動作段階において、入力動画像１００での前景画像を特定する。以後、初期学習処理で使用する、人が存在しない室内３００が写る入力動画像１００のフレーム画像１０１を特に「学習用フレーム画像１０１」と呼ぶ。初期学習では、カメラ２から学習用フレーム画像１０１が順次画像処理装置３に入力される。
【００７８】
＜準備段階での画像処理装置の動作＞
図９は準備段階で行われる初期学習処理を示すフローチャートである。図９に示されるように、ステップｓ２１において、画像処理装置３は、カメラ２から入力される学習用フレーム画像１０１を処理対象として、ステップｓ２２において前処理、暫定判定処理及び背景モデル更新処理を行う。ステップｓ２２での背景モデル更新処理では、前処理部３０が出力する、学習用フレーム画像１０１に対応する入力フレーム画像１１１を構成する各入力画素について、上述の画素単位背景更新処理が行われる。これにより、背景モデル５００が１回更新される。
【００７９】
ステップｓ２２の後、画像処理装置３は、背景モデル５００を所定回数更新したか否かを判定する。画像処理装置３は、背景モデル５００を所定回数更新したと判定すると初期学習処理を終了する。一方で、画像処理装置３は、背景モデル５００を所定回数更新していないと判定すると、ステップｓ２１を再度実行して、カメラ２から新たに入力される学習用フレーム画像１０１を新たな処理対象として、ステップｓ２２において前処理、暫定判定処理及び背景モデル更新処理を行う。以後、画像処理装置３は同様に動作する。
【００８０】
このように、人が存在しない室内３００が写る入力動画像１００に基づいて背景モデル５００が繰り返し更新されることによって、記憶部５には、室内３００内の背景に応じた背景モデル５００が記憶される。
【００８１】
＜実動作段階での画像処理装置の動作＞
図１０は実働動作段階での画像処理装置３の動作を示すフローチャートである。図１０に示されるように、ステップｓ３１において、画像処理装置３は、カメラ２から入力フレーム画像１０１が入力されると、入力された入力フレーム画像１０１を処理対象とする。次に、ステップｓ３２において、前処理部３０は、処理対象の入力フレーム画像１０１に対して前処理を行って、前処理後の処理対象の入力フレーム画像１０１を処理対象の入力フレーム画像１１１として出力する。
【００８２】
次にステップｓ３３において、判定部３１は、処理対象の入力フレーム画像１１１に基づいて暫定判定処理を行う。
【００８３】
次にステップｓ３４において、背景モデル更新部３２は、処理対象の入力フレーム画像１１１に基づいて背景モデル更新処理を行う。
【００８４】
次にステップｓ３５において、微動特定部３３は、処理対象の入力フレーム画像１１１に基づいて微動特定処理を行う。
【００８５】
次にステップｓ３６において、第１マップ更新部４１は、判定部３１での暫定判定処理の結果に基づいて、第１頻度マップ４１０を更新する第１マップ更新処理を行う。
【００８６】
次にステップｓ３７において、第２マップ更新部４２は、ステップｓ３５で特定された微動発生領域と、ステップｓ３６で更新された第１頻度マップ４１０とに基づいて、第２頻度マップ４２０を更新する第２マップ更新処理を行う。
【００８７】
次にステップｓ３８において、前景特定部３４は、ステップｓ３７で更新された第２頻度マップ４２０に基づいて、静止している人の画像を前景画像として特定する前景特定処理を行う。
【００８８】
画像処理装置３は、カメラ２から新たな入力フレーム画像１０１が入力されると（ステップｓ３１）、当該入力フレーム画像１０１を新たな処理対象として、ステップｓ３２〜ｓ３８を再度実行する。画像処理装置３は、以後同様に動作して、カメラ２から入力フレーム画像１０１が入力されるたびに（ステップｓ３１）、ステップｓ３２〜ｓ３８を実行する。
【００８９】
＜微動特定処理の詳細＞
次にステップｓ３５での微動特定処理について詳細に説明する。
【００９０】
上述のように、本実施の形態に係る背景モデル更新処理で採用されている頻度型背景更新では、対象入力画素において、同程度の画素値が現れる頻度が大きくなれば、対象入力画素は判定部３１において背景画素として判定されるようになる。撮影領域でのある場所において、人がしばらくの間静止すると、入力フレーム画像１１１における、その場所に対応する各画素では、同程度の画素値が現れる頻度が大きくなる。したがって、撮影領域において人がしばらくの間静止すると、判定部３１は、入力フレーム画像１１１における当該人の画像の画素を、誤って背景画素であると判定する可能性が高くなる。
【００９１】
一方で、椅子に座っている人などの静止している人（移動していない人）は、ほとんどの場合、完全に動きが止まっているわけではなく、微動している（小さく動いている）。例えば、椅子に座って仕事をしている人、あるいは立ち話している人は、手、頭、体あるいは脚が少し動いている。
【００９２】
本実施の形態では、画像処理装置３は、撮影領域において人の微動が発生している微動発生領域を特定し、その特定結果と、判定部３１での判定結果とを用いて、処理対象の入力フレーム画像１１１において、静止している人の画像を前景画像として特定する。これにより、前景画像をより正しく特定することが可能となる。
【００９３】
図１１は微動特定処理を示すフローチャートである。図１１に示されるように、ステップｓ３５１において、微動特定部３３は、処理対象の入力フレーム画像１１１と、そのＮフレーム前の入力フレーム画像１１１との間の差分画像６００を生成する。Ｎは例えば“３”に設定される。微動特定部３３は、各画素について、処理対象の入力フレーム画像１１１の画素値とＮフレーム前の入力フレーム画像１１１の画素値との差分を求めて、それによって得られる各画素の差分値を２値化することによって差分画像６００を生成する。したがって、差分画像６００は２値化画像である。
【００９４】
次にステップｓ３５２において、微動特定部３３は、差分画像６００における、互いに独立する複数の動体領域を動体領域群として特定する。ステップｓ３５２において、微動特定部３３は、まず、差分画像６００での、画素値が“１”の部分（高輝度領域）に対して、４連結あるいは８連結等を用いたラベリングを行う。そして、微動特定部３３は、ラベリングによって得られた各独立領域（各連結領域）についての外接矩形を求める。そして、微動特定部３３は、求めた各外接矩形を、１つの動体領域（動画素領域）６０１とする。これにより、差分画像６００における、互いに独立する複数の動体領域６０１が動体領域群６１０として特定される。
【００９５】
図１２は、差分画像６００における動体領域群６１０の一例を示す図である。図１２に示される動体領域群６１０は、動体領域６０１ａ〜６０１ｈで構成されている。
【００９６】
次にステップｓ３５３において、微動特定部３３は、動体領域群６１０に対して、互いに距離が近い複数の動体領域６０１を１つの第１グループ６０２とする第１グループ分け処理を行う。第１グループ分け処理では、動体領域群６１０において、近くに他の動体領域６０１が存在しない孤立動体領域６０１が含まれる場合には、孤立動体領域６０１だけで１つの第１グループ６０２が構成される。
【００９７】
図１３は、図１２に示される動体領域群６１０に対して第１グループ分け処理を行った結果を示す図である。図１３の例では、互いに距離が近い複数の動体領域６０１ａ〜６０１ｅが１つの第１グループ６０２Ａを構成している。また、互いに距離が近い複数の動体領域６０１ｇ，６０１ｆが１つの第１グループ６０２Ｂを構成している。図１３の例では、動体領域６０１ｈは孤立動体領域６０１であるので、動体領域６０１ｈだけで１つの第１グループ６０２Ｃが構成される。
【００９８】
次にステップｓ３５４において、微動特定部３３は、ステップｓ３５３で得られた各第１グループ６０２についての、当該第１グループ６０２を構成する動体領域６０１を包含する第１包含領域６０３のうち、第１及び第２条件を満たす第１包含領域６０３を特定する。
【００９９】
本例では、第１グループ６０２を構成する複数の動体領域６０１の外接矩形を、当該複数の動体領域６０１を包含する第１包含領域６０３とする。また、第１グループ６０２が１つ動体領域６０１で構成されている場合には、当該１つの動体領域６０１がそのまま第１包含領域６０３となる。図１４の例では、第１グループ６０２Ａを構成する動体領域６０１ａ〜６０１ｅの外接矩形が第１包含領域６０３Ａとなっており、第１グループ６０２Ｂを構成する動体領域６０１ｆ，６０１ｇの外接矩形が第１包含領域６０３Ｂとなっている。また、第１グループ６０２Ｃを構成する動体領域６０１ｈが第１包含領域６０３Ｃとなっている。
【０１００】
ステップｓ３５４での第１条件は、第１包含領域６０３の面積が小さいという条件である。具体的には、第１条件は、第１包含領域６０３の面積が第２しきい値以下であるという条件である。第１条件は、第１包含領域６０３の面積が第２しきい値未満であるという条件であっても良い。以後、第１条件を「サイズ条件」と呼ぶ。
【０１０１】
第２条件は、第１包含領域６０３の近傍（周辺）に、面積が大きい他の第１包含領域６０３が存在しないという条件である。具体的には、第２条件は、第１包含領域６０３から所定距離以内に、サイズ条件を満たさない第１包含領域６０３が存在しないという条件である。以後、第２条件を「孤立条件」と呼ぶ。
【０１０２】
図１４の例では、第１包含領域６０３Ａの面積は第２しきい値よりも大きく、第１包含領域６０３Ａはサイズ条件を満たさない。一方で、第１包含領域６０３Ｂ，６０３Ｃの面積は第２しきい値以下であり、第１包含領域６０３Ｂ，６０３Ｃはサイズ条件を満たす。また、第１包含領域６０３Ａの近傍には第１包含領域６０３Ｂが存在し、第１包含領域６０３Ｂの近傍には第１包含領域６０３Ａが存在することから、第１包含領域６０３Ａ，６０３Ｃのそれぞれは孤立条件を満たさない。一方で、第１包含領域６０３Ｂの近傍には他の第１包含領域６０３が存在しないことから、第１包含領域６０３Ｂは孤立条件を満たす。よって、第１包含領域６０３Ａ〜６０３Ｃのうち、サイズ条件及び孤立条件を満たす第１包含領域６０３は、第１包含領域６０３Ｂとなる。以後、サイズ条件及び孤立条件を満たす第１包含領域６０３を「適合包含領域６０３」と呼ぶことがある。
【０１０３】
ステップｓ３５４の後、ステップｓ３５５において、微動特定部３３は、撮影領域のうち、ステップｓ３５４において特定された適合包含領域６０３に対応する対応領域を微動発生領域とする。図１４の例では、撮影領域のうち、第１包含領域６０３ｃに対応する対応領域が微動発生領域となる。つまり、撮影領域において、差分画像６００での第１包含領域６０３ｃの相対的な位置と同じ相対的な位置に存在する一部の領域が微動発生領域となる。ステップｓ３５４において複数の適合包含領域６０３が特定された場合には、撮影領域における、当該複数の適合包含領域にそれぞれ対応する複数の対応領域のそれぞれが微動発生領域となる。したがって、ステップｓ３５５では、複数の微動発生領域が特定されることがある。
【０１０４】
ここで、差分画像６００からは、同じ人の動きに応じた、互いに近くに存在する複数の動体領域６０１が得られることがある。一方で、ある人の動きに応じた動体領域６０１と、別の人の動きに応じた動体領域６０１とは、互いに離れて存在する可能性が高い。したがって、互いに距離が近い複数の動体領域６０１は、同じ人の動きに対応している可能性が高い。よって、互いに距離が近い複数の動体領域６０１を包含する１つの第１包含領域６０３は、１人の人の動きに応じた動体領域と見ることができる。以後、第１包含領域６０３を「動体領域６０３」と呼ぶことがある。
【０１０５】
また、人が通路等を移動している場合には、当該人は大きく動くことから、当該人の動きに応じた動体領域６０３（第１包含領域６０３）の面積は大きくなる。一方で、人が微動している場合には、当該人の動きに応じた動体領域６０３（第１包含領域６０３）の面積は小さくなる。したがって、動体領域６０３（第１包含領域６０３）がサイズ条件を満たす場合、当該動体領域６０３は、１人の人の微動に対応している可能性が高い。
【０１０６】
また、差分画像６００から、同じ人の動きに応じた複数の動体領域６０３が得られることがある。例えば、ある人の頭に応じた動体領域６０３と、当該ある人の脚の動きに応じた動体領域６０３とが得られることがある。同じ人の動きに応じた複数の動体領域６０３は互いに近くに存在する。そして、ある人が移動している場合、当該ある人の動きに応じた複数の動体領域６０３では、面積が小さい動体領域６０３の近傍に面積が大きい動体領域６０３が存在することがある。例えば、胸に小さいバッチが付けられた、模様の無い服を着た人が通路等を移動している場合を考える。この場合、差分画像６００では模様の無い服の動きは現れにくいことから、服に取り付けられたバッチの動きに応じた、面積が小さい動体領域６０３と、頭等の動きに応じた、面積が大きい動体領域６０３とが別々に得られることがある。このとき、バッチの動きに応じた、面積が小さい動体領域６０３の近傍に、頭等の動きに応じた、面積が大きい動体領域６０３が存在することになる。一方で、同じ人の微動に対応する複数の動体領域６０３では、各動体領域６０３の面積が小さくなり、面積が小さい動体領域６０３の近傍に面積が大きい動体領域６０３が存在する可能性は低い。したがって、動体領域６０３が孤立条件を満たす場合、当該動体領域６０３は、人の移動に応じた動体領域６０３である可能性は低く、人の微動に応じた動体領域６０３である可能性が高い。
【０１０７】
以上より、本例では、動体領域６０３がサイズ条件及び孤立条件を満たす場合には、当該動体領域６０３は、１人の人の微動に応じた動体領域６０３であると判定し、撮影領域のうち、サイズ条件及び孤立条件を満たす動体領域６０３に対応する対応領域を、１人の人に対応する微動発生領域としている。撮影領域のうち、サイズ条件及び孤立条件を満たす動体領域６０３に対応する対応領域を微動発生領域とすることによって、微動発生領域を適切に特定することができる。なお、微動特定部３３で特定された複数の微動発生領域は、複数の人にそれぞれ対応することもあれば、同じ人に対応することもある。
【０１０８】
＜第１グループ分け処理＞
上述のステップｓ３５３において、微動特定部３３は、２つの動体領域６０１間の距離を、２つの動体領域６０１の全ての組み合わせてについて求め、求めた全組み合わせに係る距離を用いて、第１グループ分け処理を行うことが可能である。つまり、微動特定部３３は、求めた全組み合わせに係る距離を用いて、互いの距離が所定値以下となる複数の動体領域６０１を特定し、特定した複数の動体領域６０１を、互いに距離が近い複数の動体領域６０１として、特定した複数の動体領域６０１を１つの第１グループ６０２として決定することが可能である。
【０１０９】
しかしながら、２つの動体領域６０１間の距離を、２つの動体領域６０１の全ての組み合わせてについて求める処理は負荷が大きい。
【０１１０】
そこで、以下に、２つの動体領域６０１間の距離を求める回数を低減することが可能な第１グループ分け処理を行う方法について説明する。
【０１１１】
図１５は第１グループ分け処理の一例の概要を示す図である。図１５に示されるように、微動特定部３３は、第１グループ分け処理において、処理対象に対して１つ第２グループを決定するグループ決定処理を繰り返し行う第２グループ分け処理を繰り返し実行する。
【０１１２】
図１６はグループ決定処理を示すフローチャートである。微動特定部３３は、第２グループ分け処理において、処理対象に対するグループ決定処理を、当該処理対象を変えながら繰り返し行う。
【０１１３】
図１６に示されるように、ステップｓ４５１において、微動特定部３３は、処理対象の動体領域６０１から、基準となる動体領域６０１（以後、「基準動体領域６０１」と呼ぶ）を決定する。処理対象の動体領域６０１のうちの任意の動体領域６０１が基準動体領域６０１とされて良い。
【０１１４】
ここで、微動特定部３３は、最初の第２グループ分け処理において、最初のグループ決定処理を行う場合には、動体領域群６１０を構成する複数の動体領域６０１のすべてを処理対象とする。
【０１１５】
次にステップｓ４５２において、微動特定部３３は、処理対象の動体領域６０１において、基準動体領域６０１との距離が第３しきい値以下の他の動体領域６０１が存在するか否かを判定する。つまり、微動特定部３３は、処理対象において、基準動体領域６０１から近い位置の他の動体領域６０１が存在するか否かを判定する。
【０１１６】
微動特定部３３は、処理対象において、基準動体領域６０１との距離が第３しきい値以下の他の動体領域６０１が存在すると判定すると、ステップｓ４５３において、当該基準動体領域６０１と当該他の動体領域６０１とを１つの第２グループ６２０として決定する。一方で、微動特定部３３は、処理対象において、基準動体領域６０１との距離が第３しきい値以下の他の動体領域６０１が存在しないと判定すると、ステップｓ４５４において、当該基準動体領域６０１だけを１つの第２グループ６２０として決定する。処理対象が１つの動体領域６０１だけ構成される場合には、処理対象において、基準動体領域６０１との距離が第３しきい値以下の他の動体領域６０１が存在しないことになる。
【０１１７】
なお、微動特定部３３は、ステップｓ４５２において、処理対象において、基準動体領域６０１との距離が第３しきい値未満の他の動体領域６０１が存在するか否かを判定しても良い。この場合、微動特定部３３は、処理対象において、基準動体領域６０１との距離が第３しきい値未満の他の動体領域６０１が存在する場合には、当該基準動体領域６０１と当該他の動体領域６０１とを１つの第２グループ６２０として決定する。また、微動特定部３３は、処理対象において、基準動体領域６０１との距離が第３しきい値未満の他の動体領域６０１が存在しない場合には、当該基準動体領域６０１だけを１つの第２グループ６２０として決定する。
【０１１８】
微動特定部３３は、第２グループ分け処理において、２回目以降のグループ決定処理を行う場合には、直近のグループ決定処理での処理対象から、直近のグループ決定処理で決定された第２グループを除いた残りの部分を、新たな処理対象としてグループ決定処理を行う。
【０１１９】
微動特定部３３は、第２グループ分け処理において、第２グループが決定できなくなるまでグループ決定処理を繰り返し実行すると、次の第２グループ分け処理を実行する。具体的には、微動特定部３３は、第２グループ分け処理において、処理対象から、直近のグループ決定処理で決定された第２グループを除いた結果、動体領域６０１が１つも残らずに、次の処理対象を決定できないとき、次の第２グループ分け処理を実行する。
【０１２０】
以下に、図１４に示される動体領域群６１０を用いて、最初の第２グループ分け処理の具体例について説明する。微動特定部３３は、最初の第２グループ分け処理での最初のグループ決定処理では、動体領域群６１０を構成する複数の動体領域６０１ａ〜６０１ｈを処理対象とする。微動特定部３３は、処理対象である動体領域６０１ａ〜６０１ｈから基準動体領域６０１を決定する（ステップｓ４５１）。微動特定部３３は、例えば、動体領域６０１ａを基準動体領域６０１とする。
【０１２１】
次に、微動特定部３３は、動体領域６０１ａ〜６０１ｈにおいて、基準動体領域６０１である動体領域６０１ａとの距離が第３しきい値以下の他の動体領域６０１が存在するか否かを判定する（ステップｓ４５２）。このとき、微動特定部３３は、図１７に示されるように、動体領域６０１ａと、動体領域６０１ｂ〜６０１ｈのそれぞれとの間の距離を求める。そして、微動特定部３３は、求めた各距離が第３しきい値以下であるか否かを判定する。これにより、動体領域６０１ａ〜６０１ｈにおいて、動体領域６０１ａとの距離が第３しきい値以下の他の動体領域６０１が存在するか否か判定される。図１７の例では、動体領域６０１ａとの距離が第３しきい値以下の動体領域６０１は、動体領域６０１ｂ，６０１ｃとなる。微動特定部３３は、図１８に示されるように、動体領域６０１ａ〜６０１ｃを１つの第２グループ６２０Ａ１として決定する（ステップｓ４５３）。これにより、最初のグループ決定処理が終了する。
【０１２２】
次に、微動特定部３３は、現在の処理対象である動体領域６０１ａ〜６０１ｈから、直近のグループ決定処理で決定された第２グループ６２０Ａ１を除いた残りの部分、つまり動体領域６０１ｄ〜６０１ｈを、新たな処理対象として２回目のグループ決定処理を行う。
【０１２３】
微動特定部３３は、２回目のグループ決定処理において、処理対象である動体領域６０１ｄ〜６０１ｈから基準動体領域６０１を決定する（ステップｓ４５１）。微動特定部３３は、例えば、動体領域６０１ｄを基準動体領域６０１とする。
【０１２４】
次に、微動特定部３３は、動体領域６０１ｄ〜６０１ｈにおいて、動体領域６０１ｄとの距離が第３しきい値以下の他の動体領域６０１が存在するか否かを判定する（ステップｓ４５２）。このとき、微動特定部３３は、図１９に示されるように、動体領域６０１ｄと、動体領域６０１ｅ〜６０１ｈのそれぞれとの間の距離を求める。そして、微動特定部３３は、求めた各距離が第３しきい値以下であるか否かを判定する。これにより、動体領域６０１ｅ〜６０１ｈにおいて、動体領域６０１ｅとの距離が第３しきい値以下の他の動体領域６０１が存在するか否か判定される。図１９の例では、動体領域６０１ｄとの距離が第３しきい値以下の動体領域６０１は、動体領域６０１ｅとなる。微動特定部３３は、図２０に示されるように、動体領域６０１ｄ，６０１ｅを１つの第２グループ６２０Ｂ１として決定する（ステップｓ４５３）。これにより、２回目のグループ決定処理が終了する。
【０１２５】
次に、微動特定部３３は、現在の処理対象である動体領域６０１ｄ〜６０１ｈから、直近のグループ決定処理で決定された第２グループ６２０Ｂ１を除いた残りの部分、つまり動体領域６０１ｆ〜６０１ｈを、新たな処理対象として３回目のグループ決定処理を行う。
【０１２６】
微動特定部３３は、３回目のグループ決定処理において、処理対象である動体領域６０１ｆ〜６０１ｈから基準動体領域６０１を決定する（ステップｓ４５１）。微動特定部３３は、例えば、動体領域６０１ｈを基準動体領域６０１とする。
【０１２７】
次に、微動特定部３３は、動体領域６０１ｆ〜６０１ｈにおいて、動体領域６０１ｆとの距離が第３しきい値以下の他の動体領域６０１が存在するか否かを判定する（ステップｓ４５２）。このとき、微動特定部３３は、図２１に示されるように、動体領域６０１ｈと、動体領域６０１ｆ，６０１ｇのそれぞれとの間の距離を求める。そして、微動特定部３３は、求めた各距離が第３しきい値以下であるか否かを判定する。これにより、動体領域６０１ｆ，６０１ｇにおいて、動体領域６０１ｈとの距離が第３しきい値以下の動体領域６０１が存在するか否か判定される。図２１の例では、動体領域６０１ｆ，６０１ｇにおいて、動体領域６０１ｈとの距離が第３しきい値以下の動体領域６０１は存在しない。したがって、微動特定部３３は、図２２に示されるように、基準動体領域６０１である動体領域６０１ｈを１つの第２グループ６２０Ｃ１として決定する（ステップｓ４５４）。これにより、３回目のグループ決定処理が終了する。
【０１２８】
次に、微動特定部３３は、現在の処理対象である動体領域６０１ｆ〜６０１ｈから、直近のグループ決定処理で決定された第２グループ６２０Ｃ１を除いた残りの部分、つまり動体領域６０１ｆ，６０１ｇを、新たな処理対象として４回目のグループ決定処理を行う。
【０１２９】
微動特定部３３は、４回目のグループ決定処理において、処理対象である動体領域６０１ｆ，６０１ｇから基準動体領域６０１を決定する（ステップｓ４５１）。微動特定部３３は、例えば、動体領域６０１ｆを基準動体領域６０１とする。
【０１３０】
次に、微動特定部３３は、動体領域６０１ｇが、動体領域６０１ｆからの距離が第３しきい値以下の動体領域６０１であるか否かを判定する（ステップｓ４５２）。このとき、微動特定部３３は、図２３に示されるように、動体領域６０１ｆと動体領域６０１ｇの間の距離を求める。そして、微動特定部３３は、求めた距離が第３しきい値以下の場合、動体領域６０１ｇが、動体領域６０１ｆとの距離が第３しきい値以下である動体領域６０１であると判定する。一方で、微動特定部３３は、求めた距離が第３しきい値未満の場合、動体領域６０１ｇは、動体領域６０１ｆからの距離が第３しきい値以下の動体領域６０１ではないと判定する。図２３の例では、動体領域６０１ｇは、動体領域６０１ｈとの距離が第３しきい値以下の動体領域６０１となる。微動特定部３３は、図２４に示されるように、動体領域６０１ｆ，６０１ｇを１つの第２グループ６２０Ｄ１として決定する（ステップｓ４５４）。これにより、４回目のグループ決定処理が終了する。
【０１３１】
次に、微動特定部３３は、現在の処理対象である動体領域６０１ｆ，６０１ｇから、直近のグループ決定処理で決定された第２グループ６２０Ｄ１を除いた結果、動体領域６０１が１つも残らないため、第２グループ６２０が決定できず、最初の第２グループ分け処理を終了して、次の第２グループ分け処理を実行する。
【０１３２】
微動特定部３３は、２回目以降の第２グループ分け処理を実行する場合には、直近の第２グループ分け処理で決定された各第２グループ６２０についての、当該第２グループ６２０を構成する動体領域６０１を含む第２包含領域６３０を新たな動体領域６０１とする。そして、微動特定部３３は、決定した新たな動体領域６０１を処理対象として、第２グループ分け処理の最初のグループ決定処理を実行する。
【０１３３】
上述の図１７〜図２４に示される最初の第２グループ分け処理では、第２グループ６２０Ａ１〜６２０Ｄ１が決定されている。したがって、微動特定部３３は、第２グループ６２０Ａ１〜６２０Ｄ１のそれぞれについての、当該第２グループ６２０を構成する動体領域６０１を含む第２包含領域６３０を新たな動体領域６０１とする。具合的には、図２５に示されるように、第２グループ６２０Ａ１を構成する動体領域６０１ａ〜６０１ｘを含む第２包含領域６３０Ａ１が新たな動体領域６０１Ａ１とされる。また、第２グループ６２０Ｂ１を構成する動体領域６０１ｄ，６０１ｅを含む第２包含領域６３０Ｂ１が新たな動体領域６０１Ｂ１とされる。また、第２グループ６２０Ｃ１を構成する動体領域６０１ｈを含む第２包含領域６３０Ｃ１が新たな動体領域６０１Ｃ１とされる。そして、第２グループ６２０Ｄ１を構成する動体領域６０１ｆ，６０１ｇを含む第２包含領域６３０Ｄ１が新たな動体領域６０１Ｄ１とされる。本例では、第２グループ６２０Ａ１，６２０Ｂ１，６２０Ｄ１のように、複数の動体領域６０１で構成される第２グループ６２０については、当該複数の動体領域６０１の外接矩形を第２包含領域６３０とする。また、第２グループ６２０Ｃ１のように、１つの動体領域６０１で構成されている第２グループ６２０については、当該１つの動体領域６０１をそのまま第２包含領域６３０とする。微動特定部３３は、新たな動体領域６０１Ａ１，６０１Ｂ１，６０１Ｃ１，６０１Ｄ１を処理対象として、２回目の第２グループ分け処理の最初のグループ決定処理を行う。
【０１３４】
微動特定部３３は、第２グループ分け処理で決定される第２グループ６２０の数がその前の第２グループ分け処理で決定される第２グループ６２０の数よりも減少しなくなるまで第２グループ分け処理６２０を繰り返し実行したとき、第１グループ分け処理を終了する。言い換えれば、微動特定部３３は、第２グループ分け処理で、複数の動体領域６０１で構成される第２グループ６２０が決定できなくなるまで第２グループ分け処理を繰り返し実行したとき、第１グループ分け処理を終了する。
【０１３５】
上述の図２５に示される例では、２回目の第２グループ分け処理の最初のグループ決定処理での処理対象は動体領域６０１Ａ１，６０１Ｂ１，６０１Ｃ１，６０１Ｄ１となる。微動特定部３３は、２回目の第２グループ分け処理の最初のグループ決定処理において、例えば、動体領域６０１Ａ１，６０１Ｂ１，６０１Ｃ１，６０１Ｄ１のうちの動体領域６０１Ａ１を基準動体領域６０１とする。
【０１３６】
次に、微動特定部３３は、動体領域６０１Ａ１，６０１Ｂ１，６０１Ｃ１，６０１Ｄ１において、動体領域６０１Ａ１との距離が第３しきい値以下の他の動体領域６０１が存在するか否かを判定する（ステップｓ４５２）。このとき、微動特定部３３は、図２６に示されるように、動体領域６０１Ａ１と、動体領域６０１Ｂ１，６０１Ｃ１，６０１Ｄ１のそれぞれとの間の距離を求める。そして、微動特定部３３は、求めた各距離が第３しきい値以下であるか否かを判定する。図２６の例では、動体領域６０１Ａ１との距離が第３しきい値以下の動体領域６０１は、動体領域６０１Ｂ１となる。微動特定部３３は、図２７に示されるように、動体領域６０１Ａ１，６０１Ｂ１を１つの第２グループ６２０Ａ２として決定する（ステップｓ４５３）。これにより、最初のグループ決定処理が終了する。
【０１３７】
次に、微動特定部３３は、現在の処理対象である動体領域６０１Ａ１，６０１Ｂ１，６０１Ｃ１，６０１Ｄ１から、直近のグループ決定処理で決定された第２グループ６２０Ａ２を除いた残りの部分、つまり動体領域６０１Ｃ１，６０１Ｄ１を、新たな処理対象として２回目のグループ決定処理を行う。
【０１３８】
微動特定部３３は、２回目のグループ決定処理において、例えば、動体領域６０１Ｃ１，６０１Ｄ１のうち、動体領域６０１Ｃ１を基準動体領域６０１とする。次に、微動特定部３３は、動体領域６０１Ｃ１，６０１Ｄ１において、動体領域６０１Ｃ１との距離が第３しきい値以下の他の動体領域６０１が存在するか否かを判定する（ステップｓ４５２）。このとき、微動特定部３３は、図２８に示されるように、動体領域６０１Ｃ１と動体領域６０１Ｄ１との間の距離を求める。そして、微動特定部３３は、求めた距離が第３しきい値以下であるか否かを判定する。図２８の例では、動体領域６０１Ｃ１，６０１Ｄ１において、動体領域６０１Ｃ１との距離が第３しきい以下の他の動体領域６０１は存在しない。したがって、微動特定部３３は、図２９に示されるように、基準動体領域６０１である動体領域６０１Ｃ１を１つの第２グループ６２０Ｂ２として決定する（ステップｓ４５４）。これにより、２回目のグループ決定処理が終了する。
【０１３９】
次に、微動特定部３３は、現在の処理対象である動体領域６０１Ｃ１，６０１Ｄ１から、直近のグループ決定処理で決定された第２グループ６２０Ｂ２を除いた残りの部分、つまり動体領域６０１Ｄ１を、新たな処理対象として３回目のグループ決定処理を行う。そして、微動特定部３３は、動体領域６０１Ｄ１を基準動体領域６０１とする。３回目のグループ決定処理では、処理対象が１つの動体領域６０１Ｄ１で構成されていることから、処理対象において、基準動体領域６０１との距離が第３しきい値以下の他の動体領域６０１は存在しない。したがって、微動特定部３３は、図３０に示されるように、基準動体領域６０１である動体領域６０１Ｄ１を１つの第２グループ６２０Ｃ２として決定する（ステップｓ４５４）。これにより、３回目のグループ決定処理が終了する。
【０１４０】
次に、微動特定部３３は、現在の処理対象である動体領域６０１Ｄ１から、直近のグループ決定処理で決定された第２グループ６２０Ｃ２を除いた結果、動体領域６０１が１つも残らないため、第２グループ６２０が決定できず、２回目の第２グループ分け処理を終了して、３回目の第２グループ分け処理を実行する。
【０１４１】
微動特定部３３は、３回目の第２グループ分け処理を実行する場合、直近の２回目の第２グループ分け処理で決定された第２グループ６２０Ａ２，６２０Ｂ２，６２０Ｃ２のそれぞれついての、当該第２グループ６２０を構成する動体領域６０１を含む第２包含領域６３０を新たな動体領域６０１とする。図３１に示されるように、第２グループ６２０Ａ２を構成する動体領域６０１Ａ１，６０１Ｂを包含する包含領域６３０Ａ２が新たな動体領域６０１Ａ２となり、第２グループ６２０Ｂ２を構成する動体領域６０１Ｃ１を包含する包含領域６３０Ｂ２が新たな動体領域６０１Ｂ２となり、第２グループ６２０Ｃ２を構成する動体領域６０１Ｄ１を包含する包含領域６３０Ｃ２が新たな動体領域６０１Ｃ２となる。微動特定部３３は、決定した新たな動体領域６０１Ａ２，６０１Ｂ２，６０１Ｃ２を処理対象として、３回目の第２グループ分け処理の最初のグループ決定処理を実行する。
【０１４２】
微動特定部３３は、３回目の第２グループ分け処理の最初のグループ決定処理において、例えば、処理対象の動体領域６０１Ａ２，６０１Ｂ２，６０１Ｃ２のうちの動体領域６０１Ａ２を基準動体領域６０１とする。次に、微動特定部３３は、動体領域６０１Ａ２，６０１Ｂ２，６０１Ｃ２において、動体領域６０１Ａ２との距離が第３しきい値以下の他の動体領域６０１が存在するか否かを判定する（ステップｓ４５２）。このとき、微動特定部３３は、図３２に示されるように、動体領域６０１Ａ２と、動体領域６０１Ｂ２，６０１Ｃ２のそれぞれとの間の距離を求める。そして、微動特定部３３は、求めた各距離が第３しきい値以下であるか否かを判定する。図３２の例では、動体領域６０１Ａ２，６０１Ｂ２，６０１Ｃ２において、動体領域６０１Ａ２との距離が第３しきい以下の動体領域６０１は存在しない。したがって、微動特定部３３は、図３３に示されるように、基準動体領域６０１である動体領域６０１Ａ２を１つの第２グループ６２０Ａ３として決定する（ステップｓ４５４）。これにより、最初のグループ決定処理が終了する。
【０１４３】
次に、微動特定部３３は、現在の処理対象である動体領域６０１Ａ２，６０１Ｂ２，６０１Ｃ２から、直近のグループ決定処理で決定された第２グループ６２０Ａ３を除いた残りの部分、つまり動体領域６０１Ｂ２，６０１Ｃ２を、新たな処理対象として２回目のグループ決定処理を行う。２回目のグループ決定処理において、例えば、処理対象の動体領域６０１Ｂ２，６０１Ｃ２のうちの動体領域６０１Ｂ２を基準動体領域６０１とする。次に、微動特定部３３は、動体領域６０１Ｂ２，６０１Ｃ２において、動体領域６０１Ｂ２との距離が第３しきい値以下の他の動体領域６０１が存在するか否かを判定する（ステップｓ４５２）。図３２の例では、動体領域６０１Ｂ２，６０１Ｃ２において、動体領域６０１Ｂ２との距離が第３しきい以下の動体領域６０１は存在しない。したがって、微動特定部３３は、基準動体領域６０１である動体領域６０１Ｂ２を１つの第２グループ６２０Ｂ３として決定する。これにより、２回目のグループ決定処理が終了する。
【０１４４】
次に、微動特定部３３は、現在の処理対象である動体領域６０１Ｂ２，６０１Ｃ２から、直近のグループ決定処理で決定された第２グループ６２０Ｂ３を除いた残りの部分、つまり動体領域６０１Ｃ２を、新たな処理対象として３回目のグループ決定処理を行う。そして、微動特定部３３は、動体領域６０１Ｃ２を基準動体領域６０１とする。３回目のグループ決定処理では、処理対象が１つの動体領域６０１Ｃ２で構成されていることから、処理対象において、基準動体領域６０１との距離が第３しきい値以下の他の動体領域６０１は存在しない。したがって、微動特定部３３は、基準動体領域６０１である動体領域６０１Ｃ２を１つの第２グループ６２０Ｃ３として決定する（ステップｓ４５４）。これにより、３回目のグループ決定処理が終了する。
【０１４５】
図３４に示されるように、３回目の第２グループ分け処理では、第２グループ６２０Ａ３，６２０Ｂ３，６２０Ｃ３が決定される。
【０１４６】
３回目の第２グループ分け決定処理で決定された第２グループ６２０の数は、２回目の第２グループ分け処理で決定された第２グループ６２０の数よりも減少していない。言い換えれば、３回目の第２グループ分け処理で決定された第２グループ６２０Ａ３，６２０Ｂ３，６２０Ｃ３のそれぞれは、１つの動体領域６０１で構成されており、３回目の第２グループ分け決定処理では、複数の動体領域６０１を構成する第２グループ６２０は決定されていない。したがって、微動特定部３３は、第２グループ分け処理で決定される第２グループ６２０の数がその前の第２グループ分け処理で決定される第２グループ６２０の数よりも減少しなくなるまで第２グループ分け処理６２０を繰り返し実行したことになり、第１グループ分け処理を終了する。言い換えれば、微動特定部３３は、複数の動体領域６０１で構成される第２グループ６２０が決定できなくなるまで第２グループ分け処理を繰り返し実行したことになり、第１グループ分け処理を終了する。
【０１４７】
以上のような第１グループ分け処理では、最終的に得られた第２グループ６２０を構成する動体領域６０１の元になる、動体領域群６１０での動体領域６０１によって、上述の第１グループ６０２が構成される。図３４の例では、第２グループ６２０Ａ３を構成する動体領域６０１Ａ２の元になる、動体領域群６１０での動体領域６０１ａ〜６０１ｅで第１グループ６０２Ａ（図１４参照）が構成される。また、第２グループ６２０Ｂ３を構成する動体領域６０１Ｂ２の元になる、動体領域群６１０での動体領域６０１ｈで第１グループ６０２Ｃ（図１４参照）が構成される。そして、第２グループ６２０Ｃ３を構成する動体領域６０１Ｃ２の元になる、動体領域群６１０での動体領域６０１ｆ，６０１ｇで第１グループ６０２Ｂ（図１４参照）が構成される。
【０１４８】
微動特定部３３は、第１グループ分け処理での最後の第２グループ分け処理で決定された各第２グループ６２０についての、当該第２グループ６２０を構成する動体領域を、上述の第１包含領域６０３とする。図３４の例では、第２グループ６２０Ａ３を構成する動体領域６０１Ａ２が第１包含領域６０３Ａ（図１４参照）となる。また、第２グループ６２０Ｂ３を構成する動体領域６０１Ｂ２が第１包含領域６０３Ｃ（図１４参照）。そして、第２グループ６２０Ｃ３を構成する動体領域６０１Ｃ２が第１包含領域６０３Ｂ（図１４参照）となる。
【０１４９】
以上ようにして、第１グループ分け処理において、グループ決定処理を繰り返し行う第２グループ分け処理を繰り返し実行することによって、動体領域間の距離を求める回数を低減することができる。よって、第１グループ分け処理が簡素化される。
【０１５０】
＜第１マップ更新処理の詳細＞
次にステップｓ３６での第１マップ更新処理について詳細に説明する。
【０１５１】
図３５は第１頻度マップ４１０を示す図である。第１頻度マップ４１０では、入力フレーム画像１１１に含まれる複数の入力画素にそれぞれ対応する複数の第１頻度値４１１が、当該複数の入力画素の位置に応じて並んでいる。第１頻度マップ４１０での第１頻度値４１１の相対的な位置は、入力フレーム画像１１１での、当該第１頻度値４１１に対応する入力画素の相対的な位置と一致している。
【０１５２】
ステップｓ３６での第１マップ更新処理において、第１マップ更新部４１は、入力フレーム画像１１１に含まれる、ステップｓ３３での暫定判定処理において前景画素であると判定された入力画素に対応する第１頻度値４１１を、所定値だけ増加する。この所定値を「第１増加量」と呼ぶ。一方で、第１マップ更新部４１は、入力フレーム画像１１１に含まれる、ステップｓ３３での暫定判定処理で背景画素であると判定された入力画素に対応する第１頻度値４１１を、所定値だけ減少する。この所定値を「第１減少量」と呼ぶ。第１増加量と第１減少量とは、互いに同じであっても良いし、互いに異なっていても良い。第１頻度値４１１については最小値と最大値が定められている。最小値は例えば零である。したがって、前景画素であると判定された入力画素に対応する第１頻度値４１１が最大値を示す場合には、その第１頻度値４１１は増加しない。また、背景画素であると判定された入力画素に対応する第１頻度値４１１が最小値を示す場合には、その第１頻度値４１１は減少しない。
【０１５３】
第１頻度マップ４１０をこのように更新することによって、第１頻度マップ４１０では、入力フレーム画像１１１において、前景画素であると頻繁に判定される入力画素に対応する第１頻度値４１１が大きくなる。言い換えれば、第１頻度マップ４１０では、撮影領域における、人が頻繁に現れる領域に対応する第１頻度値４１１が大きくなる。したがって、第１頻度マップ４１０を参照することによって、撮影領域において、人が存在する可能性が高い領域を特定することができる。
【０１５４】
＜第２マップ更新処理の詳細＞
次にステップｓ３７での第２マップ更新処理について詳細に説明する。
【０１５５】
図３６は第２頻度マップ４２０を示す図である。第１頻度マップ４１０と同様に、第２頻度マップ４２０では、入力フレーム画像１１１に含まれる複数の入力画素にそれぞれ対応する複数の第２頻度値４２１が、当該複数の入力画素の位置に応じて並んでいる。第２頻度マップ４２０での第２頻度値４２１の相対的な位置は、入力フレーム画像１１１での、当該第２頻度値４２１に対応する入力画素の相対的な位置と一致している。
【０１５６】
ステップｓ３７での第２マップ更新処理では、第２マップ更新部４２は、ステップｓ３５で微動発生領域が特定されない場合には、第２頻度マップ４２０の各第２頻度値４２１を所定値だけ減少する。以後、この所定値を「第２減少量」と呼ぶ。
【０１５７】
一方で、第２マップ更新部４２は、ステップｓ３５で微動発生領域が特定された場合には、基本的には、第１頻度マップ４１０における、特定された微動発生領域に対応する微動対応領域内の第１頻度値４１１を、第２頻度マップ４２０における、当該第１頻度値４１１に対応する第２頻度値４２１として採用するコピー処理を実行する。つまり、第２マップ更新部４２は、基本的には、第１頻度マップ４１０において、特定された微動発生領域の撮影領域での相対的な位置と同じ相対的な位置に存在する微動対応領域内の第１頻度値４１１を、第２頻度マップ４２０における、当該第１頻度値４１１に対応する第２頻度値４２１として採用するコピー処理を実行する。そして、第２マップ更新部４２は、第２頻度マップ４２０において、コピー処理が実行される第２頻度値４２１以外の第２頻度値４２１を第２減少量だけ減少する。第２マップ更新部４２は、第１頻度値４１１を第２頻度値４２１として採用することはあっても、第１頻度値４１１とは異なり、第２頻度値４２１を所定値だけ増加することはない。以下に、ステップｓ３５で微動発生領域が特定された場合の第２マップ更新処理について詳細に説明する。
【０１５８】
＜微動発生領域が特定された場合の第２マップ更新処理＞
図３７は、微動発生領域が特定された場合の第２マップ更新処理を示すフローチャートである。ステップｓ３５で微動発生領域が特定された場合、第２マップ更新部４２は、ステップｓ３７１において、ステップｓ３６で更新された第１頻度マップ４１０において、撮像領域での、人（検出対象動体）が存在する可能性が高い領域に対応する、互いに独立した複数の検出対象対応領域を特定する。
【０１５９】
ステップｓ３７１において、第２マップ更新部４２は、まず、第１頻度マップ４１０を２値化して２値化マップを生成する。具体的には、第２マップ更新部４２は、第１頻度マップ４１０において、“０”よりも大きい各第１頻度値４１１を“１”に設定し、“０”の第１頻度値４１１を“０”に設定して、２値化マップを生成する。次に、第２マップ更新部４２は、２値化マップにおける、値が“１”を示す領域に対して、４連結あるいは８連結等を用いたラベリングを行う。そして、第２マップ更新部４２は、２値化マップからラベリングによって得られた各独立領域についての、当該独立領域に対応する、第１頻度マップ４１０での対応領域を特定する。この対応領域を「独立領域対応領域」と呼ぶ。
【０１６０】
第２マップ更新部４２は、第１頻度マップ４１０での各独立領域対応領域について、当該独立領域対応領域の外接矩形を求める。そして、第２マップ更新部４２は、求めた各外接矩形を検出対象対応領域とする。
【０１６１】
ここで、第１頻度マップ４１０の独立領域対応領域は、第１頻度値４１１が“１”以上を示す領域である。したがって、第１頻度マップ４１０において、独立領域対応領域は、撮影領域での、人が存在する可能性が高い領域に対応する領域であると言える。よって、第１頻度マップ４１０において、独立領域対応領域の外接矩形、つまり検出対象対応領域も、撮影領域での、人が存在する可能性が高い領域に対応する領域であると言える。
【０１６２】
なお、第２マップ更新部４２は、第１頻度マップ４１０において、基準値（≧１）よりも大きい各第１頻度値４１１を“１”に設定し、当該基準値以下の第１頻度値４１１を“０”に設定して、２値化マップを生成しても良い。
【０１６３】
次にステップｓ３７２において、第２マップ更新部４２は、ステップｓ３７１で特定した検出対象対応領域において、微動対応領域を含む検出対象対応領域を特定する。以後、微動対応領域を含む検出対象対応領域を「特定検出対象対応領域」と呼ぶ。特定検出対象対応領域には、複数の微動対応領域が含まれることがある。
【０１６４】
次にステップｓ３７３において、第２マップ更新部４２は、ステップｓ３７２で特定された特定検出対象対応領域内の第１頻度値４１１を、第２頻度マップ４２０での当該第１頻度値４１１に対応する第２頻度値４２１として採用する。つまり、第２マップ更新部４２は、特定検出対象対応領域内の第１頻度値４１１を、第２頻度マップ４２０において、当該第１頻度値４１１の第１頻度マップ４１０での相対的な位置と同じ相対的な位置に存在する第２頻度値４２１として採用する。以後、特定検出対象対応領域内の第１頻度値４１１を、第２頻度マップ４２０での当該第１頻度値４１１に対応する第２頻度値４２１として採用することを、特定検出対象対応領域内の第１頻度値４１１についての第２頻度マップ４２０へのコピーと表現する。
【０１６５】
第２マップ更新部４２が特定検出対象対応領域内の第１頻度値を第２頻度マップ４２０にコピーする際の当該第２マップ更新部４２の動作は、特定検出対象対応領域の面積が大きいか否かに応じて異なる。
【０１６６】
第２マップ更新部４２は、特定検出対象対応領域内の第１頻度値を第２頻度マップ４２０にコピーする際には、当該特定検出対象対応領域の面積が第４しきい値以上であるか否かを判定する。第２マップ更新部４２は、特定検出対象対応領域の面積が第４しきい値未満の場合、特定検出対象対応領域の面積が小さいと判定し、当該特定検出対象対応領域内の複数の第１頻度値４１１のうち、第５しきい値以上の第１頻度値４１１だけを第２頻度マップ４２０にコピーする。第２マップ更新部４２は、面積が第４しきい値未満の特定検出対象対応領域のすべての第１頻度値４１１が第５しきい値未満の場合には、当該特定検出対象対応領域内の第１頻度値４１１を第２頻度マップ４２０にコピーしない。なお、第２マップ更新部４２は、特定検出対象対応領域の面積が第４しきい値未満の場合、当該特定検出対象対応領域内の複数の第１頻度値４１１のうち、第５しきい値よりも大きい第１頻度値４１１だけを第２頻度マップ４２０にコピーしても良い。
【０１６７】
図３８は、特定検出対象対応領域内の第１頻度値４１１が第２頻度マップ４２０にコピーされる様子の一例を示す図である。図３８に示されるように、カメラ２の撮影領域８００において、３つの微動発生領域８１０ａ〜８１０ｃが特定され、第１頻度マップ４１０において、４つの検出対象対応領域４１６Ａ〜４１６Ｄが特定されたとする。第２マップ更新部４２は、第１マップ４１０での、微動発生領域８１０ａに対応する微動対応領域４１５ａを含む特定検出対象対応領域４１６Ａの面積が第４しきい値以上であるか否かを判定する。また、第２マップ更新部４２は、第１マップ４１０での、微動発生領域８１０ｂに対応する微動対応領域４１５ｂを含む特定検出対象対応領域４１６Ｂの面積が第４しきい値以上であるか否かを判定する。また、第２マップ更新部４２は、第１マップ４１０での、微動発生領域８１０ｃに対応する微動対応領域４１５ｃを含む特定検出対象対応領域４１６Ｄの面積が第４しきい値以上であるか否かを判定する。図３８の例では、特定検出対象対応領域４１６Ａ，４１６Ｂ，４１６Ｄのそれぞれの面積は第４しきい値未満とする。なお、検出対象対応領域４１６Ｃは微動対応領域を含んでいない。
【０１６８】
第２マップ更新部４２は、特定検出対象対応領域４１６Ａ内の第１頻度値４１１のうち、第５しきい値以上の第１頻度値４１１を第２頻度マップ４２０にコピーする。また、第２マップ更新部４２は、特定検出対象対応領域４１６Ｂ内の第１頻度値４１１のうち、第５しきい値以上の第１頻度値４１１を第２頻度マップ４２０にコピーする。また、第２マップ更新部４２は、特定検出対象対応領域４１６Ｄ内の第１頻度値４１１のうち、第５しきい値以上の第１頻度値４１１を第２頻度マップ４２０にコピーする。図３８の例では、特定検出対象対応領域４１６Ａ内の第１頻度値４１１のうちの一部の第１頻度値４１１は第５しきい値未満なので、特定検出対象対応領域４１６Ａ内の第１頻度値４１１のうちの一部の第１頻度値４１１だけがコピーされる。特定検出対象対応領域４１６Ｂ内の第１頻度値４１１のすべてが第５しきい値以上なので、特定検出対象対応領域４１６Ｃ内の第１頻度値４１１のすべてがコピーされる。特定検出対象対応領域４１６Ｄ内の第１頻度値４１１のすべてが第５しきい値未満なので、特定検出対象対応領域４１６Ｄ内の第１頻度値４１１のすべてがコピーされない。
【０１６９】
第２マップ更新部４２は、特定検出対象対応領域の面積が第４しきい値以上の場合、当該特定検出対象対応領域の面積が大きいと判定し、当該特定検出対象対応領域に含まれる微動対応領域の外接矩形を求める。そして、第２マップ更新部４２は、求めた外接矩形内の第１頻度値４１１のうち、第５しきい値以上の第１頻度値４１１を第２頻度マップ４２０にコピーする。なお、第２マップ更新部４２は、求めた外接矩形内の第１頻度値４１１のうち、第５しきい値よりも大きい第１頻度値４１１を第２頻度マップ４２０にコピーしても良い。
【０１７０】
特定検出対象対応領域に１つの微動対応領域だけが含まれる場合には、当該１つの微動対応領域（矩形領域）がそのまま外接矩形となる。
【０１７１】
一方で、特定検出対象対応領域に複数の微動対応領域だけが含まれる場合には、第２マップ更新部４２は、当該特定検出対象対応領域に対して、互いに距離が近い複数の微動対応領域を１つの微動グループとする微動グループ分け処理を行う。微動グループ分け処理は、例えば、上述の第１グループ分け処理と同様に行うことができる。
【０１７２】
第２マップ更新部４２は、微動グループ分け処理の結果得られた各微動グループについて、当該微動グループを構成する複数の微動対応領域の外接矩形を求める。そして、第２マップ更新部４２は、求めた外接矩形内の第１頻度値４１１のうち、第５しきい値以上の第１頻度値４１１を第２頻度マップ４２０にコピーする。なお、微動グループが１つの微動対応領域だけで構成される場合には、当該１つの微動対応領域がそのまま外接矩形となる。
【０１７３】
図３９，４０は、微動グループ内の第１頻度値４１１が第２頻度マップ４２０にコピーさる様子の一例を示す図である。図３９の例では、３つの微動対応領域４１５ａ〜４１５ｃを含む特定検出対象対応領域４１６Ａの面積が第４しきい値以上である。そして、３つの微動対応領域４１５ａ〜４１５ｃが１つの微動グループ４１７Ａを構成している。この場合、第２マップ更新部４２は、３つの微動対応領域４１５ａ〜４１５ｃの外接矩形４１８Ａを求める。そして、第２マップ更新部４２は、外接矩形４１８Ａの第１頻度値４１１のうち、第５しきい値以上の第１頻度値４１１を第２頻度マップ４２０にコピーする。
【０１７４】
図４０の例では、６個の微動対応領域４１５ａ〜４１５ｆを含む特定検出対象対応領域４１６Ａの面積が第４しきい値以上である。そして、３個の微動対応領域４１５ａ〜４１５ｃが１つの微動グループ４１７Ａを構成し、３個の微動対応領域４１５ｄ〜４１５ｆが１つの微動グループ４１７Ｂを構成している。この場合、第２マップ更新部４２は、３個の微動対応領域４１５ａ〜４１５ｃの外接矩形４１８Ａと、３個の微動対応領域４１５ｄ〜４１５ｆの外接矩形４１８Ｂとを求める。そして、第２マップ更新部４２は、外接矩形４１８Ａの第１頻度値４１１のうち、第５しきい値以上の第１頻度値４１１を第２頻度マップ４２０にコピーし、外接矩形４１８Ｂの第１頻度値４１１のうち、第５しきい値以上の第１頻度値４１１を第２頻度マップ４２０にコピーする。
【０１７５】
なお、第２マップ更新部４２は、特定検出対象対応領域の面積が第４しきい値よりも大きいか否かを判定し、特定検出対象対応領域の面積が第４しきい値以下の場合、特定検出対象対応領域の面積が小さいと判定し、特定検出対象対応領域の面積が第４しきい値よりも大きい場合、特定検出対象対応領域の面積が大きいと判定しても良い。
【０１７６】
以上のようにして、第１頻度マップ４１０の特定検出対象対応領域内の第１頻度値４１１が第２頻度マップ４２０にコピーされる。第２マップ更新部４２は、第２頻度マップ４２０において、コピー処理が実行される第２頻度値４２１以外の第２頻度値４２１については第２減少量だけ減少する。
【０１７７】
＜前景特定処理の詳細＞
以上の説明から理解できるように、撮影領域での、人が存在する可能性が高い領域に対応する、第１頻度マップ４１０での検出対象対応領域では、第１頻度値４１１が大きくなる。そして、特定検出対象対応領域は、撮影領域での、人が存在する可能性が高い領域に対応するとともに、撮影領域での微動発生領域に対応する微動対応領域を含んでいる。したがって、特定検出対象対応領域は、撮影領域での、微動している人が存在する領域に対応する可能性が非常に高く、その第１頻度値４１１は大きくなる。そのため、特定検出対象対応領域内の第１頻度値４１１を、第２頻度マップ４２０における、当該第１頻度値４１１に対応する第２頻度値４２１として採用することによって、第２頻度マップ４２０では、撮影領域での、微動している人が存在する領域に対応する第２頻度値４２１が大きくなる。よって、第２頻度マップ４２０において、第２頻度値４２１が“０”よりも大きい領域は、入力フレーム画像１１１での前景画像に対応する可能性が高い。
【０１７８】
そこで、ステップｓ３８での前景特定処理において、前景特定部３４は、第２頻度マップ４２０において、第２頻度値４２１が“０”よりも大きい領域を前景対応領域とする。そして、前景特定部３４は、処理対象の入力フレーム画像１１１において、前景対応領域に対応する領域を前景画像として特定する。
【０１７９】
図４１は、第２頻度マップ４２０に基づいて前景画像が特定される様子の一例を示す図である。図４１の例では、第２頻度マップ４２０には、第２頻度値４２１が“０”よりも大きい領域として、３個の領域４２５ａ〜４２５ｃが含まれている。前景特定部３４は、領域４２５ａ〜４２５ｃをそれぞれ前景対応領域４２５ａ〜４２５ｃとする。そして、前景特定部３４は、処理対象の入力フレーム画像１１１において、前景対応領域４２５ａに対応する領域を前景画像１１２ａとして特定する。つまり、前景特定部３４は、処理対象の入力フレーム画像１１１において、前景対応領域４２５ａの第２頻度マップ４２０での相対的な位置と同じ相対的な位置に存在する領域を前景画像１１２ａとして特定する。同様に、前景特定部３４は、処理対象の入力フレーム画像１１１において、前景対応領域４２５ｂに対応する領域を前景画像１１２ｂとして特定し、前景対応領域４２５ｃに対応する領域を前景画像１１２ｃとして特定する。基本的には、前景画像１１２ａ〜１１２ｃは、互い異なる複数の人にそれぞれ対応している。したがって、図４１の例では、撮影領域には、静止している人が３人存在している。
【０１８０】
＜矩形領域間の距離の求め方＞
画像処理装置３は、微動特定処理及び第２マップ更新処理等において、２つの矩形領域間の距離を求めることがある。例えば、上述のステップｓ３５３では、動体領域群６１０に対して、互いに距離が近い複数の動体領域６０１を１つの第１グループ６０２とする第１グループ分け処理が行われ、動体領域６０１は矩形領域であることから、画像処理装置３は、第１グループ分け処理では、２つの矩形領域間の距離を求める必要がある。また、第２マップ更新処理では、特定検出対象対応領域に対して、互いに距離が近い複数の微動対応領域を１つの微動グループとする微動グループ分け処理が行われ、微動対応領域は矩形領域であることから、画像処理装置３は、微動グループ分け処理では、２つの矩形領域間の距離を求める必要がある。
【０１８１】
２つの矩形領域間の距離として、一方の矩形領域の中心（重心）と他方の矩形領域の中心（重心）との間の距離を採用することができる。また、２つの矩形領域間の距離として、一方の矩形領域の外形と、他方の矩形領域の外形との間の最短距離を採用することができる。以下に当該最短距離の求め方の一例について説明する。
【０１８２】
図４２は、一方の矩形領域の外形と、他方の矩形領域の外形との間の最短距離の求め方を説明するための図である。画像処理装置３は、２つの矩形領域において、一方を第１矩形領域７０１とし、他方を第２矩形領域７０２とする。そして、画像処理装置３は、図４２に示されるように、真上領域７１０、真下領域７１１、真右領域７１２、真左領域７１３、右上領域７１４、左上領域７１５、左下領域７１６及び右下領域７１７を考える。
【０１８３】
ここで、真上領域７１０は、第１矩形領域７０１の真上に位置する領域である。真下領域７１１は、第１矩形領域７０１の真下に位置する領域である。真右領域７１２は、第１矩形領域７０１の真右に位置する領域である。真左領域７１３は、第１矩形領域７０１の真左に位置する領域である。右上領域７１４は、第１矩形領域７０１の右上に位置する領域である。左上領域７１５は、第１矩形領域７０１の左上に位置する領域である。左下領域７１６は、第１矩形領域７０１の左下に位置する領域である。右下領域７１７は、第１矩形領域７０１の右下に位置する領域である。
【０１８４】
画像処理装置３は、第２矩形領域７０２の少なくとも一部が、真上領域７１０、真下領域７１１、真右領域７１２及び真左領域７１３のいずれかに存在する場合には、第１矩形領域７０１及び第２矩形領域７０２での互いに対向する２辺の間の距離を、第１矩形領域７０１の外形と第２矩形領域７０２の外形との間の最短距離とする。言い換えれば、画像処理装置３は、第２矩形領域７０２の少なくとも一部が、第１矩形領域７０１の真上、真下、真右、真左のいずれかに存在する場合には、第１矩形領域７０１及び第２矩形領域７０２での互いに対向する２辺の間の距離を、第１矩形領域７０１の外形と第２矩形領域７０２の外形との間の最短距離とする。
【０１８５】
一方で、画像処理装置３は、第２矩形領域７０２の全領域が、右上領域７１４、左上領域７１５、左下領域７１６及び右下領域７１７のいずれか１つだけに存在する場合には、第１矩形領域７０１及び第２矩形領域７０２での最も近い角同士の間の距離を、第１矩形領域７０１の外形と第２矩形領域７０２の外形との間の最短距離とする。
【０１８６】
図４２に示されるように、例えば、真上領域７１０に一部が存在する第２矩形領域７０２ａの外形と第１矩形領域７０１の外形との間の最短距離は、第２矩形領域７０２ａの下側の辺７０２ａａと、それに対向する、第１矩形領域７０１の上側の辺７０１ａとの間の距離Ｄａとなる。
【０１８７】
また、図４２に示されるように、真右領域７１２に一部が存在する第２矩形領域７０２ｂの外形と第１矩形領域７０１の外形との間の最短距離は、第２矩形領域７０２ｂの左側の辺７０２ｂｂと、それに対向する、第１矩形領域７０１の右側の辺７０１ｂとの間の距離Ｄｂとなる。
【０１８８】
また、図４２に示されるように、左下領域７１６だけに存在する第２矩形領域７０２ｃの外形と第１矩形領域７０１の外形との間の最短距離は、第２矩形領域７０２ｃの右上の角７０２ｃｃと、第１矩形領域７０１の左の角７０１ｃとの間の距離Ｄｃとなる。
【０１８９】
以上のようにして、画像処理装置３は、入力フレーム画像１１１における、静止している人の画像を前景画像をとして特定すると、その特定結果を出力する。画像処理装置３での前景画像の特定結果は、例えば、室内３００内の空調制御で使用される。室内３００の空調を制御する空調制御装置は、画像処理装置３での前景画像の特定結果に基づいて、室内３００における、静止している人が存在する領域を特定する。そして、空調制御装置は、特定した領域の温度が一定温度に近づくように空調制御を行う。なお、画像処理装置３での前景画像の特定結果は空調制御以外に利用されても良い。
【０１９０】
以上のように、画像処理装置３では、撮影領域において微動発生領域が特定されると、第１頻度マップ４１０における、特定された微動発生領域に対応する微動対応領域内の第１頻度値４１１が、第２頻度マップ４２０における、当該第１頻度値４１１に対応する第２頻度値４２１として採用される。
【０１９１】
一方で、背景モデル５００の更新によって、入力フレーム画像１１１に含まれる、静止している人の画素が判定部３１で前景画素として判定されなくなった場合であっても、第１頻度マップ４１０における、当該静止している人に対応する領域の第１頻度値４１１はすぐに零にはならない。つまり、背景モデル５００の更新によって、入力フレーム画像１１１に含まれる、静止している人の画素が判定部３１で前景画素として判定されなくなってから、第１頻度マップ４１０における、当該静止している人に対応する領域の第１頻度値４１１が零になるまで時間がかかる。
【０１９２】
したがって、第１頻度マップ４１０における、撮影領域の微動発生領域に対応する微動対応領域内の第１頻度値４１１が、第２頻度マップ４２０にコピーされることによって、第２頻度マップ４２０では、撮影領域における、人の微動が発生している微動発生領域に対応する領域での第２頻度値４２１は、静止している人の画素が判定部３１で前景画素として検出されなくなった後において、すぐに零にはならない。例えば、第２頻度マップ４２０では、撮影領域における、人の微動が発生している微動発生領域に対応する領域での第２頻度値４２１は、静止している人の画素が判定部３１で前景画素として検出されなくなった後、数百フレームの間、零にならない。よって、判定部３１において、人の画素が前景画素として検出されなくなった後においても、第２頻度マップ４２０に基づいて、入力フレーム画像１１１における、静止している人の画像を前景画像として特定することができる。その結果、入力動画像１１０における前景画像を特定する際の特定精度が向上する。
【０１９３】
また、第１頻度マップ４１０での複数の微動対応領域が、同じ人の微動に対応することがある。この場合、当該複数の微動対応領域のそれぞれについて、当該微動対応領域内の第１頻度値４１１を第２頻度マップ４２０にコピーすると、当該複数の微動対応領域にそれぞれ対応する複数の前景画像が特定される。この複数の前景画像は同じ人についての画像である。画像処理装置３での前景画像の特定結果に基づいて撮影領域での静止している人の数をカウントする場合には、画像処理装置３で特定された複数の前景画像が、一人の人の画像であったり、複数の人の画像であったりすると、静止している人の数を正しくカウントできない可能性がある。
【０１９４】
一方で、第１頻度マップ４１０での検出対象対応領域は、撮像領域での、人が存在する可能性が高い領域に対応する独立した検出対象対応領域であることから、一人の人に対応する可能性が高い。本例では、画像処理装置３では、第１頻度マップ４１０において、微動対応領域を含む検出対象対応領域（特定検出対象対応領域）内の第１頻度値４１１が第２頻度マップ４２０にコピーされることから、入力フレーム画像１１１における、当該検出対象領域に対応する前景画像は一人の人の画像である可能性が高い。よって、画像処理装置３での前景画像の特定結果に基づいて、撮影領域での静止している人の数をより正しくカウントすることができる。
【０１９５】
また、入力フレーム画像１１１に含まれるノイズ成分等によって、判定部３１では、人の画素を誤って背景画素であると判定する可能性がある。したがって、特定検出対応領域において、第１頻度値４１１が小さい領域は、前景画素に対応する可能性があまり高くない。
【０１９６】
本例では、特定検出対象対応領域内の第１頻度値４１１のうち、第５しきい値以上あるいは第５しきい値よりも大きい第１頻度値４１１を第２頻度マップ４２０にコピーすることから、背景画素に対応する第１頻度値４１１が第２頻度マップ４２０にコピーされることを抑制することができる。よって、前景画像の特定精度がさらに向上する。
【０１９７】
また、撮影領域において固まって存在する複数の人に対応して、１つの検出対象対応領域が得られることがある。そして、その検出対象対応領域の面積は大きくなる。
【０１９８】
一方で、撮影領域において人が存在していた領域に人が存在しなくなった場合であっても、その領域に対応する第１頻度マップ４１０の第1頻度値４１１はすぐに零にならない。したがって、撮影領域において、複数の人が固まって存在している領域から、当該複数の人のうちのある人が存在しなくなった場合、当該複数の人に対応する検出対象対応領域では、撮影領域での当該ある人が存在していた領域に対応する第１頻度値４１１はしばらく大きな値となる。よって、面積が大きい検出対象対応領域内のすべての第１頻度値４１１が第２頻度マップ４２０にコピーされると、撮影領域においてすでに人が存在しなくなった領域に対応する第１頻度値４１１が第２頻度マップ４２０にコピーされてしまう可能性がある。
【０１９９】
本例では、第２マップ更新部４２は、複数の微動対応領域を含む特定検出対象領域の面積が第４しきい値以上あるいは第４しきい値よりも大きい場合、当該特定検出対象領域内のすべての第１頻度値４１１を第２頻度マップ４２０にコピーするのではなく、当該特定検出対象領域に含まれる複数の微動対応領域の外接矩形内の第１頻度値４１１だけを、第２頻度マップ４２０にコピーしている。これにより、撮影領域においてすでに人が存在しなくなった領域に対応する第１頻度値４１１が第２頻度マップ４２０にコピーされてしまうことを抑制することができる。よって、前景画像の特定精度がさらに向上する。
【０２００】
また、同じ人の微動に対応する複数の微動対応領域は互いに近くに存在する。したがって、固まって存在する複数の人に対応する特定検出対象領域では、互いに近くに存在する複数の微動対応領域は同じ人の微動に対応する可能性が高い。
【０２０１】
本例では、第２マップ更新部４２は、複数の微動対応領域を含む特定検出対象対応領域に対して、互いに距離が近い複数の微動対応領域を１つの微動グループとする微動グループ分け処理を行っている。そして、第２マップ更新部４２は、得られた各微動グループについて、当該微動グループを構成する複数の微動対応領域の外接矩形内の第１頻度値４１１を、第２頻度マップ４２０にコピーしている。１つの微動グループは、１人の人に対応する可能性が高いことから、固まって存在している複数の人にそれぞれ対応する複数の前景画像を得ることができる。よって、画像処理装置３での前景画像の特定結果に基づいて、撮影領域での静止している人の数をより正しくカウントすることができる。
【０２０２】
また、特定検出対象対応領域が、互いに近くに存在するＰ１個（Ｐ１≧２）の微動対応領域からなる第１微動グループと、互いに近くに存在するＰ２個（Ｐ２≧２）の微動対応領域からなる第２微動グループとを含み、第１微動グループと第２微動グループとが離れている場合、第１頻度マップ４１０における、第１微動グループと第２微動グループとの間の領域は、前景画素に対応する可能性が低い。したがって、第１及び第２微動グループを構成する（Ｐ１＋Ｐ２）個の微動対応領域の外接矩形内の第１頻度値４１１を第２頻度マップ４２０にコピーすると、背景画素に対応する第１頻度値４１１が第２頻度マップ４２０にコピーされる可能性がある。
【０２０３】
本例では、第２マップ更新部４２は、得られた各微動グループについて、当該微動グループを構成する複数の微動対応領域の外接矩形内の第１頻度値４１１を、第２頻度マップ４２０にコピーしていることから、２つの微動グループ間の領域、つまり、前景画素に対応する可能性が低い領域の第１頻度値４１１が第２頻度マップ４２０にコピーされることを抑制することができる。よって、前景画像の特定精度がさらに向上する。
【０２０４】
なお、特定検出対象対応領域内の第１頻度値４１１を第２頻度マップ４２０にコピーするのではなく、検出対象対応領域を求めずに微動対応領域内の第１頻度値４１１だけを第２頻度マップ４２０にコピーしても良い。この場合には、微動対応領域内の第１頻度値４１１のすべてを第２頻度マップ４２０にコピーするのではなく、微動対応領域内の第１頻度値４１１のうち、第５しきい値以上あるいは第５しきい値よりも大きい第１頻度値４１１を第２頻度マップ４２０にコピーしても良い。
【０２０５】
また、特定検出対象対応領域内の第１頻度値４１１のうち、第５しきい値以上あるいは第５しきい値よりも大きい第１頻度値４１１を第２頻度マップ４２０にコピーするのではなく、特定検出対象対応領域内のすべての第１頻度値４１１を第２頻度マップ４２０にコピーしても良い。
【０２０６】
また、特定検出対象領域に含まれる複数の微動対応領域の外接矩形を求めることなく、当該特定検出対象領域内の第１頻度値４１１のすべて、あるいは当該特定検出対象領域内の第１頻度値４１１のうち、第５しきい値以上あるいは第５しきい値よりも大きい第１頻度値４１１を、第２頻度マップ４２０にコピーしても良い。
【０２０７】
また、特定検出対象対応領域に対して微動グループ分け処理を行わずに、当該特定検出対象領域内の第１頻度値４１１のすべて、あるいは当該特定検出対象領域内の第１頻度値４１１のうち、第５しきい値以上あるいは第５しきい値よりも大きい第１頻度値４１１を、第２頻度マップ４２０にコピーしても良い。
【０２０８】
また、第２頻度マップ４２０についての第２減少量は、第１頻度マップ４１０についての第１減少量よりも大きくしても良い。第２減少量が小さい場合には、第２頻度マップ４２０において、撮影領域での人がすでに存在しない領域に対応する対応領域の第２頻度値４２１が小さくなりにくい。したがって、当該対応領域がいつまでも前景対応領域とされてしまう可能性がある。また、第１減少量が大きい場合には、判定部３１において静止している人の画素が前景画素として判定されなくなった後、第１頻度マップ４１０における、当該静止している人に対応する領域の第１頻度値４１１が小さくなり易くなってしまう。そのため、判定部３１において静止している人の画素が前景画素として判定されなくなった後、前景特定部３４において、当該静止している人の画像が前景画像として特定されなくなるまでの時間が短くなってしまう。第２減少量を第１減少量よりも大きくすることによって、第２頻度マップ４２０において、撮影領域での人がすでに存在しない領域に対応する対応領域の第２頻度値４２１が小さくなり易くなる。さらに、第１頻度マップ４１０における、静止している人に対応する領域の第１頻度値４１１が小さくなりにくくなる。よって、第２頻度マップ４２０において、撮影領域での人がすでに存在しない領域に対応する対応領域が前景対応領域とされることを抑制することができるとともに、前景特定部３４において、静止している人の画像が前景画像として特定されなくなるまでの時間を長くすることができる。その結果、前景画像の特定精度がさらに向上する。
【０２０９】
また上記の例では、画像処理装置３での背景モデルの更新方法として、ＭＯＧを用いた頻度型背景更新が使用されているが、他の種類の頻度型背景更新が使用されても良い。例えば、コードブック法を用いた背景更新が使用されても良い。また、頻度型背景更新以外の背景更新が使用されても良い。
【０２１０】
＜各種変形例＞
以下に画像処理装置３の各種変形例について説明する。
【０２１１】
＜頻度型背景更新と連続型背景更新との組み合わせ＞
図４３は本変形例にかかる画像処理装置３の構成を示す図である。本変形例に係る画像処理装置３は、上述の図３に示される画像処理装置３と比較して、判定部３７及び背景モデル更新部３８を備えている。
【０２１２】
判定部３７は、前処理部３０から入力フレーム画像１１１が出力されるたびに、背景モデル５５０に基づいて、当該入力フレーム画像１１１の各入力画素が前景画素か背景画素であるかを暫定的に判定する。
【０２１３】
背景モデル５５０は、背景モデル５００とは異なる背景モデルであって、記憶部５に記憶されている。背景モデル５５０には、入力フレーム画像１１１を構成する複数の入力画素にそれぞれ対応する複数の背景情報が含まれている。背景モデル５５０に含まれる背景情報は、背景画素の画素値（以後、「背景画素値」と呼ぶ）で構成されている。
【０２１４】
判定部３７は、上述の図１０に示されるフローチャートにおいて、ステップｓ３２の後であって、ステップｓ３８の前に、処理対象の入力フレーム画像１１１の入力画素が前景画素か背景画素であるかを暫定的に判定する第２暫定判定処理を行う。第２暫定判定処理において、判定部３７は、処理対象の入力フレーム画像１１１の対象入力画素の画素値が、背景モデル５５０における、対象入力画素に対応する背景画素値と一致するか否かを判定する。判定部３７は、対象入力画素の画素値が、それに対応する背景画素値と一致する場合には、対象入力画素が背景画素であると暫定的に判定する。一方で、判定部３７は、対象入力画素の画素値が、それに対応する背景画素値と一致しない場合には、対象入力画素が前景画素であると暫定的に判定する。以後、判定部３１での暫定判定処理を「第１暫定判定処理」と呼ぶことがある。
【０２１５】
なお、判定部３７は、対象入力画素の画素値と、それに対応する背景画素値との差分の絶対値が第６しきい値未満のときに、対象入力画素が背景画素であると暫定的に判定し、当該絶対値が当該第６しきい値以上のときに、対象入力画素が前景画素であると暫定的に判定しても良い。また、判定部３７は、対象入力画素の画素値と、それに対応する背景画素値との差分の絶対値が第６しきい値以下のときに、対象入力画素が背景画素であると暫定的に判定し、当該絶対値が当該第６しきい値よりも大きいときに、対象入力画素が前景画素であると暫定的に判定しても良い。
【０２１６】
背景モデル更新部３８は、前処理部３０から入力フレーム画像１１１が出力されるたびに、当該入力フレーム画像１１１に基づいて背景モデル５５０を更新する。背景モデル更新部３８は、背景モデル更新部３２とは異なる方法で背景モデル５５０を更新する。背景モデル更新部３８は、入力フレーム画像１１１に含まれる対象入力画素の画素値が一定期間連続して同程度の値を示す場合に、当該画素値に基づいて、背景モデル５５０における、対象入力画素に対応する背景画素値を更新する。背景モデル更新部３８は、背景モデル５５０の各背景画素値を同様に更新する。
【０２１７】
図４４は対象入力画素に関する背景モデル更新部３８の動作を示すフローチャートである。背景モデル更新部３８は、前処理部３０から入力フレーム画像１１１が出力されるたびに、図４４に示される処理を実行する。また、背景モデル更新部３８は、入力フレーム画像１１１の各入力画素について図４４に示される処理を実行する。
【０２１８】
図４４に示されるように、背景モデル更新部３８は、ステップｓ４１において、処理対象の入力フレーム画像１１１の対象入力画素が背景画素であると判定部３７で暫定的に判定されたか否かを判断する。背景モデル更新部３８は、対象入力画素が背景画素であると判定部３７で暫定的に判定されたと判断すると、ステップｓ４４においてカウント値をリセットして零に設定する。一方で、背景モデル更新部３８は、対象入力画素が前景画素であると判定部３７で暫定的に判定されたと判断すると、ステップｓ４２を実行する。
【０２１９】
ステップｓ４２では、背景モデル更新部３８は、前回のフレームにおいて、対象入力画素が背景画素であると判定部３７で暫定的に判定されたか否かを判断する。つまり、背景モデル更新部３８は、処理対象の入力フレーム画像１１１よりも１つ前の入力フレーム画像１１１での対象入力画素が背景画素であると判定部３７で暫定的に判定されたか否かを判断する。背景モデル更新部３８は、前回のフレームにおいて、対象入力画素が背景画素であると判定部３７で暫定的に判定されたと判断すると、ステップｓ４３において、処理対象の入力フレーム画像１１１の対象入力画素の画素値を基準画素値とする。そして、ステップｓ４４において、背景モデル更新部３８はカウント値をリセットする。
【０２２０】
このように、背景モデル更新部３８は、現在のフレームにおいて、対象入力画素が前景画素であると判定部３７で暫定的に判定された場合、前回のフレームにおいて、対象入力画素が背景画素であると判定部３７で暫定的に判定されていたときには、現在のフレームでの対象入力画素の画素値を基準画素値とし、カウント値をリセットする。
【０２２１】
一方で、ステップｓ４２において、背景モデル更新部３８は、前回のフレームにおいて、対象入力画素が前景画素であると判定部３７で暫定的に判定されたと判断すると、ステップｓ４５を実行する。ステップｓ４５において、背景モデル更新部３８は、処理対象の入力フレーム画像１１１の対象入力画素の画素値が基準画素値と同程度であるか否かを判断する。背景モデル更新部３８は、処理対象の入力フレーム画像１１１での対象入力画素の画素値と基準画素値との差分の絶対値が第７しきい値未満の場合、対象入力画素の画素値が基準画素値と同程度であると判断する。背景モデル更新部３８は、当該絶対値が第７しきい値以上の場合、対象入力画素の画素値が基準画素値と同程度ではないと判断する。なお、背景モデル更新部３８は、対象入力画素の画素値と基準画素値との差分の絶対値が第７しきい値以下の場合、対象入力画素の画素値が基準画素値と同程度であると判断し、当該絶対値が第７しきい値よりも大きい場合、対象入力画素の画素値が基準画素値と同程度ではないと判断しても良い。
【０２２２】
背景モデル更新部３８は、対象入力画素の画素値が基準画素値と同程度ではないと判断すると、ステップｓ４４を実行して、カウント値をリセットする。一方で、背景モデル更新部３８は、対象入力画素の画素値が基準画素値と同程度であると判断すると、ステップｓ４６において、カウント値を１つだけ増加する。そして、ステップｓ４７において、背景モデル更新部３８は、カウント値が第８しきい値以上であるか否かを判定する。第８しきい値は、例えば“１００”に設定される。
【０２２３】
背景モデル更新部３８は、カウント値が第８しきい値以上であると判定すると、対象入力画素の画素値に基づいて、背景モデル５５０での対象入力画素に対応する背景画素値を更新する。背景モデル更新部３８は、例えば、基準画素値を、背景モデル５５０での対象入力画素に対応する新たな背景画素値として採用することによって、当該背景画素値を更新する。なお、背景モデル更新部３８は、基準画素値が設定されてから現在まで得られた、対象入力画素についての複数の画素値（基準画素値を含む）の平均値を、背景モデル５５０での対象入力画素に対応する新たな背景画素値として採用しても良い。
【０２２４】
背景モデル更新部３８は、背景画素値を更新すると、次の入力フレーム画像１１１（新たな処理対象の入力フレーム画像１１１）での対象入力画素についてステップｓ４１を実行する。以後、背景モデル更新部３８は同様に動作する。
【０２２５】
一方で、背景モデル更新部３８は、カウント値が第８しきい値未満であると判定すると、次の入力フレーム画像１１１での対象入力画素についてステップｓ４１を実行する。以後、背景モデル更新部３８は同様に動作する。
【０２２６】
なお、背景モデル更新部３８は、ステップｓ４７において、カウント値が第８しきい値よりも大きいか否かを判定しても良い。この場合には、背景モデル更新部３８は、カウント値が第８しきい値よりも大きい場合にステップｓ４８を実行し、カウント値が第８しきい値以下の場合にステップｓ４１を実行する。
【０２２７】
背景モデル更新部３８が以上のように動作することによって、判定部３７で前景画素であると暫定的に判定される入力画素の画素値が、複数フレームの間（一定期間）連続して同程度の値を示す場合、当該画素値に基づいて、背景モデル５５０における、当該入力画素に対応する背景情報（背景画素値）が更新される。以後、このような背景情報の更新を「連続型背景更新」と呼ぶことがある。
【０２２８】
本変形例では、前景特定部３４は、第２頻度マップ４２０と、判定部３７での判定結果とに基づいて、前景画像を特定する。以下に、本変形例に係る前景特定部３４の動作について詳細に説明する。
【０２２９】
図１０のステップｓ３８において、前景特定部３４は、上記と同様に、第２頻度マップ４２０において、第２頻度値４２１が“０”よりも大きい領域を前景対応領域する。そして、前景特定部３４は、処理対象の入力フレーム画像１１１において、第２頻度マップ４２０での前景対応領域に対応する領域を、第１前景候補領域とする。また、前景特定部３４は、処理対象の入力フレーム画像１１１において、判定部３７で前景画素であると暫定的に判定された複数の入力画素で構成された領域を、第２前景候補領域とする。そして、前景特定部３４は、処理対象の入力フレーム画像１１１において、第１前景候補領域であるとともに第２前景候補領域である領域を、前景画像として特定する。
【０２３０】
このように、前景特定部３４は、第１暫定判定処理の結果に基づいて更新される第２頻度マップ４２０だけではなく、第１暫定判定処理とは異なる第２暫定判定処理の結果に基づいて、前景画像を特定することから、前景画像をより正しく特定することができる。
【０２３１】
ここで、上述のように、第２頻度マップ４２０の第２頻度値４２１は、第２減少量ずつ減少することから、第２頻度マップ４２０において、撮影領域での人が存在しなくなった領域に対応する第２頻度値４２１はすぐに零にはならない。したがって、静止している人のある部分（手あるいは頭など）が動いている場合、当該ある部分の現在の位置に応じた第２頻度値４２１だけではなく、当該ある部分の過去の位置に応じた第２頻度値４２１も“０”よりも大きくなる可能性がある。よって、処理対象の入力フレーム画像１１１において、第２頻度マップ４２０での、第２頻度値４２１が“０”よりも大きい前景対応領域に対応する領域を前景画像として特定する場合には、特定した前景画像の範囲が、静止している人の撮影領域での現在の範囲から少しずれる可能性がある。
【０２３２】
一方で、連続型背景更新では、入力画素の画素値が、一定期間連続して同程度の値を示す場合にだけ、背景モデル５５０での当該入力画素に対応する背景情報が更新されることから、静止している人のある部分が動く場合、そのある部分の動きに応じて背景モデル５５０は更新されにくい。したがって、判定部３７は、静止している人のある部分が動く場合であっても、処理対象の入力フレーム画像１１１において、当該ある部分の現在の位置に応じた入力画素を前景画素であると判定することができるとともに、当該ある部分の過去の位置に応じた入力画素を背景画素であると判定することができる。
【０２３３】
本変形例では、前景特定部３４は、このような判定部３７での判定結果と、第２頻度マップ４２０とに基づいて前景画像を特定することから、特定した前景画像の範囲と、静止している人についての撮影領域での現在の範囲とのずれを小さくすることができる。よって、撮影範囲において静止している人が存在する領域をより正しく特定することができる。
【０２３４】
なお、上述の図３に示される構成において、判定部３１の代わりに判定部３７を使用し、出現画素値情報５１０及び背景モデル５００の代わりに背景モデル５５０を使用しても良い。この場合、第１マップ更新部４１は、判定部３７での判定結果に基づいて第１頻度マップ４１０を更新する。
【０２３５】
＜学習率の調整＞
本変形例では、混合正規分布５１１を更新する際の学習率α，βの値として、コピー非発生時の値α１，β１と、コピー発生時の値α２，β２が定められている。α１、β１、α２、β２は、例えば、以下の式（６）〜（９）でそれぞれ表される。
【０２３６】
【数６】
0006630140.tif 000007
【０２３７】
【数７】
0006630140.tif 000008
【０２３８】
【数８】
0006630140.tif 000009
【０２３９】
【数９】
0006630140.tif 000010
【０２４０】
式（６）に示されるように、コピー非発生時の値α１は、基準値ＲＥＦ１に対して定数Ａを足し合わせた値である。また式（７）に示されるように、コピー非発生時の値β１は、基準値ＲＥＦ１に対して定数Ｂを足し合わせた値である。基準値ＲＥＦ１は、固定値であって、α１及びβ１で共通に使用される。
【０２４１】
一方で、式（８）に示されるように、コピー発生時の値α２は、基準値ＲＥＦ２に対して定数Ａを足し合わせた値である。また式（９）に示されるように、コピー発生時の値β２は、基準値ＲＥＦ２に対して定数Ｂを足し合わせた値である。基準値ＲＥＦ２は、固定値であって、α２及びβ２で共通に使用される。ＲＦＥ１＞ＲＥＦ２であることから、α２はα１よりも小さく、β２はβ１よりも小さくなっている。
【０２４２】
背景モデル更新部３２は、学習率α，βの値を決定する学習率決定処理を行う。学習率決定処理は、上述の図１０に示されるフローチャートにおいて、ステップｓ３７とステップｓ３８の間に行われる。以下に学習率決定処理について詳細に説明する。
【０２４３】
背景モデル更新部３２は、第２マップ更新部４２がステップｓ３７において第２頻度マップ４２０にコピーした第１頻度値４１１に対応する、入力フレーム画像１１１での入力画素に応じた混合正規分布５１１を更新する際の学習率α，βの値を、コピー発生時の値α２，β２にそれぞれ設定する。背景モデル更新部３２は、この処理を、第２マップ更新部４２がステップｓ３７において第２頻度マップ４２０にコピーした各第１頻度値４１１について行う。
【０２４４】
一方で、背景モデル更新部３２は、第２マップ更新部４２がステップｓ３７において第２頻度マップ４２０にコピーしなかった第１頻度値４１１に対応する、入力フレーム画像１１１での入力画素に応じた混合正規分布５１１を更新する際の学習率α，βの値を、コピー非発生時の値α１，β１にそれぞれ設定する。背景モデル更新部３２は、この処理を、第２マップ更新部４２がステップｓ３７において第２頻度マップ４２０にコピーしなかった各第１頻度値４１１について行う。
【０２４５】
このように、本変形例では、背景モデル更新部３２は、第２頻度マップ４２０にコピーされた第１頻度値４１１に対応する入力画素に応じた混合正規分布５１１を更新する際の学習率α，βを小さくしている（減少させている）。これにより、第２頻度マップ４２０にコピーされた第１頻度値４１１に対応する入力画素に応じた混合正規分布５１１が更新されにくくなる。第２頻度マップ４２０にコピーされた第１頻度値４１１に対応する入力画素は、静止している人の画素である可能性が高いことから、当該入力画素に応じた混合正規分布５１１が更新されにくくなることによって、判定部３１において、静止している人の画素が前景画素として特定されなくなるまでの時間が長くなる。よって、前景画像の特定精度がさらに向上する。
【０２４６】
以上のように、画像処理システム１及び画像処理装置３は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この発明がそれに限定されるものではない。また、上述した各種変形例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
【符号の説明】
【０２４７】
３  画像処理装置
６  制御プログラム
３１，３７  判定部
３２，３８  背景モデル更新部
３３  微動特定部
３４  前景特定部
４１  第１マップ更新部
４２  第２マップ更新部
４１０  第１マップ（第１頻度マップ）
４２０  第２マップ（第２頻度マップ）
５００，５５０  背景モデル
【図１】
0006630140.tif 000011
【図２】
0006630140.tif 000012
【図３】
0006630140.tif 000013
【図４】
0006630140.tif 000014
【図５】
0006630140.tif 000015
【図６】
0006630140.tif 000016
【図７】
0006630140.tif 000017
【図８】
0006630140.tif 000018
【図９】
0006630140.tif 000019
【図１０】
0006630140.tif 000020
【図１１】
0006630140.tif 000021
【図１２】
0006630140.tif 000022
【図１３】
0006630140.tif 000023
【図１４】
0006630140.tif 000024
【図１５】
0006630140.tif 000025
【図１６】
0006630140.tif 000026
【図１７】
0006630140.tif 000027
【図１８】
0006630140.tif 000028
【図１９】
0006630140.tif 000029
【図２０】
0006630140.tif 000030
【図２１】
0006630140.tif 000031
【図２２】
0006630140.tif 000032
【図２３】
0006630140.tif 000033
【図２４】
0006630140.tif 000034
【図２５】
0006630140.tif 000035
【図２６】
0006630140.tif 000036
【図２７】
0006630140.tif 000037
【図２８】
0006630140.tif 000038
【図２９】
0006630140.tif 000039
【図３０】
0006630140.tif 000040
【図３１】
0006630140.tif 000041
【図３２】
0006630140.tif 000042
【図３３】
0006630140.tif 000043
【図３４】
0006630140.tif 000044
【図３５】
0006630140.tif 000045
【図３６】
0006630140.tif 000046
【図３７】
0006630140.tif 000047
【図３８】
0006630140.tif 000048
【図３９】
0006630140.tif 000049
【図４０】
0006630140.tif 000050
【図４１】
0006630140.tif 000051
【図４２】
0006630140.tif 000052
【図４３】
0006630140.tif 000053
【図４４】
0006630140.tif 000054