(57)【特許請求の範囲】
【請求項１】
互いに異なる時刻での対象物が写る複数枚の入力画像のそれぞれについて、当該入力画像に写る当該対象物に対して図形を当てはめる当てはめ処理を行う第１処理部と、
前記当てはめ処理の結果に基づいて、前記入力画像上での前記図形の位置を追跡することによって、前記入力画像での前記対象物の位置を追跡する追跡処理を行う第２処理部と
を備え、
前記第１処理部は、
前記入力画像に写る前記対象物に対して図形を当てはめる第３処理部と、
前記第３処理部において、一つの前記対象物に対して複数の図形が当てはめられた場合には、当該複数の図形を統合して得られる一つの新たな図形を、当該複数の図形の代わりに採用する第４処理部と
を有する、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記追跡処理の結果に基づいて、前記入力画像に写る前記対象物の数を求める第５処理部をさらに備える、画像処理装置。
【請求項３】
請求項１及び請求項２のいずれか一つに記載の画像処理装置であって、
前記第２処理部は、前記図形に関する図形情報を生成し、
前記第２処理部は、前記当てはめ処理の結果に基づいて、前記図形情報を更新する更新処理を行う、画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記図形情報は、前記図形の状態を示す状態情報と、前記図形を特定するための図形特定情報とを含む、画像処理装置。
【請求項５】
請求項３及び請求項４のいずれか一つに記載の画像処理装置であって、
前記第２処理部は、第１時刻での前記対象物が写る第１入力画像についての前記当てはめ処理において得られた各第１図形について、当該第１時刻よりも後の第２時刻での前記対象物が写る第２入力画像についての前記当てはめ処理において得られた、当該第１図形に対応する対応第２図形を特定する対応特定処理を行い、
前記第２処理部は、前記対応特定処理の結果に基づいて前記更新処理を行う、画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記第２処理部は、
前記第１図形に対応する前記対応第２図形を特定する際には、
前記第２入力画像についての前記当てはめ処理において得られた第２図形のうち、前記第１図形に最も位置が近い第２図形であって、前記第１図形との第１距離が第１しきい値以下あるいは未満の第２図形である近傍第２図形を、前記対応第２図形として特定する、画像処理装置。
【請求項７】
請求項５に記載の画像処理装置であって、
前記第２処理部は、前記対応特定処理において、
前記第１及び第２入力画像についての前記当てはめ処理の結果に基づいて、
前記第１入力画像についての前記当てはめ処理において得られた複数の第１図形が当てはめられた複数の対象物に対して、前記第２入力画像についての前記当てはめ処理において一つの第２図形が当てはめられたか否かを判定する、画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
前記第２処理部は、
前記第１図形に対応する前記対応第２図形を特定する際には、
前記第２入力画像についての前記当てはめ処理において得られた第２図形のうち、前記第１図形に最も位置が近い第２図形であって、前記第１図形との第１距離が第１しきい値以下あるいは未満の第２図形である近傍第２図形を、前記対応第２図形として特定し、
前記第２処理部は、前記近傍第２図形が前記対応第２図形として特定されなかった前記第１図形である未特定第１図形が存在する場合には、当該未特定第１図形との第２距離が第２しきい値以下あるいは未満である前記対応第２図形が存在するとき、当該対応第２図形に対応する前記第１図形が当てはめられた前記対象物だけではなく、当該未特定第１図形が当てはめられた前記対象物に対しても、当該対応第２図形が当てはめられたと判定する、画像処理装置。
【請求項９】
請求項７に記載の画像処理装置であって、
前記第２処理部は、
前記第１図形に対応する前記対応第２図形を特定する際には、
前記第２入力画像についての前記当てはめ処理において得られた第２図形のうち、前記第１図形に最も位置が近い第２図形であって、前記第１図形との第１距離が第１しきい値以下あるいは未満の第２図形である近傍第２図形を、前記対応第２図形として特定し、
前記第２処理部は、前記近傍第２図形が前記対応第２図形として特定されなかった前記第１図形である未特定第１図形が存在する場合には、当該未特定第１図形の少なくとも一部の領域を内包する前記対応第２図形が存在するとき、当該対応第２図形に対応する前記第１図形が当てはめられた前記対象物だけではなく、当該未特定第１図形が当てはめられた前記対象物に対しても、当該対応第２図形が当てはめられたと判定する、画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、
前記第２処理部は、前記近傍第２図形が前記対応第２図形として特定されなかった前記第１図形である未特定第１図形が存在する場合には、当該未特定第１図形との第２距離が第２しきい値以下あるいは未満であって、当該未特定第１図形の少なくとも一部の領域を内包する前記対応第２図形が存在するとき、当該対応第２図形に対応する前記第１図形が当てはめられた前記対象物だけではなく、当該未特定第１図形が当てはめられた前記対象物に対しても、当該対応第２図形が当てはめられたと判定する、画像処理装置。
【請求項１１】
請求項６、請求項８、請求項９及び請求項１０のいずれか一つに記載の画像処理装置であって、
前記入力画像は、前記対象物を撮影するカメラで撮影された撮影画像が画像処理されることによって得られた画像であって、
前記第２処理部は、前記第１図形の位置が、前記第１入力画像における、前記カメラの位置に対応する対応位置から離れるほど、当該第１図形に対応する前記対応第２図形を特定する際に使用される前記第１しきい値を小さく設定する、画像処理装置。
【請求項１２】
請求項８及び請求項１０のいずれか一つに記載の画像処理装置であって、
前記第２処理部は、前記未特定第１図形の位置が、前記第１入力画像上において、前記カメラの位置に対応する対応位置から離れるほど、前記第２しきい値を小さく設定する、画像処理装置。
【請求項１３】
請求項５乃至請求項１２のいずれか一つに記載の画像処理装置であって、
前記第２処理部は、前記対応特定処理において、
前記第１及び第２入力画像についての前記当てはめ処理の結果に基づいて、
前記第１入力画像についての前記当てはめ処理において得られた一つの第１図形が当てはめられた複数の対象物に対して、前記第２入力画像についての前記当てはめ処理において複数の第２図形が当てはめられた否かを判定する、画像処理装置。
【請求項１４】
請求項１３に記載の画像処理装置であって、
前記第２処理部は、前記一つの第１図形の大きさから、当該一つの第１図形に最も位置が近い、前記第２入力画像についての前記当てはめ処理において得られた第２図形の大きさを差し引いて得られる差分値が第３しきい値よりも大きいあるいは当該第３しきい値以上であって、かつ、当該一つの第１図形において、前記第２入力画像についての前記当てはめ処理において得られた複数の第２図形のそれぞれの少なくとも一部の領域が内包される場合には、前記一つの第１図形に対応する複数の対象物に対して、当該複数の第２図形が当てはめられたと判定する、画像処理装置。
【請求項１５】
請求項１４に記載の画像処理装置であって、
前記入力画像は、前記対象物を俯瞰撮影するカメラで撮影された撮影画像が画像処理されることによって得られた画像であって、
前記第２処理部は、前記一つの第１図形の位置が、前記第１入力画像上において、前記撮影画像に写る人の撮影俯角が前記撮影画像で最大となる位置に対応する対応位置から離れるほど、前記第３しきい値を大きく設定する、画像処理装置。
【請求項１６】
請求項１５に記載の画像処理装置であって、
前記第２処理部は、
前記一つの第１図形の位置が、前記対応位置から第１所定範囲内に存在する場合には、前記一つの第１図形の位置が前記対応位置から離れるほど前記第３しきい値を大きく設定し、
前記一つの第１図形の位置が前記第１所定範囲外に存在する場合には、前記一つの第１図形の位置が前記対応位置から離れるほど前記第３しきい値を小さく設定する、画像処理装置。
【請求項１７】
請求項５乃至請求項１６のいずれか一つに記載の画像処理装置であって、
前記第２処理部は、前記対応特定処理において、前記入力画像に写らなくなった前記対象物に当てはめられた前記図形である第３図形に対応する、前記第２入力画像についての前記当てはめ処理において得られた第２図形を特定し、その特定結果に基づいて、当該第３図形についての前記図形情報を更新し、
前記第２処理部は、前記入力画像に写らなくなった前記対象物に当てはめられた前記第３図形についての前記図形情報を、前記対象物が前記入力画像に写らなくなってから所定時間経過した後に消去する、画像処理装置。
【請求項１８】
請求項１乃至請求項１７のいずれか一つに記載の画像処理装置であって、
前記第４処理部は、
前記第３処理部で得られた２つの図形の間の第３距離が第４しきい値以下あるいは未満であり、かつ当該２つの図形を統合して得られる一つの新たな図形の大ききが第５しきい値以下あるいは未満の場合、
当該２つの図形が一つの前記対象物に対して当てはめられたと判断して、当該新たな図形を当該２つの図形の代わりに採用する、画像処理装置。
【請求項１９】
請求項１８に記載の画像処理装置であって、
前記入力画像は、前記対象物を俯瞰撮影するカメラで撮影された撮影画像が画像処理されることによって得られた画像であって、
前記第４処理部は、
前記第３処理部で得られた２つの図形が、前記入力画像上において、前記撮影画像に写る人の撮影俯角が前記撮影画像で最大となる位置に対応する対応位置から延びる１本の第１直線上に位置し、かつ当該２つの図形の間の前記第３距離が前記第４しきい値以下あるいは未満であり、かつ当該２つの図形を統合して得られる一つの新たな図形の大ききが前記第５しきい値以下あるいは未満の場合、
当該２つの図形が一つの前記対象物に対して当てはめられたと判断して、当該新たな図形を当該２つの図形の代わりに採用する、画像処理装置。
【請求項２０】
請求項１８及び請求項１９のいずれか一つに記載の画像処理装置であって、
前記図形は楕円であって、
前記第４処理部は、前記第３処理部で得られた２つの楕円のうちの一方の楕円の中心から、当該２つの楕円のうちの他方の楕円の中心までを結ぶ第２直線が当該一方の楕円と交わる第１交点と、当該第２直線が当該他方の楕円と交わる第２交点との間の距離を、前記第３距離とする、画像処理装置。
【請求項２１】
請求項１８に記載の画像処理装置であって、
前記入力画像は、前記対象物を俯瞰撮影するカメラで撮影された撮影画像が画像処理されることによって得られた画像であって、
前記第４処理部は、２つの図形の間の前記第３距離と比較される前記第４しきい値を、当該２つの図形を統合して得られる新たな図形の位置が、前記撮影画像において撮影俯角が最大となる位置に対応する入力画像での対応位置から離れるほど大きく設定する、画像処理装置。
【請求項２２】
請求項２１に記載の画像処理装置であって、
前記第４処理部は、
２つの図形を統合して得られる新たな図形の位置が前記対応位置から第２所定範囲内に存在する場合には、当該２つの図形の間の前記第３距離と比較される前記第４しきい値を、当該新たな図形の位置が前記対応位置から離れるほど大きく設定し、
２つの図形を統合して得られる新たな図形の位置が前記第２所定範囲外に存在する場合には、当該２つの図形の間の前記第３距離と比較される前記第４しきい値を、当該新たな図形の位置が前記対応位置から離れるほど小さく設定する、画像処理装置。
【請求項２３】
請求項１８に記載の画像処理装置であって、
前記入力画像は、前記対象物を俯瞰撮影するカメラで撮影された撮影画像が画像処理されることによって得られた画像であって、
前記第４処理部は、２つの図形を統合して得られる新たな図形の大ききと比較される前記第５しきい値を、当該新たな図形の位置が、前記撮影画像において撮影俯角が最大となる位置に対応する入力画像での対応位置から離れるほど大きく設定する、画像処理装置。
【請求項２４】
請求項２３に記載の画像処理装置であって、
前記第４処理部は、
２つの図形を統合して得られる新たな図形の位置が前記対応位置から第２所定範囲内に存在する場合には、当該新たな図形の大きさと比較される前記第５しきい値を、当該新たな図形の位置が前記対応位置から離れるほど大きく設定し、
２つの図形を統合して得られる新たな図形の位置が前記第２所定範囲外に存在する場合には、当該新たな図形の大きさと比較される前記第５しきい値を、当該新たな図形の位置が前記対応位置から離れるほど小さく設定する、画像処理装置。
【請求項２５】
請求項１９に記載の画像処理装置であって、
前記第４処理部は、２つの図形を統合して得られる一つの新たな図形の位置と前記対応位置との差が第６しきい値以下あるいは未満の場合には、当該２つの図形が前記第１直線上に位置するか否かにかかわらず、当該２つの図形の間の前記第３距離が前記第４しきい値以下あるいは未満であり、かつ当該新たな図形の大ききが前記第５しきい値以下あるいは未満のとき、当該２つの図形が一つの前記対象物に対して当てはめられたと判断して、当該新たな図形を当該２つの図形の代わりに採用する、画像処理装置。
【請求項２６】
請求項１乃至請求項２５のいずれか一つに記載の画像処理装置であって、
前記対象物を撮影するカメラで撮影された撮影画像に対して画像処理を行って前記入力画像を生成する第６処理部をさらに備える、画像処理装置。
【請求項２７】
請求項２６に記載の画像処理装置と、
前記画像処理装置の前記第６処理部が前記画像処理を行う前記撮影画像を撮影するカメラと
を備える、画像処理システム。
【請求項２８】
互いに異なる時刻での対象物が写る複数枚の入力画像のそれぞれについて、当該入力画像に写る当該対象物に対して図形を当てはめる当てはめ処理を行う第１工程と、
前記当てはめ処理の結果に基づいて、前記入力画像での前記図形の位置を追跡することによって、前記入力画像での前記対象物の位置を追跡する追跡処理を行う第２工程と
を備え、
前記第１工程において、一つの前記対象物に対して複数の図形が当てはめられた場合には、当該複数の図形を統合して得られる一つの新たな図形を、当該複数の図形の代わりに採用する、画像処理装置の動作方法。
【請求項２９】
画像処理装置を制御するための制御プログラムであって、
前記画像処理装置に、
互いに異なる時刻での対象物が写る複数枚の入力画像のそれぞれについて、当該入力画像に写る当該対象物に対して図形を当てはめる当てはめ処理を行う第１工程と、
前記当てはめ処理の結果に基づいて、前記入力画像での前記図形の位置を追跡することによって、前記入力画像での前記対象物の位置を追跡する追跡処理を行う第２工程と
を実行させ、
前記第１工程において、一つの前記対象物に対して複数の図形が当てはめられた場合には、当該複数の図形を統合して得られる一つの新たな図形を、当該複数の図形の代わりに採用する処理を実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関する。
【背景技術】
【０００２】
特許文献１〜６に記載されているように、従来から様々な画像処理装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−５６４８８号公報
【特許文献２】特開２０１５−５３０１１号公報
【特許文献３】特開２０１５−７０３５９号公報
【特許文献４】特許第３４２３８６１号公報
【特許文献５】特許第３４２３８８６号公報
【特許文献６】特許第３５６９１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
さて、画像処理装置では、その処理負荷の低減が望まれている。
【０００５】
そこで、本発明は上述の点に鑑みて成されたものであり、画像処理装置の処理負荷を低減することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
画像処理装置の一態様は、互いに異なる時刻での対象物が写る複数枚の入力画像のそれぞれについて、当該入力画像に写る当該対象物に対して図形を当てはめる当てはめ処理を行う第１処理部と、前記当てはめ処理の結果に基づいて、前記入力画像上での前記図形の位置を追跡することによって、前記入力画像での前記対象物の位置を追跡する追跡処理を行う第２処理部とを備え、前記第１処理部は、前記入力画像に写る前記対象物に対して図形を当てはめる第３処理部と、前記第３処理部において、一つの前記対象物に対して複数の図形が当てはめられた場合には、当該複数の図形を統合して得られる一つの新たな図形を、当該複数の図形の代わりに採用する第４処理部とを有する。
【０００７】
また、画像処理装置の一態様では、前記追跡処理の結果に基づいて、前記入力画像に写る前記対象物の数を求める第５処理部がさらに設けられている。
【０００８】
また、画像処理装置の一態様では、前記第２処理部は、前記図形に関する図形情報を生成し、前記第２処理部は、前記当てはめ処理の結果に基づいて、前記図形情報を更新する更新処理を行う。
【０００９】
また、画像処理装置の一態様では、前記図形情報は、前記図形の状態を示す状態情報と、前記図形を特定するための図形特定情報とを含む。
【００１０】
また、画像処理装置の一態様では、前記第２処理部は、第１時刻での前記対象物が写る第１入力画像についての前記当てはめ処理において得られた各第１図形について、当該第１時刻よりも後の第２時刻での前記対象物が写る第２入力画像についての前記当てはめ処理において得られた、当該第１図形に対応する対応第２図形を特定する対応特定処理を行い、前記第２処理部は、前記対応特定処理の結果に基づいて前記更新処理を行う。
【００１１】
また、画像処理装置の一態様では、前記第２処理部は、前記第１図形に対応する前記対応第２図形を特定する際には、前記第２入力画像についての前記当てはめ処理において得られた第２図形のうち、前記第１図形に最も位置が近い第２図形であって、前記第１図形との第１距離が第１しきい値以下あるいは未満の第２図形である近傍第２図形を、前記対応第２図形として特定する。
【００１２】
また、画像処理装置の一態様では、前記第２処理部は、前記対応特定処理において、前記第１及び第２入力画像についての前記当てはめ処理の結果に基づいて、前記第１入力画像についての前記当てはめ処理において得られた複数の第１図形が当てはめられた複数の対象物に対して、前記第２入力画像についての前記当てはめ処理において一つの第２図形が当てはめられたか否かを判定する。
【００１３】
また、画像処理装置の一態様では、前記第２処理部は、前記第１図形に対応する前記対応第２図形を特定する際には、前記第２入力画像についての前記当てはめ処理において得られた第２図形のうち、前記第１図形に最も位置が近い第２図形であって、前記第１図形との第１距離が第１しきい値以下あるいは未満の第２図形である近傍第２図形を、前記対応第２図形として特定し、前記第２処理部は、前記近傍第２図形が前記対応第２図形として特定されなかった前記第１図形である未特定第１図形が存在する場合には、当該未特定第１図形との第２距離が第２しきい値以下あるいは未満である前記対応第２図形が存在するとき、当該対応第２図形に対応する前記第１図形が当てはめられた前記対象物だけではなく、当該未特定第１図形が当てはめられた前記対象物に対しても、当該対応第２図形が当てはめられたと判定する。
【００１４】
また、画像処理装置の一態様では、前記第２処理部は、前記第１図形に対応する前記対応第２図形を特定する際には、前記第２入力画像についての前記当てはめ処理において得られた第２図形のうち、前記第１図形に最も位置が近い第２図形であって、前記第１図形との第１距離が第１しきい値以下あるいは未満の第２図形である近傍第２図形を、前記対応第２図形として特定し、前記第２処理部は、前記近傍第２図形が前記対応第２図形として特定されなかった前記第１図形である未特定第１図形が存在する場合には、当該未特定第１図形の少なくとも一部の領域を内包する前記対応第２図形が存在するとき、当該対応第２図形に対応する前記第１図形が当てはめられた前記対象物だけではなく、当該未特定第１図形が当てはめられた前記対象物に対しても、当該対応第２図形が当てはめられたと判定する。
【００１５】
また、画像処理装置の一態様では、前記第２処理部は、前記近傍第２図形が前記対応第２図形として特定されなかった前記第１図形である未特定第１図形が存在する場合には、当該未特定第１図形との第２距離が第２しきい値以下あるいは未満であって、当該未特定第１図形の少なくとも一部の領域を内包する前記対応第２図形が存在するとき、当該対応第２図形に対応する前記第１図形が当てはめられた前記対象物だけではなく、当該未特定第１図形が当てはめられた前記対象物に対しても、当該対応第２図形が当てはめられたと判定する。
【００１６】
また、画像処理装置の一態様では、前記入力画像は、前記対象物を撮影するカメラで撮影された撮影画像が画像処理されることによって得られた画像であって、前記第２処理部は、前記第１図形の位置が、前記第１入力画像における、前記カメラの位置に対応する対応位置から離れるほど、当該第１図形に対応する前記対応第２図形を特定する際に使用される前記第１しきい値を小さく設定する。
【００１７】
また、画像処理装置の一態様では、前記第２処理部は、前記未特定第１図形の位置が、前記第１入力画像上において、前記カメラの位置に対応する対応位置から離れるほど、前記第２しきい値を小さく設定する。
【００１８】
また、画像処理装置の一態様では、前記第２処理部は、前記対応特定処理において、前記第１及び第２入力画像についての前記当てはめ処理の結果に基づいて、前記第１入力画像についての前記当てはめ処理において得られた一つの第１図形が当てはめられた複数の対象物に対して、前記第２入力画像についての前記当てはめ処理において複数の第２図形が当てはめられた否かを判定する。
【００１９】
また、画像処理装置の一態様では、前記第２処理部は、前記一つの第１図形の大きさから、当該一つの第１図形に最も位置が近い、前記第２入力画像についての前記当てはめ処理において得られた第２図形の大きさを差し引いて得られる差分値が第３しきい値よりも大きいあるいは当該第３しきい値以上であって、かつ、当該一つの第１図形において、前記第２入力画像についての前記当てはめ処理において得られた複数の第２図形のそれぞれの少なくとも一部の領域が内包される場合には、前記一つの第１図形に対応する複数の対象物に対して、当該複数の第２図形が当てはめられたと判定する。
【００２０】
また、画像処理装置の一態様では、前記入力画像は、前記対象物を俯瞰撮影するカメラで撮影された撮影画像が画像処理されることによって得られた画像であって、前記第２処理部は、前記一つの第１図形の位置が、前記第１入力画像上において、前記撮影画像に写る人の撮影俯角が前記撮影画像で最大となる位置に対応する対応位置から離れるほど、前記第３しきい値を大きく設定する。
【００２１】
また、画像処理装置の一態様では、前記第２処理部は、前記一つの第１図形の位置が、前記対応位置から第１所定範囲内に存在する場合には、前記一つの第１図形の位置が前記対応位置から離れるほど前記第３しきい値を大きく設定し、前記一つの第１図形の位置が前記第１所定範囲外に存在する場合には、前記一つの第１図形の位置が前記対応位置から離れるほど前記第３しきい値を小さく設定する。
【００２２】
また、画像処理装置の一態様では、前記第２処理部は、前記対応特定処理において、前記入力画像に写らなくなった前記対象物に当てはめられた前記図形である第３図形に対応する、前記第２入力画像についての前記当てはめ処理において得られた第２図形を特定し、その特定結果に基づいて、当該第３図形についての前記図形情報を更新し、前記第２処理部は、前記入力画像に写らなくなった前記対象物に当てはめられた前記第３図形についての前記図形情報を、前記対象物が前記入力画像に写らなくなってから所定時間経過した後に消去する。
【００２４】
また、画像処理装置の一態様では、前記第４処理部は、前記第３処理部で得られた２つの図形の間の第３距離が第４しきい値以下あるいは未満であり、かつ当該２つの図形を統合して得られる一つの新たな図形の大ききが第５しきい値以下あるいは未満の場合、当該２つの図形が一つの前記対象物に対して当てはめられたと判断して、当該新たな図形を当該２つの図形の代わりに採用する。
【００２５】
また、画像処理装置の一態様では、前記入力画像は、前記対象物を俯瞰撮影するカメラで撮影された撮影画像が画像処理されることによって得られた画像であって、前記第４処理部は、前記第３処理部で得られた２つの図形が、前記入力画像上において、前記撮影画像に写る人の撮影俯角が前記撮影画像で最大となる位置に対応する対応位置から延びる１本の第１直線上に位置し、かつ当該２つの図形の間の前記第３距離が前記第４しきい値以下あるいは未満であり、かつ当該２つの図形を統合して得られる一つの新たな図形の大ききが前記第５しきい値以下あるいは未満の場合、当該２つの図形が一つの前記対象物に対して当てはめられたと判断して、当該新たな図形を当該２つの図形の代わりに採用する。
【００２６】
また、画像処理装置の一態様では、前記図形は楕円であって、前記第４処理部は、前記第３処理部で得られた２つの楕円のうちの一方の楕円の中心から、当該２つの楕円のうちの他方の楕円の中心までを結ぶ第２直線が当該一方の楕円と交わる第１交点と、当該第２直線が当該他方の楕円と交わる第２交点との間の距離を、前記第３距離とする。
【００２７】
また、画像処理装置の一態様では、前記入力画像は、前記対象物を俯瞰撮影するカメラで撮影された撮影画像が画像処理されることによって得られた画像であって、前記第４処理部は、２つの図形の間の前記第３距離と比較される前記第４しきい値を、当該２つの図形を統合して得られる新たな図形の位置が、前記撮影画像において撮影俯角が最大となる位置に対応する入力画像での対応位置から離れるほど大きく設定する。
【００２８】
また、画像処理装置の一態様では、前記第４処理部は、２つの図形を統合して得られる新たな図形の位置が前記対応位置から第２所定範囲内に存在する場合には、当該２つの図形の間の前記第３距離と比較される前記第４しきい値を、当該新たな図形の位置が前記対応位置から離れるほど大きく設定し、２つの図形を統合して得られる新たな図形の位置が前記第２所定範囲外に存在する場合には、当該２つの図形の間の前記第３距離と比較される前記第４しきい値を、当該新たな図形の位置が前記対応位置から離れるほど小さく設定する。
【００２９】
また、画像処理装置の一態様では、前記入力画像は、前記対象物を俯瞰撮影するカメラで撮影された撮影画像が画像処理されることによって得られた画像であって、前記第４処理部は、２つの図形を統合して得られる新たな図形の大ききと比較される前記第５しきい値を、当該新たな図形の位置が、前記撮影画像において撮影俯角が最大となる位置に対応する入力画像での対応位置から離れるほど大きく設定する。
【００３０】
また、画像処理装置の一態様では、前記第４処理部は、２つの図形を統合して得られる新たな図形の位置が前記対応位置から第２所定範囲内に存在する場合には、当該新たな図形の大きさと比較される前記第５しきい値を、当該新たな図形の位置が前記対応位置から離れるほど大きく設定し、２つの図形を統合して得られる新たな図形の位置が前記第２所定範囲外に存在する場合には、当該新たな図形の大きさと比較される前記第５しきい値を、当該新たな図形の位置が前記対応位置から離れるほど小さく設定する。
【００３１】
また、画像処理装置の一態様では、前記第４処理部は、２つの図形を統合して得られる一つの新たな図形の位置と前記対応位置との差が第６しきい値以下あるいは未満の場合には、当該２つの図形が前記第１直線上に位置するか否かにかかわらず、当該２つの図形の間の前記第３距離が前記第４しきい値以下あるいは未満であり、かつ当該新たな図形の大ききが前記第５しきい値以下あるいは未満のとき、当該２つの図形が一つの前記対象物に対して当てはめられたと判断して、当該新たな図形を当該２つの図形の代わりに採用する。
【００３２】
また、画像処理装置の一態様では、前記対象物を撮影するカメラで撮影された撮影画像に対して画像処理を行って前記入力画像を生成する第６処理部がさらに設けられている。
【００３３】
また、画像処理システムの一態様は、上記の画像処理装置と、前記画像処理装置の前記第６処理部が前記画像処理を行う前記撮影画像を撮影するカメラとを備える。
【００３４】
また、画像処理装置の動作方法は、互いに異なる時刻での対象物が写る複数枚の入力画像のそれぞれについて、当該入力画像に写る当該対象物に対して図形を当てはめる当てはめ処理を行う第１工程と、前記当てはめ処理の結果に基づいて、前記入力画像での前記図形の位置を追跡することによって、前記入力画像での前記対象物の位置を追跡する追跡処理を行う第２工程とを備え、前記第１工程において、一つの前記対象物に対して複数の図形が当てはめられた場合には、当該複数の図形を統合して得られる一つの新たな図形を、当該複数の図形の代わりに採用する。
【００３５】
また、画像処理装置を制御するための制御プログラムは、前記画像処理装置に、互いに異なる時刻での対象物が写る複数枚の入力画像のそれぞれについて、当該入力画像に写る当該対象物に対して図形を当てはめる当てはめ処理を行う第１工程と、前記当てはめ処理の結果に基づいて、前記入力画像での前記図形の位置を追跡することによって、前記入力画像での前記対象物の位置を追跡する追跡処理を行う第２工程とを実行させ、前記第１工程において、一つの前記対象物に対して複数の図形が当てはめられた場合には、当該複数の図形を統合して得られる一つの新たな図形を、当該複数の図形の代わりに採用する処理を実行させるためのものである。
【発明の効果】
【００３６】
画像処理装置の処理負荷を低減することができる。
【図面の簡単な説明】
【００３７】
【図１】画像処理システムの構成を示す図である。
【図２】カメラの設置例を示す図である。
【図３】撮像画像の一例を示す図である。
【図４】画像処理装置の構成を示す図である。
【図５】画像処理装置の動作を示すフローチャートである。
【図６】画像処理部の構成を示す図である。
【図７】入力画像の一例を示す図である。
【図８】当てはめ処理部の構成を示す図である。
【図９】当てはめ処理を示すフローチャートである。
【図１０】入力画像に写る人に対して楕円が当てはめられた様子を示す図である。
【図１１】入力画像に写る人に対して当てはめた楕円を撮像画像に重ねた様子を示す図である。
【図１２】入力画像に写る人に対して当てはめた楕円を撮像画像に重ねた様子を示す図である。
【図１３】撮影画像の一例を示す図である。
【図１４】楕円統合処理を示すフローチャートである。
【図１５】楕円統合処理を説明するための図である。
【図１６】楕円統合処理を説明するための図である。
【図１７】楕円統合処理を説明するための図である。
【図１８】楕円統合処理を説明するための図である。
【図１９】楕円統合処理を説明するための図である。
【図２０】楕円統合処理を説明するための図である。
【図２１】楕円統合処理を説明するための図である。
【図２２】楕円統合処理を説明するための図である。
【図２３】楕円統合処理を説明するための図である。
【図２４】楕円統合処理を説明するための図である。
【図２５】楕円統合処理を説明するための図である。
【図２６】楕円統合処理を説明するための図である。
【図２７】楕円統合処理を説明するための図である。
【図２８】楕円統合処理を説明するための図である。
【図２９】楕円統合処理を説明するための図である。
【図３０】楕円統合処理を説明するための図である。
【図３１】追跡処理の構成を示す図である。
【図３２】追跡情報の一例を示す図である。
【図３３】追跡処理を示すフローチャートである。
【図３４】第１楕円が複数の第２楕円に分離する様子の一例を示す図である。
【図３５】第１楕円が複数の第２楕円に分離する様子の一例を示す図である。
【図３６】分離判定処理を説明するための図である。
【図３７】分離判定処理を説明するための図である。
【図３８】１次更新処理を説明するための図である。
【図３９】１次更新処理を説明するための図である。
【図４０】１次更新処理を説明するための図である。
【図４１】２次特定処理を示すフローチャートである。
【図４２】複数の第１楕円が当てはめられた複数の人に対して１つの第２楕円が当てはめられる様子の一例を示す図である。
【図４３】前フレームでの当てはめ処理で得られた第１楕円を撮像画像に重ねた様子を示す図である。
【図４４】現フレームでの当てはめ処理で得られた第２楕円を撮像画像に重ねた様子を示す図である。
【図４５】前フレームでの当てはめ処理で得られた第１楕円を撮像画像に重ねた様子を示す図である。
【図４６】現フレームでの当てはめ処理で得られた第２楕円を撮像画像に重ねた様子を示す図である。
【図４７】追跡処理部の動作を説明するための図である。
【図４８】追跡処理部の動作を説明するための図である。
【図４９】追跡処理部の動作を説明するための図である。
【図５０】追跡処理部の動作を説明するための図である。
【発明を実施するための形態】
【００３８】
＜画像処理システムの構成＞
図１は画像処理システム１の構成を示す図である。画像処理システム１は、画像処理を用いて、対象物の位置を追跡するシステムである。画像処理システム１は、例えば、オフィス、学校等に導入される。画像処理システム１は、オフィス等の室内での人の位置を追跡する。なお、位置を追跡する対象物は人以外であっても良い。
【００３９】
図１に示されるように、画像処理システム１は、カメラ２及び画像処理装置３を備える。カメラ２は、図２に示されるように、例えば、室内３００内の天井３１０に取り付けられる。カメラ２は、例えば全方位カメラであって、室内３００を俯瞰撮影する。したがって、カメラ２の撮影範囲は室内３００となる。カメラ２は、所定のフレームレート（例えば３０ｆｐｓ）で、画像を撮影して出力する。カメラ２から順次出力される撮影画像１００は、画像処理装置３に順次入力される。なお、図２には、室内３００に存在する人（対象物）２００も示されている。
【００４０】
本例では、撮影画像１００はグレースケール画像であるが、カラー画像であっても良い。また、カメラ２は、天井３１０以外に取り付けられても良い。また、カメラ２は全方位カメラ以外であっても良い。
【００４１】
図３は撮影画像１００の一例を示す図である。撮像画像１００は魚眼画像とも呼ばれる。図３に示されるように、撮影画像１００に写る室内３００の床３２０の上には、複数の机３３０と複数の椅子３４０とが配置されている。室内３００には複数の人２００が存在する。具体的には、室内３００には、壁３５０の傍に立っている２人の人２００ａ，２００ｂと、椅子３４０に座っている１人の人２００ｃが存在している。したがって、撮影画像１００には、３人の人２００ａ，２００ｂ，２００ｃが写っている。
【００４２】
画像処理装置３は、入力される撮影画像１００に基づいて、室内３００での人２００の位置を追跡する。言い換えれば、画像処理装置３は、入力される撮影画像１００に基づいて、カメラ２の撮影範囲での人２００の位置を追跡する。さらに言い換えれば、画像処理装置３は、入力される撮影画像１００に基づいて、撮影画像１００での人２００の位置を追跡する。
【００４３】
画像処理装置３は、例えば、一種のコンピュータであって、図１に示されるように、ＣＰＵ４（Central Processing Unit）及び記憶部５を備えている。記憶部５は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の、ＣＰＵ４が読み取り可能な非一時的な記録媒体で構成されている。記憶部５には、画像処理装置３（コンピュータ）を制御するための制御プログラム６が記憶されている。ＣＰＵ４が記憶部５内の制御プログラム６を実行することによって、画像処理装置３には様々な機能ブロックが形成される。
【００４４】
なお、画像処理装置３の機能の一部又は全部は、その機能の実現のためにプログラム（ソフトフェア）が不要な、論理回路等を含むハードウェア回路で実現しても良い。また記憶部５は、ＲＯＭ及びＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていても良い。記憶部５は、例えば、小型のハードディスクドライブ及びＳＳＤ（Solid State Drive）等を備えていても良い。
【００４５】
＜画像処理装置の構成＞
図４は画像処理装置３の構成を示す図である。図４に示されるように、画像処理装置３は、画像処理部１０、当てはめ処理部１１、追跡処理部１２及びカウント部１３を備えている。画像処理部１０は、撮影画像１００に対して画像処理を行い、それによって得られた画像を入力画像１４０として出力する。入力画像１４０には、人２００が写っており、人２００を示す画像が含まれている。以後、人２００を示す画像を「人領域」と呼ぶことがある。
【００４６】
当てはめ処理部１１は、入力画像１４０に写る人２００に対して図形を当てはめる当てはめ処理を行う。当てはめ処理は、入力画像１４０に含まれる人領域に対して図形を当てはめる処理であると言える。また、当てはめ処理は、入力画像１４０に含まれる人領域を図形で表す処理であるとも言える。本例では、当てはめ処理部１１は、当てはめ処理において、入力画像１４０に写る人２００に対して、例えば楕円を当てはめる。ここで、本願発明での楕円とは、円（真円）を含む概念である。以後、特に断らない限り、「楕円」と言えば、当てはめ処理部１１が、入力画像１４０に写る人２００に対して当てはめた楕円を意味する。
【００４７】
追跡処理部１２は、当てはめ処理部１１での当てはめ処理の結果に基づいて、入力画像１４０上での楕円の位置を追跡することによって、入力画像１４０上での人２００の位置を追跡する追跡処理を行う。追跡処理は、入力画像１４０上での楕円の位置を追跡することによって、カメラ２の撮影領域（室内３００）での人２００の位置を追跡する処理であると言える。
【００４８】
カウント部１３は、追跡処理部１２での追跡処理の結果に基づいて、入力画像１４０に写る人２００の数を求めるカウント処理を行う。言い換えれば、カウント部１３は、追跡処理部１２での追跡処理の結果に基づいて、撮影画像１００に写る人２００の数を求める。さらに言い換えれば、カウント部１３は、追跡処理部１２での追跡処理の結果に基づいて、カメラ２の撮影範囲内（室内３００）に存在する人２００の数を求める。
【００４９】
図５は画像処理装置３の動作を示すフローチャートである。図５に示されるように、ステップｓ１において、画像処理装置３がカメラ２から撮影画像１００を取得すると、画像処理部１０は、ステップｓ２において、撮影画像１００に対して画像処理を行って、入力画像１４０を生成する。ステップｓ２での具体的処理について後で説明する。
【００５０】
ステップｓ２の後、ステップｓ３において、当てはめ処理部１１は、ステップｓ２で生成された入力画像１４０に写る人２００に対して楕円を当てはめる当てはめ処理を行う。その後、ステップｓ４において、追跡処理部１２は、ステップｓ３での当てはめ処理の結果に基づいて入力画像１４０上での楕円の位置を追跡することによって、入力画像１４０上での人２００の位置を追跡する追跡処理を行う。その後、ステップｓ５において、カウント部１３は、ステップｓ４での追跡処理の結果に基づいて、ステップｓ２で生成された入力画像１４０に映る人２００の数を求めるカウント処理を行う。つまり、カウント部１３は、ステップｓ４での追跡処理の結果に基づいて、ステップｓ１で取得させた撮影画像１００に映る人２００の数を求める。
【００５１】
その後、再度ステップｓ１が実行されて、新たな撮影画像１００（次のフレームの撮像画像１００）が画像処理装置３で取得されると、画像処理装置３は、ステップｓ２〜ｓ５までの処理を同様に実行する。画像処理装置３は、撮影画像１００が取得されるたびに（撮影画像１００が入力されるたびに）、取得された撮影画像１００を用いてステップｓ２〜ｓ５までの処理を実行する。
【００５２】
以後、画像処理装置３が現在処理している入力画像１４０を「現フレームの入力画像１４０」と呼ぶことがある。また、画像処理装置３において、現フレームの入力画像１４０よりも一つ前に生成された入力画像１４０を「前フレームの入力画像１４０」と呼ぶことがある。
【００５３】
＜画像処理部の詳細＞
図６は画像処理部１０の構成を示す図である。画像処理部１０は、撮影画像１００に対して複数種類の画像処理を実行して入力画像１４０を生成する。図６に示されるように、画像処理部１０は、リサイズ部２０、第１ノイズ除去部２１、背景差分画像生成部２２及び第２ノイズ除去部２３を備えている。
【００５４】
リサイズ部２０は、撮影画像１００のサイズを縮小し、縮小後の撮影画像１００を処理画像１１０として出力する。リサイズ部２０は、例えば、撮影画像１００の縦及び横の画素数を０．５倍に設定する。以後、縮小後の撮影画像１００である処理画像１１０を「撮影画像１１０」と呼ぶことがある。撮影画像１１０に写る内容は、撮影画像１００に写る内容と同じである。したがって、上述の図３は、撮影画像１１０の一例を示す図であるとも言える。
【００５５】
第１ノイズ除去部２１は、処理画像１１０に対して所定の画像処理を行って、処理画像１１０に含まれるノイズを除去する。第１ノイズ除去部２１は、例えば、処理画像１１０に対してガウシアンフィルタを行って、処理画像１１０を平滑化する。これにより、処理画像１１０に含まれるノイズが除去される。第１ノイズ除去部２１は、ノイズ除去後の処理画像１１０を処理画像１２０として出力する。
【００５６】
なお、撮影画像１００の画素数が小さいなどの理由で撮影画像１００をリサイズする必要が無い場合には、リサイズ部２０は不要となる。この場合には、第１ノイズ除去部２１は、撮影画像１００に対してガウシアンフィルタを行い、処理後の撮影画像１００を処理画像１２０として出力する。
【００５７】
背景差分画像生成部２２は、処理画像１２０と、撮影画像１００の背景だけを示す背景画像との差分を示す背景差分画像１３０を生成する。本例では、背景画像は、人２００が存在しない室内３００をカメラ２が撮影することによって得られる画像を、処理画像１２０と同じサイズまで縮小することによって得られる画像である。背景差分画像生成部２２は、各画素について、処理画像１２０の画素値と背景画像の画素値との差分を求めて、それによって得られる各画素の差分値を２値化することによって背景差分画像１３０を生成する。したがって、背景差分画像１３０は２値化画像である。
【００５８】
第２ノイズ除去部２３は、背景差分画像１３０に所定の画像処理を行って、背景差分画像１３０に含まれるノイズを除去する。第２ノイズ除去部２３は、例えば、背景差分画像１３０に対して膨張処理及び収縮処理を繰り返し行って、背景差分画像１３０に含まれるノイズを除去する。第２ノイズ除去部２３は、ノイズ除去後の背景差分画像１３０を入力画像１４０として出力する。
【００５９】
図７は入力画像１４０（ノイズ除去された背景差分画像１３０）の一例を示す図である。図７の例では、画素値が“１”の部分（高輝度領域）が黒色で示されており、画素値が“０”の部分（低輝度領域）が白色で示されている。図７に示される入力画像１４０は、上述の図３に示される撮影画像１００（撮影画像１１０）に対応している。つまり、図７に示される入力画像１４０は、図３に示される撮影画像１００（撮影画像１１０）に基づいて生成された処理画像１２０と背景画像との差分を示している。
【００６０】
図７に示される入力画像１４０には、３人の人２００が写っており、３つの人領域２３０が含まれている。具体的には、入力画像１４０には、図３に示される人２００ａ，２００ｂ，２００ｃをそれぞれ示す人領域２３０ａ，２３０ｂ，２３０ｃが含まれている。人領域２３０ａ，２３０ｂ，２３０ｃは高輝度領域である。入力画像１４０には、背景画像が含まれていないことから、画像処理部１０は、入力画像１４０を生成することにより、室内３００の人を検出していると言える。
【００６１】
以上のような構成を有する画像処理部１０では、画像処理装置３が撮影画像１００を取得すると、上述の図５に示されるように、ステップｓ２１において、リサイズ部２０が撮影画像１００をリサイズして処理画像１１０を生成する。そして、ステップｓ２２において、第１ノイズ除去部２１が処理画像１１０に含まれるノイズを除去して処理画像１２０を生成する。その後、ステップｓ２３において、背景差分画像生成部２２が、処理画像１２０と背景画像との差分を示す背景差分画像１３０を生成する。そして、ステップｓ２４において、第２ノイズ除去部２３が、背景差分画像１３０に含まれるノイズを除去して入力画像１４０を生成する。ステップｓ２４において入力画像１４０が生成されると、上述のようにしてステップｓ３〜ｓ５が順次実行される。
【００６２】
以後、現フレームの入力画像１４０の元になる撮影画像１１０を「現フレームの撮影画像１１０」と呼ぶことがある。また、前フレームの入力画像１４０の元になる撮影画像１１０を「前フレームの撮影画像１１０」と呼ぶことがある。
【００６３】
＜当てはめ処理部の詳細＞
図８は当てはめ処理部１１の構成を示す図である。図９は上述のステップｓ３での当てはめ処理の詳細を示すフローチャートである。図８に示されるように、当てはめ処理部１１は、ラベリング部３０、輪郭抽出部３１、楕円当てはめ部３２及び楕円統合部３３を備えている。図９に示されるように、当てはめ処理では、まずステップｓ３１においてラベリング部３０での処理が実行され、その後、ステップｓ３２において輪郭抽出部３１での処理が実行される。次にステップｓ３３において楕円当てはめ部３２での処理が実行され、最後に楕円統合部３３での処理が実行される。以下に各構成での具体的処理について説明する。
【００６４】
ラベリング部３０は、入力画像１４０に含まれる高輝度領域に対して、４連結あるいは８連結等を用いたラベリングを行う。そして、ラベリング部３０は、ラベリングによって得られた独立領域（連結領域）のうち、大きさがしきい値よりも小さい独立領域、あるいは大きさがしきい値以下の独立領域を除去する。これにより、入力画像１４０に含まれる小さい独立領域が除去される。つまり、入力画像１４０に含まれるノイズが除去される。ラベリング部３０は、ノイズが除去された入力画像１４０を処理画像１５０として出力する。
【００６５】
輪郭抽出部３１は、処理画像１５０に含まれる高輝度領域の輪郭抽出を行い、処理画像１５０に含まれる高輝度領域の輪郭を示す輪郭抽出画像１６０を生成する。つまり、輪郭抽出部３１は、処理画像１５０に含まれる各人領域の輪郭抽出を行い、処理画像１５０に含まれる各人領域の輪郭を示す輪郭抽出画像１６０を生成する。以後、人領域の輪郭を「人輪郭」と呼ぶ。
【００６６】
楕円当てはめ部３２は、輪郭抽出画像１６０に含まれる人輪郭に対して楕円を当てはめる。これにより、入力画像１４０に写る人２００に対して楕円が当てはめられる。言い換えれば、入力画像１４０に含まれる人領域２３０に対して楕円が当てはめられる。楕円当てはめ部３２は、例えば、最小二乗法を用いて輪郭抽出画像１６０に含まれる人輪郭に対して楕円を当てはめる。
【００６７】
図１０は、図７に示される入力画像１４０から生成された輪郭抽出画像１６０に含まれる人輪郭に対して当てはめられた楕円２５０を、当該入力画像１４０に重ねた様子を示す図である。図１１は、楕円２５０を、図３に示される撮影画像１００をリサイズして得られる撮影画像１１０に重ねた様子を示す図である。
【００６８】
図１０に示されるように、入力画像１４０に写る３人の人に対して楕円２５０が当てはめられる。具体的には、入力画像１４０に含まれる、人２００ａを示す人領域２３０ａには楕円２５０ａが当てはめられる。また、入力画像１４０に含まれる、人２００ｂを示す人領域２３０ｂには楕円２５０ｂが当てはめられる。そして、入力画像１４０に含まれる、人２００ｃを示す人領域２３０ｃには楕円２５０ｃ１，２５０ｃ２が当てはめられる。これにより、図１１に示されるように、撮影画像１１０に写る人２００ａに対して楕円２５０ａが当てはめられ、撮影画像１１０に写る人２００ｂに対して楕円２５０ｂが当てはめられ、撮影画像１１０に写る人２００ｃに対して楕円２５０ｃ１，２５０ｃ２が当てはめられる。
【００６９】
楕円統合部３３は、楕円当てはめ部３２において、入力画像１４０に写る１人の人２００に対して複数の楕円２５０が当てはめられた場合には、当該複数の楕円を統合して一つの新たな楕円を生成し、生成した新たな楕円を、当該１人の人２００に対して当てはめ直す。つまり、楕円統合部３３は、楕円当てはめ部３２において、入力画像１４０に写る１人の人２００に対して複数の楕円２５０が当てはめられた場合には、当該複数の楕円を統合して一つの新たな楕円を生成し、生成した新たな楕円を、当該複数の楕円の代わりに採用する。
【００７０】
ここで、楕円当てはめ部３２では、１人の人２００に対して複数の楕円２５０が当てはめられることがある。例えば、人２００の上着の色が背景の色と同じである場合には、人２００の頭に対して１つの楕円２５０が当てはめられ、当該人２００の下半身に対して１つの楕円２５０が当てはめられることがある。上述の図１０，１１の例では、椅子に座っている人２００ｃの上半身及び下半身に対して２つの楕円２５０ｃ１，２５０ｃ２がそれぞれ当てはめられている。
【００７１】
一方で、後述の説明から理解できるように、追跡処理部１２は、基本的には、１つの楕円２５０については、１人の人２００に対応するものとして取り扱う。したがって、追跡処理部１２は、当てはめ処理部１１において１人の人２００に対して複数の楕円２５０が当てはめられる場合には、当該複数の楕円２５０には複数の人２００がそれぞれ対応するものとして取り扱うことになる。その結果、室内３００での人２００の位置の追跡が正しく行われない可能性がある。
【００７２】
そこで、楕円統合部３３は、楕円当てはめ部３２において、１人の人２００に対して複数の楕円２５０が当てはめられた場合には、当該複数の楕円２５０を統合して得られる一つの新たな楕円を、当該複数の楕円２５０の代わりに採用する。これにより、楕円当てはめ部３２において、１人の人２００に対して複数の楕円２５０が当てはめられた場合であっても、最終的には、当該１人の１人２００に対して１つの楕円を当てはめることが可能となる。
【００７３】
図１２は、図１１に示される、人２００ｃに当てはめられた複数の楕円２５０ｃ１，２５０ｃ２を統合して得られる新たな楕円２５０ｃを、人２００ｃに対して当てはめ直した様子を示す図である。図１２に示されるように、楕円統合部３３の働きによって、人２００ｃに対して、一つの楕円２５０ｃが当てはめられる。
【００７４】
当てはめ処理部１１は、楕円当てはめ部３２での楕円２５０の当てはめの結果と、楕円統合部３３での新たな楕円の再当てはめの結果とに基づいて、入力画像１４０に写る人２００に対して最終的に当てはめられた楕円を特定するための楕円特定情報を、当てはめ処理結果として追跡処理部１２に出力する。楕円特定情報には、楕円の中心座標、長軸長、短軸長及び傾きが含まれている。したがって、楕円特定情報から、楕円の位置及び形状を特定することができる。楕円特定情報に含まれる楕円の中心座標は、入力画像１４０上での楕円の中心座標である。楕円特定情報に含まれる楕円の中心座標は、撮影画像１１０上での楕円の中心座標であるとも言える。楕円特定情報に含まれる楕円の中心座標は、入力画像１４０（撮影画像１１０）に写る、当該楕円に対応する人の位置を示している。
【００７５】
＜楕円統合処理の詳細＞
次に楕円統合部３３での楕円統合処理（ステップｓ３４の処理）について詳細に説明する。本例では、楕円統合部３３は、２つの楕円が第１〜第３条件のすべてを満たす場合に、当該２つの楕円が１人の人に当てはめられたと判断して、当該２つの楕円を統合して得られる一つの新たな楕円を、当該２つの楕円の代わりに採用する。以後、当該新たな楕円を「統合楕円」と呼ぶことがある。
【００７６】
第１条件は、２つの楕円間の距離が第１しきい値以下であるという条件である。１人の人に対して２つの楕円が当てはめられている場合には、当該２つの楕円間の距離は小さい。そのため、２つの楕円が第１条件を満たす場合には、当該２つの楕円は１人の人に当てはめられている可能性がある。なお、第１条件は、２つの楕円間の距離が第１しきい値未満であるという条件であっても良い。第１条件の判定方法の具体例については後で詳細に説明する。
【００７７】
第２条件は、２つの楕円の位置が、入力画像１４０上において、特定の位置から延びる１本の直線上に存在するという条件である。この特定の位置は、入力画像１４０上において、撮影画像１１０（撮影画像１００）に写る人の俯瞰角度が撮影画像１１０（撮影画像１００）で最大となる位置に対応する対応位置である。
【００７８】
ここで、撮影画像に写る人の俯瞰角度とは、その人がどのような俯瞰角度（俯角）で俯瞰したように写っているかを示している。言い換えれば、撮影画像に写る人の俯瞰角度とは、その人がある俯瞰角度で俯瞰したように写っている場合の当該ある俯瞰角度を意味している。したがって、撮影画像に写る人の俯瞰角度は、撮影画像に写る人の角度（撮影画像での人の見え方）を意味しているのであって、カメラの角度（姿勢）を意味しているのではない。撮影画像において、人が真上から俯瞰したように写っている場合には、撮影画像に写るその人の俯瞰角度は最大の９０度となる。
【００７９】
俯瞰撮影された撮影画像では、画像位置によって人の俯瞰角度が異なる。本例では、カメラ２は、室内３００の天井３１０に取り付けられた全方位カメラであることから、撮影画像１１０の中心が、撮影画像１１０での人の俯瞰角度が最大となる位置となる。つまり、撮影画像１１０の中心において人の俯瞰角度が９０度となる。そして、撮影画像１１０では、中心から離れるほど人の俯瞰角度が小さくなる。そのため、図１３に示されるように、撮影画像１１０においては、中心１１１から離れて位置する人２００（２００ａ〜２００ｃ）は、中心１１１から外側に向かう方向１１２に沿って延びるように写る。
【００８０】
また、本例では、撮影画像１１０の中心が、人の俯瞰角度が最大となる最大位置となることから、入力画像１４０において、当該最大位置に対応する対応位置は、入力画像１４０の中心（２つの対角線の交点）となる。したがって、本例では、第２条件は、２つの楕円が、入力画像１４０上において、その中心から延びる１本の直線上に位置するという条件となる。別の見方をすれば、第２条件は、２つの楕円が、入力画像１４０から生成される輪郭抽出画像１６０上において、その中心から延びる１本の直線上に位置するという条件とも言える。また、さらに別の見方をすれば、第２条件は、２つの楕円が、撮影画像１１０上において、その中心から延びる１本の直線上に位置するという条件とも言える。以後、撮像画像１１０において、人の俯瞰角度が最大となる最大位置を「俯瞰角度最大位置」と呼ぶことがある。
【００８１】
撮影画像１１０においては、人２００は、撮影画像１１０の中心１１１から外側に向かう方向１１２に沿って延びるように写ることから、入力画像１４０から得られた２つの楕円が、入力画像１４０上において、その中心から外側に向かう方向に沿って並んでいる場合には、当該２つ楕円は、１人の人に対して当てはめられている可能性がある（図１０の例では、人２００ｃに当てはめられた２つの楕円２５０ｃ１，２５０ｃ２が、入力画像１４０上において、その中心から外側に向かう方向に沿って並んでいる）。つまり、入力画像１４０から得られた２つの楕円が、入力画像１４０上において、その中心から延びる１本の直線上に位置する場合には、当該２つ楕円は、入力画像１４０に写る１人の人に対して当てはめられている可能性がある。よって、２つの楕円が第２条件を満たす場合には、当該２つの楕円は１人の人に当てはめられている可能性がある。第２条件の判定方法の具体例については後で詳細に説明する。
【００８２】
第３条件は、２つの楕円を統合して得られる統合楕円の大きさが第２しきい値以下であるという条件である。統合楕円の大きさとしては、例えば、統合楕円の面積が採用される。２つの楕円が１人の人に対して当てはめられている場合には、当該２つの楕円を統合して得られる統合楕円の大きさは、入力画像１４０に写る人の大きさに近くなる。したがって、２つの楕円を統合して得られる統合楕円の大きさがあまりにも大きい場合には、当該２つの楕円は別々の人に当てはめられている可能性が高い。よって、２つの楕円が第３条件を満たす場合には、当該２つの楕円は１人の人に当てはめられている可能性がある。なお、第３条件は、２つの楕円を統合して得られる統合楕円の大きさが第２しきい値未満であるという条件であっても良い。第３条件の判定方法の具体例については後で詳細に説明する。
【００８３】
本例では、カメラ２は、室内３００の天井３１０に取り付けられた全方位カメラであることから、撮像画像１１０の中心は、撮像画像１１０における、カメラ２の位置に対応する位置であるとも言える。同様に、入力画像１４０の中心は、入力画像１４０における、カメラ２の位置に対応する位置であるとも言える。
【００８４】
＜楕円統合処理のフロー＞
図１４は楕円統合処理（ステップｓ３４の処理）を示すフローチャートである。図１４に示されるように、楕円統合処理では、まずステップｓ３４１において、楕円統合部３３は、楕円当てはめ部３２で得られた複数の楕円を第１楕円群とし、当該第１楕円群に楕円が２つ以上存在するか否かを判定する。楕円統合部３３は、第１楕円群に楕円が２つ以上存在すると判定すると、ステップｓ３４２において、第１楕円群から、処理対象となる第１対象楕円を決定する。そして、ステップｓ３４３において、楕円統合部３３は、第１楕円群から、ステップｓ３４２で決定した第１対象楕円を削除する。一方で、ステップｓ３４１において、楕円統合部３３は、Ｎｏと判定すると、楕円統合処理を終了する。
【００８５】
ステップｓ３４３の後、楕円統合部３３は、ステップｓ３４４において、現在の第１楕円群を第２楕円群とし、第２楕円群から第２対象楕円を決定する。第２楕円群には、ステップｓ３４２で決定された第１対象楕円が含まれていない。したがって、ステップｓ３４４での第２対象楕円は、ステップｓ３４２での第１対象楕円とは異なる楕円となる。ステップｓ３４４の後、楕円統合部３３は、ステップｓ３４５において、第２楕円群から、ステップｓ３４４で決定した第２対象楕円を削除する。
【００８６】
次にステップｓ３４６において、楕円統合部３３は、第１及び第２対象楕円が第１条件を満たすか否かを判定する。つまり、楕円統合部３３は、第１及び第２対象楕円の間の距離が第１しきい値以下であるか否かを判定する。
【００８７】
楕円統合部３３は、第１及び第２対象楕円が第１条件を満たしていると判定すると、ステップｓ３４７において、第１及び第２対象楕円が第２条件を満たすか否かを判定する。つまり、楕円統合部３３は、第１及び第２対象楕円が、入力画像１４０上において、その中心から延びる１本の直線上に位置しているか否かを判定する。一方で、楕円統合部３３は、第１及び第２対象楕円が第１条件を満たしていないと判定すると、つまり、第１及び第２対象楕円の間の距離が第１しきい値よりも大きいと判定すると、後述するステップｓ３５１を実行する。
【００８８】
楕円統合部３３は、第１及び第２対象楕円が第２条件を満たしていると判定すると、ステップｓ３４８において、第１及び第２対象楕円が第３条件を満たすか否かを判定する。つまり、楕円統合部３３は、第１及び第２対象楕円を統合して得られる統合楕円の大きさが第２しきい値以下か否かを判定する。一方で、楕円統合部３３は、第１及び第２対象楕円が第２条件を満たしていないと判定すると、つまり、第１及び第２対象楕円が、入力画像１４０上において、その中心から延びる１本の直線上に位置していないと判定すると、ステップｓ３５１を実行する。
【００８９】
楕円統合部３３は、第１及び第２対象楕円が第３条件を満たしていると判定すると、つまり、第１及び第２対象楕円が第１〜第３条件のすべてを満たしていると判定すると、ステップｓ３４９において、第１及び第２対象楕円が１人の人に対して当てはめられたと判断して、第１及び第２対象楕円を統合して得られる統合楕円を、第１及び第２対象楕円の代わりに採用する。その後、ステップｓ３５０において、楕円統合部３３は、第１楕円群を更新する。具体的には、楕円統合部３３は、第１楕円群から第２対象楕円を削除するとともに、第１楕円群にステップｓ３４９で採用した統合楕円を追加する。
【００９０】
ステップｓ３５０の後、楕円統合部３３は、再度ステップｓ３４１を実行して、更新後の第１楕円群に楕円が２つ以上存在するか否かを判定する。楕円統合部３３は、Ｎｏと判定すると、楕円統合処理を終了する。一方で、楕円統合部３３は、Ｙｅｓと判定すると、ステップｓ３４２において、第１楕円群から新たな第１対象楕円を決定する。そして、楕円統合部３３は、ステップｓ３４３において、第１楕円群から新たに決定した第１対象楕円を削除する。次に楕円統合部３３は、ステップｓ３４４において、現在の第１楕円群を第２楕円群とし、第２楕円群から新たな第２対象楕円を決定する。楕円統合部３３は以後同様に動作する。
【００９１】
ステップｓ３４６，ｓ３４７，ｓ３４８においてＮｏと判定される場合に実行されるステップｓ３５１では、楕円統合部３３は、第２楕円群に楕円が存在するか否かを判定する。楕円統合部３３は、第２楕円群に楕円が存在すると判定すると、ステップｓ３４４を実行して、第２楕円群から新たな第２対象楕円を決定する。一方で、楕円統合部３３は、第２楕円群に楕円が存在しないと判定すると、ステップｓ３４１を実行する。以後、楕円統合部３３は同様に動作する。
【００９２】
楕円統合部３３が以上のように動作することによって、楕円当てはめ部３２が入力画像１４０に写る１人の人に対して当てはめられた複数の楕円が一つの新たな楕円に統合される。そして、当該新たな楕円が、当該複数の楕円の代わりに採用され、当該１人の人に対して当てはめ直される。
【００９３】
＜楕円統合処理の一例＞
次に、楕円当てはめ部３２において図１５に示される複数の楕円２５０が得られた場合を例に挙げて、図１４に示される楕円統合処理の一例を説明する。図１５では、楕円当てはめ部３２において得られた複数の楕円２５０ｅ〜２５０ｉが入力画像１４０上に配置されている。図１５では、説明の便宜上、入力画像１４０に含まれる人領域が示されていない。以後、図において、入力画像１４０に含まれる人領域が説明に不要な場合には、人領域を削除して入力画像１４０を示す。
【００９４】
楕円統合部３３は、まず、楕円当てはめ部３２で得られた複数の楕円２５０ｅ〜２５０ｉを第１楕円群とし、第１楕円群に楕円が２つ以上存在するか否かを判定する（ステップｓ３４１）。ここでは、第１楕円群には、５つの楕円２５０ｅ〜２５０ｉが存在することから、Ｙｅｓと判定される。
【００９５】
次に楕円統合部３３は、第１楕円群から第１対象楕円を決定する（ステップｓ３４２）。ここでは、例えば、楕円２５０ｅが第１対象楕円２５０ｅとされる。そして、楕円統合部３３は、第１楕円群から第１対象楕円２５０ｅを削除する（ステップｓ３４３）。
【００９６】
次に楕円統合部３３は、現在の第１楕円群（楕円２５０ｆ〜２５０ｉ）を第２楕円群とし、第２楕円群から第２対象楕円を決定する（ステップｓ３４４）。ここでは、例えば、楕円２５０ｆが第２対象楕円２５０ｆとされる。そして、楕円統合部３３は、第２楕円群から第２対象楕円２５０ｆを削除する（ステップｓ３４５）。
【００９７】
次に楕円統合部３３は、第１対象楕円２５０ｅ及び第２対象楕円２５０ｆが第１条件を満たすか否かを判定する（ステップｓ３４６）。図１６に示されるように、第１対象楕円２５０ｅと第２対象楕円２５０ｆの間の距離は小さいことから、第１条件は満たされる（Ｙｅｓ判定）。
【００９８】
次に楕円統合部３３は、第１対象楕円２５０ｅ及び第２対象楕円２５０ｆが第２条件を満たすか否かを判定する（ステップｓ３４７）。図１６に示されるように、第１対象楕円２５０ｅ及び第２対象楕円２５０ｆは、入力画像１４０上において、その中心１４１から延びる２本の直線１４２上にそれぞれ位置することから、つまり、中心１４１から外側に向かう方向に沿って並んでいないことから、第２条件は満たされない（Ｎｏ判定）。
【００９９】
次に楕円統合部３３は、第２楕円群に楕円が存在するかを判定する（ステップｓ３５１）。ここでは、第２楕円群には楕円２５０ｇ〜２５０ｉが存在することから、楕円統合部３３はＹｅｓと判定する。
【０１００】
次に楕円統合部３３は、楕円２５０ｇ〜２５０ｉから成る第２楕円群から、新たな第２対象楕円を決定する（ステップｓ３４４）。ここでは、例えば、楕円２５０ｇが第２対象楕円２５０ｇとされる。そして、楕円統合部３３は、第２楕円群から第２対象楕円２５０ｇを削除する（ステップｓ３４５）。
【０１０１】
次に楕円統合部３３は、第１対象楕円２５０ｅ及び第２対象楕円２５０ｇが第１条件を満たすか否かを判定する（ステップｓ３４６）。図１７に示されるように、第１対象楕円２５０ｅと第２対象楕円２５０ｇの間の距離は大きいことから、第１条件は満たされない（Ｎｏ判定）。
【０１０２】
次に楕円統合部３３は、第２楕円群に楕円が存在するか否かを判定する（ステップｓ３５１）。ここでは、第２楕円群には楕円２５０ｈ，２５０ｉが存在することから、楕円統合部３３はＹｅｓと判定する。
【０１０３】
以後、楕円統合部３３は、同様に動作して、ステップｓ３５１において、第２楕円群に楕円が存在しないと判定すると、第１楕円群に楕円が２つ以上存在するか否かを判定する（ステップｓ３４１）。ここでは、第１楕円群には４つの楕円２５０ｆ〜２５０ｉが存在することからＹｅｓと判定される。
【０１０４】
次に楕円統合部３３は、楕円２５０ｆ〜２５０ｉから成る第１楕円群から第１対象楕円を決定する（ステップｓ３４２）。ここでは、例えば、楕円２５０ｆが第１対象楕円２５０ｆとされる。そして、楕円統合部３３は、第１楕円群から第１対象楕円２５０ｆを削除する（ステップｓ３４３）。
【０１０５】
次に楕円統合部３３は、現在の第１楕円群（楕円２５０ｇ〜２５０ｉ）を第２楕円群とし、第２楕円群から第２対象楕円を決定する（ステップｓ３４４）。ここでは、例えば、楕円２５０ｇが第２対象楕円２５０ｇとされる。そして、楕円統合部３３は、第２楕円群から第２対象楕円２５０ｇを削除する（ステップｓ３４５）。
【０１０６】
次に楕円統合部３３は、第１対象楕円２５０ｆ及び第２対象楕円２５０ｇが第１条件を満たすか否かを判定する（ステップｓ３４６）。図１８に示されるように、第１対象楕円２５０ｆと第２対象楕円２５０ｇの間の距離は大きいことから、第１条件は満たされない（Ｎｏ判定）。
【０１０７】
次に楕円統合部３３は、第２楕円群に楕円が存在するかを判定する（ステップｓ３５１）。ここでは、第２楕円群には楕円２５０ｈ，２５０ｉが存在することからＹｅｓと判定される。
【０１０８】
以後、楕円統合部３３は、同様に動作して、ステップｓ３５１において、第２楕円群に楕円が存在しないと判定すると、第１楕円群に楕円が２つ以上存在するかを判定する（ステップｓ３４１）。ここでは、第１楕円群には３つの楕円２５０ｇ〜２５０ｉが存在することからＹｅｓと判定される。
【０１０９】
次に楕円統合部３３は、楕円２５０ｇ〜２５０ｉから成る第１楕円群から第１対象楕円を決定する（ステップｓ３４２）。ここでは、例えば、楕円２５０ｇが第１対象楕円２５０ｇとされる。そして、楕円統合部３３は、第１楕円群から第１対象楕円２５０ｇを削除する（ステップｓ３４３）。
【０１１０】
次に楕円統合部３３は、現在の第１楕円群（楕円２５０ｈ，２５０ｉ）を第２楕円群とし、第２楕円群から第２対象楕円を決定する（ステップｓ３４４）。ここでは、例えば、楕円２５０ｈが第２対象楕円２５０ｈとされる。そして、楕円統合部３３は、第２楕円群から第２対象楕円２５０ｈを削除する（ステップｓ３４５）。
【０１１１】
次に楕円統合部３３は、第１対象楕円２５０ｇ及び第２対象楕円２５０ｈが第１条件を満たすか否かを判定する（ステップｓ３４６）。図１９に示されるように、第１対象楕円２５０ｇと第２対象楕円２５０ｈの間の距離は小さいことから、第１条件は満たされる（Ｙｅｓ判定）。
【０１１２】
次に楕円統合部３３は、第１対象楕円２５０ｇ及び第２対象楕円２５０ｈが第２条件を満たすか否かを判定する（ステップｓ３４７）。図１９に示されるように、第１対象楕円２５０ｇ及び第２対象楕円２５０ｈは、入力画像１４０上において、その中心１４１から延びる１本の直線１４２上に位置することから、つまり、中心１４１から外側に向かう方向に沿って並んでいることから、第２条件は満たされる（Ｙｅｓ判定）。
【０１１３】
次に楕円統合部３３は、第１対象楕円２５０ｇ及び第２対象楕円２５０ｈが第３条件を満たすか否かを判定する（ステップｓ３４８）。図２０に示されるように、第１対象楕円２５０ｇ及び第２対象楕円２５０ｈを統合して得られる統合楕円２５０ｊの大きさは小さいことから、第３条件は満たされる（Ｙｅｓ判定）。
【０１１４】
楕円統合部３３は、第３条件が満たされると判定すると、第１対象楕円２５０ｇ及び第２対象楕円２５０ｈが１人の人に対して当てはめられたと判断する（ステップｓ３４９）。そして、楕円統合部３３は、統合楕円２５０ｊを、第１対象楕円２５０ｇ及び第２対象楕円２５０ｈの代わりに採用する（ステップｓ３４９）。
【０１１５】
次に楕円統合部３３は、第１楕円群から第２対象楕円２５０ｈを削除する（ステップｓ３５０）。また、楕円統合部３３は、第１楕円群に対して統合楕円２５０ｊを追加する（ステップｓ３５０）。
【０１１６】
次に楕円統合部３３は、第１楕円群に楕円が２つ以上存在するか否かを判定する（ステップｓ３４１）。ここでは、第１楕円群には２つの楕円２５０ｉ，２５０ｊが存在することからＹｅｓと判定される。
【０１１７】
次に楕円統合部３３は、楕円２５０ｉ，２５０ｊから成る第１楕円群から新たな第１対象楕円を決定する（ステップｓ３４２）。ここでは、例えば、楕円２５０ｊ（統合楕円２５０ｊ）が第１対象楕円２５０ｊとされる。そして、楕円統合部３３は、第１楕円群から第１対象楕円２５０ｊを削除する（ステップｓ３４３）。
【０１１８】
次に楕円統合部３３は、現在の第１楕円群（楕円２５０ｉ）を第２楕円群とし、第２楕円群から第２対象楕円を決定する（ステップｓ３４４）。ここでは、楕円２５０ｉが第２対象楕円２５０ｉとされる。そして、楕円統合部３３は、第２楕円群から第２対象楕円２５０ｉを削除する（ステップｓ３４５）。
【０１１９】
次に楕円統合部３３は、第１対象楕円２５０ｊ及び第２対象楕円２５０ｉが第１条件を満たすか否かを判定する（ステップｓ３４６）。図２１に示されるように、第１対象楕円２５０ｊと第２対象楕円２５０ｉの間の距離は小さいことから、第１条件は満たされる（Ｙｅｓ判定）。
【０１２０】
次に楕円統合部３３は、第１対象楕円２５０ｊ及び第２対象楕円２５０ｉが第２条件を満たすか否かを判定する（ステップｓ３４７）。図２１に示されるように、第１対象楕円２５０ｊ及び第２対象楕円２５０ｉは、入力画像１４０上において、その中心１４１から延びる１本の直線１４２上に位置することから、つまり、中心１４１から外側に向かう方向に沿って並んでいることから、第２条件は満たされる（Ｙｅｓ判定）。
【０１２１】
次に楕円統合部３３は、第１対象楕円２５０ｊ及び第２対象楕円２５０ｉが第３条件を満たすか否かを判定する（ステップｓ３４８）。図２２に示されるように、第１対象楕円２５０ｊ及び第２対象楕円２５０ｉを統合して得られる統合楕円２５０ｋの大きさは小さいことから、第３条件は満たされる（Ｙｅｓ判定）。
【０１２２】
次に楕円統合部３３は、第１対象楕円２５０ｊ及び第２対象楕円２５０ｉが１人の人に対して当てはめられたと判断する（ステップｓ３４９）。そして、楕円統合部３３は、統合楕円２５０ｋを、第１対象楕円２５０ｊ及び第２対象楕円２５０ｉの代わりに採用する（ステップｓ３４９）。
【０１２３】
次に楕円統合部３３は、第１楕円群から第２対象楕円２５０ｉを削除する（ステップｓ３５０）。また楕円統合部３３は、第１楕円群に対して統合楕円２５０ｋを追加する（ステップｓ３５０）。そして、楕円統合部３３は、第１楕円群に楕円が２つ以上存在するか否かを判定する（ステップｓ３４１）。ここでは、第１楕円群には１つの楕円２５０ｋしか存在しないことからＮｏと判定される。楕円統合部３３は、Ｎｏと判定すると楕円統合処理を終了する。
【０１２４】
図１５〜２２の例では、１人の人に当てはめられていた３つの楕円２５０ｇ〜２５０ｉが統合され、それによって得られる新たな楕円２５０ｋが、当該３つの楕円２５０ｇ〜２５０ｉの代わりに採用される。したがって、楕円統合処理後には、図２２に示されるように、楕円２５０ｅと、楕円２５０ｆと、楕円２５０ｋとが残ることになる。当てはめ処理部１１は、楕円２５０ｅ，２５０ｆ，２５０ｋに関する楕円特定情報を含む当てはめ処理結果を追跡処理部１２に出力する。
【０１２５】
＜第１条件の判定方法の詳細＞
楕円統合部３３は、２つの楕円が第１条件を満足するか否かを判定する場合には、当該２つの楕円のうちの一方の楕円の中心から、当該２つの楕円のうちの他方の楕円の中心までを結ぶ第２直線が、当該一方の楕円と交わる第１交点と、当該第２直線が当該他方の楕円と交わる第２交点との間の距離を、当該２つの楕円間の距離として求める。
【０１２６】
例えば、図２３に示される２つの楕円２５０ｍ，２５０ｎ間の距離を求める場合を考える。楕円統合部３３は、楕円２５０ｍの中心２５１ｍから楕円２５０ｎの中心２５１ｎまでを結ぶ直線（線分）２６０を求める。そして、楕円統合部３３は、直線２６０と楕円２５０ｍとの交点２５２ｍと、直線２６０と楕円２５０ｎとの交点２５２ｎとの間の距離ｄｘを、楕円２５０ｍ，２５０ｎ間の距離とする。楕円統合部３３は、ステップｓ３４６において、距離ｄｘが第１しきい値以下か否かを判定することによって、楕円２５０ｍ，２５０ｎが第１条件を満足するか否かを判定する。
【０１２７】
なお、２つの楕円間の距離として、当該２つの楕円の中心間の距離を採用しても良い。この場合には、２つの楕円が互いに近くに存在するにもかかわらず、第１条件が満足されないことがある。例えば、上述の図２３に示されるように、２つの楕円２５０ｍ，２５０ｎのうち、少なくとも一方の楕円２５０ｎにおける、中心２５１ｎと交点２５２ｎとの間の距離ｄｎが大きい場合、中心２５１ｍ，２５１ｎ間の距離ｄｍｎが大きくなる。そのため、楕円２５０ｍ，２５０ｎが互いに近くに存在するにもかかわらず、第１条件が満足されないことがある。一方で、上述の距離ｄｘを楕円２５０ｍ，２５０ｎ間の距離として採用する場合には、そのようなことなく、楕円２５０ｍ，２５０ｎが互いに近くに存在することを適切に判定することができる。よって、楕円２５０ｍ，２５０ｎが１人の人に当てはめられているか否かをより正しく判定することができる。
【０１２８】
＜第２条件の判定方法の詳細＞
図２４は、楕円統合部３３が、２つの楕円が、入力画像１４０上において、その中心から延びる１本の直線上に位置しているか否かを判定する方法の一例を説明するための図である。図２４では入力画像１４０上に２つの楕円２５０ｐ，２５０ｑが配置されている。
【０１２９】
楕円統合部３３は、２つの楕円２５０ｐ，２５０ｑが、入力画像１４０上において、その中心１４１から延びる１本の直線上に位置しているか否かを判定する場合には、入力画像１４０上において、中心１４１から、２つの楕円２５０ｐ，２５０ｑのうちの一方の楕円２５０の中心まで延びる第１ベクトルを求める。また、楕円統合部３３は、入力画像１４０上において、当該一方の楕円２５０の中心から、２つの楕円２５０ｐ，２５０ｑのうちの他方の楕円２５０の中心まで延びる第２ベクトルを求める。図２４の例では、中心１４１から楕円２５０ｑの中心２５１ｑまで延びるベクトルを第１ベクトル２７１としている。また、楕円２５０ｑの中心２５１ｑから、楕円２５０ｐの中心２５１ｐまで延びるベクトルを第２ベクトル２７２としている。
【０１３０】
次に楕円統合部３３は、第１ベクトル２７１と第２ベクトル２７２とが成す角度αを求める。図２５は角度αを示す図である。次に楕円統合部３３は、角度αが９０度以下であるか否かを判定する。楕円統合部３３は、α≦９０度であれば、角度αを判定角度βとする。一方で、楕円統合部３３は、α＞９０度であれば、（１８０°−α）を判定角度βとする。図２５に示される角度αは９０度以下であることから、角度αがそのまま判定角度βとなる。
【０１３１】
次に楕円統合部３３は、判定角度βが第３しきい値以下であるか否かを判定する。第３しきい値は例えば数度以下に設定される。楕円統合部３３は、判定角度βが第３しきい値以下であれば、２つの楕円２５０ｐ，２５０ｑが、入力画像１４０上において、中心１４１から延びる１本の直線上に位置していると判定する。つまり、楕円統合部３３は、２つの楕円２５０ｐ，２５０ｑが、入力画像１４０上において、中心１４１から外側に向かう方向に沿って並んでいると判定する。一方で、楕円統合部３３は、判定角度βが第３しきい値よりも大きければ、２つの楕円２５０ｐ，２５０ｑが、入力画像１４０上において、中心１４１から延びる１本の直線上に位置していないと判定する。つまり、楕円統合部３３は、２つの楕円２５０ｐ，２５０ｑが、入力画像１４０上において、中心１４１から外側に向かう方向に沿って並んでいないと判定する。図２４，２５の例では、判定角度βは第３しきい値以下となり、図２６に示されるように、２つの楕円２５０ｐ，２５０ｑが、入力画像１４０上において、中心１４１から延びる１本の直線１４２上に位置していると判定される。つまり、２つの楕円２５０ｐ，２５０ｑの第２条件が満足されると判定される。
【０１３２】
なお、楕円統合部３３は、判定角度βが第３しきい値未満であれば、２つの楕円２５０ｐ，２５０ｑが、入力画像１４０上において、中心１４１から延びる１本の直線上に位置していると判定し、判定角度βが第３しきい値以上であれば、２つの楕円２５０ｐ，２５０ｑが、入力画像１４０上において、中心１４１から延びる１本の直線上に位置していないと判定しても良い。
【０１３３】
また、図２７に示されるように、中心１４１から楕円２５０ｐの中心２５１ｐまで延びるベクトルを第１ベクトル２７１とし、楕円２５０ｐの中心２５１ｐから、楕円２５０ｑの中心２５１ｑまで延びるベクトルを第２ベクトル２７２としても良い。この場合には、図２８に示されるように、第１ベクトル２７１と第２ベクトル２７２との成す角度αは９０度よりも大きくなる。したがって、判定角度βは（１８０度−α）となる。
【０１３４】
また、上記の例では、第１ベクトル２７１及び第２ベクトル２７２が成す角度αから判定角度βを決定していたが、図２９に示されるように、入力画像１４０の中心１４１から、２つの楕円２５０ｐ，２５０ｑの中心２５１ｐ，２５１ｑまでそれぞれ延びる２つのベクトル２７３が成す、１８０°以下の角度を、判定角度βとして採用しても良い。
【０１３５】
＜第３条件の判定方法の詳細＞
図３０は、楕円統合部３３が２つの楕円を統合する方法の一例を説明するための図である。図３０には、２つの楕円２５０ｒ，２５０ｓ（破線）と、それらが統合して得られる統合楕円２５０ｔ（実線）とが示されている。
【０１３６】
楕円統合部３３は、２つの楕円２５０ｒ，２５０ｓを統合する際には、楕円２５０ｒ，２５０ｓの中心２５１ｒ，２５１ｓを通る直線２８０を求める。そして、楕円統合部３３は、楕円２５０ｒと直線２８０とが交わる２つの交点のうち、楕円２５０ｓ側とは反対側の交点２５３ｓ（楕円２５０ｓに対して遠い側の交点）を求める。また、楕円統合部３３は、楕円２５０ｓと直線２８０とが交わる２つの交点のうち、楕円２５０ｒ側とは反対側の交点２５３ｓ（楕円２５０ｒに対して遠い側の交点）を求める。そして、楕円統合部３３は、交点２５３ｒと交点２５３ｓとを結ぶ線分を長軸２５５ｔとする楕円２５０ｔを求める。このとき、楕円統合部３３は、長軸２５５ｔの長さの所定割合を、楕円２５０ｔの短軸２５６ｔの長さとする。この所定割合は、例えば、一般的な人の身幅に対する背の高さの割合と同じ値に設定される。楕円統合部３３は、求めた楕円２５０ｔを、２つの楕円２５０ｓ，２５０ｒの統合楕円とする。なお、統合楕円の求め方はこれ以外であっても良い。
【０１３７】
楕円統合部３３は、求めた楕円２５０ｔの大きさが第２しきい値以上であるか否かを判定することによって、２つの楕円２５０ｒ，２５０ｓが第３条件を満足するか否かを判定する。楕円統合部３３は、楕円２５０ｔの大きさとして、楕円２５０ｔの面積を採用する。また楕円統合部３３は、楕円２５０ｔの大きさとして、楕円２５０ｔの長軸長を採用しても良い。
【０１３８】
＜追跡処理部の詳細＞
次に追跡処理部１２について詳細に説明する。図３１は、追跡処理部１２の構成を示す図である。図３１に示されるように、追跡処理部１２は、対応特定部４０及び更新部４４を備えている。対応特定部４０は、１次特定部４１、２次特定部４２及び３次特定部４３を備えている。追跡処理部１２は、追跡処理において、当てはめ処理部１１で得られる当てはめ処理結果１７０に基づいて記憶部５内の追跡情報５０を更新することによって、入力画像１４０上での楕円の位置を追跡する。追跡情報５０はフレームごとに更新される。つまり、追跡情報５０は、カメラ２から画像処理装置３に撮影画像１００が入力されるたびに、言い換えれば、画像処理部１０で入力画像１４０が生成されるたびに更新される。
【０１３９】
＜追跡情報について＞
追跡情報５０には、入力画像１４０に写る人（撮影画像１１０に写る人）に当てはめられた楕円に関する図形情報５００が含まれている。追跡処理部１２は、楕円について図形情報５００をフレームごとに更新することによって、入力画像１４０上での当該楕円の位置を追跡する。図形情報５００は、基本的には、１つの楕円について１つ存在する。
【０１４０】
図３２は図形情報５００の一例を示す図である。図３２に示されるように、図形情報５００には、ＩＤ５０１、状態情報５０２及び楕円特定情報５０３が含まれる。また、図形情報５００には、消失時刻５０４が含まれることがある。また、図形情報５００には、併合相手ＩＤ５０５及び併合数５０６が含まれることがある。
【０１４１】
図形情報５００に含まれるＩＤ５０１は、当該図形情報５００に対応する楕円を識別するための識別情報である。ＩＤ５０１は、図形情報５００を識別するための識別情報であるとも言える。また、ＩＤ５０１は、図形情報５００に対応する楕円に対応する人を識別するための識別情報であるとも言える。
【０１４２】
図形情報５００に含まれる楕円特定情報５０３は、当該図形情報５００に対応する楕円を特定するための情報である。楕円特定情報５０３には、楕円の中心座標、長軸長、短軸長及び傾きが含まれている。したがって、楕円特定情報５０３により、楕円の位置及び形状が特定される。図形情報５００に含まれる楕円特定情報５０３は、当該図形情報５００に対応する楕円についての入力画像１４０上の最新の位置を示していると言える。言い換えれば、図形情報５００に含まれる楕円特定情報５０３は、当該図形情報５００に対応する楕円に対応する人についての撮影画像１１０上の最新の位置を示していると言える。さらに言い換えれば、図形情報５００に含まれる楕円特定情報５０３は、当該図形情報５００に対応する楕円に対応する人についての室内３００での最新の位置（現在の位置）を示していると言える。追跡処理部１２は、楕円特定情報５０３を更新することによって、当該楕円特定情報５０３に対応する楕円の位置を追跡する。
【０１４３】
図形情報５００に含まれる状態情報５０２は、追跡処理部１２が検出した、当該図形情報５００に対応する楕円の状態を示す情報である。追跡処理部１２は、当てはめ処理結果１７０に基づいて入力画像１４０上での楕円の状態を検出し、その検出結果に基づいて、当該楕円についての図形情報５００に含まれる状態情報５０２を更新する。状態情報５０２の種類としては、「出現」、「存在」、「消失」、「併合」及び「被併合」の５種類がある。
【０１４４】
ここで、本例では、便宜上、入力画像１４０に写る人に対して楕円を当てはめた結果、入力画像１４０上に楕円が現れると考える。また、複数の人に対して１つの新しい楕円が当てはめられた場合には、当該複数の人に当てはめられていた複数の前の楕円のうちの１つの前の楕円が当該１つの新しい楕円となり、当該１つの新しい楕円が、当該複数の前の楕円のうちの残りの前の楕円を併合したと考える。
【０１４５】
追跡処理部１２は、入力画面１４０上においてある楕円が初めて現れたと判定した場合には、当該ある楕円の図形情報５００に含まれる状態情報５０２を「出現」に設定する。したがって、図形情報５００に含まれる「出現」を示す状態情報５０２は、当該図形情報５００に対応する楕円が入力画面１４０上に初めて現れたことを示している。楕円が入力画像１４０上に初めて現れたことは、当該楕円に対応する人が、入力画面１４０（撮影画像１１０）に初めて現れたことを意味している。したがって、図形情報５００に含まれる「出現」を示す状態情報５０２は、当該図形情報５００に対応する人が入力画面１４０（撮影画像１１０）に初めて現れたことを示している。
【０１４６】
追跡処理部１２は、入力画面１４０上に現れていた楕円が、入力画面１４０上に現れなくなったと判定した場合には、当該楕円の図形情報５００に含まれる状態情報５０２を「消失」に設定する。したがって、図形情報５００に含まれる「消失」を示す状態情報５０２は、当該図形情報５００に対応する楕円が入力画面１４０上に現れなくなったことを示している。入力画像１４０上に現れていた楕円が入力画像１４０上に現れなくなることは、当該楕円に対応する人が、入力画面１４０（撮影画像１１０）に写らなくなったことを意味している。したがって、図形情報５００に含まれる「消失」を示す状態情報５０２は、当該図形情報５００に対応する人が入力画面１４０（撮影画像１１０）に写らなくなったことを示している。
【０１４７】
追跡処理部１２は、ある楕円が、継続して、入力画面１４０上に現れていると判定した場合には、当該ある楕円の図形情報５００に含まれる状態情報５０２を「存在」に設定する。したがって、図形情報５００に含まれる「存在」を示す状態情報５０２は、当該図形情報５００に対応する楕円が、継続して、入力画面１４０上に現れていることを示している。本例では、ある楕円が、２フレーム以上連続して入力画像１４０上に現れている場合には、当該ある楕円についての図形情報５００に含まれる状態情報５０２が「存在」に設定される。ただし、追跡処理部１２は、ある楕円が入力画面１４０上に現れなくなってから所定時間以内に入力画像１４０に再度現れるようになった場合には、当該ある楕円についての図形情報５００に含まれる状態情報５０２を、「消失」から、「出現」ではなく「存在」に変更する。入力画像１４０上において継続して楕円が現れていることは、当該楕円に対応する人が、入力画面１４０（撮影画像１１０）において継続して写っていることを意味している。したがって、図形情報５００に含まれる「存在」を示す状態情報５０２は、当該図形情報５００に対応する人が、継続して、入力画面１４０（撮影画像１１０）に写っていることを示している。
【０１４８】
追跡処理部１２は、ある楕円が他の楕円を併合したと判定した場合には、当該ある楕円の図形情報５００に含まれる状態情報５０２を「併合」に設定する。したがって、図形情報５００に含まれる「併合」を示す状態情報５０２は、当該図形情報５００に対応する楕円が他の楕円を併合していることを示している。
【０１４９】
追跡処理部１２は、ある楕円が他の楕円に併合されたと判定した場合には、当該ある楕円の図形情報５００に含まれる状態情報５０２を「被併合」に設定する。したがって、図形情報５００に含まれる「被併合」を示す状態情報５０２は、当該図形情報５００に対応する楕円が他の楕円に併合されていることを示している。
【０１５０】
本例では、「併合」及び「被併合」は、複数の人に対して１つの楕円が当てはめられていることを単に意味しているだけであって、状態情報５０２が「併合」を示す楕円と、状態情報５０２が「被併合」を示す楕円との間において、入力画像１４０上での状態を区別するために使用しているわけではない。状態が「併合」の楕円と、状態が「被併合」との楕円とは同一であるが、本例では便宜上別々の楕円として扱っている。図形情報５００の状態情報５０２が、どのような基準で「併合」に設定されるのか、「被併合」に設定されるのかについては、後の説明から明らかになる。
【０１５１】
ここで、入力画像１４０において複数の人が互いに近くに写っている場合には、入力画像１４０に含まれる、当該複数の人を示す複数の人領域は繋がっている可能性が高い。したがって、当てはめ処理部１１では、入力画像１４０において互いに近くに写る複数の人に対して、１つの楕円が当てはめられる可能性が高い。よって、図形情報５００に含まれる「併合」あるいは「被併合」を示す状態情報５０２は、当該図形情報５００に対応する人が、入力画像１４０において、他の人の近くに写っていることを示していると言える。
【０１５２】
以上の説明から理解できるように、図形情報５００に含まれる状態情報５０２は、入力画像１４０上での楕円の状態を示す情報であるとともに、入力画像１４０上での人の状態を示す情報である。状態情報５０２は、撮影画像１１０上での人の状態を示す情報であるとも言えるし、室内３００での人の状態を示す情報であると言える。
【０１５３】
図形情報５００に含まれる消失時刻５０４は、追跡処理部１２が、入力画面１４０上に現れていた楕円が、入力画面１４０上に現れなくなったと判定した時刻を示している。したがって、図形情報５００に含まれる状態情報５０２が「消失」を示すときには、当該図形情報５００に消失時刻５０４が含まれる。一方で、図形情報５００に含まれる状態情報５０２が「消失」以外を示すときには、当該図形情報５００に消失時刻５０４が含まれない。後述するように、図形情報５００に含まれる消失時刻５０４が、現在時刻よりも所定時間以上前の場合には、当該図形情報５００は追跡情報５０から消去される。つまり、入力画像１４０上に楕円が現れなくなってから所定時間経過した後に、当該楕円の図形情報５００が消去される。言い換えれば、入力画像１４０に人が写らなくなってから所定時間が経過した後に、当該人に対応する楕円の図形情報５００は消去される。
【０１５４】
図形情報５００に含まれる併合相手ＩＤ５０５は、当該図形情報５００に含まれる状態情報５０２が「併合」を示す場合に、当該図形情報５００に対応する楕円が併合している楕円の図形情報５００に含まれるＩＤ５０１を示している。図形情報５００に対応する楕円が複数の楕円を併合している場合には、当該図形情報５００に含まれる併合相手ＩＤ５０５には複数のＩＤ５０１が含まれる。図形情報５００に含まれる状態情報５０２が「併合」以外を示す場合には、当該図形情報５００には併合相手ＩＤ５０５は含まれない。
【０１５５】
図形情報５００に含まれる併合数５０６は、当該図形情報５００に含まれる状態情報５０２が「併合」を示す場合に、当該図形情報５００に対応する楕円が併合している楕円の数を示している。図形情報５００に含まれる併合数５０６がＮ個（Ｎ≧１）を示す場合には、当該図形情報５００に対応する楕円はＮ個の楕円を併合している。図形情報５００に含まれる併合数５０６がＮ個を示す場合には、当該図形情報５００に対応する楕円は（Ｎ＋１）人の人に対して当てはめられていると言える。図形情報５００に含まれる状態情報５０２が「併合」以外を示す場合には、当該図形情報５００には併合数５０６は含まれない。
【０１５６】
以後、状態が「併合」を示す楕円、つまり他の楕円を併合している楕円を「併合主体楕円」と呼ぶことがある。また、状態が「被併合」を示す楕円、つまり他の楕円に併合されている楕円を「被併合楕円」と呼ぶことがある。そして、併合主体楕円と、当該併合主体楕円が併合している被併合楕円とから成る楕円グループを「併合楕円グループ」と呼ぶことがある。また、状態が「出現」を示す楕円を「出現楕円」と呼び、状態が「消失」を示す楕円を「消失楕円」と呼ぶことがある。
【０１５７】
＜追跡処理部の各構成について＞
次に追跡処理部１２についての図３１に示される各構成について説明する。以下では、前フレームでの当てはめ処理と言えば、前フレームの入力画像１４０についての当てはめ処理を意味し、現フレームでの当てはめ処理と言えば、現フレームの入力画像１４０についての当てはめ処理を意味する。また、前フレームでの当てはめ処理において得られた楕円を「第１楕円」と呼ぶことがある。また、現フレームでの当てはめ処理において得られた楕円を「第２楕円」と呼ぶことがある。また、併合主体楕円の第１楕円を「併合主体第１楕円」と呼び、併合主体楕円の第２楕円を「併合主体第２楕円」と呼ぶことがある。そして、被併合楕円の第１楕円を「被併合第１楕円」と呼び、被併合楕円の第２楕円を「被併合第２楕円」と呼ぶことがある。
【０１５８】
当てはめ処理部１１で得られる当てはめ処理結果１７０は、現フレームでの当てはめ処理で得られた第２楕円を示す楕円特定情報が含まれている。一方で、追跡処理部１２に当てはめ処理結果１７０が入力された時点での記憶部５内の追跡情報５０は、前フレームでの当てはめ処理で得られた第１楕円を示す図形情報５００が含まれている。言い換えれば、当てはめ処理結果１７０に基づいて更新される前の追跡情報５０には、前フレームでの当てはめ処理で得られた第１楕円を示す図形情報５００が含まれている。したがって、更新前の追跡情報５０は、前フレームでの当てはめ処理の結果を示していると言える。また、追跡情報５０には、前フレームでの当てはめ処理よりも前の当てはめ処理で得られた楕円であって、すでに入力画像１４０上に現れなくなった楕円である消失楕円の図形情報５００が含まれることもある。
【０１５９】
本例では、追跡処理部１２は、画像処理部１０で入力画像１４０が生成されるたびに、当該入力画像１４０についての当てはめ処理結果１７０と、記憶部５０内の追跡情報５０とに基づいて、前フレームでの当てはめ処理で得られた各第１楕円について、現フレームでの当てはめ処理で得られた、当該第１楕円に対応する第２楕円を特定する第１対応特定処理を行う。第１楕円に対応する第２楕円とは、第１楕円が当てはめられた人と同じ人に当てはめられた第２楕円である。さらに、追跡処理部１２は、追跡情報５０に消失楕円の図形情報５００が含まれている場合には、当該図形情報５００に基づいて、当該図形情報５００が示す消失楕円に対応する第２楕円を特定する第２対応特定処理を行う。消失楕円に対応する第２楕円とは、消失楕円が当てはめられていた人と同じ人に当てはめられた第２楕円である。これにより、追跡処理部１２は、入力画像１４０上での楕円の位置を追跡することができる。以後、第１対応特定処理及び第２対応特定処理をまとめて「対応特定処理」と呼ぶことがある。
【０１６０】
追跡処理部１２では、対応特定部４０が対応特定処理を行う。そして、更新部４４が、対応特定部４０での対応特定処理の結果に基づいて、記憶部５内の追跡情報５０を更新する。これより、入力画像１４０上での楕円の位置が追跡される。つまり、入力画像１４０上での人の位置が追跡される。
【０１６１】
図３３は追跡処理部１２での追跡処理を示すフローチャートである。図３３に示されるように、ステップｓ４１にいて、対応特定部４０の１次特定部４１は１次特定処理を行う。次にステップｓ４２において、更新部４４は、１次特定処理の結果に基づいて追跡情報５０を更新する１次更新処理を行う。以後、１次特定処理と１次更新処理とをあわせて「１次処理」と呼ぶ。
【０１６２】
次にステップｓ４３において、対応特定部４０の２次特定部４２は２次特定処理を行う。次にステップｓ４４において、更新部４４は、２次特定処理の結果に基づいて追跡情報５０を更新する２次更新処理を行う。以後、２次特定処理と２次更新処理とをあわせて「２次処理」と呼ぶ。
【０１６３】
次にステップｓ４５において、更新部４４は、追跡情報５０に、消失楕円の図形情報５００が含まれているか否かを判定する。追跡情報５０に消失楕円の図形情報５００が含まれている場合には、更新部４４は、消失楕円の図形情報５００に含まれる消失時刻５０４が、現在時刻よりも所定時間以上前であるか否かを判定する。更新部４４は、図形情報５００に含まれる消失時刻５０４が、現在時刻よりも所定時間以上前である場合には、当該図形情報５００を追跡情報５０から削除する。これにより、入力画像１４０上に楕円が現れなくなってから所定時間経過した後に、当該楕円の図形情報５００が追跡情報５０から消去される。言い換えれば、入力画像１４０に人が写らなくなってから所定時間が経過した後に、当該人に対応する楕円の図形情報５００が消去される。更新部４４は、追跡情報５０に、複数の消失楕円の図形情報５００が含まれている場合には、各図形情報５００について同様の処理を行う。以後、ステップｓ４５での処理を「２．５次処理」あるいは「２．５次更新処理」と呼ぶことがある。
【０１６４】
次にステップｓ４６にいて、対応特定部４０の３次特定部４３は３次特定処理を行う。次にステップｓ４７において、更新部４４は、３次特定処理の結果に基づいて追跡情報５０を更新する３次更新処理を行う。３次更新処理が実行されると、追跡処理が終了する。以後、３次特定処理と３次更新処理とをあわせて「３次処理」と呼ぶ。
【０１６５】
なお、更新部４４は、画像処理装置３が起動してから、当てはめ処理部１１で初めて当てはめ処理が行われた場合には、当該当てはめ処理で得られた各楕円についての図形情報５００を生成し、生成した図形情報５００を追跡情報５０として記憶部５に記憶する。画像処理装置３が起動してから、当てはめ処理部１１で初めて行われた当てはめ処理で得られた各楕円の状態は「出現」となる。そして、更新部４４は、追跡処理部１２に当てはめ処理結果１７０が入力されるたびに、記憶部５内の追跡情報５０を更新する。
【０１６６】
＜１次処理の詳細＞
次に１次処理を詳細に説明する。１次処理の１次特定処理では、１次特定部４１は、まず、追跡情報５０に、併合主体第１楕円（状態が「併合」を示す第１楕円）の図形情報５００（以後、「併合主体図形情報５００」と呼ぶことがある）が含まれているか否かを判定する。言い換えれば、１次特定部４１は、前フレームでの当てはめ処理において得られた第１楕円において、併合主体第１楕円が含まれているか否かを判定する。追跡情報５０に、併合主体図形情報５００が含まれていない場合には１次特定処理が終了する。この場合には、１次更新処理は行われない。
【０１６７】
１次特定部４１は、追跡情報５０に、併合主体図形情報５００が含まれていると判定すると、併合主体図形情報５００が示す併合主体第１楕円が複数の第２楕円に分離したか否かを判定する分離判定処理を行う。分離判定処理については後で詳細に説明する。１次特定部４１は、併合主体第１楕円が複数の第２楕円に分離したと判定すると、当該複数の第２楕円を、当該併合主体第１楕円に対応する第２楕円として特定する。１次特定部４１は、追跡情報５０に複数の併合主体図形情報５００が含まれる場合には、当該複数の併合図形情報５００のそれぞれについて同様の処理を行う。これにより、前フレームでの当てはめ処理において得られた第１楕円に含まれる各併合主体第１楕円に対応する第２楕円が特定される。
【０１６８】
＜分離判定処理の詳細＞
分離判定処理において、１次特定部４１は、まず、前フレームでの当てはめ処理において、併合主体第１楕円が当てはめられた複数の人に対して、現フレームでの当てはめ処理において複数の第２楕円が当てはめられているか否かを判定する。１次特定部４１は、前フレームでの当てはめ処理において、併合主体第１楕円が当てはめられた複数の人に対して、現フレームでの当てはめ処理において複数の第２楕円が当てはめられていると判定すると、当該併合主体第１楕円が当該複数の第２楕円に分離したと判定する。１次特定部４１は、併合主体第１楕円が複数の第２楕円に分離したと判定すると、当該併合主体第１楕円に対応する第２楕円として、当該複数の第２楕円を特定する。一方で、１次特定部４１は、前フレームでの当てはめ処理において、併合主体第１楕円が当てはめられた複数の人に対して、現フレームでの当てはめ処理において複数の第２楕円は当てはめられていないと判定すると、１次特定部４１では、当該併合主体第１楕円に対応する第２楕円が特定されない。以後、併合主体第１楕円が複数の第２楕円に分離したと判定された際の当該複数の第２楕円の数を「楕円分離数」と呼ぶ。
【０１６９】
図３４，３５は、併合主体第１楕円２５０ｘが複数の第２楕円２５０ｙに分離する様子の一例を示す図である。図３４，３５の例では、併合主体第１楕円２５０ｘが３人の人２００に当てはめられている。
【０１７０】
前フレームでの当てはめ処理において、３人の人２００に当てはめられた併合主体第１楕円２５０ｘが複数の第２楕円２５０ｙに分離するパターンとしては、大別して２種類のパターンがある。１つの目のパターンは、図３４に示されるように、併合主体第１楕円２５０ｘが、現フレームでの当てはめ処理において、３つの第２楕円２５０ｙに分離するパターンである（楕円分離数が“３”）。このパターンでは、第１楕円２５０ｘが当てはめられていた３人の人２００のそれぞれに対して、１つの第２楕円２５０ｙが当てはめられている。１つ目のパターンでは、併合主体第１楕円２５０ｘは、３つの第２楕円２５０ｙに対応することになる。
【０１７１】
２つ目のパターンは、図３５に示されるように、併合主体第１楕円２５０ｘが、現フレームでの当てはめ処理において、２つの第２楕円２５０ｙに分離するパターンである（楕円分離数が“２”）。このパターンでは、併合主体第１楕円２５０ｘが当てはめられていた３人の人２００のうち、２人の人２００に対して１つの第２楕円２５０ｙが当てはめられ、残りの１人の人２００に対して１つの第２楕円２５０ｙが当てはめられている。２つ目のパターンでは、併合主体第１楕円２５０ｘは、２つの第２楕円２５０ｙに対応することになる。
【０１７２】
なお、併合主体第１楕円は、それが属する併合楕円グループに含まれる被併合第１楕円と同じ楕円である。したがって、１次特定部４１は、被併合第１楕円が複数の第２楕円に分離した否かを判定するとも言える。また、併合主体第１楕円が対応する複数の第２楕円は、当該併合主体第１楕円が属する併合楕円グループに含まれる被併合第１楕円に対応すると言える。また、併合主体第１楕円が対応する複数の第２楕円は、当該併合主体第１楕円が属する併合楕円グループを構成する各第１楕円に対応すると言える。
【０１７３】
次に分離判定処理の具体例について説明する。１次特定部４１は、例えば、併合主体第１楕円が２つの条件が満足するとき、当該併合主体第１楕円が複数の楕円に分割されたと判定する。
【０１７４】
１つ目の条件は、併合主体第１楕円の位置に最も近い、現フレームでの当てはめ処理で得られた第２楕円の大きさが、当該併合主体第１楕円の大きさよりも十分に小さいという条件である。以後、この１つ目の条件を「分離第１条件」と呼ぶことがある。
【０１７５】
２つ目の条件は、併合主体第１楕円において、現フレームでの当てはめ処理で得られた複数の第２楕円のそれぞれの少なくとも一部の領域が内包されるという条件である。以後、この２つ目の条件を「分離第２条件」と呼ぶことがある。
【０１７６】
＜分離第１条件の判定方法＞
１次特定部４１は、分離第１条件を満足するか否かを判定する際には、まず、現フレームでの当てはめ処理で得られた第２楕円のうち、併合主体第１楕円に最も近い位置の第２楕円を最近傍第２楕円として特定する。１次特定部４１は、当てはめ処理部１１で得られる当てはめ処理結果１７０と追跡情報５０とに基づいて、最近傍第２楕円を特定することができる。
【０１７７】
次に、１次特定部４１は、併合主体第１楕円の大きさから、最近傍第２楕円の大きさを差し引いて得られる差分値が、第４しきい値よりも大きいか否かを判定する。１次特定部４１は、例えば、併合主体第１楕円の面積を、併合主体第１楕円の大きさとして採用し、最近傍第２楕円の面積を、最近傍第２楕円の大きさとして採用する。１次特定部４１は、当てはめ処理結果１７０に含まれる、最近傍第２楕円についての楕円特定情報から、近傍第２楕円の大きさを求めることができる。また１次特定部４１は、追跡情報５０に含まれる併合主体図形情報５００の楕円特定情報５０３から、併合主体第１楕円の大きさを求めることができる。
【０１７８】
１次特定部４１は、差分値が第４しきい値よりも大きい場合には、最近傍第２楕円の大きさが、併合主体第１楕円の大きさよりも十分に小さいと判定する。つまり、１次特定部４１は、分離第１条件を満足すると判定する。一方で、１次特定部４１は、差分値が第４しきい値以下の場合には、分離第１条件を満足しないと判定する。
【０１７９】
なお、１次特定部４１は、差分値が第４しきい値以上である場合に、分離第１条件を満足すると判定し、差分値が第４しきい値未満である場合に、分離第１条件を満足しないと判定しても良い。
【０１８０】
＜分離第２条件の判定方法＞
１次特定部４１は、分離第２条件を満足するか否かを判定する際には、まず、現フレームでの当てはめ処理で得られた第２楕円のうち、その少なくとも一部の領域が、併合主体第１楕円に内包されている第２楕円を特定する。以後、その少なくとも一部の領域が、併合主体第１楕円に内包されている第２楕円を「被内包第２楕円」と呼ぶ。１次特定部４１は、例えば、第２楕円の中心が、併合主体第１楕円内に存在する場合には、当該第２楕円を被内包第２楕円とする。１次特定部４１は、当てはめ処理結果１７０と追跡情報５０に基づいて、被内包第２楕円を特定することができる。そして、１次特定部４１は、現フレームでの当てはめ処理で得られた第２楕円に含まれる被内包楕円の数が２つ以上であるか否かを判定する。
【０１８１】
１次特定部４１は、現フレームでの当てはめ処理で得られた第２楕円に含まれる被内包楕円の数が２つ以上であると判定すると、現フレームでの当てはめ処理で得られた複数の第２楕円のそれぞれの少なくとも一部の領域が併合主体第１楕円に内包されると判定する。つまり、１次特定部４１は、分離第２条件を満足すると判定する。一方で、現フレームでの当てはめ処理で得られた第２楕円に含まれる被内包第２楕円の数が１つであると判定すると、分離第２条件を満足しないと判定する。
【０１８２】
以上のようにして、１次特定部４１は、併合主体第１楕円が、分離第１条件及び分離第２条件を満足するか否かを判定する。そして、１次特定部４１は、併合主体第１楕円が、分離第１条件及び分離第２条件を満足する場合には、併合主体第１楕円が当てはめられた複数の人に対して、現フレームでの当てはめ処理において複数の第２楕円が当てはめられていると判定する。つまり、１次特定部４１は、併合主体第１楕円が、複数の第２楕円に分離したと判定する。詳細には、１次特定部４１は、併合主体第１楕円が、分離第２条件で特定された複数の被内包第２楕円に分離したと判定する。そして、１次特定部４１は、複数の被内包第２楕円を、併合主体第１楕円に対応する第２楕円として特定する。併合主体第１楕円は、それが併合する被併合楕円と同じ楕円であることから、１次特定部４１は、複数の被内包第２楕円を、併合主体第１楕円を含む併合楕円グループを構成する各第１楕円に対応する第２楕円として特定すると言える。
【０１８３】
このようにして、併合主体第１楕円が当てはめられた複数の人に対して、現フレームでの当てはめ処理において複数の第２楕円が当てはめられているか否かを判定することによって、人と楕円とを適切に対応付けることができる。よって、入力画像１４０上での楕円の位置の追跡によって、入力画像１４０での人の位置を適切に追跡することができる。
【０１８４】
なお、１次特定部４１は、分離第２条件を満足するか否かの判定を、上記とは異なる方法で行っても良い。以下に、分離第２条件についての他の判定方法の一例について説明する。
【０１８５】
１次特定部４１は、図３６に示されるような、第２楕円２５０ｙについての４つの交点２５７ｙを使用する。４つの交点２５７ｙは、第２楕円２５０ｙと、その長軸２５５ｙとが交わる２つの交点２５７ｙと、第２楕円２５０ｙとその短軸２５６ｙとが交わる２つの交点２５７ｙとで構成されている。１次特定部４１は、現フレームでの当てはめ処理で得られた第２楕円のうち、４つの交点２５７ｙのうちの所定数以上の交点２５７ｙが併合主体第１楕円内に存在する第２楕円を、被内包第２楕円として特定する。この所定数は、１以上４以下の値に設定される。図３７は、４つの交点２５７ｙのうちの２つの交点２５７ｙが、併合主体第１楕円２５０ｘ内に存在する第２楕円２５０ｙの一例を示す図である。所定数が例えば“２”に設定される場合には、図３７に示される第２楕円２５０ｙは、その少なくとも一部が併合主体第１楕円２５０ｘに内包される被内包第２楕円２５０ｙとなる。
【０１８６】
１次特定部４１は、被内包第２楕円を特定すると、上記と同様に動作して、現フレームでの当てはめ処理で得られた第２楕円に含まれる被内包楕円の数が２つ以上であるか否かを判定する。１次特定部４１は、現フレームでの当てはめ処理で得られた第２楕円に含まれる被内包楕円の数が２つ以上であると判定すると、分離第２条件を満足すると判定する。一方で、現フレームでの当てはめ処理で得られた第２楕円に含まれる被内包第２楕円の数が１つであると判定すると、分離第２条件を満足しないと判定する。
【０１８７】
なお、対応する第２楕円が特定された第１楕円を「特定済み第１楕円」と呼ぶことがある。また、第１楕円に対応するものとして特定された第２楕円を「特定済み第２楕円」と呼ぶことがある。また、対応する第２楕円が特定されていない第１楕円を「未特定第１楕円」と呼ぶことがある。また、第１楕円に対応するものとして特定されていない第２楕円を「未特定第２楕円」と呼ぶことがある。
【０１８８】
１次特定部４１が、複数の被内包第２楕円を、併合主体第１楕円に対応する第２楕円として特定した場合には、複数の被内包第２楕円は特定済み第２楕円となり、併合主体第１楕円は特定済み第１楕円となる。さらに、当該併合主体第１楕円が併合する被併合第１楕円も特定済み第１楕円となる。
【０１８９】
以後、特定済み第１楕円である併合主体第１楕円が属する併合楕円グループを「特定済み併合第１楕円グループ」と呼ぶことがある。特定済み併合第１楕円グループに含まれる各第１楕円は特定済み第１楕円である。また、特定済み併合第１楕円グループの楕円総数と言えば、当該特定済み併合第１楕円グループを構成する複数の第１楕円の総数を意味する。特定済み併合第１楕円グループの楕円総数は、当該特定済み併合第１楕円グループに属する併合主体第１楕円の図形情報５００に含まれる併合数５０６に対して“１”を加算して得られる値となる。また、特定済み併合第１楕円グループに対応する楕円分離数と言えば、当該特定済み併合第１楕円グループに属する併合主体第１楕円の楕円分離数、つまり、当該併合主体第１楕円に対応する複数の第２楕円の数を意味する。また、特定済み併合第１楕円グループに対応する複数の特定済み第２楕円と言えば、当該特定済み併合第１楕円グループに属する併合主体第１楕円に対応する複数の第２楕円を意味する。
【０１９０】
＜１次更新処理の詳細＞
次に１次更新処理について詳細に説明する。１次更新処理において、更新部４４は、１次特定処理で得られた特定済み併合第１楕円グループの各第１楕円の図形情報５００を更新する。つまり、更新部４４は、対応する第２楕円が特定された併合主体第１楕円の図形情報５００と、当該併合主体第１楕円が併合する被併合第１楕円の図形情報５００とを更新する。更新部４４は、１次特定処理において複数の特定済み併合第１楕円グループが得られた場合には、当該複数の特定済み併合第１楕円グループのそれぞれについて、当該特定済み併合第１楕円グループの各第１楕円の図形情報５００を更新する。なお、１次特定処理において特定済み併合第１楕円グループが得られなければ、１次更新処理はスキップされる。
【０１９１】
以下に、特定済み併合第１楕円グループの楕円総数と、当該特定済み併合第１楕円グループに対応する楕円分離数とが一致する場合と一致しない場合とに分けて、特定済み併合第１楕円グループの各第１楕円の図形情報５００の更新方法について説明する。
【０１９２】
＜楕円総数と楕円分離数とが一致する場合＞
特定済み併合第１楕円グループの楕円総数と、当該特定済み併合第１楕円グループに対応する楕円分離数とが一致する場合には、更新部４４は、特定済み併合第１楕円グループに対応する複数の特定済み第２楕円に対して、当該特定済み併合第１楕円グループを構成する複数の第１楕円（特定済み第１楕円）の図形情報５００をそれぞれ対応付ける。そして、更新部４４は、特定済み併合第１楕円グループの各第１楕円の図形情報５００を、それを対応付けた特定済み第２楕円の楕円特定情報に基づいて更新する。具体的には、更新部４４は、特定済み併合第１楕円グループに含まれる第１楕円の図形情報５００の楕円特定情報５０３が、当該図形情報５００が対応付けられた特定済み第２楕円の楕円特定情報と一致するように、当該楕円特定情報５０３を更新する。そして、更新部４４は、当該図形情報５００の状態情報５０２を「存在」に設定する。これにより、特定済み併合第１楕円グループの各第１楕円の図形情報５００が更新される。第１楕円についての更新された図形情報５００は、当該第１楕円に対応する第２楕円の図形情報５００となる。なお、特定済み第２楕円の楕円特定情報は、当てはめ処理結果１７０に含まれている。
【０１９３】
図３８は、特定済み併合第１楕円グループを構成する複数の第１楕円の図形情報５００と、当該特定済み併合第１楕円グループに対応する複数の特定済み第２楕円との対応付けの一例を示す図である。図３８の例では、特定済み併合第１楕円グループは４つの第１楕円で構成されている。したがって、特定済み併合第１楕円グループの楕円総数は“４”となる。そして、特定済み併合第１楕円グループに含まれる併合主体第１楕円は４つの第２楕円２５０ｙａ〜２５０ｙｄに分離している。したがって、楕円分離数は“４”となり、楕円総数と一致する。図３８の例では、４つの第２楕円２５０ｙａ〜２５０ｙｄに対して、特定済み併合第１楕円グループを構成する４つの第１楕円にそれぞれ対応する４つの図形情報５００ａ〜５００ｄがそれぞれ対応付けられている。更新部４４によって図形情報５００ａ〜５００ｄが更新されることにより、図形情報５００ａは第２楕円２５０ｙａに関する情報となり、図形情報５００ｂは第２楕円２５０ｙｂに関する情報となり、図形情報５００ｃは第２楕円２５０ｙｃに関する情報となり、図形情報５００ｄは第２楕円２５０ｙｄに関する情報となる。
【０１９４】
＜楕円総数と楕円分離数とが一致しない場合＞
次に、特定済み併合第１楕円グループの楕円総数と、当該特定済み併合第１楕円グループに対応する分割数とが一致しない場合、つまり、当該楕円総数が当該楕円分離数よりも大きい場合の更新部４４の動作について説明する。この場合、更新部４４は、特定済み併合第１楕円グループに対応する複数の特定済み第２楕円のそれぞれに対して、できるだけに同じ数の図形情報５００が対応付けられ、かつ互いに異なる図形情報５００が対応付けられ、かつ図形情報５００が対応付けられない特定済み第２楕円が存在しないように、当該特定済み併合第１楕円グループを構成する複数の第１楕円の図形情報５００の少なくとも１つを対応付ける。
【０１９５】
更新部４４は、１つの特定済み第２楕円に対して１つの図形情報５００を対応付けた場合には、上記と同様に、当該図形情報５００の楕円特定情報５０３が、当該図形情報５００が対応付けられた特定済み第２楕円の楕円特定情報と一致するように、当該楕円特定情報５０３を更新する。そして、更新部４４は、当該図形情報５００の状態情報５０２を「存在」に設定する。これにより、当該図形情報５００が更新される。
【０１９６】
一方で、更新部４４は、１つの特定済み第２楕円に対してＭ個（Ｍ≧２）の図形情報５００を対応付けた場合には、当該１つの特定済み第２楕円はＭ人の人２００に対して当てはめられた第２楕円であるとする。そして、更新部４４は、当該Ｍ個の図形情報５００において、一つの図形情報５００に含まれる状態情報５０２を「併合」に設定し、残りの図形情報５００に含まれる状態情報を「被併合」に設定する。そして、更新部４４は、状態情報５０２を「併合」に設定した図形情報５００の併合相手ＩＤ５０５に、状態情報５０２を「被併合」に設定した図形情報５００のＩＤ５０１を含める。また、更新部４４は、状態情報５０２を「併合」に設定した図形情報５００の併合数５０５を（Ｍ−１）とする。そして、更新部４４は、当該Ｍ個の図形情報５００のそれぞれについて、上記と同様に、当該図形情報５００の楕円特定情報５０３が、当該図形情報５００が対応付けられた特定済み第２楕円の楕円特定情報と一致するように、当該楕円特定情報５０３を更新する。これにより、当該Ｍ個の図形情報５００が更新される。
【０１９７】
図３９，４０は、特定済み併合第１楕円グループを構成する複数の第１楕円の図形情報５００と、当該特定済み併合第１楕円グループに対応する複数の特定済み第２楕円との対応付けの一例を示す図である。図３９，４０の例では、上述の図３８の例と比較して楕円分離数が異なっている。
【０１９８】
図３９の例では、特定済み併合第１楕円グループに含まれる併合主体第１楕円は２つの第２楕円２５０ｙａ，２５０ｙｂに分離しており、楕円分離数が“２”となっている。図３９の例では、第２楕円２５０ｙａに対して２つの図形情報５００ａ，５００ｂが対応付けられており、第２楕円２５０ｙｂに２つの図形情報５００ｃ，５００ｄが対応付けられている。図３９の例では、更新部４４は、２つの図形情報５００ａ，５００ｂにおいて、一方の図形情報５００の状態情報５０２を「併合」に設定し、他方の図形情報５００の状態情報５０２を「被併合」に設定する。ここでは、例えば、図形情報５００ａの状態情報５０２を「併合」に設定し、図形情報５００ｂの状態情報５０２を「被併合」に設定するとする。更新部４４は、状態情報５０２を「併合」に設定した図形情報５００ａの併合相手ＩＤ５０５に、状態情報５０２を「被併合」に設定した図形情報５００ｂのＩＤ５０１を含める。また、更新部４４は、図形情報５００ａの併合数５０５を“１”とする。そして、更新部４４は、図形情報５００ａの楕円特定情報５０３が、第２楕円２５０ｙａの楕円特定情報と一致するように、当該楕円特定情報５０３を更新し、図形情報５００ｂの楕円特定情報５０３が、第２楕円２５０ｙａの楕円特定情報と一致するように、当該楕円特定情報５０３を更新する。同様にして、更新部４４は、第２楕円２５０ｙｂに対応付けられた２つの図形情報５００ｃ，５００ｄを更新する。
【０１９９】
図４０の例では、特定済み併合第１楕円グループに含まれる併合主体第１楕円は３つの第２楕円２５０ｙａ，２５０ｙｂ，２５０ｙｃに分離しており、楕円分離数が“３”となっている。図４０の例では、第２楕円２５０ｙａに１つの図形情報５００ａが対応付けられており、第２楕円２５０ｙｂに１つの図形情報５００ｂが対応付けられ、第２楕円２５０ｙｃに２つの図形情報５００ｃ，５００ｄが対応付けられている。図４０の例では、更新部４４は、第２楕円２５０ｙａに対応付けられた図形情報５００ａの楕円特定情報５０３が、第２楕円２５０ｙａの楕円特定情報と一致するように、当該楕円特定情報５０３を更新する。そして、更新部４４は、図形情報５００ａの状態情報５０２を「存在」に設定する。更新部４４は、第２楕円２５０ｙｂに対応付けられた図形情報５００ｂを同様に更新する。また、更新部４４は、第２楕円２５０ｙｃに対応付けられた図形情報５００ｃ，５００ｄにおいて、一方の図形情報５００の状態情報５０２を「併合」に設定し、他方の図形情報５００の状態情報５０２を「被併合」に設定する。そして、更新部４４は、状態情報５０２を「併合」に設定した図形情報５００の併合相手ＩＤ５０５に、状態情報５０２を「被併合」に設定した図形情報５００のＩＤ５０１を含める。また、更新部４４は、状態情報５０２を「併合」に設定した図形情報５００の併合数５０５を“１”とする。そして、更新部４４は、図形情報５００ｃの楕円特定情報５０３が、第２楕円２５０ｙｃの楕円特定情報と一致するように、当該楕円特定情報５０３を更新し、図形情報５００ｄの楕円特定情報５０３が、第２楕円２５０ｙｃの楕円特定情報と一致するように、当該楕円特定情報５０３を更新する。これにより、図形情報５００ａ〜５００ｄが更新される。
【０２００】
以上のように、１次更新処理では、１次特定処理で得られた各特定済み併合第１楕円グループについて、それを構成する複数の第１楕円の図形情報５００が更新される。
【０２０１】
＜２次処理の詳細＞
次に２次処理を詳細に説明する。２次処理の２次特定処理において、２次特定部４２は、まず、１次更新処理が行われた追跡情報５０に、対応する第２楕円が１次特定処理で特定されなかった第１楕円の図形情報５００（以後、「未特定図形情報５００と呼ぶことがある）が含まれるか否かを判定する。言い換えれば、２次特定部４２は、１次更新処理が行われた追跡情報５０に、未特定第１楕円の図形情報５００が含まれているか否かを判定する。さらに言い換えれば、２次特定部４２は、１次更新処理された追跡情報５０に、未だ更新されていない図形情報５００が含まれるか否かを判定する。
【０２０２】
２次特定部４２は、１次更新処理が行われた追跡情報５０に未特定図形情報５００が含まれていると判定すると、１次更新処理が行われた追跡情報５０に含まれる、状態情報５０２が「被併合」以外を示す未特定図形情報５００が示す未特定第１楕円に対応する第２楕円を、所定の情報に基づいて特定する。状態情報５０２が「被併合」以外を示す未特定図形情報５００を特に「対象未特定図形情報５００」と呼ぶ。１次更新処理された追跡情報５０に、消失楕円の図形情報５００が含まれている場合には、２次特定部４２は、当該消失楕円に対応する第２楕円を特定する第２対応特定処理を行う。２次特定部４１は、追跡情報５０に複数の対象未特定図形情報５００が含まれる場合には、当該複数の対象未特定図形情報５００のそれぞれについて同様の処理を行う。２次特定部４２は、１次更新処理が行われた追跡情報５０に、未特定図形情報５００が含まれていないと判定すると、２次特定処理を終了する。この場合には、２次更新処理は行われない。
【０２０３】
以下では、１次更新処理が行われた追跡情報５０に含まれる各対象未特定図形情報５００が示す未特定第１楕円を「２次処理対象の第１楕円」と呼ぶことがある。２次処理の第１楕円には、状態が「被併合」の第１楕円は含まれない。また、現フレームでの当てはめ処理において得られた第２楕円のうち、１次特定処理で得られた特定済み第２楕円以外の第２楕円を「２次処理対象の第２楕円」と呼ぶことがある。２次特定部４２は、２次処理対象の第１楕円に対応する第２楕円を、例えば最近傍法（Nearest Neighbor）を用いて、２次処理対象の第２楕円から特定する。図４１は２次特定処理を示すフローチャートである。
【０２０４】
図４１に示されるように、ステップｓ４３１において、２次特定部４２は、１次更新処理が行われた追跡情報５０に未特定図形情報５００が含まれるか否かを判定する。２次特定部４１は、１次更新処理が行われた追跡情報５０に未特定図形情報５００が含まれていないと判定すると、２次特定処理を終了する。一方で、２次特定部４１は、１次更新処理が行われた追跡情報５０に未特定図形情報５００が含まれていると判定すると、ステップｓ４３２を実行する。
【０２０５】
ステップｓ４３２では、２次特定部４２は、２次処理対象の第１楕円から一つの第１楕円を選択し、選択した第１楕円を選択第１楕円とする。ステップｓ４３２の後、ステップｓ４３３において、２次特定部４２は、２次処理対象の第２楕円に含まれる未特定第２楕円から、選択第１楕円に最も位置が近い第２楕円を最近傍第２楕円として特定する。ステップｓ４３３において、２次特定部４２は、例えば、選択第１楕円の中心に最も近い中心を有する未特定第２楕円を最近傍第２楕円とする。
【０２０６】
次にステップｓ４３４において、２次特定部４２は、選択第１楕円と最近傍第２楕円との間の距離を求める。２次特定部４２は、例えば、選択第１楕円の中心と最近傍第２楕円の中心との間の距離を、当該選択第１楕円と当該最近傍第２楕円との間の距離とする。そして、２次特定部４２は、求めた距離が第５しきい値以下であるか否かを判定する。
【０２０７】
２次特定部４２は、ステップｓ４３４において、求めた距離が第５しきい値以下であると判定すると、ステップｓ４３５において、最近傍第２楕円を、選択第１楕円に対応する第２楕円に決定する。これにより、選択第１楕円は特定済み第１楕円となる。また、最近傍第２楕円が特定済み第２楕円となり、２次処理対象の第２楕円に特定済み第２楕円が含まれることになる。ステップｓ４３５の後、２次特定部４２はステップｓ４３６を実行する。一方で、２次特定部４２は、ステップｓ４３４において、求めた距離が第５しきい値よりも大きいと判定すると、ステップｓ４３６を実行する。求めた距離が第５しきい値よりも大きいと判定される場合には、最近傍第２楕円は未特定第２楕円のままである。
【０２０８】
ステップｓ４３６では、２次特定部４２は、２次処理対象の第１楕円のすべてを処理したか否かを判定する。つまり、２次特定部４２は、２次処理対象の第１楕円をすべて選択第１楕円としたか否かを判定する。ステップｓ４３６においてＹｅｓと判定されると、２次特定処理が終了する。一方で、ステップｓ４３６においてＮｏと判定されると、２次特定部４２は再度ステップｓ４３２を実行する。ここでは、２次処理対象の第１楕円のうち、未だ処理されていない第１楕円、つまり未だ選択第１楕円とされていない第１楕円が選択されて、選択第１楕円とされる。次に、２次特定部４１は、ステップｓ４３３を実行して、２次処理対象の第２楕円に含まれる未特定第２楕円から、選択第１楕円に最も位置が近い第２楕円を最近傍第２楕円として特定する。以後、２次特定部４１は同様に動作する。
【０２０９】
このように、２次特定部４２は、２次処理対象の第１楕円に最も位置が近い２次処理対象の第２楕円であって、当該第１楕円との距離が第５しきい値以下の２次処理対象の第２楕円を、当該第１楕円に対応する第２楕円として特定する。
【０２１０】
なお、上記のステップｓ４３４では、２次特定部４２は、選択第１楕円と最近傍第２楕円との間の距離が第５しきい値未満であるか否かを判定しても良い。この場合には、２次特定部４２は、２次処理対象の第１楕円に最も位置が近い２次処理対象の第２楕円であって、当該第１楕円との距離が第５しきい値未満の２次処理対象の第２楕円を、当該第１楕円に対応する第２楕円として特定することになる。
【０２１１】
＜２次更新処理の詳細＞
次に２次更新処理について詳細に説明する。２次更新処理において、更新部４４は、２次特定処理で新たに得られた各特定済み第１楕円の図形情報５００を２次更新対象の図形情報５００とする。そして、更新部４４は、２次更新対象の各図形情報５００を、当該図形情報５００が示す特定済み第１楕円に対応する第２楕円の楕円特定情報に基づいて更新する。
【０２１２】
２次更新処理での図形情報５００の更新方法は、当該図形情報５００に含まれる状態情報５０２の値に応じて異なる。
【０２１３】
例えば、２次更新対象の図形情報５００の状態情報５０２が「出現」を示す場合には、更新部４４は、当該図形情報５００に対応する楕円（人）が入力画像１４０上に継続して現れていると判定して、当該状態情報５０２を「存在」に変更する。そして、更新部４４は、当該図形情報５００の楕円特定情報５０３が、当該図形情報５００が示す特定済み第１楕円に対応する第２楕円の楕円特定情報と一致するように、当該楕円特定情報５０３を更新する。
【０２１４】
２次更新対象の図形情報５００の状態情報５０２が「存在」を示す場合には、更新部４４は、当該状態情報５０２を「存在」のままとする。そして、更新部４４は、当該図形情報５００の楕円特定情報５０３が、当該図形情報５００が示す特定済み第１楕円に対応する第２楕円の楕円特定情報と一致するように、当該楕円特定情報５０３を更新する。
【０２１５】
２次更新対象の図形情報５００の状態情報５０２が「併合」を示す場合には、更新部４４は、当該状態情報５０２を「併合」のままとする。そして、更新部４４は、当該図形情報５００の楕円特定情報５０３が、当該図形情報５００が示す特定済み第１楕円(併合主体第１楕円）に対応する第２楕円の楕円特定情報と一致するように、当該楕円特定情報５０３を更新する。
【０２１６】
また、２次更新対象の図形情報５００の状態情報５０２が「併合」を示す場合には、更新部４４は、当該図形情報５００が示す併合主体第１楕円に併合されている各被併合第１楕円の図形情報５００も更新する。つまり、２次更新対象の図形情報５００の状態情報５０２が「併合」を示す場合には、更新部４４は、当該図形情報５００に含まれる併合相手ＩＤ５０５が示すＩＤ５０１を含む図形情報５００も更新する。具体的には、更新部４４は、併合第１楕円の図形情報５００の楕円特定情報５０３が、当該被併合第１楕円を併合する併合主体第１楕円に対応する第２楕円の楕円特定情報と一致するように、当該楕円特定情報５０３を更新する。被併合第１楕円の図形情報５００の状態情報５０２は「被併合」から変更されない。これにより、併合主体楕円の図形情報５００の更新に応じて、当該併合主体楕円が併合する各被併合楕円の図形情報５００が更新される。
【０２１７】
２次更新処理の対象の図形情報５００の状態情報５０２が「消失」を示す場合には、更新部４４は、当該図形情報５００に対応する楕円（人）が入力画像１４０上に現れたと判定して、当該状態情報５０２を「存在」に変更する。また、更新部４４は、当該図形情報５００の楕円特定情報５０３が、当該図形情報５００が示す特定済み第１楕円に対応する第２楕円の楕円特定情報と一致するように、当該楕円特定情報５０３を更新する。そして、更新部４４は、当該図形５００に含まれる消失時刻５０４を消去する。
【０２１８】
以上のようにして、１次更新処理された追跡情報５０は、２次特定処理の結果に基づいて更新される。
【０２１９】
更新部４４は、２次処理の後、２．５次処理（２．５次更新処理）を行う。つまり、更新部４４は、１次更新処理及び２次更新処理が行われた追跡情報５０に、消失楕円の図形情報５００が含まれているか否かを判定する。追跡情報５０に消失楕円の図形情報５００が含まれている場合には、更新部４４は、消失楕円の図形情報５００に含まれる消失時刻５０４が、現在時刻よりも所定時間以上前であるか否かを判定する。更新部４４は、図形情報５００に含まれる消失時刻５０４が、現在時刻よりも所定時間以上前である場合には、当該図形情報５００を追跡情報５０から削除する。
【０２２０】
このように、本例では、消失楕円の図形情報５００、つまり、入力画像１４０に写らなくなった人に対応する楕円の図形情報５００をすぐに削除するのではなく、人が写らなくなってからしばらく経過した後に削除している。これにより、人が物陰に一時的に隠れる場合など、人が写らなくなってからすぐに写るようになる場合に、写らなくなる前と、写るようになった後で、その人に対して同じ図形情報５００を対応付けることができる。よって、人が入力画像１４０において一時的に写らなくなった場合であっても、その人の位置を追跡することができる。
【０２２１】
＜３次処理の詳細＞
上述のように、２次特定処理では、第１楕円に対応付けられた第２楕円は、その後において、別の第１楕円に対応する第２楕円を特定する際の候補から除外されている。したがって、複数の第１楕円が当てはめられていた複数の人に対して共通の第２楕円が当てはめられた場合には、当該第２楕円は、当該複数の第１楕円のすべてに対応する第２楕円であるにもかかわらず、２次特定処理では、当該第２楕円は、当該複数の第１楕円のうちの１つの第１楕円だけに対応付けられる。
【０２２２】
図４２は、複数の第１楕円がそれぞれ当てはめられていた複数の人に対して共通の第２楕円が当てはめられた様子の一例を示す図である。図４２の例では、３つの第１楕円２５０ｘ１，２５０ｘ２，２５０ｘ３がそれぞれ当てはめられていた３人の人２００に対して共通の１つの第２楕円２５０ｙが当てはめられている。図４２の例では、第２楕円２５０ｙは、第１楕円２５０ｘ１，２５０ｘ２，２５０ｘ３のすべてに対応する第２楕円であるにもかかわらず、２次特定処理では、第２楕円２５０ｙは、第１楕円２５０ｘ１，２５０ｘ２，２５０ｘ３のうちの１つの第１楕円だけに対応する第２楕円として特定される。よって、２次特定処理後では、当該１つの第１楕円は特定済み第１楕円となり、第２楕円２５０ｙは特定済み第２楕円となり、第１楕円２５０ｘ１，２５０ｘ２，２５０ｘ３のうちの残りの２つの第１楕円は未特定第１楕円となる。そのため、２次更新処理後では、当該残りの２つの第１楕円の図形情報５００は更新されていない。
【０２２３】
本例では、複数の第１楕円が当てはめられていた複数の人に対して１つの第２楕円が当てはめられた場合、便宜上、当該複数の第１楕円のうち、２次処理において当該第２楕円が対応付けられた特定済み第１楕円が当該第２楕円に遷移し、残りの未特定第１楕円は、当該第２楕円に併合されたと考える。
【０２２４】
３次特定処理において、３次特定部４３は、２．５次更新処理が行われた追跡情報５０に含まれる、未特定第１楕円の図形情報５００（未特定図形情報５００）が示す未特定第１楕円が、特定済み第２楕円に併合されているか否かを判定する。そして、３次特定部４３は、未特定第１楕円が、特定済み第２楕円に併合されている場合には、当該特定済み第２楕円を、当該未特定第１楕円に対応する第２楕円として特定する。これにより、複数の第１楕円が当てはめられた複数の人に対して１つの第２楕円が当てはめられた場合、当該複数の第１楕円のうち、２次処理において当該第２楕円が対応付けられなかった未特定第１楕円を、適切に当該第２楕円に対応付けることができる。以下に、３次特定処理について詳細に説明する。
【０２２５】
＜３次特定処理の詳細＞
３次特定処理において、３次特定部４３は、２．５次更新処理が行われた追跡情報５０に、未特定図形情報５００が含まれているか否かを判定する。言い換えれば、３次特定部４３は、１次更新処理、２次更新処理及び２．５次更新処理が行われた追跡情報５０に、未だ更新されていない図形情報５００が含まれるか否かを判定する。
【０２２６】
３次特定部４３は、２．５次更新処理が行われた追跡情報５０に、未特定図形情報５００が含まれていると判定すると、２．５次更新処理が行われた追跡情報５０に含まれる、状態情報５０２が「被併合」以外を示す未特定図形情報５００（対象未特定図形情報５００）が示す未特定第１楕円が、特定済み第２楕円に併合されているか否かを判定する併合判定処理を行う。併合判定処理については後で説明する。そして、３次特定部４３は、未特定第１楕円が、特定済み第２楕円に併合されていると判定すると、当該特定済み第２楕円を、未特定第１楕円に対応する第２楕円であると特定する。３次特定部４３は、２．５次更新処理が行われた追跡情報５０に、複数の対象未特定図形情報５００が含まれている場合には、当該複数の対象未特定図形情報５００のそれぞれついて同様の処理を行う。３次特定部４４は、２．５次更新処理が行われた追跡情報５０に、未特定図形情報５００が含まれていないと判定すると、３次特定処理を終了する。なお、特定済み第２楕円に併合されていないと判定された未特定第１楕円は、３次更新処理において消失楕円となる。
【０２２７】
以後、特定済み第２楕円に併合されているか否かが判定される未特定第１楕円を「３次処理対象の第１楕円」と呼ぶことがある。
【０２２８】
＜併合判定処理の詳細＞
併合判定処理において、３次特定部４３は、３次処理対象の第１楕円が２つの条件を満足するときに、当該第１楕円が特定済み第２楕円に併合されていると判定する。
【０２２９】
１つ目の条件は、３次処理対象の第１楕円に位置が近い特定済み第２楕円が存在するという条件である。以後、この１つ目の条件を「併合第１条件」と呼ぶことがある。また、３次処理対象の第１楕円に位置が近い特定済み第２楕円を「近傍特定済み第２楕円」と呼ぶ。
【０２３０】
２つの目の条件は、近傍特定済み第２楕円が、３次処理対象の第１楕円の少なくとも一部を内包しているという条件である。以後、この２つ目の条件を「併合第２条件」と呼ぶことがある。
【０２３１】
＜併合第１条件の判定方法＞
３次特定部４３は、併合第１条件を満足するか否かを判定する際には、１次処理及び２次処理で得られた特定済み第２楕円に、近傍特定済み第２楕円が存在するか否かを判定する。３次特定部４３は、例えば、３次処理対象の第１楕円の中心との距離が第６しきい値以下の中心を有する特定済み第２楕円を近傍特定済み第２楕円とする。つまり、３次特定部４３は、１次処理及び２次処理で得られた特定済み第２楕円において、３次処理対象の第１楕円の中心との距離が第６しきい値以下の中心を有する特定済み第２楕円が存在するか否かを判定する。３次特定部４４は、１次処理及び２次処理で得られた特定済み第２楕円において近傍特定済み第２楕円が存在すると判定すると、併合第１条件を満足すると判定する。一方で、３次特定部４３は、１次処理及び２次処理で得られた特定済み第２楕円において近傍特定済み第２楕円が存在しないと判定すると、併合第１条件を満足しないと判定する。なお、３次処理対象の第１楕円の中心との距離が第６しきい値未満の中心を有する特定済み第２楕円を近傍特定済み第２楕円としても良い。
【０２３２】
＜併合第２条件の判定方法＞
３次特定部４３は、３次処理対象の第１楕円について併合第１条件を満足する場合にだけ、当該３次処理対象の第１楕円について併合第２条件を満足するか否かを判定する。３次処理部４３は、１次処理及び２次処理で得られた特定済み第２楕円において、近傍特定済み第２楕円が１つだけ存在する場合は、その近傍特定済み第２楕円が３次処理対象の第１楕円の少なくとも一部を内包しているか否かを判定する。一方で、３次処理部４３は、１次処理及び２次処理で得られた特定済み第２楕円において、近傍特定済み第２楕円が複数存在する場合は、その複数の近傍特定済み第２楕円のうち、３次処理対象の第１楕円に対して最も位置が近い近傍特定済み第２楕円を使用対象とする。そして、３次特定部４３は、使用対象の近傍特定済み第２楕円が、３次処理対象の第１楕円の少なくとも一部を内包しているか否かを判定する。３次処理部４３は、例えば、複数の近傍特定済み第２楕円のうち、その中心と、３次処理対象の第１楕円の中心との距離が最も小さい近傍特定済み第２楕円を使用対象とする。
【０２３３】
３次特定部４３は、併合第２条件を満足するか否かを判定する際には、例えば、３次処理対象の第１楕円と、その長軸及び短軸との４つの交点を使用する（上述の図３６参照）。３次特定部４３は、４つの交点のうち所定数以上の交点が近傍特定済み第２楕円内に存在するとき、近傍特定済み第２楕円が、３次処理対象の第１楕円の少なくとも一部を内包していると判定する。つまり、３次特定部４３は併合第２条件を満足すると判定する。一方で、３次特定部４３は、４つの交点のうち所定数未満の交点だけが近傍特定済み第２楕円内に存在するとき、併合第２条件を満足しないと判定する。
【０２３４】
以上のようにして、３次特定部４３は、３次処理対象の第１楕円が、併合第１条件及び併合第２条件を満足するか否かを判定する。そして、３次特定部４３は、３次処理対象の第１楕円が、併合第１条件及び併合第２条件を満足する場合には、当該第１楕円が、近傍特定済み第２楕円に併合されたと判定する。そして、３次特定部４３は、近傍特定済み第２楕円を、３次処理対象の第１楕円に対応する第２楕円として特定する。これにより、３次処理対象の第１楕円は特定済み第１楕円となる。
【０２３５】
なお、上述の図４２に示される場合などにおいては、３次処理対象の複数の第１楕円に対応する第２楕円として、同じ特定済み第１楕円が特定されることがある。例えば、図４２の例において、３次処理対象の第１楕円が、第１楕円２５０ｘ１，２５０ｘ２であるとすると、３次特定処理では、この２つの第１楕円２５０ｘ１，２５０ｘ２に対応する第２楕円として、第２楕円２５０ｙが特定される。
【０２３６】
３次特定部４３は、併合第２条件を満足するか否かの判定を、上記とは異なる方法で行っても良い。例えば、３次特定部４３は、３次処理対象の第１楕円の中心が近傍特定済み第２楕円内に存在する場合に、当該近傍特定済み第２楕円が、当該第１楕円の少なくとも一部を内包していると判定しても良い。
【０２３７】
また、３次特定部４３は、併合第２条件を使用せずに、３次処理対象の第１楕円が併合第１条件を満足する場合に、当該第１楕円が、近傍特定済み第２楕円に併合されたと判定しても良い。
【０２３８】
また、３次特定部４３は、１次処理及び２次処理で得られた特定済み第２楕円において、３次処理対象の第１楕円の少なくとも一部を内包する特定済み第２楕円が存在する場合には、当該第１楕円が当該特定済み第２楕円に併合されていると判定しても良い。
【０２３９】
このように、３次処理対象の第１楕円が、特定済み第２楕円に併合されているか否かを判定することによって、人と楕円とを適切に対応付けることができる。よって、入力画像１４０上での楕円の位置の追跡によって、入力画像１４０での人の位置を適切に追跡することができる。
【０２４０】
また、３次処理対象の第１楕円が併合第１条件及び併合第２条件の両方を満足する場合に、当該第１楕円が、近傍特定済み第２楕円に併合されたと判定することによって、人と楕円とをより適切に対応付けることができる。よって、入力画像１４０での人の位置をより適切に追跡することができる。
【０２４１】
＜３次更新処理の詳細＞
次に３次更新処理について詳細に説明する。３次更新処理において、更新部４４は、３次特定処理で新たに得られた各特定済み第１楕円の図形情報５００を更新する。以後、３次更新処理の対象の、特定済み第１楕円の図形情報５００を「３次更新対象の第１楕円図形情報５００」と呼ぶことがある。
【０２４２】
また、更新部４４は、３次特定処理で新たに得られた特定済み第１楕円に対応する特定済み第２楕円の図形情報５００を更新する。この図形情報５００は、２次更新処理が行われた図形情報５００である。以後、３次更新処理の対象の、特定済み第２楕円の図形情報５００を「３次更新対象の第２楕円図形情報５００」と呼ぶことがある。
【０２４３】
更新部４４は、３次更新対象の第１楕円図形情報５００を更新する際には、当該第１楕円図形情報５００の状態情報５０２を「被併合」に設定する。また、更新部４４は、３次更新対象の第１楕円図形情報５００の楕円特定情報５０３が、当該第１楕円図形情報５００が示す特定済み第１楕円が対応する特定済み第２楕円の楕円特定情報と一致するように当該楕円特定情報５０３を更新する。
【０２４４】
更新部４４が３次更新対象の第２楕円図形情報５００を更新する処理は、当該第２楕円図形情報５００の状態情報５０２が「併合」である場合と、「併合」以外の値である場合とで異なる。
【０２４５】
まず、３次更新対象の第２楕円図形情報５００の状態情報５０２が「併合」である場合の更新部４４の動作について説明する。この場合には、更新部４４は、３次更新対象の第２楕円図形情報５００の状態情報５０２を「併合」のままとする。また、更新部４４は、３次更新対象の第２楕円図形情報５００の楕円特定情報５０３を変化させない。そして、更新部４４は、３次更新対象の第２楕円図形情報５００の併合相手ＩＤ５０５及び併合数５０６を更新する。具体的には、更新部４４は、３次更新対象の第２楕円図形情報５００が示す特定済み第２楕円に対応する、３次特定処理で得られた特定済み第１楕円の数がＰ（≧１）個である場合、併合相手ＩＤ５０５に、当該Ｐ個の特定済み第１楕円の図形情報５００のＩＤ５０１を含めるとともに、併合数５０６の値を“Ｐ”だけ増加させる。これにより、２次更新処理されている３更新対象の第２楕円図形情報５００が３次更新処理される。
【０２４６】
次に、３次更新対象の第２楕円図形情報５００の状態情報５０２が「併合」以外の値である場合の更新部４４の動作について説明する。この場合には、更新部４４は、３次更新対象の第２楕円図形情報５００の状態情報５０２を「併合」に変化させる。また、更新部４４は、３次更新対象の第２楕円図形情報５００の楕円特定情報５０３を変化させない。そして、更新部４４は、３次更新対象の第２楕円図形情報５００に対して併合相手ＩＤ５０５及び併合数５０６を追加する。更新部４４は、３次更新対象の第２楕円図形情報５００が示す特定済み第２楕円に対応する、３次特定処理で得られた特定済み第１楕円の数がＰ個である場合、併合相手ＩＤ５０５に、当該Ｐ個の特定済み第１楕円の図形情報５００のＩＤ５０１を含めるとともに、併合数５０６の値を“Ｐ”に設定する。これにより、２次更新処理されている３更新対象の第２楕円図形情報５００が３次更新処理される。
【０２４７】
また、更新部４４は、３次更新処理において、未特定第１楕円の図形情報５００が２．５次更新処理後の追跡情報５０に含まれている場合には、当該未特定第１楕円に対応する第２楕円は存在しないと判定する。つまり、更新部４４は、当該図形情報５００に対応する楕円が入力画像１４０上に現れなくなったと判定する。そして、更新部４４は、当該図形情報５００の状態情報５０２を「消失」に設定する。また、更新部４４は、当該図形情報５００に、消失時刻５０４として現在の時刻を含める。
【０２４８】
また、更新部４４は、現フレームでの当てはめ処理で得られた第２楕円のうち、未だ第１楕円が対応付けられていない未特定第２楕円の図形情報５００を生成する。前フレームの入力画像１４０に写っていなかった人が現フレームの入力画像に写るようになった場合、当該人に当てはめられた第２楕円は、１次〜３次特定処理が終了した後、未特定第２楕円となっている。更新部４４は、未だ第１楕円が対応付けられていない未特定第２楕円の図形情報５００として、状態情報５０２が「出現」を示し、楕円特定情報５０３が当該未特定第２楕円の楕円特定情報を示す図形情報５００を生成する。そして、更新部４４は、生成した図形情報５００を追跡情報５０に追加する。
【０２４９】
以上のようにして、追跡処理部１２が、１次処理、２次処理、２．５次処理及び３次処理を行うことによって、前フレームでの当てはめ処理で得られた各第１楕円について、現フレームでの当てはめ処理で得られた、当該第１楕円に対応する第２楕円を特定する第１対応特定処理と、消失楕円に対応する第２楕円を特定する第２対応特定処理とが行われる。そして、追跡処理部１２が、当てはめ処理結果１７０が入力されるたびに、１次処理、２次処理、２．５次処理及び３次処理を行うことによって、追跡情報５０が順次更新され、入力画像１４０上での楕円の位置が追跡される。追跡情報５０に含まれる図形情報５００の楕円特定情報５０３に含まれる中心座標が、当該図形情報５００に対応する楕円の入力画像１４０上での現在の位置を示している。追跡情報５０が順次更新されることによって、入力画像１４０（撮像画像１１０）上での人の位置が追跡されると言える。また、追跡情報５０が順次更新されることによって、室内３００内での人の位置が追跡されると言える。図形情報５００の楕円特定情報５０３に含まれる中心座標は、当該図形情報５００に対応する人の入力画像１４０上での現在の位置を示しており、さらに、当該図形情報５００に対応する人の撮像画像１１０上での現在の位置を示している。
【０２５０】
また、図形情報５００に含まれる状態情報５０２を参照することによって、当該図形情報５００に対応する人の室内３００内での状態を把握することができる。例えば、図形情報５００の状態情報５０２が「出現」を示す場合には、当該図形情報５００に対応する人が室内３００に入ってきたことを示す。また、追跡情報５０に含まれる図形情報５００の状態情報５０２が「存在」を示す場合には、当該図形情報５００に対応する人が室内３００に継続して存在することを示す。また、追跡情報５０に含まれる図形情報５００の状態情報５０２が「消失」を示す場合には、当該図形情報５００に対応する人が室内３００から出て行ったことを示す。また、追跡情報５０に含まれる図形情報５００の状態情報５０２が「併合」あるいは「被併合」を示す場合には、当該図形情報５００に対応する人が室内３００において他の人の近くに存在することを示す。
【０２５１】
＜カウント部の詳細＞
カウント部１３は、追跡処理部１２での追跡処理が終了すると、その追跡処理の結果に基づいて、現フレームの入力画像１４０に写る人の数を求める。具体的には、カウント部１３は、追跡処理において更新された追跡情報５０に基づいて、現フレームの入力画像１４０に写る人の数を求める。以下に、追跡情報５０に基づいて、入力画像１４０に写る人の数を求める方法について説明する。
【０２５２】
本例では、カウント部１３は、入力画像１４０に写る人の数を求める際に、追跡情報５０のうち、状態情報５０２が「出現」を示す図形情報５００と、状態情報５０２が「存在」を示す図形情報５００と、状態情報５０２が「併合」を示す図形情報５００とを使用する。
【０２５３】
ここで、追跡情報５０に含まれる、状態情報５０２が「出現」を示す図形情報５００の数をＫ１、追跡情報５０に含まれる、状態情報５０２が「存在」を示す図形情報５００の数をＫ２、追跡情報５０に含まれる、状態情報５０２が「併合」を示す図形情報５００の数をＫ３とする。また、追跡情報５０に含まれる、状態情報５０２が「併合」を示す図形情報５００に対して、１番からＫ３番までの番号を割り当てる。そして、ｋ番（１≦ｋ≦Ｋ３）の図形情報５００に含まれる併合数５０６の値をＪｋとする。
【０２５４】
カウント部１３は、以下の式（１）を用いて、入力画像１４０に写る人の総数Ｋｔｏｔａｌを求める。
【０２５５】
【数１】
0006568772.tif 000002
【０２５６】
状態情報５０２が「出現」を示す図形情報５００は１人の人に対応している。また、状態情報５０２が「存在」を示す図形情報５００は１人の人に対応している。そして、状態情報５０２が「併合」を示す図形情報５００は、当該図形情報５００に含まれる併合数５０６の値よりも１つだけ大きい数の人に対応している。したがって、現フレームの入力画像１４０に写る人の総数Ｋｔｏｔａｌは、式（１）のように表すことができる。
【０２５７】
なお、カウント部１３は、上記とは異なる方法で、入力画像１４０に写る人の数を求めても良い。例えば、カウント部１３は、追跡情報５０に含まれる、状態情報５０２が「消失」以外を示す図形情報５００の数を、入力画像１４０に写る人の総数としても良い。
【０２５８】
また、本例では、ある入力画像１４０に初めて現れた人が、その次に生成される入力画像１４０に現れなくなる可能性は低いことから、カウント部１３は、入力画像１４０に写る人の数を求める際に、状態情報５０２が「出現」を示す図形情報５００を使用しなくても良い。この場合には、カウント部１３は、例えば以下の式（２）を用いて、現フレームの入力画像１４０に写る人の総数Ｋｔｏｔａｌを求める。
【０２５９】
【数２】
0006568772.tif 000003
【０２６０】
また、図形情報５００の楕円特定情報５０３に含まれる中心座標は、当該図形情報５００に対応する人の位置を示していることから、カウント部１３は、室内３００において、エリアごとに人数を求めることができる。例えば、室内３００を４つのエリアに分割すると、カウント部１３は、当該４つのエリアのそれぞれに人が何人いるか特定することができる。
【０２６１】
図４３は、前フレームの入力画像１４０に対して行われた当てはめ処理で得られた第１楕円を、前フレームの撮影画像１１０ｘに重ねた様子の一例を示す図である。図４４は、現フレームの入力画像１４０に対して行われた当てはめ処理で得られた第２楕円を、現フレームの撮影画像１１０ｙに重ねた様子の一例を示す図である。
【０２６２】
図４３には、人２００ｚ１，２００ｚ２に対して共通に当てはめられた第１楕円２５０ｘ１２と、人２００ｚ３に対して当てはめられた第１楕円２５０ｘ３とが示されている。また図４３には、前フレームの入力画像１４０についての当てはめ処理結果１７０に基づいて更新された追跡情報５０に含まれる、状態情報５０２が「消失」を示す図形情報５００が示す消失楕円２５０ｘ４が示されている。
【０２６３】
図４４には、人２００ｚ１に当てはめられた第２楕円２５０ｙ１と、人２００ｚ２に対して当てはめられた第２楕円２５０ｙ２と、人２００ｚ３に対して当てはめられた第２楕円２５０ｙ３と、人２００ｚ４に対して当てはめられた第２楕円２５０ｙ４とが示されている。
【０２６４】
図４３に示される第１楕円２５０ｘ１２は、併合主体第１楕円２５０ｘ１２である（被併合第１楕円２５０ｘ１２とも言える）。併合主体第１楕円２５０ｘ１２は、図４４に示される２つの第２楕円２５０ｙ１，２５０ｙ２に分離している。また、消失楕円２５０ｘ４は、人２００ｚ４に当てはめられていた楕円であって、入力画像１４０に写らないようになった人２００ｚ４が、現フレームの入力画像１４０において写るようになっている。
【０２６５】
図４３，４４の例では、１次特定処理において、２つの第２楕円２５０ｙ１，２５０ｙ２が、併合主体第１楕円２５０ｘ１２に対応する第２楕円として特定される。したがって、１次更新処理では、併合主体第１楕円２５０ｘ１２の図形情報５００及び被併合第１楕円２５０ｘ１２の図形情報５００の状態情報５０２がともに「存在」に設定される。
【０２６６】
２次特定処理では、２次処理対象の第１楕円２５０ｘ３及び消失楕円２５０ｘ４に対応する第２楕円が、２次処理対象の第２楕円２５０ｙ３，２５０ｙ４から特定される。ここでは、第２楕円２５０ｙ３が、第１楕円２５０ｘ３に対応する第２楕円として特定され、第２楕円２５０ｙ４が、消失楕円２５０ｘ４に対応する第２楕円として特定される。２次更新処理において、消失楕円２５０ｘ４の図形情報５００の状態情報５０２は「消失」から「存在」に変更される。なお、図４３，４４の例では、３次処理対象の第１楕円が存在しない。
【０２６７】
図４５は、前フレームの入力画像１４０に対して行われた当てはめ処理で得られた第１楕円を、前フレームの撮影画像１１０ｘに重ねた様子の他の例を示す図である。図４６は、現フレームの入力画像１４０に対して行われた当てはめ処理で得られた第２楕円を、現フレームの撮影画像１１０ｙに重ねた様子の他の例を示す図である。
【０２６８】
図４５には、人２００ｚ１に対して当てはめられた第１楕円２５０ｘ１と、人２００ｚ２に対して当てはめられた第１楕円２５０ｘ２と、人２００ｚ３に対して当てはめられた第１楕円２５０ｘ３と、人２００ｚ４に対して当てはめられた第１楕円２５０ｘ４とが示されている。
【０２６９】
図４６には、２人の人２００ｚ１，ｚ２に対して共通に当てはめられた第２楕円２５０ｙ１２と、人２００ｚ３に対して当てはめられた第２楕円２５０ｙ３と、人２００ｚ５に対して当てはめられた第２楕円２５０ｙ５とが示されている。また図４６には、現フレームの入力画像１４０についての当てはめ処理結果１７０に基づいて更新された追跡情報５０に含まれる、状態情報５０２が「消失」を示す図形情報５００が示す消失楕円２５０ｙ４が示されている。
【０２７０】
図４５，４６の例では、前フレームでの当てはめ処理で得られた第１楕円に、併合主体第１楕円が含まれていないことから、１次処理は行われない。
【０２７１】
２次特定処理では、２次処理対象の第１楕円２５０ｘ１〜２５０ｘ４に対応する第２楕円が、２次処理対象の第２楕円２５０ｙ１２，２５０ｙ３，２５０ｙ５から特定される。この例では、第２楕円２５０ｙ３が、第１楕円２５０ｘ３に対応する第２楕円として特定される。また、第２楕円２５０ｙ１２が、第１楕円２５０ｘ１，２５０ｘ２の一方、例えば第１楕円２５０ｘ１に対応する第２楕円として特定される。２次更新処理では、第１楕円２５０ｘ１の図形情報５００が更新され、当該図形情報５００は第２楕円ｙ１２に関する情報となる。第１楕円２５０ｘ４に近い第２楕円が存在しないことから、２次特定処理では、第１楕円２５０ｘ４に対応する第２楕円は特定されない。また、第１楕円２５０ｘ１，２５０ｘ２の他方、つまり第１楕円２５０ｘ２に対応する第２楕円も特定されない。
【０２７２】
３次特定処理では、３次処理対象の第１楕円２５０ｘ２，２５０ｘ４に対応する第２楕円が、特定済み第２楕円２５０ｙ１２，２５０ｙ３から特定される。この例では、第１楕円２５０ｘ２に対応する第２楕円として、特定済み第２楕円２５０ｙ１２が特定される。第１楕円２５０ｘ４に近い特定済み第２楕円は存在しないことから、３次特定処理では、第１楕円２５０ｘ４に対応する第２楕円は特定されない。
【０２７３】
３次更新処理では、３次特定処理で新たに得られた特定済み第１楕円２５０ｘ１の図形情報５００の状態情報５０２が「被併合」に設定される。また、第１楕円２５０ｘ１に対応する第２楕円ｙ１２の図形情報５００（２次更新処理で更新された第１楕円２５０ｘ１の図形情報５００）の状態情報５０２が「併合」に設定される。
【０２７４】
また３次更新処理では、３次更新処理後の追跡情報５０に含まれる、未特定第１楕円２５０ｘ４の図形情報５００の状態情報５０２が「消失」に設定される。そして、３次更新処理では、現フレームでの当てはめ処理で得られた第２楕円のうち、未だ第１楕円が対応付けられていない未特定第２楕円２５０ｙ５の図形情報５００が生成されて、追跡情報５０に追加される。当該図形情報５００の状態情報５０２は「出現」に設定される。
【０２７５】
なお、上記の例では、１次更新処理において、併合主体楕円の図形情報５００の楕円特定情報５０３の更新した場合には、それに応じて、当該併合主体楕円が併合する被併合楕円の図形情報５００の楕円特定情報５０３を更新していたが、当該併合主体楕円が併合する被併合楕円の図形情報５００の楕円特定情報５０３を、最後、つまり３次更新処理で行っても良い。同様に、２次更新処理において、併合主体楕円の図形情報５００の楕円特定情報５０３の更新した場合には、当該併合主体楕円が併合する被併合楕円の図形情報５００の楕円特定情報５０３を、最後、つまり３次更新処理で行っても良い。
【０２７６】
また、上記の例では、併合主体楕円の図形情報５００の楕円特定情報５０３の更新に応じて、当該併合主体楕円が併合する被併合楕円の図形情報５００の楕円特定情報５０３を更新していたが、当該被併合楕円の図形情報５００の楕円特定情報５０３を更新しなくても良い。この場合には、被併合楕円の図形情報５００の楕円特定情報５０３を使用する必要がある場合には、更新されない当該楕円特定情報５０３の代わりに、当該被併合楕円を統合する統合主体楕円の図形情報５００の楕円特定情報５０３を使用する。
【０２７７】
また、上記の例では、入力画像１４０に写る人に対して楕円を当てはめていたが、他の図形を当てはめても良い。例えば、入力画像１４０に写る人に対して矩形を当てはめても良い。入力画像１４０上での対象物の位置を追跡する場合には、入力画像１４０に写る対象物の形状に応じて、当該対象物に当てはめる図形を決定することが好ましい。
【０２７８】
また、１次処理、２次処理、２．５次処理及び３次処理の実行の順番を入れ替えることが可能である。例えば、２．５次処理を１次処理の前に実行しても良い。また、２次処理を１次処理の前に実行しても良い。
【０２７９】
＜画像処理システムの利用例＞
以上のような画像処理システム１は、様々な用途で利用することができる。例えば、画像処理システム１は、室内３００の空調制御に利用することができる。例えば、カウント部１３が、室内３００の総人数を求める場合には、カウント部１３が求めた総人数が零になると、室内３００の各空調機を停止することができる。また、カウント部１３が求める総数が零から１以上に変化すると、室内３００の各空調機を動作せることができる。また、カウント部１３が、室内３００の各エリアでの人数を求める場合には、人数が多いエリアの温度を下げたり、人数が少ないエリアの温度を上げたりすることができる。
【０２８０】
また、画像処理システム１は、室内３００の照明制御に利用することができる。例えば、カウント部１３が、室内３００の総人数を求める場合には、カウント部１３が求めた総人数が零になると、室内３００の各照明器具を消灯することができる。また、カウント部１３が求める総数が零から１以上に変化すると、室内３００の各照明器具を点灯させることができる。また、カウント部１３が、室内３００の各エリアでの人数を求める場合には、人数が零になったエリアだけの照明器具を消灯することができる。
【０２８１】
また、画像処理システム１は、室内３００の入退室管理に利用することができる。例えば、カウント部１３が、室内３００の総人数を求める場合には、カウント部１３が求めた総人数が零になると、室内３００から人がすべて退出したと判断して、室内３００を監視するセキュリティシステムを動作させることができる。
【０２８２】
また、画像処理システム１は、室内３００を自動で掃除する掃除ロボットの制御に利用することができる。例えば、随時更新される追跡情報５０を監視し、その監視結果から、室内３００において人が多くの時間存在していたエリアを特定する。そして、そのエリアを重点的に掃除するように掃除ロボットを制御することができる。
【０２８３】
また、画像処理システム１はマーケティングに利用することができる。例えば、カメラ２が美術館に設置され、画像処理装置３が美術館での人の位置を追跡する場合には、追跡情報５０を監視することによって、人が良く集まる展示物、つまり人気のある展示物を特定することができる。
【０２８４】
また、画像処理システム１は、駐車場管理に利用することができる。例えば、カメラ２が駐車場に設置され、画像処理装置３が駐車場での車の位置を追跡する場合には、カウント部１３で駐車場内の車の台数を求めることができる。これにより、駐車場に空きがあるか否かを自動判定することができる。
【０２８５】
また、画像処理システム１は、養殖において利用することができる。例えば、養殖場での生け簀内の様子をカメラ２で撮影し、画像処理装置３がカメラ２での撮影画像に基づいて生け簀内の養殖魚の数を求めることができる。
【０２８６】
また、画像処理システム１は、牧場において利用することができる。例えば、牧場の様子カメラ２で撮影し、画像処理装置３がカメラ２での撮像画像に基づいて牧場での馬あるいは羊の数を求めることができる。
【０２８７】
以上のように、画像処理装置３は、入力画像１４０に写る人に対して図形を当てはめ、当該図形の入力画像１４０上での位置を追跡することによって、入力画像１４０上での人の位置を追跡している。したがって、画像処理装置３の処理負荷を低減することができる。
【０２８８】
＜各種変形例＞
以下に各種変形例について説明する。
【０２８９】
＜第１変形例＞
人が室内３００を同じ距離だけ移動したとしても、カメラ２と人との距離が離れるにつれて、入力画像１４０（撮像画像１１０）上では人の移動距離は小さくなる。したがって、人の入力画像１４０上の移動距離は、入力画像１４０における、カメラ２の位置に対応する位置、つまり入力画像１４０の中心１４１から離れるほど小さくなる。つまり、人の入力画像１４０上の移動距離は、中心１４１から近い位置では大きくなるが、中心１４１から遠い位置では小さくなる。よって、入力画像１４０の中心に近い位置では、前フレームの入力画像１４０に写る人と、現フレームの入力画像１４０に写る人との間の距離がある程度大きい場合であっても、それらの人は同一人物であると言えるが、入力画像１４０の中心から遠い位置では、当該距離がある程度小さくないと、それらの人は同一人物であるとは言えない。
【０２９０】
そこで、本変形例では、２次特定処理において、選択第１楕円の位置（例えば選択第１楕円の中心）が入力画像１４０の中心１４１から離れるほど、選択第１楕円と最近傍第２楕円との間の距離と比較される第５しきい値を小さくする。これにより、選択第１楕円が当てはめられた人と同一の人に対して当てはめられた第２楕円を適切に特定することができる。
【０２９１】
本変形例では、第５しきい値は複数段階に変化する。例えば、第５しきい値は、値Ａ１〜Ａ４の４段階に変換する。ここで、Ａ１＜Ａ２＜Ａ３＜Ａ４である。図４７に示されるように、選択第１楕円の位置が、中心１４１からの距離がｄ１までの領域ＡＲ１内に存在する場合には、第５しきい値はＡ４に設定される。選択第１楕円の位置が、中心１４１からの距離がｄ１からｄ２（＞ｄ１）までの領域ＡＲ２内に存在する場合には、第５しきい値はＡ３に設定される。選択第１楕円の位置が、中心１４１からの距離がｄ２からｄ３（＞ｄ２）までの領域ＡＲ３内に存在する場合には、第５しきい値はＡ２に設定される。そして、選択第１楕円の位置が、中心１４１からの距離がｄ３よりも大きい領域ＡＲ４内に存在する場合には、第５しきい値はＡ１に設定される。第５しきい値の変化の態様はこの限りではない。例えば、第５しきい値は２段階に変化しても良い。
【０２９２】
なお、カメラ２が水平画角１８０度のカメラである場合には、入力画像１４０における、カメラ２の位置に対応する位置１４５は、図４８のようになる。位置１４５は、入力画像１４０における、水平方向に延びる一辺１４６の長手方向の中心に存在する。このような場合には、領域ＡＲ１〜ＡＲ５は図４８に示されるようになる。位置１４５は、入力画像１４０上において、撮影画像１１０に写る人の俯瞰角度が撮影画像１１０で最大となる位置（俯瞰角度最大位置）に対応する対応位置でもある。
【０２９３】
＜第２変形例＞
上述のように、人の入力画像１４０上の移動距離は、入力画像１４０の中心１４１から離れるほど小さくなる。したがって、上述の図４２に示されるように、複数の第１楕円２５０ｘ１〜２５０ｘ３が当てはめられた複数の人２００に対して１つの第２楕円２５０ｙが当てはめられた場合、入力画像１４０上での当該複数の第１楕円２５０ｘ１〜２５０ｘ３の位置は、中心１４１から離れるほど、入力画像１４０上での第２楕円２５０ｙの位置に近くなる。
【０２９４】
そこで、本変形例では、３次特定処理において、３次処理対象の第１楕円の位置（例えば第１楕円の中心）が、入力画像１４０の中心１４１から離れるほど、当該第１楕円に近い特定済み第２楕円が存在するか否かを判定する際に使用される第６しきい値を小さくする。これにより、３次処理対象の第１楕円が特定済み第２楕円に併合されているか否かをより適切に判定することができる。
【０２９５】
本変形例では、第６しきい値は、第１変形例での第５しきい値と同様に、例えば、値Ｂ１〜Ｂ４の４段階に変換する。ここで、Ｂ１＜Ｂ２＜Ｂ３＜Ｂ４である。上述の図４７，４８に示されるように、３次処理対象の第１楕円の位置が領域ＡＲ１内に存在する場合には、第６しきい値はＢ４に設定される。３次処理対象の第１楕円の位置が領域ＡＲ２内に存在する場合には、第６しきい値はＢ３に設定される。３次処理対象の第１楕円の位置が領域ＡＲ３内に存在する場合には、第６しきい値はＢ２に設定される。そして、３次処理対象の第１楕円の位置が領域ＡＲ４内に存在する場合には、第６しきい値はＢ１に設定される。第６しきい値の変化の態様はこの限りではない。
【０２９６】
＜第３変形例＞
撮像画像１１０において、俯瞰角度最大位置から離れるほど、人は、俯瞰角度最大位置から外側に向かう方向に沿って延びるように写る。そのため、当てはめ処理において、入力画像１４０に写る１人の人に対して複数の楕円が当てはめられた場合、入力画像１４０における、俯瞰角度最大位置に対応する位置から離れるほど、当該複数の楕円の間の距離は大きくなる傾向にある。上記の例では、入力画像１４０における、俯瞰角度最大位置に対応する位置は、入力画像１４０の中心１４１である。したがって、当てはめ処理において、入力画像１４０に写る１人の人に対して複数の楕円が当てはめられた場合、入力画像１４０の中心１４１から離れるほど、当該複数の楕円の間の距離は大きくなる傾向にある。
【０２９７】
そこで、本変形例では、楕円統合処理において、第１及び第２対象楕円を統合して得られる統合楕円の位置（例えば統合楕円の中心の位置）が入力画像１４０の中心１４１から離れるほど、当該第１及び第２対象楕円が第１条件を満足しているか否かを判定する際に使用される第１しきい値を大きくする。この場合には、上述の図１４に示されるフローチャーにおいて、ステップｓ３４６の前に、統合楕円が求められる。これにより、第１及び第２対象楕円が１人の人に対して当てはめられているか否かをより適切に判断することができる。
【０２９８】
本変形例では、第１しきい値は、例えば、値Ｃ１〜Ｃ４の４段階に変換する。ここで、Ｃ１＜Ｃ２＜Ｃ３＜Ｃ４である。上述の図４７，４８に示されるように、統合楕円の位置が領域ＡＲ１内に存在する場合には、第１しきい値はＣ１に設定される。統合楕円の位置が領域ＡＲ２内に存在する場合には、第１しきい値はＣ２に設定される。統合楕円の位置が領域ＡＲ３内に存在する場合には、第１しきい値はＣ３に設定される。そして、統合楕円の位置が領域ＡＲ４内に存在する場合には、第１しきい値はＣ４に設定される。第１しきい値の変化の態様はこの限りではない。
【０２９９】
なお、統合楕円の大きさは、入力画像１４０の中心から離れるほど大きくなる。したがって、楕円統合処理では、第３条件が満足しているか否かを判定する際に、統合楕円の大きさと比較される第２しきい値を、第１しきい値と同様に変化させても良い。
【０３００】
また、カメラ２と人との距離が大きい場合には、撮像画像１１０において、当該人は小さく写ることになる。カメラ２の撮影範囲が狭い場合には、カメラ２と人との距離の影響をあまり受けずに、撮像画像１１０において、俯瞰角度最大位置から離れるほど、人は延びるように写る。一方で、カメラ２の撮影範囲が広い場合には、俯瞰角度最大位置（カメラ２の位置に対応する位置）からある程度以上離れると、カメラ２と人との距離の影響を受けて、逆に、俯瞰角度最大位置から離れるほど人は縮んで写るようになる。
【０３０１】
このような場合には、統合楕円の位置が、入力画像１４０の中心１４１から所定範囲内に存在する場合には、当該統合楕円の位置が中心１４１から離れるほど第１しきい値を大きくする。そして、統合楕円の位置が所定範囲外に存在する場合には、当該統合楕円の位置が中心１４１から離れるほど第１しきい値を小さくする。例えば、図４９に示されるように、統合楕円の位置が、入力画像１４０の中心１４１から距離ｄ１４までの所定範囲１４９内に存在する場合には、当該統合楕円の位置が中心１４１から離れるほど第１しきい値を大きくする。例えば、統合楕円の位置が、中心１４１からの距離がｄ１１までの領域ＡＲ１１内に存在する場合には、第１しきい値はＣ１に設定される。統合楕円の位置が、中心１４１からの距離がｄ１１からｄ１２（＞ｄ１１）までの領域ＡＲ１２内に存在する場合には、第１しきい値はＣ２に設定される。統合楕円の位置が、中心１４１からの距離がｄ１２からｄ１３（＞ｄ１２）までの領域ＡＲ１３内に存在する場合には、第１しきい値はＣ３に設定される。そして、統合楕円の位置が、中心１４１からの距離がｄ１３からｄ１４（＞ｄ１３）までの領域ＡＲ１４内に存在する場合には、第１しきい値はＣ４に設定される。なお、図４９において、所定範囲１４９は斜線で示されている。
【０３０２】
一方で、統合楕円の位置が所定範囲１４９外に存在する場合には、当該統合楕円の位置が中心１４１から離れるほど第１しきい値を小さくする。例えば、統合楕円の位置が、中心１４１からの距離がｄ１４からｄ１５（＞ｄ１５）までの領域ＡＲ１５内に存在する場合には、第１しきい値はＣ３に設定される。そして、統合楕円の位置が、中心１４１からの距離がｄ１５よりも大きい領域ＡＲ１６内に存在する場合には、第１しきい値はＣ２に設定される。
【０３０３】
このように、統合楕円の位置に応じて第１しきい値を変化させることにより、俯瞰角度最大位置からある程度以上離れると、カメラ２と人との距離の影響を受けて、逆に、俯瞰角度最大位置から離れるほど人は縮んで写るようになる場合であっても、第１及び第２対象楕円が１人の人に対して当てはめられているか否かをより適切に判断することができる。
【０３０４】
なお、カメラ２が水平画角１８０度のカメラである場合には、所定範囲１４９、領域ＡＲ１１〜ＡＲ１６は、例えば図５０のようになる。
【０３０５】
また、俯瞰角度最大位置からある程度以上離れると、カメラ２と人との距離の影響を受けて、逆に、俯瞰角度最大位置から離れるほど人は縮んで写るようになる場合には、第２しきい値を第１しきい値と同様に変化させてもよい。
【０３０６】
＜第４変形例＞
上述のように、撮像画像１１０において、俯瞰角度最大位置から離れるほど、人は延びるように写る。そのため、１つの第１楕円が当てはめられていた２人の人に対して、２つの第２楕円がそれぞれ当てはめられた場合、第１楕円の大きさと、各第２楕円の大きさとの差は、入力画像１４０の中心１４１から離れるほど大きくなる。
【０３０７】
そこで、本変形例では、１次特定処理において、併合主体第１楕円の位置が、入力画像１４０の中心から離れるほど、当該併合主体第１楕円の大きさから、最近傍第２楕円の大きさを差し引いて得られる差分値と比較される第４しきい値を大きくする。これにより、併合主体第１楕円が複数の楕円に分離したことをより適切に判定することができる。第４しきい値は、例えば、上記の第３変形例での第１しきい値と同様に変化させることができる。
【０３０８】
なお、上述のように、俯瞰角度最大位置からある程度以上離れると、カメラ２と人との距離の影響を受けて、俯瞰角度最大位置から離れるほど人が縮んで写るようになる場合がある。このような場合には、上記の第３変形例と同様に、併合楕円の位置が、入力画像１４０の中心１４１から所定範囲内に存在する場合には、当該併合楕円の位置が中心１４１から離れるほど第４しきい値を大きくする。そして、併合楕円の位置が所定範囲外に存在する場合には、当該併合楕円の位置が中心１４１から離れるほど第４しきい値を小さくする。
【０３０９】
＜第５変形例＞
撮像画像１１０において、人の俯瞰角度が大きい位置では、人は、俯瞰角度最大位置から離れる方向に沿って延びるようには写らないことがある。
【０３１０】
そこで、本変形例では、楕円統合処理において、第１対象楕円と第２対象楕円とを統合して得られる統合楕円の位置（例えば統合楕円の中心）と、入力画像１４０の中心１４１との差が第７しきい値以下の場合には、第２条件を使用しない。つまり、第１対象楕円と第２対象楕円とを統合して得られる統合楕円の位置と、入力画像１４０の中心１４１との差が第７しきい値以下の場合には、第２条件を満足するか否かにかかわらず、第１条件及び第３条件を満足するときには、当該第１及び第２対象楕円が１人の人に対して当てはめられたと判断する。言い換えれば、第１対象楕円と第２対象楕円とを統合して得られる統合楕円が、入力画像１４０の中心１４１から所定範囲内に位置する場合には、第２条件を満足するか否かにかかわらず、第１条件及び第３条件を満足するときには、当該第１及び第２対象楕円が１人の人に対して当てはめられたと判断する。一方で、第１対象楕円と第２対象楕円とを統合して得られる統合楕円の位置と、入力画像１４０の中心１４１との差が第７しきい値以上の場合には、上記と同様に、第１条件、第２条件及び第３条件を満足するときに、当該第１及び第２対象楕円が１人の人に対して当てはめられたと判断する。これにより、第１及び第２対象楕円が１人の人に対して当てはめられているか否かをより適切に判断することができる。
【０３１１】
なお、統合楕円の位置と、入力画像１４０の中心１４１との差が第７しきい値未満の場合に、第２条件を使用しなくても良い。
【０３１２】
以上のように、画像処理システム１は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この発明がそれに限定されるものではない。また、上述した各種変形例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
【符号の説明】
【０３１３】
１  画像処理システム
２  カメラ
３  画像処理装置
６  制御プログラム
１０  画像処理部
１１  当てはめ処理部
１２  追跡処理部
１３  カウント部
【図１】
0006568772.tif 000004
【図２】
0006568772.tif 000005
【図３】
0006568772.tif 000006
【図４】
0006568772.tif 000007
【図５】
0006568772.tif 000008
【図６】
0006568772.tif 000009
【図７】
0006568772.tif 000010
【図８】
0006568772.tif 000011
【図９】
0006568772.tif 000012
【図１０】
0006568772.tif 000013
【図１１】
0006568772.tif 000014
【図１２】
0006568772.tif 000015
【図１３】
0006568772.tif 000016
【図１４】
0006568772.tif 000017
【図１５】
0006568772.tif 000018
【図１６】
0006568772.tif 000019
【図１７】
0006568772.tif 000020
【図１８】
0006568772.tif 000021
【図１９】
0006568772.tif 000022
【図２０】
0006568772.tif 000023
【図２１】
0006568772.tif 000024
【図２２】
0006568772.tif 000025
【図２３】
0006568772.tif 000026
【図２４】
0006568772.tif 000027
【図２５】
0006568772.tif 000028
【図２６】
0006568772.tif 000029
【図２７】
0006568772.tif 000030
【図２８】
0006568772.tif 000031
【図２９】
0006568772.tif 000032
【図３０】
0006568772.tif 000033
【図３１】
0006568772.tif 000034
【図３２】
0006568772.tif 000035
【図３３】
0006568772.tif 000036
【図３４】
0006568772.tif 000037
【図３５】
0006568772.tif 000038
【図３６】
0006568772.tif 000039
【図３７】
0006568772.tif 000040
【図３８】
0006568772.tif 000041
【図３９】
0006568772.tif 000042
【図４０】
0006568772.tif 000043
【図４１】
0006568772.tif 000044
【図４２】
0006568772.tif 000045
【図４３】
0006568772.tif 000046
【図４４】
0006568772.tif 000047
【図４５】
0006568772.tif 000048
【図４６】
0006568772.tif 000049
【図４７】
0006568772.tif 000050
【図４８】
0006568772.tif 000051
【図４９】
0006568772.tif 000052
【図５０】
0006568772.tif 000053