(57)【要約】【課題】複数の対象物を精度よく追跡すること。【解決手段】カメラ５と、記憶装置５５０と、画像処理装置５００とを有する。記憶装置５５０は、カメラ５によって撮影された撮影画像を記憶する。画像処理装置５００は、記憶装置５５０を参照し、過去の撮影画像を基にして、現在の撮影画像に含まれる対象物の領域を予測する処理を、現在の撮影画像に含まれる複数の対象物に対してそれぞれ実行する。画像処理装置５００は、予測した各対象物の領域を組み合わせた組合せ領域と、背景画像および現在の撮影画像により特定される差分領域とを基にして、予測した各対象物の領域を修正するか否かを評価する。画像処理装置５００は、評価結果を基にして、予測した各対象物の領域を修正する。【選択図】図２０
2018084926.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、記憶装置と、画像処理装置とを有する画像処理システムであって、
前記記憶装置は、前記カメラによって撮影された撮影画像を記憶し、
前記画像処理装置は、
前記記憶装置を参照し、過去の撮影画像を基にして、現在の撮影画像に含まれる対象物の領域を予測する処理を、前記現在の撮影画像に含まれる複数の対象物に対してそれぞれ実行する予測部と、
前記予測部によって予測された各対象物の領域を組み合わせた組合せ領域と、背景画像および前記現在の撮影画像により特定される差分領域とを基にして、前記予測部によって予測された各対象物の領域を修正するか否かを評価する評価部と、
前記評価部の評価結果を基にして、前記予測部によって予測された各対象物の領域を修正する修正部とを有することを特徴とする画像処理システム。
【請求項２】
前記修正部は、前記組合せ領域の位置を移動させつつ、前記過去の撮影画像に含まれる各利用者の領域を組み合わせた領域の画像および前記組合せ領域の画像の類似度と、前記組合せ領域および前記差分領域の重なり率とを加味したパラメータが最大となる前記組合せ領域の位置を探索し、探索した組合せ領域の位置を、各対象物の領域の修正後の位置に設定することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記修正部は、前記差分領域のうち前記組合せ領域が重なっていない領域の第１重心と、各対象物の領域の第２重心とをそれぞれ比較して、前記第１重心に最も近い第２重心に対応する対象物の領域を特定し、特定した対象物の領域を修正することを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記修正部は、撮影画像に含まれる対象物の特徴領域を用いて、前記予測部によって予測された各対象物の領域を修正することを特徴とする請求項２に記載の画像処理システム。
【請求項５】
同時刻に撮影条件の異なる複数のカメラにより撮影された複数の撮影画像から、対象物の領域が最も大きい撮影画像を選択する選択部を更に有し、前記予測部、前記評価部、前記修正部は、前記選択部により選択された画像を用いて処理を実行することを特徴とする請求項１〜４のうちいずれか一つに記載の画像処理システム。
【請求項６】
過去の撮影画像を基にして、現在の撮影画像に含まれる対象物の領域を予測する処理を、前記現在の撮影画像に含まれる複数の対象物に対してそれぞれ実行する予測部と、
前記予測部によって予測された各対象物の領域を組み合わせた組合せ領域と、背景画像および前記現在の撮影画像により特定される差分領域とを基にして、前記予測部によって予測された各対象物の領域を修正するか否かを評価する評価部と、
前記評価部の評価結果を基にして、前記予測部によって予測された各対象物の領域を修正する修正部と
を有することを特徴とする画像処理装置。
【請求項７】
コンピュータが実行する画像処理方法であって、
過去の撮影画像を基にして、現在の撮影画像に含まれる対象物の領域を予測する処理を、前記現在の撮影画像に含まれる複数の対象物に対してそれぞれ実行し、
予測された各対象物の領域を組み合わせた組合せ領域と、背景画像および前記現在の撮影画像により特定される差分領域とを基にして、前記予測された各対象物の領域を修正するか否かを評価し、
評価結果を基にして、前記予測された各対象物の領域を修正する
処理を実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム等に関する。
【背景技術】
【０００２】
近年、監視カメラの普及に伴い、監視カメラに撮影された撮影画像内の人物の位置を検出するだけでなく、撮影画像内の人物の数、移動量、移動軌跡等の情報を特定することが求められている。特定した情報は、商業施設の監視用途のみならず、スポーツ分野においても活用することができる。
【０００３】
ここで、ショッピングモールや体育館等の施設に設置された監視カメラの撮影画像には、不特定多数の人物が存在する場合が多く、また、各人物が重なってしまう場合もあるため、各人物をそれぞれ追跡することが難しい。
【０００４】
上記問題に対応する技術として、例えば、従来技術１〜３がある。従来技術１は、天井に複数のカメラを設置することで人物同士の重なりを抑えると共に、各人物の頭部を認識し、ステレオ画像の原理に基づいて、各人物の位置を特定する技術である。
【０００５】
従来技術２は、人物の速度や移動方向がある程度一定であることを前提とした統計情報に基づき、複数のカメラに映る人物を、時系列に繋ぎ、追跡情報を作成する技術である。
【０００６】
従来技術３は、重なり方に応じた合成特徴量と呼ぶテンプレートを用意しておき、かかる合成特徴量を用いて、重なった各物体を区別し、各物体を追従する技術である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１４３７２２号公報
【特許文献２】特表２０１３−５５４２７１号公報
【特許文献３】特開２００４−０９６４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来技術では、複数の対象物を精度よく追跡することができないという問題がある。
【０００９】
例えば、従来技術１では、人物の数を計数することは可能であるが、頭部という特徴の少ない部分を用いるため、混雑時や交差時に正しい追跡を行うことが難しい。また、広域を撮影した場合や遠方の人物についても、特徴量が少ないため、認識が困難である。
【００１０】
従来技術２は、人物の速度や移動方向がある程度一定であることを前提としているが、混雑時の人物の動きや、スポーツを行う人物の動きは一定とならない場合が多いため、追跡情報の精度が低下する。
【００１１】
従来技術３は、人物の姿勢が複数考えられる場合や、人物の数が多い場合に、合成特徴量の数が増大するため、全てのパターンを網羅した合成特徴量を準備することが難しく、複数の対象物を精度良く追従することができない。
【００１２】
１つの側面では、本発明は、複数の対象物を精度よく追跡することができる画像処理システム、画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
第１の案では、カメラと、記憶装置と、画像処理装置とを有する。記憶装置は、カメラによって撮影された撮影画像を記憶する。画像処理装置は、予測部と、評価部と、修正部とを有する。予測部は、記憶装置を参照し、過去の撮影画像を基にして、現在の撮影画像に含まれる対象物の領域を予測する処理を、現在の撮影画像に含まれる複数の対象物に対してそれぞれ実行する。評価部は、予測部によって予測された各対象物の領域を組み合わせた組合せ領域と、背景画像および現在の撮影画像により特定される差分領域とを基にして、予測部によって予測された各対象物の領域を修正するか否かを評価する。修正部は、評価部の評価結果を基にして、予測部によって予測された各対象物の領域を修正する。
【発明の効果】
【００１４】
複数の対象物を精度よく追跡することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本実施例１に係る画像処理装置の一例を示す図である。
【図２】図２は、本実施例１に係る画像処理装置の構成を示す機能ブロック図である。
【図３】図３は、映像情報のデータ構造の一例を示す図である。
【図４】図４は、追跡テーブルのデータ構造の一例を示す図である。
【図５】図５は、再計算テーブルのデータ構造の一例を示す図である。
【図６】図６は、背景差分処理を説明するための図（１）である。
【図７】図７は、背景差分処理を説明するための図（２）である。
【図８】図８は、予測位置の算出を説明するための図である。
【図９】図９は、予測位置の評価を説明するための図である。
【図１０】図１０は、評価部の処理を説明するための図である。
【図１１】図１１は、本実施例１に係る画像処理装置の処理手順を示すフローチャートである。
【図１２】図１２は、各人物の仮決め位置を再評価する処理を示すフローチャートである。
【図１３】図１３は、各人物の位置を再計算する処理を示すフローチャートである。
【図１４】図１４は、本実施例２に係る画像処理装置の構成を示す機能ブロック図である。
【図１５】図１５は、本実施例２に係る修正部の処理を説明するための図である。
【図１６】図１６は、本実施例３に係る画像処理装置の構成を示す機能ブロック図である。
【図１７】図１７は、本実施例３に係る修正部の処理を説明するための図である。
【図１８】図１８は、本実施例４に係る画像処理装置の構成を示す機能ブロック図である。
【図１９】図１９は、本実施例４に係る選択部の処理を説明するための図である。
【図２０】図２０は、画像処理システムの一例を示す図である。
【図２１】図２１は、画像処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下に、本願の開示する画像処理システム、画像処理装置および画像処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例１】
【００１７】
図１は、本実施例１に係る画像処理装置の一例を示す図である。図１に示すように、画像処理装置１００は、天井４に設置されたカメラ５ａ，５ｂに接続される。カメラ５ａ，５ｂは、撮影範囲の映像の情報を、画像処理装置１００に出力する。以下の説明では、カメラ５ａ，５ｂをまとめて適宜、カメラ５と表記する。また、映像の情報を、映像情報と表記する。映像情報は、時系列に並んだ複数の画像データを含む。画像データは、あるタイミングにおいて、カメラ５が撮影した静止画像の情報を示すものである。
【００１８】
画像処理装置１００は、カメラ５から取得した映像情報に対して画像処理を実行することで、映像情報に含まれる各利用者の位置を追跡する処理部である。図２は、本実施例１に係る画像処理装置の構成を示す機能ブロック図である。図２に示すように、この画像処理装置１００は、インタフェース部１１０と、表示部１２０と、記憶部１３０と、制御部１４０とを有する。
【００１９】
インタフェース部１１０は、各種の外部装置に接続し、データ通信を実行する処理部である。例えば、インタフェース部１１０は、図１に示したカメラ５に接続し、カメラ５から映像情報を取得する。インタフェース部１１０は、映像情報を、制御部１４０に出力する。インタフェース部１１０は、その他に、キーボード等の入力装置に接続されていてもよく、利用者から入力される情報を受け付けても良い。
【００２０】
表示部１２０は、制御部１４０から出力する情報を表示する表示装置である。例えば、表示部１２０は、液晶ディスプレイやタッチパネル等に対応する。
【００２１】
記憶部１３０は、映像情報１３１と、追跡テーブル１３２と、再計算テーブル１３３とを有する。記憶部１３０は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子や、ＨＤＤ（Hard  Disk  Drive）などの記憶装置に対応する。
【００２２】
映像情報１３１は、カメラ５により撮影された映像情報に対応する。図３は、映像情報のデータ構造の一例を示す図である。図３に示すように、この映像情報１３１は、カメラ識別番号と、時刻と、画像データとを対応付ける。カメラ識別番号は、カメラを一意に識別する情報である。時刻は、カメラが画像データを撮影した時刻を示す。画像データは、該当するカメラにより、該当する時刻に撮影された画像データを示す。
【００２３】
追跡テーブル１３２は、各時刻における各人物の位置の情報を保持するテーブルである。図４は、追跡テーブルのデータ構造の一例を示す図である。図４に示すように、この追跡テーブルは、カメラ識別番号と、時刻と、人物識別情報と、位置座標と、人物領域とを対応付ける。カメラ識別番号、時刻に関する説明は、図３で説明したカメラ識別番号、時刻に関する説明と同様である。
【００２４】
人物識別情報は、該当する時刻に撮影された画像データに含まれる人物を一意に識別する情報である。位置座標は、該当する時刻に撮影された人物の重心の座標を示すものである。人物領域は、該当する時刻に撮影された画像データに含まれる人物の領域を示すものである。ここでは説明を省略するが、人物領域は、人物の領域の左上座標および右下座標によって示されても良い。
【００２５】
再計算テーブル１３３は、後述する修正部１４４により使用されるテーブルである。図５は、再計算テーブルのデータ構造の一例を示す図である。図５に示すように、再計算テーブル１３３は、領域識別情報と、位置座標と、Ｅｖａｌ値とを対応付ける。
【００２６】
領域識別情報は、各人物の領域をそれぞれ組み合わせた領域を一意に識別する情報である。以下の説明では、各人物の領域をそれぞれ組み合わせた領域を、「組合せ領域」と表記する。位置座標は、組合せ領域に含まれる各人物の各位置座標を示す。Ｅｖａｌ値は、該当する組合せ領域がどれほど適切であるかを示すパラメータである。Ｅｖａｌ値に関する具体的な説明は後述する。
【００２７】
制御部１４０は、受付部１４１と、予測部１４２と、評価部１４３と、修正部１４４とを有する。制御部１４０は、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などによって実現できる。また、制御部１４０は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などのハードワイヤードロジックによっても実現できる。
【００２８】
受付部１４１は、インタフェース部１１０を介して、カメラ５から映像情報１３１を受け付ける処理部である。受付部１４１は、受け付けた映像情報１３１を、記憶部１３０に格納する。受付部１４１は、カメラ５から新たな映像情報を受け付けた場合には、受け付けた新たな映像情報を、映像情報１３１に追加する。
【００２９】
予測部１４２は、映像情報１３１および追跡テーブル１３２を基にして、時刻ｔの人物の位置を予測する処理部である。予測部１４２は、背景差分処理、予測位置の算出、予測位置の評価を順に実行する。
【００３０】
予測部１４２が実行する、背景差分処理の一例について説明する。図６および図７は、背景差分処理を説明するための図である。図６に示すように、予測部１４２は、時刻ｔの画像データＩｔと、背景画像Ｂｔとの差分を取ることで、差分画像Ｍｔを生成する。予測部１４２は、時刻ｔの画像データＩｔを、映像情報１３１から取得する。予測部１４２は、背景画像Ｂｔとして、予め用意しておいた画像データを用いる。
【００３１】
例えば、差分画像Ｍｔの座標（ｕ，ｖ）の画素値は、式（１）により定義される。式（１）において、Ｉｔ（ｕ，ｖ）は、画像データＩｔの座標（ｕ，ｖ）の画素値を示す。Ｂｔ（ｕ，ｖ）は、背景画像Ｂｔの座標（ｕ，ｖ）の画素値を示す。
【００３２】
【数１】
2018084926.tif 000003
【００３３】
なお、画像データＩｔと、背景画像Ｂｔとの差分を取るだけでは、人物領域以外の領域が差分画像Ｍｔに残る場合がある。このため、予測部１４２は、予め設定した人物のサイズと、差分画像Ｍｔに残る各領域とを比較し、予め設定した人物のサイズに近いサイズの領域を、人物の候補として特定する。例えば、予測部１４２は、予め設定した人物のサイズと、差分画像Ｍｔに残る各領域のサイズとの差が閾値未満となる領域を、人物の領域候補として特定する。
【００３４】
図７に示す例では、差分画像Ｍｔに、領域６ａ，６ｂ，６ｃが含まれる。例えば、予測部１４２は、予め設定した人物のサイズと、領域６ａ，６ｂ，６ｃとを比較する。このうち、領域６ａ，６ｂのサイズと、予め設定した人物のサイズとの差が閾値以上となり、領域６ｃのサイズと、予め設定した人物のサイズとの差が閾値未満となるものとする。この場合には、予測部１４２は、領域６ｃを、人物の領域候補として特定する。以下の説明では、図６、図７で説明した背景差分処理により特定した、人物の候補領域を、適宜、「第１候補領域」と表記する。図７に示す例では、領域６ｃが、第１候補領域となる。
【００３５】
続いて、予測部１４２が実行する予測位置の算出について説明する。図８は、予測位置の算出を説明するための図である。図８では一例として、時刻ｔの人物の予測位置を、時刻ｔ−１、時刻ｔ−２の人物の位置座標を基にして算出する例を示す。予測部１４２は、時刻ｔ−１、時刻ｔ−２の人物の位置座標の情報を、追跡テーブル１３２から取得する。
【００３６】
例えば、時刻ｔ−１の人物の位置座標を（ｘｔ−１，ｙｔ−１）とする。時刻ｔ−２の人物の位置座標を（ｘｔ−２，ｙｔ−２）とする。予測部１４２は、時刻ｔ−２から時刻ｔ−１までの移動ベクトルを特定する。予測部１４２は、位置座標（ｘｔ−１，ｙｔ−１）を基準とした移動ベクトルの先の座標を、時刻ｔの人物の予測位置（ｘｔ，ｙｔ）として特定する。
【００３７】
なお、予測部１４２が、時刻ｔの人物の予測位置を特定する処理は、特開２０１０−１９９７０１に記載されたカルマンフィルタや、オプティカルフロー等の技術を用いて特定しても良い。
【００３８】
続いて、予測部１４２が実行する予測位置の評価について説明する。図９は、予測位置の評価を説明するための図である。予測部１４２は、時刻ｔ−１の人物の位置の画像と、時刻ｔの予測位置の画像とを比較し、類似しているか否かを評価する。ここで、時刻ｔ−１の人物の位置の画像は、時刻ｔ−１の画像データにおいて、時刻ｔ−１の人物領域の画像に対応する。時刻ｔの予測位置の画像は、時刻ｔの画像データにおける予測位置（ｘｔ，ｙｔ）を基準とする所定範囲の画像である。所定範囲は予め設定される。
【００３９】
予測部１４２は、時刻ｔ−１の人物の位置の画像と、時刻ｔの予測位置の画像との類似度ｅを、式（２）に基づいて算出する。ｆｔ（ｘ＋ｍ，ｙ＋ｎ）は、時刻ｔの予測位置の画像において、座標（ｘ＋ｍ，ｙ＋ｎ）の画素値を示す。ｆｔ（ｘ＋ｍ−ｉ，ｙ＋ｎ−ｊ）は、時刻ｔ−１の人物領域の画像において、座標（ｘ＋ｍ−ｉ，ｙ＋ｎ−ｊ）の画素値を示す。ｉ，ｊには、予め設定された値が代入される。
【００４０】
【数２】
2018084926.tif 000004
【００４１】
予測部１４２は、類似度ｅが閾値以上である場合には、時刻ｔ−１の人物の位置の画像と、時刻ｔの予測位置の画像とが類似していると判定する。一方、予測部１４２は、類似度ｅが閾値未満である場合には、時刻ｔ−１の人物の位置の画像と、時刻ｔの予測位置の画像とが類似していないと判定する。
【００４２】
予測部１４２は、類似度ｅが閾値未満である場合には、時刻ｔの予測位置をずらし、類似度ｅを再度算出する。予測部１４２は、類似度ｅが閾値以上となるまで、上記処理を繰り返し実行する。
【００４３】
予測部１４２は、類似度ｅが閾値以上である場合には、時刻ｔの予測位置を、時刻ｔにおける人物の仮決め位置として特定する。
【００４４】
図９において、時刻ｔ−１の人物の位置の画像を、画像７ａとする。時刻ｔの予測位置の画像を、画像８ａとする。予測部１４２は、画像７ａと画像８ａとの類似度ｅ１を算出する。例えば、類似度ｅ１が閾値未満である場合に、予測部１４２は、時刻ｔの予測位置をずらして、時刻ｔの予測位置の画像を、画像８ｂとする。予測部１４２は、画像７ａと画像８ｂとの類似度ｅ２を算出する。類似度ｅ２が閾値以上となる場合に、画像８ｂの位置（重心位置）を、時刻ｔにおける人物の仮決め位置として特定する。
【００４５】
予測部１４２は、映像情報１３１に複数の人物が存在する場合には、各人物について、背景差分処理、予測位置の算出、予測位置の評価を実行し、各人物の仮決め位置を特定する。予測部１４２は、時刻ｔにおける、各人物に対する第１候補領域の情報、仮決め位置の情報を、評価部１４３に出力する。
【００４６】
図２の説明に戻る。評価部１４３は、時刻ｔにおける各人物の仮決め位置が適切な位置であるか否かを評価する処理部である。評価部１４３は、各人物の仮決め位置が適切な位置であると評価した場合には、時刻ｔにおける各人物の仮決め位置を、位置座標として、追跡テーブル１３２に登録する。一方、評価部１４３は、各人物の仮決め位置が適切な位置でないと評価した場合には、時刻ｔにおける各人物の仮決め位置の情報、各人物に対する第１候補領域の情報を、修正部１４４に出力する。
【００４７】
評価部１４３の処理の一例について説明する。評価部１４３は、各人物の第１領域候補を組み合わせた第１組合せ領域と、各人物の仮決め位置による人物領域を組み合わせた第２組合せ領域との第１重なり率を算出する。例えば、第１重なり率は、式（３）に基づいて算出される。式（３）で示すように、第１重なり率が大きいほど、ＯＲ（Ｓｘ）とＯＲ（Ｅｘ）とが重なっていないことを示す。
【００４８】
第１重なり率＝ａｂｓ｛ＯＲ（Ｓｘ）−ＯＲ（Ｅｘ）｝・・・（３）
【００４９】
式（３）において、ＯＲ（Ｓｘ）は、第１組合せ領域を示すものである。ＯＲ（Ｅｘ）は、第２組合せ領域を示すものである。
【００５０】
図１０は、評価部の処理を説明するための図である。図１０の画像１０において、領域１０ａは、人物Ａの第１候補領域である。領域１０ｂは、人物Ｂの第１候補領域である。領域１０ｃは、人物Ｃの第１候補領域である。この領域１０ａ，１０ｂ，１０ｃを組み合わせた領域（論理和を行った画素数）が、ＯＲ（Ｓｘ）に対応する。
【００５１】
図１０の画像１１において、領域１１ａは、人物Ａの仮決め位置に基づく人物領域である。領域１１ｂは、人物Ｂの仮決め位置に基づく人物領域である。領域１１ｃは、人物Ｃの仮決め位置に基づく人物領域である。この領域１１ａ，１１ｂ，１１ｃを組み合わせた領域（論理和を行った画素数）が、ＯＲ（Ｅｘ）に対応する。
【００５２】
図１０の画像１２において、ＯＲ（Ｓｘ）とＯＲ（Ｅｘ）との重なっていない領域の画素数が第１重なり率となる。
【００５３】
評価部１４３は、第１重なり率が所定の重なり率未満である場合には、各人物の仮決め位置が適切な位置であると評価する。一方、評価部１４３は、第１重なり率が所定の重なり率以上である場合には、各人物の仮決め位置が適切な位置でないと評価する。所定の重なり率は、予め設定されているものとする。
【００５４】
図２の説明に戻る。修正部１４４は、評価部１４３により、各人物の仮決め位置が適切な位置でないと評価された場合に、各人物の仮決め位置を修正する処理部である。例えば、修正部１４４は、式（４）に示されるＥｖａｌ値が最大となる各人物の予測位置を特定し、特定した予測位置に、仮決め位置を修正する。
【００５５】
Ｅｖａｌ値＝合計類似度＋第２重なり率・・・（４）
【００５６】
式（４）に示した合計類似度の算出例について説明する。以下の説明において、人物の仮決め位置をずらした位置を、変更予測位置と表記する。修正部１４４は、時刻ｔ−１の人物の人物領域と、時刻ｔの変更予測位置を基準とした人物領域との類似度ｅを、式（２）に基づいて算出する。修正部１４４は、人物毎に類似度ｅを算出し、各人物の類似度ｅを合計した類似度を、合計類似度として算出する。
【００５７】
例えば、人物Ａ，人物Ｂ、人物Ｃが存在する場合の合計類似度について説明する。修正部１４４は、時刻ｔ−１の人物Ａの人物領域と、時刻ｔの人物Ａに関する変更予測位置を基準とした人物領域との類似度ｅＡを式（２）に基づいて算出する。修正部１４４は、時刻ｔ−１の人物Ｂの人物領域と、時刻ｔの人物Ｂに関する変更予測位置を基準とした人物領域との類似度ｅＢを式（２）に基づいて算出する。修正部１４４は、時刻ｔ−１の人物Ｃの人物領域と、時刻ｔの人物Ｃに関する変更予測位置を基準とした人物領域との類似度ｅＣを式（２）に基づいて算出する。修正部１４４は、類似度ｅＡ，ｅＢ，ｅＣを合計することで、合計類似度を算出する。
【００５８】
式（４）に示した第２重なり率の算出例について説明する。修正部１４４は、時刻ｔの第１候補領域を組み合わせた第１組合せ領域と、各人物の変更予測位置による人物領域を組み合わせた第３組合せ領域とを比較して、第２重なり率を算出する。例えば、修正部１４４は、第１組合せ領域と、第３組合せ領域とが重複する領域の画素数を、第２重なり率として算出する。
【００５９】
修正部１４４は、変更予測位置の情報と、Ｅｖａｌ値とを対応付けて、再計算テーブル１３３に登録する。例えば、変更予測位置の情報は、変更予測位置に基づく、第３組合せ領域を一意に識別する領域識別情報と、第３組合せ領域に含まれる各人物の位置座標とが含まれる。
【００６０】
修正部１４４は、変更予測位置を変更しつつ、終了条件を満たすまで、上記処理を繰り返し実行する。例えば、修正部１４４は、変更予測位置の変更回数が、所定回数以上となった場合に、処理を終了する。なお、修正部１４４は、変更予測位置を変更する場合に、ランダムに変更方向や変更量を特定しても良いし、予め定められた変更規則に従って、変更予測位置を変更してもよい。
【００６１】
修正部１４４は、再計算テーブル１３３を参照し、Ｅｖａｌ値が最大となる領域識別情報を特定する。修正部１４４は、特定した領域識別情報に対応する各人物の位置座標を、時刻ｔにおける各人物の位置座標として、追跡テーブル１３２に登録する。
【００６２】
上記の評価部１４３および修正部１４４は、時刻ｔにおける各人物の位置座標を追跡テーブル１３２に登録する場合には、各人物識別情報と対応付けて、位置情報を登録するものとする。評価部１４３および修正部１４４は、時刻ｔ-１の人物領域の特徴と、時刻ｔの位置座標を基準とする人物領域との類似度に基づき、位置座標に対応する人物識別情報を判定する。また、評価部１４３および修正部１４４は、時刻ｔにおける人物領域の情報を、追跡テーブル１３２に登録する。例えば、人物領域の情報は、時刻ｔの位置座標を基準とする所定領域とする。
【００６３】
次に、本実施例１に係る画像処理装置１００の処理手順について説明する。図１１は、本実施例１に係る画像処理装置の処理手順を示すフローチャートである。図１１に示すように、画像処理装置１００の予測部１４２は、背景差分処理を実行する（ステップＳ１０１）。予測部１４２は、前時刻の画像データに人物が存在するか否かを判定する（ステップＳ１０２）。予測部１４２は、前時刻の画像データに人物が存在しない場合には（ステップＳ１０２，Ｎｏ）、ステップＳ１０１に移行する。
【００６４】
一方、予測部１４２は、前時刻の画像データに人物が存在する場合には（ステップＳ１０２，Ｙｅｓ）、人物の予測位置を算出する（ステップＳ１０３）。予測部１４２は、予測位置を評価し（ステップＳ１０４）、現時刻の人物の位置を仮決定する（ステップＳ１０５）。
【００６５】
画像処理装置１００の評価部１４３は、各人物の仮決め位置を再評価する（ステップＳ１０６）。評価部１４３は、再計算を実行しない場合には（ステップＳ１０７，Ｎｏ）、ステップＳ１０９に移行する。一方、再計算を実行する場合には（ステップＳ１０７，Ｙｅｓ）、修正部１４４は、各人物の位置を再計算する（ステップＳ１０８）。評価部１４３または修正部１４４は、現時刻の人物の位置の情報を、追跡テーブル１３２に登録する（ステップＳ１０９）。
【００６６】
次に、図１１のステップＳ１０６に示した各人物の仮決め位置を再評価する処理の一例について説明する。図１２は、各人物の仮決め位置を再評価する処理を示すフローチャートである。図１２に示すように、画像処理装置１００の評価部１４３は、差分画像に基づいて、各人物の第１組合せ領域を特定する（ステップＳ２０１）。
【００６７】
評価部１４３は、各人物の仮決め位置を基にして、第２組合せ領域を特定する（ステップＳ２０２）。評価部１４３は、第１組合せ領域と第２組合せ領域とを基にして第１重なり率を算出する（ステップＳ２０３）。
【００６８】
評価部１４３は、第１重なり率が閾値以上であるか否かを判定する（ステップＳ２０４）。評価部１４３は、第１重なり率が閾値以上である場合には（ステップＳ２０４，Ｙｅｓ）、人物位置の再計算を行うと判定する（ステップＳ２０５）。評価部１４３は、第１重なり率が閾値未満である場合には（ステップＳ２０４，Ｎｏ）、人物位置の再計算を行わないと判定する（ステップＳ２０６）。
【００６９】
次に、図１１のステップＳ１０８に示した各人物の位置を再計算する処理の一例について説明する。図１３は、各人物の位置を再計算する処理を示すフローチャートである。図１３に示すように、画像処理装置１００の修正部１４４は、各人物の仮決め位置を変更予測位置に変更する（ステップＳ３０１）。
【００７０】
修正部１４４は、変更予測位置の各人物の領域を組み合わせた第３組合せ領域を特定する（ステップＳ３０２）。修正部１４４は、第１組合せ領域と第３組合せ領域とを基にして、Ｅｖａｌ値を算出する（ステップＳ３０３）。
【００７１】
修正部１４４は、変更予測位置の情報とＥｖａｌ値とを対応付けて再計算テーブル１３３に登録する（ステップＳ３０４）。修正部１４４は、終了条件を満たすか否かを判定する（ステップＳ３０５）。修正部１４４は、終了条件を満たさない場合には（ステップＳ３０５，Ｎｏ）、各人物の変更予測位置を変更し（ステップＳ３０７）、ステップＳ３０２に移行する。
【００７２】
一方、修正部１４４は、終了条件を満たす場合には（ステップＳ３０５，Ｙｅｓ）、各人物の位置座標を、Ｅｖａｌ値が最大となる第３組合せ領域の位置座標に修正する（ステップＳ３０６）。
【００７３】
次に、本実施例１に係る画像処理装置１００の効果について説明する。画像処理装置１００は、背景差分処理により求めた第１組合せ領域と、各人物の仮決め位置による人物領域を組み合わせた第２組合せ領域との第１重なり率が、所定の重なり率未満である場合に、各人物の仮決め位置を修正する。このため、各人物の仮決め位置を適切に評価することができ、評価結果に応じて各仮決め位置を修正することができる。これにより、複数の人物を精度良く追跡することができる。
【００７４】
画像処理装置１００は、各人物の仮決め位置の修正を行うと評価した場合に、Ｅｖａｌ値が最大となる変更予測位置を探索し、探索した変更予測位置を、現時刻における各人物の位置に設定する。これにより、現時刻における各人物の位置を適切に修正することができる。
【実施例２】
【００７５】
次に、本実施例２に係る画像処理装置について説明する。図示を省略するが、本実施例２に係る画像処理装置は、画像処理装置１００と同様にして、カメラ５ａ，５ｂに接続される。
【００７６】
図１４は、本実施例２に係る画像処理装置の構成を示す機能ブロック図である。図１４に示すように、この画像処理装置２００は、インタフェース部１１０と、表示部１２０と、記憶部１３０と、制御部２１０とを有する。このうち、インタフェース部１１０、表示部１２０、記憶部１３０に関する説明は、図２に示したインタフェース部１１０、表示部１２０、記憶部１３０に関する説明と同様である。
【００７７】
制御部２１０は、受付部１４１と、予測部１４２と、評価部１４３と、修正部２１１とを有する。このうち、受付部１４１、予測部１４２、評価部１４３に関する説明は、図２に示した受付部１４１、予測部１４２、評価部１４３に関する説明と同様である。制御部２１０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部２１０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
【００７８】
修正部２１１は、評価部１４３により、各人物の仮決め位置が適切な位置でないと評価された場合に、各人物の仮決め位置を修正する処理部である。例えば、修正部２１１は、実施例１と同様にして、式（４）に示されるＥｖａｌ値が最大となる各人物の予測位置を特定し、特定した予測位置に、仮決め位置を修正する。
【００７９】
ここで、修正部２１１は、全ての人物の予測位置を変更する代わりに、所定の条件を満たす単一の人物の予測位置を変更し、Ｅｖａｌ値を算出する。図１５は、本実施例２に係る修正部の処理を説明するための図である。図１５に示すように、修正部２１１は、各人物の第１候補領域を組み合わせた第１組合せ領域ＯＲ（Ｓｘ）と、各人物の仮決め位置（あるいは変更予測位置）による人物領域を組み合わせた第３組合せ領域ＯＲ（Ｅｘ’）とを比較する。修正部２１１は、第１組合せ領域ＯＲ（Ｓｘ）と、第３組合せ領域ＯＲ（Ｅｘ’）との差分領域２０を特定する。
【００８０】
修正部２１１は、差分領域２０の重心と、各人物領域の重心とを比較して、各人物領域の重心のうち、差分領域２０の重心に最も近い人物領域の予測位置を変更する。図１５に示す例では、差分領域２０の重心２０ａに最も近い重心は、重心２５ａ，２５ｂ，２５ｃのうち、重心２５ｂとなる。修正部２１１は、重心２５ｂの位置領域の予測位置を変更し、他の人物の予測位置を変更しない。例えば、修正部２１１は、差分領域２０の重心２０ａの方向に、所定距離だけ、所定の条件を満たす人物の予測位置を修正する。
【００８１】
次に、本実施例２に係る画像処理装置２００の効果について説明する。画像処理装置２００は、全ての人物の予測位置を変更する代わりに、差分画像の重心位置を基にして、予測位置を変更する人物の領域を特定し、Ｅｖａｌ値を算出する。このため、Ｅｖａｌ値が大きくなるように、最小限の予測位置の変更を加えることができるので、より効率的に、仮決め位置を修正することができる。
【実施例３】
【００８２】
次に、本実施例３に係る画像処理装置について説明する。図示を省略するが、本実施例３に係る画像処理装置は、画像処理装置１００と同様にして、カメラ５ａ，５ｂに接続される。
【００８３】
図１６は、本実施例３に係る画像処理装置の構成を示す機能ブロック図である。図１６に示すように、この画像処理装置３００は、インタフェース部１１０と、表示部１２０と、記憶部１３０と、制御部３１０とを有する。このうち、インタフェース部１１０、表示部１２０、記憶部１３０に関する説明は、図２に示したインタフェース部１１０、表示部１２０、記憶部１３０に関する説明と同様である。
【００８４】
制御部３１０は、受付部１４１と、予測部１４２と、評価部１４３と、修正部３１１とを有する。このうち、受付部１４１、予測部１４２、評価部１４３に関する説明は、図２に示した受付部１４１、予測部１４２、評価部１４３に関する説明と同様である。制御部３１０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部３１０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
【００８５】
修正部３１１は、評価部１４３により、各人物の仮決め位置が適切な位置でないと評価された場合に、各人物の仮決め位置を修正する処理部である。例えば、修正部３１１は、実施例１と同様にして、式（４）に示されるＥｖａｌ値が最大となる各人物の予測位置を特定し、特定した予測位置に、仮決め位置を修正する。
【００８６】
修正部３１１は、時刻ｔ−１以前の画像データから人物の特徴領域を抽出しておき、この人物の特徴領域に対応する領域を、時刻ｔにおける画像データから検出する。修正部３１１は、時刻ｔから検出した領域に合わせて、人物の位置を修正する。
【００８７】
図１７は、本実施例３に係る修正部の処理を説明するための図である。ここでは、人物の特徴領域を顔領域とする。例えば、時刻ｔ−１の画像データから抽出しておいた、人物Ａ、人物Ｂ、人物Ｃに対応する領域を領域３０ａ，３０ｂ，３０ｃとする。また、仮決め位置による人物Ａ，Ｂ，Ｃの人物領域を、人物領域３１ａ，３１ｂ，３１ｃとする。修正部３１１は、人物領域３１ａ〜３１ｃの顔に相当する領域が、領域３０ａ，３０ｂ，３０ｃとなるように、人物領域３１ａ〜３１ｃの位置を調整することで、仮決め位置を修正する。図１７に示す例では、人物領域３１ａ，３１ｃの顔に相当する領域は、領域３０ａ，３０ｃに位置している。このため、修正部３１１は、人物領域３１ｂの顔に相当する領域が、領域３０ｂに位置するように、人物領域３１ｂを修正する。修正後の人物領域３１ｂの重心位置が、修正後の人物Ｂの位置となる。
【００８８】
次に、本実施例３に係る画像処理装置３００の効果について説明する。画像処理装置３００は、時刻ｔ−１以前の画像データから人物の特徴領域を抽出しておき、この人物の特徴領域に対応する領域を、時刻ｔにおける画像データから検出し、時刻ｔから検出した領域に合わせて、人物の位置を修正する。これにより、より効率的に、仮決め位置を修正することができる。本実施例３に係る処理は、顔画像を用いるため、同じような洋服の人が複数人存在する場合や、類似度が正しく求まらない状況下で有効である。
【実施例４】
【００８９】
次に、本実施例４に係る画像処理装置について説明する。図示を省略するが、本実施例４に係る画像処理装置は、カメラ５ａ，５ｂ，５ｃに接続される。カメラ５ａ，５ｂ，５ｃは、設置場所や撮影方向等の撮影条件がそれぞれ異なるものとする。
【００９０】
図１８は、本実施例４に係る画像処理装置の構成を示す機能ブロック図である。図１８に示すように、この画像処理装置４００は、インタフェース部１１０と、表示部１２０と、記憶部１３０と、制御部４１０とを有する。このうち、インタフェース部１１０、表示部１２０、記憶部１３０に関する説明は、図２に示したインタフェース部１１０、表示部１２０、記憶部１３０に関する説明と同様である。
【００９１】
制御部４１０は、受付部１４１と、選択部４１１と、予測部１４２と、評価部１４３と、修正部１４４とを有する。このうち、受付部１４１、予測部１４２、評価部１４３、修正部１４４に関する説明は、図２に示した受付部１４１、予測部１４２、評価部１４３、修正部１４４に関する説明と同様である。制御部４１０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部４１０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。
【００９２】
選択部４１１は、人物毎に人物の予測位置を特定する場合の画像データを選択する処理部である。選択部４１１は、各カメラ５ａ，５ｂ，５ｃにより撮影された画像データのうち、人物毎に、最も写りの良い画像データを選択する。予測部１４２、評価部１４３、修正部１４４は、人物毎に、選択部４１１に選択された画像データを用いて、処理を実行する。例えば、選択部４１１は、予測および評価する人物について、人物の領域が最も大きく写る画像データを、最も写りの良い画像データとして選択する。
【００９３】
図１９は、本実施例４に係る選択部の処理を説明するための図である。図１９において、各画像データ４０，４１，４２は、同時刻において、各カメラ５ａ，５ｂ，５ｃにより撮影された画像データとする。例えば、人物Ａ，Ｂ，Ｃが存在しているものとし、各画像データ４０，４１，４２には、人物Ａの領域４０ａ，４０ｂ，４０ｃが含まれているものとする（画像データ４２には、領域４０ａ，４０ｂが存在していない）。
【００９４】
画像データ４０，４１，４２の領域４０ａ〜４０ｃを比較すると、人物Ａ，Ｂについては、画像データ４０の領域４０ａ，４０ｂが最も大きく、人物Ｃについては、画像データ４１の領域４０ｃが最も大きい。このため、選択部４１１は、人物Ａ，Ｂの追跡を行う画像データとして、カメラ５ａに撮影された画像データ４０を選択する。選択部４１１は、人物Ｃの追跡を行う画像データとして、カメラ５ｂに撮影された画像データ４１を選択する。選択部４１１は、選択した画像データを撮影するカメラの識別情報を、予測部１４２、評価部１４３、修正部１４４に通知する。
【００９５】
例えば、予測部１４２、評価部１４３、修正部１４４は、選択部４１１に選択されたカメラにより撮影された画像データを用いて、追跡処理を実行する。なお、選択部４１１は、利用者に予め設定される時間間隔毎に処理を実行しても良い。
【００９６】
次に、本実施例４に係る画像処理装置４００の効果について説明する。本実施例４に係る画像処理装置４００は、人物の追跡処理を行う場合に、同時刻の複数の画像データのうち、該当する人物について、最も写りのよい画像データを用いる。このため、人物の予測位置を精度良く特定することができる。
【００９７】
ところで、上述した画像処理装置１００〜４００では、単一の装置に制御部１４０〜４１０および記憶部１３０を有する例を示したが、これに限定されるものではなく、別々の装置が有していてもよい。
【００９８】
図２０は、画像処理システムの一例を示す図である。図２０に示すように、この画像処理システムは、カメラ５ａ，５ｂと、画像処理装置５００と、データストレージ５５０とを有する。画像処理装置５００は、実施例１〜４に示した制御部１４０〜４１０に対応する処理を実行する。データストレージ５５０は、実施例１〜４に示した記憶部１３０に対応する情報を保持する。また、制御部１４０〜４１０に含まれる各処理部に対応する処理を、複数のサーバに分担させ、各サーバが連携することで、画像処理装置１００〜４００に相当する処理を実行しても良い。
【００９９】
次に、上記実施例に示した画像処理装置１００〜４００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２１は、画像処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【０１００】
図２１に示すように、コンピュータ６００は、各種演算処理を実行するＣＰＵ６０１と、ユーザからのデータの入力を受け付ける入力装置６０２と、ディスプレイ６０３とを有する。また、コンピュータ６００は、記憶媒体からプログラム等を読み取る読み取り装置６０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置６０５と、カメラ６０６を有する。また、コンピュータ６００は、各種情報を一時記憶するＲＡＭ６０７と、ハードディスク装置６０８とを有する。そして、各装置６０１〜６０８は、バス６０９に接続される。
【０１０１】
ハードディスク装置６０８は、受付プログラム６０８ａ、選択プログラム６０８ｂ、予測プログラム６０８ｃ、評価プログラム６０８ｄ、修正プログラム６０８ｅを有する。ＣＰＵ６０１は、受付プログラム６０８ａ、選択プログラム６０８ｂ、予測プログラム６０８ｃ、評価プログラム６０８ｄ、修正プログラム６０８ｅを読み出してＲＡＭ６０７に展開する。
【０１０２】
受付プログラム６０８ａは、受付プロセス６０７ａとして機能する。選択プログラム６０８ｂは、選択プロセス６０７ｂとして機能する。予測プログラム６０８ｃは、予測プロセス６０７ｃとして機能する。評価プログラム６０８ｄは、評価プロセス６０７ｄとして機能する。修正プログラム６０８ｅは、修正プロセス６０７ｅとして機能する。
【０１０３】
受付プロセス６０７ａの処理は、受付部１４１の処理に対応する。選択プロセス６０７ｂの処理は、選択部４１１の処理に対応する。予測プロセス６０７ｃの処理は、予測部１４２の処理に対応する。評価プロセス６０７ｄの処理は、評価部１４３の処理に対応する。修正プロセス６０７ｅの処理は、修正部１４４，２１１，３１１の処理に対応する。
【０１０４】
なお、各プログラム６０８ａ〜６０８ｅについては、必ずしも最初からハードディスク装置６０８に記憶させておかなくても良い。例えば、コンピュータ６００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ６００が各プログラム６０８ａ〜６０８ｅを読み出して実行するようにしても良い。
【０１０５】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１０６】
（付記１）カメラと、記憶装置と、画像処理装置とを有する画像処理システムであって、
前記記憶装置は、前記カメラによって撮影された撮影画像を記憶し、
前記画像処理装置は、
前記記憶装置を参照し、過去の撮影画像を基にして、現在の撮影画像に含まれる対象物の領域を予測する処理を、前記現在の撮影画像に含まれる複数の対象物に対してそれぞれ実行する予測部と、
前記予測部によって予測された各対象物の領域を組み合わせた組合せ領域と、背景画像および前記現在の撮影画像により特定される差分領域とを基にして、前記予測部によって予測された各対象物の領域を修正するか否かを評価する評価部と、
前記評価部の評価結果を基にして、前記予測部によって予測された各対象物の領域を修正する修正部とを有することを特徴とする画像処理システム。
【０１０７】
（付記２）前記修正部は、前記組合せ領域の位置を移動させつつ、前記過去の撮影画像に含まれる各利用者の領域を組み合わせた領域の画像および前記組合せ領域の画像の類似度と、前記組合せ領域および前記差分領域の重なり率とを加味したパラメータが最大となる前記組合せ領域の位置を探索し、探索した組合せ領域の位置を、各対象物の領域の修正後の位置に設定することを特徴とする付記１に記載の画像処理システム。
【０１０８】
（付記３）前記修正部は、前記差分領域のうち前記組合せ領域が重なっていない領域の第１重心と、各対象物の領域の第２重心とをそれぞれ比較して、前記第１重心に最も近い第２重心に対応する対象物の領域を特定し、特定した対象物の領域を修正することを特徴とする付記２に記載の画像処理システム。
【０１０９】
（付記４）前記修正部は、撮影画像に含まれる対象物の特徴領域を用いて、前記予測部によって予測された各対象物の領域を修正することを特徴とする付記２に記載の画像処理システム。
【０１１０】
（付記５）同時刻に撮影条件の異なる複数のカメラにより撮影された複数の撮影画像から、対象物の領域が最も大きい撮影画像を選択する選択部を更に有し、前記予測部、前記評価部、前記修正部は、前記選択部により選択された画像を用いて処理を実行することを特徴とする付記１〜４のうちいずれか一つに記載の画像処理システム。
【０１１１】
（付記６）過去の撮影画像を基にして、現在の撮影画像に含まれる対象物の領域を予測する処理を、前記現在の撮影画像に含まれる複数の対象物に対してそれぞれ実行する予測部と、
前記予測部によって予測された各対象物の領域を組み合わせた組合せ領域と、背景画像および前記現在の撮影画像により特定される差分領域とを基にして、前記予測部によって予測された各対象物の領域を修正するか否かを評価する評価部と、
前記評価部の評価結果を基にして、前記予測部によって予測された各対象物の領域を修正する修正部と
を有することを特徴とする画像処理装置。
【０１１２】
（付記７）前記修正部は、前記組合せ領域の位置を移動させつつ、前記過去の撮影画像に含まれる各利用者の領域を組み合わせた領域の画像および前記組合せ領域の画像の類似度と、前記組合せ領域および前記差分領域の重なり率とを加味したパラメータが最大となる前記組合せ領域の位置を探索し、探索した組合せ領域の位置を、各対象物の領域の修正後の位置に設定することを特徴とする付記６に記載の画像処理装置。
【０１１３】
（付記８）前記修正部は、前記差分領域のうち前記組合せ領域が重なっていない領域の第１重心と、各対象物の領域の第２重心とをそれぞれ比較して、前記第１重心に最も近い第２重心に対応する対象物の領域を特定し、特定した対象物の領域を修正することを特徴とする付記７に記載の画像処理装置。
【０１１４】
（付記９）前記修正部は、撮影画像に含まれる対象物の特徴領域を用いて、前記予測部によって予測された各対象物の領域を修正することを特徴とする付記７に記載の画像処理装置。
【０１１５】
（付記１０）同時刻に撮影条件の異なる複数のカメラにより撮影された複数の撮影画像から、対象物の領域が最も大きい撮影画像を選択する選択部を更に有し、前記予測部、前記評価部、前記修正部は、前記選択部により選択された画像を用いて処理を実行することを特徴とする付記６〜９のうちいずれか一つに記載の画像処理装置。
【０１１６】
（付記１１）コンピュータが実行する画像処理方法であって、
過去の撮影画像を基にして、現在の撮影画像に含まれる対象物の領域を予測する処理を、前記現在の撮影画像に含まれる複数の対象物に対してそれぞれ実行し、
予測された各対象物の領域を組み合わせた組合せ領域と、背景画像および前記現在の撮影画像により特定される差分領域とを基にして、前記予測された各対象物の領域を修正するか否かを評価し、
評価結果を基にして、前記予測された各対象物の領域を修正する
処理を実行することを特徴とする画像処理方法。
【０１１７】
（付記１２）前記修正する処理は、前記組合せ領域の位置を移動させつつ、前記過去の撮影画像に含まれる各利用者の領域を組み合わせた領域の画像および前記組合せ領域の画像の類似度と、前記組合せ領域および前記差分領域の重なり率とを加味したパラメータが最大となる前記組合せ領域の位置を探索し、探索した組合せ領域の位置を、各対象物の領域の修正後の位置に設定することを特徴とする付記１１に記載の画像処理方法。
【０１１８】
（付記１３）前記修正する処理は、前記差分領域のうち前記組合せ領域が重なっていない領域の第１重心と、各対象物の領域の第２重心とをそれぞれ比較して、前記第１重心に最も近い第２重心に対応する対象物の領域を特定し、特定した対象物の領域を修正することを特徴とする付記１２に記載の画像処理方法。
【０１１９】
（付記１４）前記修正する処理は、撮影画像に含まれる対象物の特徴領域を用いて、予測された各対象物の領域を修正することを特徴とする付記１２に記載の画像処理方法。
【０１２０】
（付記１５）同時刻に撮影条件の異なる複数のカメラにより撮影された複数の撮影画像から、対象物の領域が最も大きい撮影画像を選択する処理を更に実行し、前記予測する処理、前記評価する処理、前記修正する処理は、前記選択する処理により選択された画像を用いて処理を実行することを特徴とする付記１１〜１４のうちいずれか一つに記載の画像処理方法。
【符号の説明】
【０１２１】
５ａ，５ｂ，５ｃ  カメラ
１００，２００，３００，４００，５００  画像処理装置
５５０  データストレージ
【図１】
2018084926.tif 000005
【図２】
2018084926.tif 000006
【図３】
2018084926.tif 000007
【図４】
2018084926.tif 000008
【図５】
2018084926.tif 000009
【図６】
2018084926.tif 000010
【図７】
2018084926.tif 000011
【図８】
2018084926.tif 000012
【図９】
2018084926.tif 000013
【図１０】
2018084926.tif 000014
【図１１】
2018084926.tif 000015
【図１２】
2018084926.tif 000016
【図１３】
2018084926.tif 000017
【図１４】
2018084926.tif 000018
【図１５】
2018084926.tif 000019
【図１６】
2018084926.tif 000020
【図１７】
2018084926.tif 000021
【図１８】
2018084926.tif 000022
【図１９】
2018084926.tif 000023
【図２０】
2018084926.tif 000024
【図２１】
2018084926.tif 000025