(57)【要約】      （修正有）【課題】人物の正確な属性情報を抽出でき、かつ掲示オブジェクトから特定の地点までの人物追跡ができる画像処理方法を提供する。【解決手段】監視領域を撮影した映像または画像を取得する画像取得部１０１と、監視領域に存在する人物の属性情報を抽出する人物属性抽出部１０４と、属性情報を用いて人物の同定処理を行い、追跡処理によって人物ごとの追跡情報を生成する追跡部１０２と、人物が掲示オブジェクトを視認したか否かを判定して視認判定情報を生成する視認判定部１０３と、人物が特定地点を訪れたか否かを判定して来訪判定情報を生成する来訪判定部１０５と、視認判定情報または来訪判定情報を基に、関連する追跡情報を抽出する追跡情報抽出部１０６と、追跡情報を人物の動線または人物の流動に変換する追跡情報変換部１０７とを備える。【選択図】図１
2015230616.tif 000002
【特許請求の範囲】
【請求項１】
監視領域を撮影した映像または画像を取得する画像取得工程と、
前記監視領域に存在する人物の属性情報を抽出する属性抽出工程と、
前記属性情報を用いて人物の同定処理を行い、追跡処理によって人物ごとの追跡情報を生成する追跡工程と、
前記人物が掲示オブジェクトを視認したか否かを判定して視認判定情報を生成する視認判定工程と、
前記人物が特定地点を訪れたか否かを判定して来訪判定情報を生成する来訪判定工程と、
前記視認判定工程において生成された視認判定情報または前記来訪判定工程において生成された来訪判定情報を基に、関連する追跡情報を抽出する抽出工程と、
前記抽出工程において抽出された追跡情報を人物の動線または人物の流動に変換する変換工程とを備えることを特徴とする画像処理方法。
【請求項２】
監視領域を撮影した映像または画像を取得する画像取得工程と、
前記監視領域に存在する動体の追跡情報を生成する追跡工程と、
前記動体の視認範囲を推定し、前記視認範囲に掲示オブジェクトが存在するか否かを判定して、前記動体の視認判定情報を生成する視認判定工程と、
前記動体が特定地点を訪れたか否かを判定して、前記動体の来訪判定情報を生成する来訪判定工程と、
前記視認判定工程において生成された視認判定情報および前記来訪判定工程において生成された来訪判定情報を基に特定される動体の追跡情報を動体の動線または動体の流動に変換する変換工程とを備えることを特徴とする画像処理方法。
【請求項３】
監視領域を撮影した映像または画像を取得する画像取得工程と、
前記監視領域に存在する動体の追跡情報を生成する追跡工程と、
掲示オブジェクトの位置に基づいて設定される視認可能領域に前記動体が存在するか否かを判定して、前記動体の視認判定情報を生成する視認判定工程と、
前記動体が特定地点を訪れたか否かを判定して、前記動体の来訪判定情報を生成する来訪判定工程と、
前記視認判定工程において生成された視認判定情報および前記来訪判定工程において生成された来訪判定情報を基に特定される動体の追跡情報を動体の動線または動体の流動に変換する変換工程とを備えることを特徴とする画像処理方法。
【請求項４】
前記抽出工程または前記変換工程で得られた情報を画像上に描画、または数値化してユーザーに掲示する表示工程を有することを特徴とする請求項１に記載の画像処理方法。
【請求項５】
前記属性抽出工程は、前記視認判定工程において掲示オブジェクトを視認したと判定された人物の属性情報を、前記掲示オブジェクトを視認したと判定したフレーム画像から抽出することを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記来訪判定工程は、あるフレーム画像について、前記追跡工程において生成された追跡情報から、着目フレームで得られたすべての人物位置を取得して前記来訪判定情報を生成することを特徴とする請求項１に記載の画像処理方法。
【請求項７】
前記抽出工程は、前記視認判定情報と前記来訪判定情報に基づき、人物ＩＤを特定することで、この人物ＩＤに係る追跡情報を抽出することを特徴とする請求項１に記載の画像処理方法。
【請求項８】
監視領域を撮影した映像または画像を取得する画像取得手段と、
前記監視領域に存在する人物の属性情報を抽出する属性抽出手段と、
前記属性情報を用いて人物の同定処理を行い、追跡処理によって人物ごとの追跡情報を生成する追跡手段と、
前記人物が掲示オブジェクトを視認したか否かを判定して視認判定情報を生成する視認判定手段と、
前記人物が特定地点を訪れたか否かを判定して来訪判定情報を生成する来訪判定手段と、
前記視認判定手段によって生成された視認判定情報または前記来訪判定手段によって生成された来訪判定情報を基に、関連する追跡情報を抽出する抽出手段と、
前記抽出手段によって抽出された追跡情報を人物の動線または人物の流動に変換する変換手段とを備えることを特徴とする画像処理装置。
【請求項９】
監視領域を撮影した映像または画像を取得する画像取得手段と、
前記監視領域に存在する動体の追跡情報を生成する追跡手段と、
前記動体の視認範囲を推定し、前記視認範囲に掲示オブジェクトが存在するか否かを判定して、前記動体の視認判定情報を生成する視認判定手段と、
前記動体が特定地点を訪れたか否かを判定して、前記動体の来訪判定情報を生成する来訪判定手段と、
前記視認判定手段によって生成された視認判定情報および前記来訪判定手段によって生成された来訪判定情報を基に特定される動体の追跡情報を動体の動線または動体の流動に変換する変換手段とを備えることを特徴とする画像処理装置。
【請求項１０】
監視領域を撮影した映像または画像を取得する画像取得手段と、
前記監視領域に存在する動体の追跡情報を生成する追跡手段と、
掲示オブジェクトの位置に基づいて設定される視認可能領域に前記動体が存在するか否かを判定して、前記動体の視認判定情報を生成する視認判定手段と、
前記動体が特定地点を訪れたか否かを判定して、前記動体の来訪判定情報を生成する来訪判定手段と、
前記視認判定手段によって生成された視認判定情報および前記来訪判定手段によって生成された来訪判定情報を基に特定される動体の追跡情報を動体の動線または動体の流動に変換する変換手段とを備えることを特徴とする画像処理装置。
【請求項１１】
前記抽出手段または前記変換手段で得られた情報を画像上に描画、または数値化してユーザーに掲示する表示手段を有することを特徴とする請求項８に記載の画像処理装置。
【請求項１２】
前記属性抽出手段は、前記視認判定手段によって掲示オブジェクトを視認したと判定された人物の属性情報を、前記掲示オブジェクトを視認したと判定したフレーム画像から抽出することを特徴とする請求項８に記載の画像処理装置。
【請求項１３】
前記来訪判定手段は、あるフレーム画像について、前記追跡手段によって生成された追跡情報から、着目フレームで得られたすべての人物位置を取得して前記来訪判定情報を生成することを特徴とする請求項８に記載の画像処理装置。
【請求項１４】
前記抽出手段は、前記視認判定情報と前記来訪判定情報に基づき、人物ＩＤを特定することで、この人物ＩＤに係る追跡情報を抽出することを特徴とする請求項８に記載の画像処理装置。
【請求項１５】
監視領域を撮影した映像または画像を取得する画像取得手順と、
前記監視領域に存在する人物の属性情報を抽出する属性抽出手順と、
前記属性情報を用いて人物の同定処理を行い、追跡処理によって人物ごとの追跡情報を生成する追跡手順と、
前記人物が掲示オブジェクトを視認したか否かを判定して視認判定情報を生成する視認判定手順と、
前記人物が特定地点を訪れたか否かを判定して来訪判定情報を生成する来訪判定手順と、
前記視認判定手順において生成された視認判定情報または前記来訪判定手順において生成された来訪判定情報を基に、関連する追跡情報を抽出する抽出手順と、
前記抽出手順において抽出された追跡情報を人物の動線または人物の流動に変換する変換手順とをコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
監視領域を撮影した映像または画像を取得する画像取得手順と、
前記監視領域に存在する動体の追跡情報を生成する追跡手順と、
前記動体の視認範囲を推定し、前記視認範囲に掲示オブジェクトが存在するか否かを判定して、前記動体の視認判定情報を生成する視認判定手順と、
前記動体が特定地点を訪れたか否かを判定して、前記動体の来訪判定情報を生成する来訪判定手順と、
前記視認判定手順において生成された視認判定情報および前記来訪判定手順において生成された来訪判定情報を基に特定される動体の追跡情報を動体の動線または動体の流動に変換する変換手順とをコンピュータに実行させることを特徴とするプログラム。
【請求項１７】
監視領域を撮影した映像または画像を取得する画像取得手順と、
前記監視領域に存在する動体の追跡情報を生成する追跡手順と、
掲示オブジェクトの位置に基づいて設定される視認可能領域に前記動体が存在するか否かを判定して、前記動体の視認判定情報を生成する視認判定手順と、
前記動体が特定地点を訪れたか否かを判定して、前記動体の来訪判定情報を生成する来訪判定手順と、
前記視認判定手順において生成された視認判定情報および前記来訪判定手順において生成された来訪判定情報を基に特定される動体の追跡情報を動体の動線または動体の流動に変換する変換手順とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法および画像処理装置に関し、特に、店舗や駅、空港、広場、競技場などの不特定多数の人物が通行する場所において、人物に掲示される掲示オブジェクトの効果を計測するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、掲示オブジェクトの効果を計測するシステムでは、掲示オブジェクトに設置されたカメラと掲示オブジェクトの誘導先に設置されたカメラを用い、双方のカメラで撮影された人物の顔が一致した人数によって掲示オブジェクトの効果を計測している。ここで、掲示オブジェクトとは、例えば広告や看板であり、掲示オブジェクトの誘導先とは、例えば店舗やカウンターである。
【０００３】
特許文献１では、広告側のカメラで撮影された人物の顔検出を行い、顔の特徴量を抽出する。また、店舗に設置されたカメラで撮影された人物に対しても同様に特徴量を抽出する。そして、この特徴量が広告側で抽出されたものと一致した場合、広告を閲覧した人物が店舗に来店したとして広告効果を算出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１０２１７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、顔の特徴量を抽出し保持する技術では、顔画像と同程度の情報を保持しなければならず、人物のプライバシーや個人データの使用に関して、問題となる可能性がある。また、顔特徴量の抽出は、カメラに人物の顔が必ず写らなければならず、掲示オブジェクト視認時および誘導地点到達時に、人物に対して正面位置となるように、カメラ設置位置を決定する必要がある。さらに、撮影された顔の上下の傾きが少ない位置となるようにもすることが必要であり、カメラ設置位置に関しての制約が大きい課題があった。
【０００６】
さらに、２箇所の離れたカメラ間において同一人物であると特定し、掲示オブジェクトの効果を測定する方式では、掲示オブジェクトから誘導地点までの行動を把握することができないという課題があった。
【０００７】
一方、人物の属性、例えば髪の色や服の色、体型やアクセサリ、の情報を用いて人物同定を行うことも考えられる。しかし、情報を抽出するカメラの位置が対象人物に対して離れ過ぎていたり、人物の移動中であったりすると、人物の鮮明な画像が得られず、正確な人物の属性を抽出できないという課題があった。
本発明は前述の問題点に鑑み、人物の正確な属性情報を抽出でき、かつ掲示オブジェクトから特定の地点までの人物追跡ができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理方法は、監視領域を撮影した映像または画像を取得する画像取得工程と、前記監視領域に存在する人物の属性情報を抽出する属性抽出工程と、前記属性情報を用いて人物の同定処理を行い、追跡処理によって人物ごとの追跡情報を生成する追跡工程と、前記人物が掲示オブジェクトを視認したか否かを判定して視認判定情報を生成する視認判定工程と、前記人物が特定地点を訪れたか否かを判定して来訪判定情報を生成する来訪判定工程と、前記視認判定工程において生成された視認判定情報または前記来訪判定工程において生成された来訪判定情報を基に、関連する追跡情報を抽出する抽出工程と、前記抽出工程において抽出された追跡情報を人物の動線または人物の流動に変換する変換工程とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、人物の正確な属性情報を抽出でき、かつ掲示オブジェクトから特定の地点までの人物追跡が可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２】本発明の実施形態に係る画像処理装置が行う効果計測処理の一例を説明するフローチャートである。
【図３】追跡処理について説明する図である。
【図４】人物同定処理について説明する図である。
【図５】視認判定処理について説明する図である。
【図６】来訪判定処理について説明する図である。
【図７】追跡情報、視認判定情報、来訪判定情報について説明する図である。
【図８】フレーム画像への動線描画を説明する図である。
【図９】ＭＡＰ情報への動線、人物流動の描画を説明する図である。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜第１の実施形態＞
図１は、第１の実施形態における掲示オブジェクト効果計測システムの構成例を示すブロック図である。
図１において、１０１は画像取得部、１０２は追跡部、１０３は視認判定部、１０４は人物属性抽出部、１０５は来訪判定部、１０６は追跡情報抽出部（以下、抽出部）、１０７は追跡情報変換部（以下、変換部）、１０８は表示部である。
【００１２】
画像取得部１０１から取得される画像は、少なくとも１以上の地点を撮影したものである。また、１人以上の人物が画像内にフレームインしたりフレームアウトしたり、複数フレームにわたって画像内を移動したりするような動画像を構成する各フレームの画像（フレーム画像）を順次取得する。そして、画像取得部１０１は、監視領域から取得した各フレームの画像を順次、追跡部１０２に対して送出する。
【００１３】
追跡部１０２に送出する動画像（映像）は、少なくとも１台以上の動画を撮像可能な撮像装置から取得してもよいし、このような動画像を予め保持している装置から取得してもよい。本実施形態においては、その取得先について特定の取得先に限るものではない。
【００１４】
追跡部１０２は、画像取得部１０１から受けたフレームの画像内に写っている複数の人物を、画像特徴量を用いたマッチングによって追跡し、その位置とサイズ、人物を一意に特定する識別子(人物ＩＤ)を生成する。ここでは、１台の動画を撮像可能な撮像装置からフレーム画像を取得する場合を例にして説明する。なお、追跡部１０２は、画像内に人物が写っているかの判定をせずに、画像内の動体（あるいは物体）を検知して、動体ＩＤを付与し、動体の特徴を判定して、判定した特徴に基づいて、動体を追尾するようにしてもよい。
【００１５】
まず、着目フレーム画像から少なくとも１以上の追跡対象を検出または指定することで、追跡を開始する。すなわち、検出した追跡対象、例えば、学習識別器を用いて人物として検出された人物について、画像特徴量を抽出するとともに、人物ＩＤを発行する。
画像特徴量は、人物ＩＤと対応付けて保持することで、複数の人物を追跡しても、指定人物の画像特徴を特定できる。追跡の開始は、ユーザーがフレーム画像に対して矩形を入力して、その矩形を追跡対象としてもよいし、物体の位置を把握するセンサ情報から追跡対象を検出してもよい。
【００１６】
次に、過去フレームで追跡した人物について、追跡開始時に抽出した画像特徴量を基に探索とマッチングを行い、最も類似度（マッチングスコア）の高い位置とサイズを追跡結果とする。このとき、過去フレームで付加した人物ＩＤと同一の人物ＩＤを追跡結果に対応付けることで、過去フレームの追跡対象と同一人物の追跡結果であることを示す。また、追跡対象が着目フレーム画像で見つからない場合、その対象の追跡を終了する。
【００１７】
また、マッチングに用いる画像特徴量は、人物を包含する矩形内の色ヒストグラムでもよいし、特徴記述子によって得られた特徴量でもよいし、対象のエッジを抽出した形状情報でもよい。すなわち、用いる画像特徴量は特定の特徴量に限るものではない。
【００１８】
この処理を、順次得られるフレーム画像に適用することで、フレーム画像に写る人物の位置とサイズを特定し、人物ＩＤによって、各人物を区別することができる。
また、人物ＩＤと画像特徴量、追跡位置、追跡サイズの対応付けについては、画像特徴量、追跡位置、追跡サイズを特定の人物の情報として特定するためのものであり、人物ＩＤの内容と対応付けの方法については、特定の内容、特定の方法に限るものではない。
【００１９】
図３を用いて、追跡処理についてより詳細に説明する。
図３において、３００は追跡対象３０１が複数存在するフレーム画像であり、３０２は追跡対象３０１の追跡位置とサイズから求めることのできる追跡枠、３０３は追跡対象３０１の人物ＩＤである。
【００２０】
フレーム画像３００を順次取得した場合を考える。このとき、時系列に従ってフレーム画像ごとにｔ＝１,２,３,…とすることで、各フレーム画像を区別する。
ｔ＝１のフレーム画像３００には、２つの追跡対象３０１が存在している。また、ｔ＝１以前では、フレーム画像３００内の左側の追跡対象３０１の追跡は開始されているものとする。
【００２１】
まず、過去フレームで追跡されていないフレーム画像３００内の右側の対象に関して追跡が開始され、新たな人物ＩＤ３０３が発行される。次に、過去フレームの情報を用いた探索によって、フレーム画像３００内の左側の人物が追跡される。
ｔ＝２と、ｔ＝３では、存在する人物（ＩＤ＝１、ＩＤ＝２）が過去フレームで追跡されているため、探索による追跡位置と追跡サイズの特定のみが行われる。
【００２２】
ｔ＝４では、新たに人物がフレームインしているため追跡が開始される。ｔ＝２と同様に、ｔ＝５では探索による追跡位置と追跡サイズの特定のみが行われる。ｔ＝６では、人物ＩＤ３０３が２であった人物がフレームアウトしたため、探索でも人物を見つけることができず、人物ＩＤ３０３が２の人物の追跡を終了する。
【００２３】
また、１台以上の動画を撮像可能な撮像装置から画像を取得する場合、撮像装置を区別して画像を取得することで、同様の処理により追跡を行うことが可能である。さらに、撮像装置ごとに追跡部を設け、各自処理を行っても構わない。また、追跡部１０２の追跡処理は画像中の人物の位置を特定し、各人物を区別するためのものであり、追跡部１０２の追跡の方法は、特定の方法に限るものではない。
【００２４】
さらに、追跡部１０２は、追跡を開始する際、過去に追跡した人物の画像特徴量、または後述に記載する人物の属性情報を用いて、人物の同定を行う。すなわち、新しい追跡対象の画像特徴量、または後述に記載する人物の属性情報との比較によって類似度を計算し、類似度が一定以上の場合は、過去に追跡した人物と同一人物であると判定する。
【００２５】
過去に追跡した人物と同定できた場合、その人物の人物ＩＤを過去に追跡した人物のＩＤとする。人物同定により、一度追跡を終了した人物であっても、再度追跡が行われる際に、同じ人物として扱うことができる。また、人物の同定は追跡を開始するときだけでなく、追跡している途中で行ってもよい。
【００２６】
図４を用いて、追跡部１０２で行われる人物の同定処理についてより詳細に説明する。
ｔ＝１のフレーム画像３００には、２つの追跡対象３０１が存在し、追跡されている。ｔ＝２では、人物ＩＤ３０３が２の人物がフレームアウトして追跡が終了される。また、画像右から新たな人物がフレームインし、追跡が開始される。
【００２７】
このとき、人物の同定処理が行われ、過去に追跡した人物かどうかを判定する。ここでは、過去に追跡していない人物と判定され、新たな人物ＩＤが発行される。そのため、ｔ＝３では人物ＩＤが３の人物として追跡される。ｔ＝４では、画像左から人物がフレームインし、追跡が開始される。
【００２８】
同様に、人物の同定処理が行われ、過去に追跡した人物かどうかを判定する。ここでは、過去に追跡した人物ＩＤ３０３が２の人物であると判定されたため、新たな人物ＩＤは発行されず、人物ＩＤ３０３は２を再度用いて追跡を行う。ここでは、同じ撮像装置から得たフレーム画像で人物を同定する例を示したが、同様の処理で、異なる撮像装置から得たフレーム画像間で人物を同定することも可能である。
【００２９】
そして、追跡部１０２は、あるフレーム画像において人物の追跡処理を行うと、フレーム番号や、人物ＩＤ、追跡位置、追跡サイズなど、追跡に係る情報を含む追跡情報を生成する。なお、この追跡情報には、この他にも、マッチングスコア、移動量、追跡処理中に扱ったパラメータ値などを含んでもよい。また、追跡位置と追跡サイズは画像座標における値でもよいし、センサや複数カメラの情報から変換された世界座標における値でもよい。
【００３０】
視認判定部１０３は、あるフレーム画像について追跡部１０２が生成した追跡情報から、着目フレーム画像で得られたすべての追跡位置を取得し、それぞれの人物が掲示オブジェクトを視認したか否かを判定する。視認の判定には、掲示オブジェクトの位置と着目人物の情報を用いた様々な方式を適用することができる。
【００３１】
例えば、視認判定部１０３は、着目人物について、画像情報から視線方向を推定し、人物位置と視線方向から人物の視認範囲を求め、その範囲内に掲示オブジェクトが存在した場合、掲示オブジェクトを視認したと判定してもよい。視認範囲は、視線方向から左右所定角度の範囲を視認範囲としてもよいし、視線方向は推定せずに、人物の移動方向の左右所定角度の範囲を視認範囲としてもよい。人物かの判定をすることなく、動体の移動方向を元に、視野範囲を推定してもよい。
【００３２】
また、掲示オブジェクトの位置に基づいて視認可能領域を設定し、着目人物の追跡位置が視認可能領域内に存在した場合、掲示オブジェクトを視認したと判定しても構わない。また、どちらの方式においても、判定の精度を上げるため、一定フレーム以上判定条件を満たした場合、掲示オブジェクトを視認したと判定しても構わない。視認可能領域は、ユーザーが視認判定部１０３内のメモリに設定するようにしてもよい。
【００３３】
すなわち、視認の判定方法は特定の方法に限るものではない。また、視認判定部１０３で用いる、掲示オブジェクトの位置設定は、画像上の位置を、ユーザーの入力により予め設定したものでもよい。或いは、画像認識を用いて掲示オブジェクト位置を検出したものでもよいし、特定の方法に限るものではない。
【００３４】
図５を用いて、視認判定部１０３で行われる視認判定処理についてより詳細に説明する。
図５（ａ）は、追跡対象３０１の視線方向５０２を用いて視認判定を行う場合である。追跡対象３０１と掲示オブジェクト５００が写る、あるフレーム画像３００を考える。この時、視線方向推定によって視線方向５０２を得る。
【００３５】
この視線方向５０２に対し、あらかじめ設定した視認可能距離と角度に基づいて、視認範囲５０３を計算する。この視認範囲５０３内に掲示オブジェクト位置５０１が存在していれば、追跡対象３０１が掲示オブジェクト５００を視認したと判定する。この例では、掲示オブジェクト位置５０１と視認範囲５０３は画像内に収まっているが、視認範囲５０３が画像外に及ぶ場合もあり、そのことから、掲示オブジェクト位置５０１も画像外に設定しても構わない。
【００３６】
さらに、視認範囲５０３の形状は、長方形や楕円形でもよく、扇形に限るものではない。また、視認範囲５０３の計算は視線方向ではなく、人物の移動方向や顔の向きに基づいたものでも構わない。
【００３７】
図５（ｂ）は、追跡枠３０２と視認可能領域を用いて視認判定を行う場合である。画像に対し掲示オブジェクトの視認可能領域５０４を設定し、追跡枠３０２に基づいて追跡位置５０５を取得する。そして、追跡位置５０５が視認可能領域５０４内に存在した場合、追跡対象３０１が掲示オブジェクト５００を視認したと判定する。この例では、追跡位置５０５を追跡対象３０１の足元として示しているが、追跡対象３０１の腰の位置や頭の位置でもかまわない。また、それに伴い、視認可能領域５０４の範囲も特定の範囲に限定するものではない。
【００３８】
そして、視認判定部１０３は、着目した人物が掲示オブジェクトを視認したと判定した場合、視認した掲示オブジェクトの識別子(掲示オブジェクトＩＤ)と視認した人物の人物ＩＤとを対応付けた視認判定情報を生成する。なお、視認判定情報は、どの人物が、どの掲示オブジェクトを視認したかを特定するためのものであり、視認判定情報の形式は特定の形式に限るものではない。
【００３９】
人物属性抽出部１０４は、視認判定部１０３において掲示オブジェクトを視認したと判定された人物の属性情報を、掲示オブジェクトを視認したと判定したフレーム画像から属性に沿った学習識別器を用いて抽出する。ここで、属性とは、人物の年齢、性別、髪の色、服の色、肌の色、体型、メガネや帽子などのアクセサリ、鞄などの所持物体の情報を示してもよいし、過去フレームの情報から歩容を抽出してもよい。特定の情報に限るものではない。また、属性情報の抽出は、掲示オブジェクトを視認したと判定したフレーム画像に限らず、前後数フレームの期間を指定して行ってもよい。
【００４０】
人物の属性情報は、追跡部１０２の人物同定において利用する。各属性について、一般的な人物同定技術を用い、年齢の差、性別の違い、各色情報の違いなどから類似度の計算を行うことで人物を同定する。なお、人物の属性情報の代わりに、動体（あるいは物体）の特性情報を抽出し、動体の追尾に用いるようにしてもよい。
【００４１】
来訪判定部１０５は、あるフレーム画像について追跡部１０２が生成した追跡情報から、着目フレームで得られたすべての人物位置を取得し、それぞれの人物が特定の地点に来訪したかどうかを判定する。来訪の判定には特定地点の位置情報と着目人物の情報を用いた様々な方式を適用することができる。
【００４２】
例えば、特定地点に関する来訪領域をユーザーが予め入力し、着目人物の追跡位置が存在した場合、来訪したと判定してもよい。このとき、来訪判定精度を上げるため、一定フレーム以上来訪判定した場合、特定地点に来訪したと判定してもよい。また、特定地点の入り口に通過線として線分を引き、通過線と、人物の動線の交差判定によって通過判定を行い、特定地点へ入る方向へ通過検知された場合、来訪したと判定してもよい。また、特定地点内を撮影したフレーム画像において、追跡された人物をすべて来訪したと判定してもよい。
【００４３】
すなわち、来訪の判定方法は特定の方法に限るものではない。また、来訪判定部１０５で用いる、特定地点の領域や検知線は、画像中の領域を、ユーザーの入力により予め設定したものでもよいし、画像認識を用いて特定地点を検出したものでもよいし、特定の方法に限るものではない。
【００４４】
図６を用いて、来訪判定部１０５で行われる来訪判定処理をより詳細に説明する。
図６（ａ）は、追跡位置５０５と来訪領域６０１を用いて来訪判定する場合である。あらかじめ設定した来訪領域６０１内に追跡対象３０１に係る追跡位置５０５が存在した場合、追跡対象３０１は特定地点に来訪したと判定する。
【００４５】
図６（ｂ）は、動線６０２と通過線６０３を用いて来訪判定する場合である。まず、過去フレームの追跡結果から得られる追跡位置５０５を時系列順に繋ぐことで動線６０２を得る。そして、入口６００に対して予め設定した通過線６０３と、動線６０２が交差するかを計算によって判定する。この判定の結果、通過線６０３と動線６０２が交差すると判定した場合、追跡対象３０１は特定地点に来訪したと判定する。
【００４６】
そして、来訪判定部１０５は、着目した人物が特定地点に来訪したと判定した場合、来訪した地点の識別子(地点ＩＤ)と来訪した人物の人物ＩＤとを対応付けた来訪判定情報を生成する。なお、来訪判定情報は、どの人物が、どの地点に来訪したかを特定するためのものであり、来訪判定情報の形式は特定の形式に限るものではない。
【００４７】
抽出部１０６は、視認判定情報と来訪判定情報に基づき、人物ＩＤを特定することで、この人物ＩＤに関連する追跡情報を抽出する。すなわち、ユーザーの入力や解析プログラムが掲示オブジェクトＩＤまたは地点ＩＤを指定することで視認判定、または来訪判定された人物ＩＤを特定する。そして、その人物ＩＤに係る追跡情報をすべて抽出する。ここで、視認判定または来訪判定した人物ＩＤが複数存在した場合、判定したすべての人物ＩＤに係る追跡情報を、人物ＩＤ毎に抽出する。
【００４８】
図７を用いて、抽出部１０６で行われる追跡情報の抽出処理についてより詳細に説明する。
図７は、これまでの処理で生成した情報を表し、７０１は追跡情報、７０２は視認判定情報、７０３は来訪判定情報である。例えば、掲示オブジェクトＩＤがＡの掲示オブジェクトを視認した人物の追跡情報を抽出する場合、まず視認判定情報から掲示オブジェクトＩＤが「Ａ」の情報を検索する。
【００４９】
次に、見つかった情報から対応する人物ＩＤ「１」を取得する。ここで、見つかった情報が複数ある場合は、すべての情報から、複数の人物ＩＤを取得する。
次に、追跡情報７０１から得られた人物ＩＤ「１」に関する追跡情報をすべて抽出する。来訪判定情報に関しても同様の処理によって追跡情報を抽出することができる。
【００５０】
また、視認判定情報から得られた人物ＩＤと来訪判定から得られた人物ＩＤに対して論理積や論理和の条件を設定してから、追跡情報を抽出してもよい。また、図７では、情報の形式をデータベースの形式で示したが、情報の保持形式は特定の形式に限るものではなく、また、各情報に含まれる項目も、特定の項目に限るものではない。
【００５１】
変換部１０７は、抽出部１０６により抽出された追跡情報を、人物の動線または人物の流動に変換する。例えば、特定の人物の追跡情報を動線に変換する場合、人物の追跡位置を処理したフレームの順に線分で繋ぐことで、人物の動線に変換することができる。この時、動線に対して、スプライン関数などを用いてスムージング処理を適用してもよい。
【００５２】
また、特定地点の複数人物の流動に変換する場合、すべての人物に対して、移動ベクトルを２フレーム間の追跡位置の差分から計算し、特定地点内での移動ベクトルの統計を取ることで、人物の流動に変換することができる。変換の方法は一例であり、追跡情報から人物の動線または人物の流動に変換する方法は特定の方法に限るものではない。
【００５３】
また、抽出部１０６で得られた人物ＩＤの数を用いて、掲示オブジェクトの効果を数値化する。例えば、視認判定情報から得られた人物ＩＤの総数を視認人数と来訪判定情報から得られた人物ＩＤの総数を来訪人数、視認判定情報と来訪判定情報の双方で得られた人物ＩＤを視認来訪人数とする。そして、視認来訪人数と視認人数の比から、掲示オブジェクトを見た人物の中で、特定地点に来訪した割合を求め、視認来訪人数と来訪人数の比から、特定地点に来訪した中で、掲示オブジェクトを見た割合を求める。
【００５４】
表示部１０８は、抽出部１０６と変換部１０７のどちらか、あるいは、両方で得られた情報を処理して描画した画像、または数値をユーザーに掲示する。すなわち、すべての撮影位置に関する画像に、変換部１０７で求めた移動軌跡を描画する。
【００５５】
このとき、不図示の入力部からＭＡＰ情報取得、または複数の地点を撮影したフレーム画像からＭＡＰ情報を作成する。そして、動線または流動の座標をＭＡＰの座標に変換することで、ＭＡＰ上に動線または複数人物の流動を描画してもよい。また、追跡位置の座標をＭＡＰ座標に変換することで、追跡位置を描画してもよい。画像座標からＭＡＰ座標への変換は、画像を取得する撮像装置またはフレーム画像とＭＡＰをキャリブレーションすることで、変換することが可能である。
【００５６】
図８、図９を用いて表示部１０８で行われる描画処理についてより詳細に説明する。
図８は、フレーム画像３００に変換部１０７で求めた動線６０２を描画した場合を示す図である。簡単化のため、得られるフレーム画像３００は４地点に関するものとし、描画する動線６０２は抽出された追跡情報が１人の人物であった場合とする。もちろん、得られるフレーム画像の地点は１以上の地点であり、描画する追跡は複数人物でも構わない。
【００５７】
図９（ａ）は、キャリブレーションされたＭＡＰ情報９００に動線を描画した例を示す。
ＭＡＰ情報９００には、各追跡範囲の見取り図としての情報や、掲示オブジェクトＩＤ９０１、地点ＩＤ９０２の情報が含まれる。また、掲示オブジェクトＩＤ９０１と地点ＩＤ９０２はＭＡＰ情報９００とは別に保持し、後にＭＡＰ情報９００と対応付けることで自動入力してもよいし、ユーザーが手動で入力してもよい。
【００５８】
まず、フレーム画像３００に変換部１０７で求めた動線６０２を描画した場合と同様に、画像座標での動線６０２を求める。このとき、ＭＡＰ情報９００とのキャリブレーション情報からＭＡＰの座標でのＭＡＰ座標動線９０４に変換する。このＭＡＰ座標動線９０４をＭＡＰ情報９００に描画する。この変換処理は、変換部１０７で行ってもよい。
【００５９】
また、フレーム画像として撮影できる範囲は、ＭＡＰ情報９００を網羅しているとは限らず、フレーム画像の撮影地点が複数存在した場合、撮影地点間でのＭＡＰ座標追跡位置９０３を得ることができず、ＭＡＰ座標動線９０４が途切れてしまう。そこで、途切れた移動軌跡を、ＭＡＰ座標追跡位置９０３の時系列順序から予測し、補間動線９０５を描画してもよい。図９（ａ）では、ＭＡＰ座標動線９０４を実線、補間動線９０５を破線で描画したが、それぞれを色の濃淡で表現してもよいし、色を変えて表現してもよい。なお、ＭＡＰ座標動線９０４が途切れないように、カメラを設置するようにしてもよい。
【００６０】
図９（ｂ）は、キャリブレーションされたＭＡＰ情報９００に人物の流動９０６を描画した例を示す。
図９（ａ）の場合と同様に、追跡情報が得られない地点については、補間流動９０７を描画してもよい。また、人物の流動の方向を矢印の方向で表しており、流動の大きさを矢印のサイズで表している。また、方向や大きさの表し方は、矢印でなく、色の濃淡で表わしてもよいし、特定の表し方に限定するものではない。
【００６１】
図９（ａ）、（ｂ）では、２次元のＭＡＰ情報を例に説明したが、ＭＡＰ情報は３次元であってもよい。すなわち、ＭＡＰ情報の形式は特定の形式に限定するものではない。
そして、表示部１０８は、情報を描画した画像またはＭＡＰと掲示オブジェクトに係る数値情報を表示する。また、表示は必ずしも行う必要はなく、生成された動線または人物流動については、不図示の記録部によって、記録してもよい。
【００６２】
以上説明した、本実施形態に係る掲示オブジェクト効果計測システム１００による掲示オブジェクト効果計測処理の一例について、図２のフローチャートを用いて説明する。なお、図２に示した各ステップにおける処理は、何れも上述の通りであるため、以下では簡単に説明する。
【００６３】
Ｓ２０１では、画像取得部１０１は、１フレーム分の画像を取得する。
Ｓ２０２では、本システムの不図示の制御部が、本処理の終了条件が満たされたか否かを判断する。この判断の結果、終了条件が満たされた場合、すなわち、画像取得部１０１が画像を取得することができなくなった場合には、本処理は終了する。一方、終了条件が満たされていない場合には、処理はＳ２０３に進む。
【００６４】
Ｓ２０３では、追跡部１０２は、画像取得部１０１から取得したフレーム画像に対して画像処理し、追跡処理を実行する。
Ｓ２０４では、追跡部１０２は、Ｓ２０３における追跡処理で１以上の追跡対象を発見または追跡したか否かを判断する。この判断の結果、１以上の追跡対象を発見または追跡した場合には、処理はＳ２０５に進み、それ以外の場合には、処理はＳ２０９に進む。
【００６５】
Ｓ２０５では、視認判定部１０３は、追跡部１０２が生成した追跡情報から、着目フレームで得られたすべての追跡位置を取得し、それぞれの人物が掲示オブジェクトを視認したかどうかの判定処理を実行する。
【００６６】
Ｓ２０６では、視認判定部１０３は、Ｓ２０５における判定処理で、１以上の追跡対象が掲示オブジェクトを視認したと判定されたか否かを判断する。この判断の結果、１以上の追跡対象が掲示オブジェクトを視認したと判定した場合には、Ｓ２０７に進む。それ以外の場合にはＳ２０８に進む。
【００６７】
Ｓ２０７では、人物属性抽出部１０４は、視認判定部１０３において掲示オブジェクトを視認したと判定された人物の属性情報を、掲示オブジェクトを視認したと判定したフレーム画像から抽出する。
Ｓ２０８では、来訪判定部１０５は、追跡部１０２が生成した追跡情報から、着目フレームで得られたすべての人物位置を取得し、それぞれの人物が特定の地点に来訪したかを判定する。
【００６８】
Ｓ２０９では、抽出部１０６は、視認判定情報と来訪判定情報に基づき、人物ＩＤを特定することで、この人物ＩＤに係る追跡情報を抽出する。
Ｓ２１０では、変換部１０７は、抽出部１０６により抽出された追跡情報を、人物の移動軌跡または複数人物の流動に変換する。
【００６９】
Ｓ２１１では、表示部１０８は、抽出部１０６と変換部１０７で得られた情報を画像上に描画、または数値化してユーザーに掲示する。
なお、本実施形態では、Ｓ２０１の画像の取得からＳ２１１の結果の表示までを一括の処理であるものとして説明した。しかし、Ｓ２０１の画像の取得からＳ２０８の来訪判定までを事前に行い、後にＳ２０９の情報の抽出とＳ２１０の追跡情報の変換をまとめて行ってもよい。
【００７０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７１】
１００  掲示オブジェクト効果計測システム
１０１  画像取得部
１０２  追跡部
１０３  視認判定部
１０４  人物属性抽出部
１０５  来訪判定部
１０６  抽出部
１０７  変換部
１０８  表示部
【図１】
2015230616.tif 000003
【図２】
2015230616.tif 000004
【図７】
2015230616.tif 000005
【図８】
2015230616.tif 000006
【図９】
2015230616.tif 000007
【図３】
2015230616.tif 000008
【図４】
2015230616.tif 000009
【図５】
2015230616.tif 000010
【図６】
2015230616.tif 000011