(57)【特許請求の範囲】
【請求項１】
撮像装置で撮像された画像と前記画像に対応する図形との関係性を用いて生成された前記図形内における人の位置情報を取得する取得部と、
前記人の位置情報を用いた統計処理を行う統計処理部と、
を備えるシステムであって、
前記統計処理部は、対象人数を生成し、
前記統計処理部は、前記対象人数を、第１時期と、第２時期と、について生成し、
前記第１時期と前記第２時期は、特定のプロモーション、特定のサービス、又は、レイアウト変更のいずれかを含むイベントの前後の時期であり、
前記統計処理部は、
前記第１時期の前記対象人数として、前記第１時期における商品情報と関連付けられる人数を生成し、
前記第２時期の前記対象人数として、前記第２時期における商品情報と関連付けられる人数を生成する、
システム。
【請求項２】
撮像装置で撮像された画像と前記画像に対応する図形との関係性を用いて生成された前記図形内における人の位置情報を取得する取得部と、
前記人の位置情報を用いた統計処理を行う統計処理部と、
を備えるシステムであって、
前記統計処理部は、対象人数を生成し、
前記統計処理部は、前記対象人数を、第１時期と、第２時期と、について生成し、
前記第１時期と前記第２時期は、特定のプロモーション、特定のサービス、又は、レイアウト変更のいずれかを含むイベントの前後の時期であり、
前記統計処理部は、
前記第１時期の前記対象人数として、前記第１時期における広告に興味があると推定される人数を生成し、
前記第２時期の前記対象人数として、前記第２時期における広告に興味があると推定される人数を生成する、
システム。
【請求項３】
撮像装置で撮像された画像と前記画像に対応する図形との関係性を用いて生成された前記図形内における人の位置情報を取得する取得部と、
前記人の位置情報を用いた統計処理を行う統計処理部と、
を備えるシステムであって、
前記統計処理部は、対象人数を生成し、
前記統計処理部は、前記対象人数を、第１時期と、第２時期と、について生成し、
前記第１時期と前記第２時期は、特定のプロモーション、特定のサービス、又は、レイアウト変更のいずれかを含むイベントの前後の時期であり、
前記統計処理部は、
前記第１時期の前記対象人数として、前記第１時期における店舗訪問者割合を生成し、
前記第２時期の前記対象人数として、前記第２時期における店舗訪問者割合を生成する、
システム。
【請求項４】
前記統計処理部は、前記対象人数について、ランキングを生成する、
請求項１乃至３のいずれか１項に記載のシステム。
【請求項５】
施設の第１の出入口に設置された撮像装置で第１所定期間内に人を撮像した一又は複数の第１画像を取得する取得部と、
前記施設の第２の出入口に設置された撮像装置で第２所定期間内に人を撮像した一又は複数の第２画像を取得する取得部と、
前記一又は複数の第１画像内の第１グループの人と、前記一又は複数の第２画像内の第２グループの人との同一性を判定する判定部と、
を備えたシステムであって、
前記第１所定期間と前記第２所定期間とは、撮像された時刻として重複がない、
システム。
【請求項６】
メモリを備える、
請求項１乃至５のいずれか１項に記載のシステム。
【請求項７】
演算装置を備える、
請求項１乃至６のいずれか１項に記載のシステム。
【請求項８】
コンピュータが、
施設の第１の出入口に設置された撮像装置で第１所定期間内に人を撮像した一又は複数の第１画像を取得するステップと、
前記施設の第２の出入口に設置された撮像装置で第２所定期間内に人を撮像した一又は複数の第２画像を取得するステップと、
前記一又は複数の第１画像内の第１グループの人と、前記一又は複数の第２画像内の第２グループの人との同一性を判定するステップと、
を実行する方法であって、
前記第１所定期間と前記第２所定期間とは、撮像された時刻として重複がない、
方法。
【請求項９】
前記コンピュータが、メモリを備える、
請求項８に記載の方法。
【請求項１０】
前記コンピュータが、演算装置を備える、
請求項８又は９に記載の方法。
【請求項１１】
コンピュータを、請求項１乃至７のいずれか一項に記載のシステムとして機能させるためのプログラム。
【請求項１２】
コンピュータを、
施設の第１の出入口に設置された撮像装置で第１所定期間内に人を撮像した一又は複数の第１画像を取得する手段、
前記施設の第２の出入口に設置された撮像装置で第２所定期間内に人を撮像した一又は複数の第２画像を取得する手段、
前記第１画像内の第１グループの人と、前記第２画像内の第２グループの人との同一性を判定する手段、
として機能させるためのプログラムであって、
前記第１所定期間と前記第２所定期間とは、撮像された時刻として重複がない、
プログラム。
【請求項１３】
前記コンピュータ内のメモリを使用する、
請求項１２に記載のプログラム。
【請求項１４】
前記コンピュータ内の演算装置を使用する、
請求項１２又は１３に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願において開示された技術は、情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法に関する。
【背景技術】
【０００２】
近年の高度情報化社会に伴い、撮像装置で撮像された情報を有効利用する必要性が高まっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２３０５８０号公報
【特許文献２】特開２００５−２８６６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の文献は、撮像装置で撮像された情報を有効利用できるシステムではなかった。そこで、本発明の様々な実施形態は、上記の課題を解決するために、情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法を提供する。
【課題を解決するための手段】
【０００５】
本願発明に係る一実施形態の第１の方法は、
コンピュータが、撮像装置で撮像された画像内の複数の第１位置と、前記画像に対応する図形内における前記複数の第１位置にそれぞれ対応する第２位置と、を関連付けて関係性として記憶するステップと、
コンピュータが、前記画像内の対象に係る第３位置を取得するステップと、
コンピュータが、前記複数の第１位置の一部と前記第３位置との位置関係と、前記関係性の一部又は全部を用いて、前記第３位置に対応する前記図形内の第４位置を生成するステップと、
を含む画像内の位置に対応する図形内の位置を特定する方法。
【０００６】
本願発明に係る一実施形態の第２の方法は、
前記複数の第１位置の一部は、前記複数の第１位置のうち、前記第３位置と最も近い３つの第１位置である、
第１の方法。
【０００７】
本願発明に係る一実施形態の第３の方法は、
前記第４位置を生成するステップは、前記３つの第１位置によって構成される三角形の辺を用いるステップを含む、
第１又は第２の方法。
【０００８】
本願発明に係る一実施形態の第４の方法は、
前記第４位置を生成するステップは、前記第３位置から前記三角形に係る辺又は前記辺の延長線への各垂線を用いるステップを含む、
第１乃至第３のいずれか一の方法。
【０００９】
本願発明に係る一実施形態の第５の方法は、
前記第４位置を生成するステップは、前記三角形の各辺又は前記辺の延長線内と対応する前記各垂線の各交点を用いるステップを含む、
第１乃至第４のいずれか一の方法。
【００１０】
本願発明に係る一実施形態の第６の方法は、
コンピュータが、一の前記第１位置を取得した後に、一の前記第２位置を取得するステップを含む、
第１乃至第５のいずれか一の方法。
【００１１】
本願発明に係る一実施形態の第７の方法は、
コンピュータが、前記一の前記第１位置を取得した後であって前記一の前記第２位置を取得する前に、
前記図形を表示する表示装置が、前記第１位置を示す表示をするステップを含む、
第１乃至第６のいずれか一の方法。
【００１２】
本願発明に係る一実施形態の第８の方法は、
前記図形を表示する表示装置が、前記複数の第１位置の取得が終了するまで、コンピュータが取得した前記第１位置を示す表示を継続して表示するステップを含む、
第１乃至第７のいずれか一に記載の方法。
【００１３】
本願発明に係る一実施形態の第９の方法は、
コンピュータが、一の前記第２位置を取得した後に、一の前記第１位置を取得するステップを含む、
第１乃至第８のいずれか一の方法。
【００１４】
本願発明に係る一実施形態の第１０の方法は、
コンピュータが、前記一の前記第２位置を取得した後であって前記一の前記第１位置を取得する前に、
前記図形を表示する表示装置が、前記第２位置を示す表示をするステップを含む、
第１乃至第９のいずれか一の方法。
【００１５】
本願発明に係る一実施形態の第１１の方法は、
前記図形を表示する表示装置は、前記複数の第２位置の取得が終了するまで、コンピュータが取得した前記第２位置を示す表示を継続して表示するステップを含む、
第１乃至第１０のいずれか一の方法。
【００１６】
本願発明に係る一実施形態の第１２のシステムは、
撮像装置で撮像された画像内の複数の第１位置と、前記図形に対応する図形内における前記複数の第１位置にそれぞれ対応する第２位置と、を関連付けて関係性として記憶する記憶部と、
前記図形内の対象に係る第３位置を取得する取得部と、
前記第３位置と前記複数の第１位置との位置関係と、前記関係性を用いて、前記第３位置に対応する前記図形内の第４位置を生成する生成部と、
を備えるシステム。
【００１７】
本願発明に係る一実施形態の第１３のシステムは、
前記複数の第１位置の一部は、前記複数の第１位置のうち、前記第３位置と最も近い３つの第１位置である、
第１２のシステム。
【００１８】
本願発明に係る一実施形態の第１４のシステムは、
前記第４位置を生成する生成部は、前記３つの第１位置によって構成される三角形の辺を用いる、
第１２又は１３のシステム。
【００１９】
本願発明に係る一実施形態の第１５のシステムは、
前記第４位置を生成する生成部は、前記第３位置から前記三角形に係る辺又は前記の延長線への各垂線を用いる、
第１２乃至第１４のいずれか一のシステム。
【００２０】
本願発明に係る一実施形態の第１６のシステムは、
前記第４位置を生成する生成部は、前記三角形の各辺又は前記辺の延長線内と対応する前記各垂線の各交点を用いる、
第１２乃至第１５のいずれか一のシステム。
【００２１】
本願発明に係る一実施形態の第１７のシステムは、
前記第１位置及び前記第２位置を受領する受領部を備え、
前記受領部は、一の前記第１位置を取得した後に、一の前記第２位置を取得する、
第１２乃至第１６のいずれか一のシステム。
【００２２】
本願発明に係る一実施形態の第１８のシステムは、
前記第１位置及び前記第２位置を受領する受領部を備え、
前記受領部は、一の前記第２位置を取得した後に、一の前記第１位置を取得する、
第１２乃至第１７のいずれか一のシステム。
【００２３】
本願発明に係る一実施形態の第１９のプログラムは、
コンピュータを、第１乃至第１１のいずれか一の方法で動作させるプログラム。
【発明の効果】
【００２４】
本発明の一実施形態により、撮像装置で撮像された情報を適切に処理して提供できる。
【図面の簡単な説明】
【００２５】
【図１】図１は、一実施形態に係る情報処理装置の構成例を示すブロック図である。
【図２】図２は、一実施形態に係るシステムの対象とする画像の一例である。
【図３】図３は、一実施形態に係るシステムの機能の一例である。
【図４】図４は、一実施形態に係るシステムの利用可能なデータの一例である。
【図５】図５は、一実施形態に係るシステムの利用可能な実画像と参照画像の関係を示す一例である。
【図６】図６は、一実施形態に係るシステムの利用可能なデータの一例である。
【図７】図７は、一実施形態に係るシステムの利用可能な実画像と参照画像の関係を示す一例である。
【図８】図８は、一実施形態に係るシステムの利用可能なデータの一例である。
【図９】図９は、一実施形態に係るシステムが表示可能な画面の一例である。
【図１０】図１０は、一実施形態に係るシステムが表示可能な画面の一例である。
【図１１】図１１は、一実施形態に係るシステムが表示可能な画面の一例である。
【図１２】図１２は、一実施形態に係るシステムが表示可能な画面の一例である。
【図１３】図１３は、一実施形態に係るシステムが実施可能なフローの一例である。
【図１４】図１４は、一実施形態に係るシステムが表示可能な画面の一例である。
【図１５】図１５は、一実施形態に係るシステムが表示可能な画面の一例である。
【図１６】図１６は、一実施形態に係るシステムが実施可能なフローの一例である。
【図１７】図１７は、一実施形態に係るシステムが実施可能なフローの一例である。
【図１８】図１８は、一実施形態に係るシステムが実施可能なフローの一例である。
【図１９】図１９は、一実施形態に係るシステムが利用可能な情報の分類の一例である。
【図２０】図２０は、一実施形態に係るシステムの利用可能なデータの一例である。
【図２１】図２１は、一実施形態に係るシステムの利用可能なルールの一例である。
【図２２】図２２は、一実施形態に係るシステムの利用可能なデータの一例である。
【図２３】図２３は、一実施形態に係るシステムが対応可能な状況の一例である。
【図２４】図２４は、一実施形態に係るシステムの構成の一例である。
【図２５】図２５は、一実施形態に係るシステムの利用可能なデータの一例である。
【図２６】図２６は、一実施形態に係るシステムが実施可能なフローの一例である。
【図２７】図２７は、一実施形態に係るシステムが実施可能なフローの一例である。
【図２８】図２８は、一実施形態に係るシステムが実施可能なフローの一例である。
【図２９】図２９は、一実施形態に係るシステムの利用可能なデータの一例である。
【図３０】図３０は、一実施形態に係るシステムの利用可能なデータの一例である。
【図３１】図３１は、一実施形態に係るシステムの利用可能な参照画像の領域の一例である。
【図３２】図３２は、一実施形態に係るシステムの利用可能なデータの一例である。
【図３３】図３３は、一実施形態に係るシステムの利用可能なデータの一例である。
【図３４】図３４は、一実施形態に係るシステムが表示可能な画面の一例である。
【図３５】図３５は、一実施形態に係るシステムの利用可能なデータの一例である。
【図３６】図３６は、一実施形態に係るシステムの利用可能なデータの一例である。
【図３７】図３７は、一実施形態に係るシステムの利用可能なデータの一例である。
【図３８】図３８は、一実施形態に係るシステムの利用可能なデータの一例である。
【図３９】図３９は、一実施形態に係るシステムが表示可能な画面の一例である。
【図４０】図４０は、一実施形態に係るシステムが対応可能な撮像装置の位置の一例である。
【図４１】図４１は、一実施形態に係るシステムが実施可能なフローの一例である。
【図４２】図４２は、一実施形態に係るシステムが利用可能な参照画像の領域の一例である。
【図４３】図４３は、一実施形態に係るシステムの利用可能なデータの一例である。
【図４４】図４４は、一実施形態に係るシステムが表示可能な画面の一例である。
【図４５】図４５は、一実施形態に係るシステムが利用可能な参照画像の領域の一例である。
【図４６】図４６は、一実施形態に係るシステムが表示可能な画面の一例である。
【図４７】図４７は、一実施形態に係るシステムが利用可能な参照画像の領域の一例である。
【図４８】図４８は、一実施形態に係るシステムの利用可能なデータの一例である。
【図４９】図４９は、一実施形態に係るシステムが利用可能な参照画像の領域の一例である。
【図５０】図５０は、一実施形態に係るシステムが表示可能な画面の一例である。
【図５１】図５１は、一実施形態に係るシステムが表示可能な画面の一例である。
【図５２】図５２は、一実施形態に係るシステムの利用可能なデータの一例である。
【図５３】図５３は、一実施形態に係るシステムが表示可能な画面の一例である。
【図５４】図５４は、一実施形態に係るシステムが表示可能な画面の一例である。
【図５５】図５５は、一実施形態に係るシステムが利用可能な参照画像の領域の一例である。
【図５６】図５６は、一実施形態に係るシステムの接続可能な構成例を示すブロック図である。
【図５７】図５７は、一実施形態に係るシステムの利用可能なデータの一例である。
【図５８】図５８は、一実施形態に係るシステムが実施可能なフローの一例である。
【図５９】図５９は、一実施形態に係るシステムが実施可能なフローの一例である。
【図６０】図６０は、一実施形態に係るシステムの利用可能なデータの一例である。
【図６１】図６１は、一実施形態に係るシステムの利用可能なデータの一例である。
【図６２】図６２は、一実施形態に係るシステムの利用可能な状況を示す一例である。
【図６３】図６３は、一実施形態に係るシステムが実施可能なフローの一例である。
【図６４】図６４は、一実施形態に係るシステムのフローの一例である。
【図６５】図６５は、一実施形態に係るシステムのデータ構造の一例である。
【図６６】図６６は、一実施形態に係るシステムのデータ構造の一例である。
【図６７】図６７は、一実施形態に係るシステムのデータ構造の一例である。
【図６８】図６８は、一実施形態に係るシステムのデータ構造の一例である。
【図６９】図６９は、一実施形態に係るシステムのデータ構造の一例である。
【図７０】図７０は、一実施形態に係るシステムのデータ構造の一例である。
【００２６】
１．情報処理装置１０の各構成
本実施形態のシステムは、例えば、図１に示すような構成であってよい。本実施形態のシステムは、情報処理装置１０から構成される。情報処理装置１０を構成する一例としては、例えば、図１のように、バス１１、演算装置１２、記憶装置１３、入力装置１４、表示装置１５及び通信ＩＦ１６を有する構成であってよい。また、情報処理装置１０は、ネットワーク１９と、直接的または間接的に接続される構成であってよい。
【００２７】
バス１１は、演算装置１２、記憶装置１３、入力装置１４、表示装置１５及び通信ＩＦ１６の間の情報を伝達する機能を有する。
【００２８】
演算装置１２は、プログラムの命令を実行できる装置である。例えばプロセッサが挙げられる。これは、ＣＰＵであってもよいし、ＭＰＵであってもよい。また、グラフィックスプロセッシングユニット、デジタルシグナルプロセッサなどを有してもよい。
【００２９】
記憶装置１３は、情報を記録する装置である。記憶は、一時的な記憶であってもよいし、長期的な記憶であってもよい。記憶装置１３は、内部メモリ若しくは外部メモリのいずれか又はこれら両方であってもよい。また、記憶装置１３は、磁気ディスク（ハードディスク）、光ディスク、磁気テープ、半導体メモリなどでもよい。また、記憶装置１３は、図示されていないが、ネットワークを介した記憶装置又は、ネットワークを介したクラウド上の記憶装置であってよい。
【００３０】
なお、演算装置に近い位置で情報を記憶する、レジスタ、Ｌ１キャッシュ、Ｌ２キャッシュなどは、図１のブロック図においては、演算装置１２内に含まれる場合もあるが、計算機アーキテクチャのデザインにおいて、情報を記録する装置として、記憶装置１３がこれらを含んでもよい。要するに、演算装置１２、記憶装置１３及びバス１１が協調して、情報処理を実行できるよう構成されていればよい。
【００３１】
記憶装置１３は、本願発明に関連する技術を実行するプログラムを備えることができ、また、本願発明に関連する際に必要なデータを、適宜記録することもできる。例えば、後述する機械学習に必要な学習用データを取得した場合には記憶し、機械学習を実行するためのプログラムを記憶し、機械学習を実行した後に学習することで生成される属性情報生成機能に必要な情報を記憶してよい。また、記憶装置１３は、データベースを含んでよい。また、記憶装置１３は、短期的な記憶装置であってもよいし、長期的な記憶装置であってもよい。短期的な記憶装置としては、例えば、キャッシュが挙げられ、長期的な記憶装置としては、ＨＤＤなどが挙げられる。
【００３２】
また、上記は、演算装置１２が、記憶装置１３に備えられたプログラムに基づいて実行される場合を一例として説明したが、上記のバス１１、演算装置１２と記憶装置１３が組み合わされた形式の一つとして、本願システムに係る情報処理を、ハードウェア回路自体を変更することができるプログラマブルロジックデバイス又は実行する情報処理が決まっている専用回路で実現されてもよい。プログラマブルロジックデバイスまたは専用回路で実現された場合、より高速に本願システムを処理できる利点がある。また、演算装置１２は、並列計算が可能なよう構成されてもよい。例えば、演算装置１２が機械学習を行う場合、複数の学習データに対して、同時に機械学習が実現できるようされてよい。
【００３３】
入力装置１４は、情報を入力するものである。入力装置１４としては、キーボード、マウス、タッチパネル、又はペン型の指示装置などの入力装置が挙げられる。なお、タッチパネルが表示機能を有するように、入力装置１４は、他の機能を有していてもよい。
【００３４】
表示装置１５は、情報を表示する機能を有する。例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどが挙げられるが、要するに、情報を表示できる装置であればよい。また、タッチパネルのように入力装置１４を一部に備えてもよい。
【００３５】
ネットワーク１９は、通信ＩＦ１６と共に、情報を伝達する機能を有する。例えば、情報処理装置１０が有する情報を、ネットワーク１９を介して他の情報処理装置に伝達できる機能を有する。通信ＩＦ１６は、どのような接続形式を備えてもよい。例えば、ＵＳＢ、ＩＥＥＥ１３９４、イーサネット（登録商標）、ＰＣＩ、ＳＣＳＩなどでよい。ネットワーク１９は、有線と無線のいずれでもよく、有線の場合は、光ファイバ、又は同軸ケーブルなどを用いてよい。
【００３６】
情報処理装置１０は、本願書類に記載された技術の一部又は全部の専用の情報処理装置であってもよいし、本願書類に記載された技術以外の技術を実行できる情報処理装置であってもよい。情報処理装置１０は、サーバー、ワークステーション、デスクトップパソコン、ラップトップパソコン、ノートパソコン、ＰＤＡ、携帯電話、スマートフォンなどでもよい。
【００３７】
図１では、一台の情報処理装置１０として説明したが、情報処理装置１０は、複数の情報処理装置で構成されてもよい。当該複数の情報処理装置は、内部的に接続されていてもよいし、ネットワークを介して外部的に接続されていてもよい。また、情報処理装置１０が複数の情報処理装置で構成される場合、その所有者または管理者が異なっていても、本処理に記載の技術を実行する際に、アクセス権があるなどによって情報処理装置を利用できる状態であればよい。また、情報処理装置１０は、物理的な存在であってもよいし、仮想的なものであってもよい。例えば、クラウドコンピューティングを用いて、情報処理装置１０を仮想的に実現されてもよい。また、図１は、本実施形態のシステムの基本的構成を説明したものであるが、これらに他の情報処理装置と連携する場合などには、入力装置１４や表示装置１５を有しない形態であってもよい。
【００３８】
２．用語の説明
本出願書類において、「実画像」は、撮像装置で撮像されたものを示す。実画像は、動画であっても静止画であってもよい。実画像は、後述する対象がいない背景であってもよいし、対象がいるものであってもよい。また、実画像は、動画の一停止画像であってもよいし、動画が再生中のものであってもよい。カメラは、種々の位置に備えられているものであってよい。動画は、カメラの設置された種々の位置から、種々の角度で撮像されたものでよい。例えば、地面に対して、３０度、４５度、５０度、５５度、６０度などの角度で下方を撮像できる位置に設置されたカメラによって撮像された動画であってもよいし、上方に向けて撮像できる位置に設置されたカメラによって撮像された動画であってもよい。また、カメラは、地面に対して、真上に設置されて、真下を撮像するものでもよいし、真横を撮像するものでもよく、撮像される方向に制限はない。
【００３９】
ここで、実画像は、動画内に、基準となるものが含まれていてもよいが、基準となるものが含まれている必要はない。例えば、実画像又はその元となる動画は、基準となる物体を設置した後に、当該基準となる物体を視野内に含むよう撮像された動画である必要は無い。そのため、利用者は、カメラの撮像前に、基準となるものを設置する負担が減少する。また、基準となる物体の設置が不要であることから、基準となる物体を含ませずに撮像された過去の動画を活用できる利点がある。
【００４０】
また、実画像は、動画内に、以下の種々の目的に応じた種々の対象が含まれているものであってもよいし、含まれていないものでもよい。例えば、人の動きを特定する目的、又は、人の人数を数える目的で、実画像と後述する参照画像の関係性を生成するにあたり、実画像内に、人が含まれていてもよいし、人が含まれなくてもよい。本実施形態のシステムが、人が含まれる実画像を利用する場合、予め人が含まれない動画を用意する必要がない点で、負担が減少する利点がある。
【００４１】
図２は、動画の一停止画面である実画像の一例を模式化したものであり、ビルの谷間と公園を示すものである。一実施形態のシステムが使用する実画像は、このような撮像装置で撮像された一画面であってよい。
【００４２】
「参照画像」は、動画で撮像された対象を示すものである。参照画像が示す対象は、実画像で示されたものと一致していてもよいし、実画像の一部であってもよい。例えば、一の参照画像と位置の実画像が一致していてもよいし、複数の参照画像が組み合わさることで一の実画像と一致することでもよいし、複数の参照画像を組み合わせることで、実画像の一部と一致することでもよい。また、参照画像の一部が、実画像で示されたものと一致していてもよい。例えば、一の参照画像が、複数の実画像が組み合わされたものと一致してもよい。また、参照画像の一例は、地図や図面であるが、正確な地図や図面であってもよいし、不正確な地図や図面であってもよい。参照画像は、実画像と異なる縮尺の地図や図面であってもよいし、フリーハンドの地図や図面であってもよいし、一部が誇張された地図や図面であってもよいし、一部が歪んだ地図や図面であってもよい。動画が、店舗内の一部や、通路などに設置された撮像装置で撮像された物であれば、参照画像は、店舗や施設の図面であってよい。また、建物の外や道路に設置された撮像装置で撮像された動画については、参照画像は、建物周辺の地図や道路図などであってもよい。
【００４３】
３．システムの機能の一例
一例のシステムは以下に述べる幾つかの機能の一部又は全部を有してよい。ここでは、システムの機能を、まとめて説明するが、本願書類に含まれた発明は、これらの機能の全てを常に使う必要は無く、一部の機能であってもその一部の機能が備える技術的意義を有する発明である。以下では、図３にある、位置関係生成部３１、対象情報収集部３２、位置生成部３３、統計処理部３４、を順に説明する。
【００４４】
３．１．位置関係生成部３１
位置関係生成部は、実画像と、実画像に対応する参照画像の位置の関係を生成する機能を有する。
【００４５】
位置関係生成部を用いることにより、利用者は、次のようにして、実画像と参照画像の関係を生成することができる。まず、利用者が、実画像内におけるＡ１の場所をタッチして指定し、実画像内のＡ１の箇所に対応する参照画像内の場所であるＡｔ１をタッチして指定する。同様に、利用者は、実画像内におけるＡ２の場所をタッチして指定し、実画像内のＡ１の箇所に対応する参照画像内の場所であるＡｔ２をタッチして指定する。このようにして、実画像内の場所の指定に対応する場所を参照画像内で指定する。位置関係生成部は、これらの指定に対して、各位置情報を取得して記憶する。例えば、Ａ１の場所に対応して（Ａｘ１、Ａｙ１）の座標情報を取得し、Ａｔ１の場所に対応して（Ａｔｘ１、Ａｔｙ１）の座標情報を取得する。同様に、Ａ２の場所に対して、（Ａｘ２、Ａｙ２）の座標情報を取得し、Ａｔ２の場所に対応して（Ａｔｘ２、Ａｔｙ２）の座標情報を取得する。ここで、例えば、Ｎ箇所の座標情報を取得したとすると、位置関係生成部は、実画像内のＡ１乃至ＡＮに対して、夫々対応するＡｔ１乃至ＡｔＮの位置情報を取得できる。図４は、位置情報として、座標情報について、実画像と参照画像の位置関係を記憶したデータの一例である。
【００４６】
上述の位置の指定は、情報処理装置の入力機能が用いられてよい。入力機能は、タッチパネルであってもよいし、ペン型等のポインターでもよいし、マウスでもよい。入力機能と表示機能が同一の装置内に含まれていてもよい。
【００４７】
また、上述のとおり、実画像と参照画像の関係は、一対一のみでなく、多対一、一対多、又は多対多であってもよい。ここで、多は複数を意味する。複数の実画像に対し、前記複数よりも少ない数の参照画像が設定される場合としては、例えば、複数の撮像装置で撮像される場所を一の参照地図で対応する場合がある。より具体的には、複数のカメラで撮像される一店舗内に対し、前記一店舗を示す地図である場合がある。このとき、各撮像装置に対して参照画像を用意する必要がないため、利用者による位置関係生成の入力の負担が減少する利点がある。
【００４８】
例えば、複数の撮像装置Ｃ１、Ｃ２において撮像された各実画像Ａ１、Ａ２に対して、参照画像Ｒが一つであってよい。この場合、撮像装置Ｃ１による動画Ａ１内の位置に対し、参照画像Ｒの一部の位置について、位置関係生成部が位置関係情報を生成し、撮像装置Ｃ２による動画Ａ２内の位置に対し、参照画像Ｒの一部について、位置関係生成部が位置関係情報を生成してよい。図５は、実画像Ａ１、Ａ２と、参照画像Ｒにおける位置情報の対応関係を概略的に示す図であり、図６は、位置関係生成部が生成したデータの一例である。実画像Ａ１は参照画像Ｒ内の上方に位置し、実画像Ａ２は参照画像Ｒ内の下方に位置され、実画像Ａ１内での位置情報と参照画像Ｒ内での位置情報との関係、実画像Ａ２内での位置情報と参照画像Ｒ内での位置情報との関係が、データ内に記憶されることとなる。
【００４９】
例えば、複数の撮像装置が設置されているデパートや駅ビルなどの商業施設について、各フロアに対して、一の参照画像が存在する場合が挙げられる。なお、複数の撮像装置の視野の全ての部分について参照画像が対応する部分を有する場合、撮像装置で撮像された動画の全ての部分について、参照画像内に位置を関係づけることができる利点があるが、必ずしも撮像装置の視野の全ての部分について、参照画像が対応する部分を有しなくてもよい。
【００５０】
他方、撮像装置Ｃに対し、複数の参照画像Ｒ１、Ｒ２があってよい。例えば、遠方の撮像対象に対し、高精度の撮像装置によって撮像された対象について、参照画像では人の目では把握しにくい場合に、一の実画像に対応する参照画像を、複数の参照画像として対応付けてよい。例えば、高層ビルに設置された高精度の一のカメラによる視野内の領域を複数の参照画像によって対応付ける場合などが挙げられる。この場合、視野内の複数の領域に対し、利用者の理解しやすいレベルの細かさの参照画像に対して、位置関係を特定できる利点がある。この場合、撮像装置Ｃによる動画内の位置の一部に対し、参照画像Ｒ１について、位置関係生成部が位置関係情報を生成し、撮像装置Ｃによる動画内の位置の一部に対し、参照画像Ｒ２について、位置関係生成部が位置関係情報を生成してよい。図７は、実画像Ａと、参照画像Ｒ１及びＲ２における位置情報の対応関係を概略的に示す図であり、図８は、位置関係生成部が生成したデータの一例である。実画像Ａの上方が参照画像Ｒ１内に位置し、実画像Ａの下方は参照画像Ｒ内に位置され、実画像Ａ内上方の位置情報と参照画像Ｒ１内での位置情報との関係、実画像Ａ内下方の位置情報と参照画像Ｒ２内での位置情報との関係が、データ内に記憶されることとなる。
【００５１】
例えば、一の撮像装置が、二つの店舗の出入口の両方を視野に含む場合等において、これらの２つの店舗の参考画像がある場合が挙げられる。なお、撮像装置の視野の全ての部分について複数の参照画像のいずれかが対応する部分を有する場合、撮像装置で撮像された動画の全ての部分について、参照画像内に位置を関係づけることができる利点があるが、必ずしも撮像装置の視野の全ての部分について、参照画像が対応する部分を有しなくてもよい。
【００５２】
また、参照画像Ｒ１と参照画像Ｒ２は、互いに重複部分を有するよう設定されてもよい。互いに重複部分を有する場合、位置関係を生成するための後述の複数の点を、重複部分に設けることが可能となり、一の参照画像から他の参照画像に位置関係情報を伝播させることが可能となる利点がある。
【００５３】
また、撮像装置が移動する場合もある。例えば、広範囲の視野を得るために、撮像装置が視野を変更する場合もある。この場合、実画像内の位置情報と、撮像装置の視野の方向の情報と、参照画像内の位置情報と、を関連付けることデータすることにより、特定の視野における実画像内の位置情報を、参照画像内の位置情報に変換できるものとされてよい。視野の方向の情報は、動きの角度や、動きと関連付けられた時刻における時刻などであってよい。
【００５４】
また、撮像装置は、パノラマ撮像装置、１８０度視野の撮像装置、３６０度視野の撮像装置であってもよい。このような場合でも、同様に、これらの撮像装置で撮像された実画像内の位置情報と、前記撮像装置に対応する参照画像の位置情報との関連付けがされてよい。
【００５５】
ここで、位置関係生成部は、Ａ１乃至ＡＮの位置情報を取得した後に、Ａｔ１乃至ＡｔＮの位置情報を取得してもよいし、Ａ１の位置情報を取得し、Ａｔ１の位置情報を取得し、その後に、Ａ２の位置情報を取得し、Ａｔ２の位置情報を取得する、と実画像内の位置情報と参照画像内の位置情報を交互に取得してもよい。要するに、位置関係生成部は、実画像内の位置情報を１乃至複数の所定の個数取得し、その後に、前記実画像内の位置情報に対置付けて、参照画像内の位置情報を前記所定の個数取得し、記憶する態様であってもよい。
【００５６】
また、位置関係生成部は、Ａｔ１乃至ＡｔＮの位置情報を取得した後に、Ａ１乃至ＡＮの位置情報を取得してもよいし、Ａｔ１の位置情報を取得し、Ａ１の位置情報を取得し、その後に、Ａｔ２の位置情報を取得し、Ａ２の位置情報を取得する、と参照画像内の位置情報と実画像内の位置情報を交互に取得してもよい。要するに、上述同様に、位置関係生成部は、参照画像内の位置情報を一乃至複数の所定の個数取得し、その後に、各前記参照画像内の位置情報に対応付けて、実画像内の位置情報を前記所定の個数取得し記憶する態様であってもよい。
【００５７】
また、位置関係生成部が、位置情報を取得する入力画面の構成は、種々のものであってよい。例えば、図９は、実画像と参照画像とが、同一画面上に表示されている例である。実画像と参照画像とが、同一画面上に表示されているため、利用者は、実画像と参照画像を見比べながら、参照画像内の場所を指定できる利点がある。
【００５８】
また、位置関係生成部が、Ａ１の位置情報を取得しＡｔ１の位置情報を取得し、その後に、Ａ２の位置情報を取得しＡｔ２の位置情報を取得する、と実画像内の位置情報と参照画像内の位置情報を交互に取得する態様の場合、位置関係生成部は、次に、実画像内の位置情報と参照画像内の位置情報のどちらの情報を取得するのかの情報を明示してもよい。例えば、現在の受付状態を示してよい。どちらの情報を取得するのかの情報は、種々の情報によって表示されてよい。例えば、実画像又は参照画像のうち、入力を受けつける側が異なる態様で表示されてもよいし、交互の入力において入力されない側は入力されない状況とされてもよい。この場合、利用者は、実画像と参照画像のどちらに次に入力をすればよいかを理解できる利点がある。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
【００５９】
また、実画像内の場所を指定した後、位置関係生成部は、実画像内で指定された場所を表示してもよい。当該表示により、利用者は、実画像内で指定した場所をシステムが記憶したことを確認できる利点がある。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
【００６０】
また、位置関係生成部は、実画像内で指定された場所を、参照画像内の位置情報の入力を受け付ける期間表示してもよい。当該期間の表示により、利用者は、実画像内で指定した場所と見比べながら、参照画像内の場所を指定できる利点がある。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
【００６１】
また、位置関係生成部は、実画像内で指定された場所を、実画像内の場所の指定を受け付ける期間中表示してよい。当該期間中表示されることにより、利用者は、既に指定した場所を認識した上で、当該指定済みの場所と異なる場所を指定できるため、指定済みの箇所と近接しすぎる箇所を再度指定せずにすみ、利用者による過剰な指定の負担が軽減できる。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
【００６２】
また、位置関係生成部は、実画像内で指定された位置と、参照画像内で指定された位置との組み合わせを理解しやすい表示がされてもよい。例えば、図１０のように、実画像内で指定された位置と関連付けられている参照画像内で指定された位置とを、結合した線で表示したり、双方の位置を含む図形を表示してもよい。線は、直線であってもよいし、曲線であってもよい。図形は、楕円や多角形などでもよい。
【００６３】
また、位置関係生成部が、Ａ１乃至ＡＮの位置情報を取得した後に、Ａｔ１乃至ＡｔＮの位置情報を取得するという、実画像内の位置情報を連続して取得した後に参照画像内の位置情報を連続して取得する態様の場合、利用者は、実画像内又は参照画像内のみに対して入力をすればよいため、実画像内と離れた参照画像の位置を交互に入力する態様に比べて、入力するために動作すべき範囲を短くできる利点がある。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
【００６４】
また、位置関係生成部が、Ａ１乃至ＡＮの位置情報を取得した後に、Ａｔ１乃至ＡｔＮの位置情報を取得するという、実画像内の位置情報を連続して取得した後に参照画像内の位置情報を連続して取得する態様の場合、位置関係生成部は、参照画像内で入力を受け付ける位置情報に対応する位置情報を実画像内で表示してもよい。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
【００６５】
例えば、図１１は、実画像内に位置１乃至６を入力した後、参照画像内で位置１乃至３を入力した時点を示している。次に入力するものは実画像内の位置４に対応する参照画像内の位置であることから、実画像内の位置４が表示されている例である。このように、位置関係生成部が、参照画像内で入力を受け付ける位置情報に対応する位置情報を実画像内で表示できるよう構成されることにより、利用者は、参照画像内で位置情報を入力しようとする箇所が、実画像内のどの位置情報に対応しているかを理解して、入力することが可能となる。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
【００６６】
また、参照画像内で入力を受け付ける位置情報に対応する位置情報を実画像内で表示する際、前記実画像内の位置４が他の実画像内の位置と異なる態様で表示されてよい。異なる態様は、種々のものであってよいが、例えば、数値又は文字の書式について、フォント、スタイル、下線、色、サイズ、文字飾り、配置、等が異なる態様であってよく、また、数値又は属性情報に係る欄や背景について、塗りつぶしやパターン等が異なる態様であってもよい。このように参照画像内で入力を受け付ける位置情報に対応する位置情報を実画像内で表示する際、他の位置情報と異なる態様で表示される場合、利用者は、参照画像内で位置情報を入力しようとする箇所が、実画像内のどの位置情報に対応しているかを、実画像内の他の位置情報と混同せずに理解できる利点がある。なお、参照画像内の位置情報の取得の後に対応する実画像内の位置情報の取得を行う場合は、上述の参照画像と実画像を逆としてよい。
【００６７】
また、図１２は、実画像と参照画像とが、重複する態様で表示される例である。タブ０１とタブ０２が設置され、利用者が指示装置等で選択した一方又は位置関係部が選択した一方が、画面０３に表示される構成とされている。参照画像０２が画面０３にこの場合、表示画面のスペースを減少できる利点がある。また、入力終了ボタン（０４）も表示されており、当該ボタンに対する入力により、入力を終了することができる。
【００６８】
図１２を用いた表示の一例を図１３のフローを用いて説明すると、まず、位置関係生成部は、実画像０１のタブをアクティブ状態とし、画面０３内に実画像を表示させ、実画像に対する入力を受け付け状態とする（ステップ０１）。
【００６９】
次に、画面０３内における実画像０１内の位置の入力を受け付けると、当該位置の情報を実画像内の位置として、記憶する（ステップ０２）。
【００７０】
次に、位置関係生成部は、実画像０１のタブを非アクティブ状態とし、参照画像０２のタブをアクティブ状態とし、画面０３内に参照画像を表示させ、入力受付状態とする（ステップ０３）。
【００７１】
次に、位置関係生成部は、画面０３内における参照画像内の０２内の位置の入力を受け付けると、当該位置の情報を、前記実画像内の位置に対応する参照画像内の位置として、記憶する（ステップ０４）。
【００７２】
次に、位置関係生成部は、参照画像０２のタブが非アクティブ状態とし、実画像０１のタブをアクティブ状態とし、画面０３内に実画像を表示し、入力受付状態とする（ステップ０５）。この後、ステップ０２に戻る。なお、入力終了を検知した場合は、入力を終了してよい。
【００７３】
上述では、実画像内の位置の入力を受け付けた後に、前記実画像内の位置の入力に対応する位置として、参照画像の入力を受け付ける構成を説明したが、逆の構成であってもよい。すなわち、参照画像内の位置の入力を受け付けた後に、前記参照画像内の位置の入力に対応する位置として、実画像の入力を受け付ける構成としてもよい。この場合、位置関係生成部は、まず、参照画像内の位置の情報を取得し、その後に取得する実画像内の位置の情報を、前記取得した参照画像内の位置と関連付けて記憶する構成とされてよい。
【００７４】
また、上述のタブは一例であり、利用者が入力している対象が、実画像であるか参照画像であるかが判明するような情報であれば他の態様であってもよい。例えば、参照画像及び／又は実画像を示すアイコンが設置され、参照画像又は実画像のいずれが現在表示されているかを示す態様であってもよいし、画面０３内自体から実画像の入力受付であるのか参照画像の入力受付であるのかが判明できる表示がされてもよい。
【００７５】
他方、実画像と参照画像とがどちらかのみが表示される態様で表示されると、表示されていない情報を利用者が忘れてしまう場合もある。例えば、実画像で場所を指定した後、参照画像を指定する場合において、実画像内のどの場所を具体的に指定したのかを忘れてしまう場合もある。そこで、実画像又は参照画像の一方の透明度を変更して表示する構成とされてもよい。
【００７６】
また、利用者が指定した場所に対応する座標は、実画像又は参照画像内の位置を特定する情報であれば、座標でない他の手段であってもよい。例えば、実画像又は参照画像内を予め複数の領域に区分けしておき、かかる区分けされた領域の一を特定する情報によって、実画像又は参照画像内の位置を特定されてもよい。また、
【００７７】
また、上述では、実画像の位置情報を取得した後に、参照画像の位置情報を取得する構成とされたが、同様に、参照画像の位置情報を取得した後に、実画像の位置情報を取得する構成とされてもよい。
【００７８】
従来、撮像装置によって得られた動画又は停止画の画像内の情報を、当該画像に対応する地図と関係づける場合、予め準備が必要であった。例えば、動画内に基準点を設け、当該基準点を地図上の位置と関係づける等の作業が必要であった。この場合、対応付け作業の負担があること、また、過去撮影されたものが利用できない問題があった。上述の動画と参照画像の対応する位置を指定するのみで、動画内の位置と参照画像内の位置の対応関係を記憶させることができ、後述のとおり、動画内の位置から参照画像内の位置を特定できるため、本技術は、少ない負担で、動画内の位置に対応する参照画像内の位置を生成できる利点がある。
【００７９】
＜推奨表示＞
また、位置関係生成部は、入力が推奨される領域を表示する機能を有してよい。撮像装置から得られる実画像と参照画像と位置関係の正確性は、入力数とその具体的な位置によって決定する。そこで、本実施形態のシステムが、入力が推奨される領域を表示する場合、利用者は、正確性をある程度担保した状態で、入力できる利点がある。
【００８０】
入力が推奨される領域は、一定の面積を有してもよいし、線であってもよい。入力が推奨される領域は、実画像内において表示されてよい。
【００８１】
入力が推奨される領域は、種々の形により特定されてよい。例えば、入力が推奨される領域は、所定の長さを用いた図形に基づいて、特定されてよい。図形は、丸や楕円形などの円形、三角形や四角形等の多角形、又は特定の円形若しくは多角形以外の領域などとして特定されてよい。円形であれば、所定の長さの半径の丸、所定の長さの長径や短径の楕円などであってよい。
【００８２】
入力が推奨される領域は、種々の計算によって算出され、表示されてよい。例えば、実画像Ａ内において指定された位置を中心として、所定の半径の円Ｃ１を描き、それ以外の領域を、入力が推奨される領域としてよい。この場合、次に実画像Ａ内において指定された位置を中心として、同様に所定の半径の円Ｃ２を描き、実画像Ａから、図形Ｃ１及びＣ２の共通面積を取り除いた、差分の面積を、入力が推奨される領域としてよい。また、実画像内において新たに入力された位置情報に基づいて、入力が推奨される領域を減少して表示されてよい。また、この円の半径は、例えば、実画像Ａの辺を基準に決定された長さであってよい。例えば、辺の３分の１と算出される値であってよい。ここで辺は、実画像Ａの長辺であってもよいし、短辺であってもよい。
【００８３】
また、入力が推奨される領域は、実画像Ａ内において指定された位置を中心として、重心と頂点の距離が所定の長さの四角形Ｒ１を描き、それ以外の領域を、入力が推奨される領域としてよい。この場合、次に実画像Ａ内において指定された位置を中心として、同様に重心と頂点の距離が所定の長さの四角形Ｒ２を描き、実画像Ａから、図形Ｒ１及びＲ２の共通面積を取り除いた、差分の面積を、入力が推奨される領域としてよい。また、実画像内において新たに入力された位置情報に基づいて、入力が推奨される領域を減少して表示されてよい。また、この重心と頂点の距離が所定の長さは、例えば、実画像Ａの辺を基準に決定された長さであってよい。例えば、辺の３分の１と算出される値であってよい。ここで辺は、実画像Ａの長辺であってもよいし、短辺であってもよい。
【００８４】
また、位置関係生成部は、上述の円形又は多角形の線上を好ましい領域として示してもよい。この場合、利用者は、より具体的にどの箇所について、位置情報を入力すればよいのか、具体的に理解できる利点がある。
【００８５】
また、位置関係生成部は、上述の円形又は多角形の内部側を正確性が高くなる領域として示してもよい。この場合、利用者は、位置関係の正確性を高くするために位置情報を入力したい場合に、どの箇所について位置情報を入力すればよいのかを理解することができる利点がある。
【００８６】
なお、以上の入力が推奨される領域として、実画像内の領域を中心に説明したが、実画像に限定されるものではなく、参照画像内の領域について、同様に入力が推奨される領域が生成され、表示されてよい。
【００８７】
＜入力サポート＞
また、位置関係生成部は、実画像内の位置情報と参照画像内の位置情報との関係を推定することによる入力サポートをしてもよい。推定が正しい場合、利用者は、実画像内の位置情報と参照画像内の位置情報を入力する負担が減少する利点がある。
【００８８】
図１４は、一の実画像内の位置情報と、これらに対応する参照画像内の位置情報を用いて、前記一の実画像内の位置情報に対応する参照画像内の位置情報を推定する例である。なお、以下においても、一の参照画像内の位置情報に対応する実画像内の位置情報を推定してもよい。
【００８９】
位置１乃至３は、既に、利用者によって、実画像内の位置情報と参照画像内の位置情報が入力されているとする。このとき、位置４について、実画像内の位置情報と参照画像内の位置情報が推定されている例である。
【００９０】
上述における実画像内の位置情報と参照画像内の位置情報との関係の推定は、入力済みの位置情報の全部又は一部の、実画像及び参照画像内の、位置情報を使用してよい。この推定を、図１５を用いて、図１６を参照して説明する。
【００９１】
まず、一例のシステムの位置関係生成部は、実画像内の位置１乃至３について記憶し、これらに対応する位置として、参照画像内の位置１乃至３を記憶しているとする（ステップ１）。
【００９２】
次に、位置関係生成部は、実画像内に、位置４を設定する（ステップ２）。実画像内に設定される位置は、どのような場所であってもよく、入力済みの位置に対して、一定程度離れている位置であってよい。ここでは、位置４が設定されたとする。位置４の位置を設定する領域の一つの設定方法は、例えば、実画像を複数の領域に区分けし、位置が入力済みである領域（以下、「位置入力領域」という）と位置が入力されていない領域（以下、「位置未入力領域」という）のうち、位置未入力領域かつ位置入力領域と隣り合う領域であってよい。位置入力領域と近い領域において、位置情報を推定するための設定することにより、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できるためである。また、位置は、位置未入力領域内においても、どのような場所であってもよい。例えば、位置は、位置未入力領域に対して定められた個数の位置が均等に離れるような位置に設置されてよい。この場合、均等に離れる位置であることから、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できるためである。ここで、定められた個数は、位置未入力領域の面積に応じて決定されてよい。面積が大きいほど、位置情報を多数設定した方が、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できるためである。また、位置は、所定の長さを互いに離して設定されてもよい。位置の互いの距離が所定の距離とされることにより、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できるためである。また、位置は、位置入力領域に近い箇所から、設定されてよい。位置入力領域に近い位置から設定されることで、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できるためである。
【００９３】
次に、位置４と最も近い実画像内の３点とそれらの対応する参照画像内の３点とを用いて、位置４に対応する参照画像内の位置を特定する（ステップ３）。ここで、位置４に対応する参照画像内の位置は、後述する位置生成部における機能が用いられてよい。
【００９４】
次に、位置関係生成部は、位置未入力領域内に、位置５を設定する（ステップ４）。位置５も、上述の位置４と同様の手法により、設定されてよい。図１５においては、既に領域Ｂにおいて位置４が設定されていることから、位置５は、領域Ｂにおいて、位置４と所定の長さの位置に設定されたとする。
【００９５】
次に、位置関係生成部は、位置５と最も近い実画像内の３点とそれらの対応する参照画像内の３点とを用いて、位置５に対応する参照画像内の位置を特定する（ステップ５）。ここで、位置５と最も近い実画像内の３点の１点は、上述の利用者によって入力された位置１乃至３ではなく、位置関係生成部が実画像内で設定した位置４であってもよい。参照画像内に位置情報を生成するために使用する実画像内の位置として、利用者によって入力された位置ではなく、位置関係生成部が設定した位置であることにより、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できる利点がある。
【００９６】
以上を繰り返すことにより、位置を推定して設定してよい。
【００９７】
また、参照画像内において推定された位置の推定について、利用者から実画像内の位置を修正する情報を取得してもよい。位置の修正を行う方法としては、種々の手法があってよい。
【００９８】
例えば、上述のステップ３の後であってステップ４に進む前において、位置関係生成部が推定した参照画像内の位置４の位置を、利用者に確認するステップがあってもよい。例えば、参照画像内の位置４の位置について、利用者が確認したことを示す情報を取得できる機能、及び、参照画像内の位置４の位置を変更できる位置変更情報を取得できる機能を有してよい。かかる機能を備えた一例のシステムは、利用者が、参照画像内の位置４に照らし、実画像内の位置４の位置について正しいと考えた場合、確認したことを示す情報を受領し、正しくないと考えた場合、利用者自ら設定した参照画像内の位置４を受領できる構成とされてよい。位置関係生成部がこの機能を備えた場合、利用者は、各位置を確認して必要に応じて修正しつつ、位置情報の入力が軽減できる。
【００９９】
また、位置の修正は、入力サポートによって、実画像内の位置の設定と対応する参照画像内の位置の推定を複数回行った後に、利用者の入力を受け付けるよう構成されてもよい。この場合、例えば、実画像内において位置４乃至Ｎまでの位置に対応して、参照画像内の位置４乃至Ｎの位置が設定されている状態において、利用者は、実画像内の位置に照らし、正しくないと考えた参照画像内の位置について、対象を選択して、正しい位置を設定できるよう構成されてよい。この場合、位置関係生成部は、参照画像内のある位置Ｘが選択され、前記位置Ｘの位置が変更された場合、当該参照画像内の位置Ｘに対応する実画像内の位置Ｘの位置情報と前記変更された参照画像内の位置Ｘとの関係を記憶する。そして、位置関係生成部は、実画像内の位置Ｘと参照画像内の位置Ｘとの関係を用いて算出された、参照画像内の一又は複数の位置について、前記実画像内の位置Ｘの位置情報と前記変更された参照画像内の位置Ｘとの関係を用いて、上述のような計算を再度行ってよい。また、計算された結果の参照画像内の位置について、参照画像内に表示してよい。この場合、利用者は、位置４乃至Ｎについて、まとめて位置を推定することができるため、位置推定機能が正しく機能した場合、利用者の入力負担を軽減できる利点がある。
【０１００】
次に、一の実画像内の位置情報を、一の実画像とは異なる他の実画像内の位置情報に、位置入力領域における実画像と参照画像の位置関係の正確性を大きく減じることなく前記位置関係の情報を伝達できる手法を説明する。例えば、利用者が、一の撮像装置で撮像された動画について位置情報を入力した場合、前記一の撮像装置と重複部分を有する他の撮像装置で撮像された動画にもその位置情報を伝達できるため、利用者は、各撮像装置に関する動画について、位置情報の入力する負担が減少する利点がある。
【０１０１】
本実施形態は、一の実画像内の位置情報と、これらに対応する参照画像内の位置情報を用いて、前記一の実画像とは異なる他の実画像内の位置情報に対応する参照画像内の位置情報を推定する例である。図１７を用いて、説明する。
【０１０２】
まず、位置関係生成部は、一の実画像内と他の実画像の重複部分Ｘ内において、一の実画像内の位置情報Ａ１を記録する（ステップ１）。ここで、位置情報Ａ１は、利用者からの入力によって取得してもよいし、上述の推定機能により設定されたものでもよい。
【０１０３】
次に、位置関係生成部は、前記一の実画像内の位置情報Ａ１に対応する参照画像内の位置情報Ｒを取得し、前記位置情報Ａ１と関連付けて記憶する（ステップ２）。ここで、位置情報Ｒは、利用者からの入力によって取得してもよいし、上述の推定機能により設定されたものでもよい。
【０１０４】
次に、位置関係生成部は、前記一の実画像内で指定された位置Ａ１に対応する位置Ａ２を、他の実画像内において特定する（ステップ３）。前記一の実画像内で指定された位置Ａ１は、前記一の実画像と前記他の実画像の重複部分Ｘ内であることから、前記一の実画像内で指定された位置Ａ１は、前記他の実画像内に存在する。特定方法は、種々の方法であってよい。例えば、前記一の実画像内で指定された位置を含む領域を、前記他の実画像内の前記重複部分内に、パターンマッチによって、特定してよい。パターンマッチは、限られた領域において、存在することが前提のパターンマッチであることから、マッチする可能性が高いと判定されたものによって特定されてよい。なお、ステップ３とステップ２の順番は、前後してよい。
【０１０５】
また、パターンマッチに代えて、学習機能を用いて適用してもよい。例えば、学習機能として、ディープラーニングに基づくニューラルネットワークを用いる場合、参照画像内の位置Ｒと、前記一の実画像と、前記一の実画像内の位置Ａ１と、の関係をディープラーニングにより学習したニューラルネットワークに対して、参照画像内の位置Ｒと、前記他の実画像と、を適用し、前記参照画像Ｒに対応する前記他の実画像内の位置Ａ２を特定してよい。
【０１０６】
次に、位置関係生成部は、前記他の実画像内で特定された位置Ａ２と、前記一の実画像内で指定された位置Ａ１に対応して指定された参照画像内の位置Ｒと、を関連付けて、記憶する（ステップ４）。
【０１０７】
前記重複部分内において、複数の点の位置情報を取得した場合、位置関係生成部は、前記他の実画像内の複数の位置情報と、前記各位置情報に対応した参照画像内の位置情報を関係づけて記憶できるため、位置関係生成部は、更に、前記他の実画像内において、前記一の実画像と重複しない領域についても、上述の技術によって、他の実画像内の位置情報と参照画像内の位置情報とを関連付けてよい。本技術により、利用者が、一の撮像装置に関する実画像と参照画像との位置関係を入力すると、前記一の撮像装置に係る実画像と重複する実画像を含む他の撮像装置と参照画像との関係の位置関係を推定できる利点がある。
【０１０８】
また、撮像装置Ｃ１乃至Ｃ３に対応する動画Ｍ１乃至Ｍ３について、撮像装置Ｃ１とＣ２が重複視野を有し、撮像装置Ｃ２とＣ３が重複視野を有する場合、撮像装置Ｃ１とＣ３が重複する視野を有するかどうかによらず、位置関係生成部が、撮像装置Ｃ１内の実画像と参照画像との位置関係を取得すれば、まず重複部分を介して撮像装置Ｃ２内の実画像と参照画像との位置関係を推定し、次に撮像装置Ｃ３内の実画像と参照画像との位置関係を推定することが可能である。このように、一例のシステムは、重複を有しない参照画像同士においても、位置関係を推定できる構成であってよい。
【０１０９】
以上、入力のサポートの例として、参照画像内の位置情報が推定され、確認され、修正される一例のシステムを主に説明したが、これらは参照画像に限定されるものではなく、一例のシステムとして、実画像内の位置情報について推定され、確認され、修正される構成とされてもよい。
【０１１０】
３．２．対象情報収集部３２
対象情報収集部は、動画の一画像から、対象に関する情報を収集する機能を有する。例えば、対象が人である場合、対象に関する情報は、ファッションアイテム属性、人属性、人各部位置などであってよい（以下、これらをまとめて「人情報」という。）。ファッションアイテム属性、人属性は、後述する。人各部情報は、例えば、目、耳、手首、肘、肩、腰、膝、又は、足首の左右の位置の情報であってもよいし、鼻、又は、首の位置の情報の一部又は全部であってよい。また、人属性は、人の年齢、人の性別、人の身長、人の重さ、人の体格、人の職業、人の表情、人の国籍、化粧の有無と程度、髪型などの情報の一部又は全部であってよい。また、人情報内の下位の概念（例えば、ファッションンアイテム属性、ファッションアイテム種別、トップス、人属性、人の年齢層、人の年齢、３０才など）は、「人特性」ということもあり、「人特性で区分けする」とは、例えば、トップスとボトムスで区分けしたり、男性と女性で区分けしたり、２０歳代、３０歳代、４０歳代で区分けしたり、髪型の種類で区分けしたり、化粧のタイプで区分けしたりする場合に用いる。
【０１１１】
対象情報収集部によって得られた情報は、「対象データベース」に記憶されてよい。対象データベースは、一のデータベースから構成されてもよいし、複数のデータベースから構成されてよく、例えば、複数のデータベースがＩＤ等を介して関連付けられているリレーショナルデータベースであってもよい。
【０１１２】
対象情報収集部は、情報を収集する前提として、対象を検知する機能を有してよい。検知する手法は種々の手法であってよい。例えば、対象がいない状態である背景画像と、動画の一停止画像とを比較して、異なる部分を、動画内に現れた対象として判定する手法であってよいし、対象を検知する被静止画とその前の静止画とを比較して異なる部分を検知する対象と判定する手法であってもよい。なお後段については、異なる部分として検知されない動画内の対象は動きがなかったものとして扱ってよい。
【０１１３】
対象情報収集部が、動画の一画像から、人情報を取得する手法は、種々の手法が用いられてよく、その手法に制限はない。
【０１１４】
対象情報収集部は、人情報を用いて、人加工情報を生成してよい。例えば、人加工情報としては、人位置情報、又は、人行動情報、の一部又は全部を生成してよい。人加工情報は、対象データベースに格納されてよい。
【０１１５】
人位置情報は、動画の一画像内の人に関し、前記動画に対応する実画像における位置の情報であってよい。
【０１１６】
例えば、人位置情報は、種々の手法で算出される情報であってよいが、画像内において人の位置と合理的に考えられるものである必要がある。例えば、人の位置は、両足の中央の位置としてもよいし、首と腰の中央とを結ぶ直線が地面と交わる位置としてもよい。また、首の位置に代えて、両肩の中央の位置としてもよいし、両手首の中央の位置としてもよい。種々の計算手法を適用する意義は、動画の一画像において、人の全体が表れていない場合も人位置情報を算出できることにある。動画の一画像外に人の一部がある場合もあれば、他の人や他の物によって人の全体が隠されている場合もある。上述のように、対象情報部が、人の各部の位置を、複数の手段によって人の位置を計算できることにより、人の各部の情報の一部からも、人位置情報を算出できる利点がある。
【０１１７】
ここで、人Ａが動画内にいる場合において、前記動画の一画像から人Ａの人位置情報を取得する処理の例は、例えば、図１８のフローのとおりである。すなわち、動画の一画像から、人Ａに関する人情報を取得する（ステップ０１）。次に、人Ａに関する人情報において、左右の足首の情報があれば、左右の足首の中央の座標を、人Ａについての人位置情報とする（ステップ０２）。次に、人Ａに関する人情報において、左右の足首の情報がなく、左右の腰の情報と、首の情報があれば、首と、左右の腰の中央と、の線を人の股下分延長した点を、人Ａについての人位置情報とする（ステップ０３）。股下分は、他の情報から算出されてよい。例えば、頭と左右の腰の中央の長さと、前記頭と左右の腰の中央の長さの人における股下長さの平均長さを用いて、股下分を算出して計算されてよい。次に、人Ａに関する人情報において、左右の足首の情報がなく、首の情報がなく、左右の両肩の情報があれば、左右の両肩の中央の座標と、左右の腰の中央と、の線を人の股下分延長した点を、人Ａについての人位置情報とする（ステップ０４）。
【０１１８】
人行動情報は、人の行動に関する情報であってよく、人の行動を示す情報や、人の行動について予め定められた分類された情報であってもよい。人行動情報は、種々の手法によって収集されてよく、その手法に制限はない。例えば、後述の人工知能技術が用いられてよいし、他の手法であってもよい。
【０１１９】
例えば、人行動情報として、予め定められた分類された情報としては、人の行動を複数に分類し、それらの一を特定する情報であってよい。人の行動を複数に分類することは、技術の利用目的に応じて、分類されるものであってよい。
【０１２０】
ここでは、ファッションアイテムに関連する商業施設において、ファッションアイテムに対する興味を分類する手法を、例を用いて説明する。
【０１２１】
一例のシステムにおいては、人行動情報が、図１９における１乃至６の一に分類されてよい。すなわち、１）目と鼻の方向が同一であること、２）手を伸ばすこと、３）手を戻すこと、４）一定時間、手を肩にあてること、５）首と足首が近づくこと、６）首と腰と足首が近づくこと、である。人行動情報は、人各部情報と、時間と、の組み合わせによって、特定されてよい。
【０１２２】
１）は、目と鼻の方向が同一の方向であることからその方向のものに興味を持っていると考えられる。例えば、店内の特定の棚を見ていれば、その棚にあるものに、興味を持っていることが推定される。特に、所定の時間、目と鼻の方向が同一であることが検知された場合、興味を持っていることが推定されてよい。この場合、目と鼻の方向が同一である方向の情報も取得されてよい。方向は、参照画像内の方向であってもよいし、実画像内で方向を決定した上で参照画像内の方向に変換されてもよい。
【０１２３】
２）は、手を伸ばすということは、特にその手を伸ばした先のものを取ろうとしていることが推定され、その手を伸ばした先のものに興味があることが推定される。例えば、店内の棚の上にある商品に手を伸ばしている場合は、その商品に興味があることが推定される。手を伸ばすことは、所定期間内における手首、肘、肩の位置と、これらによって算出される距離によって検知されてよい。また、手を伸ばす方向の情報も取得されてよい。方向は、参照画像内の方向であってもよいし、実画像内で方向を決定した上で参照画像内の方向に変換されてもよい。
【０１２４】
３）は、手を戻すということから、何かものを手元に取ることが推定され、特に手を伸ばしたものに対して興味があることが推定される。手を戻すことは、所定期間内における手首、肘、肩の位置と、これらによって算出される距離によって検知されてよい。また、手を戻す方向の情報も取得されてよい。方向は、参照画像内の方向であってもよいし、実画像内で方向を決定した上で参照画像内の方向に変換されてもよい。
【０１２５】
４）は、一定時間、手を肩にあてることから、ファッションアイテムを手に取って、自分の体に合わせていることが推定される。これにより、当該商品について、特に興味を持っていることが推定される。
【０１２６】
５）腰の位置があまり変わらずに、首と足首が近づくことは、中腰になっている状態が推定され、店内の棚の前であれば、中段の物に興味があることが推定される。この場合、顔の正面の方向及び／又は視線の方向の情報も取得されてよい。方向は、参照画像内の方向であってもよいし、実画像内で方向を決定した上で参照画像内の方向に変換されてもよい。
【０１２７】
６）首と腰と足首が近づくことは、しゃがんでいる状態が推定され、店内の棚の前であれば、下段の物に興味があることが推定される。この場合、顔の正面の方向及び／又は視線の方向の情報も取得されてよい。方向は、参照画像内の方向であってもよいし、実画像内で方向を決定した上で参照画像内の方向に変換されてもよい。
【０１２８】
図２０は、人各部情報の一例である。人各部情報の位置情報が、座標情報として、記録されている例である。ここで、スライドＩＤは、動画の一停止画像である各実画像に対応し、動画の各時刻における画像に対応する。これらの情報が用いられて、人行動情報が生成されてよい。
【０１２９】
図２１は、対象情報収集部が、人各部情報を用いて、人行動情報を生成するためのルールの一例である。図２１においては、人各部情報と、時間情報を用いて、判定されている例である。時間情報は、動画における時刻情報が用いられてもよいし、これに実質的に対応することとなる動画の停止画像のＩＤ又は時刻と対象する画像などが用いられてもよい。図Ｃ４で示される各ルールは、一例にすぎず、種々の判定手法であってよい。
【０１３０】
人行動情報は、所定の時間を経て判定されるものである。そのため、人行動情報を含むデータベースは、所定の時間帯における人行動情報の情報として記憶されてもよいし、所定の時刻を人行動情報の開始時間として記憶されてもよい。図２２は、所定の時間帯と、各人ＩＤと、人位置情報と、人行動情報と、人行動補足情報が特定されたデータの一例である。なお、人行動補足情報は、各人行動に対応する方向の情報を含んでよい。方向は、ここでは、参照画像内におけるデカルト座標におけるＹを０とした正のＸ軸を０度とした角度で表した。また、人行動情報として、上述は６つのパターンで説明したが、これ以外にも、歩行、立つ、などの情報を検知してもよいし、データベースの記憶量を減少させる観点から、これらの情報は記憶しないよう構成されてもよい。
【０１３１】
＜車両情報＞
また、対象情報収集部は、対象として、車両の情報を収集してよい。車両は、自動車、バイク、軽車両、などを含む。車両に関する情報は、例えば、車種、色、車両番号、であってよい。これらの情報は、種々の手法によって収集されてよい。また、車両の場合、どちらの方向に進行しているかの情報を、対象情報収集部は、特定してよい。進行方向は、動画に関する複数の実画像とその時刻の関係によって、動きの方向が特定されてよい。
【０１３２】
＜動物情報＞
対象情報収集部は、対象として、動物の情報を収集してよい。動物に関する情報は、各動物の種類に応じた姿勢や動作であってよい。姿勢は、横たわる姿勢、立つ姿勢、歩く姿勢、走る姿勢、威嚇する姿勢、攻撃する姿勢、食べ物を食べる姿勢、寝る姿勢、などであってよい。また、動作は、寝る動作、歩く動作、走る動作、威嚇動作、攻撃動作、食べる動作、などであってよい。
【０１３３】
＜同一性判定機能＞
対象情報収集部は、対象の同一性を判定する機能を有してよい。対象は、実画像間の対象であってもよいし、参照画像間の対象であってもよいし、対象データベース内に記憶された対象であってもよい。
【０１３４】
対象情報収集部は、このような対象の同一性を、種々の手法によって、判定してよい。例えば、対象情報収集部は、対象の位置情報に基づいて、対象の同一性を判定してよい。具体的には、対象情報収集部は、ある時刻において、対象Ｘについて、実画像内における位置情報を取得した場合において、前記時刻よりも前の実画像において、前記位置情報と最も近い位置情報を有するものの対象Ｙを、対象Ｘと同一であると判定してよい。この場合、対象ＹのＩＤを、前記対象の対象ＩＤとして設定してよい。
【０１３５】
また、対象情報収集部は、ある時刻において、対象Ｘについて、参照画像内における位置情報を取得した場合において、前記時刻よりも前の参照画像において、前記位置情報と最も近い位置情報を有するものの対象Ｙを、対象Ｘと同一であると判定してよい。この場合、対象ＹのＩＤを、前記対象の対象ＩＤとして設定してよい。
【０１３６】
例えば、図２３は動画を対象Ｂと対象Ｃの移動の一例を示す図である。すなわち、時刻ｔ１において、対象ＢはＢ１の位置で対象ＣはＣ１の位置にあり、時刻ｔ２において、対象ＢはＢ２の位置で対象ＣはＣ２の位置にあるとする。この図では、分かりやすいように、対象Ｂと対象Ｃを点ではなく一定の領域を有するものとして描いた。この図においては、Ｂ２とＣ１の距離よりもＢ２とＢ１の距離が短いため、Ｂ２はＢ１と同じ対象ＩＤが設定されてよい。また、Ｃ２とＢ１の距離よりもＣ２とＣ１の距離の方が短いことから、Ｃ２はＣ１と同じ対象ＩＤが設定されてよい。
【０１３７】
なお、所定時間経過後、複数の対象が接近する場合がある。例えば、所定時間の設定によっては、所定時間経過後、Ｂ１がＣ２の位置に移動し、Ｃ１がＢ２の位置にするこの場合、経過する所定の時間を、より短くすることにより、Ｂ１がＣ２の位置に移動する前の位置及びＣ１がＢ２の位置に移動する前の位置が判明する。そこで、追跡機能は、閾値よりも少ない所定時間の経過後に、位置特定機能を使用するよう構成されてよい。
【０１３８】
また、対象情報収集部は、対象の同一性の認定として、対象に係る他の情報を用いてもよい。例えば、対象の色、形、動き、などの情報を用いてよい。また、対象に係る色、形、動き、などの情報は、種々の手法によって取得されてよい。例えば、対象の色が異なる場合、各色を用いて、対象の同一性を認定してもよい。対象の色は、対象に係る複数の場所に係る各色を用いてもよい。例えば、対象が人である場合、人は、トップス、ボトムス、靴下、靴、などのファッションアイテムを着ているため、これらの一部又は全部を用いてよい。
【０１３９】
対象情報収集部が、対象の同一性の認定を行う際に、対象に係る情報を用いる他の例を説明する。例えば、撮像装置Ｃ１乃至Ｃｎがあり、各撮像装置で撮像された実画像がＡ１乃至Ａｎであるとする。これらはデパートやアミューズメントパーク内の一部又は全ての撮像装置であってよい。また、対象情報収集部は、人情報及び／又は人加工情報を有するデータベース（「人関連データベース」という。）を有してよい。
【０１４０】
対象情報収集部は、撮像装置Ｃ１乃至Ｃｎにおいて、時刻ｔ１で撮像された実画像Ａ１ｔ１乃至Ａｎｔｎについて、順に、新たな対象である人を検知し、順に人について、仮ＩＤを付してよい。また、対象情報収集部は、各人に関する人情報及び／又は人加工情報を生成してよい。対象情報収集部は、生成された人情報及び／又は人加工情報を、人関連データベース内の人と対比することにより、同一人として特定できた場合には、人関連データベース内の人ＩＤを前記仮ＩＤに代えて使用して、対象データベースに人ＩＤと位置情報などを登録してよい。他方、対象情報収集部が、生成された人情報及び／又は人加工情報を、人関連データベース内に記憶された人と対比することにより、異なる情報が所定以上であるなど同一人として特定できない場合、新たに人ＩＤを付与し、対象データベースに登録しつつ人関連データベース内に登録してよい。この場合、人関連データベース内には、対象情報収集部が得た人情報が登録されるため、例えば、領域内に撮像装置の視野外である部分があるなどにより撮像装置の視野のみでは連続して人を追跡できない場合においても、一度撮像装置の視野外に出た人が一定時間経過後に再度撮像装置の視野内に人が入れば、当該人について人関連データベースが記憶していることから、同一人であると判定できる利点がある。なお、人関連データベース内の情報は、一定時間毎に削除されてもよい。例えば、情報として記憶する時間として一日とし、一日経過後には削除する構成とされてもよい。これは日が異なると異なる複数を着用しうることから、同一性判定機能がファッションアイテム属性を重視して（重み付けとして高い値を設定して）判定する場合、同一性の判定に誤差が生じうるためである。他方、同一性判定機能が、人を対象とする場合において顔や髪型を重視して（重み付けとして高い値を設定して）判定する場合、情報として保持する期間を長期なものとしてもよい。例えば、１週間、１ヶ月、３ヶ月、半年などとしてもよい。特に顔の情報であればこのような期間に変動しないことから、所定期間内において、どの程度来店したのかという同一人の来店数や来店回数などを生成できる利点がある。
【０１４１】
ここで、複数の撮像装置がある箇所において、同一人が、複数の撮像装置に、順にあらわれている場合を考える。このとき、人の目であれば、同一人であることを、人の顔、服装、動きなどから、同一人であることを理解できる。
【０１４２】
図２４は、上述で説明された状況を図示したものである。例えば、対象として人２４０１が、紙面上左端から右端へ、通路２４０２を移動しているとする。この場合、人２４０１は、まず撮像装置２４０５の視野内２４０３の左端から現れて右端へ移動して右端から消え、次に撮像装置２４０６の視野内２４０４の左端から現れて右端へ移動して右端から消えることとなる。撮像装置２４０５および２４０６の撮像された情報は、情報処理装置２４０７に伝送され、処理がされる。
【０１４３】
図２５は、人２４０１の上記の状態を記録した対象データベースの一例である。対象時刻に対し、撮像装置２４０５に関連する情報と、撮像装置２４０６に関連する情報と、が纏められている。撮像装置２４０５において、実画像に現れた人２４０１を検知することにより、対象情報収集部が、対象ＩＤを割り当て、対象に関する情報を収集し記録してよい。本図においては、実画像内の座標情報が記録されてよい。なお、ここでは、撮像装置２４０５の視野内２４０３は傾きがあり座標情報は複雑になるため、ｘとｙによって表示した。位置生成部は、実画像の位置情報を用いて、参照画像内における位置情報を生成してよい。本図においては、時刻ｔ６において人０１が実画像内の座標（ｘ４、ｙ４）に移動した後、時刻ｔ７において視野２４０３から消えることを想定した。これにより、撮像装置２４０５から消えるため、実画像及び参照画像の双方から位置情報が消え、対象ＩＤの記憶も消えている。次に、時刻ｔ８において、人２４０１は撮像装置２４０６の視野内２４０４に現れるとした。この時、対象情報収集部は、撮像装置２４０６の実画像内に現れた人について、上述のとおり、対象情報収集部が人情報を収集し、これと対象ＩＤ５の情報と同一としてよいかどうかを判定してよい。そして、この新たに表れた人を対象ＩＤ５と同一であると判定すると、対象情報収集部は、撮像装置２４０６における対象ＩＤとして５を割り当て、また、実画像の座標（ｘ５、ｙ５）を取得してよい。これ以降、事項ｔ１１まで撮像装置２４０６内の視野内２４０４を人０１は移動する。これに対応し、位置生成部は、実画像の位置情報を用いて、参照画像内における位置情報を生成してよい。なお、この例においては、ｙ座標は、撮像装置２４０５の参照画像においては５とし、撮像装置２４０６の参照画像においては４と算出されるものとした。
【０１４４】
３．３．位置生成部３３
位置生成部は、対象の位置情報を生成する。また、位置生成部は、実画像内における対象の位置情報を使用して、参照画像内における対象の位置情報を生成してよい。位置生成部によって生成された情報は、対象データベースに記憶されてよい。
【０１４５】
例えば、実画像を背景とする動画内に人Ｂが登場し、対象情報収集部によって、実画像内における人Ｂの位置情報Ｂ１の座標情報（Ｂ１ｘ１、Ｂ１ｙ１）が生成されたとする。位置生成部は、実画像内に位置づけられるＢ１の座標である（Ｂ１ｘ１、Ｂ１ｙ１）から、対応する参照画像内の位置であるＢｔ１の座標である（Ｂ１ｔｘ１、Ｂ１ｔｙ１）を生成してよい。その手法は、種々の手法が考えられるが、例えば、次の手法が考えられる。
【０１４６】
＜手法１＞
手法１を、図２６を参照しつつ、説明する。まず、Ｂ１と近い順に３つの点を特定する。これらの３つの点は、上述のＡ１乃至ＡＮの中から選択される。ここでは、これらを、Ａｉ１、Ａｉ２、Ａｉ３とする。これらの３つの点は、Ｂ１の座標とＡ１乃至ＡＮの座標の間の距離を測定し、最も短い距離となる座標を、Ａ１乃至ＡＮの中から特定してよい。距離は、例えば、ユークリッド距離であってよい。
【０１４７】
次に、Ｂ１からＡｉ１、Ａｉ２、Ａｉ３の３つの各辺に対して、夫々垂線を引き、夫々の垂線と、各辺の交点を特定する。各辺は、Ａｉ１とＡｉ２間の直線、Ａｉ２とＡｉ３間の直線、Ａｉ３とＡｉ１間の直線、となる。そして、Ｂ１から、各辺に対する垂線の、交点は、各辺の線上にあり、これらを順に、Ａｋ１、Ａｋ２、Ａｋ３とする。なお、Ａｋ１
Ａｋ２及びＡｋ３は、これらの各辺の上にあるとは限らず、これらの各辺の延長線上にあってよい。すなわち、Ａｋ１はＡｉ１とＡｉ２を結ぶ線の直線上にあり、Ａｋ２はＡｉ２とＡｉ３を結ぶ線の直線上にあり、Ａｋ３はＡｉ３とＡｉ１を結ぶ線の直線上にある。
【０１４８】
次に、各辺内における各交点の夫々の比率を特定する。すなわち、Ａｉ１とＡｋ１の距離とＡｉ２とＡｋ１の距離の比、Ａｉ２とＡｋ２の距離とＡｉ３とＡｋ２の距離の比、Ａｉ３とＡｋ３の距離とＡｉ１とＡｋ３の距離の比を算出して特定する。
【０１４９】
次に、上述の３つの各辺に対応する参照画像内の各辺において、上述の交点に対応する点を、上述の比に基づいて、特定する。例えば、実画像内のＡｋ１に対応する参照画像内のＡｔｋ１は、Ａｉ１とＡｋ１の距離とＡｉ２とＡｋ１の距離の比と、Ａｔｉ１とＡｔｋ１の距離とＡｔｉ２とＡｔｋ１の距離の比とが同一になるように、設定される。なお、実画像内のＡｉ１、Ａｉ２、Ａｉ３に対応する参照画像内の点は、それぞれ、Ａｔｉ１、Ａｔｉ２、Ａｔｉ３とする。同様に、Ａｋ２、Ａｋ３に対応する点を、Ａｔｋ２、Ａｔｋ３と設定する。なお、上述の算出により、Ａｔｋ２、Ａｔｋ３は、それぞれ、Ａｔｉ２とＡｔｉ３を結ぶ線の直線上、Ａｔｉ３とＡｔｉ１を結ぶ線の直線上にある。
【０１５０】
次に、Ａｔｋ１、Ａｔｋ２、Ａｔｋ３とそれぞれに対応する各辺の垂線の交点を算出する。当該交点がＡｔ１となる。
【０１５１】
＜手法２＞
手法２を、図２７を用いて説明する。次の手法は、まず、Ｂ１（Ｂ１ｘ１、Ｂ１ｙ１）と順に近い３つの点を特定する。当該点の取得手法は、上述と同様であり、同じく、Ａｉ１、Ａｉ２、Ａｉ３とする。なお、これらに対応する参照画像内の点を、Ａｔｉ１、Ａｔｉ２、Ａｔｉ３とする。
【０１５２】
次に、各３つの点を基準点からのベクトルとみなし、３つのベクトルの平均ベクトルを算出する。例えば、Ａｉ１、Ａｉ２、Ａｉ３の各点を実画像内の基準点からの３つのベクトルとみなした場合における平均のベクトルをＡｉａとし、Ａｔｉ１、Ａｔｉ２、Ａｔｉ３の各３点を参照画像内の基準点からの３つのベクトルとみなした場合における平均のベクトルをＡｔｉａとする。そして、ベクトルＡｉａをベクトルＡｔｉａに変換する関数Ｆａｉａを導出し、ＦａｉａをＢ１を実画像内のベクトルにみなしたものに適用した点Ｂ１ｔ（Ｂ１ｔｘ１、Ｂ１ｔｙ１）を導出して、実画像Ｂ１に対応する参照画像内の点を特定する。
【０１５３】
手法２は、実画像内の点に対応する点を、参照画像内において、簡易に導出できる利点がある。
【０１５４】
＜手法３＞
手法３を図２８を用いて説明する。次の手法は、手法２と同様に、Ｂ１（Ｂ１ｘ１、Ｂ１ｙ１）と順に近い３つの点を特定する。当該点の取得手法は、上述と同様であり、３点を、Ａｉ１、Ａｉ２、Ａｉ３とし、これらに対応する参照画像内の点を、Ａｔｉ１、Ａｔｉ２、Ａｔｉ３とする。
【０１５５】
次に、上述と同様に、実画像内の３点及び参照画像内の３点を各画像内の基準点からのベクトルとみなし、各ベクトルの変換に対応する関数を求める。より具体的には、Ａｉ１をＡｔｉ１に変換する関数ＦＡｉ１、Ａｉ２をＡｔｉ２に変換する関数ＦＡｉ２、Ａｉ３をＡｔｉ３に変換する関数ＦＡｉ３を生成する。
【０１５６】
次に、実画像と参照画像の関係を示す各関数を、Ｂ１（Ｂ１ｘ１、Ｂ１ｙ１）に適用する。すなわち、関数ＦＡｉ１乃至ＦＡｉ３のそれぞれを、Ｂ１（Ｂ１ｘ１、Ｂ１ｙ１）に対して適用する。
【０１５７】
次に、得られた３点をベクトルとみなした場合における平均ベクトルを生成し、平均座標としてＢ１ｔ（Ｂ１ｔｘ１、Ｂ１ｔｙ１）を算出する。
【０１５８】
手法３も、実画像内の点に対応する点を、参照画像内において、簡易に導出できる利点がある。同様に、実画像を背景とする動画内の対象物の座標Ｂ１乃至ＢＭに対し、順次、対応する座標Ｂｔ１乃至ＢｔＭを算出してよい。
【０１５９】
なお、上述の算出において、実画像内又は参照画像という表現を用いたが、これらは、実画像内又は参照画像内に表示されていると考えると分かりやすいため、かかる表現をもちいたものにすぎない。Ｂｔ１からＢｔ１を算出するにあたり、実画像及び参照画像は、なくてもよい。
【０１６０】
上述の手法１乃至３において、位置情報が座標情報として、参照画像内の位置情報を生成する例を説明したが、利用者によって指定された場所が領域であっても同様の考え方で参照画像内の場所が特定されてよい。例えば、領域に対して、その重心座標、下端座標、上端座標、右端座標、左端座標、又はこれらの平均座標などの領域内の一点の座標を代表座標として上述の座標変換の計算を適用してもよいし、領域内で定められた複数の座標に対して上述の座標変換の計算を適用してもよい。
【０１６１】
＜領域特定部＞
位置生成部は、領域を用いる場合、領域特定部を有してよい。領域特定部は、参照画像内における対象について、参照画像内に設定される一又は複数の領域を特定する機能を有する。領域が設定されている場合、後述する統計処理部が、領域を用いて情報を生成できる利点がある。例えば、領域毎に、数値を生成したり、判定できる利点がある。領域特定部によって特定された情報は、対象データベースに記憶されてよい。
【０１６２】
領域特定部は、参照画像内における対象の位置情報と、参照画像内に設定される一又は複数の領域の位置情報とを比較し、前記対象の位置情報が、前記一又は複数の領域に含まれると判定する場合、前記対象の位置情報が、前記一又は複数の領域に属するとの情報を生成してよい。
【０１６３】
ここで、図２９は、複数の領域の位置情報を示すデータの一例である。ここでは、各領域が、シンプルにＸ座標とＹ座標の上限及び下限で規定される例を示した。各領域は、必ずしも四角形になる必要は無く、多角形や円形やこれらの組み合わせであってもよい。これらは、各種の数式を用いることで表現されてよい。そして各領域が、各種の数式によって規定され、その範囲の充足性により、対象の位置情報が含まれるかどうかが判定されてよい。図３０は、各領域が、ｘ座標とｙ座標で示される関数によって表現される一例である。
【０１６４】
図３１は、参照画像内における領域の一例である。領域は、多角形、円形、楕円形、その他の種々の関数によって範囲が規定されてよい。また、領域は、関数によって区切られてもよい。
【０１６５】
図３２は、対象が、領域に属すると生成された情報が記憶されたデータの一例である。このデータは、領域２に対象ＩＤ２が属し、領域３に対象ＩＤ１と対象ＩＤ３の対象が属し、領域５に対象ＩＤ３が属する状況を表している例である。
【０１６６】
また、対象が点ではなく一定の領域（以下、「対象領域」という。）である場合、対象領域の一部と、参照画像内に設定された領域の一部とに重複がある場合に前記領域を特定してもよいし、対象領域の全てが参照画像内に設定された領域の一部とに重複がある場合に前記領域を特定してもよい。対象領域の一部が、設定された領域と重複されている場合に前記領域を特定してもよい。
【０１６７】
また、領域は、階層化されていてもよい。領域特定部は、対象の位置情報に基づいて、階層化された複数の領域を特定してもよい。また、一の対象は、複数の領域に特定されてもよい。
【０１６８】
図３３は、対象が、階層化された領域について、特定された領域が記憶されたデータの一例である。このデータは、領域１の下位階層として領域１．１と領域１．２と領域１．３が設定され、領域１．３には、更に下位階層として、領域１．３．１と領域１．３．２が設定されている例である。そして、対象ＩＤ１は領域１．２が特定され、対象ＩＤ２は領域２．１が特定され、対象ＩＤ３は領域１．３．２が特定された状態を示す例である。なお、本データにおいては分かりやすさの観点から３列に分けてデータが記憶されている例を示しているが、一列のデータにおいて、下位階層における領域を含むデータが記憶される態様であってもよい。また、上述の階層構造の情報は下位階層が特定されれば上位層が特定できる構成であるため、下位階層のみで特定されてもよい。
【０１６９】
また、領域は、予め設定されてもよいし、利用者による入力によって設定されてもよい。
【０１７０】
例えば、図３４は、利用者が、領域を設定するための一画面を示す。画面内の領域指定図形０１のメニューには、領域を指定できる手段が提供される。領域を指定できる手段として、線分によって領域を指定できるようにされてもよいし、予め定められた図形が用意されて当該図形を用いて領域を指定できるようにされてもよい。例えば、図においては、四角形０２、円０３が表示されているが、これ以外にも種々の多角形、楕円形などが用意０４されてよい。領域を指定できる箇所０５は、参照画像に対応し、この画面内において、利用者は、領域を指定できる手段を用いて、領域を指定する。利用者による領域の指定手法は、線分を設置したり、図形を設置することで、領域が指定されてよい。また、これらの線分や予め指定された図形は、利用者によって、変形されて、指定手段として利用されてよい。利用者は、これらの線分や図形を、マウス入力手段によって、選択してドラッグして設置してもよいし、タッチパネルによるタッチ入力で設置してもよい。また、その他の入力手段が使用されてもよい。また、一の撮像装置で撮像される視野に対応する参照画像を一の領域としてみなしてもよい。この場合、撮像装置のＩＤなどが、事実上、領域を特定する情報の役割を果たしてよい。この場合、複数の撮像装置で夫々撮像された各実画像に対応する各参照画像について、各領域が設定されているとして、別々に扱うことが可能である利点がある。
【０１７１】
領域特定部は、利用者による領域指定手段を用いた入力に応じて、線分又は図形に応じた領域を生成してよい。線分であれば、線分と、線分・他の図形・参照画像の枠などにより閉じられた範囲を領域としてよい。図形が複数重なる場合、階層化された領域と設定されるようにしてもよいし、図形の重畳によって得られた図形を一の領域とするよう設定してもよい。かかる選択肢を利用者に提供するための選択肢に関する入力手段が設けられてもよい。
【０１７２】
３．４．統計処理部
統計処理部は、対象データベースを用いて、統計情報を生成する機能を有する。生成された統計情報は、表示装置において表示されてもよいし、表示装置で表示されるために表示装置に送信されてよい。
【０１７３】
統計情報は、対象の数、対象の数の合計、対象の数の平均値、又は、対象の数について統計的処理をした数であってよい。また、統計情報は、所定期間における、対象の数、対象の数の合計、対象の数の平均値、又は、対象の数について統計的処理をした数であってよい。対象は、上述のとおり、人、動物、車両などであってよい。統計情報は、対象データベース内の情報を用いて生成されてよい。
【０１７４】
また、統計処理部が統計情報を生成するために使用する情報は、対象データベース内の限定された情報であってよい。統計情報を生成するために使用する情報は、対象の種類、時間的要素、場所的要素により、限定されてよい。対象の種類は、人であれば、性別、年齢、年齢層、職業、表情、化粧、人位置情報、ファッションアイテム属性（種別、色、加工など）などであってよい。時間的要素は、時間帯、平日と休日、週、月、季節、年などであってよい。場所的要素は、上述の領域、テナント、施設内の階、施設、地理的な区画などであってよい。
【０１７５】
また、以下の各実施形態で詳述する通り、各例のシステムの統計処理部は、対象が人である場合において、訪問者数、領域に係る人数、領域内の人数、領域内の商品に係る人数、商品に興味があると推定される人数、広告に興味があると推定される人数、店舗毎の訪問者数、店舗訪問者割合、通行人数、施設訪問者数、施設出入口店舗訪問者数、同一グループ人数など（以下、「対象人数」ということもある）について、所定期間内の数として生成してもよいし、所定期間毎の数として生成してもよい。ここで、対象人数の対象となるもの（例えば、訪問者数における訪問する店舗、領域に係る人数における領域、領域内の人数における領域、領域内の商品に係る人数における商品、商品に興味があると推定される人数における商品、広告に興味があると推定される人数における広告、店舗毎の訪問者数における各店舗、店舗訪問者割合における店舗、通行人数における通路、施設訪問者数に係る出入口、施設出入口店舗訪問者数に係る施設又は店舗）を「対象人数に係るもの」ということもある。なお、同様に、対象が人でない場合も、領域に係る数について、所定期間内の数として生成してもよいし、所定期間毎の数として生成してもよい。また、所定期間は、１時間、２時間等のような時間の単位であってもよいし、半日、一日、１営業日、平日、休日、１週間、１ヶ月、３ヶ月、半年、１年などであってもよい。また対象人数は、これらの所定期間の合計数であってもよいし、所定期間の平均値であってもよい。対象人数は、所定期間毎に生成されることにより、所定期間毎の客足を検討できる利点がある。例えば、朝、昼、夕方、夜、午前中、午後などにより客足は異なりうるためである。また、対象人数は、平日と休日を区分けして、平日の合計数と休日の合計数や、平日の平均値と休日の平均値であってもよい。平日と休日で客足が異なりうるため、平日と休日の客足の違いを把握できる利点がある。また、対象人数は、曜日で区分けして、各月の各曜日の合計数や各月の各曜日の平均値であってもよい。店舗によっては、平日又は休日よりもより詳細に曜日で客足が異なりうるため、曜日の違いによる客足の違いを把握できる利点がある。
【０１７６】
また、統計処理部は、対象人数を、人特性で区分けして、生成してよい。人特性は、機械学習技術の適用により生成された人情報に基づいてよい。人特性として、性別、年齢層、職業、表情、髪型、化粧、ファッションアイテム種別、ファッションアイテム色、などで区分けされて表示されることにより、対象人数についてのこれらの人特性の違いを把握することができる。また、人特性は複数の観点で区分けしてもよい。例えば、性別と年齢層の両方の視点で区分けしてもよい。具体的には、男性の２０歳代、男性の３０歳代、男性の４０歳代などと、女性の２０歳代、女性の３０歳代、女性の４０歳代などとしてもよい。また、同様に、紺色のトップスの男性、黒色のトップスの男性、青色のボトムスの女性、ベージュのボトムの女性などであってもよい。人特性は、機械学習技術の適用により生成された人情報に基づいてよい。機械学習技術の適用により生成された人特性に基づくことにより、高精度に、人特性を区分けでき、よりマーケティングに有用な情報を生成できる利点がある。
【０１７７】
また、統計処理部は、対象人数を、人特性で区分けして、グラフを作成してよい。グラフを作成することにより、より特定の観点で整理された情報を得ることができる利点がある。グラフは、横軸を所定期間の時間軸として、縦軸において、人特性に区分けして、対象人数としてよい。これにより、所定期間における人特性の対象人数を把握できる利点がある。より具体的には、一例として、横軸を一日の時間帯とし、縦軸を、対象人数について、性別で区分けしたり、年齢層で区分けしたり、ファッションアイテム種別とファッションアイテム加工と髪型の組み合わせで区分けしたり、性別と年齢層の組み合わせで区分けしたりしてよい。
【０１７８】
また、統計処理部は、対象人数を、人特性で区分けして、ランキングを生成してよい。ランキングは、対象人数について、人特性のランキングを生成してもよいし、特定の人特性について、対象人数のランキングを生成してもよい。前者は、対象人数に係るものについて、人数の多い人特性をランキングするものである。例えば、対象人数に係るものが領域であれば、その領域と関連付けられる人特性は、人数の多い順に、４０代、３０代、２０代、５０代、などとされてよい。これにより、対象人数に係るものの顧客層を検討できる利点がある。後者は、一の人特性について、人数の多い対象人数に係るものをランキングするものである。例えば、対象人数に係るものが商品であれば、２０代女性については、商品Ａ、商品Ｂ、商品Ｃの順にランキングされる、などとされてよい。これにより、特定の顧客層のいる対象に係るものを検討できる利点がある。
【０１７９】
また、対象人数が、実画像内の位置と対応付けられた参照画像内の位置情報が用いられて生成される場合、又は前記位置情報に基づいた領域が用いられて生成される場合、撮像装置で撮像された動画から容易に対象人数を生成できる利点がある。
【０１８０】
また、視野内に基準点を設けず撮像された動画を用いて、前記動画における実画像内の位置と対応付けられた参照画像内の位置情報を使用される場合、過去に撮像された動画を用いて対象人数を生成できる利点がある。これにより、例えば、異なる時期の対象人数を比較できる利点がある。例えば、イベントの前後で、対象人数の違いを生成し、これによりイベントの効果を検討することができる。イベントは、特定のプロモーションや、特定のサービス、レイアウト変更、などであってよい。より具体的には、統計処理部は、一の時期の対象人数と、他の時期の対象人数とを、生成してよい。一の時期と他の時期は、夫々が対応する所定期間であってよい。これにより、イベント前後を数値として比較できる利点がある。また、統計処理部は、前記一の時期の対象人数と、他の時期の対象人数との関係を生成してよい。関係は、割合や百分率であってよい。これにより、イベント前後の対象人数に与える影響を数値で把握できる利点がある。
【０１８１】
また、これらの生成された情報は、後述する施設管理者端末及び／又は店舗管理者端末に送信され、表示されてよい。これにより、施設管理者及び／又は店舗管理者は、これらの情報を把握し、検討ができる利点がある。
【０１８２】
統計処理部によって生成された情報は、統計処理データベースに記憶されてよい。
【０１８３】
ここでは、統計処理部が、合計数を生成する一例を説明する。図３５は、一画像内の対象ＩＤ１、ＩＤ２、ＩＤ３等が、複数の領域Ｆ１、Ｆ２、Ｆ３等に属すると判定された対象データベースの一例である。ここで、時刻が、ｔ１、ｔ２、ｔ３と流れ、各時刻において、各対象についての位置情報と、属する領域の情報が定められている。
【０１８４】
統計処理部は、このような対象データベースの内容を用いて、各領域における対象の合計数を生成してよい。例えば、図３６は、図３５について、統計処理部が数えた結果をデータにしたものである。時刻が、ｔ１からｔ３に流れるに従い、対象の位置が移動することもあり、時刻に応じて、各領域内の対象の個数は変化する。また、ｔ３の時刻において、対象ＩＤ７が登場していることから、ｔ１及びｔ２での個数の合計は６であるのに対し、ｔ３における個数の合計は７とされている。
【０１８５】
また、統計処理部は、対象の数を、対象の種別に、数える機能を有してよい。図３７においては、各対象ＩＤに対して、種別の情報として、１又は２が付されている。図３８は、図３７に対して、対象の数を、種別に数えた例である。対象の種別の例としては、対象を人としたときには、人特性であってよい。
【０１８６】
＜グルーピング機能＞
統計処理部は、対象をグルーピングした上で、対象がグループ化されたグループの数を数える機能を有してよい。グルーピングは、複数の対象を、一つのグループとして扱うことである。例えば、対象を人とすると、統計処理部は、人をグルーピングし、人のグループの数を数えてよい。グルーピングは、対象の一定の関係に基づいて、行われてよい。例えば、グルーピングは、人の位置情報に基づいて、行われてよい。例えば、人Ａと人Ｂとの位置情報が近接している場合に、人Ａと人Ｂとをグルーピング化してよい。位置情報の近接の判定は、予め定められた所定の値以下の場合を近接していると判定してよい。近接の判定は、動画内の一画像に基づいて判定されてもよいし、動画内の複数の画像を用いて判定されてもよい。
【０１８７】
ここで、本システムが、人のグルーピング機能を有する場合におけるフローの一例を、図３９を用いて説明する。まず、前提として、本システムの位置関係生成部が、動画と参照画像との関係を生成し、本システムの対象情報収集部は、動画内の一場面における人々の各位置情報を収集し、本システムの位置生成部が、動画内の一場面における人々の各位置情報に対応する参照画像内の各位置情報を生成しているとする。
【０１８８】
統計処理部が、各人々のうちの２者の距離を、所定の時間、参照画像内の各位置情報を用いて、算出する。
【０１８９】
次に、統計処理部は、所定の時間分、算出された、各２者の複数の距離情報に基づいて、各２者の距離の平均値を算出する。
【０１９０】
次に、統計処理部は、各２者の距離の平均値と所定の値とを比較し、前記平均値が前記所定の値よりも小さい２者を同じグループの者として、グルーピングの関係付けを行う。
【０１９１】
統計処理部は、グルーピングの関係付けをされた人々のグループ数を生成する。
【０１９２】
４．実施形態
４．１．店舗内の実施形態
一例のシステムを、図４０を用いて説明する。本図は、店内を模式化した図である。カメラ０２乃至１０が設置されており、顧客を撮像できるようになっている。具体的には、出入口０１を利用する顧客を撮像できるように、カメラ０９が設置されている。また、商品が備えられる各商品棚の前の顧客を撮像できるように、カメラ０３乃至０８が設置されている。カメラ０９は、レジ部分の顧客を撮像できるものであるが、同時にその視野内の商品棚周辺の顧客も撮像できるようになっている。カメラ０２乃至１０は、防犯上の理由で設置され撮像されているものでもよい。また、カメラ０２と０３、カメラ０５と０６、カメラ０７と０８は、夫々、顧客が通過する通路上を撮像するものであるが、同じ通路の各商品棚に面する顧客の正面を含む視野に設置されている。顧客の正面は、真正面でなく、顔を前方側方から撮像するものであってよい。これにより、顧客の表情、顧客の視線、又は、顧客の顔面が向いている方向を含み撮像されてよい。
【０１９３】
次に、一例のシステムの一のフローを図４１を用いて説明する。まず、利用者によって、カメラ０２乃至１０で撮像された画像と、参照画像の対応情報がシステムに入力され、本システムがかかる情報を取得する（ステップ０１）。カメラ０２乃至１０は、９つの動画であるが、本システムは、これらの動画の各一停止画像と、参照画像との関係の情報が取得されてもよいし、これらの動画の再生中と、参照画像との関係の情報が取得されてもよい。また、参照画像は、予め利用者が用意するものであってよい。参照画像は、画像ファイルであれば、どのようなファイルであってもよい。例えば、施設のビルの見取り図などの図面のファイルであってもよいし、利用者がフリーハンドで作成した図をスキャンしたファイルであってもよいし、地図などであってもよい。
【０１９４】
また、領域特定部が、参照画像内において、領域を設定する。本ステップは、上記ステップの前に行われてもよい。図４２は、領域の設定の一例である。領域１１、領域１２、領域１３が一例であり、それらは、右上左下斜線、左上右下斜線などにより、各領域を分かりやすく示した。カメラ０９の視野は、領域１１を主にカバーするが、領域１２の一部も含んでいる状況を示す。また、カメラ０３は、領域１２及び領域１３が主であるが、領域１１の一部も含んでいる状況を示す。また、カメラ０２は、領域１２と領域１３を含み、その他の図示していない領域も視野内含んでいる状況を示す。なお、領域１４は、店の外であるが、出入口が開いた場合にカメラ０９内の視野に入る部分である。領域１４を設定する場合、領域１１から領域１４への人の移動、又は、領域１４から領域１１への人の移動も対象データベースに含ませることが可能となる。
【０１９５】
次に、カメラ０２乃至１０で撮像された動画に基づいて、対象情報収集部が、動画内の人情報を収集し、記憶する（ステップ０２）。また、実画像と参照画像との関係を用いて、位置生成部は、人位置情報を生成して記憶する（ステップ０３）。
【０１９６】
一例のシステムの対象情報収集部及び位置生成部が記憶する対象データベースの一例は、例えば図４３である。図４３は、各時刻において、領域情報と、人情報が記憶されている例である。本対象データベースにおいては、人情報として、人ＩＤと人位置を含む態様を示しているが、他の人情報が、同データベースに含まれていてもよいし、人ＩＤで関連付けられている他のデータベースに含まれていてもよい。
【０１９７】
一例のシステムの統計処理部は、領域に係る数を、対象データベースから、算出してよい。領域に係る数は、領域の境界を超える数を数えてもよいし、領域の中の対象の数を算出してもよいし、領域の中の対象の数を加工して算出してもよい。統計処理部によって生成された情報は、店舗管理者端末において表示されてよい。
【０１９８】
また、一例のシステムの統計処理部は、訪問者数を生成してよい。訪問者数は、対象データベースにおける、領域１４から領域１１への人の移動の数を算出することにより生成されてよい。また、訪問者数は、領域１１から領域１４への人の移動の数を算出することで生成されてもよい。例えば、図４４は、統計処理部が数えた訪問者数を表示した一例である。
【０１９９】
また、出入口の外側の領域に限らず、出入口に設置された撮像装置内の視野内の人について、対象情報収集部が収集した人を用いて、訪問者数を生成してもよい。この場合、対象情報収集部が、人情報を収集し、同一性判定機能を用いることで、店舗への訪問者数を生成してもよい。この場合、訪問者数を所定期間内で限定して生成する場合、所定期間内に重複して訪問した人を除外できる利点がある。
【０２００】
また、一例のシステムの統計処理部は、上述のとおり、訪問者数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
【０２０１】
図４５は、領域１１乃至１５を設定した一例であり、図４６は、かかる領域に対して、時間毎に人数をグラフにしたものである。かかる領域により、店舗内において、顧客がどの場所に存在し、どの場所に存在しないのかを、閲覧者は理解することができる。また、時間毎に人数が表示されることにより、より時間毎に顧客が存在する領域を理解することができる。また、領域と商品を結びつけた場合、商品と顧客の多少の関係も理解することができる。また、領域と広告を結びつけた場合、広告と顧客の多少の関係も理解することができる。また、領域とイベントを結びつけた場合、イベントと顧客の多少の関係も理解することができる。
【０２０２】
また、一例のシステムの統計処理部は、領域内の人数を算出してよい。領域内の人数は、領域と関連付けられて、表示されてよい。領域内の人数が算出されることにより、領域内の人数の多いところに店舗の人員を多く配置させる、領域内の人数の多いところのスペースを広げる、領域の人数の多いところに警備員を配置させる、領域内の人数の多いところの商品を領域の人数の少ないところに分散させる、など状況に応じて検討できる利点がある。
【０２０３】
また、統計処理部は、上述のとおり、領域内の人数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
【０２０４】
領域内の人数を、人特性で区分けして、ランキングを生成する例をより具体的に説明すると、ランキングは、特定の領域内の人数について、ランキングで、人特性を生成してもよいし、特定の人特性について、ランキングで、特定の領域内の人数を生成してもよい。ランキングされたものは、表示されてよい。前者は、一の特定の領域について、関係づけられる人数の多い人特性をランキングするものである。例えば、一の特定の領域と関連付けられる人特性は、人数の多い順に、４０代、３０代、２０代、５０代、などとされてよい。これにより、特定の領域の顧客層を検討できる利点がある。後者は、一の人特性について、関係づけられる人数の多い領域をランキングするものである。例えば、２０代女性については、領域Ａ、領域Ｂ、領域Ｃの順にランキングされる、などとされてよい。これにより、特定の顧客層のいる領域を検討できる利点がある。
【０２０５】
また、一例のシステムの統計処理部は、領域内の人数を、人数の多少を表現するイメージで表示する機能を有してよい。人数の多少を表現するイメージは、人が直感的に感じられるものであれば種々のものであってよく、例えば、該当領域を示す箇所について、パターンの透明度であったり、グラデーションの透明度であったり、線の量、色、又は人数の多少を示すマークなどであってよい。パターンやグラデーションの透明度は、透明度が低いほど人数が多いことを示し、透過性が高いほど人数が少ないことを示し、線の量は多いほど人数が多いことを示し線の量が少ないほど人数が少ないことを示し、色は赤系であるほど人数が多いことを示し青系であるほど人数が少ないことを示す、などの人の感性に関連するものが選択されてよい。また、マークは、予め定められたマークがされてよい。例えば、人数が多いマーク、人数が中ぐらいのマーク、人数が少ないマークなどが予め定められており、かかるマークが、対象とされる領域に表示される態様であってよい。図４７は、パターンの透明度で表示した一例である。対応する領域において、パターンの透明度において、人数の多少を示している一例である。また、表示１６は、時間帯を示しており、現在は１３時〜１４時を示している一例である。時間帯と関連付けられて、領域内のパターンは各時間帯における各領域内の人数の多少を示すアニメーションによって、表示されてもよい。
【０２０６】
上述の人数の多少のイメージは、リアルタイムに生成されてよい。リアルタイムに領域の人数が生成される場合、所定の期間の人数でなくてもよいし、所定の期間として１分、３分、５分、３０分、１時間など、閲覧の状況に応じて比較的短い期間であってよい。人数の多少がリアルタイムに表示された場合、閲覧者は、各領域の混雑度を理解することができる。本システムの統計処理部が、店舗の管理者を閲覧者とするように店舗用の端末で人数の多少のイメージを表示する場合、混雑箇所に店舗の人員を配置する、顧客を誘導するなど、混雑に適切に対応可能となる。また、一例のシステムの統計処理部が、店舗の訪問者を閲覧者とするように、例えば、店舗の入り口周辺の箇所であれば、来店者に対して、混雑箇所の情報を提供することができる利点がある。また、リアルタイムに表示される場所がＷＥＢ上であれば、利用者は携帯端末を利用したＷＥＢ上で混雑箇所を理解することができる利点がある。
【０２０７】
また、一例のシステムは、商品データベースを備えてもよい。商品データベースは、商品情報と領域情報とを含んでよい。例えば、図４８は、商品データベースの一例である。商品ＩＤと領域情報を含んでいる。商品に関する具体的な情報は、別のデータベースなどに含まれており、リレーショナルデータベースとして、商品ＩＤで関連付けられていてよい。また、領域情報は、商品が備えられている場所に対応するものであってよい。また、図４９は、商品Ａ乃至Ｄを備える商品棚に対応して領域１２乃至１５が設定されている例である。
【０２０８】
一例のシステムの統計処理部は、商品データベース内の特定の商品と関連付けられた領域内の人数（本願書類において、「領域内の商品に係る人数」ということもある。）を生成してよい。
【０２０９】
統計処理部は、上述のとおり、領域内の商品に係る人数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
【０２１０】
領域内の商品に係る人数を、人特性で区分けして、ランキングを生成する例をより具体的に説明すると、ランキングは、特定の商品に係る人数について、ランキングで、人特性を生成してもよいし、特定の人特性について、ランキングで、特定の商品に係る人数を生成してもよい。ランキングされたものは、表示されてよい。前者は、一の特定の商品に係る人数について、関係づけられる人数の多い人特性をランキングするものである。例えば、一の特定の商品に係る人数と関連付けられる人特性は、人数の多い順に、４０代、３０代、２０代、５０代、などとされてよい。これにより、特定の商品に係る人数の顧客層を検討できる利点がある。後者は、一の人特性について、関係づけられる人数の多い商品に係る人数をランキングするものである。例えば、２０代女性については、商品Ａ、商品Ｂ、商品Ｃの順にランキングされる、などとされてよい。これにより、特定の顧客層のいる領域を検討できる利点がある。
【０２１１】
また、視野内に基準点を設けず撮像された動画を用いて、前記動画における実画像内の位置と対応付けられた参照画像内の位置情報に基づいた領域に基づき算出される場合、過去に撮像された動画を用いて領域内の人数を算出できる利点がある。より具体的には、一例のシステムの統計処理部は、第１の時期に撮像された第１時期動画に基づき、前記第１時期動画における実画像内の位置と対応付けられた参照画像内の位置情報に基づいた領域に基づき生成された第１時期商品情報と、第２の時期に撮像された第２時期動画に基づき、前記第２時期動画における実画像内の位置と対応付けられた参照画像内の位置情報に基づいた領域に基づき生成された第２時期商品情報と、を生成してよい。これらの情報は、対比して表示されてよい。商品は、売り場の場所によっても、売り上げに影響があることから、同じ商品であっても、どの場所で販売するかによって、店舗内の全体の収益を検討できる利点がある。
【０２１２】
なお、図５０は、各時間帯について、各商品に対応された領域について、人数を数えたものを表示した一例である。一例のシステムが、商品データベースを備え、前記商品データベース内の商品と領域情報とを関連付けて、顧客がいる領域と関連する商品を、顧客の人数と関連付けて示すことにより、顧客が注目する商品に関する情報を理解することが可能となる。
【０２１３】
また、一例のシステムの統計処理部は、領域内の人数に代えて、商品に興味を有すると推定できる情報を得た人数（本願書類において、「商品に興味があると推定される人数」ということもある。）を生成してもよい。統計処理部がかかる構成を有する場合、より商品に対して興味を有する人数の数を精緻に生成することができる利点がある。「商品に興味があると推定できる情報」は、例えば、人が特定の領域に所定の時間以上滞在する情報、人の顔の方向が商品に向いている情報、人の視線が商品に向いている情報、人の腕や指が商品に向いている情報、などが挙げられる。人が特定の領域に所定の時間以上滞在する情報の場合、前記特定の領域と関連付けられた商品データベース内の商品が、興味がある対象である商品とされてよい。人の顔の方向が商品に向いている情報、人の視線が商品に向いている情報、人の腕や指が商品に向いている情報の場合は、これらの商品が興味がある対象である商品とされてよい。より具体的には、人位置情報と、人行動情報と、人行動補足情報と、商品データベースを用いて、参照画像内における人位置情報から、人行動補足情報内の方向と、人行動情報から、商品データベース内の商品の位置から、興味があると推定される商品を特定してよい。
【０２１４】
統計処理部は、上述のとおり、商品に興味があると推定される人数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
【０２１５】
商品に興味があると推定される人数を、人特性で区分けして、ランキングを生成する例をより具体的に説明すると、ランキングは、特定の商品に係る人数について、ランキングで、人特性を生成してもよいし、特定の人特性について、ランキングで、特定の商品に係る人数を生成してもよい。ランキングされたものは、表示されてよい。前者と後者の例は、例えば、上述のとおりである。
【０２１６】
また、上述のように、一例のシステムの統計処理部は、第１の時期に撮像された第１時期動画に基づき、前記第１時期動画における実画像内の位置と対応付けられた参照画像内の位置情報に基づいた領域に基づき生成された興味があると推定される第１時期商品情報と、第２の時期に撮像された第２時期動画に基づき、前記第２時期動画における実画像内の位置と対応付けられた参照画像内の位置情報に基づいた領域に基づき生成された興味があると推定される第２時期商品情報と、を生成してよい。この場合、より精緻に、配置と収益の関係を把握できる利点がある。
【０２１７】
図５１は、顧客が商品に興味を有することを推定できる情報に基づいて、商品のランキングをした一例である。ここで、顧客が商品に興味を有することを推定できる情報として、対象の領域に所定の時間以上いた人の数を合計したものである。ここで、統計処理部は、所定の時間以上いた人の数を、対象データベースにおいて、特定の領域に所定の時間以上いた人の数を数えることにより、算出してよい。
【０２１８】
なお、上述において人行動情報を用いる場合、統計処理部は、各人行動情報に関して設定された興味の程度の重み付けを用いて、各人行動情報に対して、重み付けを適用後の値の合計を、商品に対する興味度合いとして、算出してもよい。ここで、合計以外に種々の重み付けを興味に反映させる手法が用いられてよい。図５２は、各人行動情報に対して設定された重み付けの一例である。統計処理部は、対象データベースと、各人行動情報と関連付けられた重み付けを用いて、顧客による人行動情報に係る一のパターンと関連づけられている重み付けに基づいて、算出してよい。各人行動に重み付けを考慮して算出することにより、より各人行動の意味を商品に対する興味の度合いに反映させ、よりマーケティングの資料になりえる利点がある。また、前記数えられた数を用いて、図５２のようにランキングとして表示してもよい。
【０２１９】
図５３は、一の商品について興味を有すると推定される情報に基づいて、人特性をランキングして表示する一例である。本図は、顧客の、性別と年齢層との情報に基づいて、ランキングされた一例である。
【０２２０】
また、図５４は、一の商品について興味を有すると推定される情報を用いて、他の人特性をランキングする一例であり、性別と、年齢層と、ファッションアイテム種別、ファッションアイテム色のランキングを表示するものである。ファッションアイテムを商品とする店舗において、ファッションアイテム情報に関するランキングを生成した場合、どのようなファッションアイテムを有する顧客が、どのようなファッションアイテムに興味を有しているかを理解することができ、店舗内の来客者に対して、より適切なファッションアイテムの提案が可能となる。
【０２２１】
また、利用者が、商品のマーケティング上、より細かく商品を分類して分析したり、異なる商品分類で分析するなど、種々の分析をしたい場合がある。その場合、利用者は、一例のシステムの領域特定部によって、より細かく領域を設定してもよいし、異なる領域を設定してもよい。また、それらの変更された領域に応じた商品との関係が設定された商品データベースを利用してもよい。この場合、既に録画済みの動画を用いて、一例のシステムの位置生成部は、新たに設定された領域に基づいて、各人ＩＤの位置情報を用いて、各人に対して領域を生成し、統計処理部は、新たに設定された商品と領域との関係を用いて、種々の情報、グラフ、ランキングなどを生成してよい。
【０２２２】
また、対象情報収集部の収集する対象は、人に限られない。例えば、ペットや盲導犬などであってもよい。一例のシステムの対象情報収集部が、ペットを対象として、情報を収集し、位置生成部が位置を生成してもよい。一例のシステムの統計処理部が、ペットを対象として、数を数えることにより、ペットの来店数を特定してもよい。また、一例のシステムの対象情報収集部が、ペットの種類を特定することにより、一例のシステムの統計処理部がペットの種類に応じた来店数を特定してもよい。ペットの種類としては、例えば、大型、中型、小型、などの大きさに基づいたものであってもよいし、具体的なペットの種類であってもよい。例えば、ペットの犬を対象とすると、大型犬、中型犬、小型犬、などの大きさに基づいたものであってよい。これらの大きさは、犬の床から頭の上までの高さや、犬の鼻の先からしっぽ又は臀部までの長さに基づいて、特定されてよい。また、大型犬、中型権、小型犬に関して、所定の範囲が予め定められており、かかる範囲内であるかどうかにより、ペットの種類が特定されてよい。具体的なペットの種類であれば、例えば、犬においては、ゴールデンレトリバー、プードル、柴犬、など具体的なものであってもよい。
【０２２３】
情報収集部は、ペットと人との関係に基づいて、ペットの買主を特定してもよい。ペットと人との関係は、例えば、ペットと人との位置が最も近い人として設定されてもよいし、ペットと人のペット用リードを検知してもよい。また、ペットと人との関係は、人が店内に入ってから出るまでの全体の位置関係を踏まえて特定してもよい。例えば、店舗内に入ってから出るまでの間の動画において、人とペットとの近さの平均値を算出し、前記ペットと最も近い距離の人を買主と特定してもよい。
【０２２４】
また、上述では、商品について説明したが、広告においても同様に構成されてよい。すなわち、領域と商品とを関連付けたデータベースに代えて、領域と広告とを関連付けたデータベースとしてよい。これにより、領域を介して、顧客が興味を有すると推定される広告の情報を収集できる利点がある。また、領域を介して、広告に興味を有する顧客層の情報を収集できる利点がある。店舗に関連する広告としては、図５５における店舗０２が店舗の概観の一つとして設置する広告１１、店舗０３が店舗の概観として設置する広告１２などが挙げられる。なお、広告は、顧客を誘致するために、商品や興行物などについて、多くの人に知られるようにするためのものであればよく、ポスター、デジタルサイネージ、やショーウィンドウなどであってよい。
【０２２５】
より具体的には、例えば、一例のシステムが、領域と広告とを関連付けて記憶する広告データベースを備えてよい。
【０２２６】
また、上述の顧客が商品に興味を有することを推定できる場合に代えて、顧客が広告に興味を有することを推定できる場合としてよい。
【０２２７】
統計処理部は、上述のとおり、広告に興味があると推定される人数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
【０２２８】
広告に興味があると推定される人数を、人特性で区分けして、ランキングを生成する例をより具体的に説明すると、ランキングは、特定の広告に係る人数について、ランキングで、人特性を生成してもよいし、特定の人特性について、ランキングで、特定の広告に係る人数を生成してもよい。ランキングされたものは、表示されてよい。前者と後者の例は、例えば、上述の商品に代えて広告とした場合のとおりである。
【０２２９】
また、上述の広告においても、広告に興味を有すると推定できる人数を、人行動情報に基づいて、重み付けされてよい。例えば、広告の場合、手に取って見るようなものではないため、視線について他の行動よりも重み付けを重くしてよい。また、視線のみを考慮してもよい。また、重み付けの一態様として、広告が設置されている領域と、人位置情報と、の距離を考慮してよい。距離が離れている場合、距離が近い場合よりも、重みを低くして、広告に興味を有すると推定できる人数を算出してよい。この場合、所定の距離よりも長い場合、実質的には広告が見えていないとして、人数に算出しないよう構成してもよい。また、広告の大きさも考慮してよい。広告が大きいほど、遠くから見えるため、広告に興味を有している可能性があるためである。すなわち、広告が設置されている領域と人位置情報との距離と、広告の大きさを、重み付けの一態様として、利用してよい。
【０２３０】
４．２．実施形態２
次に実施形態は、店舗外における形態である。店舗外においても、店舗内と同様である。例えば、図５５は、建物内の一フロアを示しており、エスカレータ０１と、複数の店舗０２乃至０５を示す。店舗外のカメラ０６乃至０９は、それぞれ一定の視野を有し、店舗外を撮像する。また、広告１１乃至１４は、店舗０２乃至０５が店の表に出す広告であってよい。
【０２３１】
本図においても、実施形態１と同様に、各カメラ０６乃至０９の視野内に、領域を設定されてよい。なお、カメラは、敷地内の全ての領域をカバーできることが好ましいが、必ずしも全ての領域をカバーしなくてもよい。
【０２３２】
一例のシステムは、施設内の情報を有するデータベースを有してよい（本願書類において、「施設データベース」ということもある）。施設データベースは、参照画像内に設定される領域と、施設内の情報を関連付けて記憶してよい。例えば、施設データベースは、参照画像内に設定される各領域と、施設内の店舗、入口、出口、インフォメーションセンター、トイレ、エレベータ、エスカレータ、通路、などのアイテムとが関連付けられて、記憶されていてよい。これらの情報は、利用者が、領域特定部を用いて、領域を設定する時に、領域と関連付けてアイテムを入力することにより、施設データベースに記憶されてよい。領域とアイテムは、一対一に設定されてもよい。例えば、エレベータ、エスカレータなどのアイテムのように、商品や広告や場所などとの関係において、一のアイテムに対して複数の領域を設定する必要性が低い場合、領域からアイテムを特定できる利点がある。また、店舗や通路など、それらの中においても商品の置き場所や広告の設置場所など区分けした方がより顧客の挙動の調査に役立つ場合は、一のアイテムに対して、複数の領域が設定されてもよい。また、上述のとおり、領域は階層化されてよいため、一のアイテムに対して、複数の領域が設定されてもよい。例えば、一の店舗内を１０の領域に区分けして記憶するとともに、前記一の店舗に対応する一の領域を設定することにより、前記一の店舗に対して後者の前記一の領域を特定することが可能となる。また、フロアのように、複数の店舗を含む場所について、一の領域が設定されてもよい。
【０２３３】
また、一例のシステムは、各店舗管理者端末によって閲覧可能に構成されてもよいし、複数の店舗に対して場所を提供する施設管理者端末によって閲覧可能に構成されてもよい。施設の管理者は、施設の所有者であってもよいし、施設の賃貸者であってもよい。図５６は、本形態のシステムの一例を示すものである。本例のシステム０１は、ネットワーク１９を介して、店舗管理者端末Ａ乃至Ｃ、施設管理者端末Ａ及びＢ０４と、接続される構成となっている。店舗管理者端末Ａ乃至Ｃは、施設内の各店舗の管理者が利用することが想定されるものである。他方、施設管理者端末は、施設の管理者が利用することが想定されるものである。施設管理者端末は、施設の現場に設置されてもよいし、施設とは異なる場所に設置されてもよい。例えば、大規模な商業施設を複数有する商業団体が、各施設の状況を集中的に管理できるように、施設と異なる場所に設置されることが想定される。また、本例のシステム０１は、撮像装置０３ａ乃至０３ｄと接続されてよい。撮像装置０３ａ乃至０３ｄと接続されることにより、動画で撮像された映像について、リアルタイムで処理することが可能となる利点がある。
【０２３４】
また、一例のシステムの統計処理部は、店舗管理者端末毎に、セキュリティ機能を有してもよい。統計処理部が生成する情報は、他の店舗に関する訪問者数、訪問者の人特性などの情報の場合があるため、店舗管理者端末において、店舗利用者のアカウントにより閲覧可能な情報は、自らの店舗に関する情報に限定されてもよい。
【０２３５】
他方、施設内における種々の店舗に関する情報は、共有することにより、全体として収益を向上できる可能性もある。そのため、例えば、店舗と商品・サービス分野とを関係づけたデータベースと本例のシステムが接続され、一の店舗と競合しない他の店舗に関する情報は、一の店舗の店舗管理者端末で閲覧できるセキュリティ機能としてもよい。当該構成がされた場合、店舗管理者は、競合する店舗に対しては情報を提供せず、かつ、他の競合しない店舗の情報を閲覧できることで、より店舗の改善を検討できる利点がある。
【０２３６】
店舗外に関しても、実施形態１と同様に、種々の統計情報が算出されてよい。例えば、実施形態１においては、店舗内の訪問者数を生成したが、同様に、施設内の各店舗の入店者数を生成してよい。この場合、一例のシステムの統計処理部は、店舗Ａ乃至Ｃについての複数の店舗に関する各訪問者数を生成してよい。また、生成された情報は、施設管理者端末において、表示されてよい。一例のシステムが店舗毎の訪問者数を表示できることにより、施設管理者が、各店舗の訪問者数を把握できる利点がある。
【０２３７】
統計処理部は、上述のとおり、店舗毎の訪問者数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
【０２３８】
一例のシステムの統計処理部が、訪問者数を、店舗毎にランキングで生成され、施設管理者端末において、表示された場合、店施設管理者は、訪問者数の多い及び／又は少ない順で店舗を把握できる利点がある。
【０２３９】
店舗毎の訪問者数を、人特性で区分けして、ランキングを生成した場合についてより具体的に説明すると、ランキングは、店舗毎の訪問者数について、人特性のランキングを生成してもよいし、特定の人特性について、店舗毎の訪問者数のランキングを生成してもよい。ランキングされたものは、表示されてよい。前者は、一の店舗について、訪問人数の多い人特性をランキングするものである。例えば、一の店舗と関連付けられる人特性は、人数の多い順に、４０代、３０代、２０代、５０代、などとされてよい。これにより、特定の店舗の顧客層の情報を収集できる利点がある。そのため、店舗管理者端末に送信された場合、顧客層を踏まえた商品やサービスの検討が可能になる利点がある。また、顧客管理者端末に送信された場合、施設管理者は、店舗に関するより具体的な情報を収集できる利点がある。後者は、一の人特性について、訪問人数の多い店舗をランキングするものである。例えば、５０代女性については、店舗Ａ、店舗Ｂ、店舗Ｃの順に訪問者数の多い順としてランキングされる、などとされてよい。これにより、特定の顧客層が訪問する店舗群を検討できる利点がある。また、施設管理者端末に送信された場合、施設管理者は個々の店舗の性質や施設全体の店舗の配置などを検討できる利点がある。例えば、女性向けの階と男性向けの階を分ける、若年層向けの場所と高年層向けの場所を分ける、など顧客層に応じた店舗のカテゴライズのための情報を収集できる利点がある。人特性は、機械学習技術の適用により生成された人情報に基づいてよい。ランキングは、人数の多い順であってもよいし、人数の少ない順であってもよいし、多い順と少ない順の両方であってもよい。機械学習技術の適用により生成された人情報に基づくことにより、人特性を高精度に区分けした上でランキングがされることにより、よりマーケティングに有用な資料となる利点がある。
【０２４０】
また、一例のシステムの統計処理部が、店舗の出入り口が接する通路の通行人数と、店舗の訪問者数と、の割合（本願書類において、「店舗訪問者割合」ということもある。）を生成してもよい。
【０２４１】
ここで、通路の通行人数は、通路に関連する実画像を用いて、生成されてもよいし、通路と関連付けられた領域が設定されかかる領域を用いて生成されてもよい。通路と関連付けられた領域は、当該通路幅を覆う形状であることが好ましいが、必ずしも通路幅を完全に覆う必要は無く、一例のシステムの統計処理部は、通路を行き交う人々を対象情報収集部が検知可能な視野を有する撮像装置で撮像された実画像に対する参照画像を用いていればよい。
【０２４２】
統計処理部は、上述のとおり、店舗訪問者割合を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
【０２４３】
一例のシステムの統計処理部が、一の店舗に係る店舗訪問者割合を生成することにより、通行人数のうち、何割の人が店舗に訪問しているのかを把握できる利点がある。なお、店舗訪問者割合は、通路と訪問者数との関係であることから、出入口毎に算出されてもよい。ここで、店舗訪問者割合は、一の出入口に接する通路の通行人数に対する、前記一の出入口から訪問した訪問者数の割合としてよい。この場合、出入口毎に訪問人数を把握できる利点がある。
【０２４４】
また、各店舗に係る各店舗訪問者割合が施設管理者端末で表示される場合、施設管理者は、どの店舗が通路から多くの訪問を受けているのかを把握でき、例えば、店舗の概観に関する知見などを収集できる利点がある。特に、各店舗に係る各店舗訪問者割合が、ランキング形式で、施設管理者端末で表示される場合、通路から人を訪問させるための概観として好ましい外観と好ましくない外観などについて、理解でき、例えば、施設に新たに入る店舗に対して、かかる情報を共有できる利点がある。また、各店舗に係る各店舗訪問者割合が、ランキング形式で、店舗管理者端末で表示される場合、各店舗管理者が、他の店舗訪問者割合の情報を取得することにより、外観やレイアウトを改善するための情報を収集できる利点がある。
【０２４５】
また、一の店舗に係る店舗訪問者割合が、前記一の店舗に係る店舗管理者端末で表示される場合、店舗管理者は、店舗訪問者割合を把握できる利点がある。また、一の店舗が複数の出入口を有している場合において、出入口毎に店舗訪問者割合が生成された場合、各出入口の店舗訪問者割合を生成することが可能となり、店舗は、店舗内の敷地の有効活用の観点で出入口の封鎖などを含めた店舗内のレイアウトの検討のための情報を収集できる利点がある。
【０２４６】
また、一例のシステムの統計処理部は、一の店舗について、一の時期の店舗訪問者割合と、他の時期の店舗訪問者割合とを、生成してよい。一例のシステムの統計処理部が生成した一の時期の店舗訪問者割合と、他の時期の店舗訪問者割合とが、店舗管理者端末に送信された場合、店舗管理者は、一の時期と他の時期の店舗訪問者割合を比較できる利点がある。これは、例えば、一の時期の店舗のレイアウトと、他の時期の店舗のレイアウトが異なる場合において、どちらのレイアウトの方が、より店舗訪問者割合を高めることができるのかに関する情報を収集できる利点がある。
【０２４７】
また、一例のシステムの統計処理部が、上述の通路の通行人数を、所定期間毎に、生成する場合、所定期間毎の、施設内の通路の利用状況を把握できる利点がある。より具体的には、通路の通行人数が、所定期間毎に区分けされて、施設管理者端末で表示される場合、施設管理者は通路の混雑度を時間に応じて把握することができ、例えば、時間帯に応じた管理が可能となる。
【０２４８】
また、店舗周辺の通路の通行人数が、所定期間毎に区分けされて、店舗管理者端末で表示される場合、店舗管理者は、所定期間毎の通路の利用状況を把握することができるため、例えば、時間に合わせたタイムセールスなどのプロモーションの検討をするための情報を収集できる利点がある。
【０２４９】
また、一例のシステムの統計処理部は、上述の通路の通行人数を、人特性に区分けして、生成してもよい。この場合、人特性毎に、通路の利用状況を把握できる利点がある。また、通路の通行人数を、所定期間毎に、通行人数を、人特性に区分けして、生成してもよい。この場合、人特性を、時間帯を踏まえて、通路の利用状況を把握できる利点がある。当該構成が、施設管理者端末で表示される場合、例えば、サラリーマン風の人やＯＬ風の人が、お昼時間に多い場合、お昼の食事として利用されているなどの情報を把握できる。
【０２５０】
また、各店舗と関係なく、施設の出入口に着目し、施設の出入口を利用する人に関する情報を収集してよい。一例のシステムの統計処理部は、施設の出入口について、施設の出入口を介して施設に訪問する訪問者数（本願書類において、「施設訪問者数」ということもある。）を生成してよい。
【０２５１】
一例のシステムの統計処理部は、上述のとおり、施設訪問者数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。施設訪問者数は、施設の出入口毎に生成してもよいし、施設内の全ての出入口を纏めて生成してもよい。前者の場合、出入口毎に施設を訪問する人数についての情報を把握できる利点があり、出入口毎に種々の対策が可能である利点がある。例えば、広告や安全管理などである。また、後者の場合、施設全体としての情報を把握できる利点がある。また、前者と後者の情報は、個々に施設管理者端末に表示されてもよいし、前者と後者の情報の両方が施設管理者端末に表示されてもよい。前者と後者の情報の両方が施設管理者端末に表示された場合、全体の傾向と施設内の各出入口の傾向の両方を閲覧した上で検討できる利点がある。
【０２５２】
また、一例のシステムの統計処理部は、店舗の出入口に接する通路に限らず、施設内の通路に領域を設置し、通路内の領域に係る人数に基づいて、通路の通行人数（本願書類において、「通行人数」ということもある。）を生成してよい。
【０２５３】
すなわち、一例のシステムの統計処理部は、上述のとおり、通行人数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
【０２５４】
また、一例のシステムの統計処理部が上述の通路の通行人数を生成する場合、施設内の通路の利用状況や利用者の状況を把握できる利点がある。より具体的には、通路の通行人数が施設管理者端末で表示される場合、施設管理者は通路の利用状況を把握することができ、例えば、安全上の管理や、客層の把握が可能となる利点がある。
【０２５５】
また、施設内に設置された広告に対して興味があると推定される人数についても、実施形態１と同様に、情報を収集してよいし、その表示ができてよい。施設内に設置された広告としては、例えば、図５５における広告１１、１２、１３、１４などが挙げられる。
【０２５６】
すなわち、統計処理部は、上述のとおり、広告に興味があると推定される人数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。
【０２５７】
また、各店舗に係る各広告に興味があると推定される人数が施設管理者端末で表示される場合、施設管理者は、どの店舗のどのような広告がより多くの人から興味を持たれているのかを把握でき、例えば、広告の設置や広告の内容に関する知見などを収集できる利点がある。また、各店舗に係る各広告に興味があると推定される人数が、ランキング形式で、店舗管理者端末で表示される場合、各店舗管理者が、他の店舗訪問者割合の情報を取得することにより、外観やレイアウトを改善するための情報を収集できる利点がある。
【０２５８】
４．３．実施形態３
本実施形態のシステムは、追跡部を有してよい。追跡部は、特定の対象に関する情報を収集する機能を有する。追跡部は、特定の一人の情報を収集してよい。
【０２５９】
追跡部は、対象情報収集部によって収集された対象データベース内の特定の人Ｘに関する情報を収集してよい。例えば、図５７は、特定の人Ｘの情報を含むものを、対象データベースから抽出したデータを示す。ここで、図５７のデータは、人Ｘは、時刻ｔ１からｔＮになるに従い、領域であればＦ１からＦ２５に、参照画像内の位置情報であれば（ｔ１ｘ１、ｔ１ｙ１）から（ｔＮｘ１，ｔＮｙ１）に移動していることを示している。追跡部は、このような対象ＩＤと、参照画像内の位置情報又は領域情報に基づいて、人Ｘの位置を追跡可能となる。
【０２６０】
４．３．１．実施形態３．１
例えば、店舗や施設内で特定の顧客を探したい場合がある。例えば、迷子の顧客が現在どこにいるかを知りたい場合、忘れ物をした顧客に忘れ物を届けたい場合、窃盗等の問題のあるお客様を見つけたい場合、などが挙げられる。施設の例としては、例えば、デパート、アミューズメントパークなどの施設が考えられる。また、施設内には、複数の撮像装置が設置されていてよい。施設内の全ての領域が撮像装置でカバーされていなくてもよいが、多くの領域をカバーするほど、顧客を探せる可能性が高まる。ここでは、図５８を用いて、説明する。
【０２６１】
まず、本実施形態のシステムは、動画内の利用者が探したい顧客（対象となる人）の情報を取得する（ステップ１）。
【０２６２】
次に、対象となる人ＩＤを有する情報を、対象データベースから取得する（ステップ２）。例えば、図５７のようなデータを取得する。図５７においては、対象ＩＤも含まれているが、特定の人ＩＤとして明らかである場合は、対象ＩＤはなくてもよい。また、参照画像内の位置情報と領域の両方を含んでいるが、いずれか一方であってもよい。
【０２６３】
次に、本実施形態のシステムは、対象となる人ＩＤを有する情報において、現在の時刻に近い時刻、例えば、時刻ｔＮにおける参照画像内の位置情報を表示する（ステップ３）。利用者は、探している顧客が、当該位置情報にいることが分かる。
【０２６４】
また、本実施形態のシステムは、参考画像内の当該位置情報に対応する実画像内の位置を視野に収める動画の現在の状態を表示してもよい（ステップ４）。これにより、利用者は、探している顧客が、現実に当該撮像装置の視野内に、現実にいることを確認することができる。
【０２６５】
上述は、一例のシステムの統計処理部が、動画について、対象データベースを作成済みである場合として説明したが、動画はあっても対象データベースが作成されていない場合、前記動画に対して、まず、対象情報収集部が対象データベースを作成してよい。ここで、対象情報収集部は、捜索対象となる人の情報のみについて、対象データベースを作成してもよい。この場合、作成対象が限定されることから、データが少なり、かつ、処理時間も短い利点がある。なお、動画に対して、参照画像との位置関係の情報が生成されていない場合、利用者は、位置関係生成部を利用して、施設内の撮像装置など、捜索対象の人がいる可能性のある場所に設置されている撮像装置に係る動画に基づく実画像と参照画像との間に位置関係を入力する。この場合、利用者は、位置関係の推定機能を利用してもよい。
【０２６６】
また、一例のシステムの統計処理部は、参照画像上において、対象となる人の動きを、仮想的にアニメーションで示してもよい。アニメーションで表示されることにより、より人の動きを理解することが可能となる利点がある。より具体的には、迷子の探索であれば、迷子になるまでの過程を理解することができ、窃盗等であればどのような過程で逃げたのかを理解することができ、今後の施設内の設備などについて、示唆に富む情報を得られる可能性もある。なお、ここで、対象となる人は、アイコンなどにより示されるものであってよい。また、アニメーションは、動画の再生速度に対して、その速度の１０分の１又は１００分の一など所定の割合などにより短くして表示する物であってよい。
【０２６７】
また、上述の技術を応用することにより、時刻ｔ１に位置情報Ｙにいた一又は複数の人が、現在の時刻に代えて、特定の時刻（時刻ｔｘ）にどこにいるかを調べることも可能である。これは、例えば、施設内において、二つのイベントＡとＢがある場合を考える。イベントＡの参加者が、イベントＢの時間帯にどの場所に移動しているかを特定する場合に利用されてよい。イベントＡとイベントＢに関連性がある場合、イベントＡに関与した関与者が、イベントＢの時間帯に、イベントＢ以外のどの場所に滞在していたのかを利用することにより、イベントＡとイベントＢについて検討することが可能となる。
【０２６８】
なお、統計処理部は、複数のイベントについて、参加率に関する統計情報を算出してよい。例えば、イベントＡ乃至イベントＣがある場合において、組み合わせの参加率を算出することにより、イベントの参加者の特性に関する情報を収集できる。組み合わせの参加率は、例えば、イベントＡ乃至Ｃの３つのイベントであれば、イベントの時間帯の来場者を母数として、イベントＡのみに参加した人の割合、イベントＢのみに参加した人の割合、イベントＣのみに参加した人の割合、イベントＡとＢに参加した人の割合、イベントＡとＣに参加した人の割合、イベントＢとＣに参加した人の割合、を生成してよい。また、それぞれのイベントに参加する人の特性で区分けしてもよい。
【０２６９】
以上、追跡する対象を人として説明したが、対象が車両であっても同様である。車両の場合、対象情報収集部は、車両の車種、色、車両番号などを収集している。利用者は、まず、上述のステップ１において、追跡したい車両情報を取得する。そして、上述のステップ２において、対象データベースから、追跡したい車両に関する情報を取得する。そして、ステップ３において、追跡したい車両情報を有する情報の中で、特定の時刻に近い情報について、参照画像内の位置情報を表示する。これにより、追跡したい車両の現在の位置情報が判明する。
【０２７０】
４．３．２．実施形態３．２
複数の店舗を有する施設内において、店舗Ｘと関連する人が、その日に、他のどこを訪問又は通ったのか調査したい場合がある。そのような場合の技術を図５９を用いて、説明する。
【０２７１】
本実施形態のシステムは、まず、領域ｘを取得する（ステップ１）。ここで、領域ｘは、参照画像内に設定された一又は複数の領域であってもよい。例えば、店舗に訪問した顧客を対象とする場合は、前記店舗に対応する一又は複数の領域であってよい。また、店舗内の特定の商品に興味をもつ顧客を対象とする場合は、前記商品に対応する一又は複数の領域であってよい。また、店舗内で購入した顧客を対象とする場合は、例えば、店舗内のキャッシャー（レジ）に対応する一又は複数の領域であってよい。
【０２７２】
領域Ｘは、例えば、利用者が、参照画像内の領域を選択するなどにより特定された領域により、情報を取得してよい。
【０２７３】
次に、領域Ｘを訪問した一又は複数の人Ｙを、対象データベースから、抽出する（ステップ２）。
【０２７４】
次に、前記一又は複数の人Ｙのデータから、訪問した他の店舗の情報を取得する（ステップ３）。ここで、他の店舗は、上述の施設データベースを用いて、前記Ｙの位置情報と関連付けられた領域から、施設データベース内の前記領域から関連付けられた店舗として、特定されてよい。
【０２７５】
次に、上記他の店舗の一部又は全部をリストとして表示する（ステップ４）。領域ｘが店舗Ｘに対応する領域である場合、当該表示により、閲覧者は、店舗を訪問した人が他のどのような店舗を訪問したのかを理解することができ、店舗Ｘを訪問する人の動向について、マーケティング資料を得ることができる。また、領域ｘが店舗Ｘ内の特定の商品に対応するものである場合、当該表示により、閲覧者は、前記特定の商品に興味を持つ顧客が他にどのような店舗を訪問したのかを理解することができ、前記特定の商品と係る顧客の動向について、マーケティング資料を得ることができる。また、領域ｘが店舗Ｘ内のキャッシャー（レジ）に対応するものである場合、当該表示により、閲覧者は、店舗Ｘで商品を購入する顧客が他にどのような店舗を訪問したのかを理解することができ、店舗Ｘで商品を購入した顧客の動向について、マーケティング資料を得ることができる。
【０２７６】
また、ステップ４の上記のいずれにおいても、各店舗に訪問した人に係る統計値を、各店舗と関連付けて表示してよい。この場合、顧客が訪問した各店舗の統計数を理解することができ、より顧客の動向について、マーケティング資料を得ることができる。ここで、統計値は、合計であってもよいし、平均であってもよいし、その他のマーケティング資料に役立つ種々の統計的処理を経た数字であってもよい。例えば、合計であれば、日毎に算出されてもよいし、週毎に算出されてもよいし、月毎に算出されてもよいし、所定の月毎に算出されてもよいし、年毎などで算出されてもよい。平均も、日毎、週毎、月毎、などの平均であってもよい。
【０２７７】
また、リストは、店舗に訪問した人に係る統計値を、所定の順に、ランキングで表示してもよい。例えば、統計値を、多い順にランキングで表示された場合、閲覧者は、特に多い人数の店舗に容易に着目できる利点がある。
【０２７８】
また、上記リストは、店舗Ｘの訪問前に訪問した店舗に限定してもよい。この場合、閲覧者は、店舗Ｘに訪問前に、どのような店舗を訪問したのかを理解することができ、より顧客の動向について、マーケティング資料を得ることができる。
【０２７９】
また、上記リストは、店舗Ｘの訪問の後に訪問した店舗に限定してもよい。この場合、閲覧者は、店舗Ｘに訪問の後に、どのような店舗を訪問したのかを理解することができ、より顧客の動向について、マーケティング資料を得ることができる。
【０２８０】
また、本実施形態のシステムのステップ２において、顧客の人属性情報を用いて、一又は複数の人Ｙを抽出してもよい。例えば、顧客の人属性情報として、性別、及び／又は、年齢などであってよい。かかる人属性情報を用いた場合、対象となる、性別、及び／又は年齢を対象とした顧客に関する情報を取得することができる。
【０２８１】
他の例としては、顧客が、特定の商品との関係で定められる領域ｘにおいて示す人行動情報を用いてもよい。人行動情報においては、例えば上述のとおり、商品に対する興味の重み付けを設定できるため、例えば、特定の人行動情報を有する顧客のみを対象として、上記のリストの対象とする、ランキングの対象とする、などとしてよいし、また、当該重み付けを用いて、重み付け後の値を合計数の算出に利用したり、ランキングの順位付けに利用したりしてよい。
【０２８２】
また、上述では、施設データベースから、店舗を特定したが、他にも施設内の入口、出口、及び／又は通路を特定してもよい。この場合、調査対象の顧客がどのような入口、出口、及び／又は通路を利用しているのかの、情報を収集することができる。特に、広告の設置などのマーケティングに役立つ情報を収集できる利点がある。
【０２８３】
ここでは、より具体的に、特定の店舗と関連付けて、施設の出入口の利用状況に関する情報を収集する例を説明する。この場合、特定の店舗を利用する人が、施設内のどの出入口を利用するのかを把握できるため、特定の店舗の管理者は、施設の出入口との関係で、広告の提供を検討できる利点がある。一例のシステムの統計処理部は、施設の出入口について、施設の出入口を介して、特定の店舗に訪問する訪問者数（本願書類において、「施設出入口店舗訪問者数」ということもある。）を生成してよい。
【０２８４】
一例のシステムの統計処理部は、上述のとおり、施設出入口店舗訪問者数を、所定期間を対象に生成してよいし、所定期間毎に生成してもよいし、人特性で区分けして生成してよいし、人特性で区分けして所定期間毎に生成してもよいし、人特性で区分けしてグラフを作成してもよいし、人特性で区分けしてランキングを生成してもよいし、人特性で区分けして所定期間毎にランキングを生成してもよい。施設出入口店舗訪問者数数は、施設の出入口毎に生成してもよいし、施設内の全ての出入口を纏めて生成してもよい。前者の場合、出入口毎に施設を訪問する人数についての情報を把握できる利点があり、出入口毎に種々の対策が可能である利点がある。また、後者の場合、施設全体としての情報を把握できる利点がある。また、前者と後者の情報は、個々に店舗管理者端末に表示されてもよいし、前者と後者の情報の両方が店舗管理者端末に表示されてもよい。前者と後者の情報の両方が店舗管理者端末に表示された場合、全体の傾向と施設内の各出入口の傾向の両方を閲覧した上で検討できる利点がある。
【０２８５】
なお、同様に、特定の店舗と関連付けて、特定の通路について、情報を収集してもよい。
【０２８６】
４．３．３．実施形態３．３
本実施形態のシステムは、施設来店者のグループを検知するシステムである。施設来店者のグループの情報を収集することで、より商業施設の収益を向上する策を検討可能となる。グループの種類分けは種々あってよいが、例えば、一人、友人、カップル（男女）、子連れ、などの種類分けがあってよい。
【０２８７】
施設来店者のグループの検知は、種々の方法により検知されてよい。以下で述べる手法は、グループは近い距離で動くことが想定されることから、人々の距離で算出するものである。
【０２８８】
＜グループ検知方法１＞
追跡部は、対象データベースから、施設来店者の夫々について、時刻と位置（又は領域）に関する情報を生成し、各人の距離を生成する。図６０は、各時刻において、各人の位置と、人々の距離を算出したデータの一例である。
【０２８９】
ここで、人々の距離の算出は種々の手法により計算量を減少させてもよい。例えば、対象データのうち、時刻でサンプリングして抽出したデータを対象としてもよい。例えば、１秒あたり１の情報としたり、２秒あたり１の情報として算出してもよい。これは、短時間で長い距離を人が移動できないため、省略しても距離の算出に悪影響を与えないと考えられるためである。また、距離の算出について、明らかに遠い距離のものは対象から外してもよい。例えば、施設内の異なる階にいる場合や、異なる領域に属しているものを距離の算出の対象外としてもよい。
【０２９０】
次に、人と人との間の距離に基づいて、グループを検知する。人と人との間の距離は、種々の手法であってよい。例えば、人と人との間の距離は、上述の抽出されたデータを用いて、同一時刻における一の人と他の人との間の距離を算出し、前記距離のばらつきを算出してもよい。ばらつきとしては、標準偏差や分散であってよい。同一のグループであれば、一定の距離で動くことが想定されるためである。ばらつきが所定の値よりも小さい人と人とを同一のグループとして検知してよい。
【０２９１】
また、例えば、人と人との間の距離は、上述の抽出されたデータを用いて、同一時刻における一の人と他の人との間の距離を算出し、それらの距離のうち、所定の閾値以下の距離について、距離のばらつきを算出してもよい。所定の閾値以下とすることで、各店で散らばって各人の興味に沿って移動するケースを除外することが可能となり、いわゆるバラつきにおけるノイズを除外できる利点がある。
【０２９２】
また、例えば、人と人との間の距離は、上述の抽出されたデータを用いて、同一時刻における一の人と他の人との間の距離を算出し、それらの距離の中で第１の所定の閾値以下の距離のものを対象として、第２の所定の距離以下であるものの時間の割合を算出してもよい。第１の所定の閾値以下に限定することにより、上述の各人の興味に沿って移動する時間帯を除外することが可能となる利点がある。また、第２の所定の距離以下とするのは、同一のグループ内の人々が非常に近距離であることを抽出するものである。さらに、興味に沿って移動する時間帯を除外した時間帯を全体とし、非常に近距離である時間帯の割合によって、人と人との間の距離が近距離である時間の割合によって、近距離である時間帯の比率が多ければ、同じグループである可能性が高いためである。
【０２９３】
＜グループ検知方法２＞
グループ検知方法２は、施設内の多数のカメラ映像を対象とするのではなく、特定の限られた箇所のカメラ映像を用いてグループを検知する手法である。本手法は、限られた箇所のカメラ映像に基づく算出のため、計算量も減少しつつ、ノイズなども除外できる手法である。
【０２９４】
特定の限られた箇所のカメラとして、施設の出入り口に設置されたカメラであってよい。本手法は、施設内に種々のテナントがある場合、同一グループでも各人の興味のあるテナントに訪問することがあっても、出入口においては一緒に入る又は一緒に出る可能性が高いことから、出入口でのカメラの映像を重視する思想である。
【０２９５】
追跡部は、入口に設置されたカメラで撮像された動画内においてほぼ同一時刻に入った複数の人と、出口に設置されたカメラで撮像された動画内においてほぼ同一時刻に入った複数の人と、同一グループ内の人と判定してよい。この場合、同一時刻における同一カメラ映像内に含まれていない人であるとしても、数秒の違い等であれば、同一グループの人と判定してもよい。
【０２９６】
以下、より具体的なフローを説明する。
【０２９７】
まず、入口付近と出口付近とに設置された撮像装置に対応する各実画像について、参照画像が用意され、利用者の入力により、位置関係生成部が各実画像と対応する参照画像との間の位置関係を生成する（ステップ１）。
【０２９８】
次に、入口付近と出口付近とで撮像された実画像内の人情報を、対象情報収集部が、収集して対象データベースに記憶する。ここで、対象情報収集部は、実画像内の人情報に基づいて、人移動情報を生成してよい。本実施例と関係する入り口と出口に関する対象データベースのデータの一例としては、例えば、図６１が挙げられる。ここで、人移動情報については、簡略化して、施設に入る人と出る人と称している。本図において、出入口１において、人ＩＤの００１、００２、００５が入っている。なお、時刻に関し、人ＩＤ００１と００５は、００２（００３から００１を減算した）の差があるが、ほぼ同一時刻と考えられる。他方、出入口２において、人ＩＤ００５と００１は、ほぼ同一時刻に出ている。他方、人ＩＤ００２は、出入口３から、時刻０５０と異なる時刻に出ている。
【０２９９】
次に、追跡部は、所定の時間内に入り、かつ、所定の時間内に出た複数の人を、同一グループと判定する（ステップ３）。上述の例においては、人ＩＤ００１と００５は、ほぼ同一の時刻に施設に入り、ほぼ同一の時刻に施設から出ていることから、同一グループの人と判定される。他方、人ＩＤ００２は、異なる時刻に異なる出入口から出ていることから、同じグループとは判定されない。
【０３００】
なお、施設に入る人と出る人の特定は、撮像装置の位置と、撮像装置の撮像方向と、撮像された人の正面又は背面であるかによって特定されてもよい。例えば、対象情報収集部は、施設の出入り口において施設の出口方向に向けて設置された撮像装置によって正面を撮像した人を施設に入る人と特定し、施設の出入り口において施設入口方向に向けて設置された撮像装置によって正面を撮像した人を施設から出る人と特定してもよい。
【０３０１】
なお、施設の出入口において設置された撮像装置は、防犯の観点で、施設に、入る方向と出る方向を向けて設置されることが多い。これらの撮像装置を用いる場合、入る方向を向けた撮像装置は、施設から出る人は背面のみを写し、その撮像装置のみでは人データベース内の人との同一性の判定が困難な場合もある。この場合、入る方向と出る方向の両方の撮像装置を用いて、人の同一性を判定してよい。すなわち、入る方向と出る方向の撮像装置は、それぞれが正面と背面を撮像することから、ファッションアイテム属性に係る同一性（例えば、ファッションアイテムの種別、色、模様、加工など）を用いて同一人と判定してよいし、また入る方向のカメラに基づく実画像内の位置と関連付けられた参照画像内の位置と出る方向のカメラに基づく実画像内の位置と関連付けられた参照画像内の位置との位置の同一性によって同一性と判定してもよいし、ファッションアイテム属性と参照画像内の位置の同一性の両方を用いて人の同一性を判定してもよい。
【０３０２】
次に、各グループを、グループ種別に区分けしてよい。グループ種別は、例えば、一人、友人、男女組、子連れなどの種類分けがあってよい。ここで、男女、子連れは、対象情報収集部が特定した年齢層と性別を用いてよい。グループ種別は、更に、グループ毎に年齢層が設定されてよい。例えば、友人と男女の年齢層、は平均値であってよく、子連れの年齢層は子供の年齢層と親の年齢をそれぞれ特定してもよい。
【０３０３】
次にグループ種別を特定した後の流れを説明する。まず、一例のシステムの統計処理部は、グループの数（本願書類において、「グループ数」ということもある）を生成してよい。また、グループ数は、グループ種別に分けて生成されてよい。また、グループ数は、所定時間毎に生成されてよい。
【０３０４】
一例のシステムの統計処理部が、施設来店者数のグループ数を、グループ種別に分けて施設管理者端末で表示される場合、グループ数の多寡をマーケティングに利用できる利点がある。例えば、施設内への訪問者に子連れが多い場合、施設内の店舗を、子供に関連する店舗を増やすなど、新たな店舗の選定に利用できる利点がある。
【０３０５】
また、一例のシステムの統計処理部が、施設来店者数のグループ数を、グループ種別に分けて、所定時間毎に、施設管理者端末で表示される場合、特定の時間帯の特定のグループに合わせたイベントの企画の検討情報を収集できる利点がある。例えば、特定の時間帯に子供が多い場合、子供向けのイベントを企画できる利点がある。
【０３０６】
また、統計処理部は、グループ数を構成する人について、人特性で区分けして、グラフを作成してよい。グラフを作成することにより、より特定の観点で整理された情報を得ることができる利点がある。グラフは、横軸を所定期間の時間軸として、縦軸において、人特性に区分けして、グループ数としてよい。これにより、所定期間における人特性の同一グループ数を把握できる利点がある。より具体的には、一例として、横軸を一日の時間帯とし、縦軸を、グループ数について、性別で区分けしたり、年齢層で区分けしたり、ファッションアイテム種別とファッションアイテム加工と髪型の組み合わせで区分けしたり、性別と年齢層の組み合わせで区分けしたりしてよい。
【０３０７】
また、一例のシステムの統計処理部が、施設来店者数のグループ数を、グループ種別に分けて、所定時間毎に、ランキングで、施設管理者端末で表示される場合、来場者数の観点で、把握できる利点がある。
【０３０８】
また、統計処理部は、グループ種別について、人特性で区分けして、ランキングを算出してよい。ランキングは、一のグループ種別について、グループを構成する人の人特性のランキングを生成してもよいし、特定の人特性について、グループ数のランキングを生成してもよい。前者は、一のグループ種別について、人数の多い人特性をランキングするものである。例えば、一のグループ種別が友人であれば、人特性は、グループ数の多い順に、１０代、２０代、６０代、５０代、などとされてよい。これにより、一のグループ種別の顧客層を検討できる利点がある。後者は、一の人特性について、人数の多いグループ種別をランキングするものである。例えば、２０代女性については、友人、男女組み、一人の順にランキングされる、などとされてよい。これにより、特定の顧客層のグループを検討できる利点がある。
【０３０９】
４．４．実施形態４
本実施形態のシステムは、タクシーを待つ人を対象とするシステムである。図６２は、タクシー待ちの場所において、タクシーを待つ人の列を示す一例である。タクシー０１ａ、０１ｂ、０１ｃがタクシー待ちで待っているタクシーである。カメラ０２がタクシーを待っている人の列を撮像し、タクシーに待っている人０３乃至０９がいる状態を示す。
【０３１０】
タクシー業界において、タクシー待ちに人が待っているとき、必要なタクシーが何台であるかを特定することが好ましい。タクシーは、一台に対して、一人で乗る場合もあれば、複数人で乗る場合もある。タクシーは、一般的には家族や友人など、関係する人のグループで、一台のタクシーに乗ることが多いためである。そのため、タクシー待ちに待っている人の数が、そのまま必要なタクシーにはならない。もしタクシー待ちに待っている人の数と同じ数のタクシーを用意すると、余分にタクシーをそのタクシー乗り場に配車することとなり、他の場所における機会損失となりえる。他方、少ない数のタクシーを配車した場合は、タクシーに待つ人がいるにもかかわらずタクシーを配車できないこととなる。
【０３１１】
本システムは、タクシーに待つ人々のグループ数を予測するものである。グループ数を予測できれば、そのグループ数に対応するタクシーを用意することにより、少なくともタクシー乗り場で待っているグループ数の分のタクシーを用意することが可能となる。本システムにおいて、グループ数は、タクシー乗り場で待つ人々の距離に基づいて、算出するアイデアである。すなわち、知らない人は一定の距離を離れて待つ傾向がある一方、家族や友人などのグループは、知らない人よりも短い距離で待つ傾向がある。そこで、本システムは、乗り場で待つ人々の距離を測定することにより、グループ数を算出するものである。以下では、図６３を用いて、その流れを説明する。
【０３１２】
本システムの利用者は、まず、カメラ０２で撮像された動画と、図６１のような参考図との位置関係を入力する。すなわち、位置関係生成部が、動画と参考図との位置関係を取得する（ステップ１）。なお、乗り場の待つ場所に複数のカメラがあれば、それらも対応して、位置関係を設定する。
【０３１３】
次に、本システムの利用者は、領域を設定する（ステップ２）。なお、領域は、領域特定部によって、自動的に生成される構成とされてもよい。その場合、領域の設定の負担が減少する。
【０３１４】
次に、タクシー乗り場のカメラと接続された本システムの対象情報収集部が、タクシー乗り場のカメラから得られた動画を用いて、乗り場に待つ人々を対象として検知し、情報を収集する（ステップ３）。対象情報収集部は、乗り場で待つ人々の動画内における位置情報を収集する。なお、対象情報収集部は、人々の位置情報以外の情報を収集してもよい。
【０３１５】
次に、本システムの位置生成部が、動画内の人に対応する参照画像内の位置情報を生成する（ステップ４）。
【０３１６】
次に、本システムの統計処理部が、乗り場で待つ人をグルーピングした上で、グループの数を数える（ステップ５）。
【０３１７】
４．５．実施形態５
次の実施形態は、動物に対して適用する例である。例えば、動物園、牧場、厩舎、ペット売り場（本願書類において、対象となる動物がいる場所を「展示施設」ということもある。）など、動物を扱う施設において、動物の振る舞いを調査する場合などに用いることができる。ここで、動物園内における動物の振る舞いを例にして説明する。
【０３１８】
まず、本実施形態のシステムの利用者は、まず、展示施設の見取り図などの図を用意し、これに基づく画像ファイルである参照画像を作成する。
【０３１９】
次に、本実施形態のシステムの位置関係生成部は、展示施設を視野内に含む撮像装置によって撮像される動画内の位置情報と、参照画像内の位置情報とを、取得して、関係付けて記憶する（ステップ１）。
【０３２０】
本実施形態のシステムの領域特定部は、参照画像内に複数の領域を設定する（ステップ２）。
【０３２１】
次に、本実施形態のシステムの対象情報収集部は、撮像装置によって撮像された動画から、動物に関する情報を収集し、対象データベースに記憶する（ステップ３）。
【０３２２】
次に本実施形態のシステムの位置生成部は、対象である動物の位置情報を生成し、対象データベースに記憶する（ステップ４）。
【０３２３】
次に本実施形態のシステムの統計処理部は、対象に関する統計情報を数える（ステップ５）。統計処理部は、統計情報として、種々の情報を生成してよい。
【０３２４】
例えば、統計処理部は、統計情報として、参照画像内の領域の滞在時間比率を生成してよい。例えば、領域１にＸ％、領域２にＹ％などの比率である。これにより、動物が展示施設内のどの領域にどの程度の滞在時間であるのかという生態情報を取得することができる。
【０３２５】
また、統計処理部は、統計情報として、参照画像内の領域の滞在時間比率を、時間帯と関連付けて、生成してよい。例えば、時間帯Ｔ１において、領域１にＸ１％、領域２にＹ１％、時間帯Ｔ２において領域１にＸ２％、領域２にＹ２％などの比率である。これにより、動物が展示施設内のどの領域にどの程度の滞在時間であるのかという生態情報を、時間帯に応じて、取得することができる。
【０３２６】
また、統計処理部は、過去の時期や通常の時期と比較することにより、動物の健康状態の判定の資料となる情報を生成してもよい。例えば、複数の時期における情報の平均値を生成し、これらと比較して表示してよい。複数の時期における情報の平均値は、動物の年齢、季節、その園内で飼育されている同種の動物、他の園内も含めた同種の動物などを用いて算出された平均値であってよい。平均値と対比して表示されることにより、動物の健康状態を推定するのに役立つ資料となる利点がある。また、平均値と比較して所定の値以上異なる場合、アラートを伝達するよう構成されてよい。アラートは、例えば飼育員の携帯端末などに伝達されるよう構成されてよい。これにより、通常と所定の値以上異なる場合に、迅速に連絡がされ、迅速な対応を可能とする利点がある。
【０３２７】
展示施設内の領域の持つ意義と、領域との関係を有するデータベース（本願書類において、「展示施設データベース」ということもある。）を有してよい。展示施設内の領域の持つ意義としては、例えば、餌場、水場、展示施設に来た来場者に近い場所、などが挙げられる。当該データベースと連携し、領域から１対１の関係によって展示施設内の領域の持つ意義が特定されることにより、本実施形態のシステムの利用者は、領域の意味するところを容易に理解することができる。
【０３２８】
以上において、対象情報収集部は、対象の情報を、撮像装置によってリアルタイムに撮像されている動画から対象の情報を収集してもよいし、撮像装置によって過去に録画された動画から対象の情報を収集してもよい。過去に録画された動画も利用される場合、より過去の情報を生かして統計情報を収集できる利点がある。
【０３２９】
以上は、動物について説明したが、昆虫、魚、などの生態の観察に使用されてもよい。
本出願書類において、対象とする動画における一停止画像は、再生中の画像であってもよい。
【０３３０】
また、実画像は、撮像装置で撮像された動画の一停止画像以外でも、動画以外に、定点観測的に撮像された撮像装置であってもよい。例えば、パノラマカメラで撮像されたものでもよい。また、撮像装置のレンズにも限定は無い。例えば、魚眼レンズなどで撮像されたものでもよい。この場合、参照画像との対応について、局所的に歪みが生じる可能性があるものの、かかる歪みを許容して実画像と参照画像との関係を特定できればよい。
【０３３１】
撮像措置は、固定されていてもよいし、動きをするものであってもよい。動きは周期的な動きをするものでも、非周期的な動きをするものであってもよい。動きのある撮像装置に関する実画像は、撮像装置が動きによって視野に収めることができる全範囲についての実画像であってよい。また、参照画像は、前記全範囲についての実画像に対応する参照画像であってよい。動きのある撮像装置において撮像された対象は、対象情報収集部が、動きの指標と関連付けて前記全範囲についての実画像内の対象の位置情報を収集できてよい。動きの指標は、例えば、撮像装置の動きの角度や動きの位置などであってよい。これらの動きの指標と、前記実画像内の位置情報を関連付けることにより、動きのある撮像装置において撮像された対象について、実画像内における位置情報を生成されてよい。また、前記実画像内の対象の位置情報を用いて、位置生成部が、対応する参照画像内の位置情報を生成してよい。
【０３３２】
本出願書類において、座標は、デカルト座標を中心として説明した。座標は、実画像内において絶対的に設定されたデカルト座標内の座標、参照画像内において絶対的に設定されたデカルト座標内の座標であってもよいが、相対的に設定されたデカルト座標内の座標であってもよい。例えば、最初に指定された座標は、各画像内での絶対的な座標であってよいが、次に指定された座標は、最初に指定された座標を基準点とする相対的な座標であってもよい。また、座標は、デカルト座標以外の、他の座標手法を用いてもよい。例えば、極座標であってよい。極座標は、座標位置が、基点からの距離と、基点を含む基準線からの角度で特定される手法である。またこれらの座標は、表示装置に送信されて、表示装置で表示されてよい。
【０３３３】
上述の各データは、データベース形式で説明したが、種々のデータ管理の手法であってよい。例えば、配列、ポインター、リストなどの種々の手法の管理により、情報が増えた場合にも適宜対応できる手法であってよい。
【０３３４】
本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能なものである。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能である。また、プログラムは、記録媒体に記録されてよい。また、記録媒体は、一時的でないものであってよい。
【０３３５】
ここで、ファッションアイテム間の関連性に関する情報を収集する技術を説明する。
【０３３６】
本実施形態について、図６４を参考にして説明する。まず、ファッションに関する情報を機械学習させるために、学習用画像を取得する（ステップ１）。
【０３３７】
学習用画像は、種々の情報源から取得されてよい。例えば、ファッション業界における媒体から用意されてよく、コレクション写真、コレクション動画、トップブランド写真、トップブランド動画、トップブディックブランド写真、トップブディックブランド動画、セレクトショップ写真、セレクトショップ動画、一般ブランド写真、一般ブランド動画、一般消費者写真、一般消費者動画、等が挙げられる。
【０３３８】
媒体は、例えば、ファッションショー、デザイナーのホームページ、ファッション関連協会の刊行物などが挙げられる。
【０３３９】
また、学習用画像に係る情報は、前記学習用画像と関連付けて、記憶されてよい。学習用画像に係る情報は、例えば、ファッションアイテムの種別、ファッションアイテムの色、ファッションアイテムの模様、ファッションアイテムの加工、ファッションアイテムのアクセサリ、ファッションアイテムの着丈などであってよい。なお、これらのファッションアイテムの性質の特定の観点を、本出願書類においては、ファッションアイテム属性という。ここで、ファッションアイテム属性は、上述のものに限られない。以下で述べるとおり、例えば、ファッションアイテムの種別においては、トップスやアウターの下に下位概念として、シャツ、ブラウス、ブルゾン、などがある。この場合、ファションアイテム種別に対し、その詳細区分もファッションアイテム属性とされてよい。下位概念が設けられるのは、ファッションアイテムの種別に限られず、他のファッションアイテム属性であってもよい。このように、一のファッションアイテム属性に下位概念のファッションアイテム属性があることを、後述する通り、ファッションアイテム属性の階層化ということもある。なお、ファッションアイテム属性、という用語は、後述するとおり、機械学習の際の利用される情報を示す場合もあれば、機械学習後のシステムを用いて、対象画像に対して適用して生成された属性情報を示す場合もある。
【０３４０】
ファッションアイテムの種別であれば、例えば、トップス（Tシャツ/カットソー、シャツ、ブラウス、ポロシャツ、セーター/ニット、ベスト、パーカー、スウェット、カーディガン、タンクトップ、キャミソール、ビスチェ、ベスト）、アウター（テーラードジャケット、ノーカラージャケット、デニムジャケット、ライダースジャケット、ブルゾン、ダウンジャケット、コート、トレンチコート、ミリタリージャケット、ダウンベスト、ニットコート、ガウンワンピース）、パンツ（デニムパンツ、カーゴパンツ、チノパン、スラックス）、ワンピース（ワンピース、オールインワン）、バッグ（ショルダーバッグ、トートバッグ、バックパック/リュック、ボストンバッグ、ボディバッグ/ウェストポーチ、ハンドバッグ、クラッチバッグ、スーツケース/キャリーバッグ、かごバッグ）、シューズ（スニーカー、スリッポン、サンダル、パンプス、ブーツ、ブーティ、ドレスシューズ、バレエシューズ/ローファー、モカシン/デッキシューズ、レインシューズ）、帽子（ハット、ビーニー、ハンチング/ベレー帽、キャスケット）、スカート、などが挙げられる。
【０３４１】
ファッションアイテムの色であれば、例えば、ホワイト、ブラック、グレー、ブラウン、ベージュ、グリーン、ブルー、パープル、イエロー、ピンク、レッド、オレンジ、ゴールド、シルバーなどであってよい。
【０３４２】
ファッションアイテムの模様であれば、例えば、無地柄、ボーダー柄、ドット柄、ストライプ柄、チェック柄、花柄、カモフラージュ柄、レオパード柄などであってよい。
【０３４３】
ファッションアイテムの加工であれば、例えば、加工無し、レース加工、プリーツ加工、シフォン加工、ギャザー加工、ファー加工、コーデロイ加工などであってよい。
【０３４４】
ファッションアイテムのアクセサリであれば、例えば、アクセサリなし、フリル付き、リボン付き、ビジュー付き、ワンポイント付き、ダメージ付き、ポイントファー付きなどであってよい。
【０３４５】
ファッションアイテムの着丈であれば、例えば、半袖、半端袖、長袖、袖なし、ショート丈、ミドル丈、ロング丈、スキニー・タイト、スタンダード、ワイド・ルーズ、ショート丈・ひざ上丈、ハーフ・ひざ丈、フルレングス、ショート・ミニ丈、ひざ丈、ミモレ・半端丈、ロング・マキシ丈などであってよい。
【０３４６】
ここで、ファッションアイテムの色におけるホワイト、ブラック、又はグレーのような具体的な値、ファッションアイテムの模様における無地柄、ボーダー柄、ドット柄のような具体的な値、をファッションアイテム属性値という。
【０３４７】
図６５は、学習用画像を示すＩＤと、前記学習用画像に係る属性情報と、が関連付けられてデータベースにおいて、記録されている一例である。各学習画像を示すＩＤと、その中に含まれた一のファッションアイテムとが関連付けられている。また、前記一のファッションアイテムに対して、複数のファッションアイテム属性が関連付けられている。このようにして、学習用画像と、前記学習用画像に係る情報とが、関連付けられて、記憶されていてよい。ここで、ファッションアイテム属性として、ファッションアイテムの種別、ファッションアイテムの色、ファッションアイテムの加工などが挙げられている。また、各学習用ＩＤについて、具体的な属性値が記憶されている。また、ファッションアイテムの種別については、より詳細な区分として、種別詳細１、種別詳細２と区分が詳細化されている。このように、ファッションアイテム属性は、階層化されてよい。また、階層化されるファッションアイテム属性は、ファッションアイテムの種別に限られず、他のファッションアイテム属性であってもよいし、階層化されてよい。学習データにおけるファッションアイテム属性が階層化されることにより、後述する属性情報生成装置が生成するファッションアイテム属性も階層化できる利点がある。
【０３４８】
本実施形態のシステムは、一の学習用画像に対して、一のファッションアイテムに係る複数のファッションアイテム属性を関連付けて学習用データとして機械学習して、属性情報を生成できるよう構成されてよい。このように生成された属性情報生成機能を、ファッションアイテムを含む画像に対して適用する場合、前記一のファッションアイテムに係る複数のファッションアイテム属性を生成できる利点がある。これらの複数のファッションアイテム属性が関連付けて記憶された場合、複数のファッションアイテム属性に関する情報を利用できるようになる。具体的には、ある画像内に、ファッションアイテム属性のファッションアイテムの種別としてポロシャツとの情報が生成され、ファッションアイテム属性のファッションアイテムの色としてグリーンとの情報が生成され、ファッションアイテム属性のファッションアイテムの模様としてボーダー柄との情報が生成されると、ポロシャツと、グリーンと、ボーダー柄とが関連付けて記憶されることとなる。これはファッションに対する人の好みや印象は、ファッションアイテムに係る複数のファッションアイテム属性の組み合わせが大きな影響を与えるため、これらの情報が、関連付けて記憶されることに利点がある。そして、ファッションアイテムに係る複数の属性情報を関係づけて生成する手段として、ファッションアイテムに係る複数の属性情報を関連付けて機械学習することに技術的な利点がある。
【０３４９】
図６６は、学習用画像を示すＩＤと、前記学習用画像に係る属性情報と、が関連付けられてデータベースにおいて、記録されている他の一例である。各学習画像を示すＩＤと、その中に含まれた複数のファッションアイテムとが関連付けられている。また、各ファッションアイテムに対して、複数のファッションアイテム属性が関連付けられている。このようにして、学習用画像と、前記学習用画像に係る属性情報とが、関連付けられて、記憶されていてよい。
【０３５０】
本実施形態のシステムは、一の学習用画像に対して、一のファッションアイテムを関連付けて学習用データとしてもよいが、本実施形態のシステムが、一の学習用画像に対して、複数のファッションアイテムを関連付けて学習用データとして機械学習して属性情報を生成できるよう構成されてもよい。例えば、ある学習用画像に、トップスとスカートとバッグとが含まれている場合には、これらトップスとスカートとバッグとの、それぞれのファッションアイテム名、色、模様、加工、アクセサリ、などの情報が、学習用画像に係る情報として、関連付けられていてよい。このように生成された属性情報生成機能は、一の画像内に複数のファッションアイテムが含まれている対象画像に対して適用された場合、それらの複数のファッションアイテムに係る複数のファッションアイテム属性を生成できるようになる利点がある。これは、識別対象の画像内に複数のファッションアイテムが含まれている場合において、前記複数のファッションアイテムのうちの少なくとも二以上のファッションアイテムに関するファッションアイテム属性を生成することによって、前記二以上のファッションアイテム間の関係を、情報として関連付けて生成できる利点がある。一般的にファッションは組み合わせも考慮に入れられることから、画像から、複数のファッションアイテム間の関係付けと、各ファッションアイテムに係る複数のファッションアイテム属性の関係も含めて情報を生成できる利点がある。
【０３５１】
また、学習用画像に係る属性情報は、学習用画像内に含まれる人に係る情報であってよい。例えば、性別、年齢、年齢層、身長、体格、表情などの人を特定の観点で示す情報であってよい。なお、これらを、本出願書類においては、人属性という。また、その具体的な値を、人属性値という。属性情報として人属性は、ファッションアイテムについての情報を豊富化できる利点がある。すなわち、ファッションアイテムは、男性に好まれるものであるか、女性に好まれるものであるか、どのような年齢層に好まれるものであるか、どの程度の身長の人に好まれるものであるか、どのような体格の人に好まれるものであるか、という人に関する情報とも関係がある。そこで、このような人属性を、ファッションアイテムと関連付けて記憶することにより、どのようなタイプの人と関連付けられるファッションアイテムであるのかを情報として生成できる利点がある。また、このような人属性を、ファッションアイテム属性と関連付けて記憶することにより、どのようなタイプの人と関連付けられるファッションアイテム属性であるのかを情報として生成できる利点がある。なお、上述のファッションアイテム属性と同様に、人属性も階層化されてよい。例えば、１０歳刻みの年齢層と、５歳刻みの年齢層と、２歳刻みの年齢層というように、年齢層に階層化がされていたり、５歳刻みの年齢層と、特定の年齢というように、年齢層と年齢の階層化がされていたりするなどされてよい。また、人属性も、ファッションアイテム属性と同様に、機械学習の際の利用される情報を示す場合もあれば、機械学習後のシステムを用いて、対象画像に対して適用して得られた結果内の対応する情報を示す場合もある。ここで、ファッションアイテム属性と、人属性と、を含むものとして「属性情報」ということもあり、ファッションアイテム属性値と、人属性値と、を含むものとして、「属性値」ということもある。また、属性情報についても、階層化されてよい。
【０３５２】
図６７は、学習用画像を示すＩＤと、前記学習用画像に係る属性情報と、が関連付けられてデータベースにおいて、記録されている他の一例である。学習画像を示すＩＤと、前記学習画像に含まれている人及びファッションアイテムが関連付けられている。人及びファッションアイテムは、夫々、一又は複数であってよい。人とファッションアイテムも関連付けられていてよい。人とファッションアイテムの関連付けは、人が身に着けているファッションアイテムの関係であってよいが、当該関係に限られなくてよい。また、各人に対して、複数の人属性が関連付けられている。また、各ファッションアイテムに対して、複数のファッションアイテム属性が関連付けられている。このようにして、学習用画像と、前記学習用画像に係る情報とが、関連付けられて、記憶されていてよい。
【０３５３】
また、図６８は、学習用画像を示すＩＤと、前記学習用画像に係る属性情報と、が関連付けられてデータベースにおいて、記録されている更に他の一例である。リレーショナルデータベースの例であり、学習用画像ＩＤ及び学習用画像内の人を介して、関連付けられている。例えば、学習用画像ＩＤ１００２については、画像内に人が３人おり、各人について、一又は複数のファッションアイテムが関連付けられており、各一のファッションアイテムに対して、複数のファッションアイテム属性が関連付けられている。なお、図８の場合、例えば、ファッションアイテムの種別の一の属性値を含むもののレコード数は、前記ファッションアイテムの数を示すこととなり、一の参考画像内に、一のファッションアイテムを含む場合と、複数のファッションアイテムを含む場合とを、統一的に扱うことが可能となる利点がある。なお、図６８の人属性においては、荒い年齢層と、細かい年齢層の属性情報を備え、人属性が階層化されている一例が示されている。
【０３５４】
なお、上述では、人とファッションアイテムとの関係付けとして、人と前記人が身に着けている位置に画像内で撮像されているファッションアイテムを関連付けていたが、他の人とファッションアイテムの関係付けであってもよい。例えば、人がファッションアイテムを手で保持する態様や、人がファッションアイテムの背後に位置する等である。このように、人間が画像を見た時に人とファッションアイテムの間に関係付けを見出せるようなものであれば、機械学習によって、人間が見出しうる関係付けに関するルールを導出できる可能性があり、かかる機械学習済みのルールに基づいて、人とファッションアイテムとを関連付けてもよい。
【０３５５】
次に、本実施形態のシステムは、機械学習を行い、属性情報生成機能を生成してよい（ステップ２）。入力情報として、上述の学習用画像を示すＩＤに基づいた学習用ＩＤと、前記学習用画像に係る属性情報と、が関連付けられた情報を用いてよい。これらにより、学習用画像と、前記学習用画像に係る属性情報との関係を、機械学習してよい。本実施形態のシステムは、機械学習により、入力される画像に対して、前記画像に係る属性情報を生成できる属性情報生成機能を有してよい。
【０３５６】
機械学習は、種々の人工知能技術が用いられてよい。人工知能技術としては、例えば、ニューラルネットワーク、遺伝的プログラミング、機能論理プログラミング、サポートベクターマシン、クラスタリング、回帰、分類、ベイジアンネットワーク、強化学習、表現学習、決定木、ｋ平均法などの機械学習技術が用いられてよい。以下では、ニューラルネットワークを用いる例を使用するが、必ずしもニューラルネットワークに限定されるものではない。
【０３５７】
ニューラルネットワークを用いた機械学習技術は、ディープラーニング（深層学習）技術を用いてよい。これは、複数の層を用いて入力と出力の関係を学習することで、未知の入力に対しても出力可能とする技術である。教師有りと教師なしの手法が存在するが、どちらが適用されてもよい。上述の図６７においては、学習用画像を示すＩＤと、前記学習用画像に係る属性情報と、が関連付けられており、教師として、前記学習用画像に係る情報が与えられていることから、教師有りの一例であるが、必ずしも教師有りの手法を用いる必要は無く、教師なしの手法を用いてもよい。
【０３５８】
本実施形態のシステムは、学習用画像と、前記学習用画像に含まれる一のファッションアイテムに係る複数のファッションアイテム属性とを関連付けた学習用データを対象として機械学習をしてもよいし、学習用画像と、前記学習用画像に含まれる複数のファッションアイテムに係る複数のファッションアイテム属性とを関連付けた学習用データを対象として機械学習をしてもよい。
【０３５９】
また、学習用画像に対するファッションアイテム属性と人属性をまとめて一の機械学習装置において機械学習されてもよいし、学習用画像に係るファッションアイテム属性についての機械学習と、学習用画像に係る人属性についての機械学習とを、分けて行ってもよい。学習用画像に係るファッションアイテム属性についての機械学習と、学習用画像に係る人属性についての機械学習とを、分けて行う場合、それぞれの属性に注力して行うことができるため、より効率的に機械学習が可能である。
【０３６０】
また、ファッションアイテム属性のみを機械学習する装置であってもよい。人属性によって学習される対象のうち、人の属性である年齢、性別は、画像の外部的な情報から収集できることもあるためである。
【０３６１】
機械学習後の本実施形態のシステムは、取得された対象画像に対して適用された場合には、前記対象画像に係る属性情報を出力できる構成となっていてよい。前記属性情報は、前記対象画像内の一又は複数のファッションアイテムに関する一又は複数のファッションアイテム属性であってもよいし、前記対象画像内の一又は複数の人に関する一又は複数の人属性であってもよいし、前記対象画像内の一又は複数のファッションアイテムに関する一又は複数のファッションアイテム属性及び前記対象画像内の一又は複数の人に関する一又は複数の人属性であってもよい。図６９は、生成された属性情報の一例である。ここで、属性情報として、人属性とファッションアイテム属性とが関連付けられている。ファッションアイテムは、一つであっても複数であってもよい。また、学習用データベースの属性情報が階層化されることなどにより、属性情報生成機能により生成された属性情報も階層化されてよい。属性情報が階層化されることにより、対象画像に関して、より詳細な属性情報を生成することが可能となる。
【０３６２】
また、機械学習後の本実施形態のシステムは、複数の人が含まれる対象画像に適用される場合は、前記対象画像内の一又は複数のファッションアイテムに関する一又は複数の属性、及び／又は、前記対象画像内の複数の人に関する複数の属性を、出力できる構成となってよい。ここで、一又は複数のファッションアイテムに係る属性は、前記ファッションアイテムを着用する人と関連付けて、前記人の属性と関連付けられてよい。図７０は、対象画像内の複数の人の夫々に対して、一又は複数の人属性と、一又は複数のファッションアイテムに係る一又は複数のファッションアイテム属性と、を記載の順序に基づいて関連付けられて生成された例である。
【０３６３】
また、上記を組み合わせることにより、機械学習後の本実施形態のシステムは、取得された対象画像に適用される場合において、前記対象画像内の一又は複数のファッションアイテムに関する一又は複数の属性、及び／又は、前記対象画像内の一又は複数の人に関する複数の属性を、出力できる構成となっていてよい。
【０３６４】
なお、上記の生成された情報は、適宜、記憶されてもよい。
【０３６５】
本実施形態のシステムは、
前記画像内に一又は複数のファッションアイテムを含む機械学習用画像を取得する取得部と、
前記一の学習用画像と、前記一又は複数のファッションアイテムに係る一又は複数のファッションアイテム属性と、の関係をディープラーニングにより機械学習するニューラルネットワーク部と、
を備えた属性情報生成システムであってよい。
【０３６６】
本実施形態のシステムが上述の構成を備える場合、一又は複数のファッションアイテムを含む画像から、一又は複数のファッションアイテムに関する情報である一又は複数のファッションアイテム属性を、取得できる利点がある。
【０３６７】
また、本実施形態のシステムは、
前記画像内に人と一又は複数のファッションアイテムを含む機械学習用画像を取得する取得部と、
前記一の学習用画像と、前記人に係る人属性と、前記一又は複数のファッションアイテムに係る一又は複数のファッションアイテム属性と、の関係をディープラーニングにより機械学習するニューラルネットワーク部と、
を備えた属性情報生成システムであってよい。
【０３６８】
本実施形態のシステムが上述の構成を備える場合、人及び一又は複数のファッションアイテムを含む画像から、一又は複数の人属性と、一又は複数のファッションアイテムに関する情報である一又は複数のファッションアイテム属性とを、関連付けて、取得できる利点がある。
【０３６９】
また、本実施形態のシステムは、
前記画像内に一又は複数の人と一又は複数のファッションアイテムを含む機械学習用画像を取得する取得部と、
前記一の学習用画像と、前記一又は複数の人に係る一又は複数の人属性と、前記一又は複数の人と関連付けられた前記一又は複数のファッションアイテムに係る一又は複数のファッションアイテム属性と、の関係をディープラーニングにより機械学習するニューラルネットワーク部と、
を備えた属性情報生成システムであってよい。
【０３７０】
また、本願書類におけるネットワーク部は、一又は複数の人と一又は複数のファッションアイテムを含む機械学習用画像について、前記一の学習用画像と、前記一又は複数の人に係る一又は複数の人属性と、前記一又は複数の人と関連付けられた前記一又は複数のファッションアイテムに係る一又は複数のファッションアイテム属性と、の関係をディープラーニングにより機械学習して、学習済みニューラルネットワーク部を生産する（前記ニューラルネットワーク部を製造する方法を含むが、本願書類においては、生産すると表現する）方法を含んでよい。前記ニューラルネットワーク部は、プログラムであってよい。
【０３７１】
本実施形態のシステムが上述の構成を備える場合、一又は複数の人及び一又は複数のファッションアイテムを含む画像から、一又は複数の人に係る一又は複数の属性と、前記複数の人の各人と関連付けられた一又は複数の人属性と前記人の各人と関連付けられた前記一又は複数のファッションアイテムに関する情報である一又は複数のファッションアイテム属性とを、取得できる利点がある。
【０３７２】
上述のように、本実施形態のシステムは、一の学習用画像内に一又は複数の人及び／又は一又は複数のファッションアイテムが含まれており、前記一の学習用画像と関連付けられて、前記一又は複数の人に係る一又は複数の人属性、及び／又は、前記一又は複数のファッションアイテムに係る一又は複数のファッションアイテム属性を、学習用データとして学習した機械学習装置は、属性情報を生成できるようになる。当該属性情報生成機能を有する本実施形態のシステムは、ファッションアイテムを含む画像に適用された場合、属性情報を生成することができるため、ファッションアイテムを含む画像から、ファッションアイテムに関する情報を、整理して取得できる利点がある。
【符号の説明】
【０３７３】
１０  情報処理装置
１１  バス
１２  演算部
１３  記憶部
１４  入力部
１５  表示部
１６  通信ＩＦ
１９  ネットワーク
２４０１  人
２４０２  通路
２４０３  視野内
２４０４  視野内
２４０５  撮像装置
２４０６  撮像装置
２４０７  情報処理装置
【要約】
【課題】
撮像装置で撮像された情報を有効利用すること。
【解決手段】
コンピュータが、撮像装置で撮像された画像内の複数の第１位置と、前記画像に対応する図形内における前記複数の第１位置にそれぞれ対応する第２位置と、を関連付けて関係性として記憶するステップと、コンピュータが、前記画像内の対象に係る第３位置を取得するステップと、コンピュータが、前記複数の第１位置の一部と前記第３位置との位置関係と、前記関係性の一部又は全部を用いて、前記第３位置に対応する前記図形内の第４位置を生成するステップと、を含む画像内の位置に対応する図形内の位置を特定する方法。
前記複数の第１位置の一部は、前記複数の第１位置のうち、前記第３位置と最も近い３つの第１位置である、方法。前記第４位置を生成するステップは、前記３つの第１位置によって構成される三角形の辺を用いるステップを含む、方法。
【選択図】  図３【図１】
0006607544.tif 000002
【図２】
0006607544.tif 000003
【図３】
0006607544.tif 000004
【図４】
0006607544.tif 000005
【図５】
0006607544.tif 000006
【図６】
0006607544.tif 000007
【図７】
0006607544.tif 000008
【図８】
0006607544.tif 000009
【図９】
0006607544.tif 000010
【図１０】
0006607544.tif 000011
【図１１】
0006607544.tif 000012
【図１２】
0006607544.tif 000013
【図１３】
0006607544.tif 000014
【図１４】
0006607544.tif 000015
【図１５】
0006607544.tif 000016
【図１６】
0006607544.tif 000017
【図１７】
0006607544.tif 000018
【図１８】
0006607544.tif 000019
【図１９】
0006607544.tif 000020
【図２０】
0006607544.tif 000021
【図２１】
0006607544.tif 000022
【図２２】
0006607544.tif 000023
【図２３】
0006607544.tif 000024
【図２４】
0006607544.tif 000025
【図２５】
0006607544.tif 000026
【図２６】
0006607544.tif 000027
【図２７】
0006607544.tif 000028
【図２８】
0006607544.tif 000029
【図２９】
0006607544.tif 000030
【図３０】
0006607544.tif 000031
【図３１】
0006607544.tif 000032
【図３２】
0006607544.tif 000033
【図３３】
0006607544.tif 000034
【図３４】
0006607544.tif 000035
【図３５】
0006607544.tif 000036
【図３６】
0006607544.tif 000037
【図３７】
0006607544.tif 000038
【図３８】
0006607544.tif 000039
【図３９】
0006607544.tif 000040
【図４０】
0006607544.tif 000041
【図４１】
0006607544.tif 000042
【図４２】
0006607544.tif 000043
【図４３】
0006607544.tif 000044
【図４４】
0006607544.tif 000045
【図４５】
0006607544.tif 000046
【図４６】
0006607544.tif 000047
【図４７】
0006607544.tif 000048
【図４８】
0006607544.tif 000049
【図４９】
0006607544.tif 000050
【図５０】
0006607544.tif 000051
【図５１】
0006607544.tif 000052
【図５２】
0006607544.tif 000053
【図５３】
0006607544.tif 000054
【図５４】
0006607544.tif 000055
【図５５】
0006607544.tif 000056
【図５６】
0006607544.tif 000057
【図５７】
0006607544.tif 000058
【図５８】
0006607544.tif 000059
【図５９】
0006607544.tif 000060
【図６０】
0006607544.tif 000061
【図６１】
0006607544.tif 000062
【図６２】
0006607544.tif 000063
【図６３】
0006607544.tif 000064
【図６４】
0006607544.tif 000065
【図６５】
0006607544.tif 000066
【図６６】
0006607544.tif 000067
【図６７】
0006607544.tif 000068
【図６８】
0006607544.tif 000069
【図６９】
0006607544.tif 000070
【図７０】
0006607544.tif 000071