(57)【要約】      （修正有）【課題】人物が対象物から立ち去る直前にその対象物に対して行った行為を、その人物におけるその対象物の非購入の原因として特定する、行動分析装置及び行動分析プログラムを提供する。【解決手段】行動分析を行う情報処理装置１００は、人物位置検出モジュール１１０、行為シーケンス特定モジュール１２０、行為特定モジュール１３０を備える。人物位置検出モジュール１１０は、人物の対象物に対する位置を検出する。行為シーケンス特定モジュール１２０は、人物が対象物に対して行った行為のシーケンスを特定する。行為特定モジュール１３０は、行為シーケンス特定モジュール１２０によって特定された行為シーケンスと、人物位置検出モジュール１１０によって検出された人物の対象物に対する位置とに基づき、人物が対象物から立ち去る前に、その人物がその対象物に対して行った行為を特定する。【選択図】図１
2016058074.tif 000002
【特許請求の範囲】
【請求項１】
人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、
前記行為シーケンスに含まれる行為のうち、前記人物が当該対象物から立ち去る直前に当該対象物に対して行った行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段
とを有する行動分析装置。
【請求項２】
さらに前記人物の当該対象物に対する位置を検出する、人物位置検出手段を有し、
前記行為特定手段は、前記人物位置検出手段が検出した前記人物の当該対象物に対する位置に基づき、前記人物が対象物から立ち去る直前に当該対象物に対して行った行為を特定するものである、請求項１に記載の行動分析装置。
【請求項３】
コンピュータを、
人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、
前記行為シーケンスに含まれる行為のうち、前記人物が当該対象物から立ち去る直前に当該対象物に対して行った行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段、
として機能させるための行動分析プログラム。
【請求項４】
人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、
前記行為シーケンスに含まれる行為のうち、前記対象物を元の位置に戻す行為の直前の行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段
とを有する行動分析装置。
【請求項５】
コンピュータを、
人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、
前記行為シーケンスに含まれる行為のうち、前記対象物を元の位置に戻す行為の直前の行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段、
として機能させるための行動分析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、行動分析装置及び行動分析プログラムに関する。
【背景技術】
【０００２】
特許文献１には、店舗エリア内の特定のエリアにおける人物と商品との関連性について詳細な分析を容易に行えるようにすることを課題とし、同一人物の動線データと商取引データとを関連付ける情報を記憶する関連付け情報記憶部と、店舗エリア内を細分化したサブエリアをそれぞれ特定する情報を記憶するサブエリア情報記憶部とを設け、分析条件としてサブエリアの指定を受付けると、サブエリア情報記憶部内の当該指定サブエリアを特定する情報と動線データベース内の各動線データとから、当該指定サブエリアを通過した人物の動線データを抽出し、関連付け情報記憶部内のデータを参照して、抽出された動線データと関連付けられた商取引データを特定し、抽出された動線データと商取引データとの関連性を示す情報を作成して、この作成された情報により店舗エリア内における人物の行動の特徴を分析することが開示されている。
【０００３】
特許文献２には、画像のシーン、さらには画像内の人物の行動意図を自動認識することを課題とし、画像処理部は、撮像部で取得した画像内のオブジェクトを抽出し、認知部は、抽出したオブジェクトの属性（人物か否か、人物であればその行動、物体であればその名称）を決定し、シーン認知部は、シーン候補の中からオブジェクトの属性に基づいて最も確からしいシーンを選択し、推測部は、認知されたシーンにおける人物オブジェクトの行動属性に基づき、複数の可能な行動意図から最も合致する行動意図を特定することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０４８２２９号公報
【特許文献２】特開２０００−２９３６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、人物が対象物から立ち去る直前にその対象物に対して行った行為を、その人物におけるその対象物の非購入の原因として特定するようにした行動分析装置及び行動分析プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【０００７】
請求項１の発明は、人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、前記行為シーケンスに含まれる行為のうち、前記人物が当該対象物から立ち去る直前に当該対象物に対して行った行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段とを有する行動分析装置である。
【０００８】
請求項２の発明は、さらに前記人物の当該対象物に対する位置を検出する、人物位置検出手段を有し、前記行為特定手段は、前記人物位置検出手段が検出した前記人物の当該対象物に対する位置に基づき、前記人物が対象物から立ち去る直前に当該対象物に対して行った行為を特定するものである、請求項１に記載の行動分析装置である。
【０００９】
請求項３の発明は、コンピュータを、人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、前記行為シーケンスに含まれる行為のうち、前記人物が当該対象物から立ち去る直前に当該対象物に対して行った行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段、として機能させるための行動分析プログラムである。
【００１０】
請求項４の発明は、人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、前記行為シーケンスに含まれる行為のうち、前記対象物を元の位置に戻す行為の直前の行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段とを有する行動分析装置である。
【００１１】
請求項５の発明は、コンピュータを、人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、前記行為シーケンスに含まれる行為のうち、前記対象物を元の位置に戻す行為の直前の行為を、前記人物が当該対象物を購入しないとの決定に至る原因として特定する、行為特定手段、として機能させるための行動分析プログラムである。
【発明の効果】
【００１２】
請求項１の行動分析装置によれば、人物が対象物から立ち去る直前にその対象物に対して行った行為を、その人物におけるその対象物の非購入の原因として特定することができる。
【００１３】
請求項２の行動分析装置によれば、人物の対象物に対する位置に基づいて、行為を特定することができる。
【００１４】
請求項３の行動分析プログラムによれば、人物が対象物から立ち去る直前にその対象物に対して行った行為を、その人物におけるその対象物の非購入の原因として特定することができる。
【００１５】
請求項４の行動分析装置によれば、対象物を元の位置に戻す行為の直前の行為を、対象としている人物におけるその対象物の非購入の原因として特定することができる。
【００１６】
請求項５の行動分析プログラムによれば、対象物を元の位置に戻す行為の直前の行為を、対象としている人物におけるその対象物の非購入の原因として特定することができる。
【図面の簡単な説明】
【００１７】
【図１】第１の実施の形態の構成例についての概念的なモジュール構成図である。
【図２】第１の実施の形態を実現した場合のシステム構成例を示す説明図である。
【図３】第１の実施の形態による処理例を示すフローチャートである。
【図４】第１の実施の形態による処理例を示す説明図である。
【図５】第２の実施の形態の構成例についての概念的なモジュール構成図である。
【図６】第２の実施の形態を実現した場合のシステム構成例を示す説明図である。
【図７】行動・ＰＯＳ相関テーブルのデータ構造例を示す説明図である。
【図８】第２の実施の形態による処理例を示す説明図である。
【図９】第２の実施の形態による処理例を示す説明図である。
【図１０】第３の実施の形態の構成例についての概念的なモジュール構成図である。
【図１１】第３の実施の形態を実現した場合のシステム構成例を示す説明図である。
【図１２】第３の実施の形態による処理例を示すフローチャートである。
【図１３】第３の実施の形態による処理例を示す説明図である。
【図１４】第３の実施の形態による処理例を示す説明図である。
【図１５】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、図面に基づき本発明を実現するにあたっての好適な各種の実施の形態の例を説明する。
＜第１の実施の形態＞
図１は、第１の実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
【００１９】
第１の実施の形態である行動分析を行う情報処理装置１００は、人物の行為を特定ものであって、図１の例に示すように、人物位置検出モジュール１１０、行為シーケンス特定モジュール１２０、行為特定モジュール１３０を有している。
情報処理装置１００は、例えば、店舗における顧客の行動を特定するのに用いられる。より具体的には、商品の購入、非購入に至った重要な行動を把握できるようにする。例えば、顧客の売り場での一連の行動において、立ち去り間際に行った行動が、購入、非購入の決定に至った原因としてより重要であるとして、重要度を上げて通知することに用いてもよい。
なお、店舗における顧客の行動だけでなく、展示会における顧客の行動、街中において歩行者のデジタルサイネージ等の広告に対する行動、ポスターセッション等において参加者のポスターに対する行動等を対象としてもよい。以下の説明では、店舗における顧客の行動、対象物として売り場内の棚にある商品を例示して説明する。
【００２０】
人物位置検出モジュール１１０は、行為シーケンス特定モジュール１２０と接続されている。人物位置検出モジュール１１０は、人物の対象物に対する位置を検出する。例えば、予め定められた位置に備え付けられたカメラによって、撮影された画像から人物を抽出する。画像から人物を抽出する方法として、顔画像認識技術、人物の位置を特定する人検知技術等の既存の技術を用いればよい。これによって、備え付けられたカメラの位置、撮影された画像の位置（カメラの方向、角度等から特定される撮影場所の位置）、画像内の人物の位置から、人物の位置を特定することができる。また、人物が所持しているＩＣカード、携帯端末等内の情報（例えば、所持者を特定するＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）等）を、予め定められた位置に備え付けられた読取装置で読み取ることによって人物の位置を特定してもよい。これらのカメラ、読取装置は、例えば、店舗内に備え付けられている。この場合、特定対象の人物は、一般的に顧客となる。なお、人物の特定は、その人物の名前等については特定する必要なく、人であり、その人がいる位置を特定できればよい。また、人物の顔の方向、その人物の視線、その人物の手の位置等を検出してもよい。
また、対象物が、予め定められた位置にある場合（前述の売り場内の棚にある商品のような場合）は、その対象物の位置の特定は必要ない。つまり、その対象物の予め定められた位置と人物の位置との関係を検出できる。
また、物認識技術によって、対象物を認識するようにしてもよい。対象物にはタグが備え付けられており、対象物を特定する情報が埋め込まれており、そのタグ内の情報を読取装置が読み取るようにしてもよい。これによって、対象物の位置と人物の位置との関係を検出できる。
【００２１】
行為シーケンス特定モジュール１２０は、人物位置検出モジュール１１０、行為特定モジュール１３０と接続されている。行為シーケンス特定モジュール１２０は、人物が対象物に対して行った行為のシーケンスを特定する。ここで「行為のシーケンス」とは、「行為の順番」のことである。「行為」として、例えば、対象物の前で立ち止まる又は立ち去る、対象物を見る、対象物に触る、対象物を手にとる、対象物を元の位置に戻す、他の人物（例えば、同行者、店員等）との話し合い、対象物に付されているタグ（例えば、価格、成分、原産地等が表示されているタグ）を見る等がある。これらの行為は、人検知技術を用いて手の認識、顔又は視線の方向、マイク等を用いた会話の認識等の既存の技術を用いればよい。
そして、それらの行為が行われた日時（年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい）を記録する。これによって、行為のシーケンスを特定することができる。
【００２２】
行為特定モジュール１３０は、行為シーケンス特定モジュール１２０と接続されている。行為特定モジュール１３０は、行為シーケンス特定モジュール１２０によって特定された行為シーケンスと、人物位置検出モジュール１１０によって検出された人物の対象物に対する位置とに基づき、人物が対象物から立ち去る前に、その人物がその対象物に対して行った行為を特定する。ここでの特定は、対象物に対して影響を及ぼす行為として特定するものであって、予め定められた条件に合致する行為を特定する。「対象物に対して影響を及ぼす行為」としては、例えば、店舗の場合は、対象物である商品を購入する（又は購入しなかった）にあたって、重要な行為（購入、非購入の決定に至るための原因となる行為又は主な原因を示す行為）である。その場合の「予め定められた条件に合致する行為」としては、例えば、立ち去りの直前の行為を特定してもよいし、立ち寄り後に最初に行った行為を特定してもよい。また、その行為の回数、その行為が行われた時間（継続時間）等によって重み付けを行って、行為を特定してもよい。また、「立ち去り直前の行為」として、対象物を元の位置に戻す行為は除外してもよい。その場合は、「立ち去り直前の行為」とは、「対象物を元の位置に戻す行為の直前の行為」となる。
そして、特定した行為を、例えば、人物の売り場での一連の行動において、立ち去り間際に行った行動が、購入、非購入の決定に至った原因としてより重要であるとして、重要度を上げて通知するようにしてもよい。
【００２３】
図２は、第１の実施の形態を実現した場合のシステム構成例を示す説明図である。
情報処理装置１００、カメラ２１０ａ、カメラ２１０ｂ、カメラ２１０ｃは、通信回線２９０を介してそれぞれ接続されている。通信回線２９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのイントラネット、インターネット等であってもよい。カメラ２１０は、例えば、店舗内に備え付けられており、人物を撮影する。情報処理装置１００は、カメラ２１０から画像を受け取り、画像内の人物を解析して、対象物に対して影響を及ぼす行為を特定する。
【００２４】
図３は、第１の実施の形態による処理例を示すフローチャートである。
ステップＳ３０２では、人物が立ち寄ったことを検出する。
ステップＳ３０４では、立ち寄った日時を保存する。
ステップＳ３０６では、行動が行われたか否かを判断し、行われた場合はステップＳ３０８へ進み、それ以外の場合はステップＳ３１０へ進む。
ステップＳ３０８では、行動の種類と時刻を保存し、ステップＳ３０６へ戻る。ここでの行動の種類として、以下のものがある。
・一人の行動
商品を見る
周りをキョロキョロ見回す
・商品を手にとっての行動
商品を手元で見る
商品を上下にふる
商品の表・裏をひっくり返す
商品を両手で広げる
服などの商品を体にあわせる
複数の商品を見比べる
・他人との行動
友人など連れている人と話す
店員と話す
【００２５】
ステップＳ３１０では、人物が立ち去ったか否かを判断し、立ち去った場合はステップＳ３１２へ進み、それ以外の場合はステップＳ３０６へ戻る。
ステップＳ３１２では、立ち去った日時を保存する。
ステップＳ３１４では、行動のシーケンスから、予め定められた条件に合致する行動を検出し保存する。
【００２６】
図４は、第１の実施の形態による処理例を示す説明図である。人物の行動として、順に、「立ち寄り」４１０（店舗内の予め定められたエリアに入ったこと）、「商品へのアクション（取り出し）」４２０、「商品を見る」４３０、「同行者との相談」４４０、「店員との相談」４５０、「同行者との相談」４６０、「商品へのアクション(戻し)」４７０、「立ち去り」４８０（そのエリアからいなくなること）の行為が行われた例を示している。これらは、行為シーケンス特定モジュール１２０によって、行為シーケンスとして特定されたものである。特に、「商品を見る」４３０では、その行為が１回行われ、その時間は７秒であった。「店員との相談」４５０では、その行為が１回行われ、その時間は４５秒であった。「同行者との相談」４６０では、その行為が２回行われ、その時間の合計１５６秒であった。また、「立ち寄り」４１０から「立ち去り」４８０までの滞在時間は、３０５秒であり、商品へのアクションは２回行われたことがわかる。
行為特定モジュール１３０は、この行為シーケンス内から、重要な行為を推定する。例えば、以下の行為を特定する。予め定められた条件「立ち去り直前に行った行動を重み付けする」の場合は、「同行者との相談」４６０を特定する。予め定められた条件「立ち寄りで最初に行った行動を重み付けする」の場合は、「商品を見る」４３０を特定する。予め定められた条件「回数、時間で重み付けする」の場合は、「同行者との相談」４６０を特定する。
また、特定対象となる行為として、「立ち寄り」４１０、「立ち去り」４８０を除外するようにしてもよい。「立ち寄り」４１０、「立ち去り」４８０は、購入、非購入の判断には適していないからである。なお、商品へのアクションとして、「商品へのアクション（取り出し）」４２０、「商品へのアクション(戻し)」４７０のように２つの種類に区別しなくてもよい。画像処理によって商品の取り出し、戻しの分離は難しいため、１つとして処理する。この場合は、商品へのアクションも特定対象となる行為から除外してもよい。
【００２７】
＜第２の実施の形態＞
図５は、第２の実施の形態の構成例についての概念的なモジュール構成図である。
情報処理装置５００は、人物位置検出モジュール１１０、行為シーケンス特定モジュール１２０、行為特定モジュール１３０、売上関係分析モジュール５４０を有している。そして、人物位置検出モジュール１１０は、顔識別モジュール５１０を有している。なお、前述の実施の形態と同種の部位には同一符号を付し重複した説明を省略する（以下、同様）。
顔識別モジュール５１０は、人物位置検出モジュール１１０によって検出された人物の顔を認識し、人物が予め定められた人物（例えば、店員）であるか否かを判断する。対象としている人物以外の人物が第２の人物であり、例えば、店員、同伴者等である。また、店員の顔画像は、予め撮影しておき、画像内の人物は店員であるか否かを判断する。
人物位置検出モジュール１１０は、対象となっている人物とその他の人物（例えば、店員、同伴者）との間で行われた行為も抽出する。
行為特定モジュール１３０は、行為シーケンス特定モジュール１２０、売上関係分析モジュール５４０と接続されている。行為特定モジュール１３０は、行為シーケンスと、人物の対象物に対する位置と、人物と予め定められた第２の人物との関係とに基づき、人物が対象物から立ち去る前に、その人物がその対象物に対して行った行為を特定する。ここで例えば、対象としている人物が「来店客」であり第２の人物が「店員」である場合は、「人物と予め定められた第２の人物との関係」として「店員と来店客」という関係を特定し、この関係とこれらの人物間で行われた行為とにより、例えば「来店客が店員に相談した」という「対象となる人物の行為」を特定することができる。
売上関係分析モジュール５４０は、行為特定モジュール１３０と接続されている。売上関係分析モジュール５４０は、対象となっている人物の購買情報に基づいて、その人物の行為を特定する。例えば、対象物である商品の価格等に応じて、行為を特定するようにしてもよい。
【００２８】
図６は、第２の実施の形態を実現した場合のシステム構成例を示す説明図である。
情報処理装置５００、カメラ２１０ａ、カメラ２１０ｂ、カメラ２１０ｃ、販売管理装置６００は、通信回線２９０を介してそれぞれ接続されている。販売管理装置６００は、例えば、ＰＯＳ（Ｐｏｉｎｔ  Ｏｆ  Ｓａｌｅ  ｓｙｓｔｅｍ）であり、商品に関する情報、対象としている人物の購買情報等を情報処理装置５００に渡す。情報処理装置５００は、カメラ２１０から画像を受け取り、画像内の人物を解析して、販売管理装置６００からの情報を用いて、対象物に対して影響を及ぼす行為を特定する。
【００２９】
図７は、行動・ＰＯＳ相関テーブル７００のデータ構造例を示す説明図である。
行動・ＰＯＳ相関テーブル７００は、対象商品欄７１０、初めに商品を手に取る欄７２０、終わりに商品を取る欄７３０、店員との相談時間欄７４０、同行者との相談時間欄７５０、商品へのアクセス回数欄７６０を有しており、売上との相関度を記憶している。売上関係分析モジュール５４０は、行動・ＰＯＳ相関テーブル７００を用いて、売上との相関度が高い行為を特定している。
対象商品欄７１０は、商品を記憶している。初めに商品を手に取る欄７２０は、「初めに商品を手に取る」という行為と売上との相関度を記憶している。終わりに商品を取る欄７３０は、「終わりに商品を取る」という行為と売上との相関度を記憶している。店員との相談時間欄７４０は、「店員との相談時間」と売上との相関度を記憶している。同行者との相談時間欄７５０は、「同行者との相談時間」と売上との相関度を記憶している。商品へのアクセス回数欄７６０は、「商品へのアクセス回数」と売上との相関度を記憶している。なお、初めに商品を手に取る欄７２０における「初め」とは、「立ち寄り」４１０から予め定められた期間内をいい、終わりに商品を取る欄７３０における「終わり」とは、「立ち去り」４８０前の予め定められた期間内をいう。また、店員との相談時間欄７４０、同行者との相談時間欄７５０を、前半部分（「立ち寄り」４１０から「立ち去り」４８０までの期間における前半部分）と後半部分に分けてもよい。そして、複数の行為（その順序を含めてもよい）の欄を設けるようにしてもよい。
各欄には、記号として「◎」（相関度が高い）、「○」、「△」、「×」（相関はない）が記載されている。
例えば、価格が安い商品Ａが対象物の場合は、「初めに商品を手に取る」という行為に対して、他の行為よりも高い重み付けを行い、「同行者との相談時間」に対して、他の行為（「△」、「×」）よりも高い重み付けを行い、より重要な行為を特定する。また、同じ行為でも、行動シーケンスの前半・後半のどちらに行われた行為がより重要であるかも特定する。
また、逆に、売上関係分析モジュール５４０による解析結果が蓄積された場合は、商品毎の実際の販売数を抽出して、行動・ＰＯＳ相関テーブル７００を修正するようにしてもよい。そして、価格が安い商品Ａと「初めに商品を手に取る」行為との相関が高いことが判明した場合は、その商品Ａについて、「商品ＰＯＰ（Ｐｏｉｎｔ  Ｏｆ  Ｐｕｒｃｈａｓｅ  ａｄｖｅｒｔｉｓｉｎｇ、店舗内の広告媒体）を強調する」、「手に取りやすいようにする」等の改善を行うようにメッセージを提示するようにしてもよい。また、価格が高く品質のよい商品Ｂと「店員との相談時間」との相関が高いことが判明した場合は、その商品Ｂについて、「店員配置を増やす」等の改善を行うようにメッセージを提示するようにしてもよい。
【００３０】
図８、図９は、第２の実施の形態による処理例を示す説明図である。また、行為シーケンス特定モジュール１２０は、行動特徴量を利用するようにしてもよい。行為シーケンス特定モジュール１２０は、全ての行為（例えば、商品を見ている）を抽出する必要は無く、映像上の動きから、ビデオインデキシングの技術を用いて、時間軸で分割するようにしてもよい。そして、分割した時間軸上での、動画特徴量をもとに、重要だと考えられる行為における動画特徴量（例えば、手の上下の動き）を取得するようにしてもよい。
図８は、人物の行動として、順に、「立ち寄り」８１０、「商品へのアクション（取り出し）」８２０、「手の上下動き」８３０、「店員との相談」８４０、「手を左右に広げる」８５０、「立ち去り」８６０の行為が行われた例を示している。
図９は、人物の行動として、順に、「立ち寄り」９１０、「商品へのアクション（取り出し）」９２０、「首を左右に動かす」９３０、「手を左右に広げる」９４０、「商品へのアクション(戻し)」９５０、「立ち去り」９６０の行為が行われた例を示している。
「手を左右に広げる」（実際には商品を広げて見る）を重要な行動（「手を左右に広げる」８５０、「手を左右に広げる」９４０）として特定する。
【００３１】
＜第３の実施の形態＞
図１０は、第３の実施の形態の構成例についての概念的なモジュール構成図である。
情報処理装置１０００は、人物位置検出モジュール１１０、行為シーケンス特定モジュール１２０、行為特定モジュール１３０、携帯端末操作検出モジュール１０１０を有している。
情報処理装置１０００は、例えば、売り場における携帯端末の操作ログと連携し、携帯端末上で閲覧等された情報を検出する。携帯端末として、例えば、携帯電話（スマートフォンを含む）、ウェアラブルコンピュータ（ｗｅａｒａｂｌｅ  ｃｏｍｐｕｔｅｒ）等がある。
携帯端末操作検出モジュール１０１０は、行為特定モジュール１３０と接続されている。携帯端末操作検出モジュール１０１０は、人物の行為と関連付けられる、その人物による携帯端末の操作を抽出する。携帯端末が対象物にかざされる行為（カメラでその対象物（商品）のタグを撮影する行為）が検出された場合、その対象物に関する情報を記載しているホームページへのアクセスがあった場合、その携帯端末から操作があったことの通知を受け付けた場合、又はその携帯端末から操作ログの送信を受け付けた場合等に、携帯端末操作検出モジュール１０１０が起動される。そして、その携帯端末において、行為シーケンス特定モジュール１２０によって特定された行為シーケンスの期間に行われた操作を抽出する。
行為特定モジュール１３０は、行為シーケンス特定モジュール１２０、携帯端末操作検出モジュール１０１０と接続されている。行為特定モジュール１３０は、携帯端末操作検出モジュール１０１０によって抽出された、人物の携帯端末の操作に基づいて、その人物の行為を特定する。例えば、その操作が対象物の価格を表示する操作であった場合は、その行為（操作）を特定する。
【００３２】
図１１は、第３の実施の形態を実現した場合のシステム構成例を示す説明図である。
情報処理装置１０００、携帯端末１１１０ａ、携帯端末１１１０ｂ、携帯端末１１１０ｃ、商品情報提示装置１１２０ａ、商品情報提示装置１１２０ｂは、通信回線１１９０を介してそれぞれ接続されている。通信回線１１９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。そして、店舗内では、情報処理装置１０００、カメラ２１０ａ、カメラ２１０ｂ、カメラ２１０ｃは、通信回線２９０を介してそれぞれ接続されている。店舗内にいる人物は、携帯端末１１１０を用いて、商品情報提示装置１１２０へアクセスする。情報処理装置１０００は、そのアクセスを検知して、そのアクセスに基づいて、行為を特定する。
【００３３】
図１２は、第３の実施の形態による処理例を示すフローチャートである。
ステップＳ１２０２では、行動内に携帯端末に対する操作はあったか否かを判断し、あった場合はステップＳ１２０４へ進み、それ以外の場合は処理を終了する（ステップＳ１２９９）。
ステップＳ１２０４では、その携帯端末での操作を検出する。
ステップＳ１２０６では、行動、行動シーケンスと携帯端末での操作との相関を検出する。相関の検出処理については、図１３、図１４の例を用いて、後述する。
ステップＳ１２０８では、対象としている人物とマッチングする携帯端末はあるか否かを判断し、ある場合はステップＳ１２１０へ進み、それ以外の場合は処理を終了する（ステップＳ１２９９）。
ステップＳ１２１０では、携帯端末での操作を抽出する。
【００３４】
図１３は、第３の実施の形態による処理例を示す説明図である。売り場での人物の行動をカメラ２１０によって撮影し、分析する。この分析結果（行為シーケンス）と携帯端末の操作ログ（携帯端末１１１０から受け取ってもよいし、商品情報提示装置１１２０から受け取ってもよい）から、誰が携帯端末を操作しているかを検出する。そして、携帯端末における操作も用いて、行為を特定する。
図１３（Ａ）は、カメラ２１０によって撮影された画像内での人物Ａの行動として、順に、「立ち寄り」１３１０Ａ、「売り場タグスキャン動作」１３２０Ａ、「携帯端末操作開始」１３３０Ａ、「携帯端末操作終了」１３４０Ａ、「商品を手にとって検討」１３５０Ａ、「立ち去り」１３６０Ａが行われた例を示している。
図１３（Ｂ）は、カメラ２１０によって撮影された画像内での人物Ｂの行動として、順に、「立ち寄り」１３１０Ｂ、「売り場タグスキャン動作」１３２０Ｂ、「携帯端末操作開始」１３３０Ｂ、「携帯端末操作終了」１３４０Ｂ、「立ち去り」１３５０Ｂが行われた例を示している。
図１３（Ｃ）は、携帯端末１１１０ａにおける操作として、順に、「売り場タグスキャン」１３１０Ｃ、「携帯端末操作（値段表示）」１３２０Ｃ、「携帯端末操作（商品情報表示）」１３３０Ｃ、「携帯端末画面ＯＦＦ」１３４０Ｃが行われた例を示している。
図１３（Ｄ）は、携帯端末１１１０ｂにおける操作として、順に、「売り場タグスキャン」１３１０Ｄ、「携帯端末操作（商品情報表示）」１３２０Ｄ、「携帯端末操作（値段表示）」１３３０Ｄ、「携帯端末画面ＯＦＦ」１３４０Ｄが行われた例を示している。
これらの例では、人物Ａと携帯端末１１１０ａは、相関が高いのでマッチング（人物Ａと携帯端末１１１０ａとの対応付け）を行う。そして、人物Ｂと携帯端末１１１０ｂは、相関が高いのでマッチング（人物Ｂと携帯端末１１１０ｂとの対応付け）を行う。ここで、相関が高いとは、行為と操作の行われた日時が合致していることをいう。なお、ここでの合致として、両者の発生日時の差分が予め定められた値未満又は以下であればよい。
【００３５】
映像上の行為の分析と、携帯端末における操作のマッチング技術として、以下のものがある。
［行為１］人物が持つ携帯端末１１１０による、売り場での商品のタグのスキャン行動
顧客は、売り場で気になる商品があると、携帯端末１１１０に内蔵されているカメラでスキャンして、商品の商品情報を取得する。例えば、２次元バーコード等をスキャンする。
携帯端末１１１０上に、商品の情報（値段、商品の詳細説明など）が表示され、顧客はスマートフォンを操作しながら情報を閲覧する。
ここでの行為検出として、カメラに対する行為を検出する。例えば、売り場のタグの位置へ手を伸ばす動作を検出する。そして、携帯端末１１１０での検出として、携帯端末１１１０でスキャンしたタグＩＤと時刻を検出する。
［行為２］人物による携帯端末１１１０の操作の行動
携帯端末１１１０に内蔵されているカメラでスキャンして、表示された商品情報を閲覧する。商品名、値段、生産者、口コミなど、関連情報が表示される。
ここでの行為検出として、カメラに対する行為を検出する。例えば、頭と手の位置を検出し、手先を見ている行為を検出する。そして、携帯端末１１１０での検出として、携帯端末１１１０へのタッチ、携帯端末１１１０の画面オフ、携帯端末の動き（具体的には、加速度等）を検出する。
これらの検出された情報を用いて、人物の行為と携帯端末１１１０における操作をマッチングさせる。
【００３６】
図１４は、第３の実施の形態による処理例を示す説明図である。図１３（Ａ）の行為と図１３（Ｃ）の携帯端末１１１０における操作がマッチングされ、「携帯端末操作（商品情報表示）」１３３０Ｃを対象物の購入に影響を及ぼす行為として特定する。つまり、携帯端末１１１０における操作も特定され得る行為の対象となる。「携帯端末操作（商品情報表示）」１３３０Ｃでは、商品情報の閲覧が１回行われ、その閲覧時間は１５秒であった。時間の重み付けの結果、「携帯端末操作（商品情報表示）」１３３０Ｃを特定する。
【００３７】
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図１５に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ１５０１を用い、記憶装置としてＲＡＭ１５０２、ＲＯＭ１５０３、ＨＤ１５０４を用いている。ＨＤ１５０４として、例えばハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）を用いてもよい。人物位置検出モジュール１１０、行為シーケンス特定モジュール１２０、行為特定モジュール１３０、顔識別モジュール５１０、売上関係分析モジュール５４０、携帯端末操作検出モジュール１０１０等のプログラムを実行するＣＰＵ１５０１と、そのプログラムやデータを記憶するＲＡＭ１５０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ１５０３と、補助記憶装置（フラッシュメモリ等であってもよい）であるＨＤ１５０４と、キーボード、マウス、タッチパネル等に対する利用者の操作に基づいてデータを受け付ける受付装置１５０６と、ＣＲＴ、液晶ディスプレイ等の出力装置１５０５と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース１５０７、そして、それらをつないでデータのやりとりをするためのバス１５０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
【００３８】
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図１５に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１５に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１５に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、情報家電、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
【００３９】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
【００４０】
前述の実施の形態は以下のように把握してもよい。
［Ａ］  人物の対象物に対する位置を検出する、人物位置検出手段と、
当該人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、
前記行為シーケンスと、前記人物の対象物に対する位置とに基づき、人物が対象物から立ち去る前に当該人物が当該対象物に対して行った行為を特定する、行為特定手段、
とを有する、行動分析装置。
［Ｂ］  前記行為特定手段は、さらに、前記人物と第２の人物との関係に基づいて、当該人物の行為を特定する、
［Ａ］に記載の行動分析装置。
［Ｃ］  前記行為特定手段は、さらに、前記人物の購買情報に基づいて、当該人物の行為を特定する、
［Ａ］又は［Ｂ］に記載の行動分析装置。
［Ｄ］  前記人物の行為と関連付けられる当該人物による携帯端末の操作を抽出する抽出手段
をさらに具備し、
前記行為特定手段は、さらに、前記人物の携帯端末の操作に基づいて、当該人物の行為を特定する、
［Ａ］から［Ｃ］のいずれか一項に記載の行動分析装置。
［Ｅ］  コンピュータを、
人物の対象物に対する位置を検出する、人物位置検出手段と、
当該人物が対象物に対して行った行為のシーケンスを特定する、行為シーケンス特定手段と、
前記行為シーケンスと、前記人物の対象物に対する位置とに基づき、人物が対象物から立ち去る前に当該人物が当該対象物に対して行った行為を特定する、行為特定手段、
として機能させるための行動分析プログラム。
［Ｆ］  人物が対象物に対して行った行為のシーケンスを特定する行為シーケンス特定手段と、
前記行為シーケンスに含まれる行為のうち、予め定められた条件に合致する行為を、前記対象物に対して影響を及ぼす行為として特定する、行為特定手段、
とを有する、行動分析装置。
［Ｇ］  さらに人物の対象物に対する位置を検出する人物位置検出手段を有し、
前記予め定められた条件として、前記人物が前記対象物に対し立ち寄り最初に行った行動、前記人物が前記対象物から立ち去る直前に行った行動、前記人物が前記対象物に対して行った行為の回数若しくは時間、のいずれかで重み付けを行うものである、
［Ｆ］に記載の行動分析装置。
［Ｈ］  コンピュータを、
人物が対象物に対して行った行為のシーケンスを特定する行為シーケンス特定手段と、
前記行為シーケンスに含まれる行為のうち、予め定められた条件に合致する行為を、前記対象物に対して影響を及ぼす行為として特定する、行為特定手段、
として機能させるための行動分析プログラム。
【００４１】
［Ａ］の行動分析装置によれば、人物が対象物から立ち去る前に、その人物がその対象物に対して行った行為を特定することができる。
［Ｂ］の行動分析装置によれば、人物と第２の人物との関係に基づいて、その人物の行為を特定することができる。
［Ｃ］の行動分析装置によれば、人物の購買情報に基づいて、人物の行為を特定することができる。
［Ｄ］の行動分析装置によれば、人物の携帯端末の操作に基づいて、人物の行為を特定することができる。
［Ｅ］の行動分析プログラムによれば、人物が対象物から立ち去る前に、その人物がその対象物に対して行った行為を特定することができる。
［Ｆ］の行動分析装置によれば、対象物に対して影響を及ぼす行為を特定することができる。
［Ｇ］の行動分析装置によれば、人物が対象物に対し立ち寄り最初に行った行動、人物が対象物から立ち去る直前に行った行動、人物が対象物に対して行った行為の回数若しくは時間、のいずれかで重み付けを行うことを条件として、対象物に対して影響を及ぼす行為を特定することができる。
［Ｈ］の行動分析プログラムによれば、対象物に対して影響を及ぼす行為を特定することができる。
【符号の説明】
【００４２】
１００…情報処理装置
１１０…人物位置検出モジュール
１２０…行為シーケンス特定モジュール
１３０…行為特定モジュール
２１０…カメラ
２９０…通信回線
５００…情報処理装置
５１０…顔識別モジュール
５４０…売上関係分析モジュール
６００…販売管理装置
１０００…情報処理装置
１０１０…携帯端末操作検出モジュール
１１１０…携帯端末
１１２０…商品情報提示装置
１１９０…通信回線
【図１】
2016058074.tif 000003
【図２】
2016058074.tif 000004
【図３】
2016058074.tif 000005
【図４】
2016058074.tif 000006
【図５】
2016058074.tif 000007
【図６】
2016058074.tif 000008
【図７】
2016058074.tif 000009
【図８】
2016058074.tif 000010
【図９】
2016058074.tif 000011
【図１０】
2016058074.tif 000012
【図１１】
2016058074.tif 000013
【図１２】
2016058074.tif 000014
【図１３】
2016058074.tif 000015
【図１４】
2016058074.tif 000016
【図１５】
2016058074.tif 000017