(57)【要約】  【課題】  高精細な画像が得られない場合にも、画像に基づいて、興味対象に対する人の興味度を把握すること。  【解決手段】  興味度情報取得システムは、興味対象の付近を通る人を撮影するよう設置され、撮影により撮像データを生成する撮像部２０２と、撮像データに含まれる人を検知して追跡する検知追跡部１０４と、追跡された人の移動速度を判定する速度判定部１０６と、追跡された人の向きを判定する向き判定部１０８と、移動速度と向きとに基づいて、追跡された人の興味対象に対する興味度を示す興味度情報を取得する興味度情報取得部１１０と、を備える。【選択図】  図２
2020166523.tif 000002
【特許請求の範囲】
【請求項１】
興味対象の付近を通る人を撮影するよう設置され、撮影により撮像データを生成する撮像部と、
前記撮像データに含まれる人を検知して追跡する検知追跡部と、
追跡された前記人の移動速度を判定する速度判定部と、
追跡された前記人の向きを判定する向き判定部と、
前記移動速度と前記向きとに基づいて、追跡された前記人の前記興味対象に対する興味度を示す興味度情報を取得する興味度情報取得部と、
を備えた興味度情報取得システム。
【請求項２】
前記興味度情報取得部は、追跡された前記人が所定の向きを継続した時間に基づいて前記興味度情報を取得する、請求項１に記載の興味度情報取得システム。
【請求項３】
前記興味度情報取得部は、追跡された前記人の前記移動速度の変化に基づいて前記興味度情報を取得する、請求項１又は２に記載の興味度情報取得システム。
【請求項４】
前記興味度情報取得部は、さらに追跡された前記人の位置にも基づいて前記興味度情報を取得する、請求項１から３のいずれかに記載の興味度情報取得システム。
【請求項５】
前記興味度情報取得部は、前記興味度を３段階以上の段階で示す前記興味度情報を取得する、請求項１から４のいずれかに記載の興味度情報取得システム。
【請求項６】
前記興味度情報取得部は、前記段階ごとの人数を取得する、請求項５に記載の興味度情報取得システム。
【請求項７】
前記向き判定部は、前記人の３点以上の部位を特定することにより、当該人の向きを判定する、請求項１から６のいずれかに記載の興味度情報取得システム。
【請求項８】
前記向き判定部は、複数のサンプル画像を用いて人の向きを学習して得られた学習モデルを用いて、前記撮像データに含まれる人の向きを判定する、請求項１から７のいずれかに記載の興味度情報取得システム。
【請求項９】
興味対象の付近を通る人を撮影するよう設置されたカメラから撮像データの入力を受け付ける入力部と、
前記撮像データに含まれる人を検知して追跡する検知追跡部と、
追跡された前記人の移動速度を判定する速度判定部と、
追跡された前記人の向きを判定する向き判定部と、
前記移動速度と前記向きとに基づいて、追跡された前記人の前記興味対象に対する興味度を示す興味度情報を取得する興味度情報取得部と、
を備えた情報処理装置。
【請求項１０】
コンピュータを、請求項９に記載の情報処理装置を構成する前記入力部、前記検知追跡部、前記速度判定部、前記向き判定部、及び前記興味度情報取得部として機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の興味対象に対する興味度を示す興味度情報を取得する興味度情報取得システム、並びにそれに用いられる情報処理装置及び情報処理プログラムに関する。
【背景技術】
【０００２】
従来、店舗内の顧客を撮影した画像を解析することにより、商品に対する顧客の興味を把握する装置等が知られている。
【０００３】
特許文献１では、人物の視線の向きを検出する等して、店舗内を回遊する顧客が興味を持った商品をより的確に把握できる情報処理装置が提案されている。また、特許文献２では、商品の広告を行っている場所を撮影した静止画像における顧客の顔又は体の特徴に対して、顧客が購入したか否かを示す情報を教師信号として、学習モデルを作成するようにした情報処理装置及び情報処理プログラムが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１１７３８４号公報
【特許文献２】特許第６４２８０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の情報処理装置は、顧客の視線の向きや静止画像における顧客の顔又は体の特徴に基づいて、商品に対する顧客の興味を把握してきた。しかし、イベントブース、イベントスペース、店舗レイアウト、屋台、商店、移動店舗等の比較的大きな興味対象について、そこを通り過ぎる人がどの程度興味対象に興味を示したかを画像から把握するためには、カメラを比較的遠い距離ないし広画角で設置して、比較的大きな興味対象及びその周辺を含む広範囲を俯瞰した画像を撮影する必要がある。
【０００６】
このような場合には、人の視線方向まで認識できる程度の高精細な画像が得られないことがある。仮に、画像の画質がよくても、画像に人の顔が映らない場合には、そもそもその人の視線方向を認識することはできない。
【０００７】
また、人が興味対象の前で移動を止めたり、移動速度を低下させたりすることは、広範囲を俯瞰した連続画像から分析することができ、そのような人の移動速度の分析に基づいて興味対象への興味度を測ることも可能である。しかし、移動速度の分析のみでは、興味対象に興味を持って移動速度を低下させたのか、他の事情によって移動速度を低下させたのかを判別できない。
【０００８】
また、人によっては、興味対象の前で移動速度は低下させずに通り過ぎるものの、興味対象に向くことで興味を示すこともある。移動速度の分析のみでは、このような人の興味度も把握できない。
【０００９】
本発明は、上記の問題に鑑みてなされたものであり、高精細な画像が得られない場合にも、画像に基づいて、興味対象に対する人の興味度を把握できる興味度情報取得システム、情報処理装置、及び情報処理プログラムを提供することを目的とする。
【００１０】
また、本発明の他の目的は、興味対象に対する人の興味を、その有無のみでなく段階的に把握することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明は、興味度情報取得システムであって、興味対象の付近を通る人を撮影するよう設置され、撮影により撮像データを生成する撮像部と、撮像データに含まれる人を検知して追跡する検知追跡部と、追跡された人の移動速度を判定する速度判定部と、追跡された人の向きを判定する向き判定部と、移動速度と向きとに基づいて、追跡された人の興味対象に対する興味度を示す興味度情報を取得する興味度情報取得部と、を備える。
【００１２】
この構成により、人の興味対象への興味度を反映する移動速度と向きとに基づいて、興味度情報を取得できる。また、この構成により、追跡している人の移動速度のみではなく、移動速度と方向とに基づいて興味度情報を取得するので、人が興味対象に興味を持って移動速度を低下させたのか、他の事情によって移動速度を低下させたのかを判別できる。また、この構成により、興味対象の前で移動速度は低下させず通り過ぎるものの、興味対象には向くことで興味を示した人の興味度を把握できる。
【００１３】
興味度情報取得部は、追跡された人が所定の向きを継続した時間に基づいて興味度情報を取得してよい。
【００１４】
この構成により、例えば、一瞬興味を向けた人とじっくりと見た人とを区別して興味度情報を取得できる。
【００１５】
興味度情報取得部は、追跡された人の移動速度の変化に基づいて興味度情報を取得してよい。
【００１６】
この構成により、例えば、興味対象の前で速度が低下した場合に興味度が高いと判断できる。
【００１７】
興味度情報取得部は、さらに追跡された人の位置にも基づいて興味度情報を取得してよい。
【００１８】
この構成により、追跡している人の位置と向きとを組み合わせることで、現実空間においてその人が向いている方向を特定することができ、興味対象に興味を持っているか否かを判断できる。
【００１９】
興味度情報取得部は、興味度を３段階以上の段階で示す興味度情報を取得してよい。
【００２０】
この構成により、興味対象に対する人の興味を、その有無のみでなく段階的に把握できる。
【００２１】
興味度情報取得部は、段階ごとの人数を取得してよい。
【００２２】
この構成により、例えば、興味の程度は低いが多くの者が興味を示したことや、興味を示した者は少ないがそれらの者の興味の度合いが高い等の分析を行うことができる。
【００２３】
向き判定部は、人の３点以上の部位を特定することにより、当該人の向きを判定してよい。
【００２４】
この構成により、人の視線方向まで認識できる程度の高精細な画像が得られないときでも、人の興味対象への興味度を反映する人の向きを判定できる。また、この構成により、画像に人の顔が映らないときでも、人の興味対象への興味度を反映する人の向きを判定できる。
【００２５】
向き判定部は、複数のサンプル画像を用いて人の向きを学習して得られた学習モデルを用いて、撮像データに含まれる人の向きを判定してよい。
【００２６】
この構成により、複数の人の向きを学習して得られた学習モデルを用いて、画像に含まれる人の向きを判定するため、人の向きを判定する精度を高めることができる。
【００２７】
上記目的を達成するために、本発明は、情報処理装置であって、興味対象の付近を通る人を撮影するよう設置されたカメラから撮像データの入力を受け付ける入力部と、撮像データに含まれる人を検知して追跡する検知追跡部と、追跡された人の移動速度を判定する速度判定部と、追跡された人の向きを判定する向き判定部と、移動速度と向きとに基づいて、追跡された人の興味対象に対する興味度を示す興味度情報を取得する興味度情報取得部と、を備える。
【００２８】
この構成により、人の興味対象への興味度を反映する移動速度と向きとに基づいて、興味度情報を取得できる。また、この構成により、広範囲を俯瞰した連続画像から分析できる人の移動速度のみからは判別できなかった、人が興味対象に興味を持って移動速度を低下させたのか、他の事情によって移動速度を低下させたのかを判別できる。また、この構成により、興味対象の前で移動速度は低下させず通り過ぎるものの、興味対象には向くことで興味を示した人の興味度を把握できる。
【００２９】
上記目的を達成するために、本発明は、情報処理プログラムであって、コンピュータを、上述した情報処理装置を構成する入力部、検知追跡部、速度判定部、向き判定部、及び興味度情報取得部として機能させる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態に係る興味度情報取得システムの概要を示す図である。
【図２】本発明の一実施形態に係る情報処理装置とカメラとの構成を示すブロック図である。
【図３】本発明の一実施形態に係る人の顔方向の判定に用いられる人体モデルを示す図である。
【図４】本発明の第１の実施形態に係る情報処理装置の動作を示すフロー図である。
【図５】本発明の第１の実施形態に係る情報処理装置の評価処理に係る動作を示すフロー図である。
【図６】（ａ）本発明の第１の実施形態に係る人とカメラとの位置関係の概要を示す上面図であり、（ｂ）本発明の第１の実施形態に係る人の興味度情報の判定に用いられる画像の一例を示す図である。
【図７】本発明の第２の実施形態に係る情報処理装置の評価処理に係る動作を示すフロー図である。
【図８】（ａ）本発明の第２の実施形態に係る人とカメラとの位置関係の概要を示す上面図であり、（ｂ）本発明の第２の実施形態に係る人の興味度情報の判定に用いられる画像の一例を示す図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照して本発明の実施形態を説明する。なお、以下に説明する実施形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
【００３２】
［興味度情報取得システムの概要］
図１は、本発明の一実施形態に係る興味度情報取得システムの概要を示す図である。情報処理装置１０は、カメラ２０が撮影した人３０を含む動画の情報を処理するコンピュータである。カメラ２０は、人３０を含む動画の情報を情報処理装置１０に送信し、情報処理装置１０は、この情報を受信する。
【００３３】
カメラ２０の設置場所は、興味対象の付近を通る人３０を俯瞰して撮影できる場所であればどこでもよい。人３０を俯瞰して撮影できるとは、情報処理装置１０が人３０の向きや移動速度を判定できる程度にカメラ２０と人３０とが離れていることである。人３０を俯瞰して撮影することにより、人３０の行動の変化を把握しやすくなる。本実施の形態では、カメラ２０は、複数人の人３０を俯瞰して撮影できるイベントブースやイベントスペース、店舗レイアウト、屋台、商店、移動店舗等（以下、「イベント」という。）に設置される。また、本実施の形態では、人３０の興味対象はイベントである。
【００３４】
［情報処理装置の構成］
図２は、本発明の一実施形態に係る情報処理装置１０とカメラ２０との構成を示すブロック図である。情報処理装置１０は、制御演算部１０２、入力部１１２、記憶部１１４、出力部１１６を有する。制御演算部１０２は、検知追跡部１０４、速度判定部１０６、向き判定部１０８、興味度情報取得部１１０を有する。カメラ２０は、撮像部２０２を有する。
【００３５】
制御演算部１０２は、検知追跡部１０４、速度判定部１０６、向き判定部１０８、興味度情報取得部１１０、入力部１１２、記憶部１１４、出力部１１６の機能を実現する制御演算装置である。制御演算部１０２は、ＣＰＵ（Central Processing Unit）を有する。制御演算部１０２は、さらにＧＰＵ（Graphics Processing Unit）を有してもよい。制御演算部１０２は、電気通信的に各部と接続されている。制御演算部１０２が、記憶部１１４に記憶されたプログラムを実行することにより、各部の機能を実現する。
【００３６】
検知追跡部１０４は、撮像データを複数の連続する画像（以下、各画像を「フレーム」ともいう。）として、この複数の連続する画像を解析することにより、そこに含まれる人３０を検知し追跡する検知追跡手段である。なお、画像は２次元画像でもよいし、３次元画像でもよい。
【００３７】
検知追跡部１０４は、新たな人３０が動画にフレームインすると、人３０を検知する。検知追跡部１０８は、フレームインした人３０にＩＤを付与し、ＩＤと紐づけて人３０の位置を記憶部１１４に記憶する。以後、検知追跡部１０４は、動画において類似する位置にいる人３０を検出しＩＤと紐づける処理を繰り返す。これにより、動画からフレームアウトするまで人３０を追跡する。
【００３８】
人３０は、例えば、１人でもよいし、複数人でもよい。人３０が複数人のときは、検知追跡部１０４は、複数人の全員を追跡してもよいし、複数人の一部を追跡してもよい。本実施の形態では、検知追跡部１０４は、動画にフレームインしている人３０全員を追跡する。
【００３９】
検知追跡部１０４の人３０を検知するアルゴリズムは、既知のアルゴリズムを用いてよい。既知のアルゴリズムは、例えば、Ｈａａｒ−ｌｉｋｅ特徴量やＨＯＧ（Histograms of Oriented Gradients）特徴量等を用いたものでもよいし、サポートベクターマシン（ＳＶＭ）や、Ｆａｓｔｅｒ  Ｒ−ＣＮＮｓ（Faster Regions with Convolutional Neural Networks）、ＹＯＬＯ（You Only Look Once）、ＭｏｂｉｌＮｅｔ−ＳＳＤ（Mobil Net Single Shot MultiBox Detector）等の深層学習を用いたものでもよい。本実施の形態では、ＭｏｂｉｌＮｅｔ−ＳＳＤを用いて人３０を検知する。
【００４０】
検知追跡部１０４の人３０を追跡する技術は、既知の技術を用いてよい。既知の技術は、例えば、カルマンフィルタを用いた追跡技術、Ｄｅｅｐ  ＳＯＲＴを用いた追跡技術等でよい。本実施の形態では、カルマンフィルタを用いた追跡技術により人３０を追跡する。
【００４１】
速度判定部１０６は、動画の情報を解析することにより、追跡された人３０の移動速度を判定する速度判定手段である。速度判定部１０６は、例えば、あるフレームでの人３０の位置とその次のフレームでの人３０の位置との距離を、フレーム間あたりの時間で割ることにより、人３０の移動速度を算出してよい。このとき、人３０の正確な位置情報をするために、速度判定部１０６は被写体を３次元化することで、人３０の３次元位置情報を取得してよい。速度判定部１０６は、例えば、人３０の移動速度の算出を繰り返すことにより、人３０の移動速度の変化を判定してよい。
【００４２】
向き判定部１０８は、動画の情報を解析することにより、追跡された人の向きを判定する向き判定手段である。
【００４３】
俯瞰して撮影した動画では、人３０の視線方向まで認識できる程度の高精細な画像が得られないことがある。仮に、画像の画質がよくても、画像に人３０の顔が映らないときは、そもそも人３０の視線方向を認識することはできない。このときでも、人３０がイベント方向へ向いているか否かを判定するには、人３０の顔だけではなく顔以外の部位を用いて人３０の向きを判定することが必要となる。そこで、向き判定部１０８は、例えば、検知追跡部１０４が検知し追跡する人３０の向きとして、体の向きや顔の向き（以下、「顔方向」という。）を判定する。
【００４４】
向き判定部１０８は、既知のアルゴリズムを用いてよい。向き判定部１０８は、例えば、サポートベクターマシン（ＳＶＭ）や、Ｆａｓｔｅｒ  Ｒ−ＣＮＮｓ（Faster Regions with Convolutional Neural Networks）、ＹＯＬＯ（You Only Look Once）、ＭｏｂｉｌＮｅｔ−ＳＳＤ（Mobil Net Single Shot MultiBox Detector）等の深層学習のアルゴリズムを用いて、複数のサンプル画像を用いて人３０の向きを学習し、得られた学習モデルを用いて、画像に含まれる人３０の向きを判定してよい。
【００４５】
向き判定部１０８は、例えば、後述するように人３０の位置を起点としたカメラ２０への方向と、学習モデルを用いて得られた人３０の顔方向３２とがなす興味度判定角度に基づいて、人３０の顔方向３２がイベント方向か否かを判定してよい。
【００４６】
また、向き判定部１０８は、例えば、動画に映っている人３０の目、鼻、肩等の体の部位の位置推定を行い、このうちのいくつかの点から人３０の顔方向３２を判定できる姿勢推定技術を用いて、人３０の向きを判定してよい。本実施の形態では、人３０の顔方向３２は、姿勢推定技術を用いて判定する。
【００４７】
図３を用いて、本実施の形態に係る人３０の顔方向３２の判定方法を具体的に説明する。図３は、本発明の一実施形態に係る人の顔方向３２の判定に用いられる人体モデルを示す図である。向き判定部１０８は、例えば、人３０の顔の器官の位置、関節の位置等を推定する。本実施の形態では、向き判定部１０８は、動画に映っている人３０の鼻、首、左右の目、耳、肩、肘、手首、腰、膝、足首の位置推定を行う。
【００４８】
向き判定部１０８が人３０の顔の器官の位置を推定できるときは、例えば、人３０の顔の器官の推定位置を含む推定位置を用いて人３０の顔方向３２を判定してよい。人３０の顔の器官の位置を推定できないときは、例えば、関節の推定位置を用いて人３０の体の向きを判定し、この体の向きをもって人３０の顔方向３２とみなしてもよい。また、用いる推定位置は、人３０の顔方向３２を判定できる３点以上であれば何点でもよい。例えば、目、鼻、耳を把握できる場合は、それらの推定位置によって人３０の顔方向３２を判定できる。目、鼻、耳等の顔の器官の位置を推定できない場合は、例えば、首と両肩の３点の推定位置、あるいは、両肩と両腰の４点の推定位置によって、人３０の体の向きを判定し、これを顔方向３２とすることもできる。
【００４９】
次に、人３０がイベント方向へ向いているか否かは、例えば、人３０の位置を起点としたカメラ２０への方向と人３０の顔方向３２とがなす角度（以下、「興味度判定角度」という。）に基づいて判定してよい。興味度情報取得部１１０は、例えば、興味度判定角度が０°又は０°に近い値（以下、「θ0」という。）のときは、人３０の顔方向３２はイベント方向であると判定してよい。一方、興味度情報取得部１１０は、興味度判定角度がθ0以外であれば（以下、「θx」という。）、人３０の顔方向３２はイベント方向ではないと判定してよい。
【００５０】
図２に戻って説明を続ける。興味度情報取得部１１０は、動画の情報を解析することにより、人３０の移動速度と向きとに基づいて人３０の興味対象に対する興味度を示す興味度情報を取得する興味度情報取得手段である。
【００５１】
イベントの付近を通る人３０の行動の変化を考察するとき、人３０の移動速度が遅く、人３０がイベント方向へ向いているときは、人３０はイベントに対する興味があると考えられる。逆に、人３０の移動速度が遅くはならず、人３０がイベント方向へ向いていないときは、人３０はイベントに対する興味があるとはいえないと考えられる。そこで、興味度情報取得部１１０は、人３０の移動速度と向きとに基づいて人３０のイベントに対する興味度を示す興味度情報を取得する。
【００５２】
また、興味度情報取得部１１０は、人３０のイベントに対する興味度を反映し得る他の指標を用いて、興味度情報を取得してもよい。興味度情報取得部１１０は、例えば、所定の向きを継続した時間、人３０の移動速度の変化及び人３０の位置の少なくとも一つに基づいて、興味度情報を取得してよい。
【００５３】
上述同様、イベントの付近を通る人３０の行動の変化を考察するとき、人３０がイベントへ向いている時間が長く、イベントに近い位置に停止したときは、人３０はイベントに対する興味が比較的高いと考えられる。逆に、人３０がイベントへ向いている時間が短く、イベントから遠い位置を減速することなく移動したときは、人３０はイベントに対する興味が比較的低いないしは興味がないと考えられる。そこで、興味度情報取得部１１０は、例えば、所定の向きを継続した時間、人３０の移動速度の変化及び人３０の位置の少なくとも一つに基づいて、興味度情報を取得してよい。
【００５４】
なお、所定の向きを継続した時間、人３０の移動速度の変化及び人３０の位置は、人３０がイベントに興味を持っていると評価できる値に適宜設定されてよい。人３０がイベントに興味を持っていると評価できる値に設定されるとは、例えば、人３０の位置とイベントの中心位置との近さに基づいて設定されてもよいし、人３０の位置とイベントを代表する者（例えば、主催者、出店者等）の位置と近さに基づいて設定されてもよい。
【００５５】
興味度情報取得部１１０が取得する興味度情報とは、イベントに対する人３０の興味の程度、関心の程度、注目の程度等の主観を反映した情報である。興味度情報取得部１１０は、興味度を３段階以上の段階で示す興味度情報を取得する。本実施の形態では、興味度情報は、以下に述べる「興味・強」、「興味・中」、「興味・弱」、「興味・無し」の４段階で示される情報である。
【００５６】
以下、本実施の形態に係る興味度情報を具体的に説明する。本実施の形態では、人３０が２秒以上θ0を継続したか否か、人３０が減速及び停止したか否かを指標として、人３０のイベントに対する興味度を判定する。さらに、人３０の位置を指標して、人３０のイベントに対する興味度を判定する。
【００５７】
人３０が２秒以上θ0を継続し停止したときは、興味度情報取得部１１０は、人３０がイベントに興味があると判定する。このとき、興味度情報取得部１１０は、興味度情報として「興味・強」を取得する。
【００５８】
一方、人３０が２秒以上θ0を継続したものの、移動速度を減速したに止まるときは、興味度情報取得部１１０は、人３０がイベントにやや興味があると判定する。このとき、興味度情報取得部１１０は、興味度情報として「興味・中」を取得する。
【００５９】
また、人３０の位置をさらに指標として、人３０が２秒以上θ0を継続しイベント近くの位置を通ったものの、移動速度の減速が見られないときは、興味度情報取得部１１０は、人３０がイベントに若干興味があると判定する。このとき、興味度情報取得部１１０は、興味度情報として「興味・弱」を取得する。
【００６０】
上述した条件をいずれも満たさないときは、興味度情報取得部１１０は、人３０がイベントに興味がないと判定し、興味度情報として「興味・無し」を取得する。
【００６１】
また、興味度情報取得部１１０は、例えば、興味度情報に係る人数を出力してよい。本実施の形態では、興味度情報取得部１１０は、上述した「興味・強」、「興味・中」、「興味・弱」、「興味・無し」と判定された人３０の人数を出力する。
【００６２】
入力部１１２は、興味対象の付近を通る人を撮影するよう設置されたカメラ２０から撮像データの入力を受け付ける入力手段である。入力部１１２が画像の情報の入力を受け付ける方法は、例えば、記憶媒体による方法、無線通信による方法、有線通信による方法でよい。
【００６３】
記録媒体による方法は、例えば、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭによる方法でよい。無線通信による方法は、例えば、インターネット、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮ、Bluetooth（登録商標）やＮＦＣ（Near Field Communication）等の近距離無線通信による方法でよい。本実施の形態では、入力部１１２が動画の情報の入力を受け付ける方法は、無線通信による方法である。
【００６４】
記憶部１１４は、データを記憶できるメモリである。メモリは、例えば、揮発性メモリ（例えば、ＲＡＭ）、不揮発性メモリ（例えば、ＲＯＭ）でよい。記憶部１０４は、例えば、図２に示すように情報処理装置１０に内蔵されていてもよいし、情報処理装置１０に外付けされていてもよい。
【００６５】
記憶部１１４は、制御演算部１０２が各部の機能を実現するためのプログラムを記憶する。また、記憶部１１４は、検知追跡部１０４が検知し追跡するための人３０のＩＤとＩＤに紐づけられた位置とを記憶する。また、記憶部１１４は、人３０の移動速度、移動速度の変化、興味度情報、その興味度を有する人３０の人数等を記憶する。
【００６６】
出力部１１６は、興味度情報取得部１１０が取得した興味度情報を出力する出力手段である。出力部１１６は、例えば、ディスプレイやプリンタである。
【００６７】
カメラ２０の撮像部２０２は、興味対象の付近を通る人を撮影するよう設置され、撮影により撮像データを生成する撮像装置である。撮像部２０２が使用する技術は、人の向きを判定できるデータを生成する技術であれば、任意の既知の技術でよい。この技術は、例えば、連続する静止画や動画等の２次元データを生成するＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、連続する３Ｄ画像等の３次元データを生成する３Ｄセンサ（Depth Sensor）、イベントカメラが備える輝度の変化を検知して出力するイベント駆動型センサ等でよい。撮像部２０２は、入力部１１２に画像の情報を入力する。本実施の形態では、撮像部２０２は、入力部１１２に無線通信による方法により画像の情報を入力する。
【００６８】
［第１の実施形態に係る情報処理装置の動作］
以下では、上述した情報処理装置１０の構成により、第１の実施形態に係る情報処理装置１０の動作を実現するフローを説明する。
【００６９】
図４は、本発明の第１の実施形態に係る情報処理装置１０の動作を示すフロー図である。第１の実施形態に係るフローは、人３０の興味度判定角度θ0が２秒以上継続したか否か、すなわち、人３０の顔方向３２が２秒以上イベント方向を向いたか否か、人３０の移動速度が減速又は停止したか否かを指標として、イベントに対する人３０の興味度を判定するフローである。人３０が動画にフレームインし検知されると、フローは開始する。
【００７０】
まず、情報処理装置１０が、動画にフレームインした人３０を追跡し（ステップＳ１０２）、人３０がフレームアウトしたか否かを判定する（ステップＳ１０４）。
【００７１】
情報処理装置１０が、人３０はフレームアウトしたと判定すると（ステップＳ１０４：Ｙｅｓ）、フローは終了する。
【００７２】
情報処理装置１０が、人３０はフレームアウトしていないと判定すると（ステップＳ１０４：Ｎｏ）、人３０の顔方向３２が２秒以上イベント方向を向いたか否かを判定する（ステップＳ１０６）。情報処理装置１０が、人３０は２秒以上イベント方向を向いたと判定すると（ステップＳ１０６：Ｙｅｓ）、評価処理を行ったのち追跡を継続する（ステップＳ１０８、ステップＳ１０２）。一方、情報処理装置１０が、人３０は２秒以上イベント方向を向いていないと判定すると、評価処理を行うことなく追跡を継続する（ステップＳ１０６：Ｎｏ、ステップＳ１０２）。情報処理装置１０は、人３０がフレームアウトするまで、このフローを繰り返す。
【００７３】
図５は、本発明の第１の実施形態に係る情報処理装置１０の評価処理に係る動作を示すフロー図である。図６（ａ）は、本発明の第１の実施形態に係る人３０とカメラ２０との位置関係の概要を示す上面図であり、図６（ｂ）は、本発明の第１の実施形態に係る人３０の興味度情報の判定に用いられる画像の一例を示す図である。以下では、図５と図６（ａ）、（ｂ）とを用いて、評価処理のフローを説明する。情報処理装置１０が、人３０が２秒以上イベント方向を向いたと判定すると、フローは開始する。
【００７４】
まず、情報処理装置１０が、人３０が停止したか否かを判定する（ステップＳ２０２）。
【００７５】
情報処理装置１０が、人３０は停止したと判定すると（ステップＳ２０２：Ｙｅｓ）、人３０はイベントに興味があると判定し、興味度情報として「興味・強」を取得し（ステップＳ２０４）、フローは終了する。
【００７６】
例えば、図６（ａ）、（ｂ）において、情報処理装置１０が、人３０Ａの興味度判定角度３２Ａは２秒以上θ0を継続し、人３０Ａは停止していると判定する。そうすると、情報処理装置１０が、人３０Ａはイベントに興味があると判定し、興味度情報として「興味・強」を取得する。そして、情報処理装置１０が、「興味・強」である人３０の人数を１人カウントアップする。
【００７７】
図５に戻って説明を続ける。情報処理装置１０が、人３０は停止していないと判定すると（ステップＳ２０２：Ｎｏ）、人３０が移動速度を減速したか否かを判定する（ステップＳ２０６）。情報処理装置１０が、人３０は減速したと判定すると（ステップＳ２０６：Ｙｅｓ）、人３０はイベントにやや興味があると判定し、興味度情報として「興味・中」を取得して、フローを終了する。一方、情報処理装置１０が、人３０は減速していないと判定すると（ステップＳ２０６：Ｎｏ）、人３０はイベントに興味がないと判定し、興味度情報を「興味・無し」と出力して、フローを終了する。
【００７８】
例えば、図６（ａ）、（ｂ）において、情報処理装置１０が、人３０Ｂの興味度判定角度３２Ｂは２秒以上θ0を継続したものの、人３０Ｂは移動速度を減速したに止まると判定する。そうすると、情報処理装置１０が、人３０Ｂはイベントにやや興味があると判定し、興味度情報として「興味・中」を取得する。そして、情報処理装置１０が、「興味・中」である人３０の人数を１人カウントアップする。
【００７９】
一方、例えば、図６（ａ）、（ｂ）において、情報処理装置１０が、人３０Ｃの興味度判定角度３２Ｃは２秒以上θ0を継続したものの、人３０Ｃは移動速度を減速もしなかったと判定する。そうすると、情報処理装置１０が、人３０Ｃはイベントに興味がないと判定し、興味度情報として「興味・無し」を取得する。そして、情報処理装置１０が、「興味・無し」である人３０の人数を１人カウントアップする。
【００８０】
以上から、情報処理装置１０は、「興味・強」である人３０Ａが１人、「興味・中」である人３０Ｂが１人、「興味・無し」である人３０Ｃが１人であるという興味度情報を取得する。
【００８１】
このように、本発明に係る第１の実施形態は、人３０の移動速度の変化と向きとに基づいて、人３０のイベントに対する興味度情報を取得できる。さらに、本発明に係る第１の実施形態では、人３０の向きを継続した時間をも指標として、人３０のイベントに対する興味度情報を取得できる。これにより、広範囲を俯瞰した連続画像から分析できる人の移動速度のみからは判別できなかった、人が興味対象に興味を持って移動速度を低下させたのか、他の事情によって移動速度を低下させたのかを判別できる。また、この構成により、興味対象の前で移動速度は低下させず通り過ぎるものの、興味対象には向くことで興味を示した人の興味度を把握できる。
【００８２】
また、本発明に係る第１の実施形態は、人３０のイベントに対する興味度情報を３段階で取得できる。これにより、興味度情報にグラデーションをもたせ、より詳細な興味度情報を取得することができる。さらに、本発明に係る第１の実施形態は、イベントに対する興味度を有する人３０の人数を把握できる。
【００８３】
［第２の実施形態に係る情報処理装置の動作］
本発明の第２の実施形態に係る情報処理装置１０のフローは、本発明の第１の実施形態に係る情報処理装置１０のフローとは異なり、さらに、人３０の位置を指標して、人３０のイベントに対する興味度を判定する点で相違する。以下では、相違点である評価処理に関するフローのみを説明し、第２の実施形態に係る情報処理装置１０の構成及び評価処理以外のフローの説明は省略する。
【００８４】
図７は、本発明の第２の実施形態に係る情報処理装置１０の評価処理に係る動作を示すフロー図である。図８（ａ）は、本発明の第２の実施形態に係る人３０とカメラ２０との位置関係の概要を示す上面図であり、図８（ｂ）は、本発明の第２の実施形態に係る人３０の興味の判定に用いられる画像の一例を示す図である。以下では、図７と図８（ａ）、（ｂ）とを用いて、評価処理のフローを説明する。情報処理装置１０が、人３０の移動速度が減速したと判定すると、フローは開始する。
【００８５】
まず、情報処理装置１０が、人３０が停止したか否かを判定する（ステップＳ３０２）。
【００８６】
情報処理装置１０が、人３０は停止したと判定すると（ステップＳ３０２：Ｙｅｓ）、人３０はイベントに興味があると判定し、興味度情報として「興味・強」を取得し（ステップＳ３０４）、フローは終了する。
【００８７】
例えば、図８（ａ）、（ｂ）において、情報処理装置１０が、人３０Ｄの興味度判定角度３２Ｄは２秒以上θ0を継続し、人３０Ｄは停止していると判定する。そうすると、情報処理装置１０が、人３０Ｄはイベントに興味があると判定し、興味度情報として「興味・強」を取得する。そして、情報処理装置１０が、「興味・強」である人３０の人数を１人カウントアップする。
【００８８】
図７に戻って説明を続ける。情報処理装置１０が、人３０は停止していないと判定すると（ステップＳ３０２：Ｎｏ）、人３０が移動速度を減速したか否かを判定する（ステップＳ３０６）。情報処理装置１０が、人３０は減速したと判定すると（ステップＳ３０６：Ｙｅｓ）、人３０はイベントにやや興味があると判定し、興味度情報として「興味・中」を取得して（ステップＳ３０８）、フローを終了する。
【００８９】
例えば、図８（ａ）、（ｂ）において、情報処理装置１０が、人３０Ｅの興味度判定角度３２Ｅは２秒以上θ0を継続したものの、人３０Ｅは移動速度を減速したに止まると判定する。そうすると、情報処理装置１０が、人３０Ｅはイベントにやや興味があると判定し、興味度情報として「興味・中」を取得する。そして、情報処理装置１０が、「興味・中」である人３０の人数を１人カウントアップする。
【００９０】
図７に戻って説明を続ける。情報処理装置１０が、人３０は減速しなかったと判定すると（ステップＳ３０６：Ｎｏ）、人３０がイベントの近くを通過したか否かを判定する（ステップＳ３１０）。情報処理装置１０が、人３０はイベント近くを通過したと判定すると（ステップＳ３１０：Ｙｅｓ）、人３０はイベントに若干興味があると判定し、興味度情報として「興味・弱」を取得して（ステップＳ３１２）、フローを終了する。
【００９１】
一方、情報処理装置１０が、人３０はイベントの近くを通過しなかったと判定すると（ステップＳ３１０：Ｎｏ）、人３０はイベントに興味がないと判定し、興味度情報を「興味・無し」と出力して（ステップＳ３１４）、フローを終了する。
【００９２】
例えば、図８（ａ）、（ｂ）において、情報処理装置１０が、人３０Ｆの興味度判定角度３２Ｆは２秒以上θ0を継続したものの、人３０は減速せずイベント近くを通過したと判定する。そうすると、情報処理装置１０が、人３０Ｆはイベントに若干興味があると判定し、興味度情報として「興味・弱」を取得する。そして、情報処理装置１０が、「興味・弱」である人３０の人数を１人カウントアップする。
【００９３】
一方、例えば、図８（ａ）、（ｂ）において、情報処理装置１０が、人３０Ｇの興味度判定角度３２Ｇは２秒以上θ0を継続したものの、人３０Ｇは減速せずイベント近くも通過しなかったと判定する。そうすると、情報処理装置１０が、人３０Ｇはイベントに興味がないと判定し、興味度情報として「興味・無し」を取得する。そして、情報処理装置１０が、「興味・無し」である人３０の人数を１人カウントアップする。
【００９４】
以上から、情報処理装置１０は、「興味・強」である人３０Ｄが１人、「興味・中」である人３０Ｅが１人、「興味・弱」である人３０Ｆが１人、「興味・無し」である人３０Ｇが１人であるという興味度情報を取得する。
【００９５】
このように、本発明に係る第２の実施形態は、本発明に係る第１の実施形態とは異なり、人３０の位置を指標して、人３０のイベントに対する興味度を判定できる。これにより、本発明に係る第２の実施形態は、人３０の移動速度と向きとその向きを継続した時間に加えて位置を指標として、より詳細に人３０のイベントに対する興味度情報を取得できる。
【００９６】
［変形例］
なお、いずれの実施形態においても、人３０がフレームアウトしない限り、人３０のイベントに対する興味度を判定する評価処理を繰り返してよい。このとき、同じ人３０について、興味度情報取得部１１０は、１度目の評価処理のときに興味度を判定し、２度目以降の評価処理のときには興味度を判定しなくてもよいし、２度目以降の評価処理のときにも興味度を判定してもよい。２度目以降の評価処理のときにも興味度を判定するときは、同じ人３０について、複数回興味を判定することとなるため、興味度の判定結果を複数回出力してもよいし、興味度の程度の評価を、例えば、「興味・強×３」、「興味・強×２」等のように増やすことにより、興味度の判定結果を１回だけ出力してもよい。
【符号の説明】
【００９７】
１０・・・情報処理装置
２０・・・カメラ
３０，３０Ａ〜Ｇ・・・人
３２Ａ〜Ｇ・・・興味度判定角度
１０２・・・制御演算部
１０４・・・検知追跡部
１０６・・・速度判定部
１０８・・・向き判定部
１１０・・・興味度情報取得部
１１２・・・入力部
１１４・・・記憶部
１１６・・・出力部
２０２・・・撮像部
【図１】
2020166523.tif 000003
【図２】
2020166523.tif 000004
【図３】
2020166523.tif 000005
【図４】
2020166523.tif 000006
【図５】
2020166523.tif 000007
【図６】
2020166523.tif 000008
【図７】
2020166523.tif 000009
【図８】
2020166523.tif 000010