(57)【要約】【課題】コンテンツへの注目度測定の精度を高めることが可能なコンテンツ出力システム、端末装置、コンテンツ出力方法、および記録媒体を提供する。【解決手段】周辺のユーザデバイスから信号を受信する通信部と、コンテンツを出力する出力部と、前記受信した信号の電波強度が所定値以上であるとき、前記ユーザデバイスからのブロードキャスト信号に含まれるユーザデバイスに対応するユーザの状態を示すユーザ状態データに基づき、前記ユーザデバイスに対応するユーザが前記出力部により出力されるコンテンツに注目していると判定する制御部と、を備える、コンテンツ出力システム。【選択図】図１
2018020764.tif 000002
【特許請求の範囲】
【請求項１】
周辺のユーザデバイスから信号を受信する通信部と、
コンテンツを出力する出力部と、
前記受信した信号の電波強度が所定値以上であるとき、前記ユーザデバイスからのブロードキャスト信号に含まれるユーザデバイスに対応するユーザの状態を示すユーザ状態データに基づき、前記ユーザデバイスに対応するユーザが前記出力部により出力されるコンテンツに注目していると判定する制御部と、
を備える、コンテンツ出力システム。
【請求項２】
前記制御部は、
前記ユーザ状態データに含まれるモーション情報に応じて、前記ユーザデバイスが前記コンテンツ出力システムの周辺で停止していると判断し、
前記ユーザデバイスに対応するユーザが前記出力部により出力されるコンテンツに注目していると判定する、請求項１に記載のコンテンツ出力システム。
【請求項３】
前記制御部は、
前記ユーザ状態データに含まれる、前記ユーザデバイスにおける行動認識結果としての状態データに基づき、前記ユーザデバイスに対応するユーザが前記コンテンツ出力システムの周辺で立ち止まったと判断し、
前記ユーザデバイスに対応するユーザは前記出力部に出力されるコンテンツに注目していると判定する、請求項１に記載のコンテンツ出力システム。
【請求項４】
前記制御部は、
前記ユーザ状態データに基づき、前記ユーザデバイスに対応するユーザが前記出力部に出力されるコンテンツに注目していると判定すると、
前記出力部に出力されるコンテンツを変更する、請求項１に記載のコンテンツ出力システム。
【請求項５】
前記制御部は、前記コンテンツの変更として、前記出力部に出力されるコンテンツと共に当該コンテンツの詳細説明を表示する、請求項４に記載のコンテンツ出力システム。
【請求項６】
前記制御部は、前記コンテンツの変更として、前記出力部に出力されるコンテンツを長編バージョンに切り替える、請求項４に記載のコンテンツ出力システム。
【請求項７】
前記制御部は、
前記ユーザデバイスの信号から、当該ユーザデバイスに対応するユーザの第１言語を推定可能な第１言語情報を取得した場合、
前記コンテンツの変更として、前記出力部に出力されるコンテンツと共に、前記第１言語による前記コンテンツの説明を出力する、請求項４に記載のコンテンツ出力システム。
【請求項８】
前記制御部は、
複数の前記ユーザデバイスの信号から、同一のグループＩＤが検出された場合、
前記コンテンツの変更として、前記出力部に出力されるコンテンツをグループ向けのコンテンツに切り替える、請求項４に記載のコンテンツ出力システム。
【請求項９】
前記制御部は、複数のユーザデバイスの信号から異なる第１言語情報を取得した場合、最も多い言語により前記コンテンツの説明を出力する、請求項７に記載のコンテンツ出力システム。
【請求項１０】
前記制御部は、複数のユーザデバイスの信号からグループＩＤが検出された場合、最も多いグループ向けのコンテンツに切り替える、請求項８に記載のコンテンツ出力システム。
【請求項１１】
前記制御部は、
前記ユーザ状態データに基づき、前記ユーザデバイスに対応するユーザが前記出力部に出力されるコンテンツに注目していると判定すると、
前記コンテンツ出力システムの識別情報を含む、前記コンテンツの購入時に有効なクーポンを、前記通信部から送信する、請求項１に記載のコンテンツ出力システム。
【請求項１２】
前記制御部は、前記ユーザが、前記ユーザ状態データに含まれる前記ユーザの心拍情報が最も高まった時刻周辺で前記出力部により出力されているコンテンツに、注目していると判定する、請求項１に記載のコンテンツ出力システム。
【請求項１３】
前記制御部は、
前記受信した信号の電波強度の変化に応じて、前記ユーザデバイスが前記コンテンツ出力システムの周辺で停止していると判断し、
前記ユーザデバイスに対応するユーザが前記出力部により出力されるコンテンツに注目していると判定する、請求項１に記載のコンテンツ出力システム。
【請求項１４】
前記制御部は、
前記出力部に出力しているコンテンツに注目していると判定した１以上のユーザの前記ユーザ状態データを単位時間ごとに集計し、
前記コンテンツのフレーム毎に前記集計した結果を示すデータを生成する、請求項１に記載のコンテンツ出力システム。
【請求項１５】
ブロードキャスト信号を送信する通信部と、
ユーザの状態をセンシングし、センシングデータを生成するセンサと、
前記センサにより生成されたセンシングデータに基づきユーザ状態データを生成し、前記ブロードキャスト信号に埋め込んで前記通信部を介してブロードキャストするように制御する制御部と、
を備える、端末装置。
【請求項１６】
前記センサは、ユーザの動きをセンシングし、動きデータを生成する、請求項１５に記載の端末装置。
【請求項１７】
前記センサは、ユーザの心拍をセンシングし、心拍データを生成する、請求項１５に記載の端末装置。
【請求項１８】
前記制御部は、コンテンツ出力装置から、前記通信部を介して、前記コンテンツ出力装置の識別情報を含む、コンテンツ購入時に有効なクーポンを受信する、請求項１５に記載の端末装置。
【請求項１９】
プロセッサが、
出力部からコンテンツを出力することと、
周辺のユーザデバイスから信号を受信する通信部により受信した信号の電波強度が所定値以上であるとき、前記ユーザデバイスからのブロードキャスト信号に含まれるユーザデバイスに対応するユーザの状態を示すユーザ状態データに基づき、前記ユーザデバイスに対応するユーザが前記出力部により出力されるコンテンツに注目していると判定することと、
を含む、コンテンツ出力方法。
【請求項２０】
コンピュータを、
ブロードキャスト信号を送信する通信部と、
ユーザの状態をセンシングし、センシングデータを生成するセンサと、
前記センサにより生成されたセンシングデータに基づきユーザ状態データを生成し、前記ブロードキャスト信号に埋め込んで前記通信部を介してブロードキャストするように制御する制御部と、
として機能させるためのプログラムが記録された、記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンテンツ出力システム、端末装置、コンテンツ出力方法、および記録媒体に関する。
【背景技術】
【０００２】
従来、公共の場に設置され、広告等の表示を行う公共ディスプレイであるデジタルサイネージが知られている。【０００３】
デジタルサイネージに対する注目度の測定は、例えば近辺に設置したカメラやレーザレンジファインダなどで取得した画像を解析して行われたり、デジタルサイネージへのタッチ操作に基づいて行われたりする。また、デジタルサイネージにＱＲコード（登録商標）を表示し、ユーザ端末によりＱＲコードを撮影して所定のＵＲＬへアクセスした履歴を解析して測定されたりもする。また、ユーザ端末でiBeaconやGPS等の情報を受信し、クラウド側のデータベースとのマッチングにより推測したり、人力でカウントする等の方法がある。【０００４】
デジタルサイネージに関し、例えば下記特許文献１には、携帯電話側のカメラより検出されたデータに基づいてデジタルサイネージとの位置関係を認識することが記載されている。また、下記特許文献２には、表示装置に対するユーザの位置を検出し、ユーザ端末から取得したユーザ識別情報に基づいてユーザの識別を行い、ユーザが見やすい位置に興味がありそうな情報を表示することが記載されている。また、下記特許文献３には、顧客が接近すると画面表示が変化し、顧客が求める詳細情報を提示可能な屋外表示板装置について記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２０１２−５２００１８号公報
【特許文献２】特開２０１４−８９５０１号公報
【特許文献３】特開２００２−１０９３８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、カメラ等の光学ベースのセンサの場合は照明条件の変化や、雨、雪、オクルージョンに弱いという問題があった。また、接触や近接系のセンサを用いる場合はユーザの能動的な操作が必要であり、iBeaconやGPSの場合はクラウドサービスへのオプトインや事前に接続情報を設定する等の手間が必要であるという問題があった。【０００７】
このように、上述した従来の注目度の測定方法では精度が低かったり、ユーザ負担がかかるといった問題があった。【０００８】
そこで、本開示では、コンテンツへの注目度測定の精度を高めることが可能なコンテンツ出力システム、端末装置、コンテンツ出力方法、および記録媒体を提案する。
【課題を解決するための手段】
【０００９】
本開示によれば、周辺のユーザデバイスから信号を受信する通信部と、コンテンツを出力する出力部と、前記受信した信号の電波強度が所定値以上であるとき、前記ユーザデバイスからのブロードキャスト信号に含まれるユーザデバイスに対応するユーザの状態を示すユーザ状態データに基づき、前記ユーザデバイスに対応するユーザが前記出力部により出力されるコンテンツに注目していると判定する制御部と、を備える、コンテンツ出力システムを提案する。【００１０】
本開示によれば、ブロードキャスト信号を送信する通信部と、ユーザの状態をセンシングし、センシングデータを生成するセンサと、前記センサにより生成されたセンシングデータに基づきユーザ状態データを生成し、前記ブロードキャスト信号に埋め込んで前記通信部を介してブロードキャストするように制御する制御部と、を備える、端末装置を提案する。【００１１】
本開示によれば、プロセッサが、出力部からコンテンツを出力することと、周辺のユーザデバイスから信号を受信する通信部により受信した信号の電波強度が所定値以上であるとき、前記ユーザデバイスからのブロードキャスト信号に含まれるユーザデバイスに対応するユーザの状態を示すユーザ状態データに基づき、前記ユーザデバイスに対応するユーザが前記出力部により出力されるコンテンツに注目していると判定することと、を含む、コンテンツ出力方法を提案する。【００１２】
本開示によれば、コンピュータを、ブロードキャスト信号を送信する通信部と、ユーザの状態をセンシングし、センシングデータを生成するセンサと、前記センサにより生成されたセンシングデータに基づきユーザ状態データを生成し、前記ブロードキャスト信号に埋め込んで前記通信部を介してブロードキャストするように制御する制御部と、として機能させるためのプログラムが記録された、記憶媒体を提案する。
【発明の効果】
【００１３】
以上説明したように本開示によれば、コンテンツへの注目度測定の精度を高めることが可能となる。【００１４】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１５】
【図１】本開示の一実施形態による情報処理システムの概要について説明する図である。
【図２】本実施形態によるデジタルサイネージ装置の構成の一例を示すブロック図である。
【図３】本実施形態によるデジタルサイネージ装置とユーザ端末の距離とユーザ端末の電波強度の関係について説明する図である。
【図４】本実施形態によるユーザ端末の構成の一例を示すブロック図である。
【図５】本実施形態の第１の実施例による動作処理を示すシーケンス図である。
【図６】本実施形態の第２の実施例による動作処理を示すシーケンス図である。
【図７】本実施形態の第３の実施例によるユーザ注目に応じて詳細なコンテンツに切り換える動作処理を示すフローチャートである。
【図８】本実施形態の第３の実施例によるユーザ注目に応じて長編のコンテンツに切り換える動作処理を示すフローチャートである。
【図９】本実施形態の第３の実施例によるユーザ注目に応じてコンテンツの言語を切り換える動作処理を示すフローチャートである。
【図１０】本実施形態の第３の実施例によるユーザ注目に応じてグループ向けのコンテンツに切り換える動作処理を示すフローチャートである。
【図１１】本実施形態の第４の実施例によるクーポン発行動作処理を示すフローチャートである。
【図１２】本実施形態の第４の実施例の他のクーポン発行動作処理を示すフローチャートである。
【図１３】図１２に示す処理で取得したクーポンの利用時の動作処理を示すフローチャートである。
【図１４】本実施形態の第１の変形例による心拍の変化を示すグラフの生成処理を示すフローチャートである。
【図１５】本実施形態の第２の変形例によるユーザ感情の変化を示すグラフの生成処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成
２−１．デジタルサイネージ装置の構成
２−２．ユーザ端末の構成
３．動作処理
３−１．第１の動作処理
３−２．第２の動作処理
３−３．第３の動作処理
３−４．第４の動作処理
３−５．補足
４．まとめ
【００１８】
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムは、少なくともカメラやレーザレンジファインダ等の光学ベースのセンサや、接触、近接系のセンサ等を用いずに、電子広告看板として公共に設置されるデジタルサイネージ装置１に対する多数のユーザの注目度を実時間で測定することができる。
【００１９】
（背景）
上述したように、デジタルサイネージに出力されるコンテンツに対する注目度の測定方法において、光学ベースのセンサは、照明条件の変化や、雨、雪、オクルージョンに弱く、接触や近接系のセンサは能動的な操作が必要であり、iBeaconやGPSを用いる場合はクラウドサービスへのオプトインや事前に接続情報を設定する等の手間がかかるという問題があった。
【００２０】
またいずれのセンシング方式の場合も、検知エリアが狭かったり、デジタルサイネージに注目するユーザの前後の行動までを把握することは行っておらず、ユーザの状態や変化に合わせてコンテンツ側を変化させることが十分に実現出来ていなかった。すなわち、ユーザが詳細を知りたいと思った次の瞬間には別のコンテンツに切り替わってしまい、情報が十分に伝わらない等の機会損失も発生してしまっていた。
【００２１】
そこで、本実施形態による情報処理システムでは、ユーザ端末からのブロードキャスト信号（ブロードキャストされる無線信号）に含まれるユーザの状態を示すデータに基づいて、ユーザがコンテンツに注目しているか否かを判定することで、コンテンツへの注目度測定の精度を高めることが可能となる。
【００２２】
ユーザ端末からのブロードキャスト信号とは、例えば無線ＬＡＮ通信で用いられるプローブリクエスト（アクセスポイントとペアリングするための接続要求信号）やＢｌｕｅｔｏｏｔｈ（登録商標）通信で用いられるアドバタイジングパケット（周辺に自身の存在を知らせるための信号であって、端末識別情報やデータ情報を含む）であって、本実施形態では、これらの無線信号にモーションセンサデータ等のユーザ状態を示すデータが埋め込まれている。図１に示すように、デジタルサイネージ装置１は、周辺のユーザが所持するユーザ端末（スマートフォンやウェアラブル端末等のモバイル通信端末）から発信されるブロードキャスト信号を受信してモーションデータを分析し、デジタルサイネージ装置１の周辺でユーザが立ち止まったこと認識することにより、ユーザの注目度を実時間で測定することができる。デジタルサイネージ装置１は、例えば表示部１２からコンテンツを出力しており、コンテンツへの注目度を判定することができる。
【００２３】
デジタルサイネージ装置１は、ユーザの注目度を例えば注目人数で認識してもよい。また、デジタルサイネージ装置１は、ユーザの注目に応じて出力するコンテンツをより詳細な内容のコンテンツへ切り替えることも可能である。
【００２４】
以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成例と、本実施形態の動作処理について図面を参照して説明する。
【００２５】
＜＜２．構成＞＞
＜２−１．デジタルサイネージの構成＞
図２は、本実施形態によるデジタルサイネージ装置１の構成の一例を示すブロック図である。図２に示すように、デジタルサイネージ装置１は、制御部１０、無線信号受信部１１、表示部１２、ネットワーク通信部１３、および記憶部１４を有する。
【００２６】
制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従ってデジタルサイネージ装置１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Central  Processing  Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read  Only  Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。
【００２７】
また、本実施形態による制御部１０は、判定部１０ａおよびコンテンツ制御部１０ｂとしても機能する。
【００２８】
判定部１０ａは、コンテンツに対するユーザの注目を判定する機能を有する。例えば判定部１０ａは、無線信号受信部１１で受信した電波強度が所定値以上であるとき、ユーザ端末２からのブロードキャスト信号に含まれるユーザ状態データ（具体的には例えばモーションセンサデータ）に基づいて当該ユーザがコンテンツに注目しているか否かを判定する。ここで図３に、デジタルサイネージ装置１とユーザ端末２の距離とユーザ端末２の電波強度の関係について説明する図を示す。図３に示すように、ユーザ端末２を所持するユーザがデジタルサイネージ装置１に近付くと、無線の受信信号強度（ＲＳＳＩ：Received Signal Strength Indicator）が強くなるため、デジタルサイネージとユーザとの距離は、無線の受信信号強度から推定され得る。ユーザは、デジタルサイネージ装置１の表示部１２に出力されているコンテンツに興味がある場合、近付いて立ち止まり、コンテンツを視聴する。また、ユーザ状態データがプローブリクエストフレームやアドバタイジングパケットといったデータ列に埋め込まれているため、デジタルサイネージ装置１は特別な接続手続き不要でユーザ状態データを読み取ることができる。ユーザ状態データは暗号化されていなくてもよいし、事前の取り決めにより暗号化されていてもよい。なお、本実施形態の判定部１０ａによるユーザの注目の判定方法の詳細な内容については、図５等を用いて後述する。
【００２９】
コンテンツ制御部１０ｂは、表示部１２に出力するコンテンツの変更等の制御を行う。コンテンツは、記憶部１４に格納されていてもよいし、ネットワーク通信部１３によりネットワーク（不図示）を介してクラウドから取得されてもよい。また、本明細書において、コンテンツとは表示部１２から出力される画像（静止画、動画）に限定されず、デジタルサイネージ装置１のスピーカ（不図示）から出力される音声であってもよい。また、画像データと音声データを含むビデオデータであってもよい。
【００３０】
無線信号受信部１１は、周辺のユーザ端末２からブロードキャストされる無線信号（本明細書において、ブロードキャスト信号と称す）を受信する無線モジュールである。無線信号受信部１１を有するデジタルサイネージ装置１は、無線ＬＡＮアクセスポイントやＢｌｕｅｔｏｏｔｈのマスターまたはＢｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ（ＢＬＥ）ならばセントラルデバイスといった親機として機能する。かかる親機として機能するデジタルサイネージ装置１は、子機であるユーザ端末２から発信されるプローブリクエストやアドバタイジングパケット等のブロードキャスト信号を受信する。なお、本実施形態では、「無線信号受信部１１」と称しているが、必要に応じて無線信号（ビーコン等）を送信する機能を有してもよい（すなわち、無線信号通信部として機能し得る）。
【００３１】
表示部１２は、コンテンツを出力する表示装置である。この表示部１２は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid  Crystal  Display）、有機ＥＬ（Electroluminescence）ディスプレイなどの表示装置であってもよい。
【００３２】
ネットワーク通信部１３は、有線／無線によりネットワーク（クラウド）と接続し、データの送受信を行うための通信モジュールである。ネットワーク通信部１３は、例えば有線ＬＡＮ（Local  Area  Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless  Fidelity、登録商標）等によりネットワークと通信接続する。
【００３３】
記憶部１４は、制御部１０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read  Only  Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random  Access  Memory）により実現される。
【００３４】
＜２−２．ユーザ端末の構成＞
図４は、本実施形態によるユーザ端末２の構成の一例を示すブロック図である。図４に示すように、ユーザ端末２は、制御部２０、センサ２１、無線信号送信部２２、表示部２３、記憶部２４、操作入力部２５、およびネットワーク通信部２６を有する。
【００３５】
制御部２０は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ端末２内の動作全般を制御する。制御部２０は、例えばＣＰＵ（Central  Processing  Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read  Only  Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。
【００３６】
また、本実施形態による制御部２０は、センサ２１により検知されたセンサデータ（本明細書では、ユーザの状態示すユーザ状態データ）を無線信号に埋め込んで無線信号送信部２２からブロードキャストするよう制御する。具体的には、制御部２０は、無線信号送信部２２が発信するプローブリクエストフレームやアドバタイジングパケットといったデータ列に、センサデータを埋め込む処理を行う。また、制御部２０は、無線信号のデータ列に含まれるＳＳＩＤ領域に、ＳＳＩＤの代わりにセンサデータを書き込んでもよい。
【００３７】
センサ２１は、ユーザの状態を検知する機能を有する。例えばセンサ２１は、モーションセンサ（加速度センサ、ジャイロセンサ、または地磁気センサ）、若しくは生体センサ（心拍センサ、脈拍センサ、発汗量センサ、体温センサ、血圧センサ、または脳波センサ）であってもよい。
【００３８】
無線信号送信部２２は、無線信号をブロードキャスト信号をする無線モジュールである。無線信号送信部２２を有するユーザ端末２は、親機として機能するデジタルサイネージ装置１に対して、子機として機能し、例えばプローブリクエストやアドバタイジングパケットを発信する。なお、本実施形態では、「無線信号送信部２２」と称しているが、必要に応じて無線信号（ビーコン等）を受信する機能を有してもよい（すなわち、無線信号通信部として機能し得る）。
【００３９】
表示部２３は、メニュー画面や操作画面等、種々の画面を出力する表示装置である。この表示部２３は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid  Crystal  Display）、有機ＥＬ（Electroluminescence）ディスプレイなどの表示装置であってもよい。
【００４０】
記憶部２４は、制御部２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read  Only  Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random  Access  Memory）により実現される。
【００４１】
操作入力部２５は、ユーザによる操作入力を検出し、検出した入力信号を制御部２０に出力する。この操作入力部２５は、タッチパネル、スイッチ、またはボタン等により実現される。
【００４２】
ネットワーク通信部２６は、有線／無線によりネットワーク（クラウド）と接続し、データの送受信を行うための通信モジュールである。ネットワーク通信部２６は、例えば有線ＬＡＮ（Local  Area  Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless  Fidelity、登録商標）等によりネットワークと通信接続する。
【００４３】
以上、ユーザ端末２の構成について説明した。ユーザ端末２は、ユーザに装着されるウェアラブル端末（ＨＭＤ、透過式メガネ型ウェアラブル端末（スマートグラス）、スマートバンド、スマートウォッチ、スマートネック等）、スマートフォン、携帯電話端末、タブレット端末、ゲーム機、音楽プレーヤー等により実現されてもよい。また、図３に示す構成のうち少なくとも一部が別体であってもよい。また、ユーザ端末２は、図示しないマイクロホンやスピーカをさらに有していてもよい。
【００４４】
＜＜３．動作処理＞＞
次に、本実施形態による情報処理システムの動作処理について図５〜図１５を参照して具体的に説明する。
【００４５】
＜３−１．第１の動作処理＞
図５は、本実施形態の第１の実施例による動作処理を示すシーケンス図である。ここでは、センサデータの一例として加速度センサ値を用いる。また、無線信号の一例として無線ＬＡＮにより発信するプローブリクエストを用いる。
【００４６】
図５に示すように、ユーザ端末２は、加速度センサ値を取得し（ステップＳ１０３）、加速度センサ値を無線信号に埋め込み（ステップＳ１０６）、ブロードキャストする（ステップＳ１０９）。ユーザ端末２による上記ステップＳ１０３〜ステップＳ１０９は、継続的に行われ得る。
【００４７】
次に、デジタルサイネージ装置１は、無線信号受信部１１により継続的に無線信号を受信し、受信した無線信号からＭＡＣアドレス（ユーザ端末２の識別情報）を取得する（ステップＳ１１２）。デジタルサイネージ装置１は、多数の無線信号を受信した場合、各ユーザ端末２のＭＡＣアドレスを取得し得る。
【００４８】
次いで、デジタルサイネージ装置１は、取得したＭＡＣアドレスに対応するユーザ端末２のＲＳＳＩを取得する（ステップＳ１１５）。
【００４９】
次に、デジタルサイネージ装置１は、受信した無線信号から、ユーザ端末２の加速度センサ値を取得する（ステップＳ１１８）。
【００５０】
次いで、デジタルサイネージ装置１は、上記ステップＳ１１５で取得したＲＳＳＩに基づいて、ユーザ端末２が近くに存在するか否かを判断する（ステップＳ１２１）。具体的には、例えばデジタルサイネージ装置１の判定部１０ａは、ＲＳＳＩが所定の閾値（例えば−20ｄＢ）を超える場合、当該ＲＳＳＩのユーザ端末２がデジタルサイネージ装置１の近くに存在すると判断する。なお本実施形態では、０ｄＢが最も強い（デジタルサイネージ装置１に最も近い）電波強度とする。
【００５１】
次に、近くに存在すると判断された場合（ステップＳ１２１／Ｙｅｓ）、判定部１０ａは、上記ステップＳ１１８で取得した加速度センサ値に基づいて、ユーザ端末２が「停止状態」であるか否かを判定する（ステップＳ１２４）。具体的には、例えば判定部１０ａは、加速度センサ値の大きさが、「停止」判定可能な閾値を下回った場合（若しくは所定回数（所定時間）連続して閾値を下回った場合）、ユーザ端末２が停止状態になったと判定する。
【００５２】
次いで、ユーザ端末２が停止状態になったと判定された場合（ステップＳ１２４／Ｙｅｓ）、判定部１０ａは、ユーザがデジタルサイネージ装置１に注目していると判定する（ステップＳ１２７）。このように、本実施形態では、デジタルサイネージ装置１の近くで立ち止まった場合に注目していると判定している。また、判定部１０ａは、立ち止まった場合の他、近くでユーザが歩行速度を緩めた場合や、足早に近付いてきた場合等、より詳細なユーザ行動に応じて注目度合いを判定することも可能である。また、ユーザ端末２から発信される無線信号は、例えば50msec間隔でブロードキャストされ、判定部１０ａは、ユーザがコンテンツを少し見ただけでも注目していると判定することが可能である。本実施形態では、光学ベースのセンサや接触、近接系のセンサ等を用いないため、照明条件の変化や、雨、雪等の影響を受けたり、ユーザに手間をかけさせることなく、ユーザの注目度合いを詳細に精度良く判定することが可能となる。
【００５３】
次に、デジタルサイネージ装置１は、ユーザが注目していると判定した時に再生していたコンテンツのコンテンツＩＤと再生位置を取得し、ＭＡＣアドレスと対応付けて記憶する（ステップＳ１３０）。これにより、誰がどのコンテンツに注目していたか、また、コンテンツに注目していた人数等を集計することが可能となる。また、蓄積されたデータは、広告会社にフィードバックされてもよい。
【００５４】
以上説明した例では、ユーザ端末２側での無線信号の送信、およびデジタルサイネージ装置１側での無線信号の解析はそれぞれ継続的に行われる。これにより、デジタルサイネージ装置１は、ユーザがコンテンツに注目する前後の動きを把握することも可能となる。上述した例では、判定時のコンテンツＩＤと再生位置をＭＡＣアドレスと対応付けて記憶しているが、さらに判定前後の当該ユーザ端末２の動き（加速度センサ値）も併せて記憶するようにしてもよい。これにより、コンテンツに注目する際のユーザの状態の変化も取得することができる。
【００５５】
また、上述した動作処理では、ユーザ状態データの一例として加速度センサ値を用いたが、本実施形態はこれに限定されず、例えば行動センシング判定結果を用いてもよい。すなわち、例えばユーザ端末２側に行動センシング機能が設けられている場合、ユーザ端末２はモーションセンサ等により検知したデータに基づいて行動センシングを行い、その判定結果を無線信号のデータ列に埋め込んでブロードキャストする。この場合、デジタルサイネージ装置１の判定部１０ａは、無線信号から取得したユーザ端末２の状態判定結果に従ってユーザ端末２の状態を判定することができる。
【００５６】
＜３−２．第２の動作処理＞
以上説明した第１の実施例では、加速度センサ値等の、無線信号に埋め込まれたユーザ状態データに基づいて注目判定を行っているが、本実施形態はこれに限定されず、例えばユーザ端末２の電波強度の変化に基づいて注目判定することも可能である。以下、図６を参照して具体的に説明する。
【００５７】
図６は、第２の実施例による動作処理を示すシーケンス図である。図６に示すように、まず、ユーザ端末２は、継続的に無線信号（プローブリクエストフレームやアドバタイジングパケット）をブロードキャストする（ステップＳ２０３）。
【００５８】
次に、デジタルサイネージ装置１の制御部１０は、受信した無線信号からＭＡＣアドレスを取得する（ステップＳ２０６）。
【００５９】
次いで、制御部１０は、取得したＭＡＣアドレスに対応するユーザ端末２のＲＳＳＩを取得する（ステップＳ２０９）。ここで取得したＲＳＳＩを、「ＲＳＳＩｎ」とする。
【００６０】
次に、制御部１０は、同ユーザ端末（ＭＡＣアドレス）の一つ前の時刻のＲＳＳＩ（ＲＳＳＩｎ−1）との差を求める（ステップＳ２１２）。差分算出は、定期的な時刻ごと（例えば１秒ごと)に行う。
【００６１】
次いで、
｜ＲＳＳＩｎ−ＲＳＳＩｎ−１｜＜Ｔｍｓ
を満たす場合（ステップＳ２１５／Ｙｅｓ）、制御部１０は、ユーザ端末２のＭＡＣアドレスに対応付けて、ＲＳＳＩｎおよびＲＳＳＩｎを取得した時刻を記録する（ステップＳ２１８）。ここで、閾値「Ｔｍｓ」は、ユーザ端末２が移動しているか停止しているかを判断するための閾値であって、一つ前の時刻のＲＳＳＩ（ＲＳＳＩｎ−1）との差が閾値「Ｔｍｓ」を下回る場合、ユーザ端末２が停止していると判断し得る。
【００６２】
次に、制御部１０は、特定の過去Ｔ時間内の特定ＭＡＣアドレスのＲＳＳＩｎごとの集計［Ｎｒｘ］を求める（ステップＳ２２１）。ここで、［］は配列を意味し、ｘは電波強度（ｄＢ）を示す。例えば、ＲＳＳＩの範囲を、１０ｄＢ、０ｄＢ台（０〜−１０ｄＢ）、−１０ｄＢ台（−１０ｄＢ〜−２０ｄＢ）、−２０ｄＢ台（−２０ｄＢ〜−３０ｄＢ)、−３０ｄＢ台(−３０ｄＢ〜−４０ｄＢ)、−４０ｄＢ台（−４０ｄＢ〜−５０ｄＢ）、−５０ｄＢ台（−５０ｄＢ〜−６０ｄＢ)、−６０ｄＢ台（−６０ｄＢ〜−７０ｄＢ）、−７０ｄＢ台（−７０ｄＢ以下）としたときに、過去Ｔ時間内において、これら何れかの範囲で特定ＭＡＣアドレス（上記ステップＳ２１５で停止していると判断されたユーザ端末２のＭＡＣアドレス）の無線信号が検出された回数を求める。かかる計数処理は、例えば1秒に1回行う。
【００６３】
次いで、制御部１０は、
Ｃ＝ΣＮｒｘ（例えば、ｘ＝｛０，−１０，−２０｝）
とした時、Ｃ＞Ｃｎを満たすか否かを判断する（ステップＳ２２４）。Ｃｎはデジタルサイネージのすぐ近くで（例えば所定の電波強度の範囲（０ｄＢ〜−２０ｄＢ）で）立ち止まったとみなすカウント数の閾値である。制御部１０は、上記ステップＳ２１５で、定期的な時刻ごと（例えば1秒ごと）に過去と現在の電波強度の差分を算出し、その値が閾値「Ｔｍｓ」を下回る場合、ユーザ端末２が停止しているとみなし、カウントする（カウント数：Ｃを１増分）。したがって、ここでは、一定程度（一定時間）「停止」がカウントされたか否かを判断する。これにより、例えばデジタルサイネージ装置１の前を通り過ぎただけのユーザを注目判定しないようにできる。
【００６４】
次に、ユーザ端末２が一定程度停止状態になったと判定された場合（ステップＳ２２４／Ｙｅｓ）、判定部１０ａは、ユーザがデジタルサイネージ装置１に注目していると判定する（ステップＳ２３０）。
【００６５】
そして、デジタルサイネージ装置１は、ユーザが注目していると判定した時に再生していたコンテンツのコンテンツＩＤと再生位置を取得し、ＭＡＣアドレスおよびカウント数「Ｃ」と対応付けて記憶する（ステップＳ２３３）。本実施形態では、カウント数を注目度として扱ってもよい。
【００６６】
以上説明したように、本実施形態では、ユーザ端末２から発信される電波の受信強度の変化に基づいて、デジタルサイネージ装置１に近寄って立ち止まった動作を検出し、注目判定を行うことができる。なお、本実施例によるデジタルサイネージ装置１は、無線信号に埋め込まれるユーザのリアルタイムの心拍データの変化も考慮して、コンテンツへの注目判定を行ってもよい。例えば、デジタルサイネージ装置１の判定部１０ａは、前記ユーザが、無線信号のユーザ状態データに含まれるユーザの心拍情報が最も高まった時刻周辺で再生されていたコンテンツに注目していると判定する。
【００６７】
＜３−３．第３の動作処理＞
続いて、上記第１、第２の実施例によりユーザが注目していることが判定された場合、デジタルサイネージ装置１は、ユーザの注目に応じてコンテンツを変更することが可能である。これにより、例えば広告効果を高めることができる。以下、図７〜図１０を参照して説明する。
【００６８】
図７は、第３の実施例によるユーザ注目に応じて詳細なコンテンツに切り換える動作処理を示すフローチャートである。図７に示すように、上記第１または第２の実施例によりユーザがデジタルサイネージ装置１に注目していると判定されると（ステップＳ３０３／Ｙｅｓ）、デジタルサイネージ装置１のコンテンツ制御部１０ｂは、判定時に再生しているコンテンツの詳細説明を、テロップでオーバーレイ若しくは画面を分割して表示するよう制御する。これにより、注目しているユーザに対してコンテンツの詳細な情報を提示することができる。
【００６９】
なお、本実施形態は、ユーザが注目しているコンテンツの詳細説明をデジタルサイネージ装置１で再生することに限定されず、ユーザ側の情報処理端末で再生するようにしてもよい。例えばユーザがＨＭＤをかけていたり、スマートフォン、スマートウォッチ等を所持していたりする場合で、かつ、デジタルサイネージ装置１が詳細情報を無線信号のデータ列に埋め込んでユーザ端末２のようにブロードキャストしている場合、ユーザ側のデバイスはブロードキャストされているデータ（詳細情報）をその画面に表示することが可能である。これにより、デジタルサイネージ装置１は、例えば自身の表示部１２には概要を表示し、ユーザ側にはより詳しい説明を表示することができる。また、詳細説明は、音声データやユーザ側のＴＴＳ（音声合成：text-to-speech）を介してテキストを音声に変換されてもよく、この場合は詳細情報がユーザ側デバイスのヘッドフォンやスピーカから再生される。
【００７０】
図８は、第３の実施例によるユーザ注目に応じて長編のコンテンツに切り換える動作処理を示すフローチャートである。図８に示すように、上記第１または第２の実施例によりユーザがデジタルサイネージ装置１に注目していると判定されると（ステップＳ３１３／Ｙｅｓ）、デジタルサイネージ装置１のコンテンツ制御部１０ｂは、判定時に再生しているコンテンツを長編バージョンのコンテンツに切り替えるよう制御する。
【００７１】
図９は、第３の実施例によるユーザ注目に応じてコンテンツの言語を切り換える動作処理を示すフローチャートである。図９に示すように、上記第１または第２の実施例によりユーザがデジタルサイネージ装置１に注目していると判定されると（ステップＳ３２３／Ｙｅｓ）、デジタルサイネージ装置１は、注目しているユーザのユーザ端末２から、第一言語の情報を取得する（ステップＳ３２６）。第一言語の情報は、例えばユーザ状態データと同様に無線信号のデータ列に埋め込まれていてもよいし、デジタルサイネージ装置１が対象のユーザ端末２に対して要求して取得してもよい。
【００７２】
次いで、コンテンツ制御部１０ｂは、対応する言語の字幕を重畳して表示したり、対応する言語の音声を出力したりする（ステップＳ３２９）。
【００７３】
なお、注目判定されたユーザが複数いる場合、多数決でコンテンツの切替制御を行ってもよい。また、コンテンツ制御部１０ｂは、例えば注目しているユーザ数が１０で、それらのユーザの第一言語別の集計結果が、日本語４、英語２、中国語２、ドイツ語２だった場合、主音声を日本語、字幕を英語、中国語、およびドイツ語で表示するようにしてもよい。また、コンテンツ制御部１０ｂは、周辺の複数のデジタルサイネージ装置１が連動している場合、各デジタルサイネージ装置１でそれぞれの言語の音声を出力するよう割り当て制御を行ってもよい。
【００７４】
図１０は、第３の実施例によるユーザ注目に応じてグループ向けのコンテンツに切り換える動作処理を示すフローチャートである。図１０に示すように、上記第１または第２の実施例によりユーザがデジタルサイネージ装置１に注目していると判定されると（ステップＳ３３３／Ｙｅｓ）、デジタルサイネージ装置１は、注目している各ユーザのユーザ端末２からグループＩＤを取得する（ステップＳ３３６）。
【００７５】
次に、コンテンツ制御部１０ｂは、複数のユーザ端末２（ＭＡＣアドレスで識別可能）から同一のグループＩＤが検出された場合、グループ向けのコンテンツに変更する（ステップＳ３３９）。これにより、例えば家族、友達連れ、恋人等のグループごとに効果的なコンテンツ再生を行うことができる。なお、異なる種類のグループＩＤが検出された場合（複数のグループがいた場合）、例えば多数決で最も多いグループ向けのコンテンツに変更してもよい。例えばコンテンツ制御部１０ｂは、家族グループが４、友達グループが２、恋人グループが１であった場合、家族向けのコンテンツに変更する。
【００７６】
＜３−４．第４の動作処理＞
また、本実施形態による情報処理システムは、コンテンツに注目したユーザに対して、クーポン用のキーを発行することも可能である。ユーザは、コンテンツで紹介された広告製品をインターネット等で購入する際に、当該クーポン用キーを用いることが可能である。これにより、広告効果の測定も可能となる。以下、図１１を参照して具体的に説明する。
【００７７】
図１１は、本実施形態の第４の実施例によるクーポン発行時の動作処理を示すフローチャートである。本実施形態では、ユーザ端末２のＭＡＣアドレスが、事前にクラウド側の購入管理サービスに登録されているものとする。
【００７８】
図１１に示すように、まず、上記第１または第２の実施例によりユーザがデジタルサイネージ装置１に注目していると判定されると（ステップＳ４０３／Ｙｅｓ）、デジタルサイネージ装置１は、注目しているユーザ端末２のＭＡＣアドレスと、デジタルサイネージ装置のＩＤ（ＭＡＣアドレス）と、判定時に再生していたコンテンツのＩＤを、視聴履歴としてクラウドの視聴管理サーバ（不図示）に送信する（ステップＳ４０６）。
【００７９】
次に、ユーザがユーザ端末２でショッピングサイトにログインすると、ショッピングサイトサーバが視聴管理サーバに、当該ユーザ端末２のＭＡＣアドレスを送信して問い合わせる（ステップＳ４０９）。
【００８０】
次いで、視聴管理サーバは、問い合せのあったＭＡＣアドレスに紐付けられる資料履歴をショッピングサイトサーバに返信する（ステップＳ４１２）。
【００８１】
次に、ネットショッピングサイトサーバは、視聴履歴に基づいて、ユーザ（ユーザ端末２）にクーポンコードを発行する（ステップＳ４１５）。
【００８２】
そして、ユーザが発行されたクーポンコードを使用してショッピングサイトでショッピングを行うと、例えばデジタルサイネージ装置１の運営会社に購買情報（広告効果）が送信される（ステップＳ４１８）。
【００８３】
なおクーポン発行処理は、上述したようなクラウド上のサーバを介す方法に限定されず、デジタルサイネージ装置１が、直接ユーザ端末２に広告製品等のクーポンを発行することも可能である。以下、図１２および図１３を参照して説明する。
【００８４】
図１２は、本実施形態の第４の実施例による他のクーポン発行動作処理を示すフローチャートである。図１２に示すように、まず、デジタルサイネージ装置１は、広告コンテンツを再生する（ステップＳ４２３）。
【００８５】
次に、デジタルサイネージ装置１は、ビーコンフレーム等の無線信号に、サイネージＩＤ、再生中の広告コンテンツＩＤ、クーポンＩＤ、（あればクーポン有効期限)を含むクーポンデータを埋め込み、Ｎ秒ごとに無線信号通信部からブロードキャスト送信する（ステップＳ４２６）。例えば、デジタルサイネージ装置１は、クーポンデータとして「coupon:AAAA-BBBB-CCCC」（AAAA:サイネージＩＤ、BBBB:広告コンテンツＩＤ、CCCC:クーポンＩＤ）と埋め込む。
【００８６】
そして、ユーザ端末２は、ビーコンを受信すると、ビーコンに含まれるクーポンデータを、自身の持つクーポンＤＢ（記憶部２４）に記録する（ステップＳ４２９）。
【００８７】
これにより、近くを通るユーザに対してクーポンを直接発行することができる。なお、デジタルサイネージ装置１は、上記第１、第２の実施例により注目判定が行われた際に、クーポンコードを埋め込んだビーコン等の無線信号を無線信号通信部から発信するようにしてもよい。
【００８８】
次に、このようにして発行されたクーポンの利用時について図１３を参照して説明する。図１３に示すように、まず、ユーザ端末２は、ショッピングサイトへアクセスすると（ステップＳ４３３）、ショッピングサイトから広告コンテンツＩＤを取得する（ステップＳ４３６）。
【００８９】
次いで、ユーザ端末２は、クーポンＤＢから当該広告コンテンツＩＤに対応するコンテンツのクーポンを検索する（ステップＳ４３９）。
【００９０】
次に、クーポンを発見すると（ステップＳ４４２／Ｙｅｓ）、ユーザ端末２は、ショッピングサイトにクーポンデータを送信する（ステップＳ４４５）。これにより、ユーザはクーポンを利用してショッピングを行うことができる。また、この際、クーポンデータにはサイネージＩＤも含まれているため、ショッピングサイトサーバは、クーポンが利用されてショッピングが行われた際に、サイネージＩＤと共に、デジタルサイネージ装置１の運営会社に購買情報（広告効果）を送信してもよい。
【００９１】
＜３−５．補足＞
以上、本実施形態による情報処理システムについて複数の実施例を用いて説明した。続いて、本実施形態の補足について説明する。
【００９２】
上述したように、注目判定時のコンテンツＩＤおよび再生位置が蓄積されるため、デジタルサイネージ装置１は、どのコンテンツが（さらにはどのシーンが）どの程度注目されたか（注目人数や注目時間）を、判定結果としてデジタルサイネージ装置１の運営会社や広告主に出力することが可能である。しかし、注目判定結果の出力は、かかる例に限定されず、例えば注目しているユーザの生体情報や感情情報の変化といったより詳細な情報を出力することも可能である。以下、このような本実施形態の変形例について図１４、図１５を参照してそれぞれ説明する。
【００９３】
（３−５−１．心拍の変化を示すグラフの生成）
図１４は、第１の変形例による心拍の変化を示すグラフの生成処理を示すフローチャートである。図１４に示すように、まず、デジタルサイネージ装置１は、上記第１または第２の実施例により注目している判定された１以上のユーザ端末２から、ユーザの心拍数Ｈｔを取得する（ステップＳ５０３）。心拍数Ｈｔのデータは、例えばユーザ状態データと同様に無線信号のデータ列に埋め込まれて継続的にブロードキャストされ得る。デジタルサイネージ装置１は、ＭＡＣアドレスによりユーザ端末２の識別を行い、注目判定された１以上のユーザ端末２の心拍数Ｈｔを取得する。
【００９４】
次に、デジタルサイネージ装置１の制御部１０は、再生しているコンテンツのフレームごとに、注目判定された１以上のユーザ端末２のＭＡＣアドレスと心拍数Ｈｔを対応付けて記録する（ステップＳ５０６）。
【００９５】
次いで、制御部１０は、上記注目ユーザの心拍数Ｈｔの記録をコンテンツのフレーム数分継続すると（ステップＳ５０９／Ｙｅｓ）、ユーザ端末２のＭＡＣアドレス毎に心拍数の差ｄＨ＝Ｈｔ−Ｈｔ−１を算出する（ステップＳ５１２）。ここで、Ｈｔは現在の心拍数、Ｈｔ−１は一つ前の時刻の心拍数である。
【００９６】
次いで、制御部１０は、グラフに、フレームごとの心拍数の差ｄＨをプロットする（ステップＳ５１５）。
【００９７】
次に、制御部１０は、ＭＡＣアドレスごとに最大値ｄＨｍａｘと最小値ｄＨｍｉｎを算出する（ステップＳ５１８）。
【００９８】
次いで、制御部１０は、グラフ上において、最大値ｄＨｍａｘと最小値ｄＨｍｉｎにそれぞれ対応するフレームをマーキングする（ステップＳ５２１）。
【００９９】
そして、制御部１０は、グラフをＤＢ（記憶部１４）に記録する（ステップＳ５２４）。
【０１００】
これにより、コンテンツのフレーム毎の注目ユーザの心拍の変化を示すグラフを生成することができる。かかるグラフは、デジタルサイネージ装置１の運営会社や広告主に出力され、注目度測定に用いられる。また、最大値ｄＨｍａｘと最小値ｄＨｍｉｎをマーキングすることで、心拍数が急激に上がった個所と下がった個所を直感的に把握することができる。
【０１０１】
なお、ここでは、心拍数の微分値(≒単位時刻ごとの差分ｄＨ）を算出してグラフにプロットしたが、本実施形態はこれに限定されず、例えば単位時刻ごとの１以上の注目ユーザの心拍数の平均値を算出してグラフにプロットしてもよい。
【０１０２】
（３−５−２．ユーザ感情の変化を示すグラフの生成）
図１５は、第２の変形例によるユーザ感情の変化を示すグラフの生成処理を示すフローチャートである。
【０１０３】
図１５に示すように、まず、ユーザ端末２は、ＵＩから現在のユーザ感情を取得する（ステップＳ５３３）。例えばユーザ端末２は、表示部２３に現在のユーザ感情を選択する選択画面（若しくは快感情を入力するボタンだけ）を表示し、ユーザにタップさせる。若しくは、例えばユーザ端末２に、ユーザの快感情を入力する物理的なボタンを設けてもよい。
【０１０４】
次に、ユーザ端末２は、取得したユーザ感情を無線信号に埋め込んでブロードキャストする（ステップＳ５３６）。
【０１０５】
次いで、デジタルサイネージ装置１の制御部１０は、感情ごとの積み上げグラフとしてプロットする（ステップＳ５３９）。例えば制御部１０は、横軸をコンテンツのフレーム番号として、取得したユーザ感情ごとの積み上げグラフを生成する。
【０１０６】
そして、上記ステップＳ５３３〜Ｓ５３９の処理は、コンテンツが再生されている間繰り返される（ステップＳ５４２）。これにより、コンテンツのどの位置でユーザがどのような感情を抱いたかが、ミクロにもマクロにも知ることが出来るグラフが生成される。
【０１０７】
（３−５−３．メガネ型ＨＭＤ装着時）
ユーザが、メガネ型ＨＭＤを装着し、位置情報、高さ情報（身長）、顔の向き情報が埋め込まれた無線信号がメガネ型ＨＭＤから発信されている場合、デジタルサイネージ装置１は、受信した無線信号から取得したこれらの情報に基づいて、注目判定を行うことも可能である。
【０１０８】
（３−５−４．個人情報の更新）
また、無線信号の情報と個人情報がクラウド側で紐付けられる場合（例えばＭＡＣアドレスとユーザＩＤが紐付けられている場合）、デジタルサイネージ装置１は、広告コンテンツに対する注目度に応じて個人情報の嗜好を更新することも可能である。また、注目判定結果をユーザ端末２に返送し、ユーザ端末２側で嗜好更新するようにしてもよい。
【０１０９】
（３−５−５．連携）
また、注目ユーザに応じて複数のデジタルサイネージ装置１を連携させることも可能である。例えば、第１のデジタルサイネージ装置１ａに注目したユーザには、周辺の第２のデジタルサイネージ装置１ｂのコンテンツを、第１のデジタルサイネージ装置１ａと同じにしたり、変えたり、若しくは、敢えて広告を流さない、というようなコンテンツ制御を行ってもよい。
【０１１０】
＜＜４．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、コンテンツへの注目度をより詳細に測定することが可能となる。
【０１１１】
本実施形態では、光学ベースのセンサや、接触、近接系のセンサ等を用いずに、電子広告看板として公共に設置されるデジタルサイネージ装置１に対する多数のユーザの注目度を実時間で測定することができる。したがって、カメラでは捉えられないほど距離が遠かったり、重なっているユーザの注目度も検出可能である。また、通常のカメラは、直射日光下や暗い場所では精度が低いが、本実施形態では無線信号を用いるため、精度良く注目判定を行うことができる。
【０１１２】
また、本実施形態では、無線信号が例えば50msec間隔でブロードキャストされ、人体の移動速度および距離に対して精度やサンプリング間隔が十分であるため、コンテンツを少し見てふと動きを止めるなどの一瞬の注目も判定することが可能である。
【０１１３】
また、注目判定に応じてコンテンツを変更することも可能である。これにより、広告コンテンツの広告効果を高めることができる。また、デジタルサイネージ装置１は、例えば無線信号に埋め込まれた生体情報や感情データに応じて広告コンテンツを制御することも可能である。これにより、例えば注目判定されたユーザが飲み過ぎで体調が悪い場合は、酒の広告は出さず、代わりに胃腸薬の広告を出すなどの対策が可能となる。
【０１１４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１５】
例えば、上述したデジタルサイネージ装置１、またはユーザ端末２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、デジタルサイネージ装置１、またはユーザ端末２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【０１１６】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１１７】
なお、本技術は以下のような構成も取ることができる。
（１）
周辺のユーザデバイスから信号を受信する通信部と、
コンテンツを出力する出力部と、
前記受信した信号の電波強度が所定値以上であるとき、前記ユーザデバイスからのブロードキャスト信号に含まれるユーザデバイスに対応するユーザの状態を示すユーザ状態データに基づき、前記ユーザデバイスに対応するユーザが前記出力部により出力されるコンテンツに注目していると判定する制御部と、
を備える、コンテンツ出力システム。
（２）
前記制御部は、
前記ユーザ状態データに含まれるモーション情報に応じて、前記ユーザデバイスが前記コンテンツ出力システムの周辺で停止していると判断し、
前記ユーザデバイスに対応するユーザが前記出力部により出力されるコンテンツに注目していると判定する、前記（１）に記載のコンテンツ出力システム。
（３）
前記制御部は、
前記ユーザ状態データに含まれる、前記ユーザデバイスにおける行動認識結果としての状態データに基づき、前記ユーザデバイスに対応するユーザが前記コンテンツ出力システムの周辺で立ち止まったと判断し、
前記ユーザデバイスに対応するユーザは前記出力部に出力されるコンテンツに注目していると判定する、前記（１）に記載のコンテンツ出力システム。
（４）
前記制御部は、
前記ユーザ状態データに基づき、前記ユーザデバイスに対応するユーザが前記出力部に出力されるコンテンツに注目していると判定すると、
前記出力部に出力されるコンテンツを変更する、前記（１）〜（３）のいずれか１項に記載のコンテンツ出力システム。
（５）
前記制御部は、前記コンテンツの変更として、前記出力部に出力されるコンテンツと共に当該コンテンツの詳細説明を表示する、前記（４）に記載のコンテンツ出力システム。
（６）
前記制御部は、前記コンテンツの変更として、前記出力部に出力されるコンテンツを長編バージョンに切り替える、前記（４）に記載のコンテンツ出力システム。
（７）
前記制御部は、
前記ユーザデバイスの信号から、当該ユーザデバイスに対応するユーザの第１言語を推定可能な第１言語情報を取得した場合、
前記コンテンツの変更として、前記出力部に出力されるコンテンツと共に、前記第１言語による前記コンテンツの説明を出力する、前記（４）に記載のコンテンツ出力システム。
（８）
前記制御部は、
複数の前記ユーザデバイスの信号から、同一のグループＩＤが検出された場合、
前記コンテンツの変更として、前記出力部に出力されるコンテンツをグループ向けのコンテンツに切り替える、前記（４）に記載のコンテンツ出力システム。
（９）
前記制御部は、複数のユーザデバイスの信号から異なる第１言語情報を取得した場合、最も多い言語により前記コンテンツの説明を出力する、前記（７）に記載のコンテンツ出力システム。
（１０）
前記制御部は、複数のユーザデバイスの信号からグループＩＤが検出された場合、最も多いグループ向けのコンテンツに切り替える、前記（８）に記載のコンテンツ出力システム。
（１１）
前記制御部は、
前記ユーザ状態データに基づき、前記ユーザデバイスに対応するユーザが前記出力部に出力されるコンテンツに注目していると判定すると、
前記コンテンツ出力システムの識別情報を含む、前記コンテンツの購入時に有効なクーポンを、前記通信部から送信する、前記（１）〜（１０）のいずれか１項に記載のコンテンツ出力システム。
（１２）
前記制御部は、前記ユーザが、前記ユーザ状態データに含まれる前記ユーザの心拍情報が最も高まった時刻周辺で前記出力部により出力されているコンテンツに、注目していると判定する、前記（１）〜（１１）のいずれか１項に記載のコンテンツ出力システム。
（１３）
前記制御部は、
前記受信した信号の電波強度の変化に応じて、前記ユーザデバイスが前記コンテンツ出力システムの周辺で停止していると判断し、
前記ユーザデバイスに対応するユーザが前記出力部により出力されるコンテンツに注目していると判定する、前記（１）〜（１２）のいずれか１項に記載のコンテンツ出力システム。
（１４）
前記制御部は、
前記出力部に出力しているコンテンツに注目していると判定した１以上のユーザの前記ユーザ状態データを単位時間ごとに集計し、
前記コンテンツのフレーム毎に前記集計した結果を示すデータを生成する、前記（１）〜（１３）のいずれか１項に記載のコンテンツ出力システム。
（１５）
ブロードキャスト信号を送信する通信部と、
ユーザの状態をセンシングし、センシングデータを生成するセンサと、
前記センサにより生成されたセンシングデータに基づきユーザ状態データを生成し、前記ブロードキャスト信号に埋め込んで前記通信部を介してブロードキャストするように制御する制御部と、
を備える、端末装置。
（１６）
前記センサは、ユーザの動きをセンシングし、動きデータを生成する、前記（１５）に記載の端末装置。
（１７）
前記センサは、ユーザの心拍をセンシングし、心拍データを生成する、前記（１５）または（１６）に記載の端末装置。
（１８）
前記制御部は、コンテンツ出力装置から、前記通信部を介して、前記コンテンツ出力装置の識別情報を含む、コンテンツ購入時に有効なクーポンを受信する、前記（１５）〜（１７）のいずれか１項に記載の端末装置。
（１９）
プロセッサが、
出力部からコンテンツを出力することと、
周辺のユーザデバイスから信号を受信する通信部により受信した信号の電波強度が所定値以上であるとき、前記ユーザデバイスからのブロードキャスト信号に含まれるユーザデバイスに対応するユーザの状態を示すユーザ状態データに基づき、前記ユーザデバイスに対応するユーザが前記出力部により出力されるコンテンツに注目していると判定することと、
を含む、コンテンツ出力方法。
（２０）
コンピュータを、
ブロードキャスト信号を送信する通信部と、
ユーザの状態をセンシングし、センシングデータを生成するセンサと、
前記センサにより生成されたセンシングデータに基づきユーザ状態データを生成し、前記ブロードキャスト信号に埋め込んで前記通信部を介してブロードキャストするように制御する制御部と、
として機能させるためのプログラムが記録された、記憶媒体。
【符号の説明】
【０１１８】
１  デジタルサイネージ装置
２  ユーザ端末
１０  制御部
１０ａ  判定部
１０ｂ  コンテンツ制御部
１１  無線信号受信部
１２  表示部
１３  ネットワーク通信部
１４  記憶部
２０  制御部
２１  センサ
２２  無線信号送信部
２３  表示部
２４  記憶部
２５  操作入力部
２６  ネットワーク通信部
【図１】
2018020764.tif 000003
【図２】
2018020764.tif 000004
【図３】
2018020764.tif 000005
【図４】
2018020764.tif 000006
【図５】
2018020764.tif 000007
【図６】
2018020764.tif 000008
【図７】
2018020764.tif 000009
【図８】
2018020764.tif 000010
【図９】
2018020764.tif 000011
【図１０】
2018020764.tif 000012
【図１１】
2018020764.tif 000013
【図１２】
2018020764.tif 000014
【図１３】
2018020764.tif 000015
【図１４】
2018020764.tif 000016
【図１５】
2018020764.tif 000017
【国際調査報告】
2018020764.tif 000018
2018020764.tif 000019
2018020764.tif 000020
2018020764.tif 000021