(57)【要約】【課題】ジェスチャにより特定の相手に対してインプレッションを通知することが可能なクライアントおよびプログラムを提供する。【解決手段】クライアントは、ユーザが特定のジェスチャを行っているか否かを認識する認識部と、前記特定のジェスチャが認識されたときに、本クライアントの位置を示す位置情報と、前記ユーザが指し示す方向を示す方向情報とを生成するクライアント制御部と、前記特定のジェスチャを示すジェスチャ情報、前記位置情報、および前記方向情報をサーバに送信するクライアント通信部と、を備える。【選択図】図１
2020187764.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが特定のジェスチャを行っているか否かを認識する認識部と、
前記特定のジェスチャが認識されたときに、本クライアントの位置を示す位置情報と、前記ユーザが指し示す方向を示す方向情報とを生成するクライアント制御部と、
前記特定のジェスチャを示すジェスチャ情報、前記位置情報、および前記方向情報をサーバに送信するクライアント通信部と、
を備えるクライアント。
【請求項２】
前記クライアントは、音声入力部をさらに備え、
前記認識部は、
前記音声入力部により入力された音声に応じて、前記ユーザが前記特定のジェスチャを行っているか否かを認識する、
請求項１に記載のクライアント。
【請求項３】
前記認識部は、
前記音声と、前記ユーザの動作と、の組み合わせに応じて、前記ユーザが前記特定のジェスチャを行っているか否かを認識する、
請求項２に記載のクライアント。
【請求項４】
前記認識部は、
前記ユーザの手指の状態と腕の状態との組み合わせに応じて、前記ユーザが前記特定のジェスチャを行っているか否かを認識する、
請求項１乃至請求項３の何れか１項に記載のクライアント。
【請求項５】
前記認識部は、
前記ユーザの顔の動きに応じて、前記ユーザが前記特定のジェスチャを行っているか否かを認識する、
請求項１乃至請求項４の何れか１項に記載のクライアント。
【請求項６】
前記認識部は、
前記ユーザによる、前記ユーザと近接する位置の対象への接触を伴う動きに応じて、前記ユーザが前記特定のジェスチャを行っているか否かを認識する、
請求項１に記載のクライアント。
【請求項７】
前記認識部は、
機械学習により構築した識別機を用いて、前記ユーザが前記特定のジェスチャを行っているか否かを認識する、
請求項１乃至請求項６の何れか１項に記載のクライアント。
【請求項８】
コンピュータを、
ユーザが特定のジェスチャを行っているか否かを認識する認識部と、
前記特定のジェスチャが認識されたときに、本クライアントの位置を示す位置情報と、前記ユーザが指し示す方向を示す方向情報とを生成するクライアント制御部と、
前記特定のジェスチャを示すジェスチャ情報、前記位置情報、および前記方向情報をサーバに送信するクライアント通信部と、
として機能させる、
ためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、クライアントおよびプログラムに関する。
【背景技術】
【０００２】
日々の生活において、相手に想いを伝えたいという場面は多く発生する。
【０００３】
例えば下記特許文献１では、ある対象者の発言に感動した場合に、その対象者に指向性マイクを向けて意思伝達スイッチを押すとその対象者についての利用者の感動に関する対象者情報が作成される催事動向分析システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−００３４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば混雑した車内で高齢者に席を譲っている若者に気付いて、感心したり、褒めてあげたいと思っていても、見知らぬ人に声を掛けるのは難しい。また、良い行いをしている人に直接話し掛けることに抵抗がある場合に、メールやＳＮＳ（ソーシャルネットワークサービス）でメッセージを送ろうと思っても、相手のアドレスが分からなかったり、メッセージを入力するのが面倒な場合もある。
【０００６】
このように、友人、知人の他、見知らぬ人に対しても自分の想いを伝えたい場面が日常生活において多々発生しても、手軽に伝えられる最適な方法が無かった。
【０００７】
そこで、本開示では、ジェスチャにより特定の相手に対してインプレッションを通知することが可能なクライアントおよびプログラムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、ユーザが特定のジェスチャを行っているか否かを認識する認識部と、前記特定のジェスチャが認識されたときに、本クライアントの位置を示す位置情報と、前記ユーザが指し示す方向を示す方向情報とを生成するクライアント制御部と、前記特定のジェスチャを示すジェスチャ情報、前記位置情報、および前記方向情報をサーバに送信するクライアント通信部と、を備えるクライアントを提案する。
【０００９】
本開示によれば、コンピュータを、ユーザが特定のジェスチャを行っているか否かを認識する認識部と、前記特定のジェスチャが認識されたときに、本クライアントの位置を示す位置情報と、前記ユーザが指し示す方向を示す方向情報とを生成するクライアント制御部と、前記特定のジェスチャを示すジェスチャ情報、前記位置情報、および前記方向情報をサーバに送信するクライアント通信部と、として機能させる、ためのプログラムを提案する。
【発明の効果】
【００１０】
以上説明したように本開示によれば、ジェスチャにより特定の相手に対してインプレッションを通知することが可能となる。
【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態による情報処理システムの概要を説明する図である。
【図２】本開示の一実施形態による情報処理システムの構成図である。
【図３】本実施形態によるユーザ端末の構成例を示すブロック図である。
【図４】本実施形態によるウェアラブル端末の構成例を示すブロック図である。
【図５】本実施形態によるサーバの構成例を示すブロック図である。
【図６】本実施形態による第１の実施例のシチュエーションを説明する図である。
【図７】第１の実施例によるユーザ端末およびウェアラブル端末の動作処理を示すシーケンス図である。
【図８】第１の実施例によるサーバの動作処理を示すフローチャートである。
【図９】第１の実施例による対象人物の特定方法について説明する図である。
【図１０】第２の実施例によるユーザ端末およびウェアラブル端末の動作処理を示すシーケンス図である。
【図１１】第２の実施例によるサーバの動作処理を示すフローチャートである。
【図１２】第３の実施例によるサーバの動作処理を示すフローチャートである。
【図１３】本実施形態の応用例によるシチュエーションを説明する図である。
【図１４】本実施形態の応用例によるウェアラブル端末の構成例を示す図である。
【図１５】本実施形態の応用例によるウェアラブル端末の動作処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成
２−１．ユーザ端末の構成
２−２．ウェアラブル端末の構成
２−３．サーバの構成
３．動作処理
３−１．第１の実施例
３−２．第２の実施例
３−３．第３の実施例
４．応用例
５．まとめ
【００１５】
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
本実施形態による情報処理システムでは、ジェスチャにより特定の相手に対してインプレッションを通知することを可能とする。上述したように、日常生活において、良い行いまたは悪い行いをしている人に気付いた場合、褒めてあげたい、または注意したいと思うが、見知らぬ人に突然声を掛けるのは難しい。そこで、本実施形態では、特定のジェスチャが行われたことを検知すると、ユーザがジェスチャを向けた相手を認識し、良い評価または悪い評価を通知したり、さらにはジェスチャに紐付けられたメッセージを通知したりすることで、手軽にユーザの気持ちを相手に伝えることが可能となる。
【００１６】
図１は、本開示の一実施形態による情報処理システムの概要を説明する図である。図１に示すように、例えば車内で高齢者に席を譲っている若者に気付いて感心したユーザＡは、その若者（ユーザＢ）に対して、褒めてあげたい、または良い評価をしてあげたい場合、図１に示すように、親指を立ててこぶしを示すジェスチャをユーザＢに向けて行う。
【００１７】
ユーザＡのジェスチャが、装着したウェアラブル端末２ａにより検知され、特定のジェスチャと認識されると、本実施形態による情報処理システムは、ユーザＡの位置、およびジェスチャを向けている方向に基づいて、ジェスチャを向けている方向に存在するユーザＢが相手であると特定する。
【００１８】
そして、特定されたユーザに対して、ユーザＡが示したジェスチャに対応するインプレッションを通知する。具体的には図１に示すように、ユーザＢが装着するウェアラブル端末２ａの表示部に、「Ｇｏｏｄ」の評価を示すアイコンを表示させると共に、評価ポイントを蓄積させる。これにより、ユーザＡは、想いを伝えたい人に対してジェスチャを行うだけで、手軽に気持ちを伝えることができる。また、ユーザＢは、良いことをした時に周囲の人から好意的な気持ちを送られたことが分かり、暖かい気持ちになれる。一方、マナーの悪い人に対してもジェスチャを行うだけで、注意する気持ちやマイナスの評価を気兼ねなく伝えることができる。悪い評価を受けた人は、周りから見られていることを自覚し、マナー向上に努めることが期待される。
【００１９】
ここで、本実施形態によるジェスチャと対応するインプレッションの具体例の一例を、以下に列挙する。
【００２０】
【表１】
2020187764.tif 000003
【００２１】
また、相手が非常に近くにいる場合には、通常のジェスチャの他、直接身体の接触を伴うジェスチャも発生し得る。以下、具体例を列挙する。
【００２２】
【表２】
2020187764.tif 000004
【００２３】
次に、上述した本実施形態による情報処理システムの全体構成について説明する。図２は、本開示の一実施形態による情報処理システムの構成図である。図２に示すように、本実施形態による情報処理システムは、ユーザ端末１（１ａ、１ｂ）、ウェアラブル端末２（２ａ、２ｂ）、およびサーバ３を含む。サーバ３は、ネットワーク４を介してユーザ端末１と接続し、データの送受信を行う。
【００２４】
ウェアラブル端末２は、加速度センサ、方位センサ、脈拍センサ等の各種センサを備え、センサデータに基づいてジェスチャ認識を行う。認識したジェスチャ情報は、ユーザ端末１へ送信される。
【００２５】
ユーザ端末１は、ウェアラブル端末２と、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉ（登録商標）等の近距離無線通信により接続し、ジェスチャ情報やセンサデータ等を受信する。また、ユーザ端末１は、ジェスチャ情報および自装置の位置情報を、ネットワーク４を介してサーバ３へ送信する。
【００２６】
サーバ３は、ユーザ端末１ａから送信された位置情報およびジェスチャ情報と、ユーザの位置からジェスチャを向けている方向に居る人物を、他のユーザ端末１から検索し、特定する。そして、サーバ３は、特定した人物に対して、ジェスチャに対応するインプレッションを通知する。
【００２７】
＜＜２．構成＞＞
＜２−１．ユーザ端末の構成＞
図３は、本実施形態によるユーザ端末１の構成例を示すブロック図である。図３に示すように、ユーザ端末１は、制御部１００、通信部１１０、位置情報取得部１２０、カメラ１３０、マイクロホン１４０、操作入力部１５０、記憶部１６０、表示部１７０、およびスピーカ１８０を有する。
【００２８】
制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ端末１内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central  Processing  Unit）、マイクロプロセッサ等の電子回路によって実現される。
【００２９】
通信部１１０は、外部装置と有線／無線を介してデータの送受信を行う。具体的には、例えば通信部１１０は、公衆回線網との通信によりクラウド（サーバ３）と通信を行うこと、また、Ｗｉ−Ｆｉ通信、またはＢｌｕｅｔｏｏｔｈ通信等を用いてウェアラブル端末と通信を行うことができる。
【００３０】
位置情報取得部１２０は、ユーザ端末１の位置情報を取得する機能を有する。例えば位置情報取得部１２０は、ＧＰＳ（Global  Positioning  System）アンテナおよびＧＰＳアンテナにより受信されるＧＰＳ信号を処理するＧＰＳ処理部であってもよい。或いは、位置情報取得部１２０は、複数の基地局からのWi-Fi（登録商標）電波を受信するWi-Fiアンテナおよび受信されるWi-Fi電波の受信強度から各基地局との距離を推定し、各基地局との距離と各基地局の位置を利用して三角測量の原理に基づいて現在位置を算出する位置算出部であってもよい。
【００３１】
カメラ１３０は、ユーザ操作に応じて周囲を撮像し、撮像した画像情報を制御部１００に出力する。
【００３２】
マイクロホン１４０は、ユーザ操作に応じて周囲の音声を収音し、収音した音声情報を制御部１００に出力する。
【００３３】
操作入力部１５０は、タッチパネル、スイッチ、またはボタン等により実現され、ユーザによる操作入力を検出し、検出した入力信号を制御部１００に出力する。
【００３４】
記憶部１６０は、制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read  Only  Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random  Access  Memory）により実現される。
【００３５】
表示部１７０は、出力部の一例であって、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）装置、有機ＥＬ（ＯＬＥＤ：Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ディスプレイ装置などの表示装置により実現される。
【００３６】
スピーカ１８０は、出力部の一例であって、音声信号を再生する。
【００３７】
＜２−２．ウェアラブル端末の構成＞
図４は、本実施形態によるウェアラブル端末２の構成例を示すブロック図である。図４に示すように、ウェアラブル端末２は、制御部２００、通信部２１０、センサ２２０、操作入力部２３０、記憶部２４０、および表示部２５０を有する。
【００３８】
制御部２００は、演算処理装置および制御装置として機能し、各種プログラムに従ってウェアラブル端末２内の動作全般を制御する。制御部１００は、例えばＣＰＵ、マイクロプロセッサ等の電子回路によって実現される。
【００３９】
また、制御部２００は、ジェスチャ認識部２０１としても機能する。ジェスチャ認識部２０１は、センサ２２０により検知されたセンサデータに基づいて、ユーザの動作を解析し、ジェスチャを認識する。
【００４０】
通信部２１０は、外部装置と有線／無線を介してデータの送受信を行う。具体的には、例えば通信部２１０は、Ｗｉ−Ｆｉ通信、またはＢｌｕｅｔｏｏｔｈ通信等を用いてユーザ端末１と通信を行うことができる。
【００４１】
センサ２２０は、ユーザのジェスチャを認識するための各種センサであって、例えば加速度センサ、ジャイロセンサ、コンパス（方位センサ）、筋電センサ、振動センサ、脈拍センサ、またはマイク等を含む。
【００４２】
操作入力部２３０は、スイッチまたはボタン等により実現され、ユーザによる操作入力を検出し、検出した入力信号を制御部２００に出力する。
【００４３】
記憶部２４０は、制御部２００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、及び適宜変化するパラメータ等を一時記憶するＲＡＭにより実現される。
【００４４】
表示部２５０は、出力部の一例であって、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）装置、有機ＥＬ（ＯＬＥＤ：Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ディスプレイ装置などの表示装置により実現される。なおウェアラブル端末２には、他の出力部として、さらに発光部（インジケータ）、または振動部（例えば振動モータ）等を設けてもよい。
【００４５】
＜２−３．サーバの構成＞
図５は、本実施形態によるサーバ３の構成例を示すブロック図である。図５に示すように、サーバ３は、制御部３００、通信部３１０、ジェスチャ情報記憶部３２０、および評価ＤＢ（データベース）３３０を有する。
【００４６】
制御部３００は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ３内の動作全般を制御する。制御部３００は、例えばＣＰＵ、マイクロプロセッサ等の電子回路によって実現される。また、制御部３００は、端末位置特定部３０１、対象人物特定部３０２、意味特定部３０３、通知制御部３０４、および評価処理部３０５として機能する。
【００４７】
端末位置特定部３０１は、ジェスチャ情報を送信してきたユーザ端末１の位置を特定する。例えば端末位置特定部３０１は、ジェスチャ情報と共にユーザ端末１から送信された位置情報に基づいて、端末位置を特定する。
【００４８】
対象人物特定部３０２は、ジェスチャ情報および端末位置に基づいて、当該ジェスチャの対象とされている相手を特定する。例えば対象人物特定部３０２は、ジェスチャ情報に付加された方位センサデータと、多数のユーザ端末１の現在位置情報とに基づいて、ユーザがジェスチャを向けた人物の位置を特定し得る。
【００４９】
意味特定部３０３は、ジェスチャ情報記憶部３２０を参照して、ユーザ端末１から送信されたジェスチャに対応するインプレッションを特定する。
【００５０】
通知制御部３０４は、意味特定部３０３により特定されたジェスチャのインプレッションを、対象人物特定部３０２により特定された対象人物のユーザ端末に、通信部３１０から送信するよう制御する。
【００５１】
評価処理部３０５は、意味特定部３０３により特定されたジェスチャのインプレッションに応じた評価を、対象人物特定部３０２により特定された対象人物に紐付けて付与し、評価ＤＢ３３０に格納する。
【００５２】
通信部３１０は、外部装置と有線／無線を介してデータの送受信を行う。例えば通信部３１０は、ユーザ端末１とネットワーク４を介して接続し、ジェスチャ情報および位置情報を受信する。
【００５３】
ジェスチャ情報記憶部３２０には、上記表１、表２に示したような、ジェスチャおよび対応するインプレッションが記憶されている。
【００５４】
評価ＤＢ３３０は、評価処理部３０５により処理されたユーザ毎の評価データを蓄積する。
【００５５】
以上、本実施形態による情報処理システムに含まれる各装置の構成について具体的に説明した。続いて、本実施形態による動作処理について具体的に説明する。
【００５６】
＜＜３．動作処理＞＞
＜３−１．第１の実施例＞
まず、第１の実施例として、ゴミのポイ捨てをしている人物に対して怒りや注意の気持ちを伝えたい場合のジェスチャと相手への通知処理について説明する。図６は、本実施形態による第１の実施例のシチュエーションを説明する図である。図６に示すように、ユーザＤが、ゴミのポイ捨てをしているユーザＣを見つけた時に、マナー違反に対する怒りや注意したいという気持ちが生じ、「それはダメだぞ！」という気持ちを込めて指ピストルのジェスチャをユーザＣに向けて行った場合を想定する。
【００５７】
ここで、ユーザＣとユーザＤはそれぞれスマートフォン等のユーザ端末１ｃ、１ｄを携帯し、各ユーザの現在位置がシステム側に把握され得る。また、ユーザＤは、スマートバンド等のウェアラブル端末２を腕に装着し、これによりユーザＤのジェスチャが認識され得る。
【００５８】
以下、本実施例による動作処理について図７〜図８を参照して説明する。
【００５９】
図７は、第１の実施例によるユーザ端末１およびウェアラブル端末２の動作処理を示すシーケンス図である。図７に示すように、まず、ウェアラブル端末２は、センサ２２０からセンサデータを取得する（ステップＳ１０３）。
【００６０】
次に、ウェアラブル端末２のジェスチャ認識部２０１は、センサデータに基づいて、ジェスチャ認識を行う（ステップＳ１０６）。ジェスチャ認識部２０１は、例えば予め機械学習により構築した識別機にて、特定のジェスチャを検出する。ここでは一例として指ピストルを構えて撃つ動作を検出する。ユーザＤは、ゴミのポイ捨てをしているユーザＣを見つけた時に、マナー違反に対する怒りや注意したいという気持ちが生じ、「それはダメだぞ！」という気持ちを込めて指ピストルのジェスチャをユーザＣに向けて行うことが想定される。この場合、ユーザＤが腕に装着しているウェアラブル端末２のセンサ２２０により、指ピストルのジェスチャが認識される。より具体的には、指がピストル状の形状をしていることは、例えば筋電センサにより検知された筋電データにより検知され得る。また、銃を構えるような動作として肘から先を円弧上に上から振り下ろす動きが、加速度センサやジャイロセンサにより検知され得る。
【００６１】
次いで、指ピストルのジェスチャであると認識された場合（ステップＳ１０９／Ｙｅｓ）、ウェアラブル端末２の制御部２００は、センサデータに基づいて、腕の向き（ジェスチャを向けている方向）を取得する（ステップＳ１１２）。腕の向きの取得は、ユーザが指ピストルを構えた状態、または、指の動き（筋電センサにより検知される）や「バン！」という発射音の発話（マイクにより収音される）によって発射ジェスチャを行ったことが認識された場合に行うようにしてもよい。腕の向きは、例えばコンパスやジャイロセンサにより取得され得る。
【００６２】
次いで、ウェアラブル端末２は、ジェスチャ認識結果と、その際の腕の向きを示す情報とを、ユーザ端末１に送信する（ステップＳ１１５）。
【００６３】
一方、ユーザ端末１は、継続的に位置情報をサーバ３に送信している（ステップＳ１１８）。
【００６４】
次いで、ユーザ端末１は、ウェアラブル端末２からジェスチャ情報等を受信すると、受信したジェスチャ認識結果および腕の向きを示す情報を、サーバ３へ送信する（ステップＳ１２１）。
【００６５】
続いて、サーバ３の動作処理について図８を参照して説明する。
【００６６】
図８に示すように、まず、サーバ３は、各ユーザ端末１から位置情報を継続的に受信し（ステップＳ１５３）、端末位置特定部３０１により、各ユーザ（各端末）の現在位置を特定する（ステップＳ１５６）。
【００６７】
次に、ジェスチャ情報（ここでは指ピストルのジェスチャ情報）を受信した場合（ステップＳ１５９／Ｙｅｓ）、サーバ３の対象人物特定部３０２は、ジェスチャ情報を送信したユーザ端末１の位置を確認する（ステップＳ１６１）。
【００６８】
次いで、対象人物特定部３０２は、ジェスチャ情報を送信したユーザ端末１の位置と、腕の方向と、把握している他のユーザの現在位置情報とに基づいて、ユーザＤが指ピストルを撃つというジェスチャを行った対象人物を特定する（ステップＳ１６４）。ここで、対象人物の特定方法について図９を参照して説明する。図９に示すように、各ユーザの位置は、端末の位置情報に基づいて、地図上に同定される。ここで、対象人物特定部３０２は、ユーザＤが指ピストルを撃った時の腕の方向に基づいて、ユーザＤの位置を起点として腕の方向で示される矢印の方向に位置する人物を検索し、対象人物としてユーザＣを特定する。また、矢印の方向に複数の人物が居た場合、最もユーザＤに近い位置に居る人物を特定してもよい。また、指ピストルを撃った時の腕の方向は、二次元に限定されず、三次元方向を含み得る。また、位置情報には高さ情報が含まれてもよい。
【００６９】
次に、対象人物が特定できた場合（ステップＳ１６７／Ｙｅｓ）、サーバ３は、対象者に、ジェスチャに対応する意味を示すメッセージを送信する（ステップＳ１７０）。例えば、指ピストルのジェスチャに対応する意味を示すメッセージとして、「それはダメだぞ！成敗する」といったメッセージが、ユーザＣのユーザ端末１ｃに送信される。
【００７０】
また、サーバ３は、指ピストルのジェスチャがマイナスの評価であるため、評価処理部３０５により対象者の評価を減点する処理を行う（ステップＳ１７３）。
【００７１】
＜３−２．第２の実施例＞
次に、第２の実施例として、好意を持った相手に対して、好意を示す気持ちをメッセージと共に伝えたい場合のジェスチャと相手への通知処理について説明する。例えばバーのカウンターで、一人で飲んでいると、少し離れた場所に好みの人が一人で飲んでいた場合に、好意を伝えるメッセージをさりげなく送りたいというシチュエーションが想定される。以下、このようなシチュエーションにおける動作処理について、図１０〜図１１を参照して説明する。ここでは、ジェスチャを行うユーザ、および相手ユーザの両者ともユーザ端末１を有していることを前提とする。また、ジェスチャを行うユーザは、ウェアラブル端末２を装着している。
【００７２】
図１０は、第２の実施例によるユーザ端末１およびウェアラブル端末２の動作処理を示すシーケンス図である。図１０に示すように、まず、ウェアラブル端末２は、プリセットされたジェスチャに紐付けられたメッセージを修正する（ステップＳ２０６）。修正は必ずしも必須ではないが、ユーザが相手に伝えたいメッセージをその場で変更したい場合に、ウェアラブル端末２の所定のボタンを押下してメッセージを音声入力したり、ユーザ端末１から操作してプリセットされたメッセージの文言修正を行える。音声入力されたメッセージは、制御部２００により音声認識処理を経てテキストメッセージに変換され得る。
【００７３】
次いで、ウェアラブル端末２は、センサ２２０からセンサデータを取得する（ステップＳ２０９）。
【００７４】
次に、ウェアラブル端末２のジェスチャ認識部２０１は、センサデータに基づいて、ジェスチャ認識を行う（ステップＳ２１２）。ジェスチャ認識部２０１は、例えば予め機械学習により構築した識別機にて、特定のジェスチャを検出する。ここでは一例として、目配せ、ウインク、投げキス等の親愛を示す動作を検出する。目配せやウインクは、顔面に装着されたスマートグラスにより、顔の動きを筋電センサで検知して検出し得る。また、投げキスは、腕の動きを加速度センサやジャイロセンサにより検知し、さらに「ちゅっ」という発話をマイクで集音することで検出し得る。
【００７５】
次いで、特定のジェスチャであると認識された場合（ステップＳ２１５／Ｙｅｓ）、ウェアラブル端末２の制御部２００は、センサデータに基づいて、姿勢（身体）の向きや、腕の向き（いずれもジェスチャを向けている方向）を取得する（ステップＳ２１８）。
【００７６】
次いで、ウェアラブル端末２は、ジェスチャ認識結果と、その際の腕の向き等を示す情報とを、ユーザ端末１に送信する（ステップＳ２２１）。
【００７７】
一方、ユーザ端末１は、継続的に位置情報をサーバ３に送信している（ステップＳ２２４）。ユーザ端末１の位置情報取得部１２０は、例えばＷｉ−Ｆｉによる屋内測位の機能も有する。
【００７８】
次いで、ユーザ端末１は、ウェアラブル端末２からジェスチャ情報等を受信すると、受信したジェスチャ認識結果および腕の向きを示す情報を、サーバ３へ送信する（ステップＳ２２７）。
【００７９】
続いて、サーバ３の動作処理について図１１を参照して説明する。
【００８０】
図１１に示すように、まず、サーバ３は、各ユーザ端末１から位置情報を継続的に受信し（ステップＳ２５３）、端末位置特定部３０１により、各ユーザ（各端末）の現在位置を特定する（ステップＳ２５６）。
【００８１】
次に、ジェスチャ情報を受信した場合（ステップＳ２５９／Ｙｅｓ）、サーバ３の対象人物特定部３０２は、ジェスチャ情報を送信したユーザ端末１の位置を確認する（ステップＳ２６１）。
【００８２】
次いで、対象人物特定部３０２は、ジェスチャ情報を送信したユーザ端末１の位置と、腕の方向と、把握している他のユーザの現在位置情報とに基づいて、ユーザが特定のジェスチャ（例えばウインク、手招き、または投げキス等）を行った対象人物を特定する（ステップＳ２６４）。
【００８３】
次に、対象人物が特定できた場合（ステップＳ２６７／Ｙｅｓ）、サーバ３は、対象者に、ジェスチャに紐付けられた、すなわちプリセットされた、若しくはユーザにより修正されたテキストメッセージを送信する（ステップＳ２７０）。
【００８４】
＜３−３．第３の実施例＞
本実施形態による情報処理システムは、予め本サービスに登録しているユーザ間で行われるようにしてもよい。例えば、メッセージを特定した相手ユーザに送信する際に、サーバ３側で送信先を特定する必要があるが、予め本サービスに登録しているユーザであれば、登録されたアドレスを用いることができる。
【００８５】
また、ジェスチャが向けられる方向に基づいて対象人物を特定する際、誤って別の人を特定してしまうことを防ぐためにも、示された方向上の遠く離れた場所に居る人物ではなく、ジェスチャを行った人物の有視界の範囲に限定して特定するため、狭い範囲における複数の人物の位置を正確に把握する必要がある。
【００８６】
そのため、予め本サービスに登録しているユーザを対象とすることで、宛先も事前に把握でき、また、詳細な位置情報の提供の許諾も事前に受けることができる。
【００８７】
以下、第３の実施例によるサーバ３側の動作処理について図１２を参照して説明する。なおユーザ側でのジェスチャ認識処理は、第１、第２の実施例と同様であるため、ここでの説明は省略する。
【００８８】
図１２に示すように、まず、サーバ３の制御部３００は、サービス利用ユーザの登録を行う（ステップＳ３０３）。具体的に例えば制御部３００は、ユーザＩＤおよび端末ＩＤの登録と共に、本サービスを利用するにあたって、詳細な位置情報の提供許諾、アドレス情報の提供許諾、行動履歴情報の提供許諾を得る。以下、かかる許諾を得て登録したユーザを、特定のＳＮＳに加入したユーザと称す。
【００８９】
次いで、サーバ３は、各ユーザ端末１から位置情報を継続的に受信し（ステップＳ３０６）、端末位置特定部３０１により、特定のＳＮＳに加入している各ユーザ（各端末）の現在位置を特定する（ステップＳ３０９）。
【００９０】
次に、ジェスチャ情報を受信した場合（ステップＳ３１２／Ｙｅｓ）、サーバ３の対象人物特定部３０２は、ジェスチャ情報を送信したユーザ端末１の位置を確認する（ステップＳ３１５）。
【００９１】
次いで、対象人物特定部３０２は、ジェスチャ情報を送信したユーザ端末１の位置と、腕の方向と、特定ＳＮＳにより把握している他のユーザの現在位置情報とに基づいて、ユーザが特定のジェスチャを行った対象人物を特定する（ステップＳ３１８）。
【００９２】
次に、対象人物が特定できた場合（ステップＳ３２１／Ｙｅｓ）、サーバ３は、対象者に、ジェスチャに紐付けられたメッセージを送信する（ステップＳ３２４）。
【００９３】
＜＜４．応用例＞＞
続いて、本実施形態の応用例による情報処理システムについて図１３〜図１５を参照して説明する。上述した実施形態では、ウェアラブル端末２により検知されたジェスチャ情報がユーザ端末１からネットワーク上のサーバ３に送信され、主にサーバ３で通知処理制御が行われていたが、本実施形態はこれに限定されず、ウェアラブル端末同士で直接通信できるようにしてもよい。例えば、図１３に示すように、ユーザＧとユーザＨが握手という接触を伴うジェスチャを行った際に、互いに装着しているウェアラブル端末２０Ｇ、２０Ｈにより準静電界通信が行われ、握手というジェスチャに対応するプラス評価が、一方のウェアラブル端末２０から他方のウェアラブル端末２０へ送信される。これにより、握手をした際に、さらに強い想いを伝えることができる。なお、かかる準静電界通信によるプラス評価の送信を行うか否かは、図１３に示すように、ウェアラブル端末２０Ｇに設けられているスイッチ（つまみ）により設定することが可能である。ジェスチャに応じた評価の送信を行う際は、つまみは「＋」側に向けられる。
【００９４】
ここで、本応用例によるウェアラブル端末２０の構成例を図１４に示す。図１４に示すように、ウェアラブル端末２０は、制御部２００、通信部２１０、センサ２２０、操作入力部２３０、記憶部２４０、表示部２５０、および準静電界通信部２６０を有する。
【００９５】
準静電界通信部２６０は、人体の介在により形成される電界を通じてデータ通信を行なう人体通信システムである。準静電界通信では、例えば音楽などの音声信号や、コード化された信号等を、人体の接触を通じて通信することが可能である。
【００９６】
その他の構成は、上述したウェアラブル端末２の各構成と同様であるため、ここでの説明は省略する。
【００９７】
続いて、図１５を参照して本応用例による動作処理を説明する。
【００９８】
図１５に示すように、まず、ウェアラブル端末２０は、ジェスチャに応じた気持ちの送信可否について、スイッチがＯＮになっているか否かを確認する（ステップＳ４０３）。具体的には、例えばウェアラブル端末２０は、図１３に示すように、つまみがプラスに入っているか否かを確認する。
【００９９】
次いで、スイッチがＯＮになっている場合（ステップＳ４０３／Ｙｅｓ）、ウェアラブル端末２は、センサ２２０からセンサデータを取得する（ステップＳ４０６）。
【０１００】
次に、ウェアラブル端末２のジェスチャ認識部２０１は、センサデータに基づいて、ジェスチャ認識を行う（ステップＳ４０９）。ジェスチャ認識部２０１は、例えば予め機械学習により構築した識別機にて、特定のジェスチャを検出する。ここでは、握手をしている動作を検出する。具体的には、例えばジェスチャ認識部２０１は、手を握っていることを筋電により検知し、手を握ったまま所定の速さで上下動を繰り返していることが加速度センサやジャイロセンサのデータから検知することで、握手動作を認識する。
【０１０１】
次いで、握手が行われたと認識された場合（ステップＳ４１２／Ｙｅｓ）、ウェアラブル端末２の制御部２００は、準静電界通信部２６０により、相手の端末の準静電界通信を検知する（ステップＳ４１５）。相手の端末の準静電界通信を検知することで、制御部２００は、ユーザが相手の人体と接触を伴っていることを確認し、相手の端末と準静電界通信が可能なこと、また、ユーザが単に手を動かしているのではなく、相手と手を握って握手していることが、より正確に認識できる。さらに、制御部２００は、相手の端末を識別することでユーザが誰と握手をしているかを把握することも可能となる。
【０１０２】
そして、相手の端末の準静電界通信を検知すると（ステップＳ４１５／Ｙｅｓ）、制御部２００は、握手ジェスチャに予め対応付けられた、相手に対するプラス評価の情報を、準静電界通信により相手の端末へ送信するよう制御する（ステップＳ４１８）。ジェスチャに対応付けられた評価やメッセージ等のインプレッションは、記憶部２４０に格納されていてもよい。
【０１０３】
なお、本応用例では、握手ジェスチャの例を示しているが、本実施形態はこれに限定されず、例えば他の接触を伴うジェスチャ（例えば、ハグ、肩もみ、腰に手を回す、ハグして背中をたたく、ハイタッチ等）においても、各ジェスチャに対応付けられたインプレッションを、準静電界通信により相手の端末へ送信することが可能である。
【０１０４】
また、本応用例では、準静電界通信により相手の端末へプラス評価等のジェスチャに対応付けられたインプレッションを送信する例を説明したが、本実施形態はこれに限定されず、ウェアラブル端末の通信回線を用いて、クラウド経由で相手の端末にインプレッションを送信してもよいし、Ｂｌｕｅｔｏｏｔｈや赤外線通信等の近距離無線通信により送信してもよい。
【０１０５】
＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、ジェスチャにより特定の相手に対してインプレッションを通知することが可能となる。
【０１０６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１０７】
例えば、上述したユーザ端末１、ウェアラブル端末２、またはサーバ３に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、ユーザ端末１、ウェアラブル端末２、またはサーバ３の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【０１０８】
また、ウェアラブル端末２にジェスチャ認識部２０１が設けられているが、本実施形態はこれに限定されず、ユーザ端末１またはサーバ３においてジェスチャ認識処理が行われてもよい。
【０１０９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１１０】
なお、本技術は以下のような構成も取ることができる。
（１）
ユーザが特定のジェスチャを行っているか否かを認識する認識部と、
前記特定のジェスチャが認識されたときに、通信先としてのクライアントを特定し；
認識されたジェスチャ情報が表すインプレッションを特定し；
前記クライアントに対応するユーザに、前記ジェスチャ情報が表すインプレッションが通知されるように制御する制御部と、
を備える、通信システム。
（２）
前記通信システムは、準静電界通信部をさらに備え、
前記制御部は、前記特定のジェスチャが認識されたときに、周辺に準静電界通信が可能な通信先としてのクライアントの有無を特定し、特定した前記クライアントに対応するユーザに、前記ジェスチャ情報が表すインプレッションを前記準静電界通信部を介して送信するように制御する、前記（１）に記載の通信システム。
（３）
ユーザ間で送受信されるメッセージを管理するサーバと通信する通信部を備え、
前記制御部は、前記ジェスチャ情報が表すインプレッションが、前記通信部および前記サーバを介して、前記クライアントに対応するユーザに送信されるように制御する、前記（１）に記載の通信システム。
（４）
前記通信システムは、音声入力部をさらに備え、
前記制御部は、前記ジェスチャ情報が表すインプレッションを、前記音声入力部により入力された音声を変換したメッセージに変更可能である、前記（１）〜（３）のいずれか１項に記載の通信システム。
（５）
ユーザが特定のジェスチャを行っているか否かを認識する前記認識部と；
前記特定のジェスチャが認識されたときに、本クライアントの位置を示す位置情報と、前記ユーザが指し示す方向を示す方向情報とを生成するクライアント制御部と；
前記特定のジェスチャを示すジェスチャ情報、前記位置情報、および前記方向情報をサーバに送信するクライアント通信部と；
を有するクライアントと、
複数のクライアントから、それぞれの位置を示す位置情報受信するサーバ通信部と；
前記制御部と；
前記サーバ通信部を介して前記ジェスチャ情報を受信すると、前記サーバ通信部を介して取得された、当該ジェスチャ情報を送信したクライアントに対応する前記位置情報と前記方向情報に応じて、前記ユーザが指し示すクライアントを特定し、当該クライアントに対応するユーザに、前記ジェスチャ情報が表すインプレッションが通知されるように制御するサーバ制御部と；を有するサーバと、
を備える、前記（１）〜（４）のいずれか１項に記載の通信システム。
（６）
前記サーバ制御部は、ジェスチャ情報とインプレッションが関連付けられたテーブルを保有し、当該テーブルに応じて前記ジェスチャ情報が表すインプレッションを特定する、前記（５）に記載の通信システム。
（７）
前記サーバ制御部は、
特定のメッセージングサービスに登録されているユーザに対応するクライアントの位置とそのユーザの宛先を管理し；
前記サーバ通信部を介して取得された、当該ジェスチャ情報を送信したクライアントに対応する前記位置情報と前記方向情報に応じて、前記ユーザが指し示す、前記管理しているクライアントを特定し；
当該クライアントに対応するユーザの宛先に、前記ジェスチャ情報が表すインプレッションが通知されるように制御する、前記（５）または（６）に記載の通信システム。
（８）
前記サーバ制御部は、前記ジェスチャ情報に応じて前記ユーザの評価を更新する、前記（５）〜（７）のいずれか１項に記載の通信システム。
（９）
前記サーバ制御部は、前記ジェスチャ情報に対応するメッセージが、前記ユーザに送信されるように制御する、前記（５）〜（７）のいずれか１項に記載の通信システム。
（１０）
複数のクライアントから、それぞれの位置を示す位置情報を受信する通信部と、
前記通信部を介して、特定のクライアントに対応するユーザが特定のジェスチャを行っていることを示すジェスチャ情報とジェスチャの方向情報を受信すると；
前記通信部を介して取得された、当該ジェスチャ情報を送信したクライアントに対応する前記位置情報と前記方向情報に応じて、前記ユーザが指し示すクライアントを特定し；
当該クライアントに対応するユーザに、前記ジェスチャ情報が表すインプレッションが通知されるように制御する制御部と、
を備える、サーバ。
（１１）
前記制御部は、ジェスチャ情報とインプレッションが関連づけられるテーブルを保有し、当該テーブルに応じて、前記ジェスチャ情報が表すインプレッションを特定する、前記（１０）に記載のサーバ。
（１２）
前記制御部は、
特定のメッセージングサービスに登録されているユーザに対応するクライアントの位置とそのユーザの宛先を管理し；
前記通信部を介して取得された、当該ジェスチャ情報を送信したクライアントに対応する前記位置情報と前記方向情報に応じて、前記ユーザが指し示す、前記管理しているクライアントを特定し；
当該クライアントに対応するユーザの宛先に、前記ジェスチャ情報が表すインプレッションが通知されるように制御する、前記（１０）または（１１）に記載のサーバ。
（１３）
前記制御部は、前記ジェスチャ情報に応じて、前記ユーザの評価を更新する、前記（１０）〜（１２）のいずれか１項に記載のサーバ。
（１４）
前記制御部は、前記ジェスチャ情報に対応するメッセージが、前記ユーザに送信されるように制御する、前記（１０）〜（１３）のいずれか１項に記載のサーバ。
（１５）
コンピュータを、
ユーザが特定のジェスチャを行っているか否かを認識する認識部と、
前記特定のジェスチャが認識されたときに、通信先としてのクライアントを特定し；
前記認識されたジェスチャ情報が表すインプレッションを特定し；
前記クライアントに対応するユーザに、前記ジェスチャ情報が表すインプレッションが通知されるように制御する制御部と、
として機能させるプログラムが記憶された、記憶媒体。
（１６）
プロセッサが、
複数のクライアントから、それぞれの位置を示す位置情報を通信部により受信することと、
前記通信部を介して、特定のクライアントに対応するユーザが特定のジェスチャを行っていることを示すジェスチャ情報とジェスチャの方向情報を受信すると；
前記通信部を介して取得された、当該ジェスチャ情報を送信したクライアントに対応する前記位置情報と前記方向情報に応じて、前記ユーザが指し示すクライアントを特定し；
当該クライアントに対応するユーザに、前記ジェスチャ情報が表すインプレッションが通知されるように制御することと、
を含む、通信制御方法。
【符号の説明】
【０１１１】
１    ユーザ端末
１００    制御部
１１０    通信部
１２０    位置情報取得部
１３０    カメラ
１４０    マイクロホン
１５０    操作入力部
１６０    記憶部
１７０    表示部
１８０    スピーカ
２    ウェアラブル端末
２００    制御部
２１０    通信部
２２０    センサ
２３０    操作入力部
２４０    記憶部
２５０    表示部
３    サーバ
３００    制御部
３１０    通信部
３２０    ジェスチャ情報記憶部
３３０    評価ＤＢ
【図１】
2020187764.tif 000005
【図２】
2020187764.tif 000006
【図３】
2020187764.tif 000007
【図４】
2020187764.tif 000008
【図５】
2020187764.tif 000009
【図６】
2020187764.tif 000010
【図７】
2020187764.tif 000011
【図８】
2020187764.tif 000012
【図９】
2020187764.tif 000013
【図１０】
2020187764.tif 000014
【図１１】
2020187764.tif 000015
【図１２】
2020187764.tif 000016
【図１３】
2020187764.tif 000017
【図１４】
2020187764.tif 000018
【図１５】
2020187764.tif 000019