(57)【要約】      （修正有）【課題】テキストメッセージの送受信及び電子メールを介した通信の１つの欠点は、感情が欠如していることである。電子ステッカーの追加により、感情を伝えるために、より良い手法を提供する。【解決手段】システム１００は、第１の電子デバイス１１０と、第２の電子デバイス１２０と、を含む。第１の電子デバイス１１０及び第２の電子デバイス１２０は、１以上の通信ネットワーク１３０に亘って互いに通信するように構成される。システムは、関連付けられたユーザの気分を決定する。決定された気分に基づいて、システムによって行われる動作は、決定される。そして、システムは、決定された気分に対応するオブジェクトを別のシステムへ送信することによって、決定された動作を開始する。【選択図】図１
2016162459.tif 000002
【特許請求の範囲】
【請求項１】
電子デバイスを動作する方法であって、
第１の電子デバイスと関連付けられたユーザの気分を決定するステップと、
決定された気分に基づいて前記第１の電子デバイスによって行われる動作を決定するステップと、
決定された動作を開始するステップであって、前記決定された動作は、前記決定された気分に対応するオブジェクトを第２の電子デバイスへ送信することを含む、ステップと、
を備える方法。
【請求項２】
前記気分を決定するステップは、前記ユーザの身体的特性に基づく請求項１に記載の方法。
【請求項３】
前記身体的特性は、前記電子デバイス上のカメラに基づいて決定される前記ユーザの顔の表情を含む請求項２に記載の方法。
【請求項４】
前記身体的特性は、前記ユーザの検出されたバイオマーカー、前記ユーザの声、又は前記電子デバイス上に前記ユーザによって加えられる入力圧力のうちの少なくとも１つを含む請求項２に記載の方法。
【請求項５】
前記決定された動作は、前記ユーザによって用意されたメッセージへの顔文字又は電子ステッカーを含む前記オブジェクトを自動的に選択及び加えることを含む請求項１に記載の方法。
【請求項６】
前記決定された動作は、前記決定された気分を反映する視覚効果、前記決定された気分を反映する音響効果、又は前記決定された気分を反映する触覚効果のうちの少なくとも１つを第２の電子デバイスに自動的に送信することを含む請求項１に記載の方法。
【請求項７】
前記決定された動作は、更に前記ユーザの位置に基づく請求項１に記載の方法。
【請求項８】
前記決定された動作は、前記決定された気分に基づいて前記顔文字又は電子ステッカーを変更することを更に含む請求項５に記載の方法。
【請求項９】
プロセッサによって実行されたときに、前記プロセッサに電子デバイスを動作させる命令を有するコンピュータ可読媒体であって、前記動作は、
第１の電子デバイスと関連付けられたユーザの気分を決定するステップと、
決定された気分に基づいて前記第１の電子デバイスによって行われる動作を決定するステップと、
決定された動作を開始するステップであって、前記決定された動作は、前記決定された気分に対応するオブジェクトを第２の電子デバイスへ送信することを含む、ステップと、
を備えるコンピュータ可読媒体。
【請求項１０】
前記気分を決定するステップは、前記ユーザの身体的特性に基づく請求項９に記載のコンピュータ可読媒体。
【請求項１１】
前記身体的特性は、前記電子デバイス上のカメラに基づいて決定される前記ユーザの顔の表情を含む請求項１０に記載のコンピュータ可読媒体。
【請求項１２】
前記身体的特性は、前記ユーザの検出されたバイオマーカー、前記ユーザの声、又は前記電子デバイス上に前記ユーザによって加えられる入力圧力のうちの少なくとも１つを含む請求項１０に記載のコンピュータ可読媒体。
【請求項１３】
前記決定された動作は、前記ユーザによって用意されたメッセージへの顔文字又は電子ステッカーを含む前記オブジェクトを自動的に選択及び加えることを含む請求項９に記載のコンピュータ可読媒体。
【請求項１４】
前記決定された動作は、前記決定された気分を反映する視覚効果、前記決定された気分を反映する音響効果、又は前記決定された気分を反映する触覚効果のうちの少なくとも１つを第２の電子デバイスに自動的に送信することを含む請求項９に記載のコンピュータ可読媒体。
【請求項１５】
前記決定された動作は、更に前記ユーザの位置に基づく請求項９に記載のコンピュータ可読媒体。
【請求項１６】
前記決定された動作は、前記決定された気分に基づいて前記顔文字又は電子ステッカーを変更することを更に含む請求項１３に記載のコンピュータ可読媒体。
【請求項１７】
装置であって、
センサを有し、前記装置と関連付けられたユーザの気分を決定する気分決定部と、
送信機を有し、決定された気分に基づいて前記装置によって行われる動作を決定し、決定された動作を開始する動作決定部と、を備え、
前記決定された動作は、前記決定された気分に対応するオブジェクトを第２の装置へ送信することを含む、
装置。
【請求項１８】
前記気分を決定することは、前記ユーザの身体的特性に基づく請求項１７に記載の装置。
【請求項１９】
カメラを更に備え、前記身体的特性は、前記カメラを用いて決定される前記ユーザの顔の表情を含む請求項１８に記載の装置。
【請求項２０】
前記身体的特性は、前記ユーザの検出されたバイオマーカー、前記ユーザの声、又は前記装置に前記ユーザによって加えられる入力圧力のうちの少なくとも１つを含む請求項１８に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、２０１５年２月２７日に出願された米国仮特許出願第６２／１２６，１８５号の優先権を主張するものであり、その内容は、参照によって本明細書に援用される。
【０００２】
一実施形態は、一般的に、デバイス間の通信に関するものであり、特に、デバイス間で検出されるユーザの通信に関するものである。
【背景技術】
【０００３】
スマートフォン、タブレット等のようなハンドヘルド電子デバイス及びスマートウォッチ、フィットネスバンド等のようなウェアラブルデバイスを含むモバイルデバイスの使用は、人々がリアルタイムで互いに通信する手段を拡張している。例えば、テキストメッセージの送受信は、電話で人に話す、又は電子メールを送信することなく、モバイルデバイスの別のユーザへの簡単なコミュニケーションを送信するためのより一般的な手法になってきている。テキストメッセージの送受信及び電子メールを介した通信の１つの欠点は、このような文書による通信で伝えられる感情が欠如していることである。：）、  ：（、  
：Ｄ、  ＝）等のような顔文字に加えて、アニメーションされた顔文字、絵文字（ｅｍｏｔｉｃｏｎｓ、ｅｍｏｊｉ、ｋａｏｍｏｊｉ）等は、いくつかの種類の感情が、文書による通信に含まれることを可能にしており、
【数１】
2016162459.tif 000003
のような電子ステッカーの所定のスタック又はライブラリから選択される電子ステッカーの追加は、感情を伝えるために、より良い手法を提供し、通信時に時間を省くためにショートカットを可能にする。しかし、顔文字、アニメーションされた顔文字、絵文字、顔文字、電子ステッカー等を使用する場合であっても、テキストメッセージ内の文言の背後にあるユーザの真の気分及び意味の示唆を提供しない。
【０００４】
また、モバイルデバイスのハンズフリー操作は、より普及してきている。例えば、ボイスコマンドは、電話番号に電話をかける又は情報を検索する等のような動作を開始するためにモバイルデバイスに指示するために用いられている。このような動作を開始するために他のハンズフリー手段を有することが望ましい。
【発明の概要】
【０００５】
一実施形態は、関連するユーザの気分を決定するシステムである。決定された気分に基づいて、システムによって行われる動作は、決定される。システムは、その後、決定された気分に対応するオブジェクトを別のシステムに送信することにより、決定された動作を開始する。
【図面の簡単な説明】
【０００６】
以下の図面の構成要素は、本開示の一般的な原理を強調するために示されており、必ずしも寸法通りに描かれていない。対応する構成要素を指定する参照文字は、整合性及び明確性のために、図面を通じて必要に応じて繰り返される。
【図１】図１は、本発明の実施形態に係るシステムのブロック図である。
【図２】図２は、一実施形態に係る第１の電子デバイス及び／又は第２の電子デバイスのブロック図である。
【図３】図３は、一実施形態に係る図２のプロセッサのブロック図である。
【図４Ａ】図４Ａ及び４Ｂは、本発明の実施形態に係るシステムの実装を示す。
【図４Ｂ】図４Ａ及び４Ｂは、本発明の実施形態に係るシステムの実装を示す。
【図５】図５は、本発明の実施形態に係るユーザの気分に基づく動作を生成するときの図２のプロセッサのフローチャートである。
【発明を実施するための形態】
【０００７】
一実施形態は、スマートフォンのような電子デバイスと関連付けられたユーザの気分を決定する。決定された気分に基づいて、実施形態は、別のデバイスに送信されるメッセージを生成し、ここで、メッセージは、気分に基づいて、自動的に選択された視覚又は触覚構成要素を含む。別の実施形態では、他の種類の動作は、決定された気分に基づいて自動的に開始されうる。
【０００８】
図１は、本発明の実施形態に係るシステム１００のブロック図である。図示されるように、システム１００は、第１の電子デバイス１１０と、第２の電子デバイス１２０と、を含む。第１の電子デバイス１１０及び第２の電子デバイス１２０は、１以上の通信ネットワーク１３０に亘って互いに通信するように構成される。通信ネットワーク１３０は、無線通信ネットワーク、インターネット、パーソナルエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワーク、ワイドエリアネットワーク等のうちの１以上を含んでもよい。通信ネットワーク１３０は、ローカル無線周波数、ブルートゥース（登録商標）、セルラー（ＧＰＲＳ、ＣＤＭＡ、ＧＳＭ（登録商標）、ＣＤＰＤ、２．５Ｇ、３Ｇ、４Ｇ  ＬＴＥ等）、Ｕｌｔｒａ−ＷｉｄｅＢａｎｄ（“ＵＷＢ”）、ＷｉＭａｘ、ＺｉｇＢｅｅ及び／又は他のアドホック／メッシュ無線ネットワーク技術を含んでもよい。
【０００９】
第１の電子デバイス１１０及び第２の電子デバイス１２０は、デスクトップコンピュータ、ラップトップコンピュータ、電子ワークブック、電子ハンドヘルドデバイス（例えば、モバイルフォン、スマートフォン、タブレットゲーミングデバイス、パーソナルデジタルアシスタント（“ＰＤＡ”）、ポータブル電子メールデバイス、ポータブルインターネットアクセスデバイス、計算機等）、ＰＯＳ装置、ゲームコントローラ、ウェアラブルデバイス（例えば、スマートウォッチ、フィットネスバンド等）又は他の電子デバイスのような任意の電子デバイスであってもよい。実施形態では、第１の電子デバイス１１０及び第２の電子デバイス１２０の各々は、スマートフォン又はタブレットのようなモバイルデバイスである。実施形態では、第１の電子デバイス１１０及び第２の電子デバイス１２０の一方は、モバイルデバイスであり、他方は、ウェアラブルデバイスである。以下に記載される本発明の一部の実施形態は、その両方がモバイルデバイスである第１の電子デバイス１１０及び第２の電子デバイス１２０について示す限りにおいて、本発明の実施形態は、そのように限定されるものではなく、第１の電子デバイス１１０及び第２の電子デバイス１２０は、上記に挙げられたような多くの異なる種類のデバイスでありうることを理解すべきである。
【００１０】
図２は、一実施形態に係る第１の電子デバイス１１０及び／又は第２の電子デバイス１２０のブロック図である。以下の記載は、本明細書に記載された部品は、第２の電子デバイス１２０にも含まれるという了解の下で、第１の電子デバイス１１０についてのみ示す。勿論、より多く又はより少ない部品は、第１の電子デバイス１１０及び第２の電子デバイス１２０に含まれてもよい。図示される実施形態は、いずれかの手法に限定することを意図されない。
【００１１】
図示されるように、第１の電子デバイス１１０は、プロセッサ２１０と、メモリデバイス２２０と、入／出力デバイス２３０と、を含み、これらは、バス２４０を介して内部接続される。実施形態では、入／出力デバイス２３０は、タッチスクリーンデバイス２５０、触覚出力デバイス２６０、カメラ２８０を含んでもよい１以上のセンサ２７０、及び／又は第１の電子デバイス１１０のユーザからの入力を受信する他の入力デバイス及びスピーカ２９０の形態のオーディオ出力デバイスのような第１の電子デバイス１１０のユーザへ情報を出力する出力デバイスを含んでもよい。入力デバイスは、また、キーボード、キーパッド、カーソルコントロールデバイス（例えば、コンピュータマウス）、スタイラス、又は他のデータエントリデバイス又はマイクロフォンのような音声受信機のようなデバイスを含んでもよい。
【００１２】
タッチスクリーンデバイス２５０は、適切なユーザインターフェース又はタッチ／コンタクト表面アセンブリとして構成されてもよい。タッチスクリーンデバイス２５０は、タッチスクリーン、タッチパッド、タッチ検出構造、コンピュータモニタ、ラップトップディスプレイデバイス、ワークブックディスプレイデバイス、ポータブル電子デバイススクリーン又は他の適切なタッチ検出デバイスであってもよい。タッチスクリーンデバイス２５０は、スタイラス、指等のようなユーザ制御デバイスと物理的に相互作用するように構成されてもよい。一部の実施形態では、タッチスクリーンデバイス２５０は、少なくとも１つの出力デバイスと、少なくとも１つの入力デバイスと、を含んでもよい。例えば、タッチスクリーンデバイス２５０は、画像を表示するように構成される視覚ディスプレイ２５２と、ユーザの指又はユーザによって制御されるスタイラスからの入力を受信するために、タッチ検出スクリーンに重畳される少なくとも１つのセンサを含むタッチ検出スクリーンと、を含んでもよい。視覚ディスプレイ２５２は、ハイディフィニションディスプレイスクリーンを含んでもよい。実施形態では、視覚ディスプレイ２５２は、タッチスクリーンデバイス２５０と別れていてもよい。
【００１３】
各種実施形態では、触覚出力デバイス２６０は、ユーザが第１の電子デバイス１１０の少なくとも一部に接触する間に第１の電子デバイス１１０のユーザに触覚フィードバックを提供するように構成される。例えば、触覚出力デバイス２６０は、ユーザがタッチスクリーンデバイス２５０に接触する、及び／又は少なくとも入力／出力デバイス２３０を含むハウジングのような第１の電子デバイス１１０の別の部分に接触するときに、触覚効果を与えるために、タッチスクリーンデバイス２５０自体に触覚フィードバックを提供してもよい。
【００１４】
触覚出力デバイス２６０によって提供される触覚フィードバックは、振動、変形、運動感覚、静電気又は超音波摩擦のような触覚効果を生成する方法のいずれかによって生成されてもよい。実施形態では、触覚出力デバイス２６０は、例えば、偏心質量がモータによって移動される偏心回転質量モータ（ＥＲＭ）、バネに取り付けられた質量が前後に駆動されるリニア共振アクチュエータ（ＬＲＡ）、又は圧電材料、電気活性ポリマー又は形状記憶合金のような“スマートマテリアル”のような電磁気アクチュエータ、マクロ複合繊維アクチュエータ、静電アクチュエータ、電気触覚アクチュエータ及び／又は振動触覚フィードバックのような物理フィードバックを提供する他の種類のアクチュエータのようなアクチュエータを含んでもよい。触覚出力デバイス２６０は、静電摩擦（ＥＳＦ）や超音波表面摩擦（ＵＳＦ）を用いる装置、超音波触覚変換器で音響放射圧を誘導する装置、触覚基板と可撓性又は変形可能表面、もしくは形状変形装置を用いる装置、空気ジェットを利用したエアパフ等の投射型触覚出力を提供する装置等のような、非機械又は非振動装置を含んでもよい。
【００１５】
センサ２７０は、第１の電子デバイス１１０のユーザに関する気分情報を検出及び収集するように構成される単一の検出デバイス又は複数の検出デバイスを含んでもよい。例えば、センサ２７０は、これに限定されないが、顔の表情、声のピッチ及び／又はバイオメトリクスのようなユーザの身体的特性を含む様々な変更又はユーザの気分状態を介して気分情報を検出及び／又は収集するように構成されてもよい。一部の実施形態では、カメラ２８０は、ユーザの顔の画像をキャプチャするために用いられてもよく、画像は、以下に更に詳細に説明されるようにユーザの気分を決定するためにプロセッサ２１０によって処理されてもよい。バイオメトリックセンサは、体温、身体の湿度又は汗、心拍、呼吸のリズム、脳波、体位、ハンドジェスチャー又は動き等のようなバイオマーカーを検出するために用いられてもよい。一部の実施形態では、バイオメトリックセンサは、リストバンド又はネックレスのようなウェアラブルデバイスに提供されてもよく、ユーザの心拍を検出すると共に、時間に亘るユーザの気分を予測するように構成されてもよい。
【００１６】
センサ２７０は、また、ユーザの気分を決定するために用いられうる圧力検出機構を含んでもよい。例えば、通話時にスマートフォンがどの程度固く把持されるかを、ユーザが怒っている気分であることを判定するために検出及び分析してもよい。更に、キーボードについて、どの程度強くユーザがキーを叩くかを、ユーザの気分を判定するために検出及び分析してもよい。実施形態は、“通常”圧力量からの差を決定するために、ユーザ入力の圧力を検出し、ユーザの圧力を入力プロファイルと比較することができる。差に基づいて、ユーザの気分を決定することができ、決定された気分は、決定された気分に基づいて入力された触覚効果を変更することのような動作を生成するために用いられうる。
【００１７】
一部の実施形態では、センサ２７０によって用いられる検出技術は、また、音声分析を記録及び／又は容易にするために、各種サウンド又はオーディオセンサを採用してもよい。例えば、電話での通話時のようなユーザが会話している際の音声周波数及び音声強度は、ユーザの気分を推測するために用いられてもよい。更に、ユーザが笑っている、怒って“唸る”音を立てている（ａｎｇｒｉｌｙ  ｍａｋｉｎｇ  ａ  “ｇｒｒｉｎｇ”  ｓｏｕｎｄ）、猫の鳴き声をまねるやじ（ｃａｔ  ｃａｌｌｉｎｇ）、いびきをしている等が決定され、ユーザの気分を決定するために用いられてもよい。
【００１８】
センサ２７０は、また、大気条件を検出するように構成されるセンサを含んでもよい。例えば、センサ２７０の１以上は、温度、湿度、光、大気圧等のような周囲に関する大気情報を収集してもよい。大気センサによるデータ出力は、ユーザの気分の評価を助けるために用いられてもよい。一部の実施形態では、１以上のセンサ２７０は、ユーザの位置及び移動を検出するように構成されてもよく、そのため、ユーザが敵対的又は友好的な環境にいるかどうか、ユーザが渋滞に巻き込まれているかどうか等を決定することができる。周囲は、また、自動的に生成される位置ベースの顔文字を提案するために検出されてもよい。例えば、誕生日ケーキ及びバルーンを検出しているセンサ／カメラは、誕生日パーティベースの顔文字を生成／選択することを提案してもよい。
【００１９】
プロセッサ２１０は、汎用又は特殊用途プロセッサ又は第１の電子デバイス１１０の動作及び機能を管理又は制御するマイクロコントローラであってもよい。例えば、プロセッサ２１０は、触覚出力デバイス２６０へ出力信号を制御し、触覚効果を提供するために、特定用途向けＩＣ（ＡＳＩＣ）のような、特別に設計されたプロセッサであってもよい。プロセッサ２１０は、予め定義された要因に基づいて、プロセッサ２１０により受信又は決定された触覚信号に基づいてどのような触覚効果が生成されるか、触覚効果が生成される順序、及び触覚効果の大きさ、周波数、持続期間及び／又は他のパラメータを決定するように構成されてもよい。プロセッサ２１０は、また、特定の触覚効果を提供するために触覚出力デバイス２６０を駆動するために用いられうるストリーミングコマンドを提供するように構成されてもよい。プロセッサ２１０は、また、上述されたように、他の動作を開始するために、ストリーミングコマンドを他の出力装置に提供するように構成されてもよい。一部の実施形態では、プロセッサ２１０は、実際には、複数のプロセッサであってもよく、それぞれは、第１の電子デバイス１１０内の特定の機能を実行するように構成される。プロセッサ２１０については、以下に更に詳細に説明される。
【００２０】
メモリデバイス２２０は、１以上の内部に固定されたストレージユニット、リムーバブルストレージユニット、及び／又はリモートアクセス可能なストレージユニットを含んでもよい。各種ストレージユニットは、揮発性メモリ及び不揮発性メモリの任意の組み合わせを含んでもよい。ストレージユニットは、情報、データ、インストラクション（指示）、ソフトウェアコード等の任意の組み合わせを記憶するように構成されてもよい。より具体的には、ストレージユニットは、触覚効果プロファイル、触覚出力デバイス２６０がどのように駆動されるかの指示、又は触覚効果を生成するための他の情報を含んでもよい。身体的特性及び気分プロファイルのような他のプロファイルもメモリデバイス２２０に記憶されてもよい。
【００２１】
触覚電子デバイス１１０，１２０のそれぞれは、任意の数の触覚出力デバイス２６０及びセンサ２７０を含みうる。更に、触覚電子デバイス１１０，１２０のそれぞれは、異なる種類の触覚出力デバイス２６０及びセンサ２７０を含んでもよく、触覚電子デバイス１１０は、触覚電子デバイス１２０とは異なる数及び異なる種類の触覚出力デバイス２６０及びセンサ２７０の組み合わせを含んでもよい。
【００２２】
図３は、一実施形態に係る図２のプロセッサ２１０のブロック図である。プロセッサ２１０は、１以上のコンピュータプログラムモジュールを実行するように構成されてもよい。１以上のコンピュータプログラムモジュールは、センサモジュール２１２、気分決定モジュール２１４、動作決定モジュール２１６、出力デバイス制御モジュール２１８及び／又は他のモジュールを含んでもよい。プロセッサ２１０は、また、メモリデバイス２２０と同一、又はメモリデバイス２２０に加えられてもよい電子ストレージ２１９を含んでもよい。プロセッサ２１０は、ソフトウェア、ハードウェア、ファームウェア、ソフトウェア、ハードウェア及び／又はファームウェアのいくつかの組み合わせ、及び／又はプロセッサ２１０での処理機能を構成する他のメカニズムによりモジュール２１２、２１４、２１６及び／又は２１８を実行するように構成されてもよい。
【００２３】
モジュール２１２、２１４、２１６及び２１８は、単一の処理ユニット内に共に配置されるものとして図３に示されているが、複数の処理ユニットが存在する実施形態では、モジュール２１２、２１４、２１６及び／又は２１８の１以上は、他のモジュールから隔てて配置されてもよいことを理解すべきである。以下に説明される異なるモジュール２１２、２１４、２１６及び／又は２１８により提供される機能の説明は、例示目的のためであり、モジュール２１２、２１４、２１６及び２１８のいずれかが、説明されるよりも多く又は少ない機能を提供するように限定することを意図するものではない。例えば、モジュール２１２、２１４、２１６及び／又は２１８の１以上は、除外されてもよく、その機能の一部又は全部は、モジュール２１２、２１４、２１６及び／又は２１８の他のものによって提供されてもよい。別の例としては、プロセッサ２１０は、以下に起因する機能の一部又は全部をモジュール２１２、２１４、２１６及び／又は２１８の１つに対して行う１以上の追加モジュールを実行するように構成されてもよい。
【００２４】
センサモジュール２１２は、センサ２７０が、ユーザの顔の表情、ユーザの心拍、ユーザの脳波等のような第１の電子デバイス１１０のユーザの気分と関連付けられた身体的特性を検出するとき、センサ２７０からの入力信号を受信するように構成される。一部の実施形態では、複数のセンサ２７０が存在する場合、センサモジュール２１２は、複数のセンサ２７０からの入力信号を受信及び処理するように構成される。センサモジュール２１２は、また、更なる処理のために、信号を気分決定モジュール２１４に送信するように構成される。
【００２５】
気分決定モジュール２１４は、センサモジュール２１２から受信された信号に基づいて、第１の電子デバイス１１０のユーザの気分を決定するように構成され、決定された気分の“気分プロファイル”を決定しうる。例えば、カメラ２８０が、笑顔のユーザの画像をキャプチャするために用いられた場合、気分決定モジュール２１４は、画像を分析し、ユーザが良い気分であり、かつ幸せであることを決定してもよい。バイオメトリックセンサが、ユーザの心拍を検出するために用いられ、かつ当該センサが、速い心拍を検出した場合、気分決定モジュール２１４は、ユーザが不安を抱き、かつストレスを受けていると決定するために用いられてもよい。気分決定モジュール２１４は、センサ２７０が身体的特性の１つを検出したときに、気分決定モジュール２１４が第１の電子デバイス１１０のユーザの気分を決定するように、身体的特性及び関連する気分でプログラムされてもよい。気分決定モジュール２１４は、ＧＰＳのような位置センサによって検出されるゲオロケーション（ｇｅｏ−ｌｏｃａｔｉｏｎ）でありうるユーザの位置、又は、メモリデバイス２２０において第１の電子デバイス１１０に記憶されるユーザのカレンダーから検索される、重要な会議に出席する等のような状況的位置を用いてもよい。気分決定モジュール２１４は、また、別の処理のために、信号を動作決定モジュール２１６へ出力してもよい。
【００２６】
動作決定モジュール２１６は、気分決定モジュール２１４からの出力信号を受信し、第１の電子デバイス１１０のユーザの決定された気分に基づいて開始するために動作を決定するように構成される。一部の実施形態では、開始するために決定された動作は、第２のユーザによって操作される第２の電子デバイス１２０に視覚効果、音声効果及び／又は触覚効果を生成することを含む。視覚効果は、第１の電子デバイス１１０のユーザの気分を反映した所定のテキストメッセージであってもよく、第１の電子デバイス１１０のユーザの気分を反映した顔文字及び／又は電子ステッカーのような所定の画像を含んでもよい。音声効果は、第１の電子デバイス１１０のユーザの気分を反映した所定の音又はジングル（ｊｉｎｇｌｅ）を含んでもよい。触覚効果は、第１の電子デバイス１１０のユーザの気分を反映した所定の振動パターンを含んでもよい。一部の実施形態では、動作決定モジュール２１６は、触覚効果の振幅、周波数、持続期間等のような触覚効果の１以上のパラメータを決定してもよい。
【００２７】
一部の実施形態では、動作決定モジュール２１６は、効果を強調又は軽減するために第２の電子デバイス１２０で生成される効果を調整するために、第１の電子デバイス１１０のユーザの位置を検出するように構成されるセンサ２７０のうちの１つからの入力を用いてもよく、それによって、第１の電子デバイス１１０のユーザの気分についての追加情報を第２の電子デバイス１２０の第２のユーザへ提供する。
【００２８】
一部の実施形態では、動作決定モジュール２１６は、第２の電子デバイス１２０の第２のユーザの気分と関連付けられた身体的特性を検出するように構成されるセンサ２７０のうちの１つからの入力を用いてもよく、第２の電子デバイス１２０で生成される効果が、強調、軽減又は変更されるように、第２のユーザの気分と関連付けられた検出後の身体的特性に基づいて、開始される動作を調整してもよい。
【００２９】
一部の実施形態では、気分プロファイルは、付随する音声又は触覚フィードバック効果を変調しうる。一部の実施形態では、触覚フィードバック効果が、リアルタイム又はほぼリアルタイムで合成される場合、合成パラメータは、それらが送信者の気分を反映するように変更されうる。例えば、ピッチの低下（ｌｏｗｅｒ  ｐｉｔｃｈｅｓ）が“落ち込んだ（ｌｏｗｅｒ）”気分と関連付けられたシステムでは、音声及び触覚効果の周波数は、より低くなることによってその気分を反映することができる。
【００３０】
一部の実施形態では、動作決定モジュール２１６が、開始するために決定する動作は、第１の電子デバイス１１０で電話番号に電話することを開始することを含んでもよい。このような実施形態は、ボイスコマンド又は特定の電話番号に電話をかけることに対応する“スピードダイヤル”ナンバー又はボタンに代えて、カメラ２８０によりキャプチャされた顔の表情が用いられることを可能にしてもよい。一部の実施形態では、開始するために決定された動作は、第１の電子デバイス１１０との文書による通信を開始することを含んでもよい。このような実施形態は、第１の電子デバイス１１０によるテキストメッセージ又は電子メールとして送信されるメッセージを口述するために、カメラ２８０によりキャプチャされた顔の表情が用いられることを可能にしてもよい。動作決定モジュール２１６は、別の処理のために、信号を出力デバイス制御モジュール２１８へ出力してもよい。
【００３１】
出力デバイス制御モジュール２１８は、動作決定モジュール２１６からの出力信号を受信するように構成され、制御信号を、決定された動作を開始する出力デバイスへ送信するように構成される。例えば、開始される動作が、第２の電子デバイス２１０で視覚、音声及び／又は触覚効果を生成することを含む場合、出力デバイス制御モジュール２１８は、第２の電子デバイス２１０に伝えられうる信号を出力し、ディスプレイ２５２、スピーカ２９０及び／又は触覚出力デバイス２６０のような適切な出力デバイスに送信してもよい。一部の実施形態では、出力デバイス制御モジュール２１８は、動作決定モジュール２１６に代えて、触覚効果の振幅、周波数、持続期間等のような、触覚効果の１以上のパラメータを決定してもよい。同様に、開始される動作が電話番号に電話をかけることを含む場合、出力デバイス制御モジュール２１８は、第１の電子デバイス１１０の電話のダイヤラーが電話通信線を開き、電話番号に電話をかけるように信号を出力してもよい。開始される動作が、文書による通信を開始することを含む場合、出力デバイス制御モジュール２１８は、キーボード又はキーパッドにより出力される信号を模倣した信号を出力してもよい。
【００３２】
用途に応じて、異なる変更が、対象となる気分ベースの触覚フィードバックを生成するために用いられてもよい。例えば、電話での通話時に、友人と幸せな状態の気持ちを共有するために、ユーザの電話から別のユーザの電話へ、幸せな気分又は嬉しい状態の気分を目立たせる触覚合図を送信することによって、コミュニケーションは、増進される。モバイルフォンで電話をかけている又は通話している際に、ユーザの感情状態をキャプチャするために、モバイルフォン上のデジタルカメラ又はビデオカメラは、キャプチャするために用いられ、その後、キャプチャされた気分情報又は顔の表情を、通話しているユーザに送信してもよい。
【００３３】
図４Ａ及び４Ｂは、本発明の実施形態に係る、上述された実施システム１００を示す。図４Ａ及び４Ｂに示されるシステム４００は、スマートフォンのようなモバイルフォンであってもよい第１の電子デバイス４１０と、スマートフォンのようなモバイルフォンであってもよい第２の電子デバイス４２０と、を含む。図４Ａに示されるように、第１の電子デバイス４１０の第１のユーザは、第１のユーザの画像４１２をキャプチャするために第１の電子デバイス４１０上の前面カメラ４８０を用いてもよい。上述されたプロセッサ２１０のようなプロセッサは、カメラ４８０により出力された信号を受信し、かつ図４Ａに示される実施形態では、幸せな気分である第１のユーザの気分を決定するために気分決定モジュール２１４を使用してもよい。プロセッサ２１０は、その後、幸せな気分に基づいて開始するために動作を決定するために、動作決定モジュール２１４を用いてもよい。出力デバイス制御モジュール２１８は、開始される決定された動作に基づいて、上述された通信ネットワーク１３０を介して第２の電子デバイス４２０と通信される信号を出力してもよい。図示された実施形態では、幸せな顔の電子ステッカー４２２は、第２の電子デバイス４２０のディスプレイ４５２によってテキストボックス４２４に表示される。同時に、幸せな気分と関連付けられる相対的に強い振動を含む触覚効果４６２は、上述された触覚出力デバイス２６０のような触覚出力デバイスによる出力であってもよい。
【００３４】
図４Ｂに示されるように、第１の電子デバイス４１０の第１のユーザは、第１のユーザの別の画像４１３をキャプチャするために第１の電子デバイス４１０上の前面カメラ４８０を用いてもよい。プロセッサ２１０は、カメラ４８０により出力された信号を受信し、図４Ｂに示される実施形態では悲しい気分である第１のユーザの気分を決定するために、気分決定モジュール２１４を用いてもよい。プロセッサ２１０は、その後、悲しい気分に基づいて開始するために、動作を決定するために動作決定モジュール２１４を用いてもよい。出力デバイス制御モジュール２１８は、開始される決定された動作に基づいて、通信ネットワーク１３０を介して第２の電子デバイス４２０と通信される信号を出力してもよい。図示された実施形態では、悲しい顔の電子ステッカー４２３は、第２の電子デバイス４２０のディスプレイ４５２によってテキストボックス４２４に表示される。同時に、悲しい気分と関連付けられる（図４Ａの触覚効果４６２と比べて）相対的に弱い振動を含む触覚効果４６３は、上述された触覚出力デバイス２６０のような触覚出力デバイスによる出力であってもよい。
【００３５】
本発明の実施形態の実装では、システム１００の第１のユーザは、彼らの電子デバイス１１０上でチャットアプリケーションを開いて、システム１００の第２のユーザにメッセージを送信してもよい。第１のユーザがメッセージをタイプすると、カメラ２８０は、起動されてもよい。カメラ２８０の起動は、自動であってもよく、第１のユーザは、手動でカメラ２８０を起動してもよい。カメラ２８０は、第１のユーザの気分を決定するために用いられてもよい顔の表情をキャプチャしてもよい。追加又は代替的に、センサ２７０は、第１のユーザの気分を決定するために、バイオマーカーデータ又は位置データを提供してもよい。一部の実施形態では、第１の電子デバイス１１０からのカレンダーデータは、第１のユーザの気分の決定を助けるために、キャプチャされた顔の表情、バイオマーカーデータ及び／又は位置データについての状況を提供するために用いられてもよい。プロセッサ２１０は、適切な顔文字、電子ステッカー及び／又は触覚効果を決定し、システム１００の第２のユーザに潜在的に自動的に送信し、第２のユーザは、メッセージで第１のユーザの気分の示唆を受信して、メッセージのパーソナライズを助け、メッセージの通知の意味を伝える。
【００３６】
図５は、本発明の実施形態に係るユーザの気分に基づく動作を生成するときの図２のプロセッサのフローチャートである。一実施形態では、図５のフローチャートの機能は、メモリ又は他のコンピュータ可読又は有形媒体に記憶されたソフトウェアによって実装され、プロセッサによって実行される。別の実施形態では、当該機能は、（特定用途向け集積回路（“ＡＳＩＣ”）、プログラマブルゲートアレイ（“ＰＧＡ”）、フィールドプログラマブルゲートアレイ（“ＦＰＧＡ”）等の使用を通じて）ハードウェア又はハードウェア及びソフトウェアの組み合わせにより実行されてもよい。
【００３７】
図示されるように、フローチャート５００は、５１０で開始する。５２０において、上述された第１の電子デバイス１１０のような電子デバイスの第１のユーザの身体的特性は、上述されたセンサ１７０のうちの１つのようなセンサで検出される。５３０において、第１のユーザの気分は、検出された身体的特性に基づいて決定される。当該決定は、気分決定モジュール２１４がプロセッサ２１０により実行されたときに、上述されたプロセッサ２１０の気分決定モジュール２１４により完了されてもよい。５４０において、開始される動作は、決定された気分に基づいて、自動的に決定される。開始される動作の決定は、動作決定モジュール２１６がプロセッサ２１０により実行されたときに、上述されたプロセッサ２１０の動作決定モジュール２１６により完了されてもよい。５５０において、決定された動作は、開始される。当該動作は、出力デバイス制御モジュール２１８がプロセッサ２１０により実行Ｓれたときに、プロセッサ２１０の出力デバイス制御モジュール２１８により開始されてもよい。フロー図５００は、５６０において終了する。
【００３８】
５５０において決定された動作は、気分の表現であるオブジェクトを送信することによって、気分を別のデバイスへ自動的に送信することを含みうる。オブジェクトは、顔文字又は電子ステッカー又はアニメーションされたグラフィックス・インターチェンジ・フォーマット（Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ（“ＧＩＦ”））のような所定の画像であってもよく、任意の種類の音声及び／又は触覚効果を含んでもよい。更に、オブジェクトは、音声のみ、触覚効果のみ、又は任意の組み合わせを含んでもよい。オブジェクトは、テキストメッセージ、電子メール又は他のエンティティの送信と共に送信されてもよく、又は別々に送信されてもよい。
【００３９】
本発明の実施形態の実装では、システム１００の第１のユーザ及びシステム１００の第２のユーザは、スマートフォンのようなモバイルデバイスの形態であってもよい各電子デバイス１１０，１２０上のチャットアプリケーション（“ｃｈａｔ  ａｐｐ”）を用いることにより通信してもよい。第１のユーザは、第２のユーザに、“Ｉ  ｈａｖｅ  ｂｉｇ  ｎｅｗｓ！  Ｉ  ｇｏｔ  ａ  ｐｒｏｍｏｔｉｏｎ  ｔｏｄａｙ！”のメッセージをタイプしてもよい。第２のユーザは、誇張された“ｗｏｗ！”の顔をすることにより反応してもよい。第２のユーザのデバイス上の前面カメラは、誇張された“ｗｏｗ！”の顔をしている間に顔の画像をキャプチャすることにより、第２のユーザの感情をキャプチャしてもよい。第２のユーザのデバイスは、ユーザの感情が“驚き”であると決定し、“驚き”の感情と合致する電子ステッカーパック又はライブラリの電子ステッカーを識別してもよい。例えば、電子ステッカーは、その顎が大きな＊ＴＨＵＤ！（ドスン！）＊という音と共に落ちるような非常に驚いて見えるゴリラのアニメーションであってもよく、これは、電子ステッカーが第１のユーザへ伝えられるときに、電子ステッカーと一体化された触覚効果として感じられてもよい。
【００４０】
一実施形態では、気分プロファイルは、ステッカー又はアバターのような視覚利点に加えられるアニメーションパラメータのセットを選択するために用いられる。例えば、ある人物は、その友人にアニメーションされたキャラクターを送信してもよい。キャラクターが送信したとき及び／又はキャラクターが送信された後に、それが示す視覚的な態様は、気分プロファイルにより変更されうる。送信者が悲しいとき、キャラクターは、下を向く、足を引きずる等のような悲しみと関連付けられた動作及び態様を取ってもよい。触覚フィードバックは、足を引きずること、受信者の注意を気分に引きつけること、及び気分の体験を生成することと合致しうる。送信者の気分が興奮状態に変わった場合、キャラクターは、上下にジャンプし始め、受信者は、キャラクターが着地するごとにジャンプを振動パルスと合致させる“興奮”振動パターンを感じることができる。
【００４１】
本発明の別の実施では、第１のユーザ及び第２のユーザは、グーグルハングアウト（Ｇｏｏｇｌｅ  Ｈａｎｇｏｕｔｓ）を用いることによる互いの通信であってもよい。第２のユーザは、第２のユーザのラップトップを通じて通信している間に、友人とイベントに到着するために第１のユーザを待っていてもよい。第２のユーザは、第１のユーザが遅れていることにより生じる第２のユーザによって感じられるストレスのサインを検出するウェアラブル電子デバイスを身に着けていてもよく、第１のユーザが遅れていることは、第１のユーザのＧＰＳ位置によって確認されてもよい。顔文字は、第２のユーザのストレスレベルを示唆する第１のユーザのモバイルデバイスへ送信されてもよい。第１のユーザは、例えば、イベントに向かう途中のバスで、モバイルデバイス上にメッセージを受信してもよい。第１のユーザは、第２のユーザがストレスを受けていることがわかる。バスが渋滞を抜け、イベントの場所に迅速に近づいていると、第１のユーザのデバイスは、ユーザの笑顔をキャプチャし、時間通りであることを第２のユーザに知らせるためにポジティブな顔文字を送信してもよい。第２のユーザは、これに限定されないが、第２のユーザのウェアラブル電子デバイス、モバイルフォン、マウス及び触覚可能なラップトップタッチパッド等を含むユーザのグーグルアカウントに接続された多くのデバイスに亘って通知を受信してもよい。
【００４２】
本発明の別の実施では、システムの第１のユーザが、システムの第２のユーザへのメッセージをタイプし始めたとき、第２のユーザのデバイスは、第１のユーザが第２のユーザの気分を考慮に入れるように、第２のユーザの気分の兆候を第１のユーザに提供してもよい。例えば、第１のユーザは、ジョークを含むメッセージを第２のユーザに送信することを望んでいる。第１のユーザがメッセージをタイプし始めると、第１のユーザは、第２のユーザが良好な気分ではないことを電子デバイス１１０で知らされ、第１のユーザは、メッセージの文言又はタイミングを変えるべきかどうかを再考する。
【００４３】
本発明の実施形態の実施では、システムの第１のユーザの気分は、上述されたように、動作を決定するために用いられてもよく、決定された動作は、システムの第２のユーザの検出された気分によって更に調整されてもよい。例えば、第１のユーザの気分が興奮状態であるが、第２のユーザの気分が不機嫌である場合、第１のユーザの気分に基づいて取られる、決定された元の動作は、第２のユーザに出力される効果が変更されるように、第２のユーザの気分に基づいて調整されてもよい。
【００４４】
本発明の実施形態は、ゲーミング環境で実施されてもよい。例えば、本発明の実施形態の実施では、システムの第１のユーザの気分は、ゲーム内の第１のユーザのアバターに影響を与えるために用いられる、及び／又はゲーム内の他のプレイヤーに影響を与えるために用いられてもよい。システムの第１のユーザのアバターが、システムの第２のユーザのアバターを深刻に傷付ける又は殺そうとしている場合、本発明の実施形態は、第２のユーザが動作の結果として憤慨又は怒っているかを検出するために用いられ、第２のユーザの気分を第１のユーザに伝えてもよい。第２のユーザの気分のこのような伝達は、このような動作の後に、第１のユーザが、第２のユーザを嘲ること意図している場合に、有益であり、嘲りが良い考えであるかどうか、つまり、第２のユーザがこのような嘲りに対処することをより良く伝える。
【００４５】
開示されるように、実施形態は、電子デバイスのユーザの気分を検出し、気分に基づいて動作を自動的に実行する。動作の実施例は、第１のユーザの気分の視覚及び／又は触覚構成要素の反映を含む第２のユーザへの電子メッセージの生成及び送信でありうる。顔文字のような視覚及び／又は触覚構成要素は、気分に基づいて自動的に選択されることができ、それによって、ユーザが手動で選択する手間を軽減することができる。
【００４６】
本明細書に記載された実施形態は、複数の取りうる実装及び実施例を表し、本開示を特定の実施形態に必ずしも限定しないことを意図する。それに代えて、当業者によって理解されるようなこれらの実施形態への各種の変形がなされうる。このような変形は、本開示の趣旨及び範囲内に含まれることが意図され、以下の特許請求の範囲によって保護される。
【図１】
2016162459.tif 000004
【図２】
2016162459.tif 000005
【図３】
2016162459.tif 000006
【図４Ａ】
2016162459.tif 000007
【図４Ｂ】
2016162459.tif 000008
【図５】
2016162459.tif 000009
【外国語明細書】
2016162459000001.pdf