(57)【要約】  ユーザの画像を利用してメッセージングまたはソーシャル・ネットワーキング・アプリケーションでユーザに関する本当のまたは個人化された感情を表す実施形態が提供される。ユーザ表情画像のライブラリは、この目的で生成され、スマートフォンまたは他のユーザデバイス上などの、メッセージングまたはソーシャル・ネットワーキング・アプリケーションにアクセス可能とされる。表情の画像は、うれしい顔または悲しい顔などの、ユーザの感情または表情を伝えるユーザの顔写真を含む。一実施形態の方法は、電子デバイスによってアクセス可能な画像を検出するステップと、画像がユーザの顔を示すかどうか、および画像がユーザの顔によって表現される表情を示すかどうかを判定するステップと、判定するステップに従って、ユーザの表情のライブラリに画像を追加するステップと、エモーティコンとして画像を含むメッセージを送信するステップとを含む。
2017526074.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに関連付けられた電子デバイスによって実行される方法であって、
前記電子デバイスによってアクセス可能な画像を検出するステップと、
前記画像が前記ユーザの顔を示すかどうか、および前記画像が前記ユーザの前記顔によって表現される表情を示すかどうかを判定するステップと、
前記判定するステップに従って、前記ユーザの表情のライブラリに前記画像を追加するステップと、
前記ライブラリからの前記画像をエモーティコンとして含むメッセージを送信するステップと、
を含む方法。
【請求項２】
前記ライブラリへのアクセスをアプリケーションに提供するステップと、
前記アプリケーションが前記ライブラリからネットワークまたは受信者に前記画像を送信可能にするステップと、
をさらに含む、請求項1に記載の方法。
【請求項３】
前記アプリケーションは、前記ユーザと1人または複数の他のユーザとの間でメッセージを送受信するテキスト・メッセージング・アプリケーション、前記ユーザと1人または複数の他のユーザとの間でリアルタイムメッセージを交換するインスタント・メッセージング・アプリケーション、および1人または複数の他のユーザが見るように前記ユーザのメッセージを投稿するソーシャル・ネットワーキング・アプリケーションのうちの1つである、請求項2に記載の方法。
【請求項４】
前記ライブラリへのアクセスをアプリケーションに提供する前記ステップは、
前記電子デバイス上に前記画像を表示するオプションを前記アプリケーションに追加するステップを含む、請求項2に記載の方法。
【請求項５】
前記ユーザが前記オプションを選択するときに、前記ライブラリの中のユーザ顔画像のビューを表示するステップと、
前記ユーザが前記ユーザ顔画像のうちの1つを選択したときに、前記アプリケーションを使用している前記電子デバイス上で前記ユーザ顔画像のうちの選択された1つを表示するステップと、
前記アプリケーションを使用して前記ユーザ顔画像のうちの前記選択された1つを送信するステップと、
をさらに含む、請求項4に記載の方法。
【請求項６】
前記ユーザ顔画像は、前記ユーザのさまざまな表情を描く、請求項5に記載の方法。
【請求項７】
前記画像は、前記電子デバイス上で前記画像をダウンロード、表示、または受信したときに検出される、請求項1に記載の方法。
【請求項８】
前記画像は、前記電子デバイスをオンにしたときに検出される、請求項1に記載の方法。
【請求項９】
前記判定するステップは、
前記画像が前記ユーザの前記顔を示すかどうかを判定することを含む顔認識アルゴリズムを使用して前記画像を解析するステップと、
前記画像が前記表情を示すかどうかを判定することを含む表情認識アルゴリズムを使用して前記画像を解析するステップと、
を含む、請求項2に記載の方法。
【請求項１０】
前記顔認識アルゴリズム、前記表情認識アルゴリズム、前記アプリケーション、および表情の前記ライブラリのうちの少なくとも1つは、前記電子デバイス上に配置される、請求項9に記載の方法。
【請求項１１】
前記顔認識アルゴリズム、前記表情認識アルゴリズム、前記アプリケーション、および表情の前記ライブラリのうちの少なくとも1つは、前記電子デバイスによってリモートでアクセスされる、請求項9に記載の方法。
【請求項１２】
前記電子デバイスをオンにしたときに、前記顔認識アルゴリズムおよび前記表情認識アルゴリズムを前記電子デバイス上で使用可能とするステップをさらに含む、請求項9に記載の方法。
【請求項１３】
前記電子デバイスをオンにしたときに、前記顔認識アルゴリズムおよび前記表情認識アルゴリズムを使用可能とするように前記ユーザを促すステップと、
前記ユーザによる承認を受信したときに、前記顔認識アルゴリズムおよび前記表情認識アルゴリズムを使用可能とするステップと、
をさらに含む、請求項9に記載の方法。
【請求項１４】
ネットワークサーバによって実行される方法であって、
デジタル画像中のユーザの顔および前記デジタル画像中の前記ユーザの前記顔によって表現される表情を検出するステップと、
前記ユーザの表情を描くデジタル画像のライブラリに前記デジタル画像を追加するステップと、
前記ライブラリへのアクセスを前記ユーザの電子デバイス上で操作されるアプリケーションに提供するステップと、
を含み、
前記アプリケーションは、前記電子デバイスからエモーティコンとして前記デジタル画像を送信するオプションを含む、方法。
【請求項１５】
前記ライブラリは、前記ネットワークサーバ、前記ユーザの前記電子デバイス、およびリモート記憶域のうちの少なくとも1つに保存される、請求項14に記載の方法。
【請求項１６】
前記アプリケーションは、前記ユーザと1人または複数の他のユーザとの間でメッセージを送受信するテキスト・メッセージング・アプリケーション、前記ユーザと1人または複数の他のユーザとの間でリアルタイムメッセージを交換するインスタント・メッセージング・アプリケーション、および1人または複数の他のユーザが見るように前記ユーザのメッセージを投稿するソーシャル・ネットワーキング・アプリケーションのうちの1つである、請求項14に記載の方法。
【請求項１７】
前記アプリケーションは、前記ユーザの前記電子デバイス上で実行可能であり、前記ネットワークサーバと通信して前記ライブラリにアクセスする、請求項15に記載の方法。
【請求項１８】
前記アプリケーションは、前記ネットワークサーバまたは前記ネットワークサーバに関連付けられたネットワーク上で実行可能である、請求項15に記載の方法。
【請求項１９】
前記アプリケーションは、前記ライブラリの前記デジタル画像のうちの任意の1つを表示するかまたは送信することを求める前記ユーザによる要求を受信したときに、前記ライブラリへのアクセスを提供される、請求項15に記載の方法。
【請求項２０】
前記ネットワークサーバは、前記ユーザの前記電子デバイスへの接続を有するクラウドベースのサーバである、請求項15に記載の方法。
【請求項２１】
前記ユーザの前記顔は、顔認識アルゴリズムを使用して前記デジタル画像で検出され、
前記表情は、表情認識アルゴリズムを使用して前記デジタル画像でさらに検出される、請求項15に記載の方法。
【請求項２２】
前記顔認識アルゴリズムを使用して前記デジタル画像で前記ユーザの前記顔を検出したときに、前記表情認識アルゴリズムを使用して前記デジタル画像を解析するステップをさらに含む、請求項21に記載の方法。
【請求項２３】
前記デジタル画像で前記表情を検出したときに、前記デジタル画像が前記ライブラリに追加される、請求項21に記載の方法。
【請求項２４】
表情を前記デジタル画像で検出することに失敗したときに、前記ユーザに前記ライブラリに前記デジタル画像を受け入れることを促すステップと、
前記ユーザが承認したときに、前記ライブラリへの前記デジタル画像の前記追加を行うステップと、
をさらに含む、請求項21に記載の方法。
【請求項２５】
ユーザに関連付けられた電子デバイスであって、
少なくとも1つのプロセッサと、
ユーザインタフェースを提供するディスプレイと、
前記少なくとも1つのプロセッサによる実行のためのプログラミングを保存する非一時的コンピュータ可読記憶媒体と、
を備え、
前記プログラミングは、
前記電子デバイスによってアクセス可能な画像を検出し、
前記画像がユーザの顔を示すかどうか、および前記画像が前記ユーザの前記顔によって表現される表情を示すかどうかを判定し、
前記判定に従って、前記ユーザの表情のライブラリに前記画像を追加し、
前記ライブラリからの前記画像をエモーティコンとして含むメッセージを送信する、
命令を含む、電子デバイス。
【請求項２６】
前記プログラミングは、前記ライブラリへのアクセスをアプリケーションに提供するさらなる命令を含み、
前記アプリケーションは、前記ユーザと1人または複数の他のユーザとの間でメッセージを送受信するテキスト・メッセージング・アプリケーション、前記ユーザと1人または複数の他のユーザとの間でリアルタイムメッセージを交換するインスタント・メッセージング・アプリケーション、および1人または複数の他のユーザが見るように前記ユーザのメッセージを投稿するソーシャル・ネットワーキング・アプリケーションのうちの1つである、請求項25に記載の電子デバイス。
【請求項２７】
前記プログラミングは、
前記画像が前記ユーザの前記顔を示すかどうかを判定することを含む顔認識アルゴリズムを使用して前記画像を解析し、
前記画像が前記表情を示すかどうかを判定することを含む表情認識アルゴリズムを使用して前記画像を解析する、
さらなる命令を含む、請求項26に記載の方法。
【請求項２８】
前記顔認識アルゴリズム、前記表情認識アルゴリズム、前記アプリケーション、および表情の前記ライブラリのうちの少なくとも1つは、前記電子デバイス上に配置される、請求項27に記載の電子デバイス。
【請求項２９】
前記顔認識アルゴリズム、前記表情認識アルゴリズム、前記アプリケーション、および表情の前記ライブラリのうちの少なくとも1つは、前記電子デバイスによってリモートでアクセスされる、請求項27に記載の電子デバイス。
【請求項３０】
前記電子デバイスは、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、および通信装置のうちの1つである、請求項25に記載の電子デバイス。
【請求項３１】
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサによる実行のためのプログラミングを保存する非一時的コンピュータ可読記憶媒体と、
を備え、
前記プログラミングは、
デジタル画像中のユーザの顔および前記デジタル画像中の前記ユーザの前記顔によって表現される表情を検出し、
前記ユーザの表情を描くデジタル画像のライブラリに前記デジタル画像を追加し、
前記ライブラリへのアクセスを前記ユーザの電子デバイス上で操作されるアプリケーションに提供する、
命令を含み、
前記アプリケーションは、前記電子デバイスからエモーティコンとして前記デジタル画像を送信するオプションを含む、ネットワークサーバ。
【請求項３２】
前記ライブラリは、前記ネットワークサーバ、前記ユーザの前記電子デバイス、およびリモート記憶域のうちの少なくとも1つに保存される、請求項31に記載のネットワークサーバ。
【請求項３３】
前記アプリケーションは、前記ユーザの前記電子デバイス上で実行可能なテキスト・メッセージング・アプリケーション、インスタント・メッセージング・アプリケーション、およびソーシャル・ネットワーキング・アプリケーションのうちの1つである、請求項31に記載のネットワークサーバ。
【請求項３４】
前記アプリケーションは、前記ネットワークサーバに関連付けられたネットワーク上で実行可能なテキスト・メッセージング・アプリケーション、インスタント・メッセージング・アプリケーション、およびソーシャル・ネットワーキング・アプリケーションのうちの1つである、請求項31に記載のネットワークサーバ。
【請求項３５】
前記ネットワークサーバは、前記ユーザの前記電子デバイスによってリモートでアクセス可能なクラウドベースのサーバである、請求項31に記載のネットワークサーバ。
【請求項３６】
ユーザに関連付けられた電子デバイスと、
1つまたは複数のネットワークサーバと、
を備え、
前記電子デバイスおよび前記1つまたは複数のネットワークサーバは、
前記電子デバイスによってアクセス可能な画像を検出し、
前記画像が前記ユーザの顔を示すかどうか、および前記画像が前記ユーザの前記顔によって表現される表情を示すかどうかを判定し、
前記判定に従って、前記ユーザの表情のライブラリに前記画像を追加する、
ように個別にまたは一括して構成され、
前記ライブラリは、前記ユーザに関連付けられた前記電子デバイス上で操作されるアプリケーションによってアクセス可能であり、
前記アプリケーションは、前記電子デバイスからエモーティコンとして前記デジタル画像を送信するオプションを含む、システム。
【請求項３７】
前記電子デバイスは、前記画像を検出するように構成される、請求項36に記載のシステム。
【請求項３８】
前記1つまたは複数のネットワークサーバは、前記画像を検出するように構成される、請求項36に記載のシステム。
【請求項３９】
前記電子デバイスは、顔認識アルゴリズムおよび表情認識アルゴリズムのうちの少なくとも1つを使用して前記画像を解析するように構成される、請求項36に記載のシステム。
【請求項４０】
前記1つまたは複数のネットワークサーバは、顔認識アルゴリズムおよび表情認識アルゴリズムのうちの少なくとも1つを使用して前記画像を解析するように構成される、請求項36に記載のシステム。
【請求項４１】
前記電子デバイスおよび前記1つまたは複数のネットワークサーバは、前記電子デバイス上でリモートからアクセス可能なテキスト・メッセージング・アプリケーション、インスタント・メッセージング・アプリケーション、およびソーシャル・ネットワーキング・アプリケーションのうちの少なくとも1つにライブラリへのアクセスを提供するように個別にまたは一括してさらに構成される、請求項36に記載のシステム。
【請求項４２】
前記プログラミングは、前記電子デバイス上に配置されたテキスト・メッセージング・アプリケーション、インスタント・メッセージング・アプリケーション、およびソーシャル・ネットワーキング・アプリケーションのうちの少なくとも1つに前記ライブラリアクセスへのアクセスを提供するさらなる命令を含む、請求項36に記載のシステム。
【請求項４３】
前記1つまたは複数のネットワークサーバは、サービスプロバイダまたはネットワークオペレータによって運用される、請求項36に記載のシステム。
【請求項４４】
前記電子デバイスは、セルラリンクおよびWi-Fiリンクのうちの1つを介して前記1つまたは複数のネットワークサーバと通信可能である、請求項43に記載のシステム。
【請求項４５】
前記1つまたは複数のネットワークサーバは、インターネット・サービス・プロバイダまたはクラウド・サービス・プロバイダによって運用される、請求項36に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、2014年8月21日に提出された「System and Methods of Generating User Facial Expression Library for Messaging and Social Networking Applications」と題された、米国非仮特許出願第14／465，603号の優先権を主張するものであり、引用により、上記米国仮特許出願の全体が再現されるかのように本明細書に援用される。
【０００２】
本発明は、メッセージングおよびソーシャルネットワーキングに関し、特に、メッセージングおよびソーシャル・ネットワーキング・アプリケーションのためのユーザ表情ライブラリを生成するシステムおよび方法に関する。
【背景技術】
【０００３】
メッセージングおよびソーシャルネットワーキングは、ユーザまたは加入者間でテキストおよびメディア（例えば、音声、音楽、ビデオ）をやりとりするために広く普及している。オンライン・サービス・プロバイダおよび／またはワイヤレス・サービス・プロバイダによって提供されるメッセージングおよびソーシャル・ネットワーキング・アプリケーションおよびサービスは、インスタントチャット、インスタントメッセージ、ショート・メッセージ・サービス（SMS）メッセージ、およびマルチメディア・メッセージング・サービス（MMS）メッセージなどのさまざまな通信機能をユーザに提供する。ユーザは、このような機能を使用して彼らの気にかかっていることおよび現在の感情を表現することができる。ユーザの感情を表現する1つの方法は、例えばSMSまたはインスタントメッセージを介して、一般に情緒、感情、または心理状態を表すアイコンまたはグラフィックスを送信することによる。しかしながら、アイコンおよびグラフィックスは通常、例えば、使用中のメッセージングアプリケーションまたはサービスに従って、定義済みで事前設定されており、したがって個性に欠け、時間とともに平凡になることがある。より個人化されより良好なユーザ体験を提供するために、メッセージングおよびソーシャル・ネットワーキング・アプリケーションおよびサービスを介してユーザの感情および心理状態をやりとりする改善された手段の必要性がある。
【発明の概要】
【課題を解決するための手段】
【０００４】
一実施態様に従って、ユーザに関連付けられた電子デバイスによって実行される方法は、電子デバイスによってアクセス可能な画像を検出するステップと、画像がユーザの顔を示すかどうか、および画像がユーザの顔によって表現される表情を示すかどうかを判定するステップと、判定するステップに従って、ユーザの表情のライブラリに画像を追加するステップとを含む。方法は、ライブラリからの画像をエモーティコンとして含むメッセージを送信するステップをさらに含む。
【０００５】
別の実施態様に従って、ネットワークサーバによって実行される方法は、デジタル画像中のユーザの顔およびデジタル画像中のユーザの顔によって表現される表情を検出するステップと、ユーザの表情を描くデジタル画像のライブラリにデジタル画像を追加するステップと、ライブラリへのアクセスをユーザの電子デバイス上で操作されるアプリケーションに提供するステップとを含む。アプリケーションは、電子デバイスからエモーティコンとしてデジタル画像を送信するオプションを含む。
【０００６】
さらに別の実施態様に従って、ユーザに関連付けられた電子デバイスは、少なくとも1つのプロセッサと、ユーザインタフェースを提供するディスプレイと、少なくとも1つのプロセッサによる実行のためのプログラミングを保存する非一時的コンピュータ可読記憶媒体とを備える。プログラミングは、電子デバイスによってアクセス可能な画像を検出し、画像がユーザの顔を示すかどうか、および画像がユーザの顔によって表現される表情を示すかどうかを判定し、判定に従って、ユーザの表情のライブラリに画像を追加する命令を含む。プログラミングは、ライブラリからの画像をエモーティコンとして含むメッセージを送信する命令をさらに含む。
【０００７】
別の実施態様に従って、ネットワークサーバは、少なくとも1つのプロセッサと、少なくとも1つのプロセッサによる実行のためのプログラミングを保存する非一時的コンピュータ可読記憶媒体とを備える。プログラミングは、デジタル画像中のユーザの顔およびデジタル画像中のユーザの顔によって表現される表情を検出し、ユーザの表情を描くデジタル画像のライブラリにデジタル画像を追加し、ライブラリへのアクセスをユーザの電子デバイス上で操作されるアプリケーションに提供する命令を含む。アプリケーションは、電子デバイスからエモーティコンとしてデジタル画像を送信するオプションを含む。
【０００８】
さらに別の実施態様に従って、システムは、ユーザに関連付けられた電子デバイスと、1つまたは複数のネットワークサーバとを備える。電子デバイスおよび1つまたは複数のネットワークサーバは、電子デバイスによってアクセス可能な画像を検出し、画像がユーザの顔を示すかどうか、および画像がユーザの顔によって表現される表情を示すかどうかを判定し、判定に従って、ユーザの表情のライブラリに画像を追加するように個別にまたは一括して構成される。ライブラリは、ユーザに関連付けられた電子デバイス上で操作されるアプリケーションによってアクセス可能である。アプリケーションは、電子デバイスからエモーティコンとしてデジタル画像を送信するオプションを含む。
【０００９】
さらに別の実施態様に従って、ユーザに関連付けられた電子デバイスは、少なくとも1つのプロセッサと、ユーザインタフェースを提供するディスプレイと、電子デバイスによってアクセス可能な画像を検出する検出器と、画像がユーザの顔を示すかどうか、および画像がユーザの顔によって表現される表情を示すかどうかを判定する判定要素と、判定に従って、ユーザの表情のライブラリに画像を追加する画像処理要素と、ライブラリからの画像をエモーティコンとして含むメッセージを送信する送信器とを備える。
【００１０】
別の実施態様に従って、ネットワークサーバは、少なくとも1つのプロセッサを備える。ネットワークサーバは、デジタル画像中のユーザの顔およびデジタル画像中のユーザの顔によって表現される表情を検出する検出器と、ユーザの表情を描くデジタル画像のライブラリにデジタル画像を追加する画像処理要素と、ライブラリへのアクセスをユーザの電子デバイス上で操作されるアプリケーションに提供する送信器とを同様に備える。アプリケーションは、電子デバイスからエモーティコンとしてデジタル画像を送信するオプションを含む。
【００１１】
前述のものは、後に続く本発明の詳細な説明がよりよく理解され得るように、本発明の実施形態の特徴をどちらかといえば総括的に概説した。本発明の実施形態のさらなる特徴および利点は、以下に説明されることになり、それらは本発明の特許請求の範囲の主題を形成する。開示された概念および特定の実施形態が、本発明の同じ目的を遂行するための他の構造またはプロセスを修正または設計するための基礎として容易に利用され得ることは、当業者によって認識されるべきである。このような同等の構成が、添付の特許請求の範囲に記載された本発明の趣旨および範囲から逸脱しないことは、同様に、当業者によって理解されるべきである。
【００１２】
本発明およびその利点のより完全な理解のために、次に、添付の図面に関連してなされた以下の説明を参照する。
【図面の簡単な説明】
【００１３】
【図１】デバイス上の画像アルバムの中のユーザ顔画像を検出するためのシステムの実施形態を例示する略図である。
【図２Ａ】望ましい感情に対応するユーザ顔画像を挿入するためにメッセージングまたはソーシャル・ネットワーキング・アプリケーションでオプションを実施する実施形態を例示する略図である。
【図２Ｂ】メッセージングアプリケーションにエモーティコンとして利用可能なユーザ顔画像のビューを例示する略図である。
【図３】エモーティコンとしてユーザ顔画像を利用可能とするシステムの自動運転の実施形態方法を例示する流れ図である。
【図４】図3のシステムを使用して画像をハンドリングする実施形態方法を例示する流れ図である。
【図５】メッセージングおよびソーシャル・ネットワーキング・アプリケーションのためにユーザ表情ライブラリを使用する実施形態システムの略図である。
【図６】メッセージングおよびソーシャル・ネットワーキング・アプリケーションのためにユーザ表情ライブラリを使用する別の実施形態システムの略図である。
【図７】メッセージングおよびソーシャル・ネットワーキング・アプリケーションのためにユーザ表情ライブラリを使用する別の実施形態システムの略図である。
【図８】メッセージングおよびソーシャル・ネットワーキング・アプリケーションのためにユーザ表情ライブラリを使用する別の実施形態システムの略図である。
【図９】さまざまな実施形態を実施するために使用され得る処理システムの略図である。
【発明を実施するための形態】
【００１４】
異なる図での対応する数字および符号は一般に、別途指示されない限り、対応する部分を意味する。図は、実施形態の関連する実施態様を明確に例示するために描かれ、必ずしも原寸に比例して描かれない。
【００１５】
現在好ましい実施形態の作成および使用を以下に詳細に論じる。しかしながら、本発明が多種多様の特定の状況で具現化され得る多くの応用可能な発明的概念を提供することは理解されるべきである。論じられる特定の実施形態は、本発明を作成し使用する特定の方法を例示するにすぎず、本発明の範囲を限定するものではない。
【００１６】
ユーザの画像を利用してメッセージングまたは他のソーシャルネットワーキング手段でユーザの本当のまたは個人化された感情または心理状態を表す、システムおよび方法実施形態が本明細書で提供される。本明細書で使用される、画像という用語は、ある主題（例えば人物）に類似した概観を有し、それで主題の描写を提供する、視覚認知を描写または記録する人工物、例えば2次元画像を示す。画像は、人物の写真のように、2次元とすることができ、カメラ、鏡、レンズ、望遠鏡、顕微鏡などの、光学デバイスによって捕捉することができる。画像は、メモリを備えた電子デバイス上に（例えばデジタル画像として）電子的に保存することができ、電子ディスプレイ（スクリーン）上に表示することができる。ユーザ表情の画像のライブラリによって描かれたユーザ感情または心理状態のセットは、この目的で生成され、メッセージングまたはソーシャル・ネットワーキング・プラットフォーム／サービスにリンクされまたはアクセス可能とされる。プラットフォームは、ユーザデバイスまたはユーザデバイスのファミリでの使用に適したソフトウェアアプリケーションまたはプログラム（コード）とすることができる。サービスは、オンライン・サービス・プロバイダもしくはオペレータおよび／またはワイヤレス・サービス・プロバイダもしくはオペレータによってユーザまたは加入者に提供され得る。ユーザ表情の画像は、ユーザのさまざまな表情、感情、態度、または心理状態を表現するユーザの顔（例えば顔のショット）を示す。例えば、ユーザ表情の画像は、うれしい顔、悲しい顔、怒った顔、および／または他の表情を含む。画像は、ユーザの顔の切り取った画像とすることができる。画像は、デジタルカメラ、または任意の他のデバイスまたは手段（例えば、スキャナ）を介して捕捉されたデジタル画像とすることができ、例えばデジタルメディアを保存するための任意の適当なメモリデバイスに、デジタルフォーマットで保存することができる。
【００１７】
ユーザ表情画像は、例えば、プラットフォームまたはサービスによって提供されるテキストまたはインスタントメッセージを介して、送信することができる。プラットフォームおよびサービスは、ソーシャル・ネットワーキング・プラットフォーム（例えば、Facebook（登録商標））、インスタント・メッセージング・プラットフォーム（例えば、Twitter（登録商標）、Facebook Messenger（登録商標））、メディア交換プラットフォーム（例えば、Instagram（登録商標）、Flicker（登録商標））、さまざまなユーザデバイスでサポートされるテキスト・メッセージング・サービス（例えば、SMS、MMS、WhatsApp（登録商標）、WeChat（登録商標））、または他の適当なプラットフォームおよびサービスを含み得る。ユーザデバイスの実施例は、スマートフォン、コンピュータタブレット、ラップトップコンピュータ、およびデスクトップコンピュータを含む。本明細書で使用される、メッセージングおよびソーシャル・ネットワーキング・プラットフォームという用語は、スマートフォンまたはタブレット上でダウンロード可能な（一般に「アプリ」と呼ばれる）アプリケーションを介して、またはこのようなデバイス上にインストールされた任意のソフトウェアプログラム／コードを介して、コンピュータデバイス上のウェブブラウザなどの、さまざまな適当な形でさまざまなデバイス上で走ることができる任意のメッセージングまたはソーシャル・ネットワーキング・アプリケーションおよびサービスを意味する。メッセージングおよびソーシャル・ネットワーキング・プラットフォームおよびサービスは同様に、ダウンロードが制限されないまたは制限されたクラウドベースのアプリケーションを介してアクセスまたは使用することができる。アプリケーションまたはプログラムは、このようなデバイス上で処理することができ、1つまたは複数のリモートサーバで（例えば、クラウドまたはインターネットで）処理してこのようなデバイスによってアクセスすることができ、多数のデバイス／サーバ間で分散された方式で処理することができ、またはこのような処理モデルの組合せとすることができる。
【００１８】
テキスト・メッセージング・アプリケーションは、携帯電話またはワイヤレス・サービス・プロバイダ・ネットワーク上の固定もしくは携帯用デバイス上でなどの、2人以上のユーザ間で電子メッセージを送信することを可能にする任意のアプリケーションを含む。メッセージは、ショート・メッセージ・サービス（SMS）を使用して送信することができる。メッセージは、画像、ビデオ、および音声コンテンツを同様に含み得る（MMSメッセージとして知られる）。各々のデバイス上のクライアントアプリケーションは、このようなメッセージの送受信を可能にする。サービスは、デバイスがテキストメッセージを送信することを可能にするためにプロバイダのネットワークによって同様にサポートされるべきである。
【００１９】
インスタントメッセージングは、インターネット、インターネットプロトコル（IP）ネットワーク、ワイヤレスもしくはセルラネットワーク、または他の適当なネットワーク上でリアルタイムテキスト送信を提供する電子（オンライン）チャットの一種である。ローカル・エリア・ネットワーク（LAN）メッセンジャは、LAN上で類似の方法で動作する。インスタントメッセージングは、例えば、各々のユーザが思考を完了して「送信する」を選択することを選ぶとき、2人以上の関係者間で双方向にショートメッセージを送信することを通常伴う。いくつかのインスタント・メッセージング・アプリケーションは、メッセージが書かれるにつれて、文字単位でメッセージを送信する、リアルタイムテキストを提供するプッシュ技術を使用することができる。より進歩したインスタントメッセージングは、ファイル転送、クリック可能なハイパーリンク、ボイスオーバーIP（VoIP）、またはビデオチャットを加えることができる。テキストメッセージングに類似して、各々のデバイス上のクライアント・インスタント・メッセージング・アプリケーションは、このようなメッセージの送受信を可能にする。ピアツーピアプロトコルは、2つ以上のクライアントアプリケーションがメッセージを交換することを可能にするために使用することができる。他のインスタント・メッセージング・プロトコルは、クライアントまたはピアに、例えば、クラウドまたはプロバイダのネットワークで、サーバに接続するように要求する。
【００２０】
ソーシャル・ネットワーキング・プラットフォームは、興味、活動、背景または実生活のつながりを共有する人々またはユーザの間で社会的関係を構築するサービスである。ソーシャル・ネットワーキング・サービスは、各々のユーザ（しばしばプロファイル）の表現、彼のソーシャルリンク、およびさまざまな付加的サービスからなる。ソーシャル・ネットワーキング・サービスは、ウェブサイトまたは「アプリ」を介して、オンラインでアクセスされ、ユーザが公開プロファイルを作成し、つながりを共有するユーザのリストを作成し、システム内のつながりを見て交差させることを可能にする、ウェブベースのサービスとすることができる。ソーシャル・ネットワーキング・サービスは、電子メールおよびインスタントメッセージングによってなどの、インターネット（または他の適当なネットワーク）上でユーザが交流するための手段を提供し得る。ソーシャル・ネットワーキング・サービスは、ユーザ間のつながり、例えば、ウェブサイトまたはユーザデバイス上の「アプリ」とのつながりを管理するサーバを含む。ウェブサイトまたは「アプリ」は、ソーシャル・ネットワーキング・サービスのサーバと情報をやりとりするユーザデバイス上のクライアントアプリケーションとしての役割を果たす。
【００２１】
具体的には、システムは、ユーザ専用の記憶空間にユーザ表情および感情を描く画像のライブラリを自動的に生成する。本明細書で使用される、ライブラリという用語は、ユーザデバイスによってアクセス可能なローカルまたはリモート記憶域上の、例えば、ある1つのフォルダまたは多数のフォルダの中のデジタルファイルとしての、画像の任意の適当な論理グルーピングを示す。そのようなものとして、ライブラリは画像のデジタルアルバムを表すことができる。例えば、記憶空間は、ある1つのデバイス、ファミリもしくはデバイス達の上のローカルなメモリ記憶域、またはユーザに関連付けられるクラウドにおけるリモート記憶空間（例えば、インターネットによってアクセス可能なリモート記憶域）に存在することができる。ユーザ表情画像のライブラリは同様に、1つのデバイス／場所に局在するか、または多数のデバイス／場所に分散することができる。さらに、ライブラリまたはライブラリ中の画像の多数のコピーは、多数のデバイス／場所に（例えば、クラウドに、および1つまたは複数のユーザデバイス上に）保存することができる。画像は、メッセージングおよびソーシャル・ネットワーキング・アプリケーションでの表示に適した任意の画像ファイルフォーマットで、ユーザ表情のライブラリに保存することができる。サポートされ得る画像ファイルフォーマットの実施例は、ポータブル・ネットワーク・グラフィックス（PNG）、ジョイント・フォトグラフィック・エキスパート・グループ（JPEG）、ビットマップ画像ファイル（BMP）、グラフィックス・インターチェンジ・フォーマット（GIF）またはこのようなデバイスでサポートされる任意の他のフォーマットを含む。
【００２２】
実施形態で、メッセージングおよびソーシャル・ネットワーキング・プラットフォームは、ユーザ表情を描く画像のライブラリと同じデバイスを含むかこのデバイスにリンクすることができる。例えば、スマートフォン上の「アプリ」は、同じスマートフォン上に同様に保存された画像のライブラリに接続することができる。例えばクラウドで、サーバによってホストされるアプリケーションの場合、同じサーバが画像のライブラリを同様にホストすることができる。他の実施形態で、アプリケーションと画像のライブラリは、異なる構成要素上でホストすることができる。例えば、ライブラリは、ユーザデバイス（例えば、スマートフォン）上でホストすることができ、アプリケーションは、リモートサーバ上でホストすることができる。あるいは、アプリケーションは、ユーザデバイス上のアプリとすることができ、ライブラリは、例えば、クラウドでまたは別のデバイス上で、リモートからホストすることができる。
【００２３】
ユーザ表情の画像ライブラリを生成するために、ユーザデバイス上で撮られ、アップロードされ、受信され、または表示された、ユーザに関連付けられた画像アルバム（例えば、デジタルフォルダ）の中の任意の既存の画像は、顔認識機能によって自動的に解析される。図1は、スマートフォンなどの、デバイス上の画像の一般的なデジタルアルバムでユーザ顔画像を検出する実施形態を示す。アルバムは、デバイス上に保存するか、（例えば、クラウドまたは1つもしくは複数のリモートサーバもしくはリモートデバイスに）リモートで保存しデバイスによってアクセス可能とするか、両方の組合せとすることができる。顔認識機能が画像の中にユーザ顔を検出した場合、画像は、顔を捕捉するために、必要であれば、適切に切り取られ、そして次に、ユーザ表情のライブラリに追加される。例えば、画像がユーザ画像より他の対象物を示す場合、画像はユーザ顔の周りで切り取られる。顔認識機能は、ユーザ顔の既存の画像を解析することによってユーザ顔を認識するように訓練される。例えば、顔認識機能をセットアップする際に、ユーザは、顔認識アルゴリズムを訓練するために、デバイスまたはリモート記憶空間上に存在する1つまたは複数のユーザ顔画像を選択することができる。ユーザは、ライブラリに1つまたは複数のユーザ顔画像を、いつでも、手作業で同様に追加することができ、それらのユーザ顔画像はそれから、解析し顔認識アルゴリズムをさらに訓練するために顔認識機能に利用可能となる。一実施形態で、自動顔認識機能動作は、ユーザに解析の結果を確認するように促すことを同様に含み得る。ユーザ確認に基づいて、ユーザによって承認された場合、ユーザ顔画像はユーザ表情画像のライブラリに追加される。機能による解析が決定的でない場合、ユーザは、画像を承認するかまたはそれを拒絶するかのオプションを与えられてもよい。ユーザは同様に、いつでも、ライブラリに画像を追加し、または画像を削除することができてもよい。
【００２４】
ライブラリに追加される各々のユーザ顔画像は、同様に、表情または感情認識機能によって自動的に解析される。例えば図1に示されるように、顔認識機能によって検出されユーザ表情画像のライブラリに追加された顔画像は、本明細書で感情認識機能とも呼ばれる、表情認識機能によって解析される。解析の結果に従って、ユーザ顔画像は、うれしい、悲しい、怒っている、興奮している、および他の可能な感情または表情カテゴリなどの、利用可能な表情および感情カテゴリのうちの1つに分類される。表情認識アルゴリズムは、各々の感情カテゴリに対して既存のユーザ顔画像を使用してさらに訓練される。一実施形態で、自動感情認識機能動作は、ユーザに解析の結果を確認するように促すことを同様に含み得る。ユーザ顔画像は、したがって、ユーザによって承認された場合感情カテゴリに追加される。機能による解析が決定的でない場合、ユーザは、画像を感情または表情カテゴリに追加するオプションを与えられてもよい。ユーザは、表情／感情カテゴリを追加または削除する、そしてさらにカテゴリから画像を移動、追加、または削除するオプションを同様に与えられてもよい。
【００２５】
顔認識機能および感情認識機能の実装は、メッセージングおよびソーシャル・ネットワーキング・アプリケーション／サービスと分かれていてもよい。アルゴリズムは、ユーザデバイス上で、ユーザデバイスによってアクセスされる1つまたは複数のリモートデバイス／サーバ上で、クラウドで、または他の適当な手段で、処理することができる。そのため、機能は、リモートであるがメッセージングおよびソーシャル・ネットワーキング・アプリケーションにリンクされた1つまたは複数のエンティティ上で処理することができる。あるいは、同じ1つまたは複数のデバイスは、機能およびアプリケーション／サービスを実施することができる。一実施形態で、顔認識機能および感情認識機能は、例えば、アドオン機能またはソフトウェアの一部として、メッセージングおよびソーシャル・ネットワーキング・アプリケーション内に統合することができる。
【００２６】
システムは、ユーザがメッセージングまたはソーシャル・ネットワーキング・アプリケーションでライブラリのユーザ顔画像のいずれかを表示することを可能にする。具体的には、メッセージング／ネットワーキングアプリケーションにおけるオプションは、ユーザが、望ましい感情または表情に対応するユーザ顔画像を、ライブラリからアプリケーションのテキストまたはメッセージングボックスに、挿入することを可能にする。ユーザ表情のライブラリは、アプリケーションに利用可能なエモーティコン（emoticon）としての役割、換言すればユーザの感情を表現するための辞書としての役割を果たす。エモーティコンという用語は、ユーザ（発信者）の趣旨または気分を示すまたは表す表情の任意のグラフィック表現を意味する。エモーティコンは、発信者の情緒、感情、または心理状態を伝えるテキストまたは単語の代わりにメッセージングまたはソーシャル・ネットワーキング・アプリケーションで使用することができる。
【００２７】
図2Aは、メッセージングアプリケーションでこのオプションを実施する実施形態を示す。オプションは、さまざまなタイプのアイコン（笑顔、花、車、シンボル）を挿入するためのアプリケーションの既存のオプションに追加される。図2Bに示されるように、ユーザがこのオプションを選択するとき、エモーティコンとして利用可能なユーザ顔画像のビューが表示される。例えば、図2Aで、ユーザは、利用可能なオプションの最下段の小さいユーザ顔アイコンをクリックまたはタップして、図2Bの利用可能なユーザ表情画像のビューに入ることができる。表示されるユーザ顔画像は、ユーザのさまざまな感情または状態（例えばユーザのうれしい顔、怒った顔、およびその他）を表し、ユーザは、ユーザが伝えることを望む感情または状態を表す適切な表情画像をそこから選択することができる。選択された画像はこのように、例えば、通信の向こう側の対応するユーザに送信するために、またはソーシャル・ネットワーキング・アプリケーションで投稿するために、上述のテキストまたはメッセージングボックスに挿入される。
【００２８】
図3は、エモーティコンとしてユーザ顔画像を使用するシステムによる自動運転の実施形態方法300の流れを示す。方法は、スマートフォン、コンピュータタブレット、ラップトップコンピュータまたはデスクトップコンピュータなどの、ユーザデバイスによって実施することができる。ステップ310において、デバイスはオンにされる（電力を供給される）。ステップ320において、デバイスは顔および感情認識アルゴリズムを使用可能にするかどうか判定する。アルゴリズムは、システム設定の一部としてユーザによって使用可能または使用禁止とすることができる。アプリケーションは、デバイス上にロードもしくはインストールするか、または、リモートサーバもしくはインターネット上で（例えば、クラウドで）、例えば、リモート接続を介して、リモートでアクセスすることができる。アルゴリズムが使用禁止である場合、ステップ330において、デバイスによってアクセス可能なアプリケーションは、アプリケーションに利用可能である、利用可能な一般的感情アイコン（例えば、スマイリー）のいずれかを使用することができる。アプリケーションは、デバイス上にインストールするか、または、リモートサーバもしくはインターネットで（例えば、クラウドで）、例えば、リモート接続を介して、アクセスすることができる。アルゴリズムが使用可能である場合、ステップ340において、例えば、1つまたは複数のアルバム画像およびユーザデバイスの画像に対して、顔および感情（表情）認識アルゴリズムが自動的に走る。1つまたは複数の画像のアルバムおよび画像は、デバイス上で、多数のデバイス上で、リモートで（例えば、クラウドで）、またはそれらの組合せでインストールすることができる。アルゴリズムは、例えば、画像が検出され、捕捉され、表示されもしくはダウンロードされるたびに、デバイスをオンにするかもしくはリブートする際に、またはユーザ、アプリケーション、もしくはリモートサーバによって起動されたときに、走ることができる。したがって、ステップ350において、表情のユーザライブラリは、アルゴリズムの結果に従って自動的に生成されまたは更新される。ステップ360において、ライブラリはそれからアプリケーションに利用可能となる。別の実施形態で、上述の方法は、ユーザに登録されたアカウント上でメッセージングまたはソーシャル・ネットワーキング・アプリケーションを走らせるサーバによって、適当な変形形態で、実施することができる。
【００２９】
図4は、上記のシステムで画像をハンドリングする実施形態方法400の流れを示す。方法400は、方法300の一部とすることができ、ユーザデバイスによって実施することができる。ステップ410において、新しい画像が検出される。新しい画像は、デバイス上で新たにダウンロードされ、受信され、捕捉されまたは表示された画像とすることができる。1つの実施例で、新しい画像をリモートエンティティ（（クラウドにおける）リモートサーバ、またはリモートデバイス）に追加して、ユーザデバイスによって検出することができる。ステップ420において、顔および感情認識アルゴリズムが使用可能とされ画像を処理する。ステップ430において、方法は、アルゴリズムの結果による、画像に対応する表情または感情が、感情または表情のライブラリに存在するかどうかを検証する。画像に対応する感情または表情がライブラリに存在しない場合、ステップ440で、感情または表情は新しい感情または表情として確立され、画像はライブラリに追加される。このステップは、必要であれば画像フォーマットを切り取るかまたは変換することを含み得る。方法はそれから、それに応じて個人の感情ライブラリを、ステップ460で、更新し、個人の感情ライブラリはメッセージングおよびソーシャル・ネットワーキング・アプリケーションに利用可能となる。あるいは、画像に対応する表情または感情が存在する場合、ステップ450で、ユーザは画像を保持するかどうかについて決定するように求められる。ユーザが画像を保持すると決定する場合、方法はステップ460に進み、画像を追加することによってライブラリを更新する。ユーザが画像を保持しないと決定する場合、ステップ470で画像は削除される。別の実施形態で、上述の方法は、ユーザに登録されたアカウント上でメッセージングまたはソーシャル・ネットワーキング・アプリケーションを走らせるサーバによって、適当な変形形態で、実施することができる。
【００３０】
さまざまな実施形態で、上記の方法は、ある1つのユーザデバイス、リンクを介して接続された多数のデバイス、（例えば、インターネットもしくはクラウドにおける）サーバなどのネットワークデバイス、またはそれらの組合せによって実施することができる。一実施形態で、顔認識機能、表情または感情認識機能、メッセージングまたはソーシャル・ネットワーキング・アプリケーション、およびユーザ表情ライブラリは、スマートフォンまたはコンピュータタブレットなどの、ユーザデバイス上に配置される。別の実施形態で、上述のシステムの構成要素は、ユーザデバイスと、例えば、クラウドにおける、1つまたは複数のリモートサーバとの間で分散される。例えば、ユーザデバイスは、顔認識機能および表情認識機能をホストし、他方1つまたは複数のリモートサーバは、例えば、ワイヤレス／セルラ、Wi-Fi、またはインターネット接続を介して、デバイスによってアクセス可能である、メッセージングまたはソーシャル・ネットワーキング・アプリケーションをホストする。あるいは、1つまたは複数のリモートサーバは、デバイスによってアクセス可能である、顔認識機能および表情認識機能をホストし、他方ユーザデバイスは、メッセージングまたはソーシャル・ネットワーキング・アプリケーションをホストする。ライブラリは、ユーザデバイス、リモートサーバ、または両方で、ホストすることができる。メッセージが2つ以上のユーザデバイス間で交換されるシナリオで、方法、機能、およびアプリケーションは、ユーザデバイスの1つによって片側で、または両側で、上記のように使用することができる。
【００３１】
上記のように、ユーザ顔画像および表情を検出する方法ならびにしたがってライブラリ104に画像を追加する決定は、ユーザデバイスによって主に実施することができる。図5は、ネットワーク120、例えば、サービス・プロバイダ・ネットワーク、インターネット、または両方と通信する、ユーザデバイス110、例えば、スマートフォンを備えたシステム500の実施形態を例示する。ユーザデバイス110は、画像検出および決定モジュール101、顔および表情認識機能またはアルゴリズム102、アプリケーション103（例えば、メッセージングまたはソーシャル・ネットワーク・アプリケーション）、およびユーザ表情を描く画像のライブラリ104を含む。画像検出および決定モジュール101は、デバイス110によってアクセスされる画像を検出し、ライブラリ104に画像を追加するかどうか、アルゴリズム102に従って、決定する。モジュール101は、ソフトウェア、例えば、プログラムを介して、デバイス110上で構成することができる。デバイス110によってアクセスされた画像は、デバイス110上に保存することができ、または外部記憶／リモートサーバに保存してデバイス110と外部記憶／リモートサーバとの間の接続を介してアクセスすることができる。ライブラリ104は、エモーティコンとしてユーザ表情画像を送信するために、アプリケーション103に利用可能（アクセス可能）とされる。
【００３２】
図6は、ネットワーク120と通信するユーザデバイス110および1つまたは複数のサーバ130を備えた別のシステム600の実施形態を例示する。ユーザデバイス110は、画像検出および決定モジュール101を含み、1つまたは複数のサーバ130は、顔および表情認識アルゴリズム102、アプリケーション103（例えば、メッセージングまたはソーシャル・ネットワーク・アプリケーション）、およびユーザ表情を描く画像のライブラリ104を備える。デバイス110は、サーバ130と通信してアプリケーション103にアクセスしこれを使用することができる。他の実施形態で、モジュール101はデバイス110に配置され、他方、アルゴリズム102、アプリケーション103、およびライブラリ104は、ユーザデバイス110と1つまたは複数のサーバ130との間の任意の適当な実装に分散される。
【００３３】
あるいは、ユーザ顔画像および表情を検出する方法ならびにしたがってライブラリに画像を追加する決定は、ユーザデバイスと通信状態にあるネットワーク側でサーバによって主に実施することができる。図7は、ネットワーク120と通信するユーザデバイス110および1つまたは複数のサーバ130を備えたシステム700の実施形態を例示する。1つまたは複数のサーバ130は、画像検出および決定モジュール101、顔および表情認識機能またはアルゴリズム102、アプリケーション103（例えば、メッセージングまたはソーシャル・ネットワーク・アプリケーション）、およびユーザ表情画像のライブラリ104を含む。サーバ130によってアクセスされる画像は、同じもしくは別のサーバ130、デバイス110、または（図示されない）外部記憶／リモートサーバ上に保存することができる。ライブラリ104は、エモーティコンとしてユーザ表情画像を送信するために、アプリケーション103によってアクセス可能である。ユーザデバイス110は、ライブラリ104からユーザ表情画像を送信するために、サーバ130上のアプリケーション103と通信するかまたはこれにアクセスする。
【００３４】
図8は、ネットワーク120と通信するユーザデバイス110およびサーバ130を備えた別のシステム800の実施形態を例示する。サーバ130は、画像検出および決定モジュール101を含み、他方ユーザデバイス110は、顔および表情認識アルゴリズム102、アプリケーション103、およびユーザ表情画像ライブラリ104を備える。サーバ130は、デバイス110と通信してアルゴリズム102を使用し、したがってライブラリ104にユーザ表情画像を追加することができる。ライブラリ104は、デバイス110上でアプリケーション102によってアクセスすることができる。他の実施形態で、モジュール101はサーバ130に配置され、他方、アルゴリズム102、アプリケーション103、およびライブラリ104は、ユーザデバイス110とネットワーク120との間の任意の適当な実装に分散される。
【００３５】
図9は、さまざまな実施形態を実施するために使用され得る処理システム900のブロック図である。例えば処理システム900は、スマートフォン、タブレットコンピュータ、ラップトップ、またはデスクトップコンピュータなどの、ユーザデバイスの一部とすることができる。処理システムは同様に、ユーザデバイスを介してユーザと通信し得るサーバの一部とすることができる。特定のデバイスは、示された構成要素のすべて、または構成要素のサブセットだけを利用することができ、統合のレベルはデバイスごとに異なり得る。さらに、デバイスは、多数の処理装置、プロセッサ、メモリ、送信器、受信器などの、構成要素の多数の事例を収納し得る。処理システム900は、スピーカ、マイクロフォン、マウス、タッチスクリーン、キーパッド、キーボード、プリンタ、ディスプレイなどの、1つまたは複数の入出力装置を装備した、処理装置901を備え得る。処理装置901は、バスに接続された、中央処理装置（CPU）910、メモリ920、大容量記憶装置930、ビデオアダプタ940、およびI／Oインタフェース960を含み得る。バスは、メモリバスまたはメモリコントローラ、周辺バス、ビデオバスなどを含む、任意のタイプのいくつかのバスアーキテクチャの1つまたは複数とすることができる。
【００３６】
CPU910は、任意のタイプの電子データプロセッサを備え得る。メモリ920は、スタティック・ランダム・アクセス・メモリ（SRAM）、ダイナミック・ランダム・アクセス・メモリ（DRAM）、シンクロナスDRAM（SDRAM）、リードオンリメモリ（ROM）、それらの組合せなどの、任意のタイプのシステムメモリを備え得る。一実施形態で、メモリ920は、ブートアップにおける使用のためのROM、およびプログラムを実行している間の使用のためのプログラムおよびデータ記憶用のDRAMを含み得る。実施形態で、メモリ920は非一時的である。大容量記憶装置930は、データ、プログラム、および他の情報を保存し、データ、プログラム、および他の情報を、バスを介してアクセス可能にするように構成された、任意のタイプの記憶装置を備え得る。大容量記憶装置930は、例えば、ソリッド・ステート・ドライブ、ハードディスク装置、磁気ディスク装置、光ディスク装置、などの1つまたは複数を備え得る。
【００３７】
ビデオアダプタ940およびI／Oインタフェース960は、外部入出力装置を処理装置に結合するインタフェースを提供する。例示されるように、入出力装置の実施例は、ビデオアダプタ940に結合されたディスプレイ990およびI／Oインタフェース960に結合されたマウス／キーボード／プリンタ970の任意の組合せを含む。他のデバイスを処理装置901に結合してもよく、追加のインタフェースカードまたはより少数のインタフェースカードを利用してもよい。例えば、（図示されない）シリアル・インタフェース・カードを使用してプリンタ用のシリアルインタフェースを提供してもよい。
【００３８】
処理装置901は、ノードまたは1つもしくは複数のネットワーク980にアクセスするためのイーサネット（登録商標）ケーブルなどの有線リンク、および／または無線リンクを備え得る、1つまたは複数のネットワークインタフェース950を同様に含む。ネットワークインタフェース950は、処理装置901がネットワーク980を介して遠隔装置と通信することを可能にする。例えば、ネットワークインタフェース950は、1つまたは複数の送信器／送信アンテナおよび1つまたは複数の受信器／受信アンテナを介してワイヤレス通信を提供することができる。一実施形態で、処理装置901は、データ処理および他の処理装置、インターネット、リモート記憶装置などのリモートデバイスとの通信のために、ローカル・エリア・ネットワークまたは広域ネットワークに結合される。
【００３９】
いくつかの実施形態が本開示で提供されてきたが、開示されたシステムおよび方法は、本開示の趣旨または範囲を逸脱することなく、多くの他の特定の形で具現化され得ることを理解するべきである。本実施例は例示的なものであって限定的なものではないとみなされるべきであり、意図は本明細書で与えられた細部に限定されるべきではない。例えば、さまざまな要素または構成要素は、別のシステムで組み合わせるかまたは統合してもよく、一定の特徴は、省略するか、または実施しなくてもよい。
【００４０】
加えるに、別々であるまたは分かれているとさまざまな実施形態で説明され例示された、技術、システム、サブシステム、および方法は、本開示の範囲を逸脱することなく、他のシステム、モジュール、技術、または方法と組み合わせるかまたは統合することができる。結合もしくは直接結合または互いに通信していると示されまたは論じられた他の項目は、電気的、機械的、または別の方法にかかわらず、何らかのインタフェース、デバイス、または中間の構成要素を通して間接的に結合または通信していてもよい。変更、代替、および改変の他の実施例は、当業者によって確認可能であり、本明細書に開示された趣旨および範囲を逸脱することなくなされ得る。
【符号の説明】
【００４１】
101  画像検出および決定モジュール
102  アルゴリズム
103  アプリケーション
104  画像ライブラリ
110  ユーザデバイス
120  ネットワーク
130  サーバ
900  処理システム
901  処理装置
910  中央処理装置（CPU）
920  メモリ
930  大容量記憶装置
940  ビデオアダプタ
950  ネットワークインタフェース
960  I／Oインタフェース
970  マウス／キーボード／プリンタ
980  ネットワーク
990  ディスプレイ
【図１】
2017526074.tif 000003
【図２Ａ】
2017526074.tif 000004
【図２Ｂ】
2017526074.tif 000005
【図３】
2017526074.tif 000006
【図４】
2017526074.tif 000007
【図５】
2017526074.tif 000008
【図６】
2017526074.tif 000009
【図７】
2017526074.tif 000010
【図８】
2017526074.tif 000011
【図９】
2017526074.tif 000012
【手続補正書】
【提出日】平成29年3月31日(2017.3.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザに関連付けられた電子デバイスであって、
少なくとも1つのプロセッサと、
ユーザインタフェースを提供するディスプレイと、
前記少なくとも1つのプロセッサによる実行のためのプログラミングを保存する非一時的コンピュータ可読記憶媒体と、
を備え、
前記プログラミングは、
前記電子デバイスによってアクセス可能な画像を検出し、
前記画像がユーザの顔を示すかどうか、および前記画像が前記ユーザの前記顔によって表現される表情を示すかどうかを判定し、
前記判定に従って、前記ユーザの表情のライブラリに前記画像を追加し、
前記ライブラリからの前記画像をエモーティコンとして含むメッセージを送信する、
命令を含む、電子デバイス。
【請求項２】
前記プログラミングは、前記ライブラリへのアクセスをアプリケーションに提供するさらなる命令を含み、
前記アプリケーションは、前記ユーザと1人または複数の他のユーザとの間でメッセージを送受信するテキスト・メッセージング・アプリケーション、前記ユーザと1人または複数の他のユーザとの間でリアルタイムメッセージを交換するインスタント・メッセージング・アプリケーション、および1人または複数の他のユーザが見るように前記ユーザのメッセージを投稿するソーシャル・ネットワーキング・アプリケーションのうちの1つである、請求項1に記載の電子デバイス。
【請求項３】
前記プログラミングは、
前記画像が前記ユーザの前記顔を示すかどうかを判定することを含む顔認識アルゴリズムを使用して前記画像を解析し、
前記画像が前記表情を示すかどうかを判定することを含む表情認識アルゴリズムを使用して前記画像を解析する、
さらなる命令を含む、請求項2に記載の電子デバイス。
【請求項４】
前記顔認識アルゴリズム、前記表情認識アルゴリズム、前記アプリケーション、および表情の前記ライブラリのうちの少なくとも1つは、前記電子デバイス上に配置される、請求項3に記載の電子デバイス。
【請求項５】
前記顔認識アルゴリズム、前記表情認識アルゴリズム、前記アプリケーション、および表情の前記ライブラリのうちの少なくとも1つは、前記電子デバイスによってリモートでアクセスされる、請求項3に記載の電子デバイス。
【請求項６】
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサによる実行のためのプログラミングを保存する非一時的コンピュータ可読記憶媒体と、
を備え、
前記プログラミングは、
デジタル画像中のユーザの顔および前記デジタル画像中の前記ユーザの前記顔によって表現される表情を検出し、
前記ユーザの表情を描くデジタル画像のライブラリに前記デジタル画像を追加し、
前記ライブラリへのアクセスを前記ユーザの電子デバイス上で操作されるアプリケーションに提供する、
命令を含み、
前記アプリケーションは、前記電子デバイスからエモーティコンとして前記デジタル画像を送信するオプションを含む、ネットワークサーバ。
【請求項７】
前記ライブラリは、前記ネットワークサーバ、前記ユーザの前記電子デバイス、およびリモート記憶域のうちの少なくとも1つに保存される、請求項6に記載のネットワークサーバ。
【請求項８】
前記アプリケーションは、前記ユーザの前記電子デバイス上で実行可能なテキスト・メッセージング・アプリケーション、インスタント・メッセージング・アプリケーション、およびソーシャル・ネットワーキング・アプリケーションのうちの1つである、請求項6に記載のネットワークサーバ。
【請求項９】
ユーザに関連付けられた電子デバイスと、
1つまたは複数のネットワークサーバと、
を備え、
前記電子デバイスおよび前記1つまたは複数のネットワークサーバは、
前記電子デバイスによってアクセス可能な画像を検出し、
前記画像が前記ユーザの顔を示すかどうか、および前記画像が前記ユーザの前記顔によって表現される表情を示すかどうかを判定し、
前記判定に従って、前記ユーザの表情のライブラリに前記画像を追加する、
ように個別にまたは一括して構成され、
前記ライブラリは、前記ユーザに関連付けられた前記電子デバイス上で操作されるアプリケーションによってアクセス可能であり、
前記アプリケーションは、前記電子デバイスからエモーティコンとして前記画像を送信するオプションを含む、システム。
【請求項１０】
前記電子デバイスは、前記画像を検出するように構成される、請求項9に記載のシステム。
【請求項１１】
前記1つまたは複数のネットワークサーバは、前記画像を検出するように構成される、請求項9に記載のシステム。
【請求項１２】
前記電子デバイスは、顔認識アルゴリズムおよび表情認識アルゴリズムのうちの少なくとも1つを使用して前記画像を解析するように構成される、請求項9に記載のシステム。
【請求項１３】
前記1つまたは複数のネットワークサーバは、顔認識アルゴリズムおよび表情認識アルゴリズムのうちの少なくとも1つを使用して前記画像を解析するように構成される、請求項9に記載のシステム。
【請求項１４】
前記電子デバイスおよび前記1つまたは複数のネットワークサーバは、前記電子デバイス上でリモートからアクセス可能なテキスト・メッセージング・アプリケーション、インスタント・メッセージング・アプリケーション、およびソーシャル・ネットワーキング・アプリケーションのうちの少なくとも1つにライブラリへのアクセスを提供するように個別にまたは一括してさらに構成される、請求項9に記載のシステム。
【請求項１５】
前記電子デバイスおよび前記1つまたは複数のネットワークサーバは、前記電子デバイス上に配置されたテキスト・メッセージング・アプリケーション、インスタント・メッセージング・アプリケーション、およびソーシャル・ネットワーキング・アプリケーションのうちの少なくとも1つに前記ライブラリへのアクセスを提供するように個別にまたは一括してさらに構成される、請求項9に記載のシステム。
【国際調査報告】
2017526074.tif 000013
2017526074.tif 000014