(57)【要約】      （修正有）【課題】映像通話を行う相互間の表情を多く作るように誘導し、ユーザ間の映像通話が良好な雰囲気でなされるように、ユーザの表情に対応するアイコン情報を利用する映像通話サービスを提供する端末を提供する。【解決手段】映像通話サービスを提供する方法は、第１端末において、第１ユーザの第１端末と、映像通話の相手である第２ユーザの第２端末との映像通話セッションを樹立する段階と、第１ユーザを撮影した第１映像ストリームから、第１ユーザの表情を検出する段階と、検出された第１ユーザの表情に対応するアイコン情報を生成する段階と、生成されたアイコン情報を、第２端末に伝送する段階と、を遂行する。【選択図】図１５
2019122034.tif 000002
【特許請求の範囲】
【請求項１】
第１端末において、
第１ユーザの前記第１端末と第２ユーザの第２端末との映像通話セッションを樹立する段階と、
前記第１ユーザを撮影した第１映像ストリームから、前記第１ユーザの表情を検出する段階と、
前記検出された第１ユーザの表情に対応するアイコン情報を生成する段階と、
前記生成されたアイコン情報を、前記第２端末に伝送する段階と、
を含む、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
【請求項２】
前記第２ユーザを撮影した第２映像ストリームから検出された第２ユーザの表情に対応するアイコン情報を、前記第２端末から受信する段階と、
前記受信されたアイコン情報を含んだ前記第１ユーザのアイコン情報を、前記映像通話サービスを提供するサーバに伝送したことに対する応答として、前記映像通話サービスに利用可能な仮想財貨情報を、前記サーバから受信する段階と、
をさらに含む
ことを特徴とする請求項１に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
【請求項３】
前記伝送されたアイコン情報を含んだ前記第１ユーザのアイコン情報を、前記映像通話サービスを提供するサーバに伝送したことに対する応答として、前記映像通話サービスに利用可能な仮想財貨情報を、前記サーバから受信する段階をさらに含む
ことを特徴とする請求項１に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
【請求項４】
前記第２ユーザを撮影した第２映像ストリームから検出された第２ユーザの表情に対応するアイコン情報を、前記第２端末から受信する段階と、
前記受信されたアイコン情報と前記伝送されたアイコン情報が同一である場合、前記第１ユーザのアイコン情報を更新する段階と、
をさらに含む
ことを特徴とする請求項１に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
【請求項５】
前記第２端末から受信された、前記第２ユーザを撮影した第２映像ストリームから、前記第２ユーザの表情を検出する段階をさらに含み、
前記アイコン情報を生成する段階は、
前記検出された第１ユーザの表情と、前記検出された第２ユーザの表情とが同一である場合、前記検出された第１ユーザの表情に対応するアイコン情報を生成する
ことを特徴とする請求項１に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
【請求項６】
前記第１ユーザの音声から所定音声を検出する段階と、
前記検出された第１ユーザの表情と、前記検出された所定音声とがマッチングする場合、前記第１ユーザのアイコン情報を更新する段階と、
をさらに含む
ことを特徴とする請求項１に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
【請求項７】
前記第１ユーザの表情を検出する段階は、
前記第１ユーザの無表情と、前記第１ユーザの前記検出された表情とにおいて、互いに対応する特徴点間の距離差に対応する値と、臨界値とを比較し、表情強度を認識し、
前記アイコン情報を生成する段階は、
前記検出された第１ユーザの表情に対応するアイコン情報を、前記認識された表情強度に基づいて更新する
ことを特徴とする請求項１に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
【請求項８】
前記第１端末の画面にミッションアイコン情報をディスプレイする段階と、
前記生成されたアイコン情報と、前記ディスプレイされたミッションアイコン情報とが同一である場合、前記第１ユーザのアイコン情報を更新する段階と、
をさらに含む
ことを特徴とする請求項１に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
【請求項９】
第１端末において、
第１ユーザの前記第１端末と、映像通話の相手である第２ユーザの第２端末との映像通話セッションを樹立する段階と、
前記第２端末から受信された、前記第２ユーザを撮影した第２映像ストリームから、前記第２ユーザの表情を検出する段階と、
前記検出された第２ユーザの表情に対応するアイコン情報を生成する段階と、
前記生成されたアイコン情報を、前記第１端末の画面にディスプレイする段階と、
を含む、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
【請求項１０】
前記ディスプレイされたアイコン情報を含んだ前記第１ユーザのアイコン情報を、前記映像通話サービスを提供するサーバに伝送したことに対する応答として、前記映像通話サービスに利用可能な仮想財貨情報を、前記サーバから受信する段階をさらに含む
ことを特徴とする請求項９に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
【請求項１１】
前記第１ユーザを撮影した第１映像ストリームから、前記第１ユーザの表情を検出する段階をさらに含み、
前記アイコン情報を生成する段階は、
前記検出された第２ユーザの表情と、前記検出された第１ユーザの表情とが同一である場合、前記検出された第２ユーザの表情に対応するアイコン情報を生成する
ことを特徴とする請求項９に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
【請求項１２】
前記第１ユーザの音声から所定音声を検出する段階と、
前記検出された第２ユーザの表情と、前記検出された所定音声とがマッチングする場合、前記第１ユーザのアイコン情報を更新する段階と、
をさらに含む
ことを特徴とする請求項９に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
【請求項１３】
前記第２ユーザの表情を検出する段階は、
前記第２ユーザの無表情と、前記第２ユーザの前記検出された表情とにおいて、互いに対応する特徴点間の距離差に対応する値と、臨界値とを比較し、表情強度を認識し、
前記アイコン情報を生成する段階は、
前記検出された第２ユーザの表情に対応するアイコン情報を、前記認識された表情強度に基づいて更新する
ことを特徴とする請求項９に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
【請求項１４】
第１ユーザの第１端末と、映像通話の相手である第２ユーザの第２端末との映像通話セッションを樹立する命令語と、
前記第１ユーザを撮影した第１映像ストリームから、前記第１ユーザの表情を検出する命令語と、
前記検出された第１ユーザの表情に対応するアイコン情報を生成する命令語と、
前記生成されたアイコン情報を、前記第２端末に伝送する命令語と、
を含む、プロセッサによって実行可能な命令語が保存された非一時的コンピュータ可読記録媒体。
【請求項１５】
第１ユーザの第１端末と、映像通話の相手である第２ユーザの第２端末との映像通話セッションを樹立する命令語と、
前記第２端末から受信された、前記第２ユーザを撮影した第２映像ストリームから、前記第２ユーザの表情を検出する命令語と、
前記検出された第２ユーザの表情に対応するアイコン情報を生成する命令語と、
前記生成されたアイコン情報を、前記第１端末の画面にディスプレイする命令語と、
を含む、プロセッサによって実行可能な命令語が保存された非一時的コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの表情に対応するアイコン情報を利用する映像通話サービスを提供する端末に関する。
【背景技術】
【０００２】
科学技術の発展により、ほとんどの人が、スマートフォン、タブレットＰＣ（personal computer）のような端末を保有することになった。そのような端末は、映像を撮影して再生することができ、他の端末と通信を行い、情報をやり取りしたり、映像通話（video call）を支援したりすることができる。
【０００３】
一方、映像通話を基盤とする多種の映像通話サービスが存在する。例えば、ランダム映像チャットサービスは、ランダム映像チャットサービス利用要請をいたユーザの端末を、ランダム映像チャットサービスを利用するユーザのうち、無作為に選定されたユーザ端末と連結させるサービスである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、映像通話を行う相互間の表情を多く作るように誘導し、ユーザ間の映像通話が良好な雰囲気でなされるように、ユーザの表情に対応するアイコン情報を利用する映像通話サービスを提供する端末を提供することである。
【課題を解決するための手段】
【０００５】
第１側面による、コンピュータ可読記録媒体に保存されたアプリケーションは、第１端末において、第１ユーザの前記第１端末と、映像通話の相手である第２ユーザの第２端末との映像通話セッションを樹立する段階と、前記第１ユーザを撮影した第１映像ストリームから、前記第１ユーザの表情を検出する段階と、前記検出された第１ユーザの表情に対応するアイコン情報を生成する段階と、前記生成されたアイコン情報を、前記第２端末に伝送する段階と、を含む映像通話サービスを提供する方法を遂行させる。
【０００６】
第２側面による、コンピュータ可読記録媒体に保存されたアプリケーションは、第１端末において、第１ユーザの前記第１端末と、映像通話の相手である第２ユーザの第２端末との映像通話セッションを樹立する段階と、前記第２端末から受信された、前記第２ユーザを撮影した第２映像ストリームから、前記第２ユーザの表情を検出する段階と、前記検出された第２ユーザの表情に対応するアイコン情報を生成する段階と、前記生成されたアイコン情報を、前記第１端末の画面にディスプレイする段階と、を含む映像通話サービスを提供する方法を遂行させる。
【０００７】
第３側面による、プロセッサによって実行可能な命令語が保存された非一時的コンピュータ可読記録媒体は、第１ユーザの前記第１端末と、映像通話の相手である第２ユーザの第２端末との映像通話セッションを樹立する命令語と、前記第１ユーザを撮影した第１映像ストリームから、前記第１ユーザの表情を検出する命令語と、前記検出された第１ユーザの表情に対応するアイコン情報を生成する命令語と、前記生成されたアイコン情報を、前記第２端末に伝送する命令語と、を含んでもよい。
【０００８】
第４側面による、プロセッサによって実行可能な命令語が保存された非一時的コンピュータ可読記録媒体は、第１ユーザの第１端末と、映像通話の相手である第２ユーザの第２端末との映像通話セッションを樹立する命令語と、前記第２端末から受信された、前記第２ユーザを撮影した第２映像ストリームから、前記第２ユーザの表情を検出する命令語と、前記検出された第２ユーザの表情に対応するアイコン情報を生成する命令語と、前記生成されたアイコン情報を、前記第１端末の画面にディスプレイする命令語と、を含んでもよい。
【図面の簡単な説明】
【０００９】
【図１】映像通話サービスが提供される環境について説明するための図面である。
【図２】一実施形態による端末の構成を示したブロック図である。
【図３】一実施形態による、映像通話サービスを提供するサーバの構成を示したブロック図である。
【図４】一実施形態による、第１端末から、第１ユーザの表情に対応するアイコン情報を第２端末に伝送し、第２端末から受信されたアイコン情報に基づいて、サーバから補償される過程について説明するための図面である。
【図５】一実施形態による、第１端末から、第１ユーザの表情に対応するアイコン情報を第２端末に伝送し、第１端末から伝送されたアイコン情報に基づいて、サーバから補償される過程について説明するための図面である。
【図６】一実施形態による、第１端末で受信されたアイコン情報と、伝送されたアイコン情報とが同一である場合、第１端末がボーナスアイコン情報を生成する過程について説明するための図面である。
【図７】一実施形態による、第１端末で検出された、第１ユーザの表情と第２ユーザの表情とが同一である場合、アイコン情報を生成する過程について説明するための図面である。
【図８】一実施形態による、第１端末で検出された、第１ユーザの表情と、第１ユーザの所定音声とがマッチングする場合、第１端末がボーナスアイコン情報を生成する過程について説明するための図面である。
【図９】一実施形態による、第１端末において、第１ユーザの表情を連続的に検出するとき、表情強度によってボーナスアイコン情報を生成し、第２端末に伝送する過程について説明するための図面である。
【図１０】一実施形態による、第１端末において、ミッションアイコン情報と同等のアイコン情報が生成された場合、第１端末がボーナスアイコン情報を生成する過程について説明するための図面である。
【図１１】一実施形態による、第１端末が、第２ユーザの表情に対応するアイコン情報を第１端末にディスプレイし、第１端末でディスプレイされたアイコン情報に基づいて、サーバから補償される過程について説明するための図面である。
【図１２】一実施形態による、第１端末で検出された、第２ユーザの表情と、第１ユーザの表情とが同一である場合、アイコン情報を生成する過程について説明するための図面である。
【図１３】一実施形態による、第１端末で検出された、第２ユーザの表情と、第１ユーザの所定音声とがマッチングする場合、第１端末がボーナスアイコン情報を生成する過程について説明するための図面である。
【図１４】一実施形態による、第１端末において、第２ユーザの表情を連続して検出するとき、表情強度によってボーナスアイコン情報を生成する過程について説明するための図面である。
【図１５】一実施形態による、第１端末において、第１ユーザの表情に対応するアイコン情報を生成し、映像通話サービスを提供する方法について説明するためのフローチャートである。
【図１６】他の実施形態による、第１端末において、第２ユーザの表情に対応するアイコン情報を生成し、映像通話サービスを提供する方法について説明するためのフローチャートである。
【発明を実施するための形態】
【００１０】
以下では、図面を参照し、多様な実施形態について詳細に説明する。以下で説明される実施形態は、さまざまに異なる形態に変形されても実施される。実施形態の特徴について、さらに明確に説明するために、以下の実施形態が属する技術分野において当業者に周知されている事項について、詳細な説明は、省略する。
【００１１】
一方、本明細書において、ある構成が他の構成と「連結」されているとするとき、それは、「直接に連結」されている場合だけではなく、「その中間に他の構成を挟んで連結」されている場合も含む。また、ある構成が他の構成を「含む」とするとき、それは、特別に反対となる記載がない限り、それ以外の他構成を除くものではなく、他構成をさらに含んでもよいということを意味する。
【００１２】
また、本明細書で使用される「第１」または「第２」のように序数を含む用語は、多様な構成要素についての説明に使用することができるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。
【００１３】
本明細書で使用される「アイコン情報」という用語は、アイコン種類及び／またはアイコン個数を意味する。
【００１４】
本実施形態は、ユーザの表情に対応するアイコン情報を利用する映像通話サービスを提供する端末に係わるものであり、以下の実施形態が属する技術分野において当業者に周知されている事項については、詳細な説明を省略する。
【００１５】
図１は、映像通話サービスが提供される環境について説明するための図面である。
【００１６】
映像通話サービスは、複数のユーザが各自の端末を利用し、自分の映像を相手に伝送し、相手の映像を受信することにより、意思をやり取りすることができるサービスを意味する。映像通話サービスを利用するユーザは、各自の端末を介して、映像と音声とをやり取りすることができ、チャット機能を介して、テキストをやり取りすることもできる。映像通話サービスを利用しようとするユーザは、相手を直接指定したり、映像通話サービスを提供するサーバにおいて、ランダムに、または所定方式によって相手を指定することにより、相手と映像通話サービスを利用することができる。
【００１７】
図１を参照すれば、端末１００が、通信網を介して、映像通話サービスを提供するサーバ２００と連結されている。サーバ２００は、複数のユーザが、各自の端末１００を利用し、映像通話サービスを利用するように一助となる、各種プログラムまたはアプリケーションと、データとを保存することができる。映像通話サービスを提供するサーバ２００は、近距離通信及び遠隔地通信をいずれも行うことができる。映像通話サービスを提供するサーバ２００は、通信網を介して、複数の端末１００と連結される。端末１００は、映像通話サービスを提供するサーバ２００との連結に利用される多種のユーザ端末にもなる。例えば、端末１００は、映像通話サービスを提供するサーバ２００と通信を行うことができる装置であり、スマートウォッチのようなウェアラブル装置、スマートフォン・タブレットＰＣ・ラップトップコンピュータのようなモバイル装置、デスクトップコンピュータのようなステーショナリ（stationary）装置などにもなる。また、端末１００は、映像通話サービスを介して連結されるユーザ間の映像通話がなされるように、映像を撮影して再生することができる、映像通話を支援する映像通話装置でもある。
【００１８】
図２は、一実施形態による端末１００の構成を示したブロック図である。
【００１９】
図２を参考すれば、端末１００は、メモリ１１０、プロセッサ１２０、ユーザインターフェース１３０、通信インターフェース１４０、及び音声及び映像の入力部１５０を含んでもよい。本実施形態と係わる技術分野において当業者であるならば、図２に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということが分かるであろう。
【００２０】
メモリ１１０は、ソフトウェアまたはプログラムを保存することができる。例えば、メモリ１１０は、アプリケーション、アプリケーションプログラミングインターフェース（ＡＰＩ）のようなプログラム、及び多種のデータを保存することができる。メモリ１１０は、プロセッサ１２０によって実行可能な命令語を保存することができる。
【００２１】
プロセッサ１２０は、メモリ１１０に保存された命令語を実行することができる。プロセッサ１２０は、メモリ１１０に保存された各種プログラム、コンテンツ及びデータを利用したり、新たなプログラム、コンテンツ及びデータをメモリ１１０に保存することもできる。
【００２２】
プロセッサ１２０は、メモリ１１０にアクセスし、メモリ１１０に保存されたＯ／Ｓを利用して起動を行うことができる。プロセッサ１２０は、メモリ１１０に保存された各種プログラム、コンテンツ及びデータなどを利用し、多様な動作を遂行することができる。例えば、プロセッサ１２０は、メモリ１１０に保存された各種プログラム、コンテンツ及びデータを利用し、ディスプレイ１３６に所定画面を表示することができる。プロセッサ１２０は、ディスプレイ１３６の一領域に対するユーザ操作がなされれば、ユーザ操作に対応する制御動作を遂行することができる。
【００２３】
プロセッサ１２０は、グラフィック処理に特化されたＧＰＵ（graphics processing unit）を含んでもよい。ＧＰＵは、端末１００の起動が完了すれば、ディスプレイ１３６の領域に、ユーザインターフェース画面をディスプレイする。具体的には、ＧＰＵは、コンテンツ、アイコン及びメニューのような多様な客体を含む映像通話レイアウトが表示された画面を生成することができる。ＧＰＵは、画面の映像通話レイアウトにより、各客体が表示される座標値、形態、大きさ及びカラーのような属性値を演算することができる。そして、ＧＰＵは、演算された属性値に基づいて、客体を含む多様なレイアウトの画面を生成することができる。ＧＰＵで生成された画面は、ディスプレイ１３６に提供され、ディスプレイ１３６の各領域にもそれぞれ表示される。
【００２４】
一方、プロセッサ１２０は、ビデオプロセッサとオーディオプロセッサとを含んでもよい。プロセッサ１２０は、ビデオプロセッサとオーディオプロセッサとを制御し、通信インターフェース１４０を介して受信された映像ストリーム、あるいはメモリ１１０に保存された映像ストリームに含まれたビデオデータまたはオーディオデータを処理することができる。
【００２５】
ユーザインターフェース１３０は、入力部１３１と出力部１３５とを含んでもよい。
【００２６】
入力部１３１は、ユーザから多様な命令語を入力される。入力部１３１は、キーパッド１３２、タッチパネル１３３及びペン認識パネル１３４のうち少なくとも一つを含んでもよい。
【００２７】
キーパッド１３２は、端末１００の本体外観の前面部や側面部または背面部などの多様な領域に形成された機械的ボタン及びホイールのような多様な類型のキーを含んでもよい。
【００２８】
タッチパネル１３３は、ユーザのタッチ入力を感知し、感知されたタッチ信号に該当するタッチイベント値を出力することができる。タッチパネル１３３が表示パネルと結合してタッチスクリーンを構成した場合、タッチスクリーンは、静電式や減圧式や圧電式のような多様な類型のタッチセンサによっても具現される。
【００２９】
ペン認識パネル１３４は、ユーザのタッチ用ペン（例えば、スタイラスペン（stylus pen））の運用によるペンの近接入力またはタッチ入力を感知し、感知されたペン近接イベントまたはペンタッチイベントを出力することができる。ペン認識パネル１３４は、一例であり、ＥＭＲ（electromagnetic radiation）方式によっても具現され、ペンの近接またはタッチによる電磁場の強度変化により、タッチ入力または近接入力を感知することができる。ペン認識パネル１３４は、グリッド構造を有する電子誘導コイルセンサと、電子誘導コイルセンサの各ループコイルに順次所定周波数を有する交流信号を提供する電子信号処理部と、を含んでも構成される。
【００３０】
出力部１３５は、ディスプレイ１３６及びスピーカ１３７を含んでもよい。
【００３１】
ディスプレイ１３６は、表示パネル、及び表示パネルを制御するコントローラを含んでもよい。表示パネルは、ＬＣＤ（liquid crystal display）、ＯＬＥＤ（organic light emitting diode）ディスプレイ、ＡＭ−ＯＬＥＤ（active-matrix organic light emitting diode）及びＰＤＰ（plasma display panel）のような多様な方式によっても具現される。表示パネルは、柔軟であったり（flexible）、着用することができたり（wearable）するように具現される。ディスプレイ１３６は、入力部１３１のタッチパネル１３３と結合され、タッチスクリーンとして提供される。
【００３２】
スピーカ１３７は、オーディオデータに基づいて、音を出力することができる。例えば、スピーカ１３７は、映像ストリームに含まれたオーディオデータにより、ユーザ音声を出力することができる。
【００３３】
通信インターフェース１４０は、多様な類型の通信方式により、多様な類型の外部機器と通信を行うことができる。通信インターフェース１４０は、Ｗｉ−Ｆｉ（wireless fidelity）チップ、ブルートゥース（Bluetooth）チップ、ＮＦＣ（near field communication）チップ、及び無線通信チップのうち少なくとも一つを含んでもよい。プロセッサ１２０は、通信インターフェース１４０を利用し、各種外部機器と通信を行うことができる。
【００３４】
Ｗｉ−Ｆｉチップ、ブロートゥースチップは、それぞれＷｉ−Ｆｉ方式、ブロートゥース方式で通信を行うことができる。Ｗｉ−Ｆｉチップやブロートゥースチップを利用する場合には、ＳＳＩＤ（service set identifier）及びセッションキーのような各種連結情報をまず送受信し、それを利用して通信連結した後、各種情報を送受信することができる。ＮＦＣチップは、多様なＲＦ−ＩＤ周波数帯域において、１３．５６ＭＨｚ帯域を使用するＮＦＣ方式で動作するチップを意味する。無線通信チップは、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）、ジグビー、３Ｇ（3rd generation）、３ＧＰＰ（3rd generation partnership project）、ＬＴＥ（long term evolution）及び５Ｇ（5th generation）のような多様な通信規格によって通信を行うチップを意味する。
【００３５】
音声及び映像の入力部１５０は、マイク１５１とカメラ１５３とを含んでもよい。マイク１５１は、ユーザ音声やその他の音を入力され、オーディオデータに変換することができる。プロセッサ１２０は、マイク１５１を介して入力されるユーザ音声を映像通話に利用したり、オーディオデータに変換し、メモリ１１０に保存したりすることができる。カメラ１５３は、ユーザの制御により、静止映像または動画を撮影することができる。カメラ１５３は、端末１００の前面または後面に位置したカメラモジュールでもある。プロセッサ１２０は、マイク１５１を介して入力される音声と、カメラ１５３によって撮影される映像と、を利用し、映像通話のための映像ストリームを生成することができる。
【００３６】
一方、端末１００は、モーション制御モードや音声制御モードで動作することができる。モーション制御モードで動作する場合、プロセッサ１２０は、カメラ１５３を活性化させてユーザを撮影し、ユーザのモーション変化を追跡し、それに対応する制御動作を遂行することができる。音声制御モードで動作する場合、プロセッサ１２０は、マイク１５１を介して入力されたユーザ音声を分析し、分析されたユーザ音声により、制御動作を遂行することができる。
【００３７】
前述の端末１００の構成要素の名称は、異なりもする。また、本開示による端末１００は、前述の構成要素のうち少なくとも一つを含んでも構成され、一部構成要素が省略されたり、さらなる他の構成要素をさらに含んだりしてもよい。端末１００は、前述の構成要素のうち少なくとも一つを利用し、次のような動作を遂行することができる。
【００３８】
図３は、一実施形態による、映像通話サービスを提供するサーバ２００の構成を示したブロック図である。
【００３９】
図３を参照すれば、映像通話サービスを提供するサーバ２００は、メモリ２１０、プロセッサ２２０、ストレージ２３０及び通信インターフェース２４０を含む。本実施形態と係わる技術分野において当業者であるならば、図３に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということが分かるであろう。図３のブロック図の各構成要素は、映像通話サービスを提供するサーバ２００の具現方式により、分離、追加または省略される。すなわち、具現方式により、１つの構成要素が２以上の構成要素に細分化されたり、２以上の構成要素が１つの構成要素に合わされたりもし、一部構成要素がさらに追加されたり除去されたりもする。
【００４０】
メモリ２１０は、プロセッサ２２０によって実行可能な命令語を保存することができる。メモリ２１０は、ソフトウェアまたはプログラムを保存することができる。
【００４１】
プロセッサ２２０は、メモリ２１０に保存された命令語を実行することができる。プロセッサ２２０は、映像通話サービスを提供するサーバ２００の全般的な動作を制御することができる。プロセッサ２２０は、通信インターフェース２４０を介して受信される情報及び要請事項を獲得し、受信される情報をストレージ２３０に保存することができる。また、プロセッサ２２０は、受信される情報を加工することができる。例えば、プロセッサ２２０は、端末１００から受信される情報から、映像通話サービスに利用される情報を生成したり、受信される情報を管理したりするための加工行為を遂行し、ストレージ２３０に保存することができる。また、プロセッサ２２０は、端末１００から獲得された要請事項に対する応答として、ストレージ２３０に保存された情報を利用し、通信インターフェース２４０を介して、端末１００に映像通話サービスを提供するための情報を伝送することができる。
【００４２】
ストレージ２３０は、映像通話サービスを提供するサーバ２００が、映像通話サービスを提供するために必要な各種ソフトウェア及び情報を保存することができる。例えば、ストレージ２３０は、映像通話サービスを提供するサーバ２００で実行されるプログラム、アプリケーション、及び映像通話サービスに利用される各種データを保存することができる。
【００４３】
ストレージ２３０は、映像通話サービスを利用するユーザ別個人情報をデータベース化し、保存及び管理することができる。ストレージ２３０は、映像通話サービスを提供するサーバ２００に接続するためのアカウント別に、ユーザの身上情報や、映像通話サービスに利用される多様な情報などを保存することができる。
【００４４】
通信インターフェース２４０は、端末１００を含んだ外部機器と通信を行うことができる。例えば、映像通話サービスを提供するサーバ２００は、端末１００から、映像通話サービス開始要請、及び映像通話サービス環境を備えるための設定情報に対する要請などを受信し、端末１００の要請に対する応答として、映像通話サービスと係わる情報を提供することができる。
【００４５】
映像通話サービスを提供するサーバ２００は、映像通話サービスを利用するユーザが作った表情に対応するアイコン情報を、通信インターフェース２４０を介して受信することができる。映像通話サービスを提供するサーバ２００のストレージ２３０は、映像通話サービスを利用する複数のユーザそれぞれのユーザのアカウント別に、複数種類のアイコン情報を保存することができる。
【００４６】
累積アイコン情報は、端末１００から受信されたアイコン情報を累積した形態の情報でもある。アイコン情報は、第１ユーザを撮影した第１映像ストリーム、または第２ユーザを撮影した第２映像ストリームから、映像通話サービスを利用するユーザの表情を検出し、検出されたユーザの表情に対応するアイコンを示す情報でもある。
【００４７】
身上情報は、映像通話サービスを利用するユーザの国籍、名前、性別、関心事などの個人情報を含んでもよい。
【００４８】
仮想財貨（virtual property）情報は、映像通話サービスを利用するユーザが、有料で提供される付加サービスを利用するための仮想財貨でもある。例えば、ユーザが、所望条件の相手と映像通話マッチングを行うためには、ユーザは、所定仮想財貨を支払わなければならない。仮想財貨は、ユーザが直接購買することもでき、ユーザが獲得したユーザのアカウントに対応する累積アイコン情報を、仮想財貨でも交換される。そのとき、映像通話サービスを提供するサーバ２００は、アイコン情報の種類により、加重値を異にし、ユーザのアカウントに対応する累積アイコン情報から、仮想財貨を計算することができる。
【００４９】
一方、映像通話サービスを提供するサーバ２００は、累積アイコン情報または仮想財貨情報を、通信インターフェース２４０を介して、端末１００に伝送することができる。
【００５０】
図４は、一実施形態による、第１端末１００−１から、第１ユーザの表情に対応するアイコン情報を第２端末１００−２に伝送し、第２端末１００−２から受信されたアイコン情報に基づいて、サーバ２００から補償される過程について説明するための図面である。
【００５１】
図４を参照すれば、第１ユーザと、映像通話の相手である第２ユーザは、それぞれ第１端末１００−１と第２端末１００−２とを介して、映像通話を行うことができる。第１端末１００−１及び第２端末１００−２には、映像通話サービス提供者側で提供した映像通話サービスを行うためのアプリケーションがインストールされている。第１端末１００−１及び第２端末１００−２は、映像通話サービスを遂行するためのアプリケーションを実行し、映像通話サービスを提供するサーバ２００に連結され、サーバ２００で提供する映像通話サービスを受けることができる。第１端末１００−１及び第２端末１００−２は、それぞれサーバ２００から提供された映像通話サービスを、第１ユーザ及び第２ユーザに提供することができる。
【００５２】
第１端末１００−１は、映像通話サービスを提供するサーバ２００に、映像通話サービスの利用要請を伝送することができる。映像通話サービスを提供するサーバ２００は、第１端末１００−１の映像通話サービスの利用要請に応答し、映像通話の相手である第２ユーザの第２端末１００−２と映像通話がなされるように、映像通話に要求される情報を、第１端末１００−１に提供することができる。映像通話サービスを提供するサーバ２００は、第１端末１００−１の映像通話サービスの利用要請により、映像通話相手をランダムに選定するか、所定規則によって選定するか、あるいは第１ユーザが指定した相手に選定することができる。第１ユーザの第１端末１００−１と第２ユーザの第２端末１００−２は、映像通話のために、相互間に映像通話セッションを樹立することができる。
【００５３】
第１端末１００−１と第２端末１００−２との映像通話セッションが樹立されれば、第１ユーザを撮影した第１映像ストリームは、第１端末１００−１から第２端末１００−２に伝送され、第２ユーザを撮影した第２映像ストリームは、第２端末１００−２から第１端末１００−１に伝送される。第１端末１００−１は、第２端末から第２映像ストリームを受信し、第２端末１００−２は、第１端末１００−１から第１映像ストリームを受信することができる。第１端末１００−１は、第１ユーザを撮影した第１映像ストリーム、または第２端末１００−２から受信された、第２ユーザを撮影した第２映像ストリームを獲得することができる。第２端末１００−２は、第２ユーザを撮影した第２映像ストリーム、または第１端末１００−１から受信された、第１ユーザを撮影した第１映像ストリームを獲得することができる。
【００５４】
第１端末１００−１は、第２映像ストリームに基づいて、第２ユーザの映像を、第１端末１００−１の画面にディスプレイすることができ、第１映像ストリームに基づいて、第１ユーザの映像を、第２ユーザの映像がディスプレイされる画面領域の一部領域にディスプレイすることができる。第２端末１００−２は、第１映像ストリームに基づいて、第１ユーザの映像を、第２端末１００−２の画面にディスプレイすることができ、第２映像ストリームに基づいて、第２ユーザの映像を、第１ユーザの映像がディスプレイされる画面領域の一部領域にディスプレイすることができる。図４に図示されているように、第１端末１００−１は、第１端末１００−１の画面に、第２ユーザの映像をディスプレイすると共に、第１ユーザの映像を、第１端末１００−１の画面の一部領域に、第２ユーザの映像よりさらに小さいサイズにディスプレイすることができる。第２端末１００−２は、第２端末１００−２の画面に、第１ユーザの映像をディスプレイすると共に、第２ユーザの映像を、第２端末１００−２の画面の一部領域に、第１ユーザの映像よりさらに小さいサイズにディスプレイすることができる。
【００５５】
第１端末１００−１及び第２端末１００−２それぞれの動作、及びアプリケーション上の機能は、同一であるので、以下では、第１端末１００−１を中心に説明し、第２端末１００−２に係わる説明は、省略する。
【００５６】
第１端末１００−１及び第２端末１００−２から、相互間映像通話サービスが実行されれば、第１端末１００−１は、第１ユーザを撮影した第１映像ストリームから第１ユーザの表情を検出することができる。
【００５７】
表情は、ユーザが、顔を介して、目、眉毛、鼻、口、額及び頬などを動かすことにより、自分の考えを示すのである。例えば、表情は、目を大きく開くこと、目を閉じること、口角を上げること、口を開くこと、唇を突き出すこと、ウィンクすることのような多様な動作のうち少なくとも１つの動作により、顔に示される動きにもなる。ユーザは、表情を作ることにより、自分の意思を相手に伝達したり、相手の反応を誘導したりすることができる。ユーザが友好的であったり肯定的であったりする表情を作れば、相手との映像通話の雰囲気も、友好的であったり肯定的出会ったりする方に持っていくことができる。
【００５８】
図４を参照すれば、第１端末１００−１は、第２ユーザがほほ笑む映像を、第１端末１００−１の画面にディスプレイし、第１ユーザが笑い顔を作る映像を、第２ユーザの映像がディスプレイされる画面領域の左側下端領域にディスプレイしている。第１端末１００−１は、第１ユーザを撮影した第１映像ストリームから、第１ユーザの笑う表情を検出することができる。第１端末１００−１は、第１映像ストリームから、第１ユーザの顔にある特徴点に基づいて、第１映像ストリームから、第１ユーザの表情を検出することができる。第１端末１００−１は、リアルタイムまたは所定時間間隔で、第１ユーザの表情を連続して検出することができる。
【００５９】
第１端末１００−１は、検出された第１ユーザの表情に対応するアイコン情報を生成することができる。表情それぞれは、対応するアイコン情報がある。アイコン情報は、ユーザの表情と似た様子にその表情を直観的に描くか、あるいは表情に対応するエモーション情報を示す絵や記号でもある。例えば、エモーション情報は、喜び、幸せ、楽しみ、満足、ほほ笑み、笑い、ウィンク、肯定及び良好（受容）などにもなる。例えば、アイコン情報は、ユーザの表情に対応する形状や様子の絵を含むか、あるいはエモーション情報を表現する記号または文字を含んでもよい。
【００６０】
図４を参照すれば、第１端末１００−１は、検出された第１ユーザの笑う表情に対応する「笑い顔アイコン（laughing face icon）」というアイコン情報を、第１ユーザの相手である第２ユーザの第２端末１００−２に伝送することができる。第１ユーザが作った表情は、第２ユーザの態度や行為に対する応答でもあるので、第１映像ストリームから、第１ユーザの表情が検出されれば、検出された表情を誘発した第２ユーザに、アイコン情報が伝送されるのである。第２ユーザに、第１ユーザの表情に対応するアイコン情報でもってフィードバックを与えることにより、映像通話を行うユーザ間の肯定的な対話、及び肯定的な雰囲気が誘導される。一方、第２端末１００−２に伝送されたアイコン情報により、「笑い顔アイコン」が第２端末１００−２において、第１映像ストリームがディスプレイされる領域に重畳してディスプレイされる。第２端末１００−２は、受信されたアイコン情報を含んだ第２ユーザのアイコン情報を、映像通話サービスを提供するサーバ２００に伝送することができる。第２ユーザのアイコン情報は、第２ユーザが獲得したアイコンに係わる情報であり、アイコンの種類及び／またはアイコンの個数を含んでもよい。第２端末１００−２は、第２ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨情報を、サーバ２００から受信することができる。すなわち、第２ユーザは、第１ユーザが笑い顔を作らせたことに対する補償として、映像通話サービスに利用可能な仮想財貨を受けることができる。
【００６１】
図４を参照すれば、第１端末１００−１は、第２ユーザを撮影した第２映像ストリームで検出された第２ユーザの表情に対応するアイコン情報を、第２端末１００−２から受信することができる。例えば、第２ユーザの表情に対応するアイコン情報は、「スマイル顔アイコン」でもある。第１端末１００−１は、第２端末１００−２から受信されたアイコン情報を含んだ第１ユーザのアイコン情報を、サーバ２００に伝送することができる。第１ユーザのアイコン情報は、第１ユーザが獲得したアイコンに係わる情報であり、アイコンの種類及び／またはアイコンの個数を含んでもよい。第１端末１００−１は、第１ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨情報を、サーバ２００から受信することができる。第１ユーザは、第２ユーザがほほ笑む顔を作らせたことに対する補償として、映像通話サービスに利用可能な仮想財貨を受けることができる。
【００６２】
以上、図４を参照して説明した内容と同一内容については、以下の実施形態においては、その説明を省略する。
【００６３】
図５は、一実施形態による、第１端末１００−１が第１ユーザの表情に対応するアイコン情報を、第２端末１００−２に伝送し、第１端末１００−１から伝送されたアイコン情報に基づいて、サーバ２００から補償される過程について説明するための図面である。
【００６４】
図５の一実施形態は、サーバ２００から補償される過程において、図４の一実施形態と違いがある。
【００６５】
図５を参照すれば、第１端末１００−１は、第２端末１００−２に伝送されたアイコン情報を含んだ第１ユーザのアイコン情報を、映像通話サービスを提供するサーバ２００に伝送することができる。第１端末１００−１は、第１ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨情報を、サーバ２００から受信することができる。すなわち、図４と異なり、図５は、第１ユーザが笑い表情を作ったことに対する補償を、映像通話サービスに利用可能な仮想財貨で受けるようにし、映像通話サービスを利用するユーザが表情を頻繁に作るように誘導するのである。
【００６６】
図６は、一実施形態による、第１端末１００−１で受信されたアイコン情報と、伝送されたアイコン情報とが同一である場合、第１端末１００−１がボーナス（bonus）アイコン情報を生成する過程について説明するための図面である。
【００６７】
図６を参照すれば、第１端末１００−１は、第１ユーザを撮影した第１映像ストリームから検出された第１ユーザの表情に対応する「スマイルアイコン」をアイコン情報として生成し、第２端末１００−２に伝送することができる。第２端末１００−２は、第２ユーザを撮影した第２映像ストリームから検出された第２ユーザの表情に対応する「スマイルアイコン」をアイコン情報として生成し、第１端末１００−１に伝送することができる。
【００６８】
第１端末１００−１は、第２ユーザを撮影した第２映像ストリームから検出された第２ユーザの表情に対応するアイコン情報を、第２端末１００−２から受信することができる。第１端末１００−１は、第２端末１００−２から受信されたアイコン情報と、第２端末１００−２に伝送されたアイコン情報とが同一である場合、第１ユーザのアイコン情報を更新することができる。例えば、第１端末１００−１は、ボーナスアイコン情報を生成することができる。「ボーナスアイコン情報」は、所定条件を満足するとき、ユーザが別途に、または連続して追加して獲得するアイコンの種類及び／またはアイコンの個数を意味する。第１端末１００−１は、画面の一部領域に生成されたボーナスアイコン情報をディスプレイすることができる。第２端末１００−２は、第１ユーザを撮影した第１映像ストリームから検出された第１ユーザの表情に対応するアイコン情報を、第１端末１００−１から受信することができる。第２端末１００−２は、第１端末１００−１から受信されたアイコン情報と、第１端末１００−１に伝送されたアイコン情報とが同一である場合、第２ユーザのアイコン情報を更新することができる。例えば、第２端末１００−２は、ボーナスアイコン情報を生成することができる。第２端末１００−２は、画面の一部領域に生成されたボーナスアイコン情報をディスプレイすることができる。
【００６９】
第１端末１００−１は、第１ユーザが獲得した、アイコン情報及びボーナスアイコン情報に基づいて更新された第１ユーザのアイコン情報を、サーバ２００に伝送することができる。更新された第１ユーザのアイコン情報は、アイコン種類、及び／またはアイコン種類別アイコンの個数と、ボーナスアイコンの個数とが合算された個数を含んでもよい。第１端末１００−１は、更新された第１ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨情報を、サーバ２００から受信することができる。ボーナスアイコン情報が追加して獲得されたほど、仮想財貨が追加して支給されるので、第１ユーザは、さらに多くの補償を受けることができる。
【００７０】
第２端末１００−２は、第２ユーザが獲得した、アイコン情報及びボーナスアイコン情報に基づいて更新された第２ユーザのアイコン情報を、サーバ２００に伝送することができる。更新された第２ユーザのアイコン情報は、アイコン種類、及び／またはアイコン種類別アイコンの個数と、ボーナスアイコンの個数とが合算された個数を含んでもよい。第２端末１００−２は、更新された第２ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨情報を、サーバ２００から受信することができる。ボーナスアイコン情報が追加して獲得されたほど、仮想財貨情報も追加して支給されるので、第２ユーザは、さらに多くの補償を受けることができる。
【００７１】
図７は、一実施形態による、第１端末１００−１で検出された、第１ユーザの表情と第２ユーザの表情とが同一である場合、アイコン情報を生成する過程について説明するための図面である。
【００７２】
図７を参照すれば、第１端末１００−１は、第１ユーザを撮影した第１映像ストリームから、第１ユーザの表情を検出し、第２端末１００−２から受信された、第２ユーザを撮影した第２映像ストリームから、第２ユーザの表情を検出することができる。第１端末１００−１は、第１映像ストリームから検出された第１ユーザの表情と、第２映像ストリームから検出された第２ユーザの表情とが同一である場合、検出された第１ユーザの表情に対応するアイコン情報を生成することができる。図７に図示されているように、第１端末１００−１は、第１映像ストリームから検出された第１ユーザの表情と、第２映像ストリームから検出された第２ユーザの表情とが「ほほ笑む表情」で同一であるので、「ほほ笑む表情」に対応する「スマイルアイコン」をアイコン情報として生成し、第２端末１００−２に伝送することができる。
【００７３】
第２端末１００−２は、第２ユーザを撮影した第２映像ストリームから、第２ユーザの表情を検出し、第１端末１００−１から受信された、第１ユーザを撮影した第１映像ストリームから、第１ユーザの表情を検出することができる。第２端末１００−２は、第２映像ストリームから検出された第２ユーザの表情と、第１映像ストリームから検出された第１ユーザの表情とが同一である場合、検出された第２ユーザの表情に対応するアイコン情報を生成することができる。図７に図示されているように、第２端末１００−２は、第２映像ストリームから検出された第２ユーザの表情と、第１映像ストリームから検出された第１ユーザの表情とが「ほほ笑む表情」で同一であるので、「ほほ笑む表情」に対応する「スマイルアイコン」をアイコン情報として生成し、第１端末１００−１に伝送することができる。
【００７４】
図８は、一実施形態による、第１端末１００−１で検出された、第１ユーザの表情と、第１ユーザの所定音声とがマッチングする場合、第１端末１００−１がボーナスアイコン情報を生成する過程について説明するための図面である。
【００７５】
図８を参照すれば、第１端末１００−１は、第１ユーザ音声を入力される。第１端末１００−１は、第１映像ストリームから、第１ユーザの表情を検出するだけではなく、第１ユーザ音声から所定音声を検出することができる。所定音声は、各表情に対応してあらかじめマッチングされている。例えば、第１端末１００−１は、「笑う表情」については、「ヘヘ（hehe）」または「ハハ（haha）」のような音声が検出されるか否かということを、第１ユーザ音声から確認することができる。
【００７６】
第１端末１００−１は、第１映像ストリームから検出された第１ユーザの表情と、第１ユーザ音声から検出された所定音声とがマッチングする場合、第１ユーザのアイコン情報を更新することができる。例えば、第１端末１００−１は、ボーナスアイコン情報を生成することができる。図７に図示されているように、第１端末１００−１は、第１映像ストリームから、第１ユーザの「笑う表情」を検出し、「へへ」という所定音声とマッチングするか否かということを確認した後、「笑う表情」と「ヘヘ」という所定音声とがマッチングされれば、ボーナスアイコン情報を生成することができる。第１端末１００−１は、画面の一部領域に生成されたボーナスアイコン情報をディスプレイすることができる。
【００７７】
第１端末１００−１は、第１ユーザが獲得した、アイコン情報及びボーナスアイコン情報に基づいて更新された第１ユーザのアイコン情報を、サーバ２００に伝送することができる。更新された第１ユーザのアイコン情報は、アイコン種類、及び／またはアイコン種類別アイコンの個数と、ボーナスアイコンの個数とが合算された個数を含んでもよい。第１端末１００−１は、更新された第１ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨情報を、サーバ２００から受信することができる。ボーナスアイコン情報が追加して累積されたほど、仮想財貨情報も追加して支給されるので、第１ユーザは、さらに多くの補償を受けることができる。
【００７８】
図９は、一実施形態による、第１端末１００−１で第１ユーザの表情を連続して検出時表情強度によってボーナスアイコン情報を生成し、第２端末１００−２に伝送する過程について説明するための図面である。
【００７９】
図９を参照すれば、第１端末１００−１は、第１映像ストリームから、第１ユーザの表情を連続して検出することができる。図９に図示されているように、第１端末１００−１は、第１映像ストリームから、第１ユーザの「笑う表情」を検出した後、第１ユーザの「大笑いする表情」を連続して検出することができる。第１端末１００−１は、表情の強度がさらに高い「大笑いする表情」が検出されたとき、表情の強度がさらに低い「笑う表情」が検出されたときより、さらに多くのアイコン情報を生成し、第２端末１００−２に伝送することができる。
【００８０】
例えば、第１端末１００−１は、第１ユーザの無表情、及び「笑う表情」または「大笑いする表情」のように、検出された表情において、互いに対応する特徴点間の距離差に対応する値と、臨界値とを比較し、表情強度を認識することができる。そのとき、臨界値は、少なくとも１以上でもある。第１端末１００−１は、検出された第１ユーザの表情に対応するアイコン情報を、認識された表情強度に基づいて更新することができる。
【００８１】
例えば、第１端末１００−１は、第１ユーザの「笑う表情」に対応するアイコン情報、例えば、笑い顔アイコンを、第２端末１００−２に伝送することができる。その後、第１端末１００−１は、第１ユーザの「大笑いする表情」に対応するアイコン情報、例えば、笑い顔アイコンを、第２端末１００−２に伝送することができる。そのとき、第１端末１００−１は、笑い顔アイコンを「大笑いする表情」の強度に基づいて更新し、更新された笑い顔アイコンをボーナスアイコン情報として、第２端末１００−２に追加して伝送することができる。第１端末１００−１は、第１ユーザが笑う表情であるとき、笑い顔アイコンに係わるアイコン情報を、第２端末１００−２に伝送し、第１ユーザが大笑いする表情であるとき、笑い顔アイコンに係わるアイコン情報だけではなく、ボーナスアイコン情報も、第２端末１００−２に伝送することができる。
【００８２】
第２端末１００−２は、第２ユーザが獲得した、アイコン情報及びボーナスアイコン情報に基づいて更新された第２ユーザのアイコン情報を、サーバ２００に伝送することができる。更新された第２ユーザのアイコン情報は、アイコン種類、及び／またはアイコン種類別アイコンの個数と、ボーナスアイコンの個数とが合算された個数を含んでもよい。第２端末１００−２は、更新された第２ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨情報を、サーバ２００から受信することができる。ボーナスアイコン情報が追加して累積されたほど、仮想財貨情報も追加して支給されるので、第１ユーザに表情強度が高い特定表情を作らせた第２ユーザは、さらに多くの補償を受けることができる。
【００８３】
図１０は、一実施形態による、第１端末１００−１でミッションアイコン情報と同等のアイコン情報が生成された場合、第１端末１００−１がボーナスアイコン情報を生成する過程について説明するための図面である。
【００８４】
図１０を参照すれば、第１端末１００−１は、第１端末１００−１の画面にミッションアイコン情報をディスプレイすることができる。図１０に図示されているように、「笑い顔アイコン」をミッションアイコン情報にして、第１端末１００−１の画面にディスプレイすることができる。
【００８５】
第１端末１００−１は、第１映像ストリームから検出された第１ユーザの表情に対応するアイコン情報と、ディスプレイされたミッションアイコン情報とが同一である場合、第１ユーザのアイコン情報を更新することができる。例えば、第１端末１００−１は、ボーナスアイコン情報を生成することができる。図１０に図示されているように、第１端末１００−１は、第１映像ストリームから検出された第１ユーザの表情に対応する「笑い顔アイコン」をアイコン情報として生成した場合、ミッションアイコン情報と同一であるので、ミッション成功によるボーナスアイコン情報を生成することができる。第１端末１００−１は、画面の一部領域に生成されたボーナスアイコン情報をディスプレイすることができる。
【００８６】
第１端末１００−１は、第１ユーザが獲得した、アイコン情報及びボーナスアイコン情報に基づいて更新された第１ユーザのアイコン情報を、サーバ２００に伝送することができる。更新された第１ユーザのアイコン情報は、アイコン種類、及び／またはアイコン種類別アイコンの個数と、ボーナスアイコンの個数とが合算された個数を含んでもよい。第１端末１００−１は、更新された第１ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨情報を、サーバ２００から受信することができる。ボーナスアイコン情報が追加して累積されたほど、仮想財貨情報も追加して支給されるので、第１ユーザは、さらに多くの補償を受けることができる。
【００８７】
図１１は、一実施形態による、第２ユーザの表情に対応するアイコン情報を、第１端末１００−１でディスプレイし、第１端末１００−１でディスプレイされたアイコン情報に基づいて、サーバ２００から補償される過程について説明するための図面である。
【００８８】
図１１を参照すれば、第１端末１００−１及び第２端末１００−２において、相互間の映像通話サービスが実行されれば、第１端末１００−１は、第２端末１００−２から受信された、第２ユーザを撮影した第２映像ストリームから、第２ユーザの表情を検出することができる。
【００８９】
図１１を参照すれば、第１端末１００−１は、第２ユーザがほほ笑む映像を、第１端末１００−１の画面にディスプレイし、第１ユーザが笑い顔を作る映像を、第２ユーザの映像がディスプレイされる画面領域の左側下端領域にディスプレイしている。第１端末１００−１は、第２ユーザを撮影した第２映像ストリームから、第２ユーザのほほ笑む表情を検出することができる。第１端末１００−１は、第２映像ストリームから、第２ユーザの顔にある特徴点に基づいて、第２映像ストリームから、第２ユーザの表情を検出することができる。第１端末１００−１は、リアルタイムまたは所定時間間隔で、第２ユーザのジェスチャを連続して検出することができる。
【００９０】
第１端末１００−１は、検出された第２ユーザの表情に対応するアイコン情報を生成することができる。
【００９１】
図１１を参照すれば、第１端末１００−１は、検出された第２ユーザのほほ笑む表情に対応する「スマイルアイコン」というアイコン情報を、第１端末１００−１の画面にディスプレイすることができる。第２ユーザが作った表情は、第１ユーザの態度や行為に対する応答であるので、第２映像ストリームから、第２ユーザの表情が検出されれば、検出された表情を誘発した第１ユーザにディスプレイされるのである。第１端末１００−１は、第１端末１００−１で生成されたアイコン情報を、第２映像ストリームがディスプレイされる領域に重畳してディスプレイすることができる。アイコン情報が、第２映像ストリームから検出された第２ユーザの表情に基づいて、第１端末１００−１で生成されるので、第１ユーザに、第２ユーザの表情に対応するアイコン情報として、フィードバックを与えることにより、映像通話を行うユーザ間の肯定的な対話、及び肯定的な表情が誘導される。図１１を参照すれば、第２ユーザのほほ笑む表情に対応する「スマイルアイコン」というアイコン情報が、第１端末１００−１で生成されることにより、「スマイルアイコン」が、第１端末１００−１において、第２映像ストリームがディスプレイされる領域に重畳してディスプレイされる。それにより、第１ユーザは、映像通話の相手である第２ユーザがほほ笑む表情を作り、ほほ笑む表情に対応するアイコン情報を獲得したことが分かる。
【００９２】
第１端末１００−１は、第１端末１００−１でディスプレイされたアイコン情報を含んだ第１ユーザのアイコン情報を、映像通話サービスを提供するサーバ２００に伝送することができる。第１端末１００−１は、第１ユーザのアイコン情報を、第１ユーザのアカウントに対応させて映像通話サービスを提供するサーバ２００に伝送することができる。図１１に図示されているように、第１端末１００−１は、第２映像ストリームから検出された第２ユーザの表情に対応するアイコン情報を、映像通話サービスを提供するサーバ２００に伝送することができる。第１端末１００−１は、ディスプレイされたアイコン情報を含んだ第１ユーザのアイコン情報を、映像通話サービスを提供するサーバ２００に伝送することができる。第１端末１００−１は、第１ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨を、サーバ２００から受信することができる。
【００９３】
一方、図１１を参照すれば、第１ユーザが笑う場合、第２端末１００−２が、第１ユーザを撮影した第１映像ストリームから、第１ユーザの笑う表情を検出し、笑う表情に対応する「笑い顔アイコン」というアイコン情報を生成し、第２端末１００−２の画面にディスプレイすることができる。第１ユーザの笑う表情に対応する「笑い顔アイコン」というアイコン情報は、第２端末１００−２において、第１映像ストリームがディスプレイされる領域に重畳してディスプレイされる。それにより、第２ユーザは、第１ユーザが笑う表情を作り、笑う表情に対応するアイコン情報を獲得したことが分かる。第２端末１００−２は、第２端末１００−２の画面にディスプレイされたアイコン情報を含んだ第２ユーザのアイコン情報を、映像通話サービスを提供するサーバ２００に伝送することができる。第２端末１００−２は、第２ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨をサーバ２００から受信することができる。すなわち、第２ユーザは、第１ユーザが笑い顔を作らせたことに対する補償として、映像通話サービスに利用可能な仮想財貨を受けることができる。
【００９４】
図１２は、一実施形態による、第１端末１００−１で検出された、第２ユーザの表情と、第１ユーザの表情とが同一である場合、アイコン情報を生成する過程について説明するための図面である。
【００９５】
図１２を参照すれば、第１端末１００−１は、第１ユーザを撮影した第１映像ストリームから、第１ユーザの表情を検出し、第２端末１００−２から受信された、第２ユーザを撮影した第２映像ストリームから、第２ユーザの表情を検出することができる。第１端末１００−１は、第１映像ストリームから検出された第１ユーザの表情と、第２映像ストリームから検出された第２ユーザの表情とが同一である場合、検出された第２ユーザの表情に対応するアイコン情報を生成することができる。図１２に図示されているように、第１端末１００−１は、第２映像ストリームから検出された第２ユーザの表情と、第１映像ストリームから検出された第１ユーザの表情とが「ほほ笑む表情」で同一であるので、「ほほ笑む表情」に対応する「スマイルアイコン」をアイコン情報として生成し、生成されたアイコン情報を、第１端末１００−１の画面にディスプレイすることができる。
【００９６】
第２端末１００−２は、第２ユーザを撮影した第２映像ストリームから、第２ユーザの表情を検出し、第１端末１００−１から受信された、第１ユーザを撮影した第１映像ストリームから、第１ユーザの表情を検出することができる。第２端末１００−２は、第２映像ストリームから検出された第２ユーザの表情と、第１映像ストリームから検出された第１ユーザの表情とが同一である場合、検出された第１ユーザの表情に対応するアイコン情報を生成することができる。図１２に図示されているように、第２端末１００−２は、第１映像ストリームから検出された第１ユーザの表情と、第２映像ストリームから検出された第２ユーザの表情とが「ほほ笑む表情」で同一であるので、「ほほ笑む表情」に対応する「スマイルアイコン」をアイコン情報として生成し、生成されたアイコン情報を、第２端末１００−２の画面にディスプレイすることができる。
【００９７】
図１３は、一実施形態による、第１端末１００−１で検出された、第２ユーザの表情と、第１ユーザの所定音声とがマッチングする場合、第１端末１００−１がボーナスアイコン情報を生成する過程について説明するための図面である。
【００９８】
図１３を参照すれば、第１端末１００−１は、第１ユーザ音声を入力される。第１端末１００−１は、第１ユーザ音声から所定音声を検出することができる。所定音声は、相手の各表情に対応してあらかじめマッチングされている。例えば、第１端末１００−１は、第２ユーザの「ほほ笑む表情」については、「ヘヘ」または「ハハ」のような第１ユーザ音声が検出されたり入力されたりする第１ユーザ音声から確認することができる。
【００９９】
第１端末１００−１は、第２映像ストリームから検出された第２ユーザの表情と、入力された第１ユーザ音声から検出された所定音声とがマッチングする場合、第１ユーザのアイコン情報を更新することができる。例えば、第１端末１００−１は、ボーナスアイコン情報を生成することができる。図１３に図示されているように、第１端末１００−１は、第２映像ストリームから、第２ユーザの「ほほ笑む表情」を検出し、第１ユーザの「ヘヘ」という所定音声とマッチングするか否かということを確認した後、「ほほ笑む表情」と「ヘヘ」という所定音声とがマッチングされれば、ボーナスアイコン情報を生成することができる。第１端末１００−１は、画面の一部領域に生成されたボーナスアイコン情報をディスプレイすることができる。
【０１００】
第１端末１００−１は、第１ユーザが獲得した、アイコン情報及びボーナスアイコン情報に基づいて更新された第１ユーザのアイコン情報を、サーバ２００に伝送することができる。更新された第１ユーザのアイコン情報は、アイコン種類、及び／またはアイコン種類別アイコンの個数と、ボーナスアイコンの個数とが合算された個数を含んでもよい。第１端末１００−１は、更新された第１ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨情報を、サーバ２００から受信することができる。ボーナスアイコン情報が追加して累積されたほど、仮想財貨情報も追加して支給されるので、第１ユーザは、さらに多くの補償を受けることができる。
【０１０１】
図１４は、一実施形態による、第１端末１００−１において、第２ユーザの表情を連続して検出するとき、表情強度によってボーナスアイコン情報を生成する過程について説明するための図面である。
【０１０２】
図１４を参照すれば、第１端末１００−１は、第２映像ストリームから、第２ユーザの表情を連続して検出することができる。図１４に図示されているように、第１端末１００−１は、第２映像ストリームから、第２ユーザの「笑う表情」を検出した後、第２ユーザの「大笑いする表情」を連続して検出することができる。第１端末１００−１は、表情強度がさらに高い「大笑いする表情」が検出されたとき、表情強度がさらに低い「笑う表情」が検出された時より、さらに多くのアイコン情報を生成することができる。
【０１０３】
例えば、第１端末１００−１は、第２ユーザの無表情、及び「笑う表情」または「大笑いする表情」のように、検出された表情において、互いに対応する特徴点間の距離差に対応する値と、臨界値とを比較し、表情強度を認識することができる。そのとき、臨界値は、少なくとも１以上でもある。第１端末１００−１は、検出された第２ユーザの表情に対応するアイコン情報を、認識された表情強度に基づいて更新することができる。
【０１０４】
例えば、第１端末１００−１は、第２ユーザの「笑う表情」に対応するアイコン情報、例えば、笑い顔アイコンを第１端末１００−１にディスプレイすることができる。その後、第１端末１００−１は、第２ユーザの「大笑いする表情」に対応するアイコン情報、例えば、笑い顔アイコンを第１端末１００−１にディスプレイすることができる。そのとき、第１端末１００−１は、笑い顔アイコンを「大笑いする表情」の強度に基づいて更新し、更新された笑い顔アイコンをボーナスアイコン情報として追加してディスプレイすることができる。第１端末１００−１は、第２ユーザが笑う表情であるとき、笑い顔アイコンに係わるアイコン情報を、第１端末１００−１にディスプレイし、第２ユーザが大笑いする表情であるとき、笑い顔アイコンに係わるアイコン情報だけではなく、ボーナスアイコン情報も、第１端末１００−１にディスプレイすることができる。
【０１０５】
第１端末１００−１は、第１ユーザが獲得した、アイコン情報及びボーナスアイコン情報に基づいて更新された第１ユーザのアイコン情報を、サーバ２００に伝送することができる。更新された第１ユーザのアイコン情報は、アイコン種類、及び／またはアイコン種類別アイコンの個数と、ボーナスアイコンの個数とが合算された個数を含んでもよい。第１端末１００−１は、更新された第１ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨情報を、サーバ２００から受信することができる。ボーナスアイコン情報が追加して累積されたほど、仮想財貨情報も追加して支給されるので、第１ユーザは、さらに多くの補償を受けることができる。
【０１０６】
図１５は、一実施形態による、第１端末１００−１において、第１ユーザの表情に対応するアイコン情報を生成して映像通話サービスを提供する方法について説明するためのフローチャートである。
【０１０７】
ブロック１５１０において、第１端末１００−１は、第１ユーザの第１端末１００−１と、映像通話の相手である第２ユーザの第２端末１００−２との映像通話セッションを樹立することができる。
【０１０８】
ブロック１５２０において、第１端末１００−１は、第１ユーザを撮影した第１映像ストリームから、第１ユーザの表情を検出することができる。第１端末１００−１は、第１映像ストリームから、第１ユーザの顔にある特徴点に基づいて、第１映像ストリームから、第１ユーザの表情を検出することができる。第１端末１００−１は、リアルタイムまたは所定時間間隔で、第１ユーザの表情を連続して検出することができる。
【０１０９】
ブロック１５３０において、第１端末１００−１は、検出された第１ユーザの表情に対応するアイコン情報を生成することができる。
【０１１０】
ブロック１５４０において、第１端末１００−１は、生成されたアイコン情報を、第２端末１００−２に伝送することができる。
【０１１１】
また、第１端末１００−１は、多様な方式でアイコン情報を生成することができる。例えば、第１端末１００−１は、第２端末１００−２から受信されたアイコン情報と、第２端末１００−２に伝送されたアイコン情報とが同一である場合、ボーナスアイコン情報を生成することができる。他の例を挙げれば、第１端末１００−１は、第１映像ストリームから検出された第１ユーザの表情と、第２映像ストリームから検出された第２ユーザの表情とが同一である場合、検出された第１ユーザの表情に対応するアイコン情報を生成することができる。さらに他の例を挙げれば、第１端末１００−１は、第１映像ストリームから検出された第１ユーザの表情と、入力された第１ユーザ音声から検出された所定音声とがマッチングする場合、ボーナスアイコン情報を生成することができる。さらに他の例を挙げれば、第１端末１００−１は、第１ユーザの無表情と、第１ユーザの検出された表情とにおいて、互いに対応する特徴点間の距離差に対応する値と、臨界値とを比較し、表情強度を認識し、認識された表情強度に基づいて、ボーナスアイコン情報を生成することができる。さらに他の例を挙げれば、第１端末１００−１は、第１映像ストリームから検出された第１ユーザの表情に対応するアイコン情報と、ディスプレイされたミッションアイコン情報とが同一である場合、ボーナスアイコン情報を生成することができる。
【０１１２】
第１端末１００−１は、第１ユーザのアイコン情報を利用し、映像通話サービスを提供するサーバ２００から仮想財貨情報を受信することができる。例えば、第１端末１００−１は、第２端末１００−２から受信されたアイコン情報を含んだ第１ユーザのアイコン情報を、映像通話サービスを提供するサーバ２００に伝送することができる。第１端末１００−１は、第１ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨情報をサーバ２００から受信することができる。他の例を挙げれば、第１端末１００−１は、第２端末１００−２に伝送されたアイコン情報を含んだ第１ユーザのアイコン情報を、映像通話サービスを提供するサーバ２００に伝送することができる。第１端末１００−１は、第１ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨情報を、サーバ２００から受信することができる。
【０１１３】
図１６は、他の実施形態による、第１端末１００−１において、第２ユーザの表情に対応するアイコン情報を生成して映像通話サービスを提供する方法について説明するためのフローチャートである。
【０１１４】
ブロック１６１０において、第１端末１００−１は、第１ユーザの第１端末１００−１と、映像通話の相手である第２ユーザの第２端末１００−２との映像通話セッションを樹立することができる。
【０１１５】
ブロック１６２０において、第１端末１００−１は、第２端末１００−２から受信された、第２ユーザを撮影した第２映像ストリームから、第２ユーザの表情を検出することができる。
【０１１６】
ブロック１６３０において、第１端末１００−１は、検出された第２ユーザの表情に対応するアイコン情報を生成することができる。
【０１１７】
ブロック１６４０において、第１端末１００−１は、生成されたアイコン情報を、第１端末１００−１の画面にディスプレイすることができる。
【０１１８】
また、第１端末１００−１は、多様な方式でアイコン情報を生成することができる。例えば、第１端末１００−１は、第１映像ストリームから検出された第１ユーザの表情と、第２映像ストリームから検出された第２ユーザの表情とが同一である場合、検出された第２ユーザの表情に対応するアイコン情報を生成することができる。他の例を挙げれば、第１端末１００−１は、第２映像ストリームから検出された第２ユーザの表情と、入力された第１ユーザ音声から検出された所定音声とがマッチングする場合、ボーナスアイコン情報を生成することができる。さらに他の例を挙げれば、第１端末１００−１は、第２ユーザの無表情と、第２ユーザの検出された表情とにおいて、互いに対応する特徴点間の距離差に対応する値と、臨界値とを比較し、表情強度を認識し、認識された表情強度に基づいて、ボーナスアイコン情報を生成することができる。
【０１１９】
第１端末１００−１は、第１ユーザのアイコン情報を利用し、映像通話サービスを提供するサーバ２００から仮想財貨情報を受信することができる。例えば、第１端末１００−１は、第１端末１００−１でディスプレイされたアイコン情報を含んだ第１ユーザのアイコン情報を、映像通話サービスを提供するサーバ２００に伝送することができる。第１端末１００−１は、第１ユーザのアイコン情報を伝送したことに対する応答として、映像通話サービスに利用可能な仮想財貨情報を、サーバ２００から受信することができる。
【０１２０】
前述の映像通話サービスを提供する方法に係わる実施形態は、映像通話サービスを提供する端末１００において、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション形態でも提供される。言い替えれば、前述の映像通話サービスを提供する方法に係わる実施形態は、端末１００に、前述の映像通話サービスを提供する方法の各段階を実行させるためのコンピュータ可読記録媒体に保存されたアプリケーションまたはコンピュータプログラム形態でも提供される。
【０１２１】
前述の実施形態は、コンピュータまたはプロセッサによって実行可能な命令語またはデータを保存するコンピュータ可読記録媒体の形態によっても具現される。前記命令語及びデータのうち少なくとも一つは、プログラムコードの形態に保存され、プロセッサによって実行されたとき、所定プログラムモジュールを生成して所定動作を遂行することができる。そのようなコンピュータ可読記録媒体は、ＲＯＭ（read-only memory）、ＲＡＭ（random access memory）、フラッシュメモリ、ＣＤ−ＲＯＭｓ、ＣＤ−Ｒｓ、ＣＤ＋Ｒｓ、ＣＤ−ＲＷｓ、ＣＤ＋ＲＷｓ、ＤＶＤ−ＲＯＭｓ、ＤＶＤ−Ｒｓ、ＤＶＤ＋Ｒｓ、ＤＶＤ−ＲＷｓ、ＤＶＤ＋ＲＷｓ、ＤＶＤ−ＲＡＭｓ、ＢＤ−ＲＯＭｓ、ＢＤ−Ｒｓ、ＢＤ−ＲＬＴＨｓ、ＢＤ−ＲＥｓ、マグネチックテープ、フロッピーディスク、光磁気データ保存装置、光学データ保存装置、ハードディスク、ＳＳＤ（solid state drive）、そして命令語またはソフトウェア、関連データ、データファイル、及びデータ構造を保存することができ、プロセッサやコンピュータが命令語を実行するように、プロセッサやコンピュータに、命令語またはソフトウェア、関連データ、データファイル、及びデータ構造を提供することができるいかなる装置でもよい。
【０１２２】
以上、一実施形態を中心に説明した。開示された実施形態が属する技術分野において当業者であるならば、開示された実施形態が、本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。発明の範囲は、前述の実施形態の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての違いは、発明の範囲に含まれたものであると解釈されなければならないのである。
【産業上の利用可能性】
【０１２３】
本発明の、映像通話サービスを提供する端末は、例えば、情報通信関連の技術分野に効果的に適用可能である。
【符号の説明】
【０１２４】
１００  端末
１１０，２１０  メモリ
１２０，２２０  プロセッサ
１３０  ユーザインターフェース
１３１  入力部
１３２  キーパッド
１３３  タッチパネル
１３４  ペン認識パネル
１３５  出力部
１３６  ディスプレイ
１３７  スピーカ
１４０，２４０  通信インターフェース
１５０  音声及び映像の入力部
１５１  マイク
１５３  カメラ
２００  サーバ
２３０  ストレージ
【図１】
2019122034.tif 000003
【図２】
2019122034.tif 000004
【図３】
2019122034.tif 000005
【図４】
2019122034.tif 000006
【図５】
2019122034.tif 000007
【図６】
2019122034.tif 000008
【図７】
2019122034.tif 000009
【図８】
2019122034.tif 000010
【図９】
2019122034.tif 000011
【図１０】
2019122034.tif 000012
【図１１】
2019122034.tif 000013
【図１２】
2019122034.tif 000014
【図１３】
2019122034.tif 000015
【図１４】
2019122034.tif 000016
【図１５】
2019122034.tif 000017
【図１６】
2019122034.tif 000018