(57)【要約】  通話中の感情を認識し、認識された感情を活用する方法およびシステムを開示する。感情ベースの通話コンテンツ提供方法は、ユーザと相手との通話中の通話内容から感情を認識するステップ、および前記認識された感情に基づいて前記通話内容のうちの少なくとも一部を記録し、前記通話と関連するコンテンツとして提供するステップを含む。
2020529680.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが実現する感情ベースの通話コンテンツ提供方法であって、
ユーザと相手との通話中の通話内容から感情を認識するステップ、および
前記認識された感情に基づいて前記通話内容のうちの少なくとも一部を記録し、前記通話と関連するコンテンツとして提供するステップ
を含む、感情ベースの通話コンテンツ提供方法。
【請求項２】
前記認識するステップは、
前記ユーザと前記相手とがやり取りする映像と音声のうちの少なくとも１つを利用して感情を認識する、
請求項１に記載の感情ベースの通話コンテンツ提供方法。
【請求項３】
前記認識するステップは、
前記通話内容から前記ユーザと前記相手のうちの少なくとも１つに対する感情を認識する、
請求項１に記載の感情ベースの通話コンテンツ提供方法。
【請求項４】
前記認識するステップは、
一定単位の区間別に、該当の区間の通話内容から感情強度を認識し、
前記提供するステップは、
前記通話の全体区間のうち、強度が最も高い感情が認識された区間の通話内容をハイライトコンテンツとして記録するステップ
を含む、請求項１に記載の感情ベースの通話コンテンツ提供方法。
【請求項５】
前記提供するステップは、
前記通話と関連するインタフェース画面において前記ハイライトコンテンツを提供する、
請求項４に記載の感情ベースの通話コンテンツ提供方法。
【請求項６】
前記提供するステップは、
前記ハイライトコンテンツを他人と共有する機能を提供する、
請求項４に記載の感情ベースの通話コンテンツ提供方法。
【請求項７】
前記認識された感情の種類と強度のうちの少なくとも１つを利用して代表感情を選定した後、前記代表感情に対応するコンテンツを提供するステップ
をさらに含む、請求項１に記載の感情ベースの通話コンテンツ提供方法。
【請求項８】
前記代表感情に対応するコンテンツを提供するステップは、
出現頻度や感情強度が最も高い感情を前記代表感情として選定するか、感情強度を感情種類別に合算し、合算値が最も高い感情を前記代表感情として選定するステップ
を含む、請求項７に記載の感情ベースの通話コンテンツ提供方法。
【請求項９】
前記代表感情に対応するコンテンツを提供するステップは、
前記通話と関連するインタフェース画面に前記代表感情を示すアイコンを表示する、
請求項７に記載の感情ベースの通話コンテンツ提供方法。
【請求項１０】
前記認識された感情を相手別に累積することによって相手に対する感情ランキングを算出した後、前記感情ランキングを反映した相手リストを提供するステップ
をさらに含む、請求項１に記載の感情ベースの通話コンテンツ提供方法。
【請求項１１】
前記感情ランキングを反映した相手リストを提供するステップは、
前記認識された感情のうち、事前に定められた種類に該当する感情の強度を合算して相手に対する感情ランキングを算出するステップ
を含む、請求項１０に記載の感情ベースの通話コンテンツ提供方法。
【請求項１２】
前記感情ランキングを反映した相手リストを提供するステップは、
感情種類別に相手に対する感情ランキングを算出し、ユーザの要求に対応する種類の感情ランキングによる相手リストを提供する、
請求項１０に記載の感情ベースの通話コンテンツ提供方法。
【請求項１３】
感情ベースの通話コンテンツ提供方法を実行させるためにコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムであって、
前記感情ベースの通話コンテンツ提供方法は、
ユーザと相手との通話中の通話内容から感情を認識するステップ、および
前記認識された感情に基づいて前記通話内容のうちの少なくとも一部を記録し、前記通話と関連するコンテンツとして提供するステップ
を含む、コンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラム。
【請求項１４】
コンピュータが実現する感情ベース通話コンテンツ提供システムであって、
コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
ユーザと相手との通話中の通話内容から感情を認識する感情認識部、および
前記認識された感情に基づいて前記通話内容のうちの少なくとも一部を記録し、前記通話と関連するコンテンツとして提供するコンテンツ提供部
を備える、感情ベース通話コンテンツ提供システム。
【請求項１５】
前記感情認識部は、
前記ユーザと前記相手とがやり取りする映像と音声のうちの少なくとも１つを利用して感情を認識し、
前記通話内容から前記ユーザと前記相手のうちの少なくとも１つに対する感情を認識する、
請求項１４に記載の感情ベース通話コンテンツ提供システム。
【請求項１６】
前記感情認識部は、
一定単位の区間別に、該当の区間の通話内容から感情強度を認識し、
前記コンテンツ提供部は、
前記通話の全体区間のうち、強度が最も高い感情が認識された区間の通話内容をハイライトコンテンツとして記録する、
請求項１４に記載の感情ベース通話コンテンツ提供システム。
【請求項１７】
前記コンテンツ提供部は、
前記認識された感情の種類と強度のうちの少なくとも１つを利用して代表感情を選定した後、前記代表感情に対応するコンテンツを提供する、
請求項１４に記載の感情ベース通話コンテンツ提供システム。
【請求項１８】
前記コンテンツ提供部は、
出現頻度や感情強度が最も高い感情を前記代表感情として選定するか、感情強度を感情種類別に合算し、合算値が最も高い感情を前記代表感情として選定する、
請求項１７に記載の感情ベース通話コンテンツ提供システム。
【請求項１９】
前記少なくとも１つのプロセッサは、
前記認識された感情を相手別に累積することによって相手に対する感情ランキングを算出した後、前記感情ランキングを反映した相手リストを提供するリスト提供部
をさらに備える、請求項１４に記載の感情ベース通話コンテンツ提供システム。
【請求項２０】
前記リスト提供部は、
前記認識された感情のうち、事前に定められた種類に該当する感情の強度を合算して相手に対する感情ランキングを算出する、
請求項１９に記載の感情ベース通話コンテンツ提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
以下の説明は、通話中の感情を認識し、認識された感情を活用する技術に関する。
【背景技術】
【０００２】
意思疎通において感情の伝達と認識は極めて重要な要素となるが、これは人間同士の意思疎通だけでなく、人間と機械との正確な意思疎通にも必要な要素となる。
【０００３】
人間の意思疎通は、音声、ジェスチャ、表情などのような多様な要素が個別的あるいは相互複合的に作用することで、感情が伝達されて認識される。
【０００４】
最近では、モノのインターネット（ＩｏＴ）技術の発達に伴って人間と機械との意思疎通や感情伝達も重要な要素として浮上しており、このために顔の表情や音声、生体信号などをベースとして人間の感情を認識する技術が利用されている。
【０００５】
例えば、特許文献１（公開日２０１０年１２月０７日）には、ユーザの生体信号に対してパターン認識アルゴリズムを適用して感情を認識する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】韓国公開特許第１０−２０１０−０１２８０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
インターネット電話（ＶｏＩＰ）を利用した通話において、通話中の感情を認識し、認識された感情を活用することができる方法およびシステムを提供する。
【０００８】
通話中に認識された感情に基づき、通話終了後に主要場面を提供することができる方法およびシステムを提供する。
【０００９】
通話中に認識された感情に基づき、通話内訳に代表感情を表示することができる方法およびシステムを提供する。
【課題を解決するための手段】
【００１０】
コンピュータが実現する感情ベースの通話コンテンツ提供方法であって、ユーザと相手との通話中の通話内容から感情を認識するステップ、および前記認識された感情に基づいて前記通話内容のうちの少なくとも一部を記録し、前記通話と関連するコンテンツとして提供するステップを含む、感情ベースの通話コンテンツ提供方法を提供する。
【００１１】
一態様によると、前記認識するステップは、前記ユーザと前記相手とがやり取りする映像と音声のうちの少なくとも１つを利用して感情を認識してよい。
【００１２】
他の態様によると、前記認識するステップは、前記通話内容から前記ユーザと前記相手のうちの少なくとも１つに対する感情を認識してよい。
【００１３】
また他の態様によると、前記認識するステップは、一定単位の区間別に該当の区間の通話内容から感情強度を認識し、前記提供するステップは、前記通話の全体区間のうちで強度が最も高い感情が認識された区間の通話内容をハイライトコンテンツとして記録するステップを含んでよい。
【００１４】
また他の態様によると、前記提供するステップは、前記通話と関連するインタフェース画面で前記ハイライトコンテンツを提供してよい。
【００１５】
また他の態様によると、前記提供するステップは、前記ハイライトコンテンツを他人と共有する機能を提供してよい。
【００１６】
また他の態様によると、前記認識された感情の種類と強度のうちの少なくとも１つを利用して代表感情を選定した後、前記代表感情に対応するコンテンツを提供するステップをさらに含んでよい。
【００１７】
また他の態様によると、前記代表感情に対応するコンテンツを提供するステップは、出現頻度や感情強度が最も高い感情を前記代表感情として選定するか、あるいは感情強度を感情種類別に合算し、合算値が最も高い感情を前記代表感情として選定するステップを含んでよい。
【００１８】
また他の態様によると、前記代表感情に対応するコンテンツを提供するステップは、前記通話と関連するインタフェース画面に前記代表感情を示すアイコンを表示してよい。
【００１９】
また他の態様によると、前記認識された感情を相手別に累積することによって相手に対する感情ランキングを算出した後、前記感情ランキングを反映した相手リストを提供するステップをさらに含んでよい。
【００２０】
また他の態様によると、前記感情ランキングを反映した相手リストを提供するステップは、前記認識された感情のうち、事前に定められた種類に該当する感情の強度を合算して相手に対する感情ランキングを算出するステップを含んでよい。
【００２１】
さらに他の態様によると、前記感情ランキングを反映した相手リストを提供するステップは、感情種類別に相手に対する感情ランキングを算出し、ユーザの要求に対応する種類の感情ランキングによる相手リストを提供してよい。
【００２２】
感情ベースの通話コンテンツ提供方法を実行させるためにコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムであって、前記感情ベースの通話コンテンツ提供方法は、ユーザと相手との通話中の通話内容から感情を認識するステップ、および前記認識された感情に基づいて前記通話内容のうちの少なくとも一部を記録し、前記通話と関連するコンテンツとして提供するステップを含む、コンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを提供する。
【００２３】
コンピュータが実現する感情ベース通話コンテンツ提供システムであって、コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、ユーザと相手との通話中の通話内容から感情を認識する感情認識部、および前記認識された感情に基づいて前記通話内容のうちの少なくとも一部を記録し、前記通話と関連するコンテンツとして提供するコンテンツ提供部を備える、感情ベース通話コンテンツ提供システムを提供する。
【発明の効果】
【００２４】
本発明の実施形態によると、インターネット電話（ＶｏＩＰ）を利用した通話において、通話中の感情を認識し、認識された感情に基づいて通話と関連するコンテンツを生成して活用することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態における、コンピュータシステムの内部構成の一例を説明するためのブロック図である。
【図２】本発明の一実施形態における、コンピュータシステムのプロセッサが含むことのできる構成要素の例を示した図である。
【図３】本発明の一実施形態における、コンピュータシステムが実行することのできる感情ベースの通話コンテンツ提供方法の例を示したフローチャートである。
【図４】本発明の一実施形態における、音声から感情を認識する過程の例を示したフローチャートである。
【図５】本発明の一実施形態における、映像から感情を認識する過程の例を示したフローチャートである。
【図６】本発明の一実施形態における、ハイライトコンテンツを提供する過程を説明するための例示図である。
【図７】本発明の一実施形態における、ハイライトコンテンツを提供する過程を説明するための例示図である。
【図８】本発明の一実施形態における、ハイライトコンテンツを提供する過程を説明するための例示図である。
【図９】本発明の一実施形態における、ハイライトコンテンツを提供する過程を説明するための例示図である。
【図１０】本発明の一実施形態における、代表感情に対応するコンテンツを提供する過程を説明するための例示図である。
【図１１】本発明の一実施形態における、代表感情に対応するコンテンツを提供する過程を説明するための例示図である。
【図１２】本発明の一実施形態における、感情ランキングを反映した相手リストを提供する過程を説明するための例示図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。
【００２７】
本発明の実施形態は、通話中の感情を認識し、認識された感情を活用する技術に関する。
【００２８】
本明細書において具体的に開示される事項を含む実施形態は、通話中の感情を認識し、認識された感情に基づいて通話と関連するコンテンツを生成して提供したり、通話と関連する多様なＵＩや娯楽要素を提供したりすることができ、これによって娯楽要素、多様性、効率性などの側面において相当な長所を達成する。
【００２９】
本明細書において「通話」とは、相手と音声をやり取りする音声電話と、相手と映像および音声をやり取りする映像電話を包括したものを意味してよく、一例として、ＩＰアドレスを使用するネットワークを介して音声および／または映像をデジタルパケットに変換して送信する技術であるインターネット電話（ＶｏＩＰ）を意味してよい。
【００３０】
図１は、本発明の一実施形態における、コンピュータシステムの内部構成の一例を説明するためのブロック図である。
【００３１】
本発明の実施形態に係る感情ベース通話コンテンツ提供システムは、図１のコンピュータシステム１００によって実現されてよい。図１に示すように、コンピュータシステム１００は、感情ベースの通話コンテンツ提供方法を実行するための構成要素として、プロセッサ１１０、メモリ１２０、永続的記録装置１３０、バス１４０、入力／出力インタフェース１５０、およびネットワークインタフェース１６０を含んでよい。
【００３２】
プロセッサ１１０は、命令語のシーケンスを処理することのできる任意の装置を含んでもよいし、その一部であってもよい。プロセッサ１１０は、例えば、コンピュータプロセッサ、モバイルデバイス、または他の電子装置内のプロセッサおよび／またはデジタルプロセッサを含んでよい。プロセッサ１１０は、例えば、サーバコンピューティングデバイス、サーバコンピュータ、一連のサーバコンピュータ、サーバファーム、クラウドコンピュータ、コンテンツプラットフォーム、移動コンピューティング装置、スマートフォン、タブレット、セットトップボックスなどに含まれてよい。プロセッサ１１０は、バス１４０を介してメモリ１２０に接続してよい。
【００３３】
メモリ１２０は、コンピュータシステム１００によって使用されるか、これから出力される情報を記録するための揮発性メモリ、永続的、仮想、またはその他のメモリを含んでよい。例えば、メモリ１２０は、ＲＡＭ（ランダムアクセスメモリ）および／またはＤＲＡＭ（ダイナミック  ＲＡＭ）を含んでよい。メモリ１２０は、コンピュータシステム１００の状態情報のような任意の情報を記録するのに使用されてよい。メモリ１２０は、例えば、通話機能を制御するための命令語を含むコンピュータシステム１００の命令語を記録するのに使用されてよい。コンピュータシステム１００は、必要によってまたは適切な場合に、１つまたは複数のプロセッサ１１０を含んでよい。
【００３４】
バス１４０は、コンピュータシステム１００の多様なコンポーネント間の相互作用を可能にする通信ベース構造を含んでよい。バス１４０は、例えば、コンピュータシステム１００のコンポーネント間、例えば、プロセッサ１１０とメモリ１２０との間でデータを運搬してよい。バス１４０は、コンピュータシステム１００のコンポーネント間の無線および／または有線通信媒体を含んでよく、並列、直列、または他のトポロジ配列を含んでよい。
【００３５】
永続的記録装置１３０は、（例えば、メモリ１２０に比べて）所定の延長された期間中にデータを記録するために、コンピュータシステム１００によって使用されるもののようなメモリまたは他の永続的記録装置のようなコンポーネントを含んでよい。永続的記録装置１３０は、コンピュータシステム１００内のプロセッサ１１０によって使用されるもののような非揮発性メインメモリを含んでよい。例えば、永続的記録装置１３０は、フラッシュメモリ、ハードディスク、光ディスク、または他のコンピュータ読み取り可能な媒体を含んでよい。
【００３６】
入力／出力インタフェース１５０は、キーボード、マウス、カメラ、ディスプレイ、または他の入力または出力装置に対するインタフェースを含んでよい。構成命令および／または通話機能と関連する入力が、入力／出力インタフェース１５０を経て受信されてよい。
【００３７】
ネットワークインタフェース１６０は、近距離ネットワークまたはインターネットのようなネットワークに対する１つまたは複数のインタフェースを含んでよい。ネットワークインタフェース１６０は、有線または無線接続に対するインタフェースを含んでよい。構成命令は、ネットワークインタフェース１６０を経て受信されてよい。また、通話機能と関連する情報は、ネットワークインタフェース１６０を経て受信または送信されてよい。
【００３８】
また、他の実施形態において、コンピュータシステム１００は、図１の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータシステム１００は、上述した入力／出力インタフェース１５０と連結する入力／出力装置のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ（ｔｒａｎｓｃｅｉｖｅｒ）、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、コンピュータシステム１００がスマートフォンのようなモバイル機器の形態で実現される場合、一般的にモバイル機器が含んでいるカメラ、加速度センサやジャイロセンサ、カメラ、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が、コンピュータシステム１００にさらに含まれるように実現されてよい。
【００３９】
図２は、本発明の一実施形態における、コンピュータシステムのプロセッサが含むことのできる構成要素の例を示した図であり、図３は、本発明の一実施形態における、コンピュータシステムが実行することのできる感情ベースの通話コンテンツ提供方法の例を示したフローチャートである。
【００４０】
図２に示すように、プロセッサ１１０は、感情認識部２１０、コンテンツ提供部２２０、およびリスト提供部２３０を備えてよい。このようなプロセッサ１１０の構成要素は、少なくとも１つのプログラムコードによって提供される制御命令にしたがってプロセッサ１１０によって実行される互いに異なる機能の表現であってよい。例えば、プロセッサ１１０が通話中の感情を認識するようにコンピュータシステム１００を制御するために動作する機能的表現として、感情認識部２１０が使用されてよい。
【００４１】
プロセッサ１１０およびプロセッサ１１０の構成要素は、図３の感情ベースの通話コンテンツ提供方法に含まれるステップ３１０〜３４０を実行してよい。例えば、プロセッサ１１０およびプロセッサ１１０の構成要素は、メモリ１２０が含むオペレーティングシステムのコードと、上述した少なくとも１つのプログラムコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、少なくとも１つのプログラムコードは、感情ベースの通話コンテンツ提供方法を処理するために実現されたプログラムのコードに対応してよい。
【００４２】
感情ベースの通話コンテンツ提供方法は、図３に示された順に発生しなくてもよく、ステップのうちの一部が省略されても、追加の過程がさらに含まれてもよい。
【００４３】
ステップ３１０で、プロセッサ１１０は、感情ベースの通話コンテンツ提供方法のためのプログラムファイルに記録されたプログラムコードをメモリ１２０にロードしてよい。例えば、感情ベースの通話コンテンツ提供方法のためのプログラムファイルは、図１を参照しながら説明した永続的記録装置１３０に記録されていてよく、プロセッサ１１０は、バスを介して永続的記録装置１３０に記録されたプログラムファイルからプログラムコードがメモリ１２０にロードされるようにコンピュータシステム１１０を制御してよい。このとき、プロセッサ１１０およびプロセッサ１１０が含む感情認識部２１０とコンテンツ提供部２２０、およびリスト提供部２３０それぞれは、メモリ１２０にロードされたプログラムコードのうちの対応する部分の命令を実行することによって以下のステップ３２０〜３４０を実行するためのプロセッサ１１０の互いに異なる機能的表現であってよい。ステップ３２０〜３４０の実行のために、プロセッサ１１０およびプロセッサ１１０の構成要素は、制御命令による演算を直接に処理してもよいし、コンピュータシステム１００を制御してもよい。
【００４４】
ステップ３２０で、感情認識部２１０は、通話中の通話内容から感情を認識してよい。このとき、通話内容は、通話中にユーザと相手とがやり取りする音声と映像のうちの少なくとも１つを含んでよく、感情認識部２１０は、ユーザと相手とがやり取りする通話内容から、ユーザと相手のうちの少なくとも１つの感情を認識してよい。ユーザの感情は、コンピュータシステム１００に含まれた入力装置（マイクまたはカメラ）に直接に入力されるユーザ側の音声と映像のうちの少なくとも１つを利用して認識されてよく、相手の感情は、ネットワークインタフェース１６０を経て相手のデバイス（図示せず）から受信された相手側の音声と映像のうちの少なくとも１つを利用して認識されてよい。感情を認識する具体的な過程については、以下で詳しく説明する。
【００４５】
ステップ３３０で、コンテンツ提供部２２０は、認識された感情に基づいて通話と関連するコンテンツを生成して提供してよい。一例として、コンテンツ提供部２２０は、通話内容から認識された感情の強度（大きさ）にしたがって通話内容のうちの少なくとも一部をハイライトコンテンツとして記録してよい。このとき、ハイライトコンテンツは、通話内容に該当する音声と映像のうちの少なくとも１つの一部区間を含んでよい。例えば、コンテンツ提供部２２０は、通話中に最も高い強度の感情が現われた区間の映像を、該当の通話の主要場面として記録してよい。このとき、コンテンツ提供部２２０は、ハイライトコンテンツの場合は、相手の感情を基準としてユーザ側の音声と映像のうちの少なくとも１つを利用して生成してもよいし、あるいはユーザの感情を基準として相手側の音声と映像のうちの少なくとも１つを利用して生成してもよい。ハイライトコンテンツの生成時に、反対側の音声と映像のうちの少なくとも１つをともに利用して生成することも可能である。例えば、コンテンツ提供部２２０は、映像通話中に相手に最も高い強度の感情を現わした両者の映像通話場面またはユーザに最も高い強度の感情を現わした両者の映像通話場面を、ハイライトコンテンツとして生成してよい。他の例として、コンテンツ提供部２２０は、通話内容から認識された感情別に、出現頻度や強度にしたがって代表感情を選定した後、代表感情と対応するコンテンツを生成して提供してよい。例えば、コンテンツ提供部２２０は、通話中に最も頻繁に認識された感情を該当の通話の代表感情として選定し、通話内訳に該当の通話の代表感情を示すアイコンを表示してよい。このとき、コンテンツ提供部２２０は、代表感情を示すアイコンの場合、ユーザの感情を基準として生成してよい。
【００４６】
ステップ３４０で、リスト提供部２３０は、認識された感情を相手別に累積して相手に対する感情ランキングを算出した後、感情ランキングを反映した相手リストを提供してよい。このとき、リスト提供部２３０は、通話中に認識されたユーザの感情を基準として相手に対する感情ランキングを算出してよい。一例として、リスト提供部２３０は、感情の種類別に相手に対する感情ランキングを算出してよく、ユーザの要求に対応する種類の感情ランキングによる相手リストを提供してよい。他の例として、リスト提供部２３０は、相手との通話ごとに、通話中に認識された感情のうちで事前に定められた種類の感情（例えば、ポジティブな感情（ｐｏｓｉｔｉｖｅ  ｅｍｏｔｉｏｎ）：あたたかい（ｗａｒｍ）、ハッピー（ｈａｐｐｙ）、笑い（ｌａｕｇｈ）、スイート（ｓｗｅｅｔ）など）を分類し、分類された感情のうちで最も高い感情の強度をすべて合算することによって該当の相手に対する感情値を算出してよく、このような相手別の感情値を基準として降順あるいは昇順に整列した相手リストを提供してよい。相手別の感情値を算出する方式の他の例としては、通話中に認識された感情のうちで最も頻繁に認識された感情の強度を累積することも可能である。
【００４７】
図４は、本発明の一実施形態における、音声から感情を認識する過程の例を示したフローチャートである。
【００４８】
ステップ４０１で、感情認識部２１０は、ネットワークインタフェース１６０を経て相手のデバイスから通話音声を受信してよい。言い換えれば、感情認識部２１０は、通話中の相手のデバイスから、相手の発話による音声入力を受信してよい。
【００４９】
ステップ４０２で、感情認識部２１０は、ステップ４０１で受信された通話音声から感情情報を抽出することにより、相手の感情を認識してよい。感情認識部２１０は、ＳＴＴ（スピーチトゥテキスト（ｓｐｅｅｃｈ  ｔｏ  ｔｅｘｔ））を利用して音声に対応するテキストを取得した後、該当のテキストから感情情報を抽出してよい。このとき、感情情報は、感情種類と感情強度を含んでよい。感情を示す用語、すなわち感情用語は、事前に定められ、所定の基準によって複数の感情種類（例えば、喜び、悲しみ、驚き、悩み、苦しみ、不安、恐怖、嫌悪、怒りなど）に分類され、感情用語の強弱に応じて複数の強度等級（例えば、１〜１０）に分類されてよい。感情用語は、感情を示す特定の単語はもちろん、特定の単語を含んだ句節や文章などを含んでよい。例えば、「好きです」や「辛いけど」のような単語、あるいは「すごく好きです」のような句節や文章などが感情用語の範疇に含まれてよい。一例として、感情認識部２１０は、相手の通話音声による文章から形態素を抽出した後、抽出された形態素から予め定められた感情用語を抽出し、抽出された感情用語に対応する感情種類と感情強度を分類してよい。感情認識部２１０は、相手の音声を一定の区間単位（例えば、２秒）に分け、区間別に感情情報を抽出してよい。このとき、１つの区間の音声に複数の感情用語が含まれる場合、感情用語が属する感情種類と感情強度に応じて加重値を計算してよく、これに基づいて感情情報に対する感情ベクトルを計算することによって該当の区間の音声を代表する感情情報を抽出してよい。感情用語を利用して音声から感情情報を抽出することの他に、音声のトーン情報とテンポ情報のうちの少なくとも１つを利用して感情情報を抽出することも可能である。
【００５０】
したがって、感情認識部２１０は、通話中の相手の音声から感情を認識することができる。上記では相手の感情を認識すると説明しているが、ユーザ側の音声からユーザの感情を認識する方法も上述と同じである。
【００５１】
図４を参照しながら説明した感情情報抽出技術は、例示的なものとして限定されてはならず、周知の他の技術を利用することも可能である。
【００５２】
図５は、本発明の一実施形態における、映像から感情を認識する過程の例を示したフローチャートである。
【００５３】
ステップ５０１で、感情認識部２１０は、ネットワークインタフェース１６０を経て相手のデバイスから通話映像を受信してよい。言い換えれば、感情認識部２１０は、通話中に相手のデバイスから相手の顔が撮影された映像を受信してよい。
【００５４】
ステップ５０２で、感情認識部２１０は、ステップ５０１で受信された通話映像から顔領域を抽出してよい。例えば、感情認識部２１０は、アダブースト（ａｄａｐｔｉｖｅ  ｂｏｏｓｔｉｎｇ）または肌色情報をベースとした顔検出方法などに基づいて通話映像から顔領域を抽出してよく、この他に周知の他の技術を利用することも可能である。
【００５５】
ステップ５０３で、感情認識部２１０は、ステップ５０２で抽出された顔領域から感情情報を抽出することにより、相手の感情を認識してよい。感情認識部２１０は、映像をベースとして顔表情から感情種類と感情強度を含んだ感情情報を抽出してよい。顔表情は、眉、目、鼻、口、肌のような顔要素の変形が起こるときに発生する顔筋肉の収縮によって示され、顔表情の強度は、顔の特徴の幾何学的変化または筋肉表現の密度によって決定されてよい。一例として、感情認識部２１０は、表情による特徴を抽出するための関心領域（例えば、目領域、眉領域、鼻領域、口領域など）を抽出した後、関心領域から特徴点（ｐｏｉｎｔ）を抽出し、特徴点を利用して一定の特徴値を決定してよい。特徴値とは、特徴点間の距離などをベースにして人間の表情を現わす特定の数値に該当する。感情認識部２１０は、決定された特徴値を感情感応値モデルに適用するために、映像に示された特徴値に対する数値の程度に応じて一定の強度値を決定し、予め準備していたマッピングテーブルを利用して各特定値の数値にマッチングする一定の強度値を決定する。マッピングテーブルは、感情感応値モデルにしたがって事前に準備される。感情認識部２１０は、感情感応値モデルと強度値とをマッピングし、該当の強度値を感情感応値モデルに適用した結果によって決定された感情の種類と強度を抽出してよい。
【００５６】
したがって、感情認識部２１０は、通話中に相手の映像から感情を認識することができる。上記では相手の感情を認識すると説明しているが、ユーザ側の映像からユーザの感情を認識する方法も上述と同じである。
【００５７】
図５を参照しながら説明した感情情報抽出技術は、例示的なものとして限定されてはならず、周知の他の技術を利用することも可能である。
【００５８】
図６〜図９は、本発明の一実施形態における、ハイライトコンテンツを提供する過程を説明するための例示図である。
【００５９】
図６は、相手との通話画面の例を示したものであって、映像と音声をやり取りする映像電話画面６００を示している。映像電話画面６００は、相手側の映像６０１をメイン画面として提供し、一領域にユーザ側の顔映像６０２を提供する。
【００６０】
例えば、感情認識部２１０は、通話中に相手の音声から感情を認識し、コンテンツ提供部２２０は、相手の感情に基づいて通話映像の少なくとも一部をハイライトコンテンツとして生成してよい。このとき、ハイライトコンテンツは、通話中の一部区間のユーザ側の顔映像６０２を含んだ通話内容を記録することによって生成してよく、他の例としては、相手側の映像６０１をともに含んだ通話内容を記録することも可能である。
【００６１】
より詳しい説明のために図７を参照すると、コンテンツ提供部２２０は、通話が始まると、一定の区間単位（例えば、２秒）７０１の通話内容７００を臨時記録する（ｂｕｆｆｅｒｉｎｇ）。このとき、コンテンツ提供部２２０は、区間単位別に、該当の区間の通話内容７００から認識された感情（［感情種類、感情強度］）７１０の強度を比較し、以前の区間で認識された感情よりも最近の区間で認識された感情がより高いと判断された場合、臨時記録された通話内容を最近の区間の通話内容に換える。このような方式により、コンテンツ提供部２２０は、通話中に最も高い強度の感情が認識された区間の通話内容をハイライトコンテンツとして取得することが可能となる。例えば、図７では、通話中の全体区間で［ハッピー、９］が最も高い強度の感情に該当するため、［セクション５］に該当する区間の通話内容がハイライトコンテンツとなる。
【００６２】
図６の映像電話画面６００において相手との通話が終わると、例えば、図８に示すように、該当の相手との通話内訳を示す会話インタフェース画面８００に移動してよい。
【００６３】
会話インタフェース画面８００は、会話ベースのインタフェースで構成され、相手とやり取りしたテキストはもちろん、映像電話や音声電話の通話内訳などを収集して提供してよい。このとき、コンテンツ提供部２２０は、通話内訳に含まれた通話件別に、該当の通話のハイライトコンテンツを提供してよい。例えば、コンテンツ提供部２２０は、相手との通話が終わると、会話インタフェース画面８００上の通話件別項目８１０に対応し、該当の通話のハイライトコンテンツを再生するためのＵＩ８１１を提供してよい。
【００６４】
他の例として、コンテンツ提供部２２０は、図９に示すように、映像電話や音声電話の通話内訳を収集して表示する電話インタフェース画面９００においてハイライトコンテンツを提供することも可能である。電話インタフェース画面９００は、ユーザとの通話内訳がある相手リスト９１０を含んでよく、このとき、コンテンツ提供部２２０は、相手リスト９１０で各相手を示す項目上に、該当の相手との最近の通話におけるハイライトコンテンツを再生するためのＵＩ９１１を提供してよい。
【００６５】
さらに、コンテンツ提供部２２０は、ハイライトコンテンツの場合、多様な媒体（例えば、メッセンジャー、メール、メッセージなど）を通じて他人と共有することのできる機能を提供してよい。通話中に最も高い感情を示した通話内容をハイライトコンテンツとして生成してよく、このようなハイライトコンテンツをチャルバン（インターネット上に漂う画像ファイルを意味する韓国語）のようなコンテンツ形態で他人と共有してよい。
【００６６】
図１０および図１１は、本発明の一実施形態における、代表感情と対応するコンテンツを提供する過程を説明するための例示図である。
【００６７】
感情認識部２１０は、相手と通話中のユーザの音声から感情を認識し、コンテンツ提供部２２０は、通話中の感情別の出現頻度や強度に基づいて該当の通話の代表感情を判断し、代表感情に対応するコンテンツを提供してよい。
【００６８】
図１０を参照すると、感情認識部２１０は、通話が始まると、一定の区間単位（例えば、２秒）で各区間の音声から感情１０１０を認識してよく、コンテンツ提供部２２０は、通話全体区間で認識された感情１０１０うちで最も頻繁に認識された感情を代表感情１０１１として見なし、代表感情１０１１に対応するアイコン１０２０を該当の通話と関連するコンテンツとして生成してよい。このとき、アイコン１０２０は、感情を示す絵文字やスタンプ、イメージなどで構成されてよい。代表感情を判断するにあたり、出現頻度が最も高い感情の他にも、全体区間のうちで最も高い強度の感情を代表感情として判断してもよいし、あるいは感情強度を感情種類別に合算し、合算値が最も高い感情を代表感情として判断することも可能である。
【００６９】
コンテンツ提供部２２０は、通話が終わると、該当の通話と関連するインタフェース画面において該当の通話の代表感情を提供してよい。例えば、図１１を参照すると、コンテンツ提供部２２０は、映像電話や音声電話の通話内訳を収集して表示する電話インタフェース画面１１００において通話の代表感情を表示してよい。電話インタフェース画面１１００は、ユーザとの通話内訳がある相手リスト１１１０を含んでよく、このとき、コンテンツ提供部２２０は、相手リスト１１１０で各相手を示す項目上に、該当の相手との最近の通話から判断された代表感情を示すアイコン１１２０を表示してよい。
【００７０】
図１２は、本発明の一実施形態における、感情ランキングを反映した相手リストを提供する過程を説明するための例示図である。
【００７１】
リスト提供部２３０は、ユーザの要求に応答し、図１２に示すように、感情ランキングが反映された相手リスト１２１０を含むインタフェース画面１２００を提供してよい。リスト提供部２３０は、通話中に認識されたユーザの感情に基づいて相手に対する感情ランキングを算出してよく、例えば、相手との通話ごとに通話中に認識された感情のうちで肯定的な感情（例えば、あたたかい（ｗａｒｍ）、ハッピー（ｈａｐｐｙ）、笑い（ｌａｕｇｈ）、スイート（ｓｗｅｅｔ）など）を分類し、分類された感情のうちで最も高い感情の強度をすべて合算することにより、相手別に合算された感情値に基づいて感情ランキングを算出してよい。リスト提供部２３０は、相手に対する感情値を基準として降順あるいは昇順に整列した相手リスト１２１０を提供してよい。このとき、リスト提供部２３０は、相手リスト１２１０で各相手を示す項目上に、該当の相手に対する感情値を示す評点情報１２１１をともに表示してよい。
【００７２】
リスト提供部２３０は、事前に定められた感情に対する感情ランキングの他にも、感情種類別に感情ランキングを算出し、ユーザが選択した種類の感情ランキングにしたがって相手リストを提供することも可能である。
【００７３】
したがって、本発明では、通話中の通話内容から感情を認識することができ、通話内容から認識された感情に基づいて通話と関連するコンテンツ（ハイライトコンテンツ、代表感情アイコンなど）を提供したり、感情ランキングを反映した相手リストを提供したりすることができる。
【００７４】
このように、本発明の実施形態によると、通話中の感情を認識し、認識された感情に基づいて通話と関連するコンテンツを生成して活用することができ、通話と関連する多様なＵＩや娯楽要素を提供することができる。
【００７５】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（演算論理装置）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＰＬＵ（プログラマブル論理ユニット）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つまたは複数の汎用コンピュータまたは専用コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つまたは複数のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
【００７６】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つまたは複数の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ格納媒体または装置に具現化されてよい。ソフトウェアは、ネットワークに接続したコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つまたは複数のコンピュータ読み取り可能な記録媒体に格納されてよい。
【００７７】
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例は、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスクのような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。
【００７８】
なお、本発明の実施形態によれば、インターネット電話（ＶｏＩＰ）を利用した通話において、通話中の感情を認識し、認識された感情に基づいて通話と関連するコンテンツを生成して活用することができる。
【００７９】
また、本発明の実施形態によれば、インターネット電話（ＶｏＩＰ）を利用した通話において、通話中の感情を認識し、認識された感情に基づいて通話と関連する多様なＵＩや娯楽要素を提供することができる。
【００８０】
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
【図１】
2020529680.tif 000003
【図２】
2020529680.tif 000004
【図３】
2020529680.tif 000005
【図４】
2020529680.tif 000006
【図５】
2020529680.tif 000007
【図６】
2020529680.tif 000008
【図７】
2020529680.tif 000009
【図８】
2020529680.tif 000010
【図９】
2020529680.tif 000011
【図１０】
2020529680.tif 000012
【図１１】
2020529680.tif 000013
【図１２】
2020529680.tif 000014
【国際調査報告】
2020529680.tif 000015
2020529680.tif 000016
2020529680.tif 000017
2020529680.tif 000018