(57)【要約】【課題】複数のオペレータの電話対応を能率よく監視できる感情表現アニメーション顔表示システム、方法及びプログラムを提供する。【解決手段】複数のユーザであって、そのそれぞれが複数のオペレータのそれぞれと少なくとも音声を用いて通話をしている複数のユーザのそれぞれの感情をユーザの音声を基に推定する感情推定手段と、前記感情推定手段により推定された感情に基づいて、ユーザ毎に、感情が表現されているアニメーション顔を合成するアニメーション顔合成手段と、前記アニメーション顔合成手段により合成されたアニメーション顔を表示する表示手段とを備え、前記感情推定手段は、音声の所定の期間分の複数の強度パターンであって、その各々が所定の種類の感情に関連付けられたものと、前記通話で用いられるユーザの音声から得られた前記所定の期間分の強度パターンとの間のマッチングを調べることにより、前記ユーザの感情を推定する。【選択図】図３
2015092347.tif 000002
【特許請求の範囲】
【請求項１】
複数のユーザであって、そのそれぞれが複数のオペレータのそれぞれと少なくとも音声を用いて通話をしている複数のユーザのそれぞれの感情を前記通話で用いられるユーザの音声を基にリアルタイムで推定する感情推定手段と、
前記感情推定手段により推定された感情に基づいて、ユーザ毎に、推定された感情が表現されているアニメーション顔をリアルタイムで合成するアニメーション顔合成手段と、
前記アニメーション顔合成手段により合成されたユーザ毎のアニメーション顔を視覚的にまとめて確認できるようにリアルタイムで並べて表示する表示手段と、
を備え、
前記感情推定手段は、音声の所定の期間分の複数の強度パターンであって、その各々が所定の種類の感情に関連付けられたものと、前記通話で用いられるユーザの音声から得られた前記所定の期間分の強度パターンとの間のマッチングを調べることにより、前記ユーザの感情を推定することを特徴とする感情表現アニメーション顔表示システム。
【請求項２】
請求項１に記載の感情表現アニメーション顔表示システムであって、
前記感情推定手段は、前記推定をリアルタイムで継続的に行い、
前記アニメーション顔合成手段は、前記合成をリアルタイムで継続的に行い、
前記表示手段は、前記表示をリアルタイムで継続的に行うことを特徴とする感情表現アニメーション顔表示システム。
【請求項３】
請求項１又は２に記載の感情表現アニメーション顔表示システムであって、
前記アニメーション顔合成手段は、アニメーション合成用データベースに格納されているデータを、前記感情推定手段により推定された感情に基づいて、合成することにより、推定された感情が表現されているアニメーション顔を合成することを特徴とする感情表現アニメーション顔表示システム。
【請求項４】
請求項１乃至３の何れか１項に記載の感情表現アニメーション顔表示システムであって、
前記アニメーション顔合成手段は、前記感情推定手段により推定された感情に基づいて、ユーザ毎に、推定された感情が表現されている色を選択し、選択された色を背景色としてアニメーション顔に付加することを特徴とする感情表現アニメーション顔表示システム。
【請求項５】
請求項１乃至４の何れか１項に記載の感情表現アニメーション顔表示システムであって、
前記感情推定手段と前記アニメーション顔合成手段は、コールセンターシステムに含まれ、
前記表示手段は、スーパーバイザが利用する端末に含まれることを特徴とする感情表現アニメーション顔表示システム。
【請求項６】
請求項１乃至４の何れか１項に記載の感情表現アニメーション顔表示システムであって、
前記感情推定手段と前記アニメーション顔合成手段は、前記オペレータが利用する端末に含まれ、
前記表示手段は、スーパーバイザが利用する端末に含まれることを特徴とする感情表現アニメーション顔表示システム。
【請求項７】
請求項１乃至６の何れか１項に記載のアニメーション顔表示システムであって、
スーパーバイザが利用する端末が、スーパーバイザにより選択されたオペレータとその相手のユーザとの通話をモニタして出力するためのモニタ手段を更に備えることを特徴とする感情表現アニメーション顔表示システム。
【請求項８】
複数のユーザであって、そのそれぞれが複数のオペレータのそれぞれと少なくとも音声を用いて通話をしている複数のユーザのそれぞれの感情を前記通話で用いられるユーザの音声を基にリアルタイムで推定する感情推定ステップと、
前記感情推定ステップにより推定された感情に基づいて、ユーザ毎に、推定された感情が表現されているアニメーション顔をリアルタイムで合成するアニメーション顔合成ステップと、
前記アニメーション顔合成ステップにより合成されたユーザ毎のアニメーション顔を視覚的にまとめて確認できるようにリアルタイムで並べて表示する表示ステップと、
を含み、
前記感情推定ステップは、音声の所定の期間分の複数の強度パターンであって、その各々が所定の種類の感情に関連付けられたものと、前記通話で用いられるユーザの音声から得られた前記所定の期間分の強度パターンとの間のマッチングを調べることにより、前記ユーザの感情を推定することを特徴とする感情表現アニメーション顔表示方法。
【請求項９】
コンピュータに、
複数のユーザであって、そのそれぞれが複数のオペレータのそれぞれと少なくとも音声を用いて通話をしている複数のユーザのそれぞれの感情を前記通話で用いられるユーザの音声を基にリアルタイムで推定する感情推定手順と、
前記感情推定手順により推定された感情に基づいて、ユーザ毎に、推定された感情が表現されているアニメーション顔をリアルタイムで合成するアニメーション顔合成手順と、
前記アニメーション顔合成手順により合成されたユーザ毎のアニメーション顔を視覚的にまとめて確認できるようにリアルタイムで並べて表示する表示手順と、
を実行させ、
前記感情推定手順は、音声の所定の期間分の複数の強度パターンであって、その各々が所定の種類の感情に関連付けられたものと、前記通話で用いられるユーザの音声から得られた前記所定の期間分の強度パターンとの間のマッチングを調べることにより、前記ユーザの感情を推定することを特徴とする感情表現アニメーション顔表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は感情表現アニメーション顔表示システム、方法及びプログラムに関し、特に、コールセンター用の感情表現アニメーション顔表示システム、方法及びプログラムに関するものである。
【背景技術】
【０００２】
顧客（「クライアント」又は「ユーザ」ともいう）からの電話による問合せや注文などに対応するため、コールセンターが設置されている。通常、コールセンターでは、複数のオペレータがクライアントからの電話に効率よく対応するために、コールセンター用システムが構築、使用されている。コールセンター用システムは、例えば、電話交換機、複数のオペレータ端末、管理者（「スーパーバイザ」ともいう）用の端末などを備える。また、多くのコールセンター用システムでは、クライアントとオペレータとのやり取りをスーパーバイザが通話モニタリングによって監視し、通話の状況を確認し、必要に応じてオペレータにアドバイスを送るための機能が備わっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３０９５８号公報
【特許文献２】特開２００３−２４８８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した従来のコールセンター用システムでは、オペレータの電話対応に対するスーパーバイザの監視は音声のモニタリングによって行われており、スーパーバイザ１人に対してオペレータ１人の電話対応しか一度に監視することができず、能率的でない、という課題があった。
【０００５】
また、オペレータからヘルプ要請がない限り、その時点で通話モニタリングをしていない通話に対してスーパーバイザの助言が必要なのかどうか、スーパーバイザからは判断がつかず、その結果対応の遅れが発生する、という課題があった。
【０００６】
したがって、本発明の目的は、上述した課題を解決し、複数のオペレータの電話対応を能率よく監視できる感情表現アニメーション顔表示システム、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明のシステムは、複数のユーザであって、そのそれぞれが複数のオペレータのそれぞれと少なくとも音声を用いて通話をしている複数のユーザのそれぞれの感情を前記通話で用いられるユーザの音声を基にリアルタイムで推定する感情推定手段と、前記感情推定手段により推定された感情に基づいて、ユーザ毎に、推定された感情が表現されているアニメーション顔をリアルタイムで合成するアニメーション顔合成手段と、前記アニメーション顔合成手段により合成されたユーザ毎のアニメーション顔を視覚的にまとめて確認できるようにリアルタイムで並べて表示する表示手段とを備え、前記感情推定手段は、音声の所定の期間分の複数の強度パターンであって、その各々が所定の種類の感情に関連付けられたものと、前記通話で用いられるユーザの音声から得られた前記所定の期間分の強度パターンとの間のマッチングを調べることにより、前記ユーザの感情を推定する。
【０００８】
また、本発明の方法は、複数のユーザであって、そのそれぞれが複数のオペレータのそれぞれと少なくとも音声を用いて通話をしている複数のユーザのそれぞれの感情を前記通話で用いられるユーザの音声を基にリアルタイムで推定する感情推定ステップと、前記感情推定ステップにより推定された感情に基づいて、ユーザ毎に、推定された感情が表現されているアニメーション顔をリアルタイムで合成するアニメーション顔合成ステップと、前記アニメーション顔合成ステップにより合成されたユーザ毎のアニメーション顔を視覚的にまとめて確認できるようにリアルタイムで並べて表示する表示ステップとを含み、前記感情推定ステップは、音声の所定の期間分の複数の強度パターンであって、その各々が所定の種類の感情に関連付けられたものと、前記通話で用いられるユーザの音声から得られた前記所定の期間分の強度パターンとの間のマッチングを調べることにより、前記ユーザの感情を推定する。
【０００９】
また、本発明のプログラムは、コンピュータに、複数のユーザであって、そのそれぞれが複数のオペレータのそれぞれと少なくとも音声を用いて通話をしている複数のユーザのそれぞれの感情を前記通話で用いられるユーザの音声を基にリアルタイムで推定する感情推定手順と、前記感情推定手順により推定された感情に基づいて、ユーザ毎に、推定された感情が表現されているアニメーション顔をリアルタイムで合成するアニメーション顔合成手順と、前記アニメーション顔合成手順により合成されたユーザ毎のアニメーション顔を視覚的にまとめて確認できるようにリアルタイムで並べて表示する表示手順とを実行させ、前記感情推定手順は、音声の所定の期間分の複数の強度パターンであって、その各々が所定の種類の感情に関連付けられたものと、前記通話で用いられるユーザの音声から得られた前記所定の期間分の強度パターンとの間のマッチングを調べることにより、前記ユーザの感情を推定する。
【発明の効果】
【００１０】
本発明の上記構成により、コールセンターにおける複数のオペレータの電話対応を一度に能率よく監視できる。
【図面の簡単な説明】
【００１１】
【図１】本発明が適用されたシステムの構成例を示す。
【図２】本発明の第１の実施形態のシステム全体の構成を示すブロック図である。
【図３】本発明の第１の実施形態におけるコールセンターシステムの構成を示すブロック図である。
【図４】アニメーション顔生成部により生成されたアニメーション顔を例示しており、（ａ）、（ｂ）、（ｃ）のアニメーション顔はそれぞれ「喜」、「怒」、「哀」の感情を表現している。
【図５】本発明の第１の実施形態のスーパーバイザ端末の構成を示すブロック図である。
【図６】スーパーバイザの表示装置における表示例である。
【図７】本発明の第２の実施形態のシステム全体の構成を示すブロック図である。
【図８】本発明の第２の実施形態におけるオペレータ端末の構成を示すブロック図である。
【図９】本発明の第２の実施形態のスーパーバイザ端末の構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明を実施するための形態について詳細に説明する。
図１は、本発明が適用されたシステムの構成例を示す。このシステムは、交換機（図示せず）と、コールセンターシステム１０１と、クライアント端末１０５と、オペレータ端末１０７と、スーパーバイザ端末１０９から構成される。クライアント端末１０５、オペレータ端末１０７及びスーパーバイザ端末１０９はそれぞれ複数存在してもよい。クライアント端末１０５とスーパーバイザ端末１０９は、それぞれ、ＳＩＰ(Session Initiation Protocol)制御部１２１、ＲＴＰ(Real-time Transport Protocol)制御部１２３及びインターフェース部１２５を備えている。インターフェース部１２５は、例えば、マイク、スピーカ、機能ボタン、マウス、キーボード等とのインターフェース機能を有し、スーパーバイザ端末１０９については、それらに加え、映像を表示する表示器とのインターフェース機能を備えている。クライアント端末１０５及びスーパーバイザ端末１０９がそれぞれ、マイク、スピーカ、機能ボタン、マウス、キーボード、表示器等を含んで構成されてもよい。
【００１３】
図１のシステムにおいて、クライアント端末１０５は、ゲートウェイ１０３を通じてコールセンターシステム１０１と音声のＲＴＰパケットのやり取りを行う。コールセンターシステム１０１は、オペレータ端末１０７及びスーパーバイザ端末１０９とＳＩＰ接続されており、各端末１０７及び１０９はＳＩＰ制御部１２１によってＳＩＰのやりとりを行う機能を備えている。オペレータ端末１０７の備えているＲＴＰ制御部１２３は、インターフェース部１２５を介してマイクから入力された音声をエンコードし、音声のＲＴＰパケットとして目的のアドレスに送信し、また、送られてきたパケットをデコードし、インターフェース部１２５を介してスピーカに送る機能を持つ。スーパーバイザ端末１０９の備えているＲＴＰ制御部１２３は、コールセンターシステム１０１から送られてきた映像のＲＴＰパケットをデコードし、インターフェース部１２５を介して映像表示器（図示せず）に送る機能を持つ。
【００１４】
図１のシステムでは、クライアントが発声した音声が、マイクからクライアント端末１０５に入力され、音声ＲＴＰパケットにエンコードされる。この音声ＲＴＰパケットがゲートウェイ１０３を介してコールセンターシステム１０１に送られる。コールセンターシステム１０１は、クライアント端末１０５から送られた音声ＲＴＰパケットを、担当のオペレータのオペレータ端末１０７に送る。オペレータ端末１０７では、コールセンターシステム１０１から送られて来た音声ＲＴＰパケットがデコードされ、インターフェース部１２５を介してスピーカからオペレータの耳に届けられる。オペレータが発声した音声は、その逆のルートを辿ってクライアント端末１０５に接続されたスピーカからクライアントの耳に届けられる。このようにして、クライアントとオペレータが通話を行う。
【００１５】
コールセンターシステム１０１は、後で詳細に説明するように、クライアントからの音声ＲＴＰパケットを用いてクライアントの音声を分析して感情を推定し、推定した感情を表現したアニメーション顔の映像を合成し、それをＲＴＰパケットにエンコードしてスーパーバイザ端末１０９に送る。スーパーバイザ端末１０９では、コールセンターシステム１０１から受信した映像ＲＴＰパケットをＲＴＰ制御部１２３でデコードし、インターフェース部１２５を介して表示器に表示する。スーパーバイザは表示された画像からクライアントとオペレータの通話状況を把握し、必要なら適切な助言を与えることもできる。
【００１６】
スーパーバイザ端末１０９が、コールセンターシステム１０１にクライアントの音声ＲＴＰパケットからアニメーション顔を生成するための要求を行い、コールセンターシステム１０１からの映像ＲＴＰパケット受信が開始されるようにしてもよい。
【００１７】
このようにして、クライアントとオペレータがコールセンターシステム１０１を通じて音声通話を開始し、その間にスーパーバイザがクライアントの音声の状態から生成されるアニメーション顔を確認し、クライアントの状況を把握する。
【００１８】
次に、本発明の第１の実施形態について、図２、３、４、５及び６を参照して詳細に説明する。
【００１９】
図２は、本発明の第１の実施形態の全体構成を示す。本発明の第１の実施形態には、コールセンターシステム１０１と、第１、第２，・・・，第Ｎクライアント端末（１０５−１，１０５−２，・・・，１０５−Ｎ）と、第１、第２，・・・，第Ｎオペレータ端末（１０７−１，１０７−２，・・・，１０７−Ｎ）と、スーパーバイザ端末１０９とが含まれる。図２では、第１クライアント端末１０５−１と第１オペレータ端末１０７−１、第２クライアント端末１０５−２と第２オペレータ端末１０７−２、・・・、第Ｎクライアント端末１０５−Ｎと第Ｎオペレータ端末１０７−Ｎが、コールセンター１０１を介して通話できるように構成されている。クライアント端末とオペレータ端末の組合せは、固定的でもよいし、適宜変更できる構成でもよい。コールセンターシステム１０１には、第１、第２，・・・，第Ｎクライアント端末（１０５−１，１０５−２，・・・，１０５−Ｎ）にそれぞれ対応してアニメーション顔生成部（２２９−１，２２９−２，・・・，２２９−Ｎ）が設けられている。アニメーション顔生成部２２９はそれぞれ対応するクライアント端末１０５から送られるクライアントの音声データに基づいてクライアントの感情を推定し、その感情を表現したアニメーション顔を生成し、生成したアニメーション顔データをスーパーバイザ端末１０９に送る。
【００２０】
図２では、それぞれのクライアント端末から送られるクライアントの音声データと、その相手のオペレータ端末から送られるオペレータの音声データとが足し合された後に選択部２４５に送られる。選択部２４５では、スーパーバイザ端末１０９から送られた選択信号に基づいてスーパーバイザが所望するクライアントとその相手のオペレータの通話音声が選択されてスーパーバイザ端末１０９に送られる。
【００２１】
図３は、本発明の第１の実施形態におけるコールセンターシステム１０１の構成を示す。コールセンターシステム１０１は、音声データ送受信部２２１、デコーダ２２３、エンコーダ２２５、音声データ受入／送出部２２７を備えている。音声データ送受信部２２１は、クライアント端末１０５から送られてきた音声パケットを受信する。また、音声データ送受信部２２１は、オペレータ端末１０７から送られてきた音声データがエンコーダ２２５によりエンコードされた後、クライアント端末１０５に向けて送信する。デコーダ２２３は、クライアント端末から受信した音声パケットをデコードする。エンコーダ２２５は、デコードされた音声データを所定のプロトコルやフォーマットに変換する。音声データ受入／送出部２２７は、エンコーダ２２５により生成された音声パケットを送出すると共に、オペレータ端末１０７から音声データを受け入れる。
【００２２】
コールセンターシステム１０１は、更に、アニメーション顔生成部２２９、エンコーダ２３７、映像データ送出部２３９を備えている。アニメーション顔生成部２２９は、感情推定部２３１、アニメーション顔合成用データベース２３３及びアニメーション顔合成部２３５を含む。
【００２３】
感情推定部２３１は、デコーダ２２３によりデコードされたクライアントの音声データからクライアントの感情を推定する。例えば、クライアントの音声が怒っているのか、笑っているのかなど、例えば予め用意したプログラム等に従ってどの傾向に近いのかを推定する。
【００２４】
アニメーション顔合成用データベース２３３は、アニメーション顔を生成するためのデータベースであり、ユーザやシステム管理者が手動でシステムにアップロードした画像ファイルや、システム内に予め用意されたファイルや、過去のビデオ会議の映像をデータベースとして保管しておいたファイルなどを登録して利用してもよい。
【００２５】
アニメーション顔合成部２３５は、感情推定部２３１による推定結果と、アニメーション顔合成用データベース２３３に格納されたアニメーション顔合成用データを基に、アニメーション顔を合成する。例えば、現在「怒っている」と推測される場合は、その間怒っているアニメーションを生成し、「笑っている」と推測される場合は、その笑いの大きさに応じて笑っているアニメーションを生成する。
【００２６】
アニメーション顔合成部２３５により合成して得られたアニメーション顔は、エンコーダ２３７により映像ＲＴＰパケットにエンコードされ、映像データ送出部２３９からスーパーバイザ端末１０９に送出される。
【００２７】
上述したように、コールセンターシステム１０１から送出された音声パケットはオペレータ端末１０７に送られ、また、映像パケットはスーパーバイザ端末１０９に送られ、各端末のＲＴＰ制御部１２３によりデコードされ、聞こえる、もしくは見える形で再生される。
【００２８】
複数のクライアントの状況をスーパーバイザが把握したいとき、クライアント毎にアニメーション顔生成処理（図２、図３参照）によって作成される複数の映像データが、スーパーバイザを指定する同一のＩＰアドレスまで送信されることになる。
【００２９】
次に、感情推定部２３１について説明する。感情推定部２３１による感情の推定では、クライアントの音声についての音強度分析に基づく方法や、音素解析に基づく方法など様々な方法が採用できる。
【００３０】
まず、音強度分析に基づく感情推定方法について説明する。この方法では、デコーダ２２３から送られてきたクライアントの音声データに対して音声解析部（図示せず）が音声解析を行い、特に音強度（又はパワー）に関する情報から感情を推定する。感情は、例えば、感情の種類と感情の強度により指定できる。感情の種類は、例えば「喜」、「怒」、「哀」などとしてもよい。感情の強度は、例えば「強」、「中」、「弱」などに分類してもよい。音声解析では、例えば、音声データを所定のフレームごとに時系列に分離し、これらのフレーム間のパワー偏差、パワー差分の平均値及び／又はパワー差分の偏差を求め、その解析結果から音強度の程度やそのパターンなどの感情に関する情報を抽出して、これらの情報に基づいて感情の種類と強度を推定してもよい。
【００３１】
例えば、感情推定部２３１は、音声解析部（図示せず）から送られてきた音声解析結果を、所定の期間分だけ記憶し、記憶された解析データを用いて感情を推定してもよい。例えば、所定の基準期間の３回分の期間の音声データの強度が、「強・中・強」ならば「喜」、「強・強・強」ならば「怒」、「弱・中・弱」ならば「哀」、とするテンプレートを用意しておく。記憶された解析データのうち、基準期間３回分のデータについて、その強度パターンをテンプレートと比較し、それらのマッチングを調べることにより、その時点での感情を推定できる。
【００３２】
別法として、記憶した基準期間３回分の音声データに対して、各強度値の差の絶対値の和（ヒルベルト距離）や各強度の差の２乗和（ユークリッド距離）を計算して、最も近いものをその時の感情として判定してもよい。
【００３３】
次に、音素解析に基づく感情推定方法を説明する。この方法では、感情を表すキーワードを辞書テンプレートとして持っておき、音素解析の結果と辞書テンプレートのマッチングを行って感情の推定を行う。例えば、「怒」の感情の場合、怒りを表す単語（例えば「怒る」、「殴る」など）を辞書テンプレートとして用意しておく。「喜」、「哀」などの感情についても、同様に辞書テンプレートを用意しておく。そして、音素解析結果から得られる音素データとこれらの辞書テンプレートを比較してマッチングを調べることにより、感情を推定する。
【００３４】
音強度分析に基づく方法と、音素解析に基づく方法を組み合わせてもよい。例えば、どちらも同じ感情を推定した場合は、その感情を選択し、異なる場合は、乱数によって確率的にどちらかの感情を選択してもよい。
【００３５】
また、別の感情推定手法として、音声信号の周波数や振幅に関する特徴量に基づいて話者の感情を推定する方法もある。例えば、発話中の音声の基本周波数の最大値や振幅の最大値を特徴量として使用できる。感情推定部２３１は、各感情について事前に取得しておいた特徴量の基準データと、音声解析部により取得した特徴量のデータとを比較することにより、話者の感情を推定する。
【００３６】
感情推定部２３１において上記種々の方法のいずれかにより得られた感情推定結果（感情の種類や強度など）が、アニメーション顔合成部２３５に送られる。
【００３７】
次に、アニメーション顔合成用データベース２３３について説明する。アニメーション顔合成用データベース２３３には、例えば、ＣＧキャラクタを基にした顔の形状データや、写真を基にした顔の形状データが格納されている。この顔形状データは、例えば、目、鼻、口、眉、耳、頭髪などの部品で構成される。
【００３８】
アニメーション顔合成用データベース２３３には、顔形状データの他にも、表情データ、表情動作データ、表情パターンデータなどを格納してもよい。表情データとは、テクスチャを貼り変える合成方法において、笑った表情のテクスチャ、泣いた表情のテクスチャ、その途中段階のテクスチャなどが表情データである。表情パターンデータは、ある表情データから別の表情データへの移行に関するデータであり、ある表情データから移行可能な表情データの情報やその移行確率の情報などを含む。表情動作データは、ＣＧキャラクタの顔の表情を生成するためのデータである。具体的には、顔の形状を変形する場合に、顔の形状データのうち、表情を生成する眉、目や口などの端点に対応する頂点座標の移動量の時系列データが表情動作データである。
【００３９】
次に、アニメーション顔合成部２３５について説明する。アニメーション顔合成部２３５は、感情推定部２３１により推定された通話中のクライアントの感情に基づいて、推定された感情が表現されているアニメーション顔を合成する。合成の際、アニメーション合成用データベース２３３に格納されているデータを用いてもよい。各種の感情を表現したアニメーション顔を生成するには、例えば、いわゆるフェイシャルアニメーション技術を用いることができる。具体的には、顔の形状を変形したり、顔のテクスチャを貼り変えることにより感情を表現したアニメーション顔を生成してもよい。顔の形状を変形する手法では、例えば、上記の表情動作データに基づき、眉、目、口、鼻、耳、顔等の形状を変形させることにより各感情を表現する。顔のテクスチャを貼り変える手法では、表情パターンデータを考慮に入れて表情データを用いてテクスチャの貼り変えを行うこともできる。
【００４０】
図４は、本発明のアニメーション顔生成部２２９により生成されるアニメーション顔を例示する。図４の（ａ）、（ｂ）、（ｃ）のアニメーション顔は、それぞれ、「喜」、「怒」、「哀」の感情を表現している。アニメーション顔合成部２３５は、感情推定部２３１により推定された感情に基づいて、ユーザ毎に、推定された感情が表現されている色を選択し、選択された色を背景色としてアニメーション顔に付加してもよい。例えば、スーパーバイザに分かりやすいように、クライアントの声が穏やかな状態であればアニメーションの背景を青色、クライアントの声が怒っている状態であればアニメーションの背景を赤色、などの効果を追加してもよい。
【００４１】
図５は、本発明の第１の実施形態におけるスーパーバイザ端末の構成を示す。スーパーバイザ端末１０９は、画面合成部３０１と表示部３０３と選択入力受付部３０５と選択信号出力部３０７と音声処理部３０９と音声出力部３１１から構成されている。画面合成部３０１は、コールセンターシステム１０１のアニメーション顔生成部２２９−１，・・・，２２９−Ｎから送られてくる夫々のクライアントのアニメーション顔の映像データを受信し、画面を合成する。合成された画面データは表示部３０３に送られ、表示装置に合成画面を表示する。図６は、表示装置にアニメーション顔を表示した例を示す。通話している１２人のクライアントの感情を表現したアニメーション顔が、縦４列、横３列に並べて表示されている。図６の表示例では、怒っているアニメーション顔の背景には、他の感情の顔の背景色とは異なる背景色（この場合は赤色）が付加され、スーパーバイザに分かりやすくなっている。
【００４２】
このように並べて一覧表示することにより、スーパーバイザは、複数のクライアントの喜怒哀楽の状況を一度に、リアルタイムで把握することができる。スーパーバイザは、アニメーションの表情を見て、例えばクライアントの怒りが強く緊急度が高いと判断できるものを優先して音声のモニタリングを開始するなど、効率的にオペレータにアドバイスを送ることができる。
【００４３】
例えば、第ｋクライアント（ｋは１〜Nの任意の番号）のアニメーション顔が怒った表情をしている場合に、スーパーバイザは第ｋクライアントと第ｋオペレータとの通話をモニターできるように構成してもよい。通話をモニターする場合、まず、スーパーバイザは、マウス、キーボード、タッチパネル、ボタンなど適当な入力手段により、通話モニターしたいクライアントを選択する。その選択入力が選択入力受付部３０５により受け付けられ、選択対象を示す選択信号が選択信号出力部３０７からコールセンターシステム１０１の選択部２４５（図２）に送られる。選択部２４５では、選択信号が示すクライアントとその相手のオペレータの通話音声データが選択されてスーパーバイザ端末１０９の音声処理部３０９に送られる。図５では、第kクライアントが選択されているので、第ｋクライアントの音声データと第ｋオペレータの音声データとが加え合わされた音声データ（図２参照）が音声処理部３０９に送られる。音声処理部３０９においてデコード等の処理が行われ、音声出力部３１１を介してスピーカから第ｋクライアントと第ｋオペレータの通話音声が出力される。このようにして、スーパーバイザは任意のクライアントとその相手のオペレータの通話をモニターすることができる。
【００４４】
上述したように、本発明の第１の実施態様では、コールセンターシステム内に、クライアント側から入力された音声を基に感情を推定する感情推定機能、及び推定した結果をもとにアニメーション映像を生成する機能をクライアント毎に備え、生成されたアニメーションを、スーパーバイザの監視するモニタ上に映し出すことで、スーパーバイザにとって一目見て分かりやすくクライアントの様子を把握し、効率良くオペレータに指示を出すことができる。
【００４５】
感情推定部２３１では、予めサーバに設定されていた情報を基に、アニメーションを生成する必要のあるクライアントの音声を解析し、解析結果から感情を推定してもよい。また、推定結果に合わせてアニメーション顔を生成する際の元となる画像は、リアル感を出すために人の写真を元としても良いし、キャラクターのような画像が元であっても良い。
【００４６】
次に、本発明の第２の実施形態について、図７、８及び９を参照して詳細に説明する。
【００４７】
図７は、本発明の第２の実施形態の全体構成を示す。図２に示された本発明の第１の実施形態と比べて、コールセンターシステム１０１内にアニメーション生成の機能を備えず、オペレータの使用する端末（１０７−１，１０７−２，・・・，１０７−Ｎ）にそれぞれアニメーション顔生成部（２２９−１，２２９−２，・・・，２２９−Ｎ）が設けられている点、及びコールセンターシステム１０１内に設けられていたクライアントの通話音声の選択部２４５が、スーパーバイザ端末１０９内に選択部３１５（図９）として設けられている点で異なり、その他の構成は同じである。
【００４８】
図８は、本発明の第２の実施形態におけるオペレータ端末の構成を示す。図８のオペレータ端末１０７は、図３のコールセンターシステム１０１の構成と比べて、合成されたアニメーション顔がエンコーダ２３７により映像パケットにエンコードされたデータと、クライアントとその相手のオペレータの通話音声をエンコーダ２２５により音声パケットにエンコードされたデータとが、多重化／送出部２３９Ａによって多重化されてスーパーバイザ端末１０９に送られる点で異なり、その他の構造は同じである。
【００４９】
次に、図８を参照して、本発明の第２の実施形態におけるオペレータ端末１０７の動作について説明する。コールセンターシステム１０１からオペレータの端末１０７に送られてくる音声を音声データ送受信部２２１で受信し、デコーダ２２３でデコードする。デコーダ２２３でデコードされた音声データは複製され、エンコーダ２２５と感情推定部２３１とに分けて送られる。感情推定部２３１では、入力された音声が現在怒っているのか、笑っているのかなど感情を推定し、その推定結果をアニメーション顔合成部２３５に送出する。アニメーション顔合成部２３５では、感情推定部２３１から送られた推定結果をもとにアニメーション顔合成用ＤＢ２３３に格納された各種データを使用してアニメーション顔の生成を行う。生成したアニメーション顔はエンコーダ２３７によって映像パケットデータにエンコードされ、多重化／送出部２３９Ａに送られる。また、クライアントとその相手のオペレータの通話音声をエンコーダ２２５により音声パケットにエンコードされた音声パケットデータが、多重化／送出部２３９Ａに送られる。多重化／送出部２３９Ａでは、これらの映像パケットデータと音声パケットデータが多重化され、スーパーバイザ端末１０９に送られる。
【００５０】
オペレータ端末１０７をこのように構成することによって、アニメーション生成の機能を備えたコールセンターシステムを介す必要がなく、ピアツーピアなクライアントとオペレータのやりとりであってもスーパーバイザがアニメーションによって状況を把握することができる。
【００５１】
図９は、本発明の第２の実施形態におけるスーパーバイザ端末の構成を示す。図９のスーパーバイザ端末１０９は、図５のスーパーバイザ端末と比べて、選択信号出力部３０７がなく、多重分離部３１３と選択部３１５が加わっている点で異なり、その他の構成は同じである。それぞれのオペレータ端末１０７から、各クライアントの音声データとアニメーション顔データとが多重化された信号が多重分離部３１３に送られる。多重分離部３１３では、それぞれのオペレータ端末からの信号を、アニメーション顔データとクライアントの音声データとに分離する。この場合のクライアントの音声データとは、クライアントの音声にその相手のオペレータの音声が加えられた音声データを意味する。それぞれのクライアントの顔データは画面合成部３０１に送られて画面が合成され、表示部３０３を介して表示装置に合成画面が表示される。また、多重分離部３１３により分離された夫々のクライアント及びオペレータの通話音声は、選択部３１５に送られる。選択部３１５では、選択入力受付部３０５が受け付けた選択入力に対応したクライアント（この場合は第ｋクライアント）及びその相手のオペレータの通話音声が選択され、音声処理部３０９に送られる。音声処理部３０９においてデコード等の処理を行い、音声出力部３１１を介してマイクから第ｋクライアントと第ｋオペレータの音声を出力する。
【００５２】
本発明により得られる第１の効果は、クライアントの喜怒哀楽等の感情を、スーパーバイザがリアルタイムで、複数のクライアントに対して同時に把握できることである。
【００５３】
その理由は、各クライアントの音声を基に作り出したアニメーション顔を１つの画面上に複数並べて表示することで、一人ひとりのオペレータの対応状況をその通話をモニターして確認しなくても、一目で把握できるためである。通常のコールセンターにおけるスーパーバイザの通話モニタリングでは、一人ひとりのオペレータの対応を音声を通じて監視しており、複数のオペレータに対して１人のスーパーバイザが同時に監視することができないため、効率的に状況を判断することができなかった。
【００５４】
第２の効果は、クライアントがオペレータの気付かない内に徐々に怒ってきている場合や、急に怒り出した場合であっても、スーパーバイザがその様子を把握し、早めの対応が可能になることである。
【００５５】
その理由は、スーパーバイザが動きのあるアニメーションを基にクライアントの状況を判断することが可能になるためである。これにより、スーパーバイザはオペレータの判断のみに頼ることなく、状況を把握できるようになる。
【００５６】
なお、上記の感情表現アニメーション顔表示システムは、ハードウェア、ソフトウェア又はこれらの組合わせにより実現することができる。また、上記の感情表現アニメーション顔表示システムにより行なわれる感情表現アニメーション顔表示方法も、ハードウェア、ソフトウェア又はこれらに組合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【００５７】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory)）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００５８】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
複数のユーザであって、そのそれぞれが複数のオペレータのそれぞれと少なくとも音声を用いて通話をしている複数のユーザのそれぞれの感情を前記通話で用いられるユーザの音声を基にリアルタイムで推定する感情推定手段と、
前記感情推定手段により推定された感情に基づいて、ユーザ毎に、推定された感情が表現されているアニメーション顔をリアルタイムで合成するアニメーション顔合成手段と、
前記アニメーション顔合成手段により合成されたユーザ毎のアニメーション顔を視覚的にまとめて確認できるようにリアルタイムで並べて表示する表示手段と、
を備え、
前記感情推定手段は、音声の所定の期間分の複数の強度パターンであって、その各々が所定の種類の感情に関連付けられたものと、前記通話で用いられるユーザの音声から得られた前記所定の期間分の強度パターンとの間のマッチングを調べることにより、前記ユーザの感情を推定することを特徴とする感情表現アニメーション顔表示システム。
【００５９】
（付記２）
付記１に記載の感情表現アニメーション顔表示システムであって、
前記感情推定手段は、前記推定をリアルタイムで継続的に行い、
前記アニメーション顔合成手段は、前記合成をリアルタイムで継続的に行い、
前記表示手段は、前記表示をリアルタイムで継続的に行うことを特徴とする感情表現アニメーション顔表示システム。
【００６０】
（付記３）
付記１又は２に記載の感情表現アニメーション顔表示システムであって、
前記アニメーション顔合成手段は、アニメーション合成用データベースに格納されているデータを、前記感情推定手段により合成された感情に基づいて、合成することにより、推定された感情が表現されているアニメーション顔を合成することを特徴とする感情表現アニメーション顔表示システム。
【００６１】
（付記４）
付記１乃至３の何れか１に記載の感情表現アニメーション顔表示システムであって、
前記アニメーション顔合成手段は、前記感情推定手段により推定された感情に基づいて、ユーザ毎に、推定された感情が表現されている色を選択し、選択された色を背景色としてアニメーション顔に付加することを特徴とする感情表現アニメーション顔表示システム。
【００６２】
（付記５）
付記１乃至４の何れか１に記載の感情表現アニメーション顔表示システムであって、
前記感情推定手段と前記アニメーション顔合成手段は、コールセンターシステムに含まれ、
前記表示手段は、スーパーバイザが利用する端末に含まれることを特徴とする感情表現アニメーション顔表示システム。
【００６３】
（付記６）
付記１乃至４の何れか１に記載の感情表現アニメーション顔表示システムであって、
前記感情推定手段と前記アニメーション顔合成手段は、前記オペレータが利用する端末に含まれ、
前記表示手段は、スーパーバイザが利用する端末に含まれることを特徴とする感情表現アニメーション顔表示システム。
【００６４】
（付記７）
付記１乃至６の何れか１に記載のアニメーション顔表示システムであって、
スーパーバイザが利用する端末が、スーパーバイザにより選択されたオペレータとその相手のユーザとの通話をモニタして出力するためのモニタ手段を更に備えることを特徴とする感情表現アニメーション顔表示システム。
【００６５】
（付記８）
複数のユーザであって、そのそれぞれが複数のオペレータのそれぞれと少なくとも音声を用いて通話をしている複数のユーザのそれぞれの感情を前記通話で用いられるユーザの音声を基にリアルタイムで推定する感情推定ステップと、
前記感情推定ステップにより推定された感情に基づいて、ユーザ毎に、推定された感情が表現されているアニメーション顔をリアルタイムで合成するアニメーション顔合成ステップと、
前記アニメーション顔合成ステップにより合成されたユーザ毎のアニメーション顔を視覚的にまとめて確認できるようにリアルタイムで並べて表示する表示ステップと、
を含み、
前記感情推定ステップは、音声の所定の期間分の複数の強度パターンであって、その各々が所定の種類の感情に関連付けられたものと、前記通話で用いられるユーザの音声から得られた前記所定の期間分の強度パターンとの間のマッチングを調べることにより、前記ユーザの感情を推定することを特徴とする感情表現アニメーション顔表示方法。
【００６６】
（付記９）
付記８に記載の感情表現アニメーション顔表示方法であって、
前記感情推定ステップは、前記推定をリアルタイムで継続的に行い、
前記アニメーション顔合成ステップは、前記合成をリアルタイムで継続的に行い、
前記表示ステップは、前記表示をリアルタイムで継続的に行うことを特徴とする感情表現アニメーション顔表示方法。
【００６７】
（付記１０）
付記８又は９に記載の感情表現アニメーション顔表示方法であって、
前記アニメーション顔合成ステップは、アニメーション合成用データベースに格納されているデータを、前記感情推定ステップにより推定された感情に基づいて、合成することにより、推定された感情が表現されているアニメーション顔を合成することを特徴とする感情表現アニメーション顔表示方法。
【００６８】
（付記１１）
付記８乃至１０の何れか１に記載の感情表現アニメーション顔表示方法であって、
前記アニメーション顔合成ステップは、前記感情推定ステップにより推定された感情に基づいて、ユーザ毎に、推定された感情が表現されている色を選択し、選択された色を背景色としてアニメーション顔に付加することを特徴とする感情表現アニメーション顔表示方法。
【００６９】
（付記１２）
付記８乃至１１の何れか１に記載の感情表現アニメーション顔表示方法であって、
前記感情推定ステップと前記アニメーション顔合成ステップは、コールセンターシステムにより実行され、
前記表示ステップは、スーパーバイザが利用する端末により実行されることを特徴とする感情表現アニメーション顔表示方法。
【００７０】
（付記１３）
付記８乃至１１の何れか１に記載の感情表現アニメーション顔表示方法であって、
前記感情推定ステップと前記アニメーション顔合成ステップは、前記オペレータが利用する端末により実行され、
前記表示ステップは、スーパーバイザが利用する端末により実行されることを特徴とする感情表現アニメーション顔表示方法。
【００７１】
（付記１４）
付記８乃至１３の何れか１に記載のアニメーション顔表示方法であって、
スーパーバイザが利用する端末において、スーパーバイザにより選択されたオペレータとその相手のユーザとの通話をモニタして出力するモニタステップを更に含むことを特徴とする感情表現アニメーション顔表示方法。
【００７２】
（付記１５）
コンピュータに、
複数のユーザであって、そのそれぞれが複数のオペレータのそれぞれと少なくとも音声を用いて通話をしている複数のユーザのそれぞれの感情を前記通話で用いられるユーザの音声を基にリアルタイムで推定する感情推定手順と、
前記感情推定手順により推定された感情に基づいて、ユーザ毎に、推定された感情が表現されているアニメーション顔をリアルタイムで合成するアニメーション顔合成手順と、
前記アニメーション顔合成手順により合成されたユーザ毎のアニメーション顔を視覚的にまとめて確認できるようにリアルタイムで並べて表示する表示手順と、
を実行させ、
前記感情推定手順は、音声の所定の期間分の複数の強度パターンであって、その各々が所定の種類の感情に関連付けられたものと、前記通話で用いられるユーザの音声から得られた前記所定の期間分の強度パターンとの間のマッチングを調べることにより、前記ユーザの感情を推定することを特徴とする感情表現アニメーション顔表示プログラム。
【００７３】
（付記１６）
付記１５に記載の感情表現アニメーション顔表示プログラムであって、
前記感情推定手順は、前記推定をリアルタイムで継続的に行い、
前記アニメーション顔合成手順は、前記合成をリアルタイムで継続的に行い、
前記表示手順は、前記表示をリアルタイムで継続的に行うことを特徴とする感情表現アニメーション顔表示プログラム。
【００７４】
（付記１７）
付記１５又は１６に記載の感情表現アニメーション顔表示プログラムであって、
前記アニメーション顔合成手順は、アニメーション合成用データベースに格納されているデータを、前記感情推定手順により推定された感情に基づいて、合成することにより、推定された感情が表現されているアニメーション顔を合成することを特徴とする感情表現アニメーション顔表示プログラム。
【００７５】
（付記１８）
付記１５乃至１７の何れか１に記載の感情表現アニメーション顔表示プログラムであって、
前記アニメーション顔合成手順は、前記感情推定手順により推定された感情に基づいて、ユーザ毎に、推定された感情が表現されている色を選択し、選択された色を背景色としてアニメーション顔に付加することを特徴とする感情表現アニメーション顔表示プログラム。
【００７６】
（付記１９）
付記１５乃至１８の何れか１に記載の感情表現アニメーション顔表示プログラムであって、
前記感情推定手順と前記アニメーション顔合成手順は、コールセンターシステムにおいて実行させ、
前記表示手順は、スーパーバイザが利用する端末において実行させることを特徴とする感情表現アニメーション顔表示プログラム。
【００７７】
（付記２０）
付記１５乃至１８の何れか１に記載の感情表現アニメーション顔表示プログラムであって、
前記感情推定手順と前記アニメーション顔合成手順は、前記オペレータが利用する端末において実行させ、
前記表示手順は、スーパーバイザが利用する端末において実行させることを特徴とする感情表現アニメーション顔表示プログラム。
【００７８】
（付記２１）
付記１５乃至２０の何れか１に記載のアニメーション顔表示プログラムであって、
スーパーバイザが利用する端末において、スーパーバイザにより選択されたオペレータとその相手のユーザとの通話をモニタして出力するモニタ手順を更に実行させることを特徴とする感情表現アニメーション顔表示プログラム。
【産業上の利用可能性】
【００７９】
本発明はコールセンターに利用できるほか、テレビ電話、ビデオ会議システム、及びそれらに用いられる各種アプリケーションに利用できる。
【符号の説明】
【００８０】
１０１  コールセンターシステム
１０３  ゲートウェイ
１０５  クライアント端末
１０７  オペレータ端末
１０９  スーパーバイザ端末
１２１  ＳＩＰ制御部
１２３  ＲＴＰ制御部
１２５  インターフェース部
２２１  音声データ送受信部
２２３  デコーダ
２２５  エンコーダ
２２７  音声データ受入／送出部
２２９  アニメーション顔生成部
２３１  感情推定部
２３３  アニメーション顔合成用データベース
２３５  アニメーション顔合成部
２３７  エンコーダ
２３９  映像データ送出部
２３９Ａ  多重化／送出部
２４５  選択部
３０１  画面合成部
３０３  表示部
３０５  選択入力受付部
３０７  選択信号出力部
３０９  音声処理部
３１１  音声出力部
３１３  多重分離部
【図１】
2015092347.tif 000003
【図２】
2015092347.tif 000004
【図３】
2015092347.tif 000005
【図４】
2015092347.tif 000006
【図５】
2015092347.tif 000007
【図６】
2015092347.tif 000008
【図７】
2015092347.tif 000009
【図８】
2015092347.tif 000010
【図９】
2015092347.tif 000011