(57)【要約】【課題】端末装置において通話中に得られた通話音声データを活用する。【解決手段】端末装置は、通話者の通話音声データを記録し、通話音声データに記録された通話者の音声レベル（音の高さ、大きさ）から、当該通話者が特定の感情状態（平常状態及び喜怒哀楽のいずれかの状態）にある時間を抽出する。そして、通話者が通話中に特定の感情状態にある時間、及びその感情状態にある時間中の音声レベルに基づいて、通話者の感情度を通話終了後に判定し、判定された感情度を通話相手に対応づけて通話記録に記録する。さらに、端末装置は、通話相手とのコミュケーションを取る際のアプリケーリョン（電話帳、通話履歴、コンタクトリスト等を備えるアプリケーション）の所定画面の表示態様を、通話記録に記録された感情度に応じて変化させる。【選択図】図１
2015050470.tif 000002
【特許請求の範囲】
【請求項１】
通話者の通話音声を記録する通話記録部と、
前記通話記録部に記録された前記通話者の通話音声から、当該通話者が特定の感情状態にある時間を抽出する状態抽出部と、
前記特定の感情状態にある時間、及び、当該感情状態にある時間中の音声レベルに基づいて、前記通話者の感情度を判定する判定部と、
前記判定部により判定された感情度に応じて、通話終了以降、通話相手に関する情報を含む所定画面の表示態様を変化させて提示する提示部と、
を備えることを特徴とする端末装置。
【請求項２】
前記音声レベルは、前記通話者が通話中に発する音声の高さ、音声の大きさであることを特徴とする請求項１に記載の端末装置。
【請求項３】
前記感情度は、笑い度であることを特徴とする請求項１又は２に記載の端末装置。
【請求項４】
前記所定画面は、電話帳、通話履歴、発信履歴、着信履歴、コンタクトリストの表示画面のうち、少なくとも一つを含むことを特徴とする請求項１乃至３のいずれか一項に記載の端末装置。
【請求項５】
画像を記憶する記憶部と、
前記提示部は、前記感情度の判断結果に基づいて、当該感情度に対応した画像を前記記憶部から抽出し、前記所定画面に表示させる画像抽出部を含むことを特徴とする請求項１乃至４のいずれか一項に記載の端末装置。
【請求項６】
通話者の通話音声を記録する通話記録ステップと、
前記通話記録ステップで記録された前記通話者の通話音声から、当該通話者が特定の感情状態にある時間を抽出する状態抽出ステップと、
前記特定の感情状態にある時間、及び、当該感情状態にある時間中の音声レベルに基づいて、前記通話者の感情度を通話終了後に判定する判定ステップと、
前記判定ステップにより判定された感情度に応じて、通話終了以降、通話相手に関する情報を含む所定画面の表示態様を変化させて提示する提示ステップと、
を有することを特徴とする通話データ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置に関し、特に、通話データを処理する端末装置及び通話データ処理方法に関する。
【背景技術】
【０００２】
携帯電話やスマートフォンは、コミュニケーション向上のための様々な通話機能の拡張が提案されている。例えば、下記特許文献１には、端末内にキャラクタデータを格納しておき、携帯電話端末が受信した音声信号のレベルを検出し、その音声信号のレベルに応答してキャラクタのアニメーションを携帯電話端末の画面に表示する技術が開示されている。
【０００３】
また、下記特許文献２には、効果音／音楽を音声通話時に付加する気分モード通話をするか否かを選択させ、気分モード通話を行う場合、生体センサ又はメールの文字データから検知したユーザの感情状態を分析して気分モードと気分レベルを設定し、その気分モードと気分レベルにより、効果音又は音楽を選択したり変更したりする技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−６４９３９号公報
【特許文献２】特開２０１２−４８８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１，２に記載の技術には、いずれも以下のような課題がある。まず、通話中のコミュニケーション効果を向上させることを目的とするため、通話中以外の場面には適用できない。また、通話音声に合わせて、キャラクタを表示したり効果音を流したりしても、必ずしも通話中のユーザに効果的であるとは限らず、コミュニケーション向上効果が常に増すとは言い難い。また、多くの人間は、誰かとすぐに繋がるために携帯電話等を使用するが、その相手とどのくらい関わっているかは、通話履歴やメール・ＳＭＳ(Short  Message  Service)のやりとりの回数など、各アプリケーション単位
でしかみることができない。
【０００６】
本発明は、上記した課題を解決するためになされたものであり、通話中に得られた通話データを通話後にも活用し、コミュニケーション向上に役立たせることを目的とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決するために本発明の端末装置は、通話者の通話音声を記録する通話記録部と、前記通話記録部に記録された前記通話者の通話音声から、当該通話者が特定の感情状態にある時間を抽出する状態抽出部と、前記特定の感情状態にある時間、及び、当該感情状態にある時間中の音声レベルに基づいて、前記通話者の感情度を通話終了後に判定する判定部と、前記判定部により判定された感情度に応じて、通話終了以降、通話相手に関する情報を含む所定画面の表示態様を変化させて提示する提示部と、
と、を備えることを特徴とする。
【０００８】
本発明において、前記音声レベルは、前記通話者が通話中に発する音声の高さ、音声の大きさであること、前記感情度は、笑い度であること、前記所定画面は、電話帳、通話履
歴、発信履歴、着信履歴、コンタクトリストの表示画面のうち、少なくとも一つを含むことを特徴とする。
【０００９】
さらに、本発明において、画像を記憶する記憶部と、前記提示部は、前記感情度の判断結果に基づいて、当該感情度に対応した画像を前記記憶部から抽出し、前記所定画面に表示させる画像抽出部を含むことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、通話中に得られたデータを、通話後、他者とのコミュニケーション状況の確認に役立てることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る音声通話端末の基本動作の概念を示す図である。
【図２】本発明の実施の形態に係る音声通話端末のハードウェア構成を示す図である。
【図３】本発明の実施の形態に係る音声通話端末の制御部の機能ブロックを示す図である。
【図４】本発明の実施の形態に係る笑い度判定の概念を示す図である。
【図５】本発明の実施の形態に係る電話帳アプリケーションの表示画面を示す図である。
【図６】本発明の実施の形態に係る他のアプリケーションの表示画面を示す図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明を実施するための形態（以下、本実施形態という）について詳細に説明する。なお、本実施形態の説明の全体を通して同じ要素には同じ番号を付している。
【００１３】
（実施形態の基本動作概念）
図１は、本発明の実施形態に係る端末装置の一例である音声通話端末の基本動作の概念を示す図である。本発明における「感情度」とは、通話者の通話中における感情状態（平常状態及び喜怒哀楽のいずれかの状態）の度合いを意味するが、以下では説明を具体的にするため、上記感情度の中から特に「笑い度」を選択した場合について音声通話端末の処理フローの主なステップについて説明する。
【００１４】
図示するように、まず、ステップＳ１では、相手との通話中、自分（端末の所持者）と相手の笑い声を端末内の記憶部に録音する。
【００１５】
次に、ステップＳ２では、通話中の単位時間ごとの「笑い声のレベル」（笑い声の高さ及び／又は大きさ）と「笑いを検出した時間」を抽出する。
【００１６】
そして、ステップＳ３では、笑い声のレベルをＸ軸、笑いを検出した時間をＹ軸とした図右に示すようなグラフ（感情度判定グラフと呼ぶ）を予め設けておき、ステップＳ２で抽出した通話中の単位時間ごとの笑い声のレベルの合計値（Ｘａ）と、全通話時間の中で笑いを検出した合計時間（Ｙａ）とを求め、前記グラフと照らし合わせる。
【００１７】
最後に、ステップＳ４では、前記グラフ上で，Ｘ軸とＹ軸の交わった点（Ｘａ，Ｙａ）に当て嵌った笑い度（例えば、０（標準），１，２，３，４の５段階）に対応する図示するようなＵＩ（User  Interface)を通話相手に対応付けて電話帳に格納する。
【００１８】
このようにすることで、現状では相手の情報を登録する役割しか担っていない電話帳を、相手とコミュニケーションを取る際の入り口として、その相手とどれくらい連絡を取り合っているのかを可視化し、端末の通話機能を拡大させることができる。例えば、笑った時間が長かった通話相手の電話帳の表示を参照することで、その相手と楽しく話しあったことが思いだされる。また、前回の通話で相手を怒らせてしまったような場合には、次にコミュニケーションを取る際の注意喚起にもなる。
【００１９】
（実施形態の構成）
図２は、本発明の実施の形態に係る音声通話端末のハードウェア構成を示す図である。図示するように、本実施形態に係る音声通話端末１０は、携帯電話又はスマートフォンを例示している。音声通話端末１０は、ＣＰＵ１２（Central  Processing  Unit)と記憶部１３（メモリ）を含む制御部１１と、表示画面を備えた表示部１４（ディスプレイ）と、ユーザのキー操作を受け付けるキー操作部１５と、無線通信を制御する無線通信部１６、マイクやスピーカを含む音声入出力部１７とを、含んで構成される。その他、撮像部１８（カメラ）や各種センサ１９を備えてもよい。
【００２０】
制御部１１は、音声通話端末１０としての全体的な動作を統括的に制御する。制御部１１は、記憶部１３に格納されたプログラム（ＯＳ、アプリケーションプログラムなど）に基づいて処理を実行するコンピュータ（マイクロプロセッサ）を備えており、このプログラムにおいて指示された手順に従って処理を行う。
【００２１】
記憶部１３には、ＣＰＵ１２において処理に利用される各種データが保持される。具体的に、ＣＰＵ１２によって実行されるプログラムの他、プログラムの処理過程で利用される一時的なデータなど各種データが保持される。記憶部１３は、例えば不揮発性の記憶装置（ＳＳＤ（Solid  State  Drive）やＳＤメモリカード（Secure  Digital  memory  card）などの不揮発性半導体メモリ）や非不揮発性のランダムアクセス可能な記憶装置（例えば、ＳＲＡＭ、ＤＲＡＭ）などによって構成される。本実施形態に係る制御部１１の具体的な動作については、後述する。
【００２２】
表示部１４は、液晶パネルや有機ＥＬ（Electro-Luminescence）などの表示装置を用いて構成され、制御部１１により生成される映像信号に応じた画像を表示する。なお、上記したキー操作部１５と表示部１４は、操作部と表示部とが一体形成されたタッチパネルで構成してもよい。
【００２３】
キー操作部１５は、例えば、電源キー、通話キー（発呼、着呼）、ボリュームキー、数字キー、文字キー、選択キー、決定キーなど、各種の機能が割り当てられたキー、あるいはボタンを有している。例えば、数字キーがユーザによって操作された場合に、その操作内容に対応する信号を生成して制御部１１に入力する。なお、キー操作部１５は、一部又は全部をタッチセンサにより構成されてもよく、この場合、タッチ操作に応じた信号が生成され、制御部１１に入力される。
【００２４】
無線通信部１６は、音声通話網、データ通信網の通信ネットワークに接続される図示せぬ基地局との間で無線通信を行う。例えば、制御部１１から供給される送信データに所定の変調処理を施して無線信号に変換し、アンテナを介して送出する。また、アンテナにおいて受信される基地局からの無線信号に所定の復調処理を施して受信データに変換し、制御部１１に出力する。
【００２５】
音声入出力部１７は、主に音声通話、音響録音、音響再生において使用され、マイクを介して入力される音声信号や、スピーカから出力される音声信号の入出力処理を行う。すなわち、マイクから入力される音声を増幅し、アナログ−デジタル変換を行い、更に符号
化などの信号処理を施し、デジタルの音声データに変換して制御部１１に出力する。また、制御部１１から出力される音声データに復号化、デジタル−アナログ変換、増幅などの信号処理を施し、アナログの音声信号に変換してスピーカに出力する。また、入力された音声信号を文字テキストに変換する音声認識機能を備えていてもよい。なお、音による通知の代わりに、振動発生部（図示せず）が発生させる筐体の振動でメールや電話の着信などを通知することもできる。
【００２６】
撮像部１８（カメラ）は、写真やビデオの撮影の他、ＯＣＲやバーコードを撮像することで、キー操作や音声認識以外での文字入力や、各種画像を入力することができる。また、各種センサ１９としては、例えば、加速度センサ、近接センサ、温度センサ、生体センサ（発汗センサ、脈拍センサ等）、方位センサなどを備えていてもよい。
【００２７】
なお、上記した音声通話端末１０は、具体的には、ＣＰＵ１２と、記憶部１３（メモリ）を含む周辺ＬＳＩによって構成され、制御中枢となる制御部１１が持つ機能は、ＣＰＵ１２がメモリに記録されたプログラムを逐次読み出し、実行することにより実現される。また、表示部１４と、キー操作部１５と、無線通信部１６と、音声入出力部１７とが持つ機能は、ＣＰＵ１２によりプログラマブルに制御される周辺ＬＳＩによって実現され、図示せぬ入出力ポートを介して制御部１１が持つ機能を実現する。
【００２８】
（実施形態の動作）
【００２９】
以下、図３と図４を用いて、本実施形態の携帯端末装置の動作について詳しく説明する。図３は、本発明の実施の形態に係る音声通話端末の制御部の機能ブロックを示す図である。また、図４は、本発明の実施の形態に係る感情度判定の概念を示す図である。
【００３０】
図３で示すように、制御部１１は、後述するように、処理部として、通話記録部１１ａ、状態抽出部１１ｂ、判定部１１ｃ、提示部１１ｄ、画像抽出部１１ｅの各機能ブロックに分けることができる。各機能ブロックは、統合したり、さらに分割したりしてもよい。また、制御部１１に含まれる記憶部１３は、後述するように、通話音声データ１３ａ，感情度判定テーブル１３ｂ、通話記録１３ｃ、感情度別イラスト１３ｄ、及びユーザ写真集１３ｅを格納している。
【００３１】
通話記録部１１ａは、音声入出力部１７のマイクと無線通信部１６からの音声入力を受けて、音声通話端末１０の所持者である本人（自分）と通話相手との音声通話を録音し、記憶部１３に通話音声データ１３ａとして記録する。このとき、各種センサ２０のうち、発汗センサ、脈拍センサなどの通話者の生体情報を検知するセンサが装備されている場合は、通話時間中、その生体情報を別途記録するようにしてもよい。なお、通話音声データ１３ａには、通話全体を記録してもよいし、無音部を除いて記録してもよい。
【００３２】
状態抽出部１１ｂは、記録された通話音声データ１３ａを分析し、まず、自分と通話相手との発話部分を分離する。そして、発話者毎に通話中に発した音声レベル（音の高さ、大きさ）から、通話中における特定の感情状態を検出し、その特定の感情状態の開始時点と終了時点を記録する。感情状態の検出には、生体センサからの情報やユーザプロファイルの情報（性別、年代等）が得られる場合は、それらの情報を利用してもよい。特定の感情状態とは、通話者が平常な感情にある状態の他、喜怒哀楽のいずれか１つに選択された感情の状態をいう。この感情状態の検出は、概念的には図４（ａ）に示すが、公知の技術を利用してもよい。ただし、図中の符号ＡとＢは、特定の感情状態（この例では、楽（笑い）の状態）の開始時点と終了時点を示し、符号Ｃはその感情状態が持続した時間を示している。なお、感情状態の抽出には、前述した生体センサからの情報を参照するようにしてもよい。
【００３３】
状態抽出部１１ｂの抽出処理が終わると、判定部１１ｃが呼び出され、判定部１１ｃは、抽出された特定の感情状態が持続していた時間を求め、当該特定の感情状態が持続していた時間における音声レベル（声の高さ、大きさ）を単位時間毎に検出する。そして、通話全体にわたって、特定の感情が持続していた時間の合計（Ｘａ）、及びその間の単位時間毎の音声レベルの合計値（Ｙａ）を求める。そして、求めた合計値（Ｘａ、Ｙａ）を感情度判定テーブル１３ｂを参照して、当該感情の高まりの度合いである感情度を通話終了後に判定する。判定部１１ｃで判定された感情度は、通話相手情報（通話相手の識別情報）に対応付けて記憶部に記憶される。感情度は、例えば、平常な状態（標準）を感情度０とし、特定の感情の高まりに応じて、感情度１〜４などの段階値（レベル）で判定する。また、感情度判定テーブル１３ｂとは、図１で説明した感情度判定グラフ（図４（ｃ）に再掲）をコンピュータが処理しやすいようにテーブル形式で表したものである（図４（ｂ）参照）。ただし、図４（ｃ）のグラフ中の曲線は、単純化のため半径ｒｎ（ｎ＝０〜４）の真円弧としているが、一般的には任意の直線や曲線の組み合わせであってよい。
【００３４】
提示部１１ｄは、感情度の判定結果を電話帳などのアプリケーションに対して、ＵＩ（ユーザインターフェース）として提供する役目を果たす。ＵＩの提供とは、例えば電話帳アプリケーションの場合、感情度の判定結果に応じて、電話番号等の通話相手に関する情報を含む所定画面中の表示態様を提示することをいう。表示態様を提示するとは、例えば、効果的な画像を追加したり、電話番号や相手の名称等の文字の大きさ、フォント、文字装飾（斜体、ボールド、下線等）を変化させたり、文字や背景の色を変化させたりして、アプリケーションの画面に表示させることをいう。
【００３５】
提示部１１ｄは、ＡＰＩ（Application  User  Interface)を備えており、各アプリケ
ーションから呼び出すことができる。また、提示部１１ｄは、通話記録１３ｃに感情度が記録されていれば、最新の通話記録の感情度又は一定期間の感情度の平均値に応じて、予め用意された感情度別イラスト１３ｄから、その記録された感情度に対応するイラストの画像を抽出する。あるいは、イラストの画像の代わりに、記憶部（端末内部の記憶部１３又は外部のサーバのデータベースを併用してもよい）に格納され、通話相手が写ったユーザ写真集１３ｅから、通話記録１３ｃに記録された感情度に対応する通話相手の顔写真を抽出するようにしてもよい。抽出されたイラスト、顔写真は、提示部１１ｄ又は提示部１１ｄを呼び出したアプリケーションによって、音声通話端末１０の表示部１４（ディスプレイ画面）に表示される。このようにすることで、通話中に得られた音声データを通話中だけでなく、他のアプリケーションにも適用できるので、コミュニケーション向上により効果的となる。
【００３６】
図５は、本発明の実施の形態に係る電話帳アプリケーションの表示画面を示す図である。図５（ａ）には、通話記録に記録された笑い度（感情度）に応じて、予め用意されたイラストの画像を段階的に変化させ、さらに電話番号の文字の大きさや背景色を段階的に変化させる画面の一例を示している。また、図５（ｃ）には、通話相手の顔写真が笑い度に応じてユーザ写真集から抽出されて、イラスト画像の代わりに表示されている画面の一例を示している。顔写真は、通話相手の単独の写真でなくともよく、複数の人物の中に通話相手が映っているものでもよい。本人と通話相手のツーショットが写真があればベストである。もちろん、怒った顔など、通話相手の感情度に対応する画像が写真集にない場合は、イラストの画像が使われる。
【００３７】
図６は、本発明の実施の形態に係る他のアプリケーションの表示画面を示す図である。この図では電話帳以外のアプリケーションとして、図６（ａ）に通話履歴（実際には通話しなかった発信履歴、着信履歴を含む）と、図６（ｂ）にグループ会話で用いられるようなコンタクトリストの表示画面の例を示している。コミュニケーションリストでは、一対
一の通話だけでなく、グループで会話した際のメンバ全員の感情度を表示するようにしてもよい。
【００３８】
（実施形態の効果）
以上の説明のように、現状では相手の情報を登録する役割しか担っていない電話帳を、相手とコミュニケーションを取る際に、その通話相手とどれくらい連絡を取り合っているのかを視覚化することができる。例えば、笑った時間が長かった相手の電話帳の表示態様が変化することで、その相手と楽しく話したということが視覚化される。また、前回の通話で相手を怒らせてしまったような場合、次にコミュニケーションを取る際に配慮することを忘れないようにするなど注意喚起にも役立つ。
【００３９】
また、得られた音声データを通話中だけでなく、通話終了後に他のアプリケーション（電話帳以外には、通話履歴、コンタクトリストなど）の使用場面にも利用できるので、コミュニケーション向上により効果的である。すなわち、通話中のコミュニケーションの結果が様々なアプリケーションの機能のＵＩに反映されることにより、ユーザにとってさらにその機能を使う機会が増え、コミュニケーションが増々深まることが期待される。
【００４０】
また、図２の本発明の実施形態のハードウェア構成の説明では、音声通話端末として、携帯電話やスマートフォンを例示したが、必ずしも携帯型の端末でなくともよく、音声電話機能や電話帳機能を備えたＰＣ（Personal  Computer)、タブレット端末、ＰＤＡ（Personal  Digital  Assistants)等であってもよい。
【００４１】
なお、本発明はテレビ電話に適用してもよい。具体的には、上記実施形態における特定の感情状態が持続していた時間に代えて、抽出部が撮像部により取得されたテレビ電話中の通話者の画像に基づき、笑顔が持続していた時間を抽出する。そして、抽出部が抽出した笑顔が持続していた時間、および、当該時間における笑顔度のレベルに応じて、判定部は前記通話者の笑顔度を判定する。さらに、提示部は、判定部が判定した笑顔度に基づいて、通話者の情報を含む所定の画面の表示態様を変化させて提示する。
なお、テレビ電話中の音声と映像は記憶部に記録されてもよいし、記憶部に記録されずにテレビ電話中に判定された笑顔度と、笑顔が持続していた時間のみを記録することとしてもよい。
上記態様によれば、テレビ電話中のデータを、通話終了後、他者とのコミュニケーション状況の確認に役立てることができる効果を奏する。
【００４２】
以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。またその様な変更、又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００４３】
１０…音声通話端末、１１…制御部、１１ａ…通話記録部、１１ｂ…状態抽出部、１１ｃ…判定部、１１ｄ…提示部、１１ｅ…画像抽出部１１ｅ、１２…ＣＰＵ、１３…記憶部、１３ａ…通話音声データ、１３ｂ…感情度判定テーブル、１３ｃ…通話記録、１３ｄ…感情度別イラスト、１３ｅ…ユーザ写真集、１４…表示部、１５…キー操作部、１６…無線通信部、１７…音声出力部、１８…撮像部、１９…各種センサ
【図１】
2015050470.tif 000003
【図２】
2015050470.tif 000004
【図３】
2015050470.tif 000005
【図４】
2015050470.tif 000006
【図５】
2015050470.tif 000007
【図６】
2015050470.tif 000008