(57)【要約】【課題】  従来の通信装置では、相手先からの着信時、あるいは、相手先への発信時に、前回の通話時の相手先の感情を知ることが出来ないという問題があった。【解決手段】  本発明の通信装置では、相手先との前回の通話時の感情データが、電話帳ファイルとリンクして保存されている。そして、相手先からの着信時、あるいは、相手先への発信時には、相手先の電話番号データを基に、感情データが保存されているか、否かが判断される。そして、感情データが保存されている場合には、感情データが読み出され、感情データに基づく文字又は画像が表示部４に表示される。そのため、使用者は、相手先との通話前に前回の感情を確認でき、相手先とのスムーズなコミュニケーションを図り易くなる。【選択図】    図５
2005311915.tif 000002
【特許請求の範囲】
【請求項１】
通信時の相手先の感情を解析する感情解析手段と、
前記感情解析手段により解析した感情データを、当該感情解析を行った相手先に対応させて記憶する記憶手段と、
前記記憶手段に記憶された感情データに基づく報知を行う報知手段と、
相手先が選択されたとき、当該相手先に対応する感情データを前記記憶手段から読み出し、前記報知手段によって報知させる制御手段とを備えたことを特徴とする通信装置。
【請求項２】
前記報知手段は、所望の発光色を照射する照射手段であり、
前記照射手段は、前記記憶手段の感情データに基づく発光色で照射することを特徴とする請求項１に記載の通信装置。
【請求項３】
前記報知手段は、文字または画像を表示部に表示する表示手段であり、
前記表示手段は、前記記憶手段に記憶された感情データに基づく文字または画像を表示部に表示することを特徴とする請求項１に記載の通信装置。
【請求項４】
前記制御手段は、相手先からの着信または相手先への発信があったとき、相手先が選択されたと判断し、当該相手先に対応する感情データを前記記憶手段から読み出し、前記報知手段によって報知させることを特徴とする請求項１に記載の通信装置。
【請求項５】
前記記憶手段は、前記感情データを複数の識別情報データから成る電話帳ファイルと関連付けて記憶しており、
前記制御手段は、電話帳検索時または発着信履歴確認時において相手先が選択されたとき、当該相手先に対応する感情データを前記記憶手段から読み出し、前記報知手段によって報知させることを特徴とする請求項１に記載の通信装置。
【請求項６】
前記感情解析手段は、通信時に相手先の感情を複数回解析し、前記記憶手段は、前記複数回の解析の中で最後の解析時の感情データを記憶することを特徴とする請求項１に記載の通信装置。
【請求項７】
相手先との通信を行う通信装置にて相手先の感情を報知する方法であって、
通信時の相手先の感情を解析するステップと、
感情解析を行った相手先と当該相手先の感情データとを対応させて記憶するステップと、
相手先を選択するステップと、
選択された相手先に対応する感情データを読み出すステップと、
読み出した感情データに基づいて報知を行うステップとを有することを特徴とする通信装置の感情報知方法。
【請求項８】
通信部と記憶部と制御部とを備えた通信装置に、
前記通信部によって受信されたデータに基づき通信時の相手先の感情を解析するステップと、
感情解析を行った相手先と当該相手先の感情データとを対応させて前記記憶部に記憶させるステップと、
相手先を選択するステップと、
選択された相手先に対応する感情データを、前記記憶部から読み出すステップと、
前記記憶部から読み出した感情データに基づく報知を行わせるステップとを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、相手先との通信が可能な通信装置および通信装置の感情報知方法ならびにプログラムに関する。
【背景技術】
【０００２】
従来のディスプレイ表示機能を備えた電話機には、予め、「怒り」、「平常」及び「笑顔」の３つの感情状態に対応した音声の波長等の特性値に関するデータと、各「怒り」、「平常」及び「笑顔」の感情を示す感情データとを記憶部に記憶する。そして、通話時には、受信した音声を分析して前記記憶部内の特性値と比較照合することで、通話相手の感情状態を判断するとともに、判断した状態に対応する感情データを読み出してディスプレイに表示するようにしたものがある（例えば、特許文献１参照）。
【０００３】
また、従来の音声感情解析システムには、音声認識の対象となる単語を集めた辞書部と、音声分析処理を行う音声分析部と、音声のパターンを音素単位でもつ音響モデル部と、感情による音韻スペクトルの変形を表す発声変形感情モデル部と、音声分析結果に対して、音響モデル部と発声変形感情モデル部と辞書部とを連結して音声認識処理を行う音声認識部とを備えるものがある。そして、該音声感情解析システムでは、音声の特徴から、音声認識の対象となる単語を音声認識結果として出力すると共に、音声が持っている話者の感情の度合を示す感情レベルを出力する（例えば、特許文献２参照）。
【特許文献１】特開平１１−１１９７９１号公報（第５−１２頁、第１−４図）
【特許文献２】実開平１−１０７２４０号公報（第３−４頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のディスプレイ表示機能を備えた電話機には、通話時に、通話相手の音声を解析し、音声の波長の特性値から、予め、決められた感情をディスプレイに表示するものがあった。しかしながら、このような電話機では、通信時に、通話相手の感情等を表示することで、使用者は、該表示により通話相手の感情を知ることは出来たが、使用者は、通話前に、前回の通話時における通話相手の感情等を知ることが出来なかった。
【０００５】
そのため、従来の電話機では、着信時や発信時等の通話前に、今から通話する相手と前回に会話した時の感情を知ることが出来ず、通話時の心構えがし難く、通話相手とのコミュニケーションをスムーズに行うことが難しいという問題があった。
【０００６】
特に、接客業や営業等、不特定多数のお客を相手にする職業の場合には、通話前に、前回の通話時における通話相手先の感情を知ることができず、円滑なコミュニケーションが図り難いという問題があった。
【０００７】
本発明は、通話時に、通話相手の音声を分析し、通話相手の感情を解析する感情解析手段と、該感情解析手段により解析された感情データを、当該感情解析を行った相手先に対応して記憶する記憶手段と、該記憶手段から相手先の感情データを読み出し、報知手段により報知させる制御手段とを有することで、上述した課題を解決することを目的とする。
【課題を解決するための手段】
【０００８】
上述した各事情に鑑みて成されたものであり、本発明の通信装置では、通信時の相手先の感情を解析する感情解析手段と、前記感情解析手段により解析した感情データを、当該感情解析を行った相手先に対応させて記憶する記憶手段と、前記記憶手段に記憶された感情データに基づく報知を行う報知手段と、相手先が選択されたとき、当該相手先に対応する感情データを前記記憶手段から読み出し、前記報知手段によって報知させる制御手段とを備えたことを特徴とする。従って、本発明の通信装置では、少なくとも通話前に、記憶されている相手先の感情データに基づく感情を報知することが出来るので、使用者は、より円滑なコミュニケーションを図り易くなる。
【０００９】
また、本発明の通信装置では、前記報知手段は、所望の発光色を照射する照射手段であり、前記照射手段は、前記記憶手段の感情データに基づく発光色で照射することを特徴とする。従って、本発明の通信装置では、記憶されている相手先の感情データに基づく発光色を照射することで、使用者及び使用者の周りにいる第３者は、相手先の感情を視覚的に知ることができる。
【００１０】
また、本発明の通信装置では、前記報知手段は、文字または画像を表示部に表示する表示手段であり、前記表示手段は、前記記憶手段に記憶された感情データに基づく文字又は画像を表示部に表示することを特徴とする。従って、本発明の通信装置では、記憶されている相手先の感情データに基づく文字又は画像を表示部に表示することで、使用者は、相手先の感情を視覚的に認識することができる。
【００１１】
また、本発明の通信装置では、前記制御手段は、相手先からの着信または相手先への発信があったとき、相手先が選択されたと判断し、当該相手先に対応する感情データを前記記憶手段から読み出し、前記報知手段によって報知させることを特徴とする。従って、本発明の通信装置では、相手先からの着信時に、または、通話する相手先への発信時に、記憶されている相手先の感情データに基づく感情を報知することで、使用者は、より円滑なコミュニケーションを図り易くなる。
【００１２】
また、本発明の通信装置では、前記記憶手段では、前記感情データを複数の識別情報データから成る電話帳ファイルと関連付けて記憶しており、前記制御手段は、電話帳検索時または発着信履歴確認時において相手先が選択されたとき、当該相手先に対応する感情データを前記記憶手段から読み出し、前記報知手段によって報知させることを特徴とする。従って、本発明の通信装置では、電話帳検索時に、または、発着信履歴確認時においても、記憶されている相手先の感情データに基づく感情を報知することができる。
【００１３】
また、本発明の通信装置では、前記感情解析手段は、通信時に相手先の感情を複数回解析し、前記記憶手段は、前記複数回の解析の中で最後の解析時の感情データを記憶することを特徴とする。従って、本発明の通信装置では、最後の解析時の感情データを記憶することで、使用者は、通話の最終段階時における相手先の感情を知ることができるので、より円滑なコミュニケーションを図り易くなる。
【００１４】
また、本発明の通信装置の感情報知方法では、相手先との通信を行う通信装置にて相手先の感情を報知する方法であって、通信時の相手先の感情を解析するステップと、感情解析を行った相手先と当該相手先の感情データとを対応させて記憶するステップと、相手先を選択するステップと、選択された相手先に対応する感情データを読み出すステップと、読み出した感情データに基づいて報知を行うステップとを有することを特徴とする。従って、本発明の通信装置の感情報知方法では、使用者は、記憶されている相手先の感情を通話前に知ることが出来るので、より円滑なコミュニケーションを図り易くなる。
【００１５】
また、本発明のプログラムでは、通信部と記憶部と制御部とを備えた通信装置に、前記通信部によって受信されたデータに基づき通信時の相手先の感情を解析するステップと、感情解析を行った相手先と当該相手先の感情データとを対応させて前記記憶部に記憶させるステップと、相手先を選択するステップと、選択された相手先に対応する感情データを、前記記憶部から読み出すステップと、前記記憶部から読み出した感情データに基づく報知を行わせるステップとを実行させることを特徴とする。従って、本発明のプログラムでは、使用者は、記憶されている相手先の感情を通話前に知ることが出来るので、より円滑なコミュニケーションを図り易くなる。
【発明の効果】
【００１６】
本発明の通信装置では、感情解析手段により解析された相手先の感情データを、記憶手段で当該相手先に対応させて記憶することができる。そして、制御手段では、相手先が選択されると、記憶手段に記憶されている相手先の感情データを読み出し、当該相手先の感情データに基づく感情を報知手段により報知させることで、使用者等に相手先の感情を知らせることができる。
【００１７】
本発明の通信装置では、種々の発光色を照射できる照射手段を有し、記憶手段に記憶されている相手先の感情データに基づく種々の発光色を照射することができる。そのことで、使用者等は、照射手段から照射される発光色により相手先の感情を知ることができる。
【００１８】
本発明の通信装置では、文字又は画像を表示する表示手段を有し、記憶手段に記憶されている相手先の感情データに基づく文字又は画像を表示部に表示することができる。そのことで、使用者等は、表示手段に表示される文字又は画像により相手先の感情を知ることができる。
【００１９】
本発明の通信装置では、制御手段は、相手先からの着信または相手先への発信があった時に、相手先を特定し、記憶手段に記憶されている相手先の感情を報知手段により報知させることができる。そのことで、使用者等は、相手先との通話前に相手先の感情を知ることができる。
【００２０】
本発明の通信装置では、記憶手段に記憶されている電話帳ファイルと関連付けて、感情データを記憶することができる。そのことで、電話帳ファイルに記憶されている識別情報データを用いて検索し、感情データを読み出すことができるので、使用者等は電話帳検索時または発着信履歴確認時にも相手先の感情を知ることができる。
【００２１】
本発明の通信装置では、通信時に相手先の感情解析を複数回行い、最後の感情解析時の感情データを記憶手段に記憶することができる。そのことで、記憶手段には、通話時の中での最新の感情データが記憶されるので、使用者等は、相手先の最新の感情を知ることができる。
【００２２】
本発明の通信装置の感情報知方法では、相手先の感情を解析するステップと、当該相手先とその感情データとを対応させて記憶するステップと、相手先を選択するステップと、選択された相手先の感情データを読み出すステップと、読み出した感情データに基づいて報知するステップとを有することで、通信装置の使用者等に相手先の記憶されている感情を知らせることができる。
【００２３】
本発明のプログラムでは、通信部と記憶部と制御部とを備えた通信装置に、前記通信部によって受信されたデータに基づき通信時の相手先の感情を解析するステップと、感情解析を行った相手先と当該感情データとを対応させて前記記憶部に記憶させるステップと、相手先を選択するステップと、選択された相手先に対応する感情データを、前記記憶部から読み出すステップと、前記記憶部から読み出した感情データに基づく報知を行わせるステップとを実行させることができる。そのことで、通信装置の使用者等に相手先の記憶されている感情を知らせることができる。
【発明を実施するための最良の形態】
【００２４】
以下に、本発明における一実施の形態について、図１〜図６を参照にして詳細に説明する。本発明は、任意の通信装置に適用できるが、以下では、好適な実施の形態として、折り畳み可能な携帯電話機について説明する。尚、以下では折り畳み可能な携帯電話機が示されているが、この形態に限定されるものではなく、例えば、ストレート式の携帯電話機の場合でも良い。
【００２５】
先ず、図１は本発明の一実施の形態である携帯電話機の（Ａ）開いた状態での内側（キー面）から見た外観図、（Ｂ）閉じた状態での外側（背面）から見た外観図である。図２は同携帯電話機の電気的構成を説明する概略機能ブロック図である。尚、図１の外観図では、カメラ機能を有する形態が示されているが、特に、カメラ機能を有無に限定する必要はなく、図２では、カメラ部の説明を省略する。
【００２６】
図１（Ａ）及び（Ｂ）に示す如く、例えば、スピーカ２は携帯電話機１の蓋部内側の上方中央に、マイク３は本体部内側の下方中央にそれぞれ配置されている。また、キー操作部５は、メニューの表示あるいは選択対象の決定に用いる決定キー５１、カメラ機能を起動させるカメラキー５２、電源投入するための電源キー５３、メール機能を起動させるメールキー５４、十字キー５５、数字入力及び文字入力を行うテンキー５６等から構成されている。
【００２７】
そして、表示部４は、スピーカ２が配置されている蓋部内側に四角形状で配置されており、第２表示部６は、四角い形状で蓋部外側の中央付近に配置されている。更に、撮像部７は、蓋部外側のヒンジ近くの中央付近に配置され、閉じた状態でも第２表示部６で被写体を確認しながら撮影ができる。また、背面キー８は第２表示部６の下方に配され、閉じた状態でシャッターキーとして使用され、使用者が自らを撮影するのに適している。一方、開いた状態で撮影する場合は、表示部４あるいは第２表示部６で被写体を確認しながら、キー操作部５の決定キー５１を押下することで撮影することができる。
【００２８】
また、撮像部７が配置された蓋部外側には、ライト９が配置されている。ライト９は、撮影時に照射することでストロボ機能として用いられる。また、ライト９は、撮影前では、一定の間、被写体を照射することで、補助光として用いられる。更に、本実施の形態では、ライト９は、通話中に照射することができ、使用者は、その発光色により、相手先の感情を外部に表示することができる。
【００２９】
図２に示す如く、携帯電話機１は、主に、スピーカ２、マイク３、表示部４、キー操作部５、ライト９、アンテナ１０、制御部１１、通信制御部１２、音声処理部１３、データ記憶部１４、表示制御部１５、照射制御部１６、音声分析処理部１７、バス１８等を備えている。
【００３０】
スピーカ２は、音声処理部１３から送られたアナログ信号を音声に変換し、出力する。マイク３は、外部音声を拾い、アナログ信号を音声処理部１３へと送る。音声処理部１３は、制御部１１からの制御信号に基づき、デジタル信号をアナログ信号に変換し、あるいは、アナログ信号をデジタル信号へと変換する。
【００３１】
表示部４は、液晶ディスプレイおよびＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｓｅ）ディスプレイなどで実現され、表示制御部１５を介して、送られてくる画像データに基づく画像を表示する。表示制御部１５は、制御部１１の制御信号に基づき、表示部４に表示しようとする文字データ、画像データに従って、表示部４の各画素電極に対して駆動電圧を印加する。本実施の形態では、表示制御部１５では、制御部１１からの制御信号に基づき、データ記憶部１４内に記憶された感情データに基づく文字又は画像を表示部４に表示させる。使用者は、表示部４に表示された文字又は画像により、前回通話時の相手先の感情を視覚的に知ることができる。
【００３２】
キー操作部５は、上述したように、数字および文字を入力するためのテンキー５６などから構成される。
【００３３】
ライト９は、赤色のＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、緑色のＬＥＤ及び青色のＬＥＤから構成されている。それぞれのＬＥＤには、駆動電流を供給しＬＥＤを発光させる駆動回路が設けられている。そして、照射制御部１６では、制御部１１からの制御信号に基づき、駆動回路を介して任意の組み合わせの色を照射させる。本実施の形態では、例えば、使用者が通話中に、制御部１１からの制御信号に基づき、照射制御部１６は、ライト９を制御し、感情データに基づく発光色を照射させる。また、相手先からの着信時、あるいは、相手先への発信時においても、照射制御部１６は、ライト９を制御し、感情データに基づく発光色を照射させる。
【００３４】
アンテナ１０は、無線電波を介して基地局と無線通信を行うときに、音声データ、文字データまたは画像データなどを送受信する。
【００３５】
制御部１１は、携帯電話機１を構成する各部位の動作を制御する。そして、制御部１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などのマイクロプロセッサを含んでいる。
【００３６】
通信制御部１２は、受信時には、制御部１１からの制御信号に基づき、受信データの中で復調した文字データ等をデータ記憶部１４に記憶させる。また、通信制御部１２は、送信時には、制御部１１の制御信号に基づき、文字データ等を変調して増幅し、アンテナ１０を介して基地局に送信させる。
【００３７】
データ記憶部１４は、読み出し及び書き込み可能なＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）から構成される。そして、アンテナ１０等を介して受信した文字データ等が保存される。また、図２には示していないが、携帯電話機１には、読み出し専用であるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）からなるメモリもあり、出荷時に、予め、設定された画像データ、音楽データ等が保存されている。本実施の形態では、データ記憶部１４には、例えば、電話帳ファイル等が保存されている。そして、電話帳ファイルには、電話帳検索機能における氏名、電話番号、メールアドレス等の識別情報データと共に、個人の感情データを関連付けて記憶することができる。
【００３８】
音声分析処理部１７は、図４を用いて後述する。
【００３９】
バス１８は、システムにおけるデータバス、制御信号バスとして用いられる。
【００４０】
次に、図３は本発明の携帯電話機のメモリに保存されている電話帳ファイルの構成を示す図である。
【００４１】
図示の如く、電話帳ファイルはデータ記憶部１４に保存されており、そのファイル内には相手先を識別する複数の識別情報データを記憶している。
【００４２】
例えば、各行Ｚ１、Ｚ２、Ｚ３…はそれぞれ異なる人名に関する記憶領域となっており、この各行毎に各識別情報データは、レコード単位で記憶されている。そして、各レコードは、登録番号データ２１、電話番号データ２２、メールアドレスデータ２３、画像番号データ２４、氏名データ２５、感情データ２６及びその他のデータの各データフィールドから構成されている。
【００４３】
本実施の携帯電話機１では、例えば、着信時には、制御部１１からの制御信号に基づき、データ記憶部１４内の電話帳ファイルを検索し、電話番号データ２２を基に、通話の相手先を特定する。そして、相手先のレコード内に感情データ２６が保存されているか、否かを判別する。相手先の感情データ２６が記憶されている場合には、表示制御部１５では、表示部４に感情データ２６に基づく文字又は画像を表示させることができる。同様に、発信時においても、表示部４に感情データ２６に基づく文字又は画像を表示させることができる。尚、照射制御部１６では、制御部１１からの制御信号に基づき、ライト９から感情データに基づく発光色を照射させることもできる。
【００４４】
次に、図４は本発明の携帯電話機の、音声分析し、相手先の感情を解析する動作制御を説明するためのブロック図であり、図２に示した音声分析処理部１７が対応する。尚、当該ブロック図及びその説明は、一例として、特開平１１−１１９７９１号公報に開示されている音声感情認識システムおよび方法と同様である。
【００４５】
図示の如く、音声分析処理部１７は、音声分析部３１、音声感情解析部３２、モデル連結部３３、音響モデル部３４、発声変形感情モデル部３５、単語辞書部３６から構成される。そして、本実施の形態では、アンテナ１０を介して受信した、相手先の音声データが、音声分析処理部１７に送られ、感情解析されることで、相手先の感情データを取得することができる。
【００４６】
具体的には、通話時の通話相手先の音声を分析し、感情解析を行うために、アンテナ１０から受信した音声データは通信制御部１２へと送られる。音声データは、音声分析部３１によって、雑音処理や音声分析や話者適応などの前処理がなされ、音声感情解析部３２により感情解析がなされる。ここで、音声分析及び感情解析とは、以下の２つの処理を実行する。
【００４７】
第１の処理は、音声データを解析して、それを短い時間ごとの音素として分析して、そのパターンを解析し、該当する単語や文章を辞書から選択することである。
【００４８】
第２の処理は、音声データを解析して、それを短い時間（５〜２０ｍｓ）ごとの音素として分析して、そのパターンを解析し、話者が発声した音声の感情の度合を示すレベルを単語や文章ごとに選択することである。
【００４９】
以上の２つの処理から、音声感情解析部３２から、音声分析結果及び音声の感情レベルが出力される。
【００５０】
音声感情解析部３２は、音声分析部３１で分析された入力音声の音声分析結果に対して、音響モデル部３４、発声変形感情モデル部３５、単語辞書部３６をモデル連結部３３によって連結された音素単位で照合する。そして、単語辞書部３６に登録した単語の中で、一番近い単語をピックアップする。さらに、ピックアップされた単語の入力音声を持っている感情の度合いを示すレベルを選択する。
【００５１】
音響モデル部３４は、音声認識に用いられるモデルであり、具体的には、単語辞書部３６に用いられている文字と音素との対応であり、音素の特徴が出現する確率の分布、出現した音素の特徴が次のどの特徴が現れる状態に遷移するかの確率の分布を記憶したものである。つまり、ある音素の特徴が次にどの音素の特徴に変化するかの確率は変わるので、この確率の分布を言う。
【００５２】
音響モデル部３４は、あらかじめ声を登録しなくても、誰が話し手でもその声を認識出来るいわゆる「不特定話者対応」が、一般的になってきている。このような音響モデルとしては、例えば、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）を用いることができる。
【００５３】
発声変形感情モデル部３５は、感情の変化による音韻スペクトルの変形要素に着目して、感情が変化したときの単語辞書部３６に用いられている文字と音素との対応である。即ち、感情を込めたときに音素の確率の分布が変わるが、その時の音素の特徴が出現する確率の分布、出現した音素の特徴が次のどの特徴が現れる状態に遷移するかの確率の分布を記憶したものである。この、出現した音素の特徴が次のどの特徴が現れる状態に遷移するかの確率の分布は、例えば、「あつい」という言葉を、感情を込めて「あつい」といっても変化しないが、「あちー」とか「あちい」に変化した場合に変わる。このような発声変形感情モデル部３５としては、例えば、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）を用いることができる。
【００５４】
単語辞書部３６は、言葉、単語（名詞、動詞等）、文章を集めたものである。音声感情解析システムでは、特に、単語の中でも、感情を表現する単語、あるいは、感情が現れる単語で構成された単語の集合体である。より具体的には、話者が発声する「暑い」「寒い」「熱い」「冷たい」「はやく」「おそく」「大きい」「小さい」「赤い」「白い」「高く」「低く」「走れ」「進め」「戻れ」「回れ」「飛べ」等の言葉である。また、名詞等の感情表現でない単語も含まれる。この単語辞書部３６は、システムの能力に応じて一つの辞書にあたり、例えば１０〜５０００語の単語で構成する。
【００５５】
以上から、音声感情解析とは、音声を分析して、それを短い時間ごとの音素として分析して、そのパターンを解析し、該当する単語や文章を辞書から選択するとともに、話者が発声した音声の感情の度合を示すレベルを単語や文章ごとに選択することである。
【００５６】
次に、図５は本発明の携帯電話機の、電話機能における着信時から通話への動作制御を説明するためのフローチャートである。図６は同携帯電話機の、電話機能における発信時から通話への動作制御を説明するためのフローチャートである。
【００５７】
図５に示す如く、携帯電話機１では、アンテナ１０を介して基地局から無線電波を受信し、該無線電波が電話着信の場合には（ステップＳ１）、通信制御部１２及びデータ記憶部１４では、制御部１１からの制御信号に基づき、相手先からの電話番号データの照合を行う（ステップＳ２）。そして、電話帳ファイル内に相手先からの電話番号データが有ると判断した場合には（ステップＳ２のＹＥＳ）、電話帳ファイル内の相手先レコードを読み出し（ステップＳ３）、該レコード内に感情データが記憶されているか、否かを検索する（ステップＳ４）。感情データが記憶されている場合には（ステップＳ４のＹＥＳ）、データ記憶部１４及び表示制御部１５は、制御部１１からの制御信号に基づき、感情データを読み出し、感情データに基づく文字又は画像を表示部４に表示させる（ステップＳ５）。
【００５８】
一方、感情データが記憶されていない場合には（ステップＳ４のＮＯ）、表示部４には、感情データ以外の氏名データ、電話番号データ等に基づく文字等が表示される（ステップＳ６）。あるいは、ステップＳ２において、電話帳ファイル内に相手先からの電話番号データがないと判断した場合には（ステップＳ２のＮＯ）、表示部４には、相手先の電話番号が表示される（ステップＳ６）。
【００５９】
使用者は、表示部４に表示された相手先の感情画像等を確認し、相手先と通話をするか、否かを決定する（ステップＳ７）。使用者は、相手先と通話をしない場合で（ステップＳ７のＮＯ）、キー操作部５を操作し、着信拒否操作を行った場合には（ステップＳ８のＹＥＳ）、通話状態とならず、待ち受け状態となる（ステップＳ１３）。また、使用者が、着信拒否操作を行わない場合には（ステップＳ８のＮＯ）、呼び出し動作が続く状態である。
【００６０】
ステップＳ７において、使用者は、相手先と通話する場合には（ステップＳ７のＹＥＳ）、キー操作部５を操作し、相手先と通話状態となる。そして、携帯電話機１では、図４を用いて上述したように、相手先の音声を分析し、該音声から感情解析を行う（ステップＳ９）。ここで、本実施の形態では、通話中に、一定の周期で感情解析を繰り返し行う。そして、照射制御部１６では、制御部１１からの制御信号に基づき、感情データに基づく発光色をライト９から照射させる（ステップＳ１０）。上述したように、携帯電話機１では、通話中に、繰り返して感情解析を行っているので、ライト９も、繰り返し感情データに基づく種々の発光色で照射する。尚、感情データに基づく発光色で区別する場合だけでなく、例えば、発光強度を変化させることで、相手先の感情を区別することもできる。
【００６１】
その後、使用者が、相手先との電話を終了させると（ステップＳ１１のＹＥＳ）、データ記憶部１４では、制御部１１からの制御信号に基づき、最後に解析された感情データを電話帳ファイル内に記憶する（ステップＳ１２）。そして、携帯電話機１は、待ち受け状態となる（ステップＳ１３）。ここで、ステップＳ１２において、解析された感情データがデータ記憶部１４に記憶される際には、前回の通話時に解析され、記憶された感情データと書き換えられる。そのことで、データ記憶部１４には、最新の相手先の感情データが記憶されていることとなる。
【００６２】
尚、通話終了後の感情データの登録するか、否かは、使用者が、選択する場合でも良い。また、最後の分析による感情データをデータ記憶部１４へ登録する場合に限定する必要はなく、所望の分析時の感情データを登録する場合でも良い。
【００６３】
一方、ステップＳ１１において、通話を終了しない場合には（ステップＳ１１のＮＯ）、繰り返し、相手先の音声を分析し、該音声から感情解析を行う（ステップＳ９）。
【００６４】
図６に示す如く、使用者が、所望の相手先に電話を掛ける場合には、キー操作部５を操作し、電話帳検索画面を表示部４に表示させる。そして、使用者が、表示画面を確認し、所望の相手先を検索すると（ステップＳ２１）、データ記憶部１４では、制御部１１の制御信号に基づき、電話帳ファイル内の相手先レコードを読み出し（ステップＳ２２）、該レコード内に感情データが記憶されているか、否かを検索する（ステップＳ２３）。このとき、相手先の感情データが記憶されている場合には（ステップＳ２３のＹＥＳ）、データ記憶部１４及び表示制御部１５は、制御部１１からの制御信号に基づき、感情データを読み出し、感情データに基づく文字又は画像を表示部４に表示させる（ステップＳ２４）。一方、感情データが記憶されていない場合には（ステップＳ２３のＮＯ）、表示部４には、感情データ以外の氏名データ、電話番号データ等に基づく文字等が表示される（ステップＳ２５）。
【００６５】
その後、使用者は、相手先と通話する場合には（ステップＳ２６のＹＥＳ）、キー操作部５を操作し、ダイヤル発信し、相手先と通話状態となる（ステップＳ２７）。そして、図５を用いて上述したように、※１以下のフローチャートへと続く。一方、相手先との通話をしない場合には（ステップＳ２６のＮＯ）、表示画面には、相手先の感情画像等が表示された状態のままである。
【００６６】
上述したように、本実施の形態では、相手先からの着信時、あるいは、相手先への発信時等に、相手先との前回通話時の感情データに基づく文字又は画像を表示部に表示させる。そして、使用者は、表示部を見ることで、相手先との通話前に、前回通話時の相手先の感情を知ることができる。そのことで、例えば、接客業や営業等、多数のお客と接する機会の多い職業の場合には、通話前に、予め、相手先の前回通話時の感情を知ることで、円滑なコミュニケーションが図り易くなる。また、電話によるカウンセリングにも活用でき、患者からの着信時に、あるいは、患者への発信時等の通話前に、前回通話時の患者の感情を確認することで、患者に対し、適切な対応を行い易くなる。
【００６７】
また、本実施の形態では、相手先との通信時に、相手先の感情データを解析し、判別している。そして、該感情データは、通話中においても、該感情データに基づくライトを照射させることができる。そのことで、通話者の周りにいる第３者も、相手先の現在の感情を容易に判断することができ、該第３者が、途中から電話で話す場合でも、予め、相手先の感情を知ることで、円滑なコミュニケーションが図り易くなる。
【００６８】
また、本実施の形態では、相手先の感情データを、例えば、電話帳ファイルとリンクさせて記憶させている。そのことで、相手先からの着信時、あるいは、相手先への発信時には、電話番号データ等の電話帳ファイルを構成する識別情報データを利用して、容易に相手先の感情を知ることができる。
【００６９】
また、本実施の形態では、相手先からの着信時、あるいは、相手先への発信時等に、相手先との前回通話時の感情を表示部に表示させる場合について説明したが、この場合に限定する必要はない。例えば、通話中と同様に、種々の発光色でライトを照射させることで、相手先との前回通話時の感情を表示する場合でも良い。また、スピーカを利用して、音声により、相手先との前回通話時の感情を報知しても良い。また、バイブレータ機能を利用して、振動により、相手先との前回通話時の感情を報知しても良い。このとき、振動の周期や強さに変化を設けることで、種々な感情を報知することができる。
【００７０】
また、本実施の形態では、使用者は、感情データを電話帳ファイルと関連付けて記憶させているので、電話帳検索時に、または、発着信履歴確認時においても、記憶されている相手先の感情を知ることができる。
【００７１】
また、本実施の形態では、携帯電話機等の１台の通信装置内に、感情解析手段、記憶手段、報知手段、制御手段の全てを備えている場合に限定する必要はない。例えば、交換機で、相手先の感情を解析すると共に、解析された感情データをその相手先に対応させて記憶する。そして、相手先からの着信または相手先への発信があったとき、その相手先に対応する感情データを交換機から通信装置へと送出し、通信装置が、その感情データに基づく報知を行うようにする場合でも良い。更に、上述の交換機では、交換機から感情データに基づく音声を通信装置に送出し、通信装置では、音声を出力する場合でも良い。また、上述の交換機では、相手先の感情解析のみを行い、解析された感情データを交換機から通信装置へと送出し、通信装置が、解析された感情データをその相手先に対応させて記憶する場合でも良い。
【００７２】
また、本実施の形態では、感情解析手段、記憶手段、報知手段、制御手段を、任意の通信装置に実行させるプログラムを用いても、上述した作用、効果を得ることができる。
【００７３】
また、本実施の形態では、通話時における相手先の音声を用いて、相手先の感情解析を行い、その相手先の感情データを取得する場合について説明したが、この場合に限定する必要はない。例えば、テレビ電話等で取得される画像や、メール受信等により取得される文章によっても、相手先の感情解析を行う場合でも良い。このとき、画像を用いた場合には、目や口の形やその配置により感情解析を行うことができ、また、文章を用いた場合には、その文脈、文章内の言葉等により感情解析を行うことができる。その他、本発明の要旨を逸脱しない範囲で、種々の変更が可能である。
【図面の簡単な説明】
【００７４】
【図１】本発明の一実施の形態である携帯電話機の（Ａ）開いた状態での内側（キー面）から見た外観図、（Ｂ）閉じた状態での外側（背面）から見た外観図である。
【図２】同携帯電話機の電気的構成を説明するための概略機能ブロック図である。
【図３】同携帯電話機のメモリに保存されている電話帳ファイルの構成を説明するための図である。
【図４】同携帯電話機の音声分析し、感情を解析する動作制御を説明するためのブロック図である。
【図５】同携帯電話機の電話機能における着信時から通話への動作制御を説明するためのフローチャートである。
【図６】同携帯電話機の電話機能における発信時から通話への動作制御を説明するためのフローチャートである。
【符号の説明】
【００７５】
１  携帯電話機
２  スピーカ
３  マイク
４  表示部
５  キー操作部
６  第２表示部
９  ライト
１１  制御部
１２  通信制御部
１３  音声処理部
１４  データ記憶部
１５  表示制御部
１６  照射制御部
１７  音声分析処理部
１８  バス
【図１】
2005311915.tif 000003
【図２】
2005311915.tif 000004
【図３】
2005311915.tif 000005
【図４】
2005311915.tif 000006
【図５】
2005311915.tif 000007
【図６】
2005311915.tif 000008