(57)【要約】【課題】ユーザの気分により効果音／音楽を付加して通話する音声通話装置を提供する。【解決手段】効果音／音楽を付加して通話する音声通話装置において、効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定するユーザデータベースを備える。このような気分モード通話を行う場合、気分モード分析部により、センサのデータ又はメールの文字データからユーザの感情状態を分析して気分モードと気分レベルを設定する。さらに、音楽選択／作曲部を用いて、気分モードと気分レベルにより、効果音又は音楽を選択する。そして、気分モード入力部により、選択された前記効果音又は音楽をユーザの指示を検知して変更する。【選択図】図４
2012004885.tif 000002
【特許請求の範囲】
【請求項１】
効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定するユーザデータベースと、
前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定する気分モード分析部と、
前記気分モードと気分レベルにより、効果音又は音楽を選択する音楽選択／作曲部と、
選択された前記効果音又は音楽を、前記ユーザの指示を検知して変更する気分モード入力部とを備える
ことを特徴とする音声通話端末装置。
【請求項２】
前記センサは、発汗センサ、脈拍センサ、血糖値センサ、温度センサのいずれかの生体センサを用いる
ことを特徴とする請求項１に記載の音声通話端末装置。
【請求項３】
前記センサは、圧力センサ又は加速度センサであり、
前記気分モード分析部は、端末に加えられた圧力又は端末の加速度変化により感情状態を演算する
ことを特徴とする請求項１又は２に記載の音声通話端末装置。
【請求項４】
前記ユーザの顔画像を撮像するカメラ部を備え、
前記気分モード分析部は、撮像された前記ユーザの顔画像のデータから前記ユーザの感情状態を演算する
ことを特徴とする請求項１乃至３のいずれか１項に記載の音声通話端末装置。
【請求項５】
前記ユーザの音声を録音する録音部を更に備え、
前記気分モード分析部は、録音された音声データから前記ユーザの感情状態を分析する
ことを特徴とする請求項１乃至４のいずれか１項に記載の音声通話端末装置。
【請求項６】
音声通話端末装置とサーバとを備えた音声通話システムにおいて、
前記音声通話端末装置は、
効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定するユーザデータベースと、
前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定する気分モード分析部と、
前記気分モードと気分レベルにより、効果音又は音楽を選択する音楽選択／作曲部と、
選択された前記効果音又は音楽を前記ユーザの指示を検知して変更する気分モード入力部とを備え、
前記サーバは、
前記効果音を記憶する効果音データベースと、
音楽の楽曲データを記憶する楽曲データベースとを備える
ことを特徴とする音声通話システム。
【請求項７】
効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定し、
前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定し、
前記気分モードと気分レベルとを前記ユーザの指示により変更する気分モード入力部とを備える
ことを特徴とする音声通話方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声通話端末装置、音声通話システム、及び音声通話方法に係り、特にユーザの気分により効果音／音楽を付加する音声通話端末装置、音声通話システム、及び音声通話方法に関する。
【背景技術】
【０００２】
従来、携帯電話を始めとする携帯端末においては、電子メール等において、通常の文字の他に感情を図画的に示した「顔文字」や絵文字を用いることが一般的になっている。
ところが、携帯端末での音声通話においては、遠隔地にいる通話者同士で会話する以外に、特別な効果を用いることがあまりなかった。
そこで、音声通話時に効果音等を付加し、通話の感性効果を高める技術が考え出されている。
【０００３】
従来の音声通話時に効果音を付加する技術として、特許文献１を参照すると、パネル面に設けられ、効果音の送出を指示する効果音送出ボタンと、予め効果音データが記憶された記憶装置と、前記効果音送出ボタンからの信号を受信し、前記効果音データを前記記憶装置から読み出す制御部と、前記効果音データをアナログ信号に変換するディジタル／アナログ変換器と、前記ディジタル／アナログ変換器の出力とユーザにより入力された音声信号とを合成する効果音ミキサーと、前記効果音ミキサーの出力を発信する発信手段とを備えることを特徴とする移動体通信装置が開示されている（以下、従来技術１とする。）。
従来技術１の移動体通信装置によれば、効果音送出ボタンからの信号によって、記憶装置から読み出された効果音データと、音声データとを効果音ミキサーで合成して送信するため、会話の途中にユーザの任意のタイミングで適宜挿入する効果音を付加することが可能となり、感性効果を高めることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−５１１１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術１の移動体通信装置では、送話するユーザの気分に合わせて、効果音を変更することができなかった。
このため、単純に効果音送出ボタンにより効果音の送出をするだけで、ユーザに効果音送出機能についてすぐ飽きられてしまうという問題があった。
よって、音声通話にて効果音を用いるという機能を積極的に用いるという意欲をユーザに持たせることができなかった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、上述の課題を解消することを課題とする。
【課題を解決するための手段】
【０００７】
本発明の音声通話端末装置は、効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定するユーザデータベースと、前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定する気分モード分析部と、前記気分モードと気分レベルにより、効果音又は音楽を選択する音楽選択／作曲部と、選択された前記効果音又は音楽を前記ユーザの指示を検知して変更する気分モード入力部とを備えることを特徴とする。
本発明の音声通話端末装置は、前記センサは、発汗センサ、脈拍センサ、血糖値センサ、温度センサのいずれかの生体センサを用いることを特徴とする。
本発明の音声通話端末装置は、  前記ユーザの顔画像を撮像するカメラ部を備え、前記気分モード分析部は、撮像された前記ユーザの顔画像のデータから前記ユーザの感情状態を演算することを特徴とする。
本発明の音声通話端末装置は、前記センサは、圧力センサ又は加速度センサであり、前記気分モード分析部は、端末に加えられた圧力又は端末の加速度変化により感情状態を演算することを特徴とする。
本発明の音声通話端末装置は、前記ユーザの音声を録音する録音部を更に備え、前記気分モード分析部は、録音された音声データから前記ユーザの感情状態を分析することを特徴とする。
本発明の音声通話システムは、音声通話端末装置とサーバとを備えた音声通話システムにおいて、前記音声通話端末装置は、効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定するユーザデータベースと、前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定する気分モード分析部と、前記気分モードと気分レベルにより、効果音又は音楽を選択する音楽選択／作曲部と、選択された前記効果音又は音楽を前記ユーザの指示を検知して変更する気分モード入力部とを備え、前記サーバは、前記効果音を記憶する効果音データベースと、音楽の楽曲データを記憶する楽曲データベースとを備えることを特徴とする。
本発明の音声通話方法は、効果音又は音楽を音声通話時に付加する気分モード通話をするか否かを、電話帳のユーザ毎に設定し、前記気分モード通話を行う場合、センサのデータ又はメールの文字データから前記ユーザの感情状態を分析して気分モードと気分レベルを設定し、前記気分モードと気分レベルとを前記ユーザの指示により変更する気分モード入力部とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、通話する相手に合わせ、通話するユーザの感情状態から気分モードと気分レベルを演算して効果音／音楽を選択することで、ユーザの意図に沿った効果音／音楽を用いた通話を実現する音声通話端末装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態に係る通話システムＸのシステム構成図である。
【図２】本発明の実施の形態に係る端末２０−１の外観を示す斜視図である。
【図３】本発明の実施の形態に係る端末２０−１の制御構成を示すブロック図である。
【図４】本発明の実施の形態に係る端末２０−１の気分モード発生部２１３の構成を示すブロック図である。
【図５】本発明の実施の形態に係るサーバ４０の制御構成を示すブロック図である。
【図６】本発明の実施の形態に係る２０−１の気分モード発生部２１３のユーザＤＢ３３１のデータ構成例を示す図である。
【図７】本発明の実施の形態に係る気分モード通話処理のフローチャートである。
【図８】本発明の実施の形態に係る電話帳選択処理の画面例である。
【図９】本発明の実施の形態に係る気分レベル選択処理の画面例である。
【図１０】本発明の他の実施の形態に係る録画情報転送による気分モード取得処理の概念図である。
【発明を実施するための形態】
【００１０】
＜実施の形態＞
図１を参照して、本発明の実施の形態に係る通話システムＸの構成について説明する。
本発明の実施の形態に係る通話システムＸは、端末２０−１〜２０−ｎと、サーバ４０とが、無線電話網やインターネットやイントラネット等であるネットワーク５を介して、接続されている。
より具体的には、ネットワーク５は、携帯電話網、ＷｉＭＡＸ、ＰＨＳ網、無線ＬＡＮ、有線電話回線、ＬＡＮ、電灯線ＬＡＮ、ｃＬｉｎｋ、専用の回線等を用いることができる。また、ネットワークの形態としても、ＩＰネットワークやその他のスター状やリング状のネットワーク等を用いることができる。
端末２０−１〜２０−ｎ（音声通話端末装置）は、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等である携帯端末、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やシンクライアント等であるデスクトップ端末、専用音声端末等である。端末２０−１〜２０−ｎとの間では、音声通話を行うことが可能であり、その際に後述する「気分モード」による効果を付加して通話を行うことができる。
サーバ４０は、端末２０−１〜２０−ｎから、効果音や音楽等をダウンロードするためのウェブサーバ等である。
【００１１】
〔端末２０−１の外観と制御構成〕
次に、図２と図３とを参照して、端末２０−１〜２０−ｎの制御構成について、端末２０−１を代表として説明する（以下、２０−１を端末群のうちの典型的な１台として説明する）。
以下の例では、端末２０−１が携帯電話である場合について主に説明する。また、端末２０−１にて通話を行うユーザを送話者とよび、通話を受ける側の端末２０−２〜２０−ｎのユーザを受話者とよぶ。
【００１２】
まず、図２の外観図を参照すると、端末２０−１には、例えば、センサ部２２０、音声通話のためのマイク２４０、スピーカ２５０、入力ボタンである入力部２６０、表示部２７０を備えている。
送話者は、音声通話を行う際に、通常の携帯電話と同様に、入力部２６０を用いて「電話帳」の機能を呼び出し、この電話帳から通話する相手である受話者を選択して通話を行う。この際、送話者の気分により「気分モード」を選択する。この気分モードの選択は、メッセージを録音してその録音データから判定されたデータを、表示部２７０の画面を見て選択することができる。
これにより、音声通話時に「気分モード」により、効果音／音楽を選択して再生する気分モード通話処理を行うことができる。この気分モード通話処理については後述する。
【００１３】
次に、図３のブロック図を参照して、端末２０−１の制御構成について説明する。
端末２０−１の制御部２００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、中央処理装置）、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、専用プロセッサ等を備えている。
制御部２００は、記憶部２１０に記憶されたプログラム、例えば気分モード発生部２１３を実行し、各種演算を行い、各部を制御する。
記憶部２１０は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等である記憶部位である。また、記憶部２１０には、ＷＷＷブラウザ、Ａｄｏｂｅ社のＦｌａｓｈビューワー等の各種プログラムや、そのプログラムに関するデータを記憶している。さらに、後述するように、本発明の実施の形態に係るプログラム、データベース、データ等である気分モード発生部２１３を備えている。
センサ部２２０（センサ）は、生体センサ、圧力センサ、加速度センサ等の各種センサを用いることができる。生体センサとしては、身体の緊張度を電気抵抗や赤外線透過量等で測定する発汗センサ、赤外線脈拍センサ、血流量センサ、血糖値センサ、温度センサ等の生体センサを用いることができる。また、圧力センサは、圧電素子を用いたセンサ、静電容量センサ等を用いることができる。また、加速度センサとしては、ＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）を用いた３次元加速度センサ等を用いることができる。これらセンサ部２２０の情報は、気分モード分析部３２２により気分モードの分析を行う際に使用する。
カメラ部２２５は、端末２０−１の送話者が自身の顔を撮影する自分撮りをすることが可能なイメージセンサ等のカメラである。カメラ部２２５は、可視光や赤外線を撮像するＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を用いたカメラと、画像変換用ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）とＤＳＰ等を用いて構成できる。カメラ部２２５は、図２の例によると、表示部２７０とほぼ同一面に撮像素子を備えており、送話者の顔画像を撮像して、この顔画像のデータや赤外線分布のデータから送話者の感情状態を把握できる。
音声認識部２３０（音声認識手段）は、ＤＳＰや音声認識用の専用プロセッサ等とこのプロセッサで実行するプログラムを備える部位である。音声認識部２３０は、ＨＭＭ（隠れマルコフモデル）等の公知のアルゴリズムを使用して、音声信号から単語等を認識する。また、音声認識部２３０は、声のトーンの変化や話すスピードやピッチの変化等により、音声から送話者の感情状態を認識することもできる。
マイク２４０は、コンデンサマイク等と他のＩＣ等を備える部位である。マイク２４０から入力された音声信号は、電気信号に変換され、さらにＡ／Ｄコンバータでデジタル信号に変換されて入力される。
スピーカ２５０は、ダイナミックスピーカやピエゾ素子のスピーカ等である。スピーカ２５０は、Ｄ／Ａ変換された電気信号を音声信号として出力する。
入力部２６０は、テンキー、カーソルキー（十字キー）、選択ボタン、キャンセルボタン、その他の各種ボタン、タッチパッドやタッチパネル等の入力手段を備えている入力部位である。また、入力部２６０は、ユーザインターフェイスに係る、その他の入力手段も備えている。たとえば、入力部２６０は、入力部２６０のボタンやタッチパネルを用いて送話者が入力した信号を検知して、電気信号に変換する。
表示部２７０は、液晶ディスプレイや有機ＥＬディスプレイやプラズマディスプレイやプロジェクタ等を備える部位である。表示部２７０は、制御部２００のＧＰＵで描画された画像を表示することができる。なお、表示部２７０と入力部２６０とをタッチパネル付きのディスプレイとして、一体的に構成することもできる。
フォースフィードバック部２８０は、振動モータ（バイブレータ）や電磁アクチュエータやピエゾ素子等である。すなわち、フォースフィードバック部２８０は、気分モードによる効果音や音楽等に合わせて、振動等による効果を出力する。
ＲＦ部２９０は、ネットワーク５に接続するための部位である。ＲＦ部２９０は、例えば端末２０−１が携帯電話の場合は、ＤＳＰやＲＦモジュレータやアンテナ等を備えている。
【００１４】
なお、音声認識部２３０は、記憶部２１０に記憶されたプログラムとして制御部２００により実行されるようにしてもよい。
また、端末２０−１は、この他にもＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）等を備えることもできる。
【００１５】
〔気分モード発生部２１３の構成〕
次に、図４を参照して、端末２０−１の記憶部２１０に記憶された気分モード発生部２１３の構成について説明する。
気分モード発生部２１３は、気分モード通話処理に係るプロセス、スレッド、クラス、オブジェクト等を含むプログラムと、リレーショナルデータベースを含む各種のデータを含む部位である。
気分モード発生部２１３は、主に、気分モード設定部３２０と、電話帳部３３０と、録音部３４０と、メール部３５０と、通話部３６０とを含んで構成される。
【００１６】
気分モード設定部３２０は、端末２０−１の送話者の通話相手への通話の処理中に挿入する効果音や音楽を選択するためのプログラムやデータからなる。気分モード設定部３２０は、気分モード選択部３２１と、気分モード分析部３２２と、音楽選択／作曲部３２４と、気分モード入力部３２５とを主に含んで構成される。
【００１７】
気分モード選択部３２１は、気分モード通話処理のメインプログラムである。気分モード選択部３２１は、気分モード分析部３２２により分析された送話者の気分モードや気分レベルの値と、気分モード入力部３２５により送話者の入力を検知した気分モードや気分レベルの値とから、音楽選択／作曲部３２４により音楽や効果音を出力させる制御を行う。また、気分モード選択部３２１は、受話者の気分モードや気分レベルを受信して、出力することもできる。
【００１８】
気分モード分析部３２２は、例えば、ベイジアンネットワーク等の統計処理や、決定木等の人工知能処理、メールからの単語等の抽出のような自然言語処理等を行い、気分モードの値を取得する部位である。
具体的に、気分モード分析部３２２は、音声認識部２３０や、マイク２４０で取得した周囲の音声や、ユーザＤＢ３３１（ユーザデータベース）やメールＤＢ３３２や自然言語ＤＢから取得した文字データ及び／又は顔文字のデータや、センサ部２２０から取得したデータを基に送話者の感情状態を把握し、気分モードの値を演算する。この気分モードとしては、例えば、ヒトの脳内神経伝達物質ドーパミン、ノルアドレナリン、セロトニンのレベルに対応するような、嬉しい（幸福）、怒り、不安（悲しみ）といった感情に合わせた値を設定できる。
さらに、気分モード分析部３２２は、気分モード通話を行う相手である受話者の気分モードも取得して、気分モードの変化による警告値を出力することもできる。
なお、気分モード分析部３２２は、通常の通話やメール送信時にも、送話者と受話者の気分モードの値を測定し、ユーザＤＢ３３１の気分履歴Ｄ１０８に記憶する。
【００１９】
音楽選択／作曲部３２４は、気分モード通話処理にて出力する効果音や音楽を選択する部位である。音楽選択／作曲部３２４は、気分モードの値と、マイク２４０で取得した周囲の音声とを用いて、効果音／音楽ＤＢ３３４から効果音や音楽の楽曲データを取得、自動作曲し、通話音声のデータに付加してスピーカ２５０から出力させる部位である。
また、音楽選択／作曲部３２４はこのような効果音や音楽の楽曲データをサーバ４０の音楽ＤＢ４１０と、効果音ＤＢ４２０とから選択してダウンロードすることもできる。この際に、音楽選択／作曲部３２４は、受話者が同一の効果音／音楽の楽曲データを用いるように、他の端末２０−２〜２０−ｎにダウンロードするように指示することもできる。
【００２０】
気分モード入力部３２５は、気分モード通話処理におけるユーザインターフェイスを提供する部位である。具体的に、気分モード入力部３２５は、気分モード通話時に、入力部２６０から指示された受話者を、電話帳部３３０から選択する。
また、気分モード入力部３２５は、端末２０−１の送話者に、通話相手への気分を入力させるためのユーザインターフェイスを提供する。このユーザインターフェイスとしては、画面上にレベルメータ等を表示して、送話者の気分レベルを入力させることができる。このレベルの変更、変化等は、通話中であっても、入力部２６０から入力を検知することができる。
また、所定の効果音、楽曲データを入力部２６０の各キー等に対応して設定しておき、送話者の指示でリアルタイムに出力するように気分モード選択部３２１に指示するよう設定することもできる。
【００２１】
電話帳部３３０は、送話者の連絡先及び受話者の連絡先、メールのデータ等を記憶するデータである。電話帳部３３０は、ユーザＤＢ３３１と、メールＤＢ３３２と、自然言語ＤＢ３３３と、効果音／音楽ＤＢ３３４とを含んで構成される。
ユーザＤＢ３３１は、送話者及び受話者の電話番号、メールアドレス、気分モード通話処理に必要な各種データ等を備えたデータベースである。このユーザＤＢ３３１のデータ構造については後述する。なお、ユーザＤＢ３３１には、必ずしも気分モード通話機能をもつ端末２０−１〜２０−ｎではない音声通話のみ可能な端末をもつ受話者のデータを記憶することもできる。この場合は、後述するように同じ効果音／音楽をダウンロードさせるといった機能は使用しない。
メールＤＢ３３２は、受話者から受信したり、送話者が送信したりしたメールのデータを記憶するデータベースである。本実施形態において、「メール」は、インターネットの電子メール以外にも、例えば、ショートメッセージ、チャット、ミニブログ等のユーザ間のコミュニケーションに係る主に文字と絵文字等を含むデータを用いる。また、メールＤＢ３３２は、通話、録音した音声データを音声認識部２３０により音声認識した文字等のデータも記憶することができる。
自然言語ＤＢ３３３は、気分モードに係る各種キーワード、文脈上のコンテキスト、単語の出現頻度の統計値等を記憶するデータベースである。
効果音／音楽ＤＢ３３４は、気分モードに係る効果音のデータ、ダウンロードした音楽の楽曲データ、自動作曲のための音素片やコード進行等の楽曲データ等を記憶するデータベースである。
【００２２】
録音部３４０は、気分モード通話処理において、会話を録音するための部位である。録音部３４０は、マイク２４０から入力された音声データを、必要な帯域に圧縮して、録音ＤＢ３４１に記憶することで録音を行う。録音部３４０は、気分モード通話処理において、気分モードを設定する際に通話前に短いメッセージを録音することができる。また、所定の受話者との会話をすべて録音することもできる。さらに、会話を行った全ての受話者との会話を録音することもできる。
録音ＤＢ３４１は、公知の音声圧縮のコーデック等を用いて圧縮された録音データを記憶するデータベースである。この録音データには、録音時間、受話者のユーザ名、ＧＰＳから取得した録音場所等のデータを加えて保存することもできる。
【００２３】
メール部３５０は、メールの送受信を行うためのメールクライアントやウェブブラウザ等のプログラムである。このメールは、上述のような他のコミュニケーションのツールを含む。また、メール部３５０は、ユーザＤＢ３３１とメールＤＢ３３２から、所定の検索条件により必要なメールのデータを検索できる。
【００２４】
通話部３６０は、気分モード通話処理において、選択された効果音や音楽の楽曲データを音声データに変換し、マイク２４０からのデータに付加して出力する部位である。この際、周囲の雑音レベルに合わせて効果音や音楽の楽曲データの音量や音程等を適宜変更可能である。
【００２５】
〔サーバ４０の構成〕
次に、図５を参照して、サーバ４０の制御構成について説明する。
サーバ４０は、ＰＣ／ＡＴ互換機を用いた複数のＰＣサーバや汎用機等であり、ＣＰＵ等の制御手段、ＲＡＭやＨＤＤ等の記憶手段、ネットワーク５との間でデータを送受信可能なネットワーク接続手段を備えている。
サーバ４０は、端末２０−１〜２０−ｎから気分モード通話処理を行う際にアクセスできる。また、サーバ４０は、端末２０−１〜２０−ｎにて、ユーザ間で効果音や音楽の楽曲データを売買や交換する際のサービスを提供することもできる。
このために、サーバ４０は、機能的なブロックとして、音楽ＤＢ４１０、効果音ＤＢ４２０、メールサーバ部４３０、ＡＳＰ部４４０を含んで構成される。
音楽ＤＢ４１０は、気分モード通話処理において用いられる音楽の楽曲データ、端末２０−１〜２０−ｎにて作曲された音楽の楽曲データ、ダウンロード販売される音楽の音声データ等を記憶するデータベースである。
効果音ＤＢ４２０は、気分モード通話処理において用いられる効果音の音声データを記憶しているデータベースである。また、効果音ＤＢ４２０は、録音されたり通話されたりした際の怒鳴り声、笑い声、鳴き声等を記憶することもできる。
メールサーバ部４３０は、端末２０−１〜２０−ｎからのメールを、送信先の端末２０−１〜２０−ｎに対して送信し、受信するサーバである。このメールサーバ部４３０は、気分モード通話処理において、音声通話時に音声認識されたデータを入力してメールとして送信することもできる。また、音声通話時に、音声と効果音／音楽が挿入されるタイミングを取得して、端末２０−１〜２０−ｎに送信することもできる。
ＡＳＰ部４４０は、ＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｅｒｖｉｃｅ  Ｐｒｏｖｉｄｅｒ）のサーバである。ＡＳＰ部４４０は、端末２０−１〜２０−ｎから気分モード通話処理に係る音楽の音声データを販売したり、音楽ＤＢ４１０、効果音ＤＢ４２０からのデータの販売を行うことができる。
【００２６】
〔ユーザＤＢ３３１の構成〕
次に、図６を参照して、ユーザＤＢ３３１の主な属性について説明する。ユーザＤＢ３３１は、送話者、受話者の各ユーザにおいて、例えば、電話番号Ｄ１０１〜気分履歴Ｄ１０８のようなデータを含んで構成される。
電話番号Ｄ１０１は、そのユーザの電話番号等の属性を示すデータである。
名前Ｄ１０２は、そのユーザの名前やハンドルネーム等の属性を示すデータである。
メールアドレスＤ１０３は、そのユーザのメールアドレスやアカウントやパスワード等の属性を示すデータである。
住所等Ｄ１０４は、そのユーザの住所等の属性を示すデータである。
関係Ｄ１０５は、そのユーザと関係の属性を示すデータである。具体的には、自分（送話者の場合）、家族、親戚、友人、会社の同僚、上司、部下といった関係を、所定の属性から選択して設定可能である。その際に、そのユーザに対しての「親密度」の値を設定可能である。
気分モード設定Ｄ１０６は、そのユーザが気分モード通話処理を行う際の条件を設定するデータである。すなわち、気分モード設定Ｄ１０６には、気分モード通話処理を行うことができるか否かの所定の条件の属性を示すデータを記憶する。具体的に、友人や家族の場合には、無条件で気分モード通話処理を行ったり、部下に対しては選択した場合だけで気分モード通話処理を行ったりするように設定できる。また、気分モード設定Ｄ１０６には、そのユーザ用に設定された気分レベルの値や、入力部２６０に各キーに割り付けられた効果音／音楽等の設定を記憶可能である。
気分レベルＤ１０７は、そのユーザの「気分レベル」と「気分レベルの範囲」の属性を示すデータである。具体的には、気分モード分析部３２２が分析した時点での気分モードの値の大きさを、「気分レベル」として記憶する。また、気分モードに対する上述の条件の設定にて、会社の部下に対して、「気分レベルの範囲」として、選択できる気分レベルの上限と下限を設定する。これにより、気分モード通話処理において失礼な効果音が付加されるのを防ぐことができる。
気分履歴Ｄ１０８は、そのユーザの気分履歴の属性を示すデータである。具体的に気分履歴Ｄ１０８には、そのユーザと気分モード通話をした際のそのユーザ及び端末２０−１のユーザの気分モードの値の変化を記憶する。さらに、気分履歴Ｄ１０８は、気分モード通話処理以外の通常のメールの送受信や通話時においても、ユーザの気分モードの値の変化を記憶することができる。
効果音音楽履歴Ｄ１０９は、そのユーザの効果音音楽履歴の属性を示すデータである。そのユーザと気分モード通話をした際のそのユーザ及び端末２０−１〜２０−ｎで使用した効果音や自動作曲した音楽の楽曲データのＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を記憶する。
【００２７】
〔気分モード通話処理〕
次に図７〜図９を参照して、本発明の実施の形態に係る端末２０−１が実行する気分モード通話処理について説明する。
本発明の実施の形態に係る気分モード通話処理においては、まず、端末２０−１のユーザである送話者が感情表現のために音声を録音する。また、マイク２４０で背景音を取得して、周囲の雰囲気を取得する。
これにより、受話者に対応する気分モードを設定して、通話時に気分モードに対応する効果音／音声を通話に付加して再生することができる。なお、受話者により、気分モードの設定を変更することもできる。さらに、通話中に、送話者の操作により、気分モードを変更することもできる。
以下では、端末２０−１のユーザ（送話者）と端末２０−２のユーザ（受話者）の間ででの気分モード通話処理について、図７のフローチャートを参照して各ステップについて詳細に説明する。
下記の処理においては、端末２０−１の制御部２００が、記憶部２１０に記憶された気分モード発生部２１３の各機能を、ハードウェア資源を用いて実行して、各処理を行う。
【００２８】
（ステップＳ１０１）
まず、制御部２００は、気分モード入力部３２５を用いて電話帳選択処理を行う。
図８を参照して説明すると、送話者により入力部２６０の通話ボタン等による通話指示を検知した場合、制御部２００は、気分モード入力部３２５により、電話帳や電話番号の入力画面を、表示部２７０に表示させる。
具体的には、制御部２００は、電話帳部３３０のユーザＤＢ３３１の受話者のデータを所定の処理により表示部２７０に表示する。
この際、制御部２００は、気分モード入力部３２５により、名前Ｄ１０２、その受話者との関係Ｄ１０５を表示する。また、制御部２００は、気分履歴Ｄ１０８により、その受話者に対する以前の通話やメールの際に分析された気分モードをアイコン等で表示する。その上で、制御部２００は、その受話者に対する気分モード設定Ｄ１０６を参照して、例えば星マークをアイコンの横に表示して、気分モード通話が可能である受話者であることを表示する。なお、この電話帳画面では、各種の条件を設定して、受話者の検索等も行うことができ、また、通話履歴から返信等の処理を行うこともできる。
送話者が電話帳から通話する受話者を選択したことを検知して、制御部２００は、処理をステップＳ１０２に進める。
【００２９】
（ステップＳ１０２）
次に、制御部２００は、気分モード入力部３２５を用いて、気分モード通話選択処理を行う。
具体的には、制御部２００は、選択された受話者の気分モード設定Ｄ１０６が気分モード通話を行う設定になっている場合、気分モード通話を行うように記憶部２１０に設定する。この際、制御部２００は、「気分モード通話を行いますか？」といったダイアログ表示を表示部２７０にして送話者の確認を行うこともできる。
さらに、制御部２００は、所定の入力部２６０のキーと気分モードに係る効果音／音楽を関連づけて、ユーザＤＢ３３１の受話者の気分モード設定Ｄ１０６に記憶することもできる。
加えて、制御部２００は、気分モードの変化や、気分レベルが所定値以上／以下になった際に自動的に気分モード通話をおこなうように設定することもできる。
【００３０】
（ステップＳ１０３）
次に、制御部２００は、上述のステップＳ１０２にて、気分モード通話を行うか否か判定する。
Ｙｅｓの場合、制御部２００は、処理をステップＳ１０４に進める。
Ｎｏの場合、制御部２００は、処理をステップＳ１０９に進めて、気分モードを用いない通常の通話処理を行う。
【００３１】
（ステップＳ１０４）
送話者が気分モード通話を行うと選択した場合、制御部２００は、送話者が通話を行う前に録音をするか否か判定する。この判断の際も、制御部２００は「気分モード判定の録音を行いますか？」といったダイアログ表示を表示部２７０にして送話者の確認を行うこともできる。
Ｙｅｓの場合、制御部２００は、処理をステップＳ１０５に進める。
Ｎｏの場合、制御部２００は、処理をステップＳ１０６に進める。
【００３２】
（ステップＳ１０５）
送話者が録音を行う場合、制御部２００は、録音部３４０を用いて録音処理を行う。
この録音は、録音した音声から現在の送話者の気分モードを判定するために行う。具体的には、制御部２００は、表示部２７０に「ショートメッセージを録音してください」という表示を行って送話者に録音を促す。そして、制御部２００は、数秒程度の音声をマイク２４０から取得し、録音ＤＢ３４１に気分モード判定用音声データとして記憶する。このデータは、下記の気分モード分析処理に用いることができる。
なお、既に気分モード通話を行っている場合、制御部２００は、マイク２４０から入力した音声を所定の時間間隔（ウィンドウ）で区切って、録音ＤＢ３４１に気分モード判定用音声データとして記憶する。
【００３３】
（ステップＳ１０６）
次に、制御部２００は、気分モード分析部３２２を用いて、気分モード分析処理を行う。
この処理において、制御部２００は、センサ部２２０の各種センサやカメラ部２２５からの情報、気分モード判定用音声データの情報、選択された受話者へ送受信したメールの情報等から、気分モードの分析を行う。
【００３４】
具体的には、制御部２００は、センサ部２２０の生体センサにより、送話者の発汗量、脈拍、血流量、血糖値の変化、体温の変化等のデータを用いて、送話者の感情状態を演算することができる。たとえば、脈拍が高いと緊張している、すなわち「怒り」の状態であると演算することができる。このような生体センサのデータからの感情状態の演算は、公知の演算式を用いることができる。
また、制御部２００は、センサ部２２０の圧力センサにより、送話者が端末２０−１を握る力を測定することができる。これにより、例えば、握る力が強くなると「怒り」や「嬉しさ」の感情状態であると演算し、握る力が弱くなると「悲しみ」の感情状態であると演算できる。
また、制御部２００は、センサ部２２０の３次元の加速度センサのデータより、端末２０−１の傾きや送話者の移動のような加速度変化を検知することができる。これにより、例えば、送話者が端末２０−１を揺すっている、足を揺らしている、早く／遅く歩いている等の状態を検知できる。そして、検知した状態を所定の関数に当てはめることで、送話者が端末２０−１で通話する際の感情状態を演算することができる。たとえば、小刻みな振動が多く検出された場合「怒り」の感情状態であると演算することができる。
また、制御部２００は、カメラ部２２５にて自分撮りされた送話者の顔画像のデータから、表情認識を行ったり、顔温度分布を把握したりして、感情状態を演算することができる。
【００３５】
また、制御部２００は、録音ＤＢ３４１の気分モード判定用音声データを、音声認識部２３０にて音声認識し言語データを作成する。さらに、制御部２００は、送話者と受話者との間のメールの文字情報をメールＤＢ３３から読み出す。
この上で、制御部２００は、気分モード分析部３２２を用いて、言語データとメールの文字データについて自然言語処理により分析する。具体的に、制御部２００は、自然言語ＤＢ３３３を用いて、感情に係るキーワードやコーパスを基に、統計的な文脈解析等を用いて、送話者の現在の感情状態と感情状態の変化とを演算する。
さらに、制御部２００は、直前に送信したメールの顔文字や絵文字を用いて、感情状態を演算することもできる。例えば、「怒り」の絵文字や顔文字を用いていた場合、気分モードを「怒りモード」と設定可能である。
加えて、制御部２００は、音声認識部２３０にて、感情状態のデータを取得することもできる。
【００３６】
制御部２００は、これらの感情状態、感情状態の変化の値から、気分モードの値と気分レベルの値を算出する。
制御部２００は、算出した気分モードの値と気分レベルの値を、気分レベルＤ１０７と気分履歴Ｄ１０８とに記憶する。
また、制御部２００は、マイク２４０からリアルタイムで音声を入力して、周囲の雑音レベルを取得する。この際、制御部２００は、入力した音声について、常に音声認識部２３０を用いて周囲の状況、例えば、雑踏の中であるか、店の中か、静かな部屋かといった情報を得て、これも気分モードや気分レベルの分析に用いることができる。
【００３７】
（ステップＳ１０７）
次に、制御部２００は、気分モード入力部３２５を用いて、気分モード選択処理を行う。
ここで、図９の表示部２７０に表示された画面例を参照して、この気分モード選択処理について説明する。制御部２００は、例えば、算出された値を基に、表示欄６００に、受話者の情報と気分モードとを描画し、表示欄６１０に気分レベルを描画する。この際、気分モード名については、アイコンを用いて視覚的に描画することができる。また、気分レベルについては、レベルメータ形式で感情状態を数段階程度に変換して描画可能である。
送話者は、この気分モードと気分レベルとを、入力部２６０のボタン操作等により変更することができる。
入力部２６０にタッチパネルを用いる場合、例えば、制御部２００は、表示欄６００をタッチされたことを検出して気分モードを変更可能である。
また、例えば、制御部２００は、ボタン６２０やボタン６３０のタッチを検出して、気分レベルの値を変化させることもできる。制御部２００は、この変更された気分レベルの値を基に、表示欄６１０に気分レベルを描画可能である。
これにより、送話者は、この算出された気分モードと気分レベルとを、通話前や通話時に閲覧してチェックすることができる。よって、意図した気分モードと気分レベルの効果音／音楽を加えた気分モード通話を行うことができる。また、送話者は、自分の気分モードと気分レベルを知ることで、感情をコントロールして理性的に、又は楽しく会話することができるという効果も得られる。
さらに、算出された気分モードや気分レベルと異なる気分モードや気分レベルをユーザが選択して気分モード通話を行うことで、例えば「（送話者が）怒っているのに楽しい効果音が流れる」といった、気分を和ませられるような会話が可能となる。
【００３８】
（ステップＳ１０８）
次に、制御部２００は、音楽選択／作曲部３２４を用いて、効果音／音楽選択処理を行う。
具体的には、制御部２００は、算出されて選択された気分モードや気分レベルに従って、効果音／音楽ＤＢ３３４から、適切な効果音を取得し、音楽の楽曲データを取得又は作曲する。
より具体的には、制御部２００は、音楽選択／作曲部３２４を用いて、各気分モードの値と、気分レベルの値に合わせて効果音／音楽を選択する。たとえば、制御部２００は、気分モードが嬉しいモードの時は、ベルの音やファンファーレ等、怒りモードの時は太鼓の音や雷の音等、不安モードの時は単純な機械音や低周波の音等の効果音／音楽等を選択する。また、制御部２００は、同じ怒りモードであっても、気分レベルが低い際には太鼓の音、高い場合には驚かせるような雷の音といった具合に、気分レベルの値に応じての効果音／音楽を選択できる。
さらに、制御部２００は、音楽選択／作曲部３２４を用いて、送話者のダウンロードした楽曲等の好みのジャンルの傾向に合わせて自動作曲を行うことも可能である。たとえば、制御部２００は、嬉しいモードの時はリズミカルで長調の曲、怒りモードの時は低音を多く用いた不安感を与える不協和音を用いた曲、不安モードの時は短調や離散和音を用いた曲等のコード進行を選択して、各気分モードの値のレベルに合わせて楽曲データを作曲可能である。
また、制御部２００は、音楽選択／作曲部３２４を用いて、サーバ４０の音楽ＤＢ４１０と、効果音ＤＢ４２０とから、効果音や音楽の楽曲データのＩＤを選択してダウンロードすることもできる。
なお、制御部２００は、ＧＰＳを備える端末の場合には、端末２０−１又は２０−２のＧＰＳの位置に合わせた効果音／音楽を選択することができる。たとえば、遊園地にいる場合には、その遊園地のテーマソングを音楽として選択し、その遊園地のキャラクタの音声を効果音として設定することができる。
【００３９】
また、制御部２００は、これらの効果音／音楽を、入力部２６０に関連づけられるように設定することもできる。制御部２００は、この関連付けの設定をユーザＤＢ３３１の気分モード設定Ｄ１０６に記憶する。これにより、制御部２００は、所定のキーが押されたり、タッチパネルの場合は所定のサイン入力が行われたことを検知して、設定付けられた効果音／音楽を通話の際に再生することができる。
また、制御部２００は、選択された効果音や音楽の楽曲を表示部２７０に表示して、気分モード入力部３２５により、送話者に効果音／音楽と入力部２６０の関連付けを自由に選択させて設定するユーザインターフェイスを提供することもできる。
この際、送話者により、例えば、効果音の場合は選択された気分レベルと、その上下の気分レベルに対応する効果音／音楽を、例えば、並んだキーに設定することができる。
【００４０】
（ステップＳ１０９）
制御部２００は、気分モード選択部３２１を用いて、通話処理を行う。
具体的には、気分モード通話ではなく、上述のような効果音／音楽が選択されていない場合、気分モード選択部３２１は、通常の通話処理を行う。具体的には、制御部２００は、マイク２４０からの送話者の話す音声をデータ化して端末２０−２に送信し、逆に、端末２０−２の受話者からの音声データをスピーカ２５０にて再生する。また、受話者、送話者の音声データについて、音声認識部２３０を用いて音声認識も行う。
【００４１】
この上で、効果音／音楽が選択されている場合には、制御部２００は、適切なタイミングでマイク２４０からの通話音声のデータに、効果音／音楽を挿入する。
たとえば、制御部２００は、選択され効果音／音楽を、受話者の電話番号等をコールして通話が成立した直後に挿入することができる。また、例えば、制御部２００は、入力部２６０に関連付けられたボタンの押下やタッチのサインを検出して、効果音／音楽を挿入することができる。
また、制御部２００は、会話時、マイク２４０からの送話者の話す言葉や、受話者の言葉から所定のキーワードを音声認識部２３０にて検出した際に、選択された効果音／音楽を挿入することもできる。
また、制御部２００は、音声認識部２３０にて、会話の無音状態を検知した際に、効果音／音楽を挿入することもできる。これにより、会話が気まずくなった場合等に、効果的である。
また、制御部２００は、気分モードや気分レベルが変化した際に、この変化に対応して選択された効果音／音楽を挿入することができる。これにより、送話者は、感情状態の変化を把握可能になる。
【００４２】
なお、音楽を挿入する場合には、制御部２００は、楽曲データの場合には、ＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）音源やＦＭ（Ｆｒｅｑｕｅｎｃｙ  Ｍｏｄｕｌａｔｉｏｎ）音源や物理モデル音源等のシンセサイザを用いて演奏した音声データを作成し、これを挿入する。
これらの効果音や音楽の挿入の際には、周囲の雑音レベルや、会話時の平均音声の音量を用いて、効果的な音量で挿入する。たとえば、雑踏で気分モード通話を行っている際には大きめの音量で、静かな部屋で通話を行っている際には小さめの音量で効果音／音楽を挿入することができる。また、逆に、静かな音量で会話している際に、いきなり大きな効果音を再生して、送話者と受話者とを驚かせて、会話の流れを変化させるような構成も可能である。さらに、周囲の逆位相の音を挿入して、ノイズキャンセリングを同時に行うことも可能である。
【００４３】
（ステップＳ１１０）
次に、制御部２００は、通話終了か否か判定する。具体的に、制御部２００は、受話者からの通話終了コマンドを受信したり、入力部２６０からの通話終了キーの押下を検知した場合、制御部２００は、通話終了と判断する。また、「さようなら」等、所定のキーワードを音声認識部２３０により認識した場合、制御部２００は、通話終了と判断する。さらに、気分モードや気分レベルが所定の状態になった場合、例えば、怒りモードの気分レベルが最大値に変化した場合等、「気分が悪くなりましたので通話切断します」等の所定のメッセージを再生した上で、制御部２００は、通話終了と判断する。
Ｙｅｓの場合、制御部２００は、処理をステップＳ１１１に進める。
Ｎｏの場合、制御部２００は、処理をステップＳ１０３に戻して、通話処理を続ける。
【００４４】
（ステップＳ１１１）
次に、制御部２００は、履歴保存処理を行う。
具体的には、制御部２００は、気分モード通話処理時の気分モードと気分レベルとを、ユーザＤＢ３３１の効果音音楽履歴Ｄ１０９に記憶する。
この際、制御部２００は、気分モードや気分レベルの変化が大きかった場合、表示部２７０に心理学的なアドバイスを表示することもできる。
さらに、制御部２００は、効果音音楽履歴Ｄ１０９に記憶された効果音と音楽の楽曲データとをサーバ４０の効果音ＤＢ４２０又は音楽ＤＢ４１０に送信することができる。これにより、ユーザによる効果音と音楽を売買したり、ブログ（ウェブログ）等で用いることが可能になる。
また、制御部２００は、受話者の端末２０−２が、端末２０−１と同様の気分モード通話機能をもつ場合、気分モードと気分レベルとを端末２０−１と端末２０−２との間で送受信する。これにより、制御部２００は、送話者と受話者の間で、タイミングを調整して、効果音／音楽を挿入できる。また、効果音／音楽を同期して挿入することができるため、送話者、受話者お互いの感情状態の変化を敏感に察知できる。なお、送話者と受話者で気分モードと気分レベルが異なる場合、それぞれの端末のスピーカ２５０にて、送話者と受話者で異なる効果音／音楽を出力するように構成することもできる。また、音声通話をかけた送話者、又は受話者の気分モード／気分レベル効果音／音楽に統一して出力するように構成することも可能である。
以上により、気分モード通話処理を終了する。
【００４５】
以上のように構成することで以下のような効果を得ることができる。
まず、従来技術１においては、効果音送出ボタンからの信号によって、所定の効果音を適宜付加することができるが、受話者により効果音を変化させることはできず、いちいち効果音を設定し直さなければならなかった。
これに対して、本発明の実施の形態に係る端末２０−１は、ユーザＤＢ３３１に、ユーザ毎の気分モード設定Ｄ１０６に気分モード通話を行うか否か設定できる。このため、親しい友人や部下等の気分モード通話を可能な受話者と通話するときに、気分モード通話を行うことができる。また、受話者毎に気分モードと気分レベルにより効果音／音楽を関連づけて記憶することもできる。これにより、効果音を用いた気分モード通話を使いやすくすることができ、送話者のユーザの意図に沿った気分モード通話処理を行うことができる。
【００４６】
また、本発明の実施の形態に係る端末２０−１は、センサの情報を用いて、気分モードと気分レベルを選択するため、いちいち送話者が効果音／音楽を選択しなくても、気分モード通話を行うことができる。
これにより、より送話者のユーザの意図に沿った気分モード通話処理を行うことができる。また、送話者や受話者のユーザが無意識に気づかないうちに気分モードや気分レベルを変化させていた場合、これを効果音／音楽にて穏便に通知することができる。
【００４７】
なお、上述の実施の形態においては、通話前と通話時に録音して気分モードと気分レベルを設定するように説明したが、これに限られない。
たとえば、受話者との通話のデータを録音ＤＢ３４１に録音しておいて、通話後に、所定の受話者との録音データを気分モード分析部３２２により分析して、気分モードと気分レベルを設定することもできる。
これにより、次にその受話者に電話した際に、分析した気分モードと気分レベルをすぐに用いて気分モード通話を実行できる。
また、逆に、所定日数経った後は、通話時に設定された気分モードと気分レベルを消去するように設定することもできる。これにより、通話時点での送話者の気分を反映させた気分モード通話処理を実行できる。
さらに、上述の実施の形態においては、付加された効果音／音楽を受話者の端末２０−２にも送信するように説明したが、これに限られない。たとえば、送話者のスピーカ２５０にのみ小音量で効果音を付加することで、感情状態の変化を自らのみ把握して、会話を客観的にコントロールできる。
【００４８】
〔他の実施の形態〕
なお、図１０を参照して説明すると、音楽選択／作曲部３２４は、効果音／音楽を選択するにあたって、送話者の好きなテレビ番組のジャンルを参考にする構成が可能である。
図１０の構成においては、ＨＤＤ等の記憶媒体やＤＶＤ／ＢＤディスクドライブ等を内蔵したテレビジョン受信機やＨＤＤレコーダ等である録画装置５０を備えている。録画装置５０は、地上波、ＢＳ／ＣＳ放送、ＤＶＤレコーダ等の外部入力、ＰＣ入力等の全ての入力画像／音声データをアップスキャン／ダウンスキャン・コンバートしてＨＤＤ等の記憶媒体に録画・録音する機能を備えている。この際に、記憶データのＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）メタデータを、ジャンル情報として記憶媒体に関連づけて記憶する。すなわち、録画装置５０は、送話者のユーザの視聴した映像・音声のジャンルのロク（履歴）のデータを記憶することができる。
また、録画装置５０は、端末２０−１に対して、このログのデータを、例えば、赤外線通信等を用いて送信可能である。
これにより、端末２０−１は、録画した映像・音声のジャンルに合わせて効果音／音楽を選択可能である。たとえば、送話者がスパイ映画をよく視聴していた場合、その映画の効果音／音楽を用いて気分モード通話処理を行うことができる。また、お料理番組をよく視聴している場合には、卵を割る音やクッキングのテーマ等を用いて気分モード通話処理を行うことができる。同様に、よくゲームをしている場合には、そのゲームのジャンルに合わせた、例えばＳＦや中世風の効果音／音楽を用いることができる。
【００４９】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【産業上の利用可能性】
【００５０】
本発明によれば、ユーザの意図に沿った効果音／音楽を用いた通話を実現し、より購買意欲を高めた音声通話端末装置を提供するため、産業上の利用可能である。
【符号の説明】
【００５１】
５  ネットワーク
２０−１〜２０−ｎ  端末
４０  サーバ
５０  録画装置
２００  制御部
２１０  記憶部
２１３  気分モード発生部
２２０  センサ部
２２５  カメラ部
２３０  音声認識部
２４０  マイク
２５０  スピーカ
２６０  入力部
２７０  表示部
２８０  フォースフィードバック部
２９０  ＲＦ部
３２０  気分モード設定部
３２１  気分モード選択部
３２２  気分モード分析部
３２４  音楽選択／作曲部
３２５  気分モード入力部
３３０  電話帳部
３３１  ユーザＤＢ
３３２  メールＤＢ
３３３  自然言語ＤＢ
３３４  効果音／音楽ＤＢ
３４０  録音部
３４１  録音ＤＢ
３５０  メール部
３６０  通話部
４１０  音楽ＤＢ
４２０  効果音ＤＢ
４３０  メールサーバ部
４４０  ＡＳＰ部
５００、５１０、５２０、５３０  名前表示欄
５００、５１０、６００、６１０  表示欄
６２０、６３０  ボタン
Ｘ  通話システム
【図１】
2012004885.tif 000003
【図２】
2012004885.tif 000004
【図３】
2012004885.tif 000005
【図４】
2012004885.tif 000006
【図５】
2012004885.tif 000007
【図６】
2012004885.tif 000008
【図７】
2012004885.tif 000009
【図８】
2012004885.tif 000010
【図９】
2012004885.tif 000011
【図１０】
2012004885.tif 000012