(57)【要約】【課題】  携帯電話機に入力される音声の特徴を表す文字データを生成する。【解決手段】  携帯電話機２に入力された音声に対して、受話音声であるか、あるいは送話音声であるかを識別可能にする音声種識別タグを付加し、さらに、音量検出部３０ｂの検出結果に基づいて音量識別タグを付加する。ＣＰＵ２０は、音声種識別タグと音量識別タグとに基づいて、第１ファイル装置３１と第２ファイル装置３２とに記憶された各種ファイルを参照しながら、音声を所定の文字データや画像データに変換し、表示パネル１５に表示出力する。表示パネル１５には、送話音声に対応した文字データと、受話音声に対応した文字データとが色分けされた状態で時系列に表示される。また、文字データは、音量レベルに対応した文字タイプで表示される。【選択図】        図２
2005065252.tif 000002
【特許請求の範囲】
【請求項１】
送話マイクを介して送話音声情報が入力され、受話スピーカを介して外部からの受話音声情報を出力する携帯電話機において、
前記送話音声情報と前記受話音声情報を音声認識し、文字情報を表す文字データに変換するとともに、前記送話音声情報と前記受話音声情報とを識別するための音声種識別タグを前記文字データに付加する音声識別手段と、
前記送話音声情報と前記受話音声情報の音量レベルを表す音量識別タグを前記文字データに付加する音量識別手段と、
前記音声種識別タグと前記音量識別タグが付加された前記文字データを、時系列に従って並べて記憶する記憶手段と、を備えたことを特徴とする携帯電話機。
【請求項２】
前記音量識別タグ及び前記音声種識別タグに応じて前記文字情報の表示タイプを変更する表示タイプ変更手段と、前記表示タイプ変更手段によって変更された表示タイプで前記文字情報を表示する表示手段とを更に備えたことを特徴とする請求項１記載の携帯電話機。
【請求項３】
前記表示タイプ変更手段は、前記音量識別タグの種類に応じて、前記文字情報の表示フォント種、文字サイズ、文字の太さのうち、少なくとも１つを変更することを特徴とする請求項２記載の携帯電話機。
【請求項４】
前記表示タイプ変更手段は、前記音声種識別タグに応じて前記文字情報の表示色を変更することを特徴とする請求項２記載の携帯電話機。
【請求項５】
前記音声認識手段により変換された文字データに対応する画像データに変換する特定単語変換手段を備え、前記表示手段は、前記画像データが表す画像を表示することを特徴とする請求項２記載の携帯電話機。
【請求項６】
前記送話音声情報及び前記受話音声情報から、送話者ないし受話者の感情状態を判定し、前記感情状態に対応する感情識別情報を前記文字データに付加する感情判定手段を備え、
前記表示タイプ変更手段は、前記感情識別情報の種類に応じて、前記文字データに対応する文字情報の表示フォント種、文字サイズ、文字の太さのうち、少なくとも１つを変更することを特徴とする、請求項２記載の携帯電話機。
【請求項７】
タッチパネルを介して手書き入力される文字を認識して前記文字データに変換する文字入力手段と、手書き入力される文字の入力速度又は筆圧より入力者の感情状態を判定し、前記感情状態に対応する感情識別情報を前記文字データに付加する感情判定手段を備え、
前記表示タイプ変更手段は、前記感情識別情報の種類に応じて、前記文字データに対応する文字情報の表示フォント種、文字サイズ、文字の太さのうち、少なくとも１つを変更することを特徴とする、請求項２記載の携帯電話機。
【請求項８】
前記感情判定手段は、前記感情識別情報毎に定められた文字又は記号を、前記文字情報に付加することを特徴とする、請求項６又は７記載の携帯電話機。
【請求項９】
前記文字データを用いて電子メールを作成する電子メール作成手段と、前記電子メール作成手段で作成された電子メールを送受信する電子メール送受信手段とを備えたことを特徴とする請求項１乃至８のいずれかに記載の携帯電話機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声情報を文字情報に変換する機能を有する携帯電話機に関する。
【背景技術】
【０００２】
携帯電話機の中には、入力された音声情報を文字情報に変換する機能を備えたものがある。音声情報を文字情報に変換する手法については様々なものが考案されており、例えば、特許文献１では、携帯端末に入力された音声情報を通信手段によりサーバに送り、サーバに設けられている音声認識手段が音声情報を文字情報に変換するシステムが開示されている。変換された文字情報は携帯端末に送られ、ディスプレイに表示される。
【０００３】
しかし、上記手法では、携帯端末からサーバに音声情報を送信し、さらに音声認識手段によって変換された文字情報をサーバから携帯端末に折り返し送信する必要があり、文字情報を得るまでに時間がかかるという問題があった。また、携帯端末とサーバとで、公衆通信回線を介して音声情報のやり取りを行うため、音声情報の質が著しく低下し、音声認識手段による音声認識率が低下してしまうという問題もあった。
【０００４】
このような問題を解消する技術として、特許文献２に示すような技術が提案されている。これは、携帯端末に音声認識手段を設け、この音声認識手段により音声情報を文字情報に変換するというものであり、これにより、音声認識率の低下を防ぐことができ、また、文字情報をすばやく確認することができる。
【０００５】
【特許文献１】特開２００２−１１６８７１号公報
【特許文献２】特開２００２−２１８０９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した携帯電話機ではいずれも、受話音声と送話音声とのうち、いずれか一方の音声を文字情報に変換するだけで、受話及び送話音声を同時に文字情報に変換することはできなかった。
【０００７】
また、音声で表現した言葉のニュアンスや感情の起伏などは、文字情報では表現することができなかった。すなわち、音声では、話者が声の大きさを変化させることによって強調したい言葉や感情などを自在に表現し、相手に伝えることが可能であるが、上述した携帯電話機では、このような音量の強弱が含まれた音声を文字情報に変換しても、音量の強弱に無関係な単一フォントで表示される。このように、音声に比べ、文字情報の表現方法は乏しく、強調したい言葉や感情を十分に表現することができないという問題があった。かかる問題は、文字情報をキー入力あるいは手書き入力する場合においても同様に生じていた。
【０００８】
本発明は、上記問題を解決するためになされたもので、音声認識で変換された文字情報の表現力を向上した携帯電話機を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の携帯電話機は、送話マイクを介して送話音声情報が入力され、受話スピーカを介して外部からの受話音声情報を出力するものであり、前記送話音声情報と前記受話音声情報を音声認識し、文字情報を表す文字データに変換するとともに、前記送話音声情報と前記受話音声情報とを識別するための音声種識別タグを前記文字データに付加する音声識別手段と、前記送話音声情報と前記受話音声情報の音量レベルを表す音量識別タグを前記文字データに付加する音量識別手段と、前記音声種識別タグと前記音量識別タグが付加された前記文字データを、時系列に従って並べて記憶する記憶手段と、を備えたことを特徴とする。
【００１０】
また、前記音量識別タグ及び前記音声種識別タグに応じて前記文字情報の表示タイプを変更する表示タイプ変更手段と、前記表示タイプ変更手段によって変更された表示タイプで前記文字情報を表示する表示手段とを更に備えたことを特徴とする。
【００１１】
また、前記表示タイプ変更手段は、前記音量識別タグの種類に応じて、前記文字情報の表示フォント種、文字サイズ、文字の太さのうち、少なくとも１つを変更することを特徴とする。
【００１２】
また、前記表示タイプ変更手段は、前記音声種識別タグに応じて前記文字情報の表示色を変更することを特徴とする。
【００１３】
また、前記音声認識手段により変換された文字データに対応する画像データに変換する特定単語変換手段を備え、前記表示手段は、前記画像データが表す画像を表示することを特徴とする。
【００１４】
前記送話音声情報及び前記受話音声情報から、送話者ないし受話者の通話時の感情状態を判定し、前記感情状態に対応する感情識別情報を前記文字データに付加する感情判定手段を更に備えても良い。また、タッチパネルを介して手書き入力される文字の入力態様より入力者の感情状態を判定し、前記感情状態に対応する感情識別情報を前記文字データに付加する感情判定手段を更に備えても良い。そして、感情識別情報の種類に応じて、前記文字データに対応する文字情報の表示フォント種、文字サイズ、文字の太さのうち、少なくとも１つを変更することが好ましい。さらに、前記感情判定手段は、前記感情識別情報毎に定められた文字又は記号を、前記文字情報に付加しても良い。
【００１５】
また、前記文字データを用いて電子メールを作成する電子メール作成手段と、前記電子メール作成手段で作成された電子メールを送受信する電子メール送受信手段とを備えたことを特徴とする。
【発明の効果】
【００１６】
以上のように、本発明の携帯電話機によれば、送話音声情報と受話音声情報を音声認識し、文字情報を表す文字データに変換するとともに、送話音声情報と受話音声情報とを識別するための音声種識別タグを前記文字データに付加する音声識別手段と、送話音声情報と受話音声情報の音量レベルを表す音量識別タグを前記文字データに付加する音量識別手段と、音声種識別タグと音量識別タグが付加された文字データを、時系列に従って並べて記憶する記憶手段とを備えたので、音声の特徴が付加された議事録を作成することができる。
【００１７】
また、音量識別タグ及び音声種識別タグに応じて文字情報の表示タイプを変更する表示タイプ変更手段と、表示タイプ変更手段によって変更された表示タイプで文字情報を表示する表示手段とを備えたので、文字情報を表現する幅が広がり、音声の特徴を反映した表現力豊かな議事録を作成することができる。
【００１８】
また、音声認識手段により変換された文字データに対応する画像データに変換する特定単語変換手段を備え、表示手段は、画像データが表す画像を表示するので、視覚的な表現を豊かにすることができる。
【００１９】
また、送話音声情報及び受話音声情報から、送話者ないし受話者の通話時の感情状態を判定し、感情状態に対応する識別情報を前記文字データに付加する感情判定手段を備え、感情識別情報の種類に応じて、文字データに対応する文字情報の表示フォント種、文字サイズ、文字の太さのうち、少なくとも１つを変更するようにしたから、ユーザの感情に応じて文字の表示態様を変えることができる。したがって、音声認識された文字の表現力を高めることができる。
【００２０】
また、文字データを用いて電子メールを作成する電子メール作成手段と、電子メール作成手段で作成された電子メールを送受信する電子メール送受信手段とを備えたので、音声だけで電子メールを作成することが可能となり、これにより、煩雑なキー操作を行なわず、容易に電子メールを作成することができる。
【発明を実施するための最良の形態】
【００２１】
（第１の実施形態）
図１において、携帯電話機２は、上部本体１０と下部本体１１とが、ヒンジ部１２を介して回動自在に係合された構成となっている。上部本体１０の背面にはアンテナ１３が収納されており、前面には受話スピーカ１４と表示パネル１５が設けられている。表示パネル１５としては、例えば液晶パネル（ＬＣＤ）が用いられる。下部本体１１には、送話マイク１６、選択キー１７（１点鎖線で囲む部分）とダイヤルキー１８（２点鎖線で囲む部分）とからなる操作部１９が設けられている。
【００２２】
ヒンジ部１２には、携帯電話機２の使用時に上部本体１０と下部本体１１とが図示する所定の角度で係止されるように、クリック機構（図示せず）が設けられている。非使用時には、表示パネル１５と操作部１９とが対面するように携帯電話機２が折りたたまれる。
【００２３】
受話スピーカ１４は、通信相手の音声（受話音声）や着信メロディを出力する。送話マイク１６は、話し手の音声（送話音声）を電気的な音声情報に変換する。選択キー１７は、電話番号やメールアドレスの登録などの各種設定メニューの選択・設定、インターネット接続サービスや電子メールサービスを利用する際に操作される。また、この選択キー１７を操作することにより、音声による通常の通話を行なう通話モードと、入力された音声を文字データや画像データに変換する音声認識モードとの切り換えが行なわれる。ダイヤルキー１８は、電話番号や電子メールの文章などを入力する際に操作される。
【００２４】
アンテナ１３は、通話や電子メールサービス、インターネットサービスを利用する際に上部本体１０から引き出され、他の携帯電話やインターネットサーバなどからの電波信号を受信するとともに、携帯電話機２から発信される電波信号を外部に送信する。図２に示すように、アンテナ１３は受信した電波信号を電気信号に変換し、通信Ｉ／Ｆ２１を介して信号をＣＰＵ２０に送る。ＣＰＵ２０は、携帯電話機２の各部の動作制御を行う。例えば、アンテナ１３からの信号に対して信号処理を行い、受話スピーカ１４、表示パネル１５に音声や画像を出力する。
【００２５】
データ入出力部２３は、外部記憶装置などを接続するためのケーブルの接続口２３ａ、ＩＣカード、スマートメディア、メモリスティックなどの各種メモリカードの装填口２３ｂを備えており（図１参照）、これら記憶媒体などから文字データや画像データなどを読み取る。また、携帯電話機２内の文字データや画像データは、データ入出力部２３を介して外部機器に出力される。
【００２６】
表示パネル１５には、各種設定メニューからなるメニュー画面、着信相手の電話番号やメールアドレス、インターネットサーバからダウンロードした画像などがドライバ２２を介して表示される。
【００２７】
音声認識装置３０は、音声識別部３０ａと音量検出部３０ｂとから構成される。音声識別部３０ａでは、送話マイク１６から入力された送話音声情報、及びアンテナ１３を介して入力された受話音声情報に対して音声認識を行い、音声情報の特徴を表す特徴量データを生成する。さらに、音声識別部３０ａでは、音声情報の入力先に応じて、送話音声であるか受話音声であるかを識別するための音声種識別タグを生成する。音量検出部３０ｂでは、送話音声情報及び受話音声情報の振幅情報から音量レベルを検出し、音量識別タグを生成する。これらの音声種識別タグと音量識別タグは、特徴量データに付加される。
【００２８】
第１ファイル装置３１は、特徴量データに対応する文字データからなる単語用データファイル３１ａと、文字データに対応する画像データからなる画像データファイル３１ｂとから構成されている。なお、画像データは、インターネットサーバからダウンロードした画像データや、データ入出力部２３を介して他の記憶媒体から読み出した画像データ、あるいは、ユーザーが操作部１９のキー操作などにより作成した自作の画像データなど、特定の単語に対応させたいものを適宜に使用すれば良い。
【００２９】
第２ファイル装置３２には、音量識別タグに対応する設定データからなる設定データファイル３２ａが格納されている。ユーザは、音声の音量レベルに応じて可変させる文字のタイプ数（以下、「文字タイプ数」という）と、各文字タイプの具体的態様（以下、単に「文字タイプ」という）とを予め選択しておくものとし、その設定データを、設定データファイル３２ａとして第２ファイル装置３２に格納する。
【００３０】
文字タイプは、フォント種、文字サイズ、太字／細字、斜体、下線、囲み線、文字網掛けなどの指定情報の組み合わせによって規定される。例えば、音量レベルを３段階に区分けし、第１段階を最も大きい音量レベル、第２段階を第１段階に次ぐ音量レベル、第３段階を最も小さい音量レベルとする。各段階に応じて文字タイプを変更するときには、「文字タイプ数＝３」となる。例えば、第１段階に対応する文字タイプとして「フォント種＝明朝体、文字の大きさ＝２０ポイント、太字」という組み合わせを指定し、第２段階については「フォント種＝明朝体、文字の大きさ＝１２ポイント、細字」、第３段階については「フォント種＝明朝体、文字の大きさ＝９ポイント、細字」という組み合わせを指定することができる。勿論、本発明の実施に際して、文字タイプ数は３種類に限定されず、２種類でも良いし、４種類以上であっても良い。また、フォント種は、ゴシック、毛筆、丸文字などのフォントを用いても良い。
【００３１】
ＣＰＵ２０は、音声認識装置３０で音声認識された送話及び受話音声に応じて、メインメモリ３３に格納されている制御プログラム３３ａに従い、適宜の処理を実行する。ＣＰＵ２０は、音声認識装置３０から送られた特徴量データに基づいて第１ファイル装置３１の単語用データファイル３１ａを検索し、対応する文字データを抽出する。抽出された文字データには、音声と対応するように音声種識別タグと音量識別タグとが付加される。また、ＣＰＵ２０は、抽出された文字データに基づき第１ファイル装置３１の画像データファイル３１ｂを検索し、対応する画像データがある場合はこれを読み出す。
【００３２】
さらに、ＣＰＵ２０は、抽出した文字データに付加されている音量識別タグに基づいて、第２ファイル装置３２の設定データファイル３２ａを検索し、文字データを所定の文字タイプのデータに変換する。また、ＣＰＵ２０は、抽出した文字データに付加された音声種識別タグに基づいてデータ処理を行い、表示パネル１５に文字が表示される際に、音声種（話者）の違いが視認できるようにする。例えば、音声種識別タグを参照しながら、受話音声に対応した文字データと、送話音声に対応した文字データとに異なる色コードを付加する。
【００３３】
このように適宜のデータ処理が施された文字データは、時系列に従ってワークメモリ３４に転送される。また、特定単語を変換した画像データがある場合には、その画像データも文字データとともにワークメモリ３４に転送される。
【００３４】
ＣＰＵ２０は、時系列に従ってワークメモリ３４に格納されている文字データと画像データとを読み出し、ＨＴＭＬ形式の通話ファイルを生成する。この通話ファイルはドライバ２２に送られて表示パネル１５に表示される。
【００３５】
文字データと画像データは、表示パネル１５に時系列に従って順次に文字や画像として表示される。また、文字は、文字データに付加された色コードに従い、送話音声と受話音声のいずれかに対応した色で表示され、さらに音量レベルに対応した文字タイプで表現される。
【００３６】
文字データや画像データの編集は、表示パネル１５に表示された文字や画像を視認しながら、操作部１９を操作することにより行なわれる。また、文字データ及び画像データを電子メールとして作成し、送信する場合も同様にして行われる。作成された電子メールは、ＣＰＵ２０から通信Ｉ／Ｆ２１及びアンテナ１３を介して、公衆通信回線（不図示）に送信される。また、ＨＴＭＬ形式で作成された文字データや画像データを電子メールとして受信した場合、操作部１９を操作することで、受信された文字・画像が表示パネル１５上で視認される。受信した文字データがＨＴＭＬ形式で作成されていれば、上述したように文字データを音量レベルに対応した文字タイプで表現することができ、また、音声種に応じて色分けするなどして表示することもできる。このようにして得られた文字データや画像データを保存する場合は、操作部１９を操作することで、光ディスクや半導体メモリなどからなる記憶装置３５に保存用データとして保存される。
【００３７】
次に、上記実施形態による作用について図３のフローチャートを参照しながら説明する。まず、携帯電話機２を公衆通信回線に接続し、通話を開始する。受話及び送話音声を文字データや画像データに変換出力する場合、操作部１９を操作して音声変換モードにする。音声変換モードを選択しない場合は通話モードとなり、通話音声を文字データや画像データに変換せずに通話を行なう。
【００３８】
音声変換モードにおいて通話を行なうと、送話音声情報及び受話音声情報が音声認識装置３０に送られ、受話音声と送話音声とを区別して音声認識を行い、特徴量データを生成する。受話音声であるか、あるいは送話音声であるかを識別可能にする音声種識別タグが特徴量データに付加される。さらに、音量検出部３０ｂで得た検知結果に基づいて音量識別タグが付加される。
【００３９】
ＣＰＵ２０は、第１ファイル装置３１と第２ファイル装置３２とに記憶された各種ファイルを参照しながら、音声を所定の文字データや画像データに変換する。ここで、ＣＰＵ２０は、音声種識別タグと音量識別タグとに基づいて、文字データを音量レベルに対応した所定の文字タイプに変換するとともに、文字データが送話音声と受話音声とのどちらに対応しているかを表示パネル１５にて区別して表示するための色コードを文字データに付加する。このような処理を実行した後、変換した文字データや画像データを時系列に従ってワークメモリ３４に格納する。
【００４０】
次に、ＣＰＵ２０は、ワークメモリ３４に格納された文字データや画像データを時系列に従い順次に読み出し、ＨＴＭＬ形式の通話ファイルとして文字や画像を表示パネル１５に表示する。表示パネル１５に表示される文字は音量レベルに対応した文字タイプで表示され、送話音声と受話音声とで色分けされて表示される。
【００４１】
操作部１９を操作して、音声変換モードをオフにすると、通話音声を文字データあるいは画像データへ変換する処理が終了する。ここで、変換された文字データあるいは画像データの編集、保存を行なわない場合は処理をリターンする。そこで再び音声変換モードを選択すれば、上述した処理を実行する。選択しなければ音声による通常通話を行なうことになる。通話を終了する場合は、操作部１９を操作して回線を切断する。
【００４２】
音声変換モードをオフにした後、文字データや画像データを編集する場合、操作部１９に対して所定の操作を行い、編集モードに切り換える。ユーザーは、表示パネル１５に表示されている文字や画像を見ながら、操作部１９の選択キー１７やダイヤルキー１８などを操作して文字・画像の編集を行なう。ＣＰＵ２０は、操作部１９からの文字データ編集信号や画像データ編集信号に基づいて、文字・画像の編集処理を実行する。
【００４３】
このようにして編集された文字や画像を電子メールとして送信する場合は、操作部１９に対して所定の操作を行い、メール送信モードに切り換えてから、文字データや画像データを電子メールの形式に変換して公衆回線へ送信する。また、編集した文字データや画像データは、携帯電話機２内に搭載されている記憶装置３５や、あるいはデータ入出力部２３を介して外部記憶装置に保存することができる。
【００４４】
このように、受話音声と送話音声とを区別して文字データに変換し、さらに区別された文字データに対して異なる色コードを付加し、色コードを付加した文字データを時系列に沿って表示するため、送話音声に対応する文字列と、受話音声に対応する文字列とを色分けした状態で議事録として表示することができる。
【００４５】
また、音量レベルに対応する文字タイプで表示しているため、文字形態を見ることにより、強調したい言葉などを識別することができる。また、音声に含まれる特定の単語を、予め設定したおいた画像データに変換して表示パネル１５に表示したので、表現力豊かな議事録を作成することができる。
【００４６】
上記実施形態では、文字データが、送話音声と受話音声とを色分けして表示し、文字タイプを変化させて音量レベルの違いを表現したが、文字タイプを変化させることで入力音声種を識別し、音量レベルを色分けして表現するようにしても良い。つまり、音量レベルを表現する方法と、音声種を表現する方法とを異なるものにすればどのような表現方法であっても良い。
【００４７】
上記実施形態では、通話ファイルはＨＴＭＬ形式としているが、ＸＭＬ形式にしても良い。また、ＨＴＭＬ形式とテキスト形式との切り換えスイッチを設け、テキスト形式で通話ファイルを生成しても良い。
【００４８】
上記実施形態では、特定の文字に対応する画像を表示させているが、特定の文字列に変換しても良い。
【００４９】
（第２の実施形態）
図４は、文字の表示態様を通話者の感情に応じて変更する携帯電話機の電気的ブロック図である。携帯電話機４０は、音声識別部４１ａ、音量検出部４１ｂ、感情判定部４１ｃとからなる音声認識装置４１を備える。音声識別部４１ａ及び音量検出部４１ｂは、それぞれ、上記第１の実施例（図２参照）と同一であり、その詳細な説明については省略する。また、音声認識装置４１以外の構成部分についても第１の実施例と同一であるため、図２と同一の符号を付して詳細な説明は省略する。
【００５０】
感情判定部４１ｃでは、送話者及び受話者によって入力された音声データから、音量、通話スピード、イントネーションをリアルタイムで記録しておき、通話が完了したとき、あるいは一定時間毎に音量や通話スピードの平均値を算出する。そして、記録された音声データにつき、通話中の声の強弱や通話スピードの平均値からの変動量を算出し、この変動量に基づき話者の感情を識別する。たとえば、通話音量が平均値よりも過度に高い場合は怒っている、と判定することができる。なお、通話開始前に送話者及び受話者が音声をサンプル入力することで、音量や通話スピードの平均値を算出しても良い。
【００５１】
感情判定部４１ｃでは、推定された話者の感情を感情識別タグとして文字データと対応づけて記録する。この感情識別タグは、例えば笑い、悲しみ、怒り、驚きといったカテゴリーで分けることができる。なお、通話スピードや音量、イントネーションの他に、笑い声や泣き声、驚き声などから、話者の感情を推定しても良い。さらに、文字データに変換された後に、通話内容から話者の感情を推定し、感情識別タグとして記録しても良い。
【００５２】
第２ファイル装置３２には、フォント種、文字太さ、文字色といった表示タイプに関するデータが、感情識別タグ毎に記録されている。ＣＰＵ２０は、得られた感情識別タグに応じて文字データの表示タイプを変更し、ワークメモリ３４に送る。
【００５３】
文字の表示タイプを変更する以外にも、文字や記号を付加しても良い。例えば、いわゆる顔文字といった文字や記号を文末に挿入しても良い。ある文章中に、「笑い」に対応する感情識別タグが含まれている場合には、文末に「（笑）」や「(^o^)」といった文字データを挿入する。また、「悲しみ」に対応する感情識別タグが含まれている場合には、文末に「（悲）」や「(T#T)」といった文字データを挿入する。さらに、通話内容を電子メールとして送信する場合は、送信用文字データに含まれる感情識別タグの内容に応じた記号を電子メールのタイトルに自動で付加しても良い。あるいは、受信メールを一覧表示する際に、感情識別タグに応じて定められた記号を自動表示することもできる。
【００５４】
（第３の実施形態）
上記第２の実施形態では、通話音声から話者の感情を推定しているが、文字入力装置の入力態様からユーザの感情を推定し、これに応じて文字の表示態様を変化させることもできる。図５は、この第３の実施形態に係る携帯電話機のブロック図を示す。携帯電話機５０は、文字入力用のタッチパネル５１，入力データ解析部５２，文字認識部５３及び文字認識用辞書５４が設けられている他は、上記第１の実施形態（図２参照）と同じである。
【００５５】
入力データ解析部５２は、専用ペンを介してタッチパネル５１に入力されたアナログデータを検出し、文字認識部５３へ送る。文字認識部５３では、入力アナログデータと文字認識用辞書５４とを比較照合して、入力データに近いと判定された候補文字を表示パネル１５に表示し、ユーザに選択を促す。
【００５６】
入力データ解析部５２では、タッチパネル５１を介した文字入力が行われる毎に、入力速度、筆圧、大きさに関するデータを逐次記憶する。そして、文字入力が完了したとき、あるいは一定時間毎に、入力速度、筆圧、大きさの平均値を算出する。入力データ解析部５２は、入力速度、筆圧、大きさの平均値からの変動量から、文字入力時のユーザの感情を推定する。例えば、文字の入力速度が平均値より大きいときユーザは急いでいる、入力速度が平均値よりも小さいときは、ユーザは落ち着いている、と推定する。また、入力文字が奇麗である（すなわち、候補文字とのマッチング率が高い）と判定された場合には、慎重に入力しているから重要事項であると推定する。一方、入力文字が雑である（すなわち、候補文字とのマッチング率が低いとき）や、筆圧が非常に高いときは、感情が高ぶっていると推定することができる。
【００５７】
このようにして推定されたユーザの感情情報は、感情識別データとして文字データに対応づけられる。そして、感情識別データに基づいて文字の表示フォント、太さ、色といった表示タイプが変更される。これにより、入力文書を豊かに表現することができる。
【００５８】
上述した文字入力・認識処理の他に、音声認識処理・通話処理などの他の処理を並行して行う必要がある場合は、感情識別データに応じて文字認識処理の優先度を変化させても良い。すなわち、入力速度が速い場合は、入力文書の重要度が高いと推定して、文字認識処理を優先的に行う。また、筆圧が大きい場合は、感情が高ぶっていることが推定されるから、文字認識処理を優先的に行うことで、待ち時間によるユーザのストレスを緩和することができる。一方、入力速度が遅い場合は、ユーザが考えながら入力しているものと推測され、文章の入力をやり直す場合があるため文字認識処理の優先度を下げたり、ユーザに文字認識処理の進行を確認するためのメッセージを表示することで、他の処理を効率よく行うことができる。
【００５９】
上記実施形態では、手書き入力型の携帯電話機を例にして説明したが、操作部１９を介して文字をキー入力する場合にも同様に実施することができる。すなわち、キーの入力速度・キーを押す圧力の大小に応じて、変換処理の優先度を変えることで、複数の処理を効率よく行うことができる。
【００６０】
上記実施形態では、携帯電話機を例にして説明しているが、本発明はPDA (Personal Digital Assistant)やデジタルカメラ等の携帯型電子機器に対しても同様に適用することができる。
【図面の簡単な説明】
【００６１】
【図１】本発明を実施した携帯電話機の構成を示す斜視図である。
【図２】携帯電話機の電気的構成を示すブロック図である。
【図３】音声変換モードでの処理手順を示すフローチャートである。
【図４】第２実施例に係る携帯電話機の電気的構成を示すブロック図である。
【図５】第３実施例に係る携帯電話機の電気的構成を示すブロック図である。
【符号の説明】
【００６２】
２  携帯電話機
１３  アンテナ
１４  受話スピーカ
１５  表示パネル
１６  送話マイク
１９  操作部
２０  ＣＰＵ
２１  通信Ｉ／Ｆ
２２  ドライバ
３０，４０  音声認識装置
３０ａ，４１ａ  音声識別部
３０ｂ，４１ｂ  音量検出部
３１  第１ファイル装置
３１ａ  単語用データファイル
３１ｂ  画像データファイル
３２  第２ファイル装置
３２ａ  設定データファイル
３４  ワークメモリ
４１ｃ  感情検出部
５１  タッチパネル
５２  入力データ解析部
５３  文字認識部
５４  文字認識用辞書
【図１】
2005065252.tif 000003
【図２】
2005065252.tif 000004
【図３】
2005065252.tif 000005
【図４】
2005065252.tif 000006
【図５】
2005065252.tif 000007