(57)【要約】    【課題】      音声情報からテキスト情報に変換された文書を、画像を用いずに読み手がより理解できること。    【解決手段】  音声情報測定部１０４は、携帯電話１０２から送信された音声信号及び携帯電話１０１のユーザが入力した音声信号から音量及び音調を測定する。また、音声テキスト変換部１０５は、音声認識技術を用いて、送受信部１０３から出力された音声情報をディジタルなキャラクタコードの列であるテキスト情報に変換する。そして、音声テキスト変換部１０５から出力されたテキスト情報と、音声情報測定部１０４から出力された測定結果とに基づいて、リッチテキスト生成部１０６がテキスト情報に対応する測定結果を当該テキスト情報に付加してリッチキャラクタを生成する。生成された一連のリッチキャラクタをリッチテキストとして、表示部１０８がリッチテキストに基づいて音量の大小を文字の大小で、音調の高低を文字の細太で表示する。  【選択図】      図１
2005274791.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声情報に基づいて音量及び音調を測定する音声測定手段と、
前記入力音声情報をテキスト情報に変換する音声テキスト変換手段と、
前記音声テキスト変換手段で変換されたテキスト情報と前記音声測定手段で測定された音量と音調との組み合わせを文字を修飾するパラメータとしてリッチテキストを生成する生成手段と、
前記生成手段によって生成されたリッチテキストを表示する表示手段と、
を具備することを特徴とする移動通信端末装置。
【請求項２】
通信相手から送信された音声情報及び身体情報を受信する受信手段と、
自装置のユーザの身体情報を検知する検知手段と、
通信相手から送信された身体情報及び前記検知手段が検知した身体情報を解析する身体情報解析手段と、
をさらに具備し、
前記生成手段は、前記音量と音調との組合せに加えて前記身体情報解析手段で解析された結果を文字を修飾するパラメータとしてリッチテキストを生成することを特徴とする請求項１に記載の移動通信端末装置。
【請求項３】
前記身体情報は、体温、血圧、心拍数のうち少なくとも１つ以上であることを特徴とする請求項２に記載の移動通信端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声情報をテキスト情報に変換する音声テキスト変換装置を有する移動通信端末装置に関する。
【背景技術】
【０００２】
従来の音声テキスト変換装置としては、特許文献１に記載されている技術が開示されている。特許文献１に記載の技術は、入力された音声に基づいて話者を特定する属性情報を生成し、音声情報からテキスト情報に変換した文書と属性情報とを視覚的に分かるように表示するものである。これにより、文書の読み手は、音声入力者の確認を行いながら文書をより明確に理解することができる。
【０００３】
また、特許文献２には、少ないキー配列の携帯電話等で文字入力を行う煩わしさを解消するため、音声情報をテキスト情報に変換し、電子メール等の文字入力を行うことが開示されている。
【０００４】
また、特許文献３には、メッセージ発信者の音声と、メッセージ発信者本人に代わって伝言メッセージを伝達する代理画像データとから伝言データが編成され、メッセージ発信者の入力操作により設定された感情が、定量化したパラメータをもとにして選択されるので、音声と画像による伝言メッセージを送ることが開示されており、これにより、意思伝達を確実に行うことができる。
【特許文献１】特開平１１−２４２６６９号公報
【特許文献２】特開２００２−３４４５７４号公報
【特許文献３】特開２００２−０４１２７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１及び２に記載の技術では、音声情報からテキスト情報に変換された文書には、話者の感情を読み取る要素があまり含まれておらず、高度で円滑なコミュニケーションを行うことには適していない。また、上記特許文献３に記載の技術では、予め画像データを大量に用意しておく必要があるため、メモリ容量が大きくなるという問題がある。
【０００６】
本発明はかかる点に鑑みてなされたものであり、音声情報からテキスト情報に変換された文書を、画像を用いずに読み手がより理解できる移動通信端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の移動通信端末装置は、入力された音声情報に基づいて音量及び音調を測定する音声測定手段と、前記入力音声情報をテキスト情報に変換する音声テキスト変換手段と、前記音声テキスト変換手段で変換されたテキスト情報と前記音声測定手段で測定された音量と音調との組み合わせを文字を修飾するパラメータとしてリッチテキストを生成する生成手段と、前記生成手段によって生成されたリッチテキストを表示する表示手段と、を具備する構成を採る。
【０００８】
この構成によれば、音声情報から測定された音量及び音調を文字の修飾で表示することにより、音声情報を視覚的に表示することができるので、読み手が会話の内容をより理解することができる。
【０００９】
本発明の移動通信端末装置は、上記構成において、通信相手から送信された音声情報及び身体情報を受信する受信手段と、自装置のユーザの身体情報を検知する検知手段と、通信相手から送信された身体情報及び前記検知手段が検知した身体情報を解析する身体情報解析手段と、をさらに具備し、前記生成手段は、前記音量と音調との組合せに加えて前記身体情報解析手段で解析された結果を文字を修飾するパラメータとしてリッチテキストを生成する構成を採る。
【００１０】
この構成によれば、身体情報を文字の修飾で表示することにより、話者の心理的状況を視覚的に表示することができ、読み手が会話の内容をより一層理解することができる。
【００１１】
本発明の移動通信端末装置は、上記構成において、前記身体情報が、体温、血圧、心拍数のうち少なくとも１つ以上である構成を採る。
【００１２】
この構成によれば、身体情報を文字の修飾で表示することにより、話者の心理的状況を視覚的に表示することができ、読み手が会話の内容をより一層理解することができる。
【発明の効果】
【００１３】
以上説明したように、本発明によれば、話者の声の大小及び声の高低といった音声情報を文字の修飾で表示することにより、音声情報を視覚的に表示することができるので、画像を用いずに読み手が会話の内容をより理解することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１５】
（実施の形態１）
図１は、本発明の実施の形態１における携帯電話１０１の構成を示すブロック図である。この図において、携帯電話１０１は携帯電話１０２と音声通話を行うものである。ここでは、携帯電話１０１の構成について説明するが、携帯電話１０２は携帯電話１０１と同様の構成を有していてもよいし、有していなくてもよい。
【００１６】
送受信部１０３は、携帯電話１０２から送信された音声情報を受信し、受信した音声情報に所定の受信処理を行い、受信処理後の音声情報を音声情報測定部１０４及び音声テキスト変換部１０５に出力する。また、携帯電話１０１のユーザが入力した音声を音声情報測定部１０４及び音声テキスト変換部１０５に出力する。
【００１７】
音声情報測定部１０４は、送受信部１０３から出力された音声信号（音声情報）を測定する。具体的には、音量（声の大小）及び音調（声の高低）を測定し、測定結果をディジタル多値化する。音声情報測定部１０４の詳細については後述する。測定結果はリッチテキスト生成部１０６に出力される。
【００１８】
音声テキスト変換部１０５は、音声認識技術を用いて、送受信部１０３から出力された音声情報をディジタルなキャラクタコードの列（以下、「テキスト情報」という）に変換する。テキスト情報はリッチテキスト生成部１０６に出力される。また、文節や音声の区切りを判断し、行末コードをリッチテキスト生成部１０６に出力する。
【００１９】
リッチテキスト生成部１０６は、音声テキスト変換部１０５から出力されたテキスト情報と、音声情報測定部１０４から出力された測定結果とに基づいて、テキスト情報に対応する測定結果を当該テキスト情報に付加してリッチキャラクタを生成する。このようにして、リッチテキスト生成部１０６に順次入力されるテキスト情報（キャラクタコード）を入力された順にリッチキャラクタにする。このように生成された一連のリッチキャラクタをリッチテキストという。リッチテキスト生成部１０６は、音声テキスト変換部１０５から行末コードを取得すると、リッチテキストをログ格納部１０７に出力する。
【００２０】
ログ格納部１０７は、リッチテキスト生成部１０６から出力されたリッチテキストにタイムスタンプ（時刻情報）を付加して格納する。
【００２１】
表示部１０８は、ログ格納部１０７からリッチテキストとタイムスタンプを読み出し、音量の大小を文字の大小に、音調の高低を文字の細太にそれぞれ変換して表示する。
【００２２】
図２は、本発明の実施の形態１における音声情報測定部１０４の内部構成を示すブロック図である。この図において、音量測定部２０１は、送受信部１０３から出力された音声信号（音声情報）から音量（声の大小）を測定し、測定値をディジタル多値（例えば、０〜１５の１６段階）に変換し、測定情報記憶部２０３に出力する。
【００２３】
音調測定部２０２は、送受信部１０３から出力された音声信号（音声情報）から音調（声の高低）を測定し、測定値をディジタル多値（例えば、０〜１５の１６段階）に変換し、測定情報記憶部２０３に出力する。
【００２４】
測定情報記憶部２０３は、デュアルポートＲＡＭ（ＤＰＲＡＭ）などであり、音量測定部２０１及び音調測定部２０２から出力された測定値を記憶し、記憶された測定値がリッチテキスト生成部１０６から読み出される。
【００２５】
次に、音声情報測定部１０４及びリッチテキスト生成部１０６の動作について説明する。ここでは、具体例として、「こんにちは」という音声情報をリッチテキストにする場合を想定する。音声情報測定部１０４は、入力された音声情報「こんにちは」について、一文字ずつ音量測定部２０１と音調測定部２０２でそれぞれ音量と音調を測定する。測定された音量と音調はディジタル値で測定情報記憶部２０３に記憶される。
【００２６】
リッチテキスト生成部１０６は、音声テキスト変換部１０５からキャラクタコード（テキスト情報）となった「こんにちは」を取得し、文字毎、すなわち１つのキャラクタコード毎に対応する音量と音調を音声情報測定部１０４の測定情報記憶部２０３から読み出す。ここで、各文字（キャラクタコード）に対応する音量及び音調の具体例を図３に示す。なお。音量及び音調を０〜１５の１６段階に区分したものとする。図３では、「こ」が音量４、音調３、「ん」が音量３、音調２、「に」が音量３、音調２、「ち」が音量３、音調２、「は」が音量２、音調３となった場合を示している。音量と音調がキャラクタコードと組み合わされたリッチキャラクタは、行末コードとタイムスタンプが付加されてログ格納部１０７に格納される。リッチキャラクタ及びリッチテキストの例は図４に示すようなものとなる。図４において、char_codeは、キャラクタコードを、volumeは音量を、toneは音調をそれぞれ示している。
【００２７】
図５は、本実施の形態１におけるリッチテキストの表示例を示す図である。この表示例では、お客様窓口に電話してきたＡとお客様窓口担当のＢとの会話記録（ログ）を示している。ここでは、音量及び音調を０〜１５の１６段階とし、音量が小さければ対応する数値も小さくして表し、音量が大きければ対応する数値も大きくして表す。また、音調が低ければ対応する数値も小さくして表し、音調が高ければ対応する数値も多くして表す。
【００２８】
この図において、１行目から５行目までは、Ａの音量及び音調が共に中程度（例えば、音量６、音調６）であることを示し、Ｂの音量が中程度（例えば、音量６）で、音調がやや低い（例えば、音調２）ことを示している。
【００２９】
６行目では、Ｂの対応に怒りを覚えたＡが低い大きな声（例えば、音量１５、音調２）を発したことを示している。７行目では、Ａの怒りに萎縮したＢが小さな声（例えば、音量２、音調５）を発したことを示している。８行目では、いくぶん冷静さを取り戻したＡが多少音量を下げた声（例えば、音量１３、音調２）を発したことを示している。９行目では、依然、萎縮したＢが小さな声（例えば、音量２、音調５）で対応していることを示している。
【００３０】
この図が示すように、会話の内容を文章化するだけではなく、話者の声の大きさ及び高さを修飾文字で視覚的に表示することにより、ログを読む第三者が文章のみからでは読み取れない臨場感を感じたり、話者の感情を推測したりすることが容易となる。
【００３１】
このように本実施の形態によれば、話者の声の大小を文字の大小で表し、声の高低を文字の細太で表すことにより、音声情報を視覚的に表示することができるので、読み手が会話の内容をより理解することができる。
【００３２】
なお、本実施の形態では、音声テキスト変換部が日本語音声情報を日本語リッチテキストに変換する場合について説明したが、音声テキスト変換部が翻訳機能を備えていてもよい。すなわち、例えば、日本語音声情報を英語リッチテキストに変換するようにしてもよい。
【００３３】
（実施の形態２）
実施の形態１では、音量及び音調をパラメータ化して文字の大小及び細太で表示したが、本発明の実施の形態２では、音声以外に感情を伝えるパラメータを用いた場合について説明する。
【００３４】
図６は、本発明の実施の形態２における携帯電話６０１の構成を示すブロック図である。ただし、図６が図１と共通する部分は図１と同一の符号を付し、その詳しい説明は省略する。図６が図１と異なる点は、主に、センサ部６０４及び身体情報解析部６０５を設けた点である。ここでは、携帯電話６０１の構成について説明するが、携帯電話６０２の構成も携帯電話６０１と同様の構成とする。
【００３５】
図６では、携帯電話６０１と携帯電話６０２が音声通話と同時にデータ通信を行うことを示している。
【００３６】
送受信部６０３は、携帯電話６０２から送信された音声情報を受信し、受信した音声情報に所定の受信処理を行い、受信処理後の音声情報を音声情報測定部１０４及び音声テキスト変換部１０５に出力する。また、携帯電話６０１のユーザが入力した音声を音声情報測定部１０４及び音声テキスト変換部１０５に出力する。さらに、携帯電話６０２からデータ通信で送信されたデータを受信し、受信したデータに所定の受信処理を行い、受信処理後のデータを身体情報解析部６０５に出力する。
【００３７】
センサ部６０４は、携帯電話６０１のユーザの体温、血圧、心拍数等（以下、これらを総称して「身体情報」という）を測定し、測定結果を身体情報解析部６０５に出力する。
【００３８】
身体情報解析部６０５は、送受信部６０３から出力されたデータに含まれる携帯電話６０２のユーザの身体情報と、センサ部６０４から出力された身体情報とを取得し、測定値をディジタル多値（例えば、０〜１５の１６段階）にそれぞれ変換し、解析結果をリッチテキスト生成部６０６に出力する。
【００３９】
リッチテキスト生成部６０６は、音声テキスト変換部１０５から出力されたテキスト情報と、音声情報測定部１０４から出力された測定結果と、身体情報解析部６０５から出力された解析結果とに基づいて、テキスト情報に対応する結果を当該テキスト情報に付加してリッチキャラクタを生成する。リッチテキスト生成部６０６は、音声テキスト変換部１０５から行末コードを取得すると、リッチテキストをログ格納部１０７に出力する。
【００４０】
表示部６０７は、ログ格納部１０７からリッチテキストとタイムスタンプを読み出し、音量の大小を文字の大小に、音調の高低を文字の細太に、身体情報を文字の色にそれぞれ変換して表示する。例えば、体温、血圧、心拍数が共に高い場合は赤色に、逆に、体温、血圧、心拍数が共に低い場合は青色にする。これにより、話者が興奮しているか冷静であるかなどを読み手が推測することができる。
【００４１】
このように本実施の形態によれば、話者の発した声の音量及び音調に加え、話者の体温、血圧、心拍数といった身体情報をディジタル多値化し、身体情報を文字の色で表示することにより、話者の心理的状況を視覚的に表示することができ、読み手が会話の内容をより一層理解することができる。
【００４２】
なお、本実施の形態では、身体情報である体温、血圧、心拍数のうち少なくとも１つに基づいて、文字の色を表示してもよい。また、本実施の形態では、身体情報として、体温、血圧、心拍数を挙げたが、本発明はこれに限らず、ユーザが携帯電話を握る力や汗の量などを加えてもよい。要は、話者の心理的状況を反映するパラメータであればよい。
【００４３】
また、本実施の形態では、音量を文字の大小に、音調を文字の細太に、身体情報を文字の色にそれぞれ対応させて表示することとして説明したが、本発明はこれに限らず、それぞれ任意に組み合わせてよい。さらに、音量、音調、身体情報の他に声質を加えてもよいし、文字の大小、細太、色の他に字体を加えてもよい。
【００４４】
なお、上述した各実施の形態では、会話記録や議事録を作成する場合を想定して説明したが、電子メールの作成等にも応用できる。
【産業上の利用可能性】
【００４５】
本願発明にかかる移動通信端末装置は、話者の声の大小及び声の高低といった音声情報を文字の修飾に反映することにより、音声情報を視覚的に表示することができるので、読み手が会話の内容をより理解することができるという効果を有し、会話記録や議事録等の作成に有用である。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態１における携帯電話の構成を示すブロック図
【図２】本発明の実施の形態１における音声情報測定部の内部構成を示すブロック図
【図３】各文字（キャラクタコード）に対応する音量及び音調の具体例を示す図
【図４】リッチキャラクタ及びリッチテキストの例を示す図
【図５】本実施の形態１におけるリッチテキストの表示例を示す図
【図６】本発明の実施の形態２における携帯電話の構成を示すブロック図
【符号の説明】
【００４７】
１０１、１０２  携帯電話
１０３、６０３  送受信部
１０４  音声情報測定部
１０５  音声テキスト変換部
１０６、６０６  リッチテキスト生成部
１０７  ログ格納部
１０８、６０７  表示部
２０１  音量測定部
２０２  音調測定部
２０３  測定情報記憶部
６０４  センサ部
６０５  身体情報解析部
【図１】
2005274791.tif 000003
【図２】
2005274791.tif 000004
【図３】
2005274791.tif 000005
【図４】
2005274791.tif 000006
【図５】
2005274791.tif 000007
【図６】
2005274791.tif 000008