(57)【要約】【課題】メール添付の音声データをより容易に確認可能とし、また、通話時における通話音声と送信されてくる動画とをより容易に確認可能とする。【解決手段】メールに音声データが添付されている場合、音声認識処理部３０により音声データを音声認識してテキストデータに変換する。表示部１３には、上記メールの本文と変換されたテキストとが同一画面上に表示される。また、通話時には、音声認識処理部３０により通話音声を音声認識してテキストデータに変換する。表示部１３には、通話時に送られてくる動画と変換されたテキストとが同一画面上に表示される。また、動画を拡大して表示した場合、動画上に重ねてテキストが表示される。このとき、テキストの視認性を向上させるために、動画に画像処理を施して明度を調整する。【選択図】  図１
2005026822.tif 000002
【特許請求の範囲】
【請求項１】
音声データが添付されたメールを送受信可能な携帯電話において、
メールを作成するメール作成手段と、
前記メール作成手段により作成されたメールに添付される音声データを記憶する音声記憶手段と、
前記メールに添付された音声データを前記音声記憶手段から読み出し、音声認識して文字データに変換する音声認識手段と、
前記メール作成手段により作成されたメールと、前記音声認識手段により変換された文字データとを同一画面上に並べて表示する表示手段と
を具備することを特徴とする携帯電話。
【請求項２】
前記メールに添付された音声データを前記音声記憶手段から読み出し、音声出力する音声出力手段を具備することを特徴とする請求項１記載の携帯電話。
【請求項３】
通話時に動画データを送受信可能な携帯電話において、
前記動画データを記憶する動画記憶手段と、
通話音声を音声認識して文字データに変換する音声認識手段と、
前記動画データと前記音声認識手段により変換された文字データとを同一画面上に表示する表示手段と
を具備することを特徴とする携帯電話。
【請求項４】
前記表示手段は、前記動画データを小さいサイズで表示する場合、前記動画データと前記音声認識手段により変換された文字データと並べて表示することを特徴とする請求項３記載の携帯電話。
【請求項５】
前記動画データを表示する際に該動画を拡大する拡大手段を具備し、
前記表示手段は、
前記動画を前記拡大手段により拡大して表示している場合、前記文字データを前記拡大された動画に重ねて表示することを特徴とする請求項３記載の携帯電話。
【請求項６】
前記動画と前記文字データとを重ねて表示する際、前記動画と前記文字データとの双方が視認できるよう前記動画に対して画像処理を施す画像処理手段を具備することを特徴とする請求項５記載の携帯電話。
【請求項７】
メールと該メールに添付された音声データとを視認可能に表示する音声付き文書表示方法であって、
前記メールに添付された音声データを音声認識して文字データに変換し、
前記メールと前記変換された文字データとを同一画面上に並べて表示することを特徴とする音声付き文書表示方法。
【請求項８】
前記メールに添付された音声データを音声出力することを特徴とする請求項７記載の音声付き文書表示方法。
【請求項９】
通話時に送信されてくる動画データと通話音声とを視認可能に表示する通話音声表示方法であって、
通話音声を音声認識して文字データに変換し、
前記動画データと前記変換された文字データとを同一画面上に表示することを特徴とする通話音声表示方法。
【請求項１０】
前記動画データを小さいサイズで表示する場合、前記動画データと前記変換された文字データとを同一画面上に並べて表示することを特徴とする請求項９記載の通話音声表示方法。
【請求項１１】
前記動画データを表示する際に該動画を拡大し、
前記動画を拡大して表示する場合、前記文字データを前記拡大された動画と同一画面上に重ねて表示することを特徴とする請求項１０記載の通話音声表示方法。
【請求項１２】
前記動画と前記文字データとを重ねて表示する際、前記動画と前記文字データとの双方が視認できるよう前記動画に対して画像処理を施すことを特徴とする請求項１１記載の通話音声表示方法。
【請求項１３】
動画を表示しながらテキストを画面に重ねて表示する携帯電話において、
相手側から送信されてくる動画の明度が中間値（Ｍ）より明るいか否かを判別する第１の判別手段と、
前記第１の判別手段により動画の明度が中間値（Ｍ）より明るいと判別されたとき、更に動画の明度が中間値（Ｍ）と閾値（ＴＨ１）（ただしＭ＜ＴＨ１）との間であるか否かを判別する第２の判別手段と、
前記第２の判別手段により動画の明度が中間値（Ｍ）と閾値（ＴＨ１）との間にあると判別されたとき、動画の明度を所定量増加させる明度調整手段と
を具備したことを特徴とする携帯電話。
【請求項１４】
動画を表示しながらテキストを画面に重ねて表示する携帯電話において、
相手側から送信されてくる動画の明度が中間値（Ｍ）より暗いか否かを判別する第１の判別手段と、
前記第１の判別手段により動画の明度が中間値（Ｍ）より暗いと判別されたとき、更に動画の明度が中間値（Ｍ）と閾値（ＴＨ２）（ただしＭ＞ＴＨ２）との間であるか否かを判別する第２の判別手段と、
前記第２の判別手段により動画の明度が中間値（Ｍ）と閾値（ＴＨ２）との間にあると判別されたとき、動画の明度を所定量減少させる明度調整手段と
を具備したことを特徴とする携帯電話。
【請求項１５】
音声認識により音声データから前記テキストに生成する音声認識手段を具備することを特徴とする請求項１３または１４記載の携帯電話。
【請求項１６】
前記第１の判別手段、前記第２の判別手段、および前記明度調整手段は、前記動画の明度判別と明度の増加または減少を、フレーム毎に行ない、リアルタイムで動画の明度を調整することを特徴とする請求項１３ないし１５のいずれかに記載の携帯電話。
【請求項１７】
前記第１または第２の判別手段による動画の明度の判別結果に基づいて、画面に重ねて表示するテキストの文字色を設定する文字色設定手段を更に備えることを特徴とする請求項１３ないし１６のいずれかに記載の携帯電話。
【請求項１８】
前記文字色設定手段は、動画の明度を減少させたとき、テキストの文字色を白に設定することを特徴とする請求項１７記載の携帯電話。
【請求項１９】
動画を表示しながらテキストを画面に重ねて表示する携帯電話の表示方法において、
相手側から送信されてくる動画の明度をＢ、
明度の中間値をＭ、
所定の明るい側の閾値をＴＨ１、
所定の暗い側の閾値をＴＨ２としたとき、
動画のフレーム単位で、
ＴＨ１＞Ｂ＞Ｍ  であるときは明度Ｍを増加し、
Ｍ＞Ｂ＞ＴＨ２  であるときは明度Ｍを減少し、
前記テキストを見やすく表示するようにしたことを特徴とする携帯電話の表示方法。
【請求項２０】
前記Ｍ＞Ｂ＞ＴＨ２であるときは、更にテキストの文字色を白に設定することを特徴とする請求項１９記載の携帯電話の表示方法。
【請求項２１】
前記テキストは、相手側から送信されてきた音声データを認識して生成したことを特徴とする請求項１９または２０記載の携帯電話の表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、携帯電話、音声付き文書表示方法、通話音声表示方法および携帯電話の表示方法に関する。
【０００２】
【従来の技術】
従来、携帯電話においては、音声の録音・再生機能を備え、送信側では、録音した音声ファイルをメールに添付して送信し、受信側では、メールに添付されている音声を再生出力するものがある。また、近年、データ転送速度の向上により、携帯電話同士で、通話時に動画を送受信するものがある。この場合、ユーザは、携帯電話本体を耳に当てた状態でスピーカから通話音声を聞くことになるが、この状態では、動画を見ることができない。そこで、携帯電話本体を対面状態で把持し、イヤフォンなどを用いて通話音声を聞くとともに、対面状態の携帯電話の表示部で動画を見ることになる。
【０００３】
ところで、メールに添付されている音声を再生出力する場合や、通話時に動画を再生しつつ通話音声を出力する場合においては、音声をスピーカで出力すると、周囲の雑音が大きい場合などには、音声が聞き取りにくかったり、周囲が静かな場合などには、周りに迷惑をかけたりするという問題がある。また、イヤフォンなどを用いて音声を聞くことも考えられるが、イヤフォンを取り出して接続したりするのは手間がかかるという問題がある。そこで、音声を音声認識してテキストに変換し、テキスト文字として表示させることができれば、ユーザにとって利便性が向上すると考えられる。
【０００４】
例えば、音声を音声認識する従来技術としては、多くの画像データの中から所望する画像データを検索するために、画像データ毎に、内容が分かるような音声を録音し、それぞれの画像データに関連付け、該音声を可変速再生して目的の画像データを探す技術が提案されている（例えば特許文献１参照）。該特許文献１では、上記音声を音声認識によりテキストに変換し、該テキストを画像データのインデックスとして用いて、画像データのソート（並び替え）を行なうことが可能になっている。
【０００５】
【特許文献１】
特開２００２−４１５２９号公報
【０００６】
【発明が解決しようとする課題】
上述した特許文献１による従来技術では、音声データをテキストへ変換する音声認識技術や、音声認識したテキストによりソートを行なう技術などが開示されている。しかしながら、携帯電話でメールに添付されている音声や、通話時において動画と通話音声などについて、従来技術により、音声を音声認識してテキストに変換したとしても、携帯電話などの限られた面積（解像度）の表示部にどのように表示するかは何ら記述されていない。
【０００７】
そこで本発明は、メールに添付されている音声データを、より容易に確認することができ、また、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができる携帯電話、音声付き文書表示方法、通話音声表示方法および携帯電話の表示方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的達成のため、請求項１記載の発明による携帯電話は、音声データが添付されたメールを送受信可能な携帯電話において、メールを作成するメール作成手段と、前記メール作成手段により作成されたメールに添付される音声データを記憶する音声記憶手段と、前記メールに添付された音声データを前記音声記憶手段から読み出し、音声認識して文字データに変換する音声認識手段と、前記メール作成手段により作成されたメールと、前記音声認識手段により変換された文字データとを同一画面上に並べて表示する表示手段とを具備することを特徴とする。
【０００９】
また、好ましい態様として、例えば請求項２記載のように、請求項１記載の携帯電話において、前記メールに添付された音声データを前記音声記憶手段から読み出し、音声出力する音声出力手段を具備するようにしてもよい。
【００１０】
また、上記目的達成のため、請求項３記載の発明による携帯電話は、通話時に動画データを送受信可能な携帯電話において、前記動画データを記憶する動画記憶手段と、通話音声を音声認識して文字データに変換する音声認識手段と、前記動画データと前記音声認識手段により変換された文字データとを同一画面上に表示する表示手段とを具備することを特徴とする。
【００１１】
また、好ましい態様として、例えば請求項４記載のように、請求項３記載の携帯電話において、前記表示手段は、前記動画データを小さいサイズで表示する場合、前記動画データと前記音声認識手段により変換された文字データと並べて表示するようにしてもよい。
【００１２】
また、好ましい態様として、例えば請求項５記載のように、請求項３記載の携帯電話において、前記動画データを表示する際に該動画を拡大する拡大手段を具備し、前記表示手段は、前記動画を前記拡大手段により拡大して表示している場合、前記文字データを前記拡大された動画に重ねて表示するようにしてもよい。
【００１３】
また、好ましい態様として、例えば請求項６記載のように、請求項５記載の携帯電話において、前記動画と前記文字データとを重ねて表示する際、前記動画と前記文字データとの双方が視認できるよう前記動画に対して画像処理を施す画像処理手段を具備するようにしてもよい。
【００１４】
また、上記目的達成のため、請求項７記載の発明による音声付き文書表示方法は、メールと該メールに添付された音声データとを視認可能に表示する音声付き文書表示方法であって、前記メールに添付された音声データを音声認識して文字データに変換し、前記メールと前記変換された文字データとを同一画面上に並べて表示することを特徴とする。
【００１５】
また、好ましい態様として、例えば請求項８記載のように、請求項７記載の音声付き文書表示方法において、前記メールに添付された音声データを音声出力するようにしてもよい。
【００１６】
また、上記目的達成のため、請求項９記載の発明による通話音声表示方法は、通話時に送信されてくる動画データと通話音声とを視認可能に表示する通話音声表示方法であって、通話音声を音声認識して文字データに変換し、前記動画データと前記変換された文字データとを同一画面上に表示することを特徴とする。
【００１７】
また、好ましい態様として、例えば請求項１０記載のように、請求項９記載の通話音声表示方法において、前記動画データを小さいサイズで表示する場合、前記動画データと前記変換された文字データとを同一画面上に並べて表示するようにしてもよい。
【００１８】
また、好ましい態様として、例えば請求項１１記載のように、請求項１０記載の通話音声表示方法において、前記動画データを表示する際に該動画を拡大し、前記動画を拡大して表示する場合、前記文字データを前記拡大された動画と同一画面上に重ねて表示するようにしてもよい。
【００１９】
また、好ましい態様として、例えば請求項１２記載のように、請求項１１記載の通話音声表示方法において、前記動画と前記文字データとを重ねて表示する際、前記動画と前記文字データとの双方が視認できるよう前記動画に対して画像処理を施すようにしてもよい。
【００２０】
また、上記目的達成のため、請求項１３記載の発明による携帯電話は、動画を表示しながらテキストを画面に重ねて表示する携帯電話において、相手側から送信されてくる動画の明度が中間値（Ｍ）より明るいか否かを判別する第１の判別手段と、前記第１の判別手段により動画の明度が中間値（Ｍ）より明るいと判別されたとき、更に動画の明度が中間値（Ｍ）と閾値（ＴＨ１）（ただしＭ＜ＴＨ１）との間であるか否かを判別する第２の判別手段と、前記第２の判別手段により動画の明度が中間値（Ｍ）と閾値（ＴＨ１）との間にあると判別されたとき、動画の明度を所定量増加させる明度調整手段とを具備したことを特徴とする。
【００２１】
また、上記目的達成のため、請求項１４記載の発明による携帯電話は、動画を表示しながらテキストを画面に重ねて表示する携帯電話において、相手側から送信されてくる動画の明度が中間値（Ｍ）より暗いか否かを判別する第１の判別手段と、前記第１の判別手段により動画の明度が中間値（Ｍ）より暗いと判別されたとき、更に動画の明度が中間値（Ｍ）と閾値（ＴＨ２）（ただしＭ＞ＴＨ２）との間であるか否かを判別する第２の判別手段と、前記第２の判別手段により動画の明度が中間値（Ｍ）と閾値（ＴＨ２）との間にあると判別されたとき、動画の明度を所定量減少させる明度調整手段とを具備したことを特徴とする。
【００２２】
また、好ましい態様として、例えば請求項１５記載のように、請求項１３または１４記載の携帯電話において、音声認識により音声データから前記テキストに生成する音声認識手段を具備するようにしてもよい。
【００２３】
また、好ましい態様として、例えば請求項１６記載のように、請求項１３ないし１５のいずれかに記載の携帯電話において、前記第１の判別手段、前記第２の判別手段、および前記明度調整手段は、前記動画の明度判別と明度の増加または減少を、フレーム毎に行ない、リアルタイムで動画の明度を調整するようにしてもよい。
【００２４】
また、好ましい態様として、例えば請求項１７記載のように、請求項１３ないし１６のいずれかに記載の携帯電話において、前記第１または第２の判別手段による動画の明度の判別結果に基づいて、画面に重ねて表示するテキストの文字色を設定する文字色設定手段を更に備えることを特徴とする。
【００２５】
また、好ましい態様として、例えば請求項１８記載のように、請求項１７記載の携帯電話において、前記文字色設定手段は、動画の明度を減少させたとき、テキストの文字色を白に設定するようにしてもよい。
【００２６】
また、上記目的達成のため、請求項１９記載の発明による携帯電話の表示方法は、動画を表示しながらテキストを画面に重ねて表示する携帯電話の表示方法において、相手側から送信されてくる動画の明度をＢ、明度の中間値をＭ、所定の明るい側の閾値をＴＨ１、所定の暗い側の閾値をＴＨ２としたとき、動画のフレーム単位で、ＴＨ１＞Ｂ＞Ｍ  であるときは明度Ｍを増加し、Ｍ＞Ｂ＞ＴＨ２  であるときは明度Ｍを減少し、前記テキストを見やすく表示するようにしたことを特徴とする。
【００２７】
また、好ましい態様として、例えば請求項２０記載のように、請求項１９記載の携帯電話の表示方法において、前記Ｍ＞Ｂ＞ＴＨ２であるときは、更にテキストの文字色を白に設定するようにしてもよい。
【００２８】
また、好ましい態様として、例えば請求項２１記載のように、請求項１９または２０記載の携帯電話の表示方法において、前記テキストは、相手側から送信されてきた音声データを認識して生成してもよい。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態を、携帯電話に適用した一実施例として、図面を参照して説明する。
【００３０】
Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態による携帯電話システムの構成を示すブロック図である。図において、携帯電話（無線通信端末／データ通信装置）１ａ，１ｂは、音声録音機能を備え、録音した音声データを添付したメールをシステム（特に、後述するメールサーバ３３、６３）に送信する機能、および音声付きメールを受信する機能を備えている。該携帯電話１ａ，１ｂは、音声付きメールを作成する際、該メール本文に添付する音声を音声認識してテキストデータに変換し、メール本文とテキストデータとを一画面で確認できるように表示する。また、携帯電話１ａ，１ｂは、通話時に相手側から動画が送信されてくると、通話音声を音声認識してテキストデータに変換し、動画とテキストデータとを同一画面で確認できるように表示する。
【００３１】
また、動画再生時には、９６×８０ピクセルの動画を１２８×９６ピクセルの最大表示領域に拡大することが可能となっている。拡大方式には、動画周囲を単純に拡大する方式、動画の周囲にいくほど直線的に拡大率を大きくする方式、中央部から周囲にいくほど指数関数的に拡大率を大きくする方式などが考えられるが、いずれの場合においても、拡大により動画の視認性を低下させないため、中央部は１倍のままとする。なお、動画の拡大アルゴリズムは、周知の技術を用いるものとし説明を省略する。
【００３２】
無線基地局２，２は、公衆回線網４を介して携帯電話１ａ，１ｂのユーザが加入する通信サービス事業者（インターネットプロバイダを含む）３に接続する。通信サービス事業者（インターネットプロバイダを含む）３は、主なサービスとして提供している携帯電話サービスに必要とする交換機３４の他、後述のＷＷＷ５に接続するためのシステム（Ｗｅｂサーバ３２、ルータ３５）、メールシステム（メールサーバ３３）を備えている。無線基地局２をＡＰ（アクセス・ポイント）として、携帯電話１ａ，１ｂをＷＷＷ５に接続させるための機能も備えている。
【００３３】
公衆回線網４は、アナログ、デジタル電話回線網である。ＷＷＷ５は、所謂インターネットである。インターネットサービスプロバイダ（以下ＩＳＰと称す）６は、交換機を除いて、通信サービス事業者３と同じ構成であり、ＷＷＷ５に接続するためのシステム（便宜的にＷｅｂサーバ６２、ルータ６５）、メールシステム（メールサーバ６３）を備えている。パーソナルコンピュータ７は、公衆回線４、ＩＳＰ６を介してＷＷＷ５に接続したり、メールの送受信を行なう機能を備えている。
【００３４】
なお、本実施形態の特徴として、携帯電話１ａ，１ｂ同士では、音声付きメールを、メール本文と音声を変換したテキストとを一画面で表示するが（詳細は後述）、携帯電話１ａ，１ｂからパーソナルコンピュータ７へ音声付きメールを送信した場合、パーソナルコンピュータ７では、音声は、添付ファイルとして扱われる。すなわち、本実施形態による「音声付きメールソフトプログラム」は、一般に知られるメールソフトと互換性を持っている。
【００３５】
次に、図２（ａ），（ｂ）は、携帯電話１ａ，１ｂの外観図（開状態：正面図および背面図）である。本実施形態における携帯電話１ａ、１ｂは、蓋部と本体部からなる二つ折り構造である。アンテナ１１は、蓋部の背面に設けられており、伸縮自在となっている。スピーカ１２は、蓋部の前面側に設けられており、音声出力を行なう。表示部（メイン表示部）１３は、カラー液晶であり、例えば１２０ドット（幅）×１６０ドット（高さ）である。該表示部１３には、音声付きメールの音声（テキスト）とメール本文、通話音声（テキスト）と動画とを同一画面上に表示可能となっている。
【００３６】
キー操作部１４は、本体部の前面に設けられており、各種機能キー（メールキー１４１、アドレスキー１４２、ファンクションキー１４３）、テンキー１４４、シャッターキー１４５などからなる。メールキー１４１は、メール機能を起動し、メールメニューを表示するためのものである。アドレスキー１４２は、送信先のメールアドレスを選択する際に用いるアドレス帳を開くためのものである。ファンクションキー１４３は、音声付きメールの作成時、あるいは音声付きメールの確認時、動画の再生や一時停止などを指示するためのものである。テンキー１４４は、電話番号や文字の入力の際に使用する。シャッターキー１４５は、撮像モード時において、押圧検出で、静止画を撮影したり、所定秒（例えば２秒）の押圧維持検出で、動画を撮影したりする。
【００３７】
マイク１５は、本体部の下部に設けられており、通話時の音声入力や、録音時の音声入力を行なう。サブ表示部１６は、蓋部の背面に設けられている。背面キー１７は、透明、または半透明部材で構成され、着信の際、発光するＬＥＤ１７１を内蔵している。撮像レンズ１８は、蓋部２の背面、上記サブ表示部１６の下部に設けられている。報知スピーカ１９は、着信などを報知するものであり、蓋部を本体部に閉じた状態でも報知音が聞こえるように、本体部の裏面に配置されている。
【００３８】
次に、図３は、携帯電話１ａ，１ｂの構成を示すブロック図である。無線送受信部２０は、無線によりアンテナ１１を介して音声やデータ（メールデータ）を送受し変調／復調する。無線信号処理部２１は、無線送受信部２０で受信した音声やデータ（メールデータ）を復調し、あるいは無線送受信部２０へ送信するための音声やデータを変調するなどの無線通信に必要な処理をする。制御部２２は、各種動作および全体の動作を制御する。
【００３９】
画像メモリ２３は、撮像部（撮像レンズ１８、撮像モジュール１８１、ＤＳＰ１８２）で撮像され、画像処理プログラム領域２４１３に格納されたプログラムにより圧縮符号化された画像ファイルや、ＷＷＷ５を介してダウンロードした画像ファイルを格納するためのメモリである。ＲＯＭ２４は、書換可能なＦｌａｓｈ  ＲＯＭで構成され、本発明の特徴となる、後述の各種プログラムを格納する。
【００４０】
ドライバ２５は、表示部１３を駆動させる。ドライバ２６は、サブ表示部１６を駆動させる。加入者情報記憶部２７は、本携帯電話１を呼び出すための電話番号や、操作者（加入者）のＩＤ等、プロフィールデータを格納する。ＲＯＭ２８は、制御部１８を制御する各種プログラムなどを格納する。ＲＡＭ２９は、無線通信端末として必要な各種データを記憶し、かつ制御部２５が動作する上で必要なデータを格納するとともに、メールデータも格納記憶する。特に、本実施形態では、ＲＡＭ２９には、撮影モードにおいて、撮影中の動画を一度バッファリグするための記憶領域がある。
【００４１】
音声信号処理部２００は、マイク１５から入力された音声信号を符号化処理したり、無線信号処理部２１から出力された信号に基づいて復号化してスピーカ１２を駆動させ、音声を出力する。撮像モジュール１８１は、ＣＣＤ、若しくはＣＭＯＳで構成され、カラー画像を取り込む。ＤＳＰ１８２は、撮像モジュール１８１にて取り込まれた画像を符号化処理する。報知デバイス１９２は、報音スピーカ１９、バイブレータ１９１、ＬＥＤ１７１を駆動させるためのドライバである。音声認識処理部３０は、メールに添付されている音声データ、または通話時の相手の音声を認識してテキストデータに変換する。
【００４２】
次に、図４は、本第１実施形態による携帯電話１ａ，１ｂのＲＯＭ２４のメモリエリアの構成を示す概念図である。該ＲＯＭ２４は、本実施形態の特徴であるソフトウェアプログラムを格納する。ＲＯＭ２４は、メールソフトウェアプログラム領域２４１１、音声付きメールソフトプログラム領域２４１２、音声認識プログラム領域２４１３、およびその他のプログラム領域２４１５からなる。
【００４３】
メールソフトウェアプログラム領域２４１１は、既知のメールソフトウェアプログラムを格納する。音声付きメールソフトプログラム領域２４１２は、音声付きメールの作成、受信した音声付きメールの閲覧を行なうための音声付きメールソフトプログラムを格納する。なお、音声付きメールソフトウェアプログラムは、ＩＳＰ６を介してＷＷＷ５からダウンロードするようにしてもよい。
【００４４】
音声認識プログラム領域２４１３は、メールに添付された音声を認識し、テキストに変換する。音声データは、所定のフォーマット（例えば、ＷＡＶ形式、ＭＰ３形式、ＰＣＭ形式など）により符号化されている。その他のプログラム領域２４１４は、上記以外のアプリケーションプログラムなどを格納する。
【００４５】
次に、図５は、本第１実施形態による携帯電話１ａ，１ｂのＲＡＭ２９のメモリエリアの構成を示す概念図である。ＲＡＭ２９は、アドレス帳データ格納領域２９１、メールデータ格納領域２９２、添付ファイル格納領域２９３、その他・ワークメモリ２９４および音声データバッファ領域２９５からなる。アドレス帳データ格納領域２９１は、氏名、電話番号、メールアドレス等を一組のレコードとして複数格納する。メールデータ格納領域２９２は、メールソフトウェアを使用して作成されたメールデータや、受信したメールデータを格納する。添付ファイル格納領域２９３は、メールにファイルが添付されている場合、このファイルを格納する。その他・ワークメモリ２９４は、その他のワークメモリとして、例えば、各種データを格納する。音声データバッファ領域２９５は、録音中の音声を一度バッファリングするための記憶領域である。
【００４６】
Ａ−２．第１実施形態の動作
次に、上述した第１実施形態による携帯電話の動作について説明する。
（１）メール作成
次に、本第１実施形態によるメール作成時の動作について説明する。ここで、図６ないし図９は、本実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。また、図１０（ａ），（ｂ）は、メールに添付される音声ファイル再生例やメール本文の表示例を示す模式図である。
【００４７】
ユーザによりメール作成モードが選択されると、メールメニューを表示する（ステップＳ４０）。次に、メールメニューから新規作成が選択されたか否かを判断する（ステップＳ４２）。ここで、新規作成が選択されなかった場合には、受信ボックスが選択されたか否かを判断し（ステップＳ４４）、受信ボックスが選択されなければ、その他の処理へ進む（ステップＳ４６）。なお、受信ボックスが選択された場合、すなわち受信メールを表示するための処理については後述する。
【００４８】
一方、メールメニューから新規作成が選択されると、作成メニューを表示する（ステップＳ４８）。次に、メールメニューから音声データ付きメールが選択された否かを判断する（ステップＳ５０）。そして、音声データ付きメールが選択されなかった場合には、通常のメール処理へ進む（ステップＳ５４）。
【００４９】
一方、メールメニューから音声データ付きメールが選択された場合には、音声データ付きメールプログラムおよび音声認識プログラムをロードし（ステップＳ５６）、作成画面を表示する（ステップＳ６０）。
【００５０】
次に、作成画面において、「音声選択」、「メール作成（編集）」のいずれの項目が選択されたか否かを判断する（ステップＳ６２）。ここで、「音声選択」が選択された場合には、まず、音声ファイルを検索する（ステップＳ６４）。そして、音声ファイルがあったか否かを判断し（ステップＳ６６）、音声ファイルがなければ、音声を入力して録音し（ステップＳ６８）、録音した音声を音声ファイルとして保存し（ステップＳ７０）、ステップＳ６４の音声ファイル検索へ戻り、上述した処理を繰り返す。
【００５１】
一方、音声ファイルがあった場合には、音声ファイルをリスト表示する（ステップＳ７２）。次に、リスト表示からいずれかの音声ファイルが選択されたか否かを判断する（ステップＳ７４）。そして、選択されない場合には、ステップＳ７２に戻り、リスト表示を継続する。
【００５２】
一方、音声ファイルが選択されると、図１０（ａ）に示すように、選択された音声を再生出力し（ステップＳ７６）、音声認識処理部３０により音声データを認識し、テキストデータに変換し（ステップＳ７８）、認識したテキストデータを表示部１３に表示する（ステップＳ８０）。その後、ステップＳ６０の作成画面に戻り、上述した処理を繰り返す。
【００５３】
また、作成画面において、「メール作成・編集」が選択された場合には、まず、各項目・編集・表示を行なう画面を表示する（図８のステップＳ８２）。ユーザは、該画面において、メールのタイトル、メール送信者の名前、メール宛先、メール本文などを入力する。次に、「再生」を指示するファンクションキー１４３が操作されたか否かを判断し（ステップＳ８４）、さらに「決定」が検出されたか否かを判断する（ステップＳ８６）。そして、「再生」を指示するファンクションキー１４３の操作も「決定」もされなかった場合には、ステップＳ８２へ戻り、「各項目・編集・表示」の画面表示を継続する。
【００５４】
一方、「再生」を指示するファンクションキー１４３が操作されると、メールに添付すべき音声が選択されているか否かを判断する（ステップＳ８８）。そして、音声が選択されている場合には、図１０（ｂ）に示すように、選択された音声を再生出力し（ステップＳ９０）、音声認識処理部３０により音声データを認識し、テキストデータに変換し（ステップＳ９２）、メール本文と認識したテキストデータとを表示部１３に表示する（ステップＳ９４）。その後、ステップＳ８２に戻り、上述した処理を繰り返す。
【００５５】
また、ステップＳ８２で、各項目・編集・表示画面が表示されているとき、音声が選択されていない状態で、ステップＳ８４でファンクションキーが操作された場合には、「音声が選択されていません」というメッセージを表示する（図９のステップＳ１０６）。次に、所定時間経過したか否かを判断し（ステップＳ１０８）、所定時間経過していなければ、ステップＳ１０６へ戻り、メッセージの表示を維持する。一方、メッセージの表示が所定時間経過した場合には、メッセージを消去する（ステップＳ１１０）。その後、図６のステップＳ６０へ戻り、前述した処理を繰り返す。
【００５６】
そして、ステップＳ８２で、各項目・編集・表示画面が表示されているとき、「決定」の操作が検出されると、未記入項目があるか、あるいは音声が選択されていないかを判断する（ステップＳ１１０）。そして、未記入項目があるか、あるいは音声ファイルが選択されていない場合には、ユーザに対する確認表示を行ない（ステップＳ１１２）、「ＯＫ」が選択されたか否かを判断する（ステップＳ１１４）。そして、「ＯＫ」が選択されない場合、すなわち未記入項目があるか、音声ファイルが選択されていない場合には、図６に示すステップＳ６０へ戻り、作成画面の表示へ進む。以降、ユーザは、未記入項目への入力、あるいはメールに添付する音声ファイルを選択するなどしてメールを完成させることになる。
【００５７】
一方、ユーザへの確認表示において、「ＯＫ」が選択された場合には、未記入項目があってもよい、あるいは音声ファイルが選択されていなくてもよい、ということであるので、メールを送信ボックスに格納し（ステップＳ１１６）、図６に示すステップＳ４０のメールメニューの表示へ戻り、前述した処理を繰り返す。また、未記入項目がないか、あるいは音声ファイルが選択されている場合には、確認することなく、音声ファイルが添付されたメールを送信ボックスに格納し（ステップＳ１１６）、図６に示すステップＳ４０のメールメニューの表示へ戻り、前述した処理を繰り返す。送信ボックスに格納された音声ファイル付きメールは、所定のタイミングで送信される。
【００５８】
（２）受信メール表示処理
次に、図１１は、本第１実施形態による受信メール表示処理を説明するためのフローチャートである。なお、図１１に示すフローチャートは、前述した図６に示すステップＳ４４における「ＹＥＳ」からの分岐である。
【００５９】
受信フォルダが選択された場合には、受信したメールの一覧を表示すべく受信リストを表示する（ステップＳ２００）。ここで、図１２は、表示部１３に表示される受信リストの表示例を示す模式図である。アイコン１３０１は、バッテリの充電量を表わしている。また、アイコン１３０２は、電波受信状態を表わしている。また、受信リストでは、アイコン１３０３〜１３０６でメールの既読／未読を判別できるようになっている。すなわち、アイコン１３０３は、未読メールを表わしている。また、アイコン１３０４は、未読音声付きメールを表わしている。また、アイコン１３０５は、既読メールを表わしている。アイコン１３０６は、既読音声付きメールを表わしている。ここで、ユーザは、表示したいメールを受信リストから選択操作することになる。
【００６０】
次に、音声付きメールが選択されたか否かを判断する（ステップＳ２０２）。そして、音声付きメールが選択された場合には、音声付きメールソフトプログラムおよび音声認識プログラムをロードし（ステップＳ２０４）、音声認識処理部３０により音声データを認識し、テキストデータに変換し（ステップＳ２０６）、図１３に示すように、メール本文と認識したテキストデータとを表示部１３に表示する（ステップＳ２０８）。次に、キャンセル操作が検出されたか否かを判断し（ステップＳ２１０）、キャンセル操作が検出された場合には、ステップＳ２００へ戻り、受信リストの表示へ移行する。
【００６１】
一方、キャンセル操作が検出されなかった場合には、ファンクションキー１４３が操作されたか否かを判断する（ステップＳ２１２）。そして、ファンクションキー１４３が操作されない場合には、ステップＳ２０６へ戻り、メール本文と音声認識したテキストとの表示を継続する。
【００６２】
一方、ファンクションキー１４３が操作されると、図１３に示すように、メールに添付されていた音声ファイルを再生出力する（ステップＳ２１４）。次に、再度、ファンクションキー１４３が操作されたか否かを判断する（ステップＳ２１６）。そして、ファンクションキー１４３が操作されない場合には、ステップＳ２１２へ戻り、音声の再生出力を繰り返す。一方、音声の再生出力後に、ファンクションキー１４３が操作されると、ステップＳ２０８へ戻り、図１３に示すように、メール本文と音声認識したテキストとを表示する。
【００６３】
上述した第１実施形態では、メールに音声ファイルが添付されていた場合、該音声を音声認識によりテキストデータに変換し、メール本文とともに表示部１３に表示するようにしたので、メールに添付された音声ファイルを容易に認識可能にすることができる。
【００６４】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。本第２実施形態では、カメラ付き携帯電話において、通話時に動画（または静止画）が送信されてきた場合、通話音声（相手側）を音声認識によりテキストデータに変換し、再生表示している動画に重ねて、上記テキストを表示するようにしたものである。また、このとき、動画をそのままのサイズ（９６×８０ピクセル）で再生表示させ、該動画にテキストデータを重ねて表示したり、動画を１２８×９６ピクセルに拡大して再生表示させ、該動画にテキストデータを並べて表示したりすることが可能となっている。
【００６５】
Ｂ−１．第２実施形態の構成
本第２実施形態による携帯電話の構成は、第１実施形態で説明した図３と同様であるので説明を省略する。
【００６６】
図１４は、本第２実施形態による携帯電話１ａ，１ｂのＲＯＭ２４のメモリエリアの構成を示す概念図である。該ＲＯＭ２４は、本実施形態の特徴であるソフトウェアプログラムを格納する。ＲＯＭ２４は、動画再生プログラム領域２４１１、音声認識プログラム領域２４１３、画像処理プログラム領域２４１５、およびその他のプログラム領域２４１４からなる。
【００６７】
動画再生プログラム領域２４１１は、通話時に送信されてくる動画を再生するための動画再生プログラムを格納する。音声認識プログラム領域２４１３は、メールに添付された音声を認識し、テキストに変換する。音声データは、所定のフォーマット（例えば、ＷＡＶ形式、ＭＰ３形式、ＰＣＭ形式など）により符号化されている。
【００６８】
画像処理プログラム領域２４１５は、撮像部（撮像レンズ１８、撮像モジュール１８１、ＤＳＰ１８２）で撮像・デジタル符号化されてＲＡＭ２９にバッファリングされた動画データを、ＭＰＥＧ−４に準拠する符号化圧縮処理で圧縮ファイル化するための画像処理プログラムを格納する。また、該画像処理プログラムは、外部より受信、もしくは自機においてファイル化された動画を、再生時に、動画の周囲部を拡大し、全体として１２８×９６ピクセルの表示サイズに変更して表示するようになっている。その他のプログラム領域２４１４は、上記以外のアプリケーションプログラムなどを格納する。
【００６９】
また、図１５は、本第２実施形態による携帯電話１ａ，１ｂのＲＡＭ２９のメモリエリアの構成を示す概念図である。ＲＡＭ２９は、その他・ワークメモリ２９４、音声データバッファ領域２９５、拡大データ領域２９６、および表示バッファ２９７からなる。その他・ワークメモリ２９４は、その他のワークメモリとして、例えば、上述したデコード処理におけるフレームメモリ（３フレーム分）として用いたり、各種データを格納する。音声データバッファ領域２９５は、録音中の音声を一度バッファリングするための記憶領域である。拡大データ領域２９５は、部分拡大した動画データを格納する。表示バッファ２９６は、動画を表示する際のバッファとして用いられる。
【００７０】
次に、図１６は、本第２の実施形態による動画拡大方式を説明するための概念図である。本第２実施態様では、静止画の表示サイズは、１２８×９６ピクセルであり、動画の表示サイズは、通常、９６×８０ピクセルである。但し、本第２実施形態では、動画の視認性を向上させるために、所定の拡大方式により、１２８×９６ピクセルに拡大して表示することができるようになっている。より詳細には、図示するように、９６×８０ピクセルの動画の周囲部（図示の斜線部）を、所定の動画拡大方式（後述）に従って部分拡大し、全体として、１２８×９６ピクセルの表示領域で再生可能となっている。また、動画の停止（一時停止）時は、全体を一様拡大して１２８×９６ピクセル（Ｓｕｂ−ＱＣＩＦサイズ）で静止画として表示する。
【００７１】
次に、図１７は、本第２実施形態による動画拡大方式例を説明するための概念図である。図１７（ａ）では、中央部を１倍、周囲を３倍とし、単純に拡大する方式である。また、図１７（ｂ）では、動画の周囲にいくほど直線的に拡大率を大きくする方式である。また、図１７（ｃ）では、中央部から周囲にいくほど指数関数的に拡大率を大きくする方式である。いずれの場合においても、拡大により動画の視認性を低下させないため、中央部の拡大率は１倍のままとする。いずれの動画拡大方式を用いるかは、予め決めておいてもよいし、ユーザによって選択可能としてもよい。
【００７２】
次に、図１８および図１９は、動画拡大の方式の一例を説明するための概念図である。動画がＭＰＥＧ−４の場合、デコードする際には、図１８に示すように、前後のフレームを参照する必要があるので、通常、バッファには３フレーム分のメモリ領域が必要となる。また、部分拡大の方式としては、一例として、図１９に示すように、注目画素のデータを隣接画素に埋め込むことにより補間する補間法を用いればよい。通常、補間後のデータにフィルタ処理を施すという画像処理を加える。
【００７３】
Ｂ−２．第２実施形態の動作
次に、上述した第２実施形態による携帯電話の動作について説明する。
（１）着信動作
図２０は、本第２実施形態による携帯電話において着信時の動作を説明するためのフローチャートである。まず、待機状態において、着信したか否かを判断する（ステップＳ３００）。そして、着信すると、相手側から動画を受信したか否かを判断する（ステップＳ３０２）。ここで、動画を受信していない場合には、通常の通話処理へ進む（ステップＳ３０４）。
【００７４】
一方、動画を受信した場合には、動画再生プログラム、音声認識プログラムおよび画像処理プログラムをロードする（ステップＳ３０６）。次に、動画再生プログラムにより、受信した動画を再生する（ステップＳ３０８）。動画再生の詳細については後述する。動画再生においては、所定のファンクションキーの操作に応じて、９６×８０ピクセルで再生するか、図１７（ａ）〜（ｃ）に示す拡大方式のいずれかに従って、１２８×９６ピクセルに部分拡大して再生する。部分拡大して１２８×９６ピクセルで再生しているとき、フラグＦは「１」であり、９６×８０ピクセルで通常再生しているとき、フラグＦは「０」である。
【００７５】
次に、相手側からの通話音声を音声認識し、テキストデータに変換し（Ｓ３１０）、フラグＦが「１」であるか否かを判断する（ステップＳ３１２）。フラグＦが「１」である場合、すなわち部分拡大再生が選択されている場合には、図２１（ａ）に示すように、１２８×９６ピクセルに部分拡大された動画を背景に音声認識したテキストを重ねて表示する（ステップＳ３１４）。一方、フラグＦが「０」である場合、すなわち通常再生が選択されている場合には、図２１（ｂ）に示すように、９６×８０ピクセルの動画に対して、並列に音声認識したテキストを表示する（ステップＳ３１６）。
【００７６】
いずれの場合も、次に、オフフック（通話終了）されたか否かを判断し（Ｓ３１８）、通話が継続されている場合には、ステップＳ３０８へ戻り、動画の再生、通話音声を音声認識したテキストの表示を継続する。一方、オフフックされた場合には、回線を切断して当該処理を終了する（ステップＳ３２０）。
【００７７】
（２）動画再生
次に、上述した動画再生処理について説明する。ここで、図２２は、本第２実施形態による携帯電話において通話時に相手側から送信されてくる動画の再生動作について説明するためのフローチャートである。上述した着信動作において、通話時に動画を受信すると、図２０のステップＳ３０８における動画の再生では、以下のようにして処理が実行される。
【００７８】
まず、受信した動画データをバッファリングし（ステップＳ１６０）、デコードし（ステップＳ１６２）、フラグＦが「１」であるか否か、すなわち部分拡大表示するか否かを判断する（ステップＳ１６４）。そして、フラグＦが「１」である場合には、図１７（ａ）〜（ｃ）に示す拡大方式のいずれかに従って部分拡大処理を実行する（ステップＳ１６６）。そして、部分拡大処理した、１２８×９６ピクセルの動画をＬＣＤの表示バッファへ格納する（ステップＳ１６８）。この場合、図１６に示すように、９６×８０ピクセルの周辺部が拡大（斜線部分）されて、１２８×９６ピクセルの動画として再生され、前述した図２１（ａ）に示すように、部分拡大された再生動画上に音声認識されたテキストが重ねて表示される。
【００７９】
一方、フラグＦが「１」でない場合には、部分拡大することなく、９６×８０ピクセルのサイズのまま、動画をＬＣＤの表示バッファへ格納する（ステップＳ１６８）。この場合、９６×８０ピクセルの動画として再生され、前述した図２１（ｂ）に示すように、動画と並列に音声認識されたテキストが表示される。
【００８０】
次に、所定のファンクションキー（部分拡大←→通常を選択するキー）が押下されたか否かを判断する（ステップＳ１７０）。そして、所定のファンクションキーが押下されない場合には、図２０へ戻り、ステップＳ３１０以降へ進む。
【００８１】
一方、所定のファンクションキーが押下された場合には、フラグＦが「１」であるか否かを判断し（ステップＳ１７２）、フラグＦが「１」の場合には、「０」にし（ステップＳ１７４）、フラグＦが「０」の場合には、フラグＦを「１」とする（ステップＳ１７６）。すなわち、動画再生中（＝通話中）に、所定のファンクションキー（部分拡大←→通常を選択するキー）が押下される度に、部分拡大した再生と通常サイズの再生とが交互に実行されることになる。そして、図２０へ戻り、ステップＳ３１０以降へ進む。
【００８２】
（３）動画への音声認識によるテキストの重ね表示処理
次に、本第２実施形態による動画への音声認識によるテキストの重ね表示時の動作について説明する。ここで、図２３は、本第２実施形態による動画への音声認識によるテキストの重ね表示時の動作を説明するためのフローチャートである。上述した通話時において、ステップＳ３１４の再生動画上への音声認識によるテキストの重ね表示では、以下のようにして処理が実行される。
【００８３】
まず、相手側から送信されてくる動画（フレーム）の明度を判別する（ステップＳ１８０）。そして、動画の明度が中間値Ｍであるか否かを判断する（ステップＳ１８２）。そして、動画の明度が中間値Ｍであれば、動画の明度を所定量増やす（ステップＳ１８８）。
【００８４】
一方、動画の明度が中間値Ｍでなければ、中間値Ｍより明るいか否かを判断し（ステップＳ１８４）、中間値Ｍより明るければ、さらに、中間値Ｍと閾値ＴＨ１（中間値Ｍ＜閾値ＴＨ１）との間であるか否かを判断する（ステップＳ１８６）。そして、動画の明度が中間値Ｍと閾値ＴＨ１との間であれば、動画の明度を所定量増やす、すなわち明るくする（ステップＳ１８８）。
【００８５】
一方、動画の明度が中間値Ｍより暗ければ、さらに、中間値Ｍと閾値ＴＨ２（中間値Ｍ＞閾値ＴＨ２）との間であるか否かを判断する（ステップＳ１９０）。そして、動画の明度が中間値Ｍと閾値ＴＨ２との間であれば、動画の明度を所定量減らす、すなわち暗くする（ステップＳ１９２）。そして、表示する文字色（音声認識によるテキスト）を白に設定する（ステップＳ１９４）。また、動画の明度が閾値ＴＨ２より暗い場合には、明度を調整することなく、そのまま表示する文字色（音声認識によるテキスト）を白に設定する（ステップＳ１９４）。
【００８６】
上述したように、動画の明度を調整した後（あるいは文字色を白に設定した後）、表示部１３に、音声認識したテキストと動画とを重ねてプレビュー表示する（ステップＳ１９６）。そして、図２０に戻り、ステップＳ３１８以降へ進む。
【００８７】
このように、本第２実施形態では、明度判別によって、通話音声を音声認識したテキストの背景として表示される動画の明るさを調整することを特徴としている。ここで、図２４は、動画の明度調整について説明するための概念図である。また、図２５は、動画の明るさ（明度）が中間値Ｍ、若しくは、中間値Ｍと閾値ＴＨ１（明度７０％）の間にあるときに明度調整された動画に音声認識によるテキストを重ねて表示した場合と、動画の明るさ（明度）が中間値Ｍと閾値ＴＨ２（明度３０％）の間にあるときに明度調整された動画に音声認識によるテキストを重ねて表示した場合との模式図である。
【００８８】
動画の明るさ（明度）が、図２４に示すように、中間値Ｍ、若しくは、中間値Ｍと閾値ＴＨ１（明度７０％）の間にあるときは、この動画の明度を上げるように加工処理し、図２５（ａ）に示すように、音声認識によるテキストを重ねて表示する。一方、動画の明るさ（明度）が、図２４に示すように、中間値Ｍ以下で、中間値Ｍと閾値ＴＨ２（明度３０％）の間にあるときは、この動画の明度を下げるように加工処理し、図２５（ｂ）に示すように、音声認識によるテキストを重ねて表示する。
【００８９】
上述した第２実施形態では、通話時に動画が送られてきた場合、動画を再生するとともに、通話による相手側の音声を音声認識によりテキスト化し、該テキストを再生動画に重ねて表示したり、動画に並べて表示したりするようにしたので、通話の音声と動画との視認性を同時に向上させることができる。
【００９０】
【発明の効果】
請求項１記載の発明によれば、メール作成手段により作成されたメールに添付される音声データを音声記憶手段に記憶し、音声認識手段により、前記メールに添付された音声データを前記音声記憶手段から読み出し、音声認識して文字データに変換し、表示手段により、前記メール作成手段により作成されたメールと、前記音声認識手段により変換された文字データとを同一画面上に並べて表示するようにしたので、メールに添付されている音声データを、より容易に確認することができるという利点が得られる。
【００９１】
また、請求項２記載の発明によれば、音声出力手段により、前記メールに添付された音声データを前記音声記憶手段から読み出し、音声出力するようにしたので、メールに添付されている音声データを、より容易に確認することができるという利点が得られる。
【００９２】
また、請求項３記載の発明によれば、動画記憶手段に動画データを記憶し、音声認識手段により、通話音声を音声認識して文字データに変換し、表示手段により、前記動画データと前記文字データとを同一画面上に表示するようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【００９３】
また、請求項４記載の発明によれば、前記表示手段により、前記動画データを小さいサイズで表示する場合、前記動画データと前記文字データと並べて表示するようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【００９４】
また、請求項５記載の発明によれば、前記表示手段により、前記動画を拡大手段により拡大して表示している場合、前記文字データを前記拡大された動画に重ねて表示するようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【００９５】
また、請求項６記載の発明によれば、前記動画と前記文字データとを重ねて表示する際、画像処理手段により、前記動画と前記文字データとの双方が視認できるよう前記動画に対して画像処理を施すようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【００９６】
また、請求項７記載の発明によれば、前記メールに添付された音声データを音声認識して文字データに変換し、前記メールと前記変換された文字データとを同一画面上に並べて表示するようにしたので、メールに添付されている音声データを、より容易に確認することができるという利点が得られる。
【００９７】
また、請求項８記載の発明によれば、前記メールに添付された音声データを音声出力するようにしたので、メールに添付されている音声データを、より容易に確認することができるという利点が得られる。
【００９８】
また、請求項９記載の発明によれば、通話音声を音声認識して文字データに変換し、前記動画データと前記変換された文字データとを同一画面上に表示するようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【００９９】
また、請求項１０記載の発明によれば、前記動画データを小さいサイズで表示する場合、前記動画データと前記変換された文字データとを同一画面上に並べて表示するようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【０１００】
また、請求項１１記載の発明によれば、前記動画データを表示する際に該動画を拡大して表示する場合、前記文字データを前記拡大された動画と同一画面上に重ねて表示するようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【０１０１】
また、請求項１２記載の発明によれば、前記動画と前記文字データとを重ねて表示する際、前記動画と前記文字データとの双方が視認できるよう前記動画に対して画像処理を施すようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【０１０２】
また、請求項１３記載の発明によれば、第１の判別手段により、相手側から送信されてくる動画の明度が中間値（Ｍ）より明るいか否かを判別し、動画の明度が中間値（Ｍ）より明るいと判別されたとき、第２の判別手段により、更に動画の明度が中間値（Ｍ）と閾値（ＴＨ１）（ただしＭ＜ＴＨ１）との間であるか否かを判別し、前記第２の判別手段により動画の明度が中間値（Ｍ）と閾値（ＴＨ１）との間にあると判別されたとき、明度調整手段により、動画の明度を所定量増加させるようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【０１０３】
また、請求項１４記載の発明によれば、第１の判別手段により、相手側から送信されてくる動画の明度が中間値（Ｍ）より暗いか否かを判別し、動画の明度が中間値（Ｍ）より暗いと判別されたとき、第２の判別手段により、更に動画の明度が中間値（Ｍ）と閾値（ＴＨ２）（ただしＭ＞ＴＨ２）との間であるか否かを判別する、前記第２の判別手段により動画の明度が中間値（Ｍ）と閾値（ＴＨ２）との間にあると判別されたとき、明度調整手段により、動画の明度を所定量減少させるようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【０１０４】
また、請求項１５記載の発明によれば、音声認識手段により、音声認識により音声データから前記テキストに生成するようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【０１０５】
また、請求項１６記載の発明によれば、前記第１の判別手段、前記第２の判別手段、および前記明度調整手段により、前記動画の明度判別と明度の増加または減少を、フレーム毎に行ない、リアルタイムで動画の明度を調整するようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【０１０６】
また、請求項１７記載の発明によれば、文字色設定手段により、前記第１または第２の判別手段による動画の明度の判別結果に基づいて、画面に重ねて表示するテキストの文字色を設定するようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【０１０７】
また、請求項１８記載の発明によれば、前記文字色設定手段は、動画の明度を減少させたとき、テキストの文字色を白に設定するようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【０１０８】
また、請求項１９記載の発明によれば、相手側から送信されてくる動画の明度をＢ、明度の中間値をＭ、所定の明るい側の閾値をＴＨ１、所定の暗い側の閾値をＴＨ２としたとき、動画のフレーム単位で、ＴＨ１＞Ｂ＞Ｍ  であるときは明度Ｍを増加し、Ｍ＞Ｂ＞ＴＨ２  であるときは明度Ｍを減少し、前記テキストを見やすく表示するようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【０１０９】
また、請求項２０記載の発明によれば、前記Ｍ＞Ｂ＞ＴＨ２であるときは、更にテキストの文字色を白に設定するようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【０１１０】
また、請求項２１記載の発明によれば、前記テキストを、相手側から送信されてきた音声データを認識して生成するようにしたので、通話時における通話音声と通話時に送信されてくる動画とを、より容易に確認することができるという利点が得られる。
【図面の簡単な説明】
【図１】本発明の第１実施形態による携帯電話システムの構成を示すブロック図である。
【図２】携帯電話１ａ，１ｂの外観図（開状態：正面図および背面図）である。
【図３】携帯電話１ａ，１ｂの構成を示すブロック図である。
【図４】本第１実施形態による携帯電話１ａ，１ｂのＲＯＭ２４のメモリエリアの構成を示す概念図である。
【図５】本第１実施形態による携帯電話１ａ，１ｂのＲＡＭ２９のメモリエリアの構成を示す概念図である。
【図６】本第１実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図７】本第１実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図８】本第１実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図９】本第１実施形態による携帯電話のメール作成時の動作を説明するためのフローチャートである。
【図１０】メールに添付される音声ファイル再生例やメール本文の表示例を示す模式図である。
【図１１】本第１実施形態による受信メール表示処理を説明するためのフローチャートである。
【図１２】表示部１３に表示される受信リストの表示例を示す模式図である。
【図１３】音声ファイルが添付されているメールの表示例を示す模式図である。
【図１４】本第２実施形態による携帯電話１ａ，１ｂのＲＯＭ２４のメモリエリアの構成を示す概念図である。
【図１５】本第２実施形態による携帯電話１ａ，１ｂのＲＡＭ２９のメモリエリアの構成を示す概念図である。
【図１６】本第２の実施形態による動画拡大方式を説明するための概念図である。
【図１７】本第２実施形態による動画拡大方式例を説明するための概念図である。
【図１８】動画拡大の方式の一例を説明するための概念図である。
【図１９】表示部１３に表示される受信リストの表示例を示す模式図である。
【図２０】本第２実施形態による携帯電話において着信時の動作を説明するためのフローチャートである。
【図２１】本第２実施形態による携帯電話において通話時の動画および音声認識した音声のテキストの表示例を示す模式図である。
【図２２】本第２実施形態による携帯電話において通話時に相手側から送信されてくる動画の再生動作について説明するためのフローチャートである。
【図２３】本第２実施形態による動画への音声認識によるテキストの重ね表示時の動作を説明するためのフローチャートである。
【図２４】動画の明度調整について説明するための概念図である。また、
【図２５】明度調整された動画に音声認識によるテキストを重ねて表示した状態を示す模式図である。
【符号の説明】
１ａ，１ｂ  携帯電話
２  無線基地局
３  通信サービス事業者
３２  Ｗｅｂサーバ
３３  メールサーバ
３４  交換機
３５  ルータ
４  公衆回線網
５  ＷＷＷ
６  インターネットプロバイダ
６２  Ｗｅｂサーバ
６３  メールサーバ
６５  ルータ
７  パーソナルコンピュータ
１１  アンテナ
１２  スピーカ（音声出力手段）
１３  表示部（表示手段）
１３８  ファンクションキー
１３９  ファンクションキー
１４０  ファンクションキー
１４  キー入力部
１４１  メールキー
１４２  アドレスキー
１４３  ファンクションキー
１４４  テンキー
１４５  シャッターキー
１５  マイク
１６  サブ表示部
１７  背面キー
１７１  ＬＥＤ
１８  撮像レンズ
１９  報知スピーカ
２０  無線送受信部
２１  無線信号処理部
２２  制御部（メール作成手段、拡大手段、画像処理手段）
２３  画像メモリ
２４  Ｆｌａｓｈ  ＲＯＭ
２５，２６  ドライバ
２７  加入者情報記憶部
２８  システムＲＯＭ
２９  ＲＡＭ（記憶手段、動画記憶手段）
３０  音声認識部（音声認識手段）
１８１  撮像モジュール
１８２  ＤＳＰ
１９２  ドライバ
２００  音声信号処理部
【図１】
2005026822.tif 000003
【図２】
2005026822.tif 000004
【図３】
2005026822.tif 000005
【図４】
2005026822.tif 000006
【図５】
2005026822.tif 000007
【図６】
2005026822.tif 000008
【図７】
2005026822.tif 000009
【図８】
2005026822.tif 000010
【図９】
2005026822.tif 000011
【図１０】
2005026822.tif 000012
【図１１】
2005026822.tif 000013
【図１２】
2005026822.tif 000014
【図１３】
2005026822.tif 000015
【図１４】
2005026822.tif 000016
【図１５】
2005026822.tif 000017
【図１６】
2005026822.tif 000018
【図１７】
2005026822.tif 000019
【図１８】
2005026822.tif 000020
【図１９】
2005026822.tif 000021
【図２０】
2005026822.tif 000022
【図２１】
2005026822.tif 000023
【図２２】
2005026822.tif 000024
【図２３】
2005026822.tif 000025
【図２４】
2005026822.tif 000026
【図２５】
2005026822.tif 000027