(57)【要約】【課題】テレビ電話機能を有する携帯電話機において、テレビ電話の通話をテキストに変換しテキスト表示を可能とする携帯電話機を提供すること。【解決手段】テレビ電話機能付移動通信端末は、受信音声データから受信映像データを参照して抽出音声データを出力するデータ解析手段１１０と、抽出音声データを基にテキストデータに変換する手段１１１と、テキストデータに基づき文字列を表示する手段１０４とを含む。データ解析部は、受信音声データから受信映像データに含まれる通話相手の口元の動きの存在に対応して抽出音声データを出力する。データ解析手段は、受信映像に含まれる通話相手の口元の動きの不存在に対応した部分では、抽出音声データを出力しない。【選択図】      図１
2005348006.tif 000002
【特許請求の範囲】
【請求項１】
テレビ電話機能付移動通信端末であって、受信音声データから受信映像データを参照して音声データを抽出する手段と、抽出音声データを基にテキストデータに変換する手段と、前記テキストデータに基づき文字列を表示する手段とを含むテレビ電話機能付移動通信端末。
【請求項２】
前記抽出手段は、前記受信音声データから受信映像データに含まれる通話相手の口元の動きの存在に対応して抽出音声データを出力する請求項１記載のテレビ電話機能付移動通信端末。
【請求項３】
前記抽出手段は、前記受信映像に含まれる通話相手の口元の動きの不存在に対応した部分では、音声データを出力しない請求項２記載のテレビ電話機能付移動通信端末。
【請求項４】
前記抽出手段は、前記受信映像に含まれる通話相手の口元の動きが存在しても、前記受信データの音声レベルが所定レベル以下の場合には音声データの出力をしない請求項３記載のテレビ電話機能付移動通信端末。
【請求項５】
スピーカから通話音声が放射されるハンズフリー機能モードが設定されていない場合で、前記文字列表示手段を起動するテキスト表示モードが設定されている場合には、前記テキスト表示モードで動作する請求項１，２，３又は４記載のテレビ電話機能付移動通信端末。
【請求項６】
前記テキスト変換手段の供給するテキストデータを保存する記憶手段を含む請求項１、２，３又は４記載のテレビ電話機能付移動通信端末。
【請求項７】
スピーカから通話音声が放射されるハンズフリー機能モードが設定されていない場合で、前記テキストデータの保存を起動する保存モードが設定されている場合には、前記保存モードで動作する請求項６記載のテレビ電話機能付移動通信端末。
【請求項８】
テレビ電話機能付移動通信端末における音声データのテキスト表示方法であって、受信音声データから受信映像データを参照して音声データを抽出し、前記抽出音声データを基にテキストデータに変換し、前記テキストデータに基づき文字列を表示するテレビ電話機能付移動通信端末における音声データのテキスト表示方法。
【請求項９】
前記受信音声データから受信映像データに含まれる通話相手の口元の動きの存在に対応して前記音声データの抽出が行われる請求項８記載のテレビ電話機能付移動通信端末における音声データのテキスト表示方法。
【請求項１０】
前記受信映像に含まれる通話相手の口元の動きの不存在に対応した部分では、前記音声データの抽出をしない請求項９記載のテレビ電話機能付移動通信端末における音声データのテキスト表示方法。
【請求項１１】
前記受信映像に含まれる通話相手の口元の動きが存在しても、前記受信データの音声レベルが所定レベル以下の場合には前記音声データの抽出をしない請求項１０記載のテレビ電話機能付移動通信端末における音声データのテキスト表示方法。
【請求項１２】
テレビ電話機能付移動通信端末に使用する音声データのテキスト変換方法であって、受信音声データから受信映像データを参照して音声データを抽出し、前記抽出音声データを基にテキストデータに変換するテレビ電話機能付移動通信端末に使用する音声データのテキスト変換方法。
【請求項１３】
前記受信音声データから受信映像データに含まれる通話相手の口元の動きの存在に対応して前記音声データの抽出が行われる請求項１２記載のテレビ電話機能付移動通信端末に使用する音声データのテキスト変換方法。
【請求項１４】
前記受信映像に含まれる通話相手の口元の動きの不存在に対応した部分では、前記音声データの抽出をしない請求項１３記載のテレビ電話機能付移動通信端末に使用する音声データのテキスト変換方法。
【請求項１５】
前記受信映像に含まれる通話相手の口元の動きが存在しても、前記受信データの音声レベルが所定レベル以下の場合には前記音声データの抽出をしない請求項１４記載のテレビ電話機能付移動通信端末に使用する音声データのテキスト変換方法。
【請求項１６】
受信音声データから受信映像データを参照して抽出音声データを抽出する手段と、前記抽出音声データを基にテキストデータに変換する手段と、前記テキストデータに基づき文字列を表示する手段とを含むテレビ電話機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字表示機能を有するテレビ電話装置及びテレビ電話装置における受信音声データを基に文字に変換し表示する方法に関し、特にテレビ電話機能を搭載した携帯電話機、ＰＨＳ電話機、携帯情報端末等の移動通信端末等に適用して好適な文字表示機能を有するテレビ電話装置及びテレビ電話装置において受信音声データを基に文字に変換し文字を表示する方法に関する。
【背景技術】
【０００２】
最近の携帯電話機には、カメラとモニタが設置されテレビ電話機能を有するものが普及してきている。この種電話機でテレビ機能を利用して通話を行うには、カメラで自分自身を撮影すると共にモニタを見ながら通話が行われることから、テレビ電話機能を持たない電話機を使用する場合のように、使用者の頭部側面の耳に受話口が近接するように保持して通話するのは困難である。
【０００３】
このため、イヤホン付きマイクを使用し受話音をイヤホンで受け、或いは、マイクとスピーカを使用して音声をスピーカから拡声するハンズフリー機能が使用される。前者は主として受話音が周囲に漏れると他人に迷惑を及ぼし、或いは、他人に聞かれては不都合な場合など、周囲に音声が漏れると問題がある環境で使用され、後者は、周囲に音声が漏れても問題がない環境、例えば、自宅や、オフィスの個室などで使用される場合が多い。
【０００４】
通常、ＴＶ電話の着信は、移動端末機の所在場所にかかわらず発生するが、移動端末機にイヤホン付きマイクを常時装着しているユーザは少なく、また，ＴＶ電話着信を受けてからイヤホン付きマイクを装着するとＴＶ電話開始までに時間がかかるし、便利とはいえない。
【０００５】
ハンズフリー機能は、電話機自体に機能として実装するものであるから、イヤホン付きマイクのように、電話機と装着すべき別装置との関係ではなく、ボタン操作だけでＴＶ電話を利用できる。しかし、ハンズフリー機能を使用して通話を行うには、スピーカから拡声された通話相手の音声が周囲に拡がり、使用する環境によっては周囲に迷惑を及ぼし、或いは、通話内容を聞かれて不都合な場合がある。例えば、会議中にテレビ電話機能付携帯電話機に着信がある場合や、電車内で着信がある場合などである。
【０００６】
従来、音声に代えて、或いは、音声と共に表示部にテキスト表示を行うことのできる携帯電話機が提案されている。例えば、特開２００３‐１８２７８号公報（特許文献１）は、音声データを受信して音声認識によりテキストデータを出力し画面表示するものである。このテキスト表示は、聴力にハンデイキャップのあるユーザ用の携帯電話機である。
【０００７】
また、特開２００３‐１８８９４８号公報（特許文献２）は、音声出力と共にテキスト表示を行うことのできるハンデイキャップのあるユーザ用の携帯電話機を開示している。
【０００８】
これら従来技術は、特定のユーザを対象にした携帯電話機でテキスト表示するもので、一般ユーザを対象としたテレビ電話或いはテレビ電話機能を有する電話機でテキスト表示をするものではない。
【０００９】
【特許文献１】特開２００３‐１８２７８号公報
【特許文献２】特開２００３‐１８８９４８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、テレビ電話装置又はテレビ電話機能を有する移動通信端末において、受信音声データをテキストに変換しテキスト表示を可能とするテレビ電話機又はテレビ電話機能を有する移動通信端末を提供することにある。
【００１１】
本発明の別の目的は、テレビ電話装置又はテレビ電話機能を有する移動通信端末において、音声データをテキスト変換する方法及びテキスト変換された文字を表示する方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明によれば、受信音声データから受信映像データを参照して音声データを抽出する手段と、抽出音声データを基にテキストデータに変換する手段と、前記テキストデータに基づき文字列を表示する手段とを含むテレビ電話機能付移動通信端末が得られる。
【００１３】
望ましくは、前記抽出手段は、前記受信音声データから受信映像データに含まれる通話相手の口元の動きの存在に対応して抽出音声データを出力する。
【００１４】
また、望ましくは、前記抽出手段は、前記受信映像に含まれる通話相手の口元の動きの不存在に対応した部分では、抽出音声データを出力しない。
【００１５】
さらに、望ましくは、前記抽出手段は、前記受信映像に含まれる通話相手の口元の動きが存在しても、前記受信データの音声レベルが所定レベル以下の場合には抽出音声データの出力をしない。
【００１６】
望ましい態様では、テレビ電話機能付移動通信端末は、スピーカから通話音声が放射されるハンズフリー機能モードが設定されていない場合で、前記文字列表示手段を起動するテキスト表示モードが設定されている場合には、前記テキスト表示モードで動作する。
【００１７】
さらに、別の態様では、テレビ電話機能付移動通信端末は、前記テキスト変換手段の供給するテキストデータを保存する記憶手段を含む。
【００１８】
また、別の態様では、テレビ電話機能付移動通信端末は、スピーカから通話音声が放射されるハンズフリー機能モードが設定されていない場合で、前記テキストデータの保存を起動する保存モードが設定されている場合には、前記保存モードで動作する。
【００１９】
本発明によれば、また、テレビ電話機能を有する携帯移動通信端末における音声データのテキスト表示方法であって、受信音声データから受信映像データを参照して音声データを抽出し、前記抽出音声データを基にテキストデータに変換し、前記テキストデータに基づき文字列を表示するテレビ電話機能付移動通信端末における音声データのテキスト表示方法が得られる。
【００２０】
望ましくは、前記受信音声データから受信映像データに含まれる通話相手の口元の動きの存在に対応して前記音声データの抽出が行われる。さらに、望ましくは、前記受信映像に含まれる通話相手の口元の動きの不存在に対応した部分では、前記音声データの抽出をしない。
【００２１】
さらに、本発明によれば、テレビ電話機能付移動通信端末に使用する音声データのテキスト変換方法であって、受信音声データから受信映像データを参照して音声データを抽出し、前記抽出音声データを基にテキストデータに変換するテレビ電話機能付移動通信端末に使用する音声データのテキスト変換方法が得られる。
【００２２】
望ましくは、テレビ電話機能付移動通信端末に使用する音声データのテキスト変換方法では、前記受信音声データから受信映像データに含まれる通話相手の口元の動きの存在に対応して前記音声データの抽出が行われる。さらに、前記受信映像に含まれる通話相手の口元の動きの不存在に対応した部分では、前記音声データの抽出をしない。
【００２３】
また、本発明によれば、受信音声データから受信映像データを参照して抽出音声データを出力するデータ解析手段と、前記抽出音声データを基にテキストデータに変換する手段と、前記テキストデータに基づき文字列を表示する手段とを含むテレビ電話装置が得られる。
【発明の効果】
【００２４】
本発明によれば、テレビ電話装置又はテレビ電話機能付移動通信において、必要に応じてテキスト表示モードが設定できるので、通話者を撮像しながら通話相手に画像を送り、通話相手の画像をモニタに映し出し、通話相手の発話内容をテキストメッセージとして表示できるので、ハンズフリー機能を使用した通話が、周囲に迷惑を及ぼしうる環境、或いは、通話内容を聞かれて不都合な環境においても，テレビ電話を行うことができる。
【００２５】
本発明の実施の形態における音声データのテキスト変換は、音声データが存在し且つ映像データにおける口元に動きが存在する場合の音声データをテキスト変換するものであるから、送信側のＴＶ電話機が使用される環境における周囲の音をマイクでピックアップした成分が含まれる音声データのうち、映像における口元に動きがある時の音声データが抽出されてテキスト変換されるから、誤認音声データ或いは不要の音声データのテキスト変換は抑制できる。
【００２６】
また、テキストデータの保存も、送信側のＴＶ電話機が使用される環境における周囲の音をマイクでピックアップした成分が含まれる音声データのうち、口元に動きがある場合の音声データを抽出した音声データから、テキスト変換し、保存するものであるから、保存されるテキストデータから誤認テキストデータ或いは、不要のテキストデータを排除することができる。
【発明を実施するための最良の形態】
【００２７】
次に、図面を参照して本発明の実施の形態について説明する。
【００２８】
図１は本発明の実施形態に係るテレビ電話機能を携帯電話機（ＴＶ電話機と称する）で実現する場合のブロック図である。同図において、ＴＶ電話機１００は、その制御部１０１がＴＶ電話機の各機能の制御を行う。制御部１０１はＣＰＵ１０２を含みプログラムによって制御を行う。１０３は、無線部でアンテナを介して画像信号や音声信号で変調し無線帯域の高周波に変換して送信し、或いは、無線帯域の高周波から画像信号や音声信号を復調することによって外部との通信を行う。１０４は、ＬＣＤの表示部、１０５は、各種のキー等入力操作を行う操作部、１０６は、辞書データ、電話帳、アドレス帳などを記臆するメモリ部である。表示部１０４は、無線部１０１を介して通話相手のＴＶ電話機から受信した映像、通話相手の音声データをテキスト変換した文字列や、通話者本人のカメラで捕えた画像を表示する。操作部１０５は、電話・ＴＶ電話着信時に通話開始操作、ＴＶ電話の発信操作、ハンズフリー設定、テキスト表示設定等の操作を行う。１０７は、送話口／マイク、１０８はスピーカ、１０９はカメラ部である。送話口／マイク１０７は、電話・ＴＶ電話時に通話者の通話音声を入力し電気信号に変換する。スピーカ１０８は、電話・ＴＶ電話の着信音やハンズフリー設定時の通話相手の音声を出力する。カメラ１０９は、テレビ電話機能の使用時に自分自身を撮影する。さらにＴＶ電話機はデータ解析部１１０、テキスト変換部１１１を含む。データ解析部１１０は、通話相手から送られる映像信号と通話相手の音声データを解析し音声データを出力する。テキスト変換部は、データ解析部１１１で解析した音声データをテキストデータに変換する。
【００２９】
図２はＴＶ電話機の折りたたみ状態から開いて展開した状態の外観を示す平面図で、図１で説明したブロックの機能に対応する外観部分には同じ参照数字を付してある。
同図に置いて、上部パネル２００には、耳で受話音声を受けるための受話口２１、カメラ１０９、表示部１０４が配置され、表示部には通話相手の映像２２および自分カメラで撮影した自分の映像２３が表示されている。下部パネルには、送話口／マイク１０７、スピーカ１０８および各種機能のボタンが配列された操作部１０５が配置されている。そして，ＴＶ電話着信時には、操作部１０５のボタンによりＴＶ電話の通話開始や、ハンズフリー機能の設定、テキスト表示機能の設定等の操作を行う。
【００３０】
図３は、ＴＶ電話機において、テキスト表示モードに設定時の表示部での画面表示とハンズフリーモード設定時の画面表示状態を示し、前者が同図の（ａ）に、後者が同図の（ｂ）である。
【００３１】
同図（ｂ）を参照すると、ハンズフリー設定モードでは、相手通話者の映像および自分の映像に加え、ハンズフリー動作中であることを示す表示'sound'が表示部に表示されており、通話相手からの音声は受話口２１からではなく、スピーカ１０８から拡声音で放射される。ハンズフリー設定時に着信があり、開始ボタン又はＴＶボタンを押すと、通常、相手通話者は、会話を始めるのでいきなり拡声音が流れ、受話口に耳に接近させたり、イヤホンを装着しなくとも聞けるので大変便利ではあるが、公共の場では不都合な場合も多い。
【００３２】
このように不都合な環境で、ＴＶ電話の着信があったときに、通話相手の音声データを受信側でテキスト情報に変換して、表示画面に表示できるようにテキスト表示モードを設定した場合の画面表示状態および音声の出力の様子を図３の（ａ）である。同図において、操作部１０５の操作で、テキスト表示モードに設定すると、表示部１０４の表示面２５にはテキスト表示モードが設定されていることを示す'text'の表示が出ている。着信に対してテキスト表示モードを選定して、開始ボタンを押すと、相手通話者からの音声信号はテキストに変換されて、表示部のテキスト表示部分に文字列２４で示す「もしもし、鈴木で・・」のように表示される。音声は、受話口２１から流れるが、スピーカからの放射はない。テキストへの変換は、音声信号と、通話相手の映像２２を表示する映像信号とを基に行うが、その詳細については後述する。
【００３３】
したがって、本発明のＴＶ電話機は，ＴＶ電話機が位置している環境に応じて、ハンズフリーモード、テキスト表示モードを切り替えて、映像を交えて通話をすることができる。この切替は、通話中に操作部１０５を操作して適宜切り替えることができる。なお、ＴＶ電話機の使用者の音声は、送話口／マイク１０７がピックアップするが、その音声の強度は、通常電話機の使用時に発せられる普通の声であるので、通常の電話の使用が許される環境であれば、公共の場であってあっても、ハンズフリー通話時のスピーカ音に比べると音量は遥かに小さい。
【００３４】
次に、図４を参照して、音声データからテキストへの変換について説明する。本実施形態ではテキストは、受信音声データから作成するが、データ解析部１１０は、制御部１０１の制御の基で、受信された通話相手の映像と音声データとを解析する。音声データの解析は、音声データの有無及び通話相手の映像（例えば口の動き）データから、通話相手が発話を行っているかを解析する。音声データの有無及び通話相手の映像によって次の４つのパターンに分類する。
【００３５】
パターン１では、音声データが無く、通話相手の映像に動きが無い状態で、この状態では音声データの抽出はしない。したがって、テキスト変換、文字列表示は行われない。図４の（ａ）は、パターン１の状態での上部パネルの状況を示す。表示部１０４の画像表示面には通話相手の画像が表示されており、その画像で口元４１は閉じている。
【００３６】
パターン２では、音声データが有り、通話相手の映像に動きが無い状態で、この状態では、音声データは雑音と見做し、音声データの抽出はしない。したがって、テキスト変換、文字列表示は行われない。図４の（ｂ）は、パターン２で、受話口２１から音４２が発せられているが、口元４１は閉じており、この状態での音は雑音と見なす。
【００３７】
パターン３では、音声データは無く、通話相手の映像に動きがある状態である。この状態では、通話相手は発話とは異なる動き（例えば、口の動きは発生するが、音声の出力が無い欠伸など）を行っていると見做し、音声データの抽出はしない。したがって、テキスト変換、文字列表示は行われない。図４の（ｃ）は、パターン３で、口元４１は開いているが、受話音は無い。
【００３８】
パターン４では、音声データがあり、通話相手の映像に動きがある状態である。この状態では、通話相手は発話を行っていると見做し、音声データの抽出が行われる。この抽出データに基づき、テキスト変換、文字列表示が行われる。図４の（ｄ）は、受話口２１から音声４２が発せられ、口元４１が開き、相手通話者の画像の下部２４に、受信音声データをテキスト変換した文字列が表示されている。
【００３９】
なお、口元の動きの検出には、例えば、特徴点抽出等の既知の技術を用いることができる。
【００４０】
図５は、本発明のＴＶ電話機の動作を説明するためのフローチャートである。同図並びに図１、図２、図３及び図４を参照して動作について説明する。
【００４１】
ＴＶ電話機Ａは、ＴＶ電話機Ｂへの発信を行うと（ステップ５０１）、通信回線を経由して、ＴＶ電話機Ｂに着信する（ステップ５０２）。操作部１０４の開始ボタンの操作又はＴＶボタンの操作により、ＴＶ電話通話を開始する（ステップ５０３）。制御部１０１は、ハンズフリーモードに設定されているかをチックする（ステップ５０４）。ハンズフリーモードの場合には、そのモードでＴＶ電話が継続される（ステップ５１２）。したがって、通話相手からの音声は、スピーカ１０８から発せられ、相手の画像が表示面に映し出された状況でＴＶ電話通話を行う。
【００４２】
ハンズフリーモードの設定でない場合は、制御部はテキスト表示モードの設定があるかをチェックする（ステップ５０５）。テキスト表示モードの設定でない場合には、ＴＶ電話通話が継続される（ステップ５１２）。この場合のＴＶ電話では、音声は、受話口から発せられるので、画面を見ながらの通話は聞き取りにくい状況である。
【００４３】
テキスト表示モードが設定されていると、データ解析部１１０は、受信信号に音声データが存在するかをチェックする（ステップ５０６）。音声データが無い場合にはＴＶ電話の使用が継続中かをチェックし（ステップ５１１）、継続中であれば、音声データが存在するかチェックを行う（ステップ５０６）。ステップ５１１でＴＶ電話継続中でない場合には、通信切断処理を行う（ステップ５１３）。
【００４４】
ステップ５０６で音声データが存在する場合には、データ解析部１１０は、着信相手の映像で口が動いているかをチェックし（ステップ５０７）、口が動いてない場合には，ＴＶ電話継続中かをチェックするステップ５１１に行き、継続中の場合には、音声データの存在のチェック及び着信相手の映像の口元が動いているかのステップのループでの処理を実行する。
【００４５】
ステップ５０７で、着信相手の映像で口元が動いている場合には、データ解析部１１０は、音声データの抽出を行う（ステップ５０８）。音声データの抽出結果、すなわち、相手通話者が発話した音声データがテキスト変換部に供給される。テキスト変換部１１１は、抽出結果に基づき、音声認識して文字に変換し（ステップ５０９）、表示部にテキストの表示を行う（ステップ５１０）。テキストの表示処理を行うと、ＴＶ電話継続中かをチェックして（ステップ５１１）、継続中の場合には、次の音声データの存在、着信映像で口元に動きがあるかをチェックして、次々にテキストを表示していく動作が行われる。やがて，ステップ５１１でＴＶ電話が使用継続中で無い判断がされると、通信切断処理が行われ（ステップ５１３）、終了する。
【００４６】
なお、表示部１０４のテキスト表示は、図６の（ａ）に示すようなテキストの文字列が右から左へ流れるテロップ表示にしても、同図の（ｂ）のように複数行表示にしてもよい。
【００４７】
次に本発明の第２の実施形態について説明する。第１の実施形態では、音声データをテキスト変換し文字列を画面に表示したが、本実施形態では、ＴＶ電話機の内部又は外部のメモリに、テキスト情報を保存することができる。その際、単に音声データをテキストデータに変換してそれを保存するのではなく、相手通話者の口元の動作と関連ある音声データをテキストデータに変換して保存する。
【００４８】
図７は外部の記憶装置６１に保存する場合を模式的に示したもので、ＴＶ電話機の表示部１０４の画面には、通話相手の映像２２、自分のカメラで捕えた自分の映像２３の他にモード表示領域２５に保存モードであることを示す'memory'が表示されている。このモードが設定されている時には、音声データはテキスト変換され、そのテキストが記憶装置に保存される。
【００４９】
第２の実施形態においても、音声データのテキストデータへの変換は第１の実施形態の場合と同じように行われるので、第１の実施形態で用いた図１、図２、図３および図４をも併せて参照しながら、第２の実施形態の動作についての図８のフローチャートを用いて説明する。
【００５０】
ＴＶ電話機Ａは、ＴＶ電話機Ｂへの発信を行うと（ステップ８０１）、通信回線を経由して、ＴＶ電話機Ｂに着信する（ステップ８０２）。操作部１０４の開始ボタン又はＴＶボタンの操作により、ＴＶ電話通話を開始する（ステップ８０３）。制御部１０１は、ハンズフリーモードに設定されているかをチックする（ステップ８０４）。ハンズフリーモードの場合には、そのモードでＴＶ電話が継続される（ステップ８１２）。したがって、通話相手からの音声は、スピーカ１０８から発せられ、相手の画像が表示面に映し出された状況でＴＶ電話通話を行う。
【００５１】
ハンズフリーモードの設定でない場合は、制御部はメモリ保存モードの設定があるかをチェックする（ステップ８０５）。メモリ保存モードの設定でない場合には、ＴＶ電話通話が継続される（ステップ８１２）。この場合のＴＶ電話では、音声は、受話口から発せられるので、画面を見ながらの通話は聞き取りにくい状況である。
【００５２】
メモリ保存モードが設定されていると、データ解析部１１０は、受信信号に音声データが存在するかをチェックする（ステップ８０６）。音声データが無い場合にはＴＶ電話の使用が継続中かをチェックし（ステップ８１１）、継続中であれば、音声データが存在するかチェックを行い（ステップ８０６）、ループ処理を実行する。ステップ８１１でＴＶ電話継続中でない場合には、通信切断処理を行う（ステップ８１３）。
【００５３】
ステップ８０６で音声データが存在する場合には、データ解析部１１０は、着信相手の映像で口元が動いているかをチェックし（ステップ８０７）、口元が動いてない場合には，ＴＶ電話継続中かをチェックするステップ７１１に行き、継続中の場合には、音声データの存在のチェック及び着信相手の映像の口元が動いているかのステップのループでの処理を実行する。
【００５４】
ステップ８０７で、着信相手の映像で口元が動いている場合には、音声データ解析部１１０は、音声データの抽出を行う（ステップ８０８）。音声データの抽出結果、即ち、相手通話者が発話した音声データがテキスト変換部に供給される。テキスト変換部１１１は、文字列に変換し（ステップ８０９）、外部メモリ６１にテキスト情報を保存する（ステップ８１０）。次に、ＴＶ電話継続中かをチェックして（ステップ８１１）、継続中の場合には、次の音声データの存在、着信映像で口元に動きがあるかをチェックして、次々にテキスト変換してメモリに保存する動作が行われる。したがって、メモリには文字列が保存される。やがて，ステップ８１１でＴＶ電話が使用継続中で無い判断がされると、通信切断処理が行われ（ステップ８１３）、終了する。
【００５５】
第２の実施形態のようにＴＶ電話で通話メッセージをテキスト保存しておけば、音声データそのものよりデータ量が少なくできる。したがって、より多くのメッセージを保存することができる。また、テキストデータで保存しておけばドキュメントやメール等へのメッセージの再利用が可能になる。
【００５６】
また、本実施の形態の場合、音声データを単にテキストデータに変換して保存するのではなく、テキスト変換する音声データは、映像と関連付けて抽出したものである。即ち、音声データが存在し且つ映像データにおける口元に動きが存在する場合の音声データをテキスト変換するものであるから、送信側から送られる音声データには、送信側のＴＶ電話機が使用される環境における周囲の音をマイクでピックアップした成分が含まれるが、映像における口元の動きに関連で付けて口元の動きがある時の音声データが抽出されて、テキスト変換されるから、誤認音声データ或いは不要の音声データのテキスト変換は抑制される。したがって、また、保存されるテキストデータには誤認テキストデータ或いは、不要のテキストデータを排除することができる。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態を示す携帯電話機のブロック図である。
【図２】本発明の実施形態を示す携帯電話機の上部パネルを開いた平面図である。
【図３】本発明の実施形態の携帯電話機で使用するテキスト表示モード及びハンズフリーモードの状態を示す平面図である。
【図４】本発明の実施形態の携帯電話機で使用する音声と映像との関係パターンを示す模式図である。
【図５】本発明の携帯電話機の動作例を示すフローチャートである。
【図６】本発明の実施形態で使用するテキスト表示も画面表示例を示す模式図である。
【図７】本発明の第２の実施形態を模式的に示す図である。
【図８】本発明の第２の実施形態の携帯電話機の動作例を示すフローチャートである。
【符号の説明】
【００５８】
２１    受話口
２２    通話相手の画像
２３    
２４    テキスト表示領域
２５    モード表示領域
６１    外部メモリ
１００    テレビ電話機能付携帯電話機
１０１    制御部
１０３    無線部
１０４    表示部
１０５    操作部
１０８    スピーカ
１０９    カメラ
１１０    データ解析部
１１１    テキスト変換部
【図１】
2005348006.tif 000003
【図２】
2005348006.tif 000004
【図３】
2005348006.tif 000005
【図４】
2005348006.tif 000006
【図５】
2005348006.tif 000007
【図６】
2005348006.tif 000008
【図７】
2005348006.tif 000009
【図８】
2005348006.tif 000010