(57)【要約】【課題】インターネット電話で通話中に、音の途切れ、遅延が発生した場合でも、コミュニケーション効率を低下させることなく通話できる通信処理方法を提供する。【解決手段】情報端末１１９から情報端末１４９を呼び出して通話を行う場合に、情報端末１１９では、入力された音声信号から音声データ作成手段１０２により音声データを作成する。作成した音声データを音声認識手段１０３により文字データに変換し、文字データ作成手段１０４により文字データを作成する。作成した文字データを音声データと共に情報端末１４９に送信する。情報端末１４９では、音声データと共に文字データを情報端末１１９から受信する。受信した音声データは、音声出力手段１３８により音声出力し、文字データは、文字データ表示手段１３７により音声出力と共に画面に表示するようにした。【選択図】  図１
2004253856.tif 000002
【特許請求の範囲】
【請求項１】
音声入力手段と、入力された音声信号から音声データを作成する音声データ作成手段と、音声データを文字データに変換する音声認識手段と、文字データ作成手段と、音声データを送受信する音声データ送受信手段と、音声データと共に前記文字データ作成手段により作成された文字データを送受信する文字データ送受信手段と、受信した音声データを出力する音声出力手段と、受信した文字データを表示する文字データ表示手段とを備えた端末間で所定のネットワークを介して通信することを特徴とする通信処理方法。
【請求項２】
映像入力手段と、入力された映像信号から映像データを作成する映像データ作成手段と、映像データを文字データに変換する映像認識手段と、文字データ作成手段と、映像データを送受信する映像データ送受信手段と、映像データと共に前記文字データ作成手段により作成された文字データを送受信する文字データ送受信手段と、受信した映像データを出力する映像出力手段と、受信した文字データを表示する文字データ表示手段とを備えた端末間で所定のネットワークを介して通信することを特徴とする通信処理方法。
【請求項３】
音声入力手段と、入力された音声信号から音声データを作成する音声データ作成手段と、映像入力手段と、入力された映像信号から映像データを作成する映像データ作成手段と、音声データを文字データに変換する音声認識手段と、文字データ作成手段と、音声データを送受信する音声データ送受信手段と、映像データを送受信する映像データ送受信手段と、音声データと共に前記文字データ作成手段により作成された文字データを送受信する文字データ送受信手段と、受信した音声データを出力する音声出力手段と、受信した映像データを出力する映像出力手段と、受信した文字データを表示する文字データ表示手段とを備えた端末間で所定のネットワークを介して通信することを特徴とする通信処理方法。
【請求項４】
音声入力手段と、入力された音声信号から音声データを作成する音声データ作成手段と、映像入力手段と、入力された映像信号から映像データを作成する映像データ作成手段と、映像データを文字データに変換する映像認識手段と、文字データ作成手段と、音声データを送受信する音声データ送受信手段と、映像データを送受信する映像データ送受信手段と、映像データと共に前記文字データ作成手段により作成された文字データを送受信する文字データ送受信手段と、受信した音声データを出力する音声出力手段と、受信した映像データを出力する映像出力手段と、受信した文字データを表示する文字データ表示手段とを備えた端末間で所定のネットワークを介して通信することを特徴とする通信処理方法。
【請求項５】
端末が、文字データの言語を翻訳する言語翻訳手段を備え、言語翻訳手段により翻訳された文字データを送信、または受信した文字データを言語翻訳手段により翻訳することを特徴とする請求項１ないし請求項４いずれかに記載の通信処理方法。
【請求項６】
端末が、受信した音声データのデータ紛失の有無を検知する音声データ紛失検知手段と、受信した文字データを音声データに変換する音声合成手段とを備え、音声データ紛失検知手段により音声データの紛失を検知した場合、前記音声合成手段により作成された音声データを音声出力することを特徴とする請求項１または請求項３に記載の通信処理方法。
【請求項７】
端末が、受信した映像データのデータ紛失の有無を検知する映像データ紛失検知手段と、受信した文字データを音声データに変換する映像合成手段とを備え、映像データ紛失検知手段により映像データの紛失を検知した場合、前記映像合成手段により作成された映像データを映像出力することを特徴とする請求項２または請求項４に記載の通信処理方法。
【請求項８】
端末が、文字データの言語を翻訳する言語翻訳手段を備え、言語翻訳手段により翻訳された文字データを送信、または受信した文字データを言語翻訳手段により翻訳することを特徴とする請求項６または請求項７に記載の通信処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、インターネットを用いて音声・映像データの双方向通信を行うインターネット電話の通信処理方法に関する。
【０００２】
【従来の技術】
インターネットの発展により、ＩＰ網を利用して音声伝送を行うインターネット電話が普及しつつある。最近では、高圧縮映像符号化技術の進歩により、映像伝送を伴うインターネットテレビ電話も登場している。
【０００３】
インターネット電話の最もシンプルな形は、ＩＰ網に接続された２台のＰＣ（パーソナルコンピュータ）間で通話を行うものである。それ以外に、両側とも公衆網に接続された電話機を使用しているが、途中の伝送路にＩＰ網を使用している場合や、片側がＰＣで片側が電話機の形態もある。相互接続するための通信プロトコルにはＨ．３２３が採用されている。Ｈ．３２３は、ＩＴＵ−Ｔ（国際電気通信連合−標準化セクタ）において１９９６年に制定された通信プロトコルであり、サービス保証を行わないＬＡＮによるマルチメディア通信の端末機器およびサービスについて規定している。Ｈ．３２３では呼接続などは信頼性のあるトランスポート（ＴＣＰなど）を利用しているが、音声・映像伝送は遅延時間の増加を防ぐため、信頼性のないトランスポート（ＵＤＰなど）を利用している（例えば非特許文献１参照）。
【０００４】
インターネット電話では、音声もＩＰパケットという形で規格化されているため、データと混在してＩＰ網上で送受信できる。このためデータ通信と別に用意していた音声用通信回線の設備をデータ通信網に統合することが可能である。また、ホワイトボードやアプリケーション共有といったネットワークでの協調作業を支援する機能も搭載し、聴覚と視覚とによって情報伝達することも可能である。
【０００５】
一方、インターネット電話の課題として、音質の保証ができないという点がある。現在、インターネットなどのＩＰ網ではＱｏＳ（Ｑｕａｌｉｔｙ  ｏｆ  Ｓｅｒｖｉｃｅ）が保証されていないので、トラヒックが上がると、遅延が大きくなったり、パケットが消失する確率が上がり音質が悪化する。さらに、遅延により普段は知覚されないエコーも気になり出す。また、パケットの消失が起きると、音が途切れたりすることもあり、相手の声を聞きとり難い場合が生じる。
【０００６】
従来、相手の声を聞きとり難いあいまいな場合でもコミュニケーション効率を向上する手段として、受信した音声信号を文字情報に変換し視覚的に表示する方法が提案されている（例えば特許文献１参照）。
【０００７】
【非特許文献１】
ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．３２３，  ”Ｖｉｓｕａｌ  Ｔｅｌｅｐｈｏｎｅ  Ｓｙｓｔｅｍｓ  ａｎｄ  Ｅｑｕｉｐｍｅｎｔ  ｆｏｒ  Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋｓ  Ｗｈｉｃｈ  Ｐｒｏｖｉｄｅ  ａ  Ｎｏｎ−Ｇｕａｒａｎｔｅｅｄ  Ｑｕａｌｉｔｙ  ｏｆ  Ｓｅｒｖｉｃｅ，”ＩＴＵ−Ｔ，１９９６．
【特許文献１】
特開平２−１８５１５６号公報（第１図）
【０００８】
【発明が解決しようとする課題】
しかしながら、従来の方法では、受信した音声信号を文字変換して視覚的に表示するので、音声信号を受信し損ねた場合、正確な内容を文字表示できないという課題がある。そこで、本発明では音声信号を受信し損ねた場合でも、コミュニケーション効率を低下させることなく通話できる通信処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
この課題を解決するために本発明は、以下のような特徴を有する。
【００１０】
請求項１に記載の発明は、音声入力手段と、入力された音声信号から音声データを作成する音声データ作成手段と、音声データを文字データに変換する音声認識手段と、文字データ作成手段と、音声データを送受信する音声データ送受信手段と、音声データと共に前記文字データ作成手段により作成された文字データを送受信する文字データ送受信手段と、受信した音声データを出力する音声出力手段と、受信した文字データを表示する文字データ表示手段とを備えた端末間で所定のネットワークを介して通信することを特徴とする通信処理方法である。
【００１１】
送信端末では、音声認識手段により変換した文字データを音声データと共に送信し、受信端末では、音声データと共に文字データを受信する。受信した文字データは音声出力と共に画面に表示される。文字データは音声データより比較的データ量が少ないのでより確実に受信することができる。したがって、音声通話を行う際に、音の途切れや遅延が発生した場合でも、送信端末のユーザが話した内容が画面に文字表示されるので、コミュニケーション効率を低下させることなく通話することができる。
【００１２】
請求項２に記載の発明は、映像入力手段と、入力された映像信号から映像データを作成する映像データ作成手段と、映像データを文字データに変換する映像認識手段と、文字データ作成手段と、映像データを送受信する映像データ送受信手段と、映像データと共に前記文字データ作成手段により作成された文字データを送受信する文字データ送受信手段と、受信した映像データを出力する映像出力手段と、受信した文字データを表示する文字データ表示手段とを備えた端末間で所定のネットワークを介して通信することを特徴とする通信処理方法である。
【００１３】
送信端末では、映像認識手段により変換した文字データを映像データと共に送信し、受信端末では、映像データと共に文字データを受信する。受信した文字データは映像出力と共に画面に表示される。文字データは映像データより比較的データ量が少ないのでより確実に受信することができる。したがって、手話による会話を行う際に、映像の途切れや遅延が発生した場合でも、映像出力と共に送信端末のユーザが伝えたい内容が画面に文字表示されるので、コミュニケーション効率を低下させることなく通話することができる。
【００１４】
請求項３に記載の発明は、音声入力手段と、入力された音声信号から音声データを作成する音声データ作成手段と、映像入力手段と、入力された映像信号から映像データを作成する映像データ作成手段と、音声データを文字データに変換する音声認識手段と、文字データ作成手段と、音声データを送受信する音声データ送受信手段と、映像データを送受信する映像データ送受信手段と、音声データと共に前記文字データ作成手段により作成された文字データを送受信する文字データ送受信手段と、受信した音声データを出力する音声出力手段と、受信した映像データを出力する映像出力手段と、受信した文字データを表示する文字データ表示手段とを備えた端末間で所定のネットワークを介して通信することを特徴とする通信処理方法である。
【００１５】
送信端末では、音声データ、映像データと共に音声認識手段により変換した文字データを送信し、受信端末では、音声データ、映像データと共に文字データを受信する。受信した文字データは音声出力、映像出力と共に画面に表示される。文字データは音声データより比較的データ量が少ないのでより確実に受信することができる。したがって、テレビ電話を行う際に、音声の途切れや遅延が発生した場合でも、音声出力、映像出力と共に送信端末のユーザが話した内容が画面に文字表示されるので、コミュニケーション効率を低下させることなく通話することができる。
【００１６】
請求項４に記載の発明は、音声入力手段と、入力された音声信号から音声データを作成する音声データ作成手段と、映像入力手段と、入力された映像信号から映像データを作成する映像データ作成手段と、映像データを文字データに変換する映像認識手段と、文字データ作成手段と、音声データを送受信する音声データ送受信手段と、映像データを送受信する映像データ送受信手段と、映像データと共に前記文字データ作成手段により作成された文字データを送受信する文字データ送受信手段と、受信した音声データを出力する音声出力手段と、受信した映像データを出力する映像出力手段と、受信した文字データを表示する文字データ表示手段とを備えた端末間で所定のネットワークを介して通信することを特徴とする通信処理方法である。
【００１７】
送信端末では、音声データ、映像データと共に映像認識手段により変換した文字データを送信し、受信端末では、音声データ、映像データと共に文字データを受信する。受信した文字データは音声出力、映像出力と共に画面に表示される。文字データは映像データより比較的データ量が少ないのでより確実に受信することができる。したがって、テレビ電話で手話会話を行う際に、映像のコマ落ちや遅延が発生した場合でも、音声出力、映像出力と共に送信端末のユーザが伝えたい内容が受信端末に文字表示されるので、コミュニケーション効率を低下させることなく通話することができる。
【００１８】
請求項５に記載の発明は、端末が、文字データの言語を翻訳する言語翻訳手段を備え、言語翻訳手段により翻訳された文字データを送信、または受信した文字データを言語翻訳手段により翻訳することを特徴とする請求項１ないし請求項４いずれかに記載の通信処理方法である。
【００１９】
受信端末のユーザが使用する言語に応じて、送信端末で言語翻訳手段により文字データを言語変換して送信し、受信端末で、受信した文字データを画面表示することで、受信端末のユーザは、自国語で文字を読むことができるので、コミュニケーション効率をさらに向上させることができる。また、受信端末で、受信した文字データを言語翻訳手段により言語変換して画面表示することで、コミュニケーション効率をさらに向上させることもできる。
【００２０】
請求項６に記載の発明は、端末が、受信した音声データのデータ紛失の有無を検知する音声データ紛失検知手段と、受信した文字データを音声データに変換する音声合成手段とを備え、音声データ紛失検知手段により音声データの紛失を検知した場合、前記音声合成手段により作成された音声データを音声出力することを特徴とする請求項１または請求項３に記載の通信処理方法である。
【００２１】
受信端末で、受信した音声データに紛失があった場合に、受信した文字データから音声合成手段により音声データを作成して音声出力する。紛失した音声データを補い音声出力することができるので、コミュニケーション効率をさらに向上させることができる。
【００２２】
請求項７に記載の発明は、端末が、受信した映像データのデータ紛失の有無を検知する映像データ紛失検知手段と、受信した文字データを映像データに変換する映像合成手段とを備え、映像データ紛失検知手段により映像データの紛失を検知した場合、前記映像合成手段により作成された映像データを映像出力することを特徴とする請求項２または請求項４に記載の通信処理方法である。
【００２３】
受信端末で、受信した映像データに紛失があった場合に、受信した文字データから映像合成手段により映像データを作成して映像出力する。紛失した映像データを補い映像出力することができるので、コミュニケーション効率をさらに向上させることができる。
【００２４】
請求項８に記載の発明は、端末が、文字データの言語を翻訳する言語翻訳手段を備え、言語翻訳手段により翻訳された文字データを送信、または受信した文字データを言語翻訳手段により翻訳することを特徴とする請求項６または請求項７に記載の通信処理方法である。
【００２５】
受信端末のユーザが使用する言語に応じて、送信端末で言語翻訳手段により文字データを言語変換して送信し、受信端末では、受信した文字データを画面表示する。さらに音声データに紛失があった場合には、受信した文字データから音声合成手段により音声データを作成して音声出力するか、または映像データに紛失があった場合には受信した文字データから映像合成手段により映像データを作成して映像出力する。受信端末のユーザは、自国語で文字を読むことができ、かつ音声データに紛失があった場合には、自国語で音声出力され、また映像データに紛失があった場合に、映像データを補い映像出力することができるので、コミュニケーション効率をさらに向上させることができる。また、受信端末で、受信した文字データを言語翻訳手段により言語変換して画面表示し、さらに音声データに紛失があった場合に、言語変換された文字データから音声合成手段により音声データを作成して音声出力するか、または映像データに紛失があった場合には受信した文字データから映像合成手段により映像データを作成して映像出力することで、コミュニケーション効率をさらに向上させることもできる。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について、図１を用いて説明する。
【００２７】
（実施の形態１）
図１は本発明の一実施の形態による通信処理方法を示す構成図である。図１において、１０１、１３１は音声入力手段、１０２、１３２は音声データ作成手段、１０３、１３３は音声データを文字データに変換する音声認識手段、１０４、１３４は文字データ作成手段、１０５、１３５は音声データ送受信手段、１０６、１３６は文字データ送受信手段、１０７、１３７は文字データ表示手段、１０８、１３８は音声出力手段、１０９、１３９は映像入力手段、１１０、１４０は映像データ作成手段、１１１、１４１は映像データを文字データに変換する映像認識手段、１１２、１４２は映像データ送受信手段、１１３、１４３は映像出力手段、１１４、１４４は文字データの言語を翻訳する言語翻訳手段、１１５、１４５は音声データ紛失検知手段、１１６、１３６は映像データ紛失検知手段、１１７、１３７は音声合成手段、１１８、１３８は映像合成手段、１１９、１４９は同じ手段を有している情報端末であり、それぞれの手段を選択的に使用できる。情報端末１１９と情報端末１４９は、インターネット１２１を介して接続されている。
【００２８】
以上のように構成された本発明の通信処理方法について、その動作を説明する。
【００２９】
情報端末１１９から情報端末１４９を呼び出して通話を行いたいとする。
【００３０】
まず、情報端末１１９において、音声入力手段１０１、音声データ作成手段１０２、音声認識手段１０３、文字データ作成手段１０４、音声データ送受信手段１０５、文字データ送受信手段１０６、文字データ表示手段１０７、音声出力手段１０８を用い、情報端末１４９において、音声入力手段１３１、音声データ作成手段１３２、音声認識手段１３３、文字データ作成手段１３４、音声データ送受信手段１３５、文字データ送受信手段１３６、文字データ表示手段１３７、音声出力手段１３８を用いた場合について説明する。情報端末１１９では、音声入力手段１０１により音声信号が入力され、入力された音声信号から音声データ作成手段１０２により音声データが作成される。作成された音声データは音声認識手段１０３により文字データに変換され、文字データ作成手段１０４により文字データが作成される。音声データは、音声データ送受信手段１０５により情報端末１４９に送信され、文字データは、文字データ送受信手段１０６により音声データと共に情報端末１４９に送信される。
【００３１】
情報端末１４９では、音声データ送受信手段１３５と文字データ送受信手段１３６により、音声データと共に文字データが受信される。受信した音声データは、音声出力手段１３８により音声出力される。受信した文字データは、文字データ表示手段１３７により音声出力と共に画面に表示される。文字データは音声データより比較的データ量が少ないのでより確実に受信することができる。したがって、音声通話を行う際に、音の途切れや遅延が発生した場合でも、音声出力と共に送信端末のユーザが話した内容が画面に表示されるので、コミュニケーション効率を低下させることなく通話することができる。音声認識技術は公知の技術であるので説明を省略する。
【００３２】
また、情報端末１１９で、情報端末１４９のユーザが使用する言語に応じて、文字データを言語翻訳手段１１４により言語変換して送信し、情報端末１４９で、受信した文字データを文字データ表示手段１３７により画面表示することにより、情報端末１４９のユーザは、自国語で文字を読むことができる。言語翻訳技術は公知の技術であるので説明を省略する。
【００３３】
また、情報端末１４９で、情報端末１１９のユーザが使用する言語に応じて、受信した文字データを言語翻訳手段１４４により言語変換して画面表示することにより、情報端末１４９のユーザは、自国語で文字を読むことができる。
【００３４】
また、情報端末１４９で音声データ紛失検知手段１４５と、音声合成手段１４７を用いた場合には、音声データ紛失検知手段１４５により、受信した音声データの紛失を検知した場合に受信した文字データを音声合成手段１１７により音声データに変換し音声出力する。紛失した音声データを補い音声出力することができる。音声データ紛失検知手段１４５は、音声データパケットのヘッダに格納されたシーケンス番号により検知することができる。
【００３５】
また、情報端末１１９で、情報端末１４９のユーザが使用する言語に応じて、文字データを言語翻訳手段１１４により言語変換して送信し、情報端末１４９で、受信した文字データを文字データ表示手段１３７により画面表示し、さらに、情報端末１４９で音声データ紛失検知手段１４５と音声合成手段１４７を用いて、音声データ紛失検知手段１４５により受信した音声データの紛失を検知した場合に、受信した文字データを音声合成手段１４７により音声データに変換して音声出力することで、情報端末１４９のユーザは、自国語で文字を読むことができ、かつ音声データに紛失があった場合には、自国語で音声出力することができる。
【００３６】
次に、情報端末１１９において、音声入力手段１０１、音声データ作成手段１０２、音声認識手段１０３、文字データ作成手段１０４、音声データ送受信手段１０５、文字データ送受信手段１０６、文字データ表示手段１０７、音声出力手段１０８、映像入力手段１０９、映像データ作成手段１１０、映像データ送受信手段１１２を用い、情報端末１４９において、音声入力手段１３１、音声データ作成手段１３２、音声認識手段１３３、文字データ作成手段１３４、音声データ送受信手段１３５、文字データ送受信手段１３６、文字データ表示手段１３７、音声出力手段１３８、映像入力手段１３９、映像データ作成手段１４０、映像データ送受信手段１４２を用いた場合について説明する。情報端末１１９では、音声入力手段１０１により音声信号が入力され、入力された音声信号から音声データ作成手段１０２により音声データが作成される。また、映像入力手段１０９により映像信号が入力され、入力された映像信号から映像データ作成手段１１０により映像データが作成される。作成された音声データは音声認識手段１０３により文字データに変換され、文字データ作成手段１０４により文字データが作成される。音声データは音声データ送受信手段１０５により情報端末１４９に送信され、映像データは映像データ送受信手段１１２により情報端末１４９に送信され、文字データは文字データ送受信手段１０６により音声データ、映像データと共に情報端末１４９に送信される。
【００３７】
情報端末１４９では、音声データ送受信手段１３５、映像データ送受信手段１４２と文字データ送受信手段１３６により、音声データ、映像データと共に文字データが受信される。音声データは、音声出力手段１３８により音声出力される。映像データは映像出力手段１４３により映像出力される。文字データは、文字データ表示手段１３７により音声出力、映像出力と共に画面に表示される。文字データは音声データより比較的データ量が少ないのでより確実に受信することができる。したがって、テレビ電話を行う際に、音の途切れや遅延が発生した場合でも、送信端末のユーザが話した内容が画面に文字表示されるので、テレビ電話を行う場合に、コミュニケーション効率を低下させることなく通話することができる。
【００３８】
また、情報端末１１９で、情報端末１４９のユーザが使用する言語に応じて、文字データを言語翻訳手段１１４により言語変換して送信し、情報端末１４９で、受信した文字データを文字データ表示手段１３７により画面表示することで、受信端末のユーザは、自国語で文字を読むことができる。
【００３９】
また、情報端末１４９で、情報端末１１９のユーザが使用する言語に応じて、受信した文字データを言語翻訳手段１４４により言語変換して画面表示することにより、情報端末１４９のユーザは、自国語で文字を読むことができる。
【００４０】
また、情報端末１４９で音声データ紛失検知手段１４５と、音声合成手段１４７を用いた場合には、音声データ紛失検知手段１４５により、受信した音声データの紛失を検知した場合に受信した文字データを音声合成手段１１７により音声データに変換し音声出力することで、紛失した音声データを補い音声出力することができる。
【００４１】
また、情報端末１１９で、情報端末１４９のユーザが使用する言語に応じて、文字データを言語翻訳手段１１４により言語変換して送信し、情報端末１４９で、受信した文字データを文字データ表示手段１３７により画面表示し、さらに、情報端末１４９で音声データ紛失検知手段１４５と音声合成手段１４７を用いて、音声データ紛失検知手段１４５により受信した音声データの紛失を検知した場合に、受信した文字データを音声合成手段１４７により音声データに変換して音声出力することで、情報端末１４９のユーザは、自国語で文字を読むことができ、かつ音声データに紛失があった場合には、自国語で音声出力することができる。
【００４２】
次に、情報端末１１９において、文字データ作成手段１０４、文字データ送受信手段１０６、文字データ表示手段１０７、映像入力手段１０９、映像データ作成手段１１０、映像認識手段１１１、映像データ送受信手段１１２を用い、情報端末１４９において、文字データ作成手段１３４、音声データ送受信手段１３５、文字データ送受信手段１３６、文字データ表示手段１３７、映像入力手段１３９、映像データ作成手段１４０、映像認識手段１４１、映像データ送受信手段１４２を用いた場合について説明する。情報端末１１９では、映像入力手段１０９により映像信号が入力される。入力された映像信号から映像データ作成手段１１０により映像データが作成される。作成された映像データは映像認識手段１１１により文字データに変換され、文字データ作成手段１０４により文字データが作成される。映像データは、映像データ送受信手段１１２により情報端末１４９に送信され、文字データは文字データ送受信手段１０６により映像データと共に情報端末１４９に送信される。
【００４３】
情報端末１４９では、映像データ送受信手段１４２と文字データ送受信手段１３６により、映像データと共に文字データが受信される。映像データは映像出力手段１４３により映像出力される。文字データは文字データ表示手段１３７により映像出力と共に画面に表示される。文字データは映像データより比較的データ量が少ないのでより確実に受信することができる。したがって、手話で会話を行う際に、映像のコマ落ちや遅延が発生した場合でも、情報端末１１９のユーザが伝えたい内容が情報端末１４９に文字表示されるので、コミュニケーション効率を低下させることなく通話することができる。映像認識技術は公知の技術であるので説明を省略する。
【００４４】
また、情報端末１１９で、情報端末１４９のユーザが使用する言語に応じて、文字データを言語翻訳手段１１４により言語変換して送信し、情報端末１４９で、受信した文字データを文字データ表示手段１３７により画面表示することにより、受信端末のユーザは、自国語で文字を読むことができる。
【００４５】
また、情報端末１４９で、情報端末１１９のユーザが使用する言語に応じて、受信した文字データを言語翻訳手段１４４により言語変換して画面表示することにより、情報端末１４９のユーザは、自国語で文字を読むことができる。
【００４６】
また、情報端末１４９で映像データ紛失検知手段１４６と、映像合成手段１４８を用いた場合には、映像データ紛失検知手段１４６により、受信した映像データの紛失を検知した場合に受信した文字データを映像合成手段１４８より映像データに変換し映像出力することにより、紛失した映像データを補い映像出力することができる。映像データ紛失検知手段は、映像データパケットのヘッダに格納されたシーケンス番号により検知することができる。
【００４７】
また、情報端末１１９で、情報端末１４９のユーザが使用する言語に応じて、文字データを言語翻訳手段１１４により言語変換して送信し、情報端末１４９で、受信した文字データを文字データ表示手段１３７により画面表示し、さらに、情報端末１４９で映像データ紛失検知手段１４６と映像合成手段１４８を用いて、映像データ紛失検知手段１４６により受信した映像データの紛失を検知した場合に、受信した文字データを映像合成手段１４８により映像データに変換して映像出力することで、情報端末１４９のユーザは、自国語で文字を読むことができ、かつ映像データに紛失があった場合には、紛失した映像データを補い映像出力することができる。
【００４８】
最後に、情報端末１１９において、音声入力手段１０１、音声データ作成手段１０２、文字データ作成手段１０４、音声データ送受信手段１０５、文字データ送受信手段１０６、文字データ表示手段１０７、音声出力手段１０８、映像入力手段１０９、映像データ作成手段１１０、映像認識手段１１１、映像データ送受信手段１１２を用い、情報端末１４９において、音声入力手段１３１、音声データ作成手段１３２、音声認識手段１３３、文字データ作成手段１３４、音声データ送受信手段１３５、文字データ送受信手段１３６、文字データ表示手段１３７、音声出力手段１３８、映像入力手段１３９、映像データ作成手段１４０、映像認識手段１４１、映像データ送受信手段１４２を用いた場合について説明する。情報端末１１９では、音声入力手段１０１により音声信号が入力され、入力された音声信号から音声データ作成手段１０２により音声データが作成される。また、映像入力手段１０９により映像信号が入力され、入力された映像信号から映像データ作成手段１１０により映像データが作成される。作成された映像データは映像認識手段１１１により文字データに変換され、文字データ作成手段１０４により文字データが作成される。音声データは音声データ送受信手段１０５により情報端末１４９に送信され、映像データは映像データ送受信手段１１２により情報端末１４９に送信され、文字データは文字データ送受信手段１０６により音声データ、映像データと共に情報端末１４９に送信される。
【００４９】
情報端末１４９では、音声データ送受信手段１３５、映像データ送受信手段１４２と文字データ送受信手段１３６により、音声データ、映像データと共に文字データが受信される。データは、音声出力手段１３８により音声出力される。映像データは映像出力手段１４３により映像出力される。文字データは、文字データ表示手段１３７により音声出力、映像出力と共に画面に表示される。文字データは映像データより比較的データ量が少ないのでより確実に受信することができる。したがって、音の途切れや遅延が発生した場合でも、送信端末のユーザが伝えたい内容が画面に文字表示されるので、テレビ電話で音声を伴う手話会話を行う場合に、コミュニケーション効率を低下させることなく通話することができる。
【００５０】
また、情報端末１１９で、情報端末１４９のユーザが使用する言語に応じて、文字データを言語翻訳手段１１４により言語変換して送信し、情報端末１４９で、受信した文字データを文字データ表示手段１３７により画面表示することで、受信端末のユーザは、自国語で文字を読むことができる。
【００５１】
また、情報端末１４９で、情報端末１１９のユーザが使用する言語に応じて、文字データ送受信手段１３６により受信した文字データを言語翻訳手段１４４により言語変換し、文字データ表示手段１３７により画面表示することで、情報端末１４９のユーザは、自国語で文字を読むことができる。
【００５２】
また、情報端末１４９で映像データ紛失検知手段１４６と、映像合成手段１４８を用いた場合には、映像データ紛失検知手段１４６により、受信した映像データの紛失を検知した場合に受信した文字データを映像合成手段１４８より映像データに変換し映像出力することにより、紛失した映像データを補い映像出力することができる。
【００５３】
また、情報端末１１９で、情報端末１４９のユーザが使用する言語に応じて、文字データを言語翻訳手段１１４により言語変換して送信し、情報端末１４９で、受信した文字データを文字データ表示手段１３７により画面表示し、さらに、情報端末１４９で映像データ紛失検知手段１４６と映像合成手段１４８を用いて、映像データ紛失検知手段１４６により受信した映像データの紛失を検知した場合に、受信した文字データを映像合成手段１４８により映像データに変換して映像出力することで、受信端末のユーザは、自国語で文字を読むことができ、かつ映像データに紛失があった場合には、映像データを補い映像出力することができる。
【００５４】
なお、本実施の形態では、文字データ表示手段１３７が、画面に出力するものについて示したが、文字データ表示手段１３７がプリンタに表示する構成にしても良い。
【００５５】
【発明の効果】
以上のように本発明（請求項１）によれば、送信端末では、音声データと共に音声認識手段により変換した文字データを送信し、受信端末では、音声データと共に文字データを受信する。受信した文字データは音声出力と共に画面に表示される。文字データは音声データより比較的データ量が少ないのでより確実に受信することができる。したがって、音の途切れや遅延が発生した場合でも、音声出力と共に送信端末のユーザが話した内容が画面に文字表示されるので、音声通話を行う場合に、コミュニケーション効率を低下させることなく通話することができる。
【００５６】
本発明（請求項２）によれば、送信端末では、映像データと共に映像認識手段により変換した文字データを送信し、受信端末では、映像データと共に文字データを受信する。受信した文字データは映像出力と共に画面に表示される。文字データは映像データより比較的データ量が少ないのでより確実に受信することができる。したがって、映像の途切れや遅延が発生した場合でも、映像出力と共に送信端末のユーザが伝えたい内容が画面に表示されるので、手話による会話を行う場合に、コミュニケーション効率を低下させることなく通話することができる。
【００５７】
本発明（請求項３）によれば、送信端末では、音声データ、映像データと共に音声認識手段により変換した文字データを送信し、受信端末では、音声データ、映像データと共に文字データを受信する。受信した文字データは音声出力、映像出力と共に画面に表示される。文字データは音声データより比較的データ量が少ないのでより確実に受信することができる。したがって、音声の途切れや遅延が発生した場合でも、音声出力、映像出力と共に送信端末のユーザが話した内容が画面に文字表示されるので、テレビ電話を行う場合に、コミュニケーション効率を低下させることなく通話することができる。
【００５８】
本発明（請求項４）によれば、送信端末では、音声データ、映像データと共に映像認識手段により変換した文字データを送信し、受信端末では、音声データ、映像データと共に文字データを受信する。受信した文字データは音声出力、映像出力と共に画面に表示される。文字データは映像データより比較的データ量が少ないのでより確実に受信することができる。したがって、映像のコマ落ちや遅延が発生した場合でも、音声出力、映像出力と共に送信端末のユーザが伝えたい内容が受信端末に文字表示されるので、テレビ電話で音声を伴う手話会話を行う場合に、コミュニケーション効率を低下させることなく通話することができる。
【００５９】
本発明（請求項５）によれば、受信端末のユーザが使用する言語に応じて、送信端末で言語翻訳手段により文字データを言語変換して送信し、受信端末で受信した文字データを画面表示することで、受信端末のユーザは、自国語で文字を読むことができるので、コミュニケーション効率をさらに向上させることができる。また、受信端末で、受信した文字データを言語翻訳手段により言語変換して画面表示することで、コミュニケーション効率をさらに向上させることもできる。
【００６０】
本発明（請求項６）によれば、受信端末で、受信した音声データに紛失があった場合に、受信した文字データから音声合成手段により音声データを作成して音声出力する。紛失した音声データを補い音声出力することができるので、コミュニケーション効率をさらに向上させることができる。
【００６１】
本発明（請求項７）によれば、受信端末で、受信した映像データに紛失があった場合に、受信した文字データから映像合成手段により映像データを作成して映像出力する。紛失した映像データを補い映像出力することができるので、コミュニケーション効率をさらに向上させることができる。
【００６２】
本発明（請求項８）によれば、受信端末のユーザが使用する言語に応じて、送信端末で言語翻訳手段により文字データを言語変換して送信し、受信端末では、受信した文字データを画面表示する。さらに音声データに紛失があった場合には、受信した文字データから音声合成手段により音声データを作成して音声出力するか、または映像データに紛失があった場合には受信した文字データから映像合成手段により映像データを作成して映像出力する。受信端末のユーザは、自国語で文字を読むことができ、かつ音声データに紛失があった場合には、自国語で音声出力され、また映像データに紛失があった場合に、映像データを補い映像出力されるので、コミュニケーション効率をさらに向上させることができる。また、受信端末で、受信した文字データを言語翻訳手段により言語変換して画面表示し、さらに音声データに紛失があった場合に、言語変換された文字データから音声合成手段により音声データを作成して音声出力するか、または映像データに紛失があった場合には受信した文字データから映像合成手段により映像データを作成して映像出力することで、コミュニケーション効率をさらに向上させることもできる。
【図面の簡単な説明】
【図１】本発明の一実施の形態による通信処理方法を示す構成図
【符号の説明】
１０１、１３１  音声入力手段
１０２、１３２  音声データ作成手段
１０３、１３３  音声認識手段
１０４、１３４  文字データ作成手段
１０５、１３５  音声データ送受信手段
１０６、１３６  文字データ送受信手段
１０７、１３７  文字データ表示手段
１０８、１３８  音声出力手段
１０９、１３９  映像入力手段
１１０、１４０  映像データ作成手段
１１１、１４１  映像認識手段
１１２、１４２  映像データ送受信手段
１１３、１４３  映像出力手段
１１４、１４４  言語翻訳手段
１１５、１４５  音声データ紛失検知手段
１１６、１４６  映像データ紛失検知手段
１１７、１４７  音声合成手段
１１８、１４８  映像合成手段
１１９、１４９  情報端末
１２１  インターネット
【図１】
2004253856.tif 000003