(57)【要約】【課題】送信端末と受信端末との間で、リソースを圧迫することなく音声によるメッセージの送受信を可能とする。【解決手段】送信端末１ａは、送信者Ａが入力する音声を、送信音声データ１５１として取得する送信音声取得手段１２１と、送信音声データ１５１をテキストに変換して、送信テキストデータ１５２を生成する送信テキスト変換手段１２２と、送信テキストデータ１５２を、受信端末１ｂに向けて送信するテキスト送信手段１２３と、を備える。受信端末１ｂは、音声を再現するパラメータである声質パターンを蓄積する声質パターンキャッシュデータ１５４を記憶し、送信端末１ａが送信した送信テキストデータを、受信テキストデータ１５６として受信する受信手段１４１と、受信テキストデータ１５６を、所定の声質パターンに基づいて再生する受信音声出力手段１４３とを備える。【選択図】図１
2014022938.tif 000002
【特許請求の範囲】
【請求項１】
送信端末と受信端末との間で、音声によるメッセージの送受信を可能とする通信システムであって、
通信システムは、送信者が利用する送信端末と、受信者が利用する受信端末とを備え、
前記送信端末は、
送信者が入力する音声を、送信音声データとして取得する送信音声取得手段と、
前記送信音声データをテキストに変換して、送信テキストデータを生成する送信テキスト変換手段と、
前記送信テキストデータを、前記受信端末に向けて送信するテキスト送信手段と、を備え、
前記受信端末は、
音声を再現するパラメータである声質パターンを蓄積する声質パターンキャッシュデータを記憶する記憶装置と、
前記送信端末が送信した送信テキストデータを、受信テキストデータとして受信する受信手段と、
前記受信テキストデータを、所定の声質パターンに基づいて再生する受信音声出力手段
を備えることを特徴とする通信システム。
【請求項２】
前記通信システムは、前記送信端末および前記受信端末に接続する中継サーバをさらに備え、
前記中継サーバは、
前記送信端末が送信した前記送信テキストデータを、前記受信端末にプッシュ送信するプッシュ送信手段を備え、
前記受信端末の前記受信手段は、前記中継サーバからプッシュ送信された送信テキストデータを、前記受信テキストデータとしてプッシュ受信する
ことを特徴とする請求項１に記載の通信システム。
【請求項３】
前記送信端末の前記テキスト送信手段は、前記受信端末で再生する声質パターンの識別子も、前記受信端末に向けて送信し、
前記受信端末の前記受信音声手段は、前記送信端末から送信された声質パターンの識別子に対応する声質パターンに基づいて、前記受信テキストデータを再生する
ことを特徴とする請求項１または２に記載の通信システム。
【請求項４】
前記送信端末の前記テキスト送信手段は、前記送信音声データを、複数の送信テキストデータに分割して送信する場合、それぞれの送信テキストデータとともに、当該送信音声データの識別子と、当該送信テキストデータの識別子を送信し、
前記受信端末の前記受信手段は、所定の前記送信音声データの識別子について、全ての送信テキストデータを受信したか判定し、
前記受信音声出力手段は、前記全ての送信テキストデータを受信した場合、前記送信テキストデータの識別子に基づいて前記送信テキストデータを連結し、前記送信者の声質パターンで再生する
ことを特徴とする請求項１ないし３のいずれか１項に記載の通信システム。
【請求項５】
前記送信端末は、
前記送信者が入力する音声を解析して、送信者の前記声質パターンを学習し、学習した送信者の声質パターンを中継サーバに送信する声質パターン登録手段
をさらに備えることを特徴とする請求項１ないし４のいずれか１項に記載の通信システム。
【請求項６】
前記声質パターン登録手段は、前記送信者が前記受信者に送信するために入力する音声に基づいて、前記声質パターンを学習する
ことを特徴とする請求項５に記載の通信システム。
【請求項７】
音声によるメッセージの送受信を可能とする端末であって、
当該端末が、送信端末と通信する受信端末として機能する場合、
音声を再現するパラメータである声質パターンを蓄積する声質パターンキャッシュデータを記憶する記憶装置と、
前記送信端末が送信した送信テキストデータを、受信テキストデータとして受信する受信手段と、
前記受信テキストデータを、所定の声質パターンに基づいて再生する受信音声出力手段
を備えることを特徴とする端末。
【請求項８】
当該端末が、受信端末と通信する送信端末として機能する場合、
送信者が入力する音声を、送信音声データとして取得する送信音声取得手段と、
前記送信音声データをテキストに変換して、送信テキストデータを生成する送信テキスト変換手段と、
前記送信テキストデータを、前記受信端末に向けて送信するテキスト送信手段
をさらに備えることを特徴とする請求項７に記載の端末。
【請求項９】
当該端末が、受信端末として機能する場合、当該端末は、送信端末が送信した前記送信テキストデータを当該端末にプッシュ送信する中継サーバを介して受信し、
前記受信手段は、前記中継サーバからプッシュ送信された送信テキストデータを、前記受信テキストデータとしてプッシュ受信する
ことを特徴とする請求項７に記載の端末。
【請求項１０】
当該端末が、送信端末として機能する場合、
前記テキスト送信手段は、前記送信音声データを、複数の送信テキストデータに分割して送信する場合、それぞれの送信テキストデータとともに、当該送信音声データの識別子と、当該送信テキストデータの識別子を送信し、
当該端末が、受信端末として機能する場合、
前記受信手段は、所定の前記送信音声データの識別子について、全ての送信テキストデータを受信したか判定し、
前記受信音声出力手段は、前記全ての送信テキストデータを受信した場合、前記送信テキストデータの識別子に基づいて前記送信テキストデータを連結し、前記送信者の声質パターンで再生する
ことを特徴とする請求項８に記載の端末。
【請求項１１】
音声によるメッセージの送受信を可能とするコンピュータに用いるプログラムであって、
当該コンピュータが、受信端末と通信する送信端末として機能する場合、
送信者が入力する音声を、送信音声データとして取得する送信音声取得手段と、
前記送信音声データをテキストに変換して、送信テキストデータを生成する送信テキスト変換手段と、
前記送信テキストデータを、前記受信端末に向けて送信するテキスト送信手段として、を前記コンピュータを機能させ、
当該コンピュータが、送信端末と通信する受信端末として機能する場合、
音声を再現するパラメータである声質パターン蓄積する声質パターンキャッシュデータを記憶する記憶手段と、
前記送信端末が送信した送信テキストデータを、受信テキストデータとして受信する受信手段と、
前記受信テキストデータを、所定の声質パターンに基づいて再生する受信音声出力手段として、コンピュータを機能させるためのプログラム。
【請求項１２】
送信端末との間で、音声によるメッセージの送受信を可能とする通信方法であって、
受信端末が、音声を再現するパラメータである声質パターンを蓄積する声質パターンキャッシュデータを記憶するステップと、
前記受信端末が、送信端末が送信した送信テキストデータを、受信テキストデータとして受信するステップと、
前記受信端末が、前記受信テキストデータを、所定の声質パターンに基づいて再生するステップ
を備えることを特徴とする通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信端末と受信端末との間で、音声によるメッセージの送受信や音声通話を可能とする通信システム、端末、プログラムおよび通信方法に関する。
【背景技術】
【０００２】
近年の通信ネットワークおよび情報端末の高度化に伴い、ｓｋｙｐｅ（登録商標）やＬＩＮＥなどの、ＶｏＩＰを利用した通信アプリケーションが普及している。これらの通信アプリケーションは、パーソナルコンピュータ、スマートフォン、携帯電話機、タブレットＰＣなどの情報端末にインストールされて利用される。
【０００３】
これらの通信アプリケーションでは、移動体通信網を用いることなく、データ通信網を用いて通話できるので、近年爆発的に普及している。
【０００４】
一方、様々な音声合成技術がある（たとえば非特許文献１および非特許文献２参照。）。
【０００５】
非特許文献１は、音声波形に対するディジタル信号処理を行うことなく、人間の声を元に音声を合成する技術を開示する。非特許文献１に記載の技術は、音声を音素単位で結合して合成音声を作成するため、元の音声を発音した話者の声の特徴を、そのまま合成音声に表現することができる。このような性質により、人の声に近い、親しみの持てる音声に合成することができる。
【０００６】
非特許文献２は、特定の個人の音声データを入力すると、その音声からその人らしさ（声質や口調）を表す特徴パラメータを抽出して自動学習し、その人の音声モデルとして保存する技術を開示する。非特許文献２に記載の技術は、この特徴パラメータを特定することにより、ユーザが望む声質や口調でのテキスト音声合成を簡単に実現する。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】ＮＴＴソフトウェア株式会社、“Ｉｎｆｏ  Ｔａｌｋｅｒ  ｐｏｗｅｒｅｄ  ｂｙ  ＣＨＡＴＲ”、［online］、ＮＴＴソフトウェア株式会社、［平成２４年７月１０日検索］、インターネット＜URL：http://www.ntts.co.jp/products/infotalker/index.html＞
【非特許文献２】ＮＴＴサービスイノベーション総合研究所、“ユーザデザイン音声合成技術”、［online］、 日本電信電話株式会社、［平成２４年７月１０日検索］、インターネット＜URL：http://www.ntt.co.jp/ylab/activity/category_2/c_product_03.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来のＶｏＩＰを用いた通信アプリケーションは、多くの帯域を利用するため通信事業者において、急激なトラフィック増に対応しきれない場合が考えられる。このＶｏＩＰを利用した通信アプリケーションは、音声を各種符号化方式で圧縮しパケットに変換して送受信する。しかしながら元々は音声データであるため、圧縮後であってもデータの容量が大きく、また圧縮に時間がかかり遅延が生じる場合がある。
【０００９】
このように従来の通信アプリケーションにおいては、ＣＰＵや帯域などの多くのリソースを利用する問題があった。
【００１０】
従って本発明の目的は、送信端末と受信端末との間で、リソースを圧迫することなく音声によるメッセージの送受信を可能とする通信システム、端末、プログラムおよび通信方法を提供することである。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の第１の特徴は、送信端末と受信端末との間で、音声によるメッセージの送受信を可能とする通信システムに関する。即ち本発明の第１の特徴に係る通信システムは、送信者が利用する送信端末と、受信者が利用する受信端末とを備える。送信端末は、送信者が入力する音声を、送信音声データとして取得する送信音声取得手段と、送信音声データをテキストに変換して、送信テキストデータを生成する送信テキスト変換手段と、送信テキストデータを、受信端末に向けて送信するテキスト送信手段と、を備える。受信端末は、音声を再現するパラメータである声質パターンを蓄積する声質パターンキャッシュデータを記憶する記憶装置と、送信端末が送信した送信テキストデータを、受信テキストデータとして受信する受信手段と、受信テキストデータを、所定の声質パターンに基づいて再生する受信音声出力手段を備える。
【００１２】
ここで通信システムは、送信端末および受信端末に接続する中継サーバをさらに備えても良い。中継サーバは、送信端末が送信した送信テキストデータを、受信端末にプッシュ送信するプッシュ送信手段を備える。受信端末の受信手段は、中継サーバからプッシュ送信された送信テキストデータを、受信テキストデータとしてプッシュ受信する。
【００１３】
また、送信端末のテキスト送信手段は、受信端末で再生する声質パターンの識別子も、前記受信端末に向けて送信しても良い。この場合受信端末の受信音声手段は、送信端末から送信された声質パターンの識別子に対応する声質パターンに基づいて、受信テキストデータを再生する。
【００１４】
ここで送信端末のテキスト送信手段は、送信音声データを、複数の送信テキストデータに分割して送信する場合、それぞれの送信テキストデータとともに、当該送信音声データの識別子と、当該送信テキストデータの識別子を送信しても良い。この場合受信端末の受信手段は、所定の送信音声データの識別子について、全ての送信テキストデータを受信したか判定し、受信音声出力手段は、全ての送信テキストデータを受信した場合、送信テキストデータの識別子に基づいて送信テキストデータを連結し、送信者の声質パターンで再生する。
【００１５】
また送信端末は、送信者が入力する音声を解析して、送信者の声質パターンを学習し、学習した送信者の声質パターンを中継サーバに送信する声質パターン登録手段をさらに備えても良い。
【００１６】
また声質パターン登録手段は、送信者が受信者に送信するために入力する音声に基づいて、声質パターンを学習しても良い。
【００１７】
本発明の第２の特徴は、音声によるメッセージの送受信を可能とする端末に関する。即ち本発明の第２の特徴に係る端末が、当該端末が、送信端末と通信する受信端末として機能する場合、音声を再現するパラメータである声質パターンを蓄積する声質パターンキャッシュデータを記憶する記憶装置と、送信端末が送信した送信テキストデータを、受信テキストデータとして受信する受信手段と、受信テキストデータを、所定の声質パターンに基づいて再生する受信音声出力手段を備える。
【００１８】
ここで、当該端末が、受信端末と通信する送信端末として機能する場合、送信者が入力する音声を、送信音声データとして取得する送信音声取得手段と、送信音声データをテキストに変換して、送信テキストデータを生成する送信テキスト変換手段と、送信テキストデータを、受信端末に向けて送信するテキスト送信手段と、をさらに備える。
【００１９】
ここで当該端末が、受信端末として機能する場合、当該端末は、送信端末が送信した送信テキストデータを当該端末にプッシュ送信する中継サーバを介して受信し、受信手段は、中継サーバからプッシュ送信された送信テキストデータを、受信テキストデータとしてプッシュ受信する。
【００２０】
また端末が、送信端末として機能する場合、テキスト送信手段は、送信音声データを、複数の送信テキストデータに分割して送信する場合、それぞれの送信テキストデータとともに、当該送信音声データの識別子と、当該送信テキストデータの識別子を送信する。当該端末が、受信端末として機能する場合、受信手段は、所定の送信音声データの識別子について、全ての送信テキストデータを受信したか判定し、受信音声出力手段は、全ての送信テキストデータを受信した場合、送信テキストデータの識別子に基づいて送信テキストデータを連結し、送信者の声質パターンで再生する。
【００２１】
本発明の第３の特徴は、音声によるメッセージの送受信を可能とするコンピュータに用いるプログラムに関する。即ち本発明の第４の特徴に係るプログラムは、当該コンピュータが、受信端末と通信する送信端末として機能する場合、送信者が入力する音声を、送信音声データとして取得する送信音声取得手段と、送信音声データをテキストに変換して、送信テキストデータを生成する送信テキスト変換手段と、送信テキストデータを、前記受信端末に向けて送信するテキスト送信手段として、を前記コンピュータを機能させる。また当該コンピュータが、送信端末と通信する受信端末として機能する場合、音声を再現するパラメータである声質パターンを蓄積する声質パターンキャッシュデータを記憶する記憶手段と、送信端末が送信した送信テキストデータを、受信テキストデータとして受信する受信手段と、受信テキストデータを、所定の声質パターンに基づいて再生する受信音声出力手段として、コンピュータを機能させる。
【００２２】
本発明の第４の特徴は、送信端末との間で、音声によるメッセージの送受信を可能とする通信方法に関する。即ち本発明の第４の特徴において受信端末が、音声を再現するパラメータである声質パターンを蓄積する声質パターンキャッシュデータを記憶するステップと、受信端末が、送信端末が送信した送信テキストデータを、受信テキストデータとして受信するステップと、受信端末が、受信テキストデータを、所定の声質パターンに基づいて再生するステップを備える。
【発明の効果】
【００２３】
本発明によれば、送信端末と受信端末との間で、リソースを圧迫することなく音声によるメッセージの送受信を可能とする通信システム、端末、プログラムおよび通信方法を提供することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態に係る通信システムのシステム構成と、中継サーバのハードウェア構成および機能ブロックを説明する図である。
【図２】本発明の実施の形態に係る通信方法を説明するシーケンス図である。
【図３】本発明の実施の形態に係る端末が表示する画面の一例を説明する図である。
【図４】本発明の実施の形態に係る端末のハードウェア構成と機能ブロックを説明する図である。
【図５】本発明の実施の形態に係る端末の声質パターンキャッシュデータのデータ構造とデータの一例を説明する図である。
【図６】本発明の実施の形態に係る中継サーバの声質パターンデータのデータ構造とデータの一例を説明する図である。
【図７】本発明の第１の変形例に係る通信方法であって、受信端末が全てのテキストデータを受信した場合の処理を説明するシーケンス図である。
【図８】本発明の第１の変形例において、受信端末が受信した全てのテキストデータを説明する図である。
【図９】本発明の第１の変形例に係る通信方法であって、受信端末が一部のテキストデータを受信できなかった場合の処理を説明するシーケンス図である。
【図１０】本発明の第１の変形例において、受信端末が受信した一部のテキストデータを説明する図である。
【発明を実施するための形態】
【００２５】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。
【００２６】
（通信システム）
図１を参照して、本発明の実施の形態に係る通信システム５を説明する。通信システム５は、送信端末１ａ、受信端末１ｂおよび中継サーバ２を備える。図１に示す例では、送信者Ａが送信端末１ａを利用するとともに、受信者Ｂが受信端末１ｂを利用し、送信者が受信者Ｂに、送信者Ａの音声でメッセージを伝えたい場合を説明する。通信システム５は、送信端末１ａと受信端末１ｂとの間で、音声によるメッセージの送受信や音声通話を可能とする。
【００２７】
送信端末１ａおよび受信端末１ｂは、パーソナルコンピュータ、スマートフォン、携帯電話機、タブレットＰＣなどの情報端末である。本発明の実施の形態において、送信端末１ａおよび受信端末１ｂを特に区別しない場合、単に端末１と記載する場合がある。
【００２８】
中継サーバ２は、送信端末１ａおよび受信端末１ｂに接続し、送信端末１ａおよび受信端末１ｂとの通信を中継する。図１に示す例においては特に、中継サーバ２は、送信端末１ａが送信したデータを、受信端末１ｂにプッシュ送信する。
【００２９】
送信端末１ａ、受信端末１ｂおよび中継サーバ２は、通信ネットワーク３により相互に通信可能に接続されている。通信ネットワーク３は、移動体通信網や、インターネットなどの各種ネットワークを統合したネットワークである。
【００３０】
（通信方法）
図２を参照して本発明の実施の形態に係る通信方法を説明する。
【００３１】
まず、本発明の実施の形態に係る通信方法の利用に先立って、この通信方法を利用するユーザの音声を、中継サーバ２に登録する。具体的には、送信者Ａは、本発明の実施の形態に係る通信方法を実現するための通信アプリケーションを立ち上げる。次に送信者Ａは、図３に示すメニュー画面Ｐ１を送信端末１ａの出力装置１８０に表示し、声質登録部Ｐ１５を選択する。
【００３２】
このとき送信端末１ａは図３の音声メッセージ待機画面Ｐ２を表示し、送信者Ａの音声の入力を待機する。ステップＳ１において送信者Ａは、送信端末１ａに送信者Ａの音声で、なんらかの言葉を入力する。ここでは、声質パターンを登録するための言葉であるので、送信者Ａは、任意の言葉を音声で入力しても良いし、予め声質パターンを登録するために用意された文章を、音声で入力しても良い。
【００３３】
送信端末１ａは、送信者Ａの音声を受信すると、ステップＳ２において、送信者Ａの声質パターンを生成する。この声質パターンは、送信者Ａの声でテキストメッセージを読み上げる際に用いられる。声質パターンは、テキストメッセージに合成する送信者Ａの音声の特徴を示すパラメータや、ビットパターンなどである。ステップＳ３において送信端末１ａは、送信者ＡのユーザＩＤと、ステップＳ２で生成した声質パターンとを、中継サーバ２に送信する。受信者Ｂについても同様にステップＳ４ないしステップＳ６の処理において受信端末１ｂは、受信者ＢのユーザＩＤおよび声質パターンを、中継サーバ２に送信する。
【００３４】
中継サーバ２は、端末１からユーザＩＤおよび声質パターンを受信すると、個々の声質パターンを識別する声質パターンＩＤを付与し、受信したユーザＩＤ、声質パターンＩＤおよび声質パターンを対応づけて、中継サーバ２の声質パターンデータ２２１に記憶する。このとき中継サーバ２は、ステップＳ８において送信端末１ａに、声質パターンＩＤを送信する。送信端末１ａは、ステップＳ２で生成した声質パターンと、ステップＳ８で受信した声質パターンＩＤとを対応づけて、送信端末１ａの声質パターンキャッシュデータ１５４に記憶する。このように、送信者Ａの声質パターンの登録が完了すると、送信端末１ａは、図３の声質登録完了画面Ｐ４を表示装置に表示する。ステップＳ１０およびステップＳ１１において、受信端末１ｂについても同様に処理される。
【００３５】
ステップＳ１２以降において、送信者Ａが受信者Ｂに音声メッセージを送信する方法を説明する。ここで送信者Ａは通信アプリケーションを立ち上げ、図３に示すメニュー画面Ｐ１を送信端末１ａの出力装置１８０に表示し、会話開始部Ｐ１２を選択する。図２に示す例では、再現選択部Ｐ１３において送信者Ａの声質で再現することが指定され、連続モード選択部Ｐ１４において、連続モードがチェックされていない場合について説明する。
【００３６】
まず送信者Ａは、ステップＳ１２において、受信者Ｂに送信する音声メッセージを送信端末１ａに入力する。ステップＳ１３において送信端末１ａは、ステップＳ１２で入力された音声メッセージを、音声認識技術によりテキストに変換し、送信テキストデータ１５２を生成する。
【００３７】
ここで送信端末１ａは、図３の送信画面Ｐ３を表示する。送信画面Ｐ３は、ステップＳ１３で生成した送信テキストデータ１５２を表示する送信テキスト編集部Ｐ３１を備える。送信テキスト編集部Ｐ３１によって送信者Ａは、送信者Ａが入力した音声メッセージが、正しくテキスト変換されているかを確認することができる。正しく変換されていない場合、送信者Ａは、送信テキスト編集部Ｐ３１に表示された送信テキストデータ１５２を編集することができる。受信者Ｂに送信するべき送信テキストデータ１５２が完成すると、送信者Ａは送信指示部Ｐ３２を選択する。
【００３８】
その後ステップＳ１４において送信端末１ａは、ステップＳ１２で生成した送信テキストデータ１５２を中継サーバ２に送信する。このとき送信端末１ａは、受信者Ｂを識別する受信者ＩＤ、送信者Ａを識別する送信者ＩＤおよび送信テキストデータ１５２を受信端末１ｂで再生する際の声質パターンＩＤとともに、送信テキストデータ１５２を中継サーバ２に送信する。送信端末１ａは、送信テキストデータ１５２を圧縮してさらにデータ容量を減らして中継サーバ２に送信しても良く、また送信テキストデータ１５２が長い場合、複数のデータに分割して送信しても良い。送信者Ａは、受信端末１ｂが、送信者Ａの声質でメッセージを読み上げることを指定しているので、送信端末１ａは、ステップＳ１４において、声質パターンＩＤとして、送信者Ａの声質パターンＩＤを送信する。
【００３９】
中継サーバ２は、送信端末１ａから送信テキストデータを受信すると、ステップＳ１５において受信端末１ｂにプッシュ送信する。まず、中継サーバ２は、送信端末１ａから受信した送信テキストデータを受信端末１ｂに送信する。受信端末１ｂは、送信テキストデータを受信すると、ステップＳ１６において受信確認を中継サーバ２に送信する。中継サーバ２は、所定時間内に受信端末１ｂから受信確認を受信した場合、ステップＳ１５において送信した送信テキストデータが受信端末１ｂで受信されたことを把握し、この送信テキストデータのプッシュ送信を終了する。一方所定時間内に受信端末１ｂから受信確認を受信しない場合、中継サーバ２は、再度送信テキストデータを受信端末１ｂに送信する。中継サーバ２は、受信端末１ｂから受信確認を受信するか、所定条件を満たすまで、送信テキストデータの再送を繰り返す。
【００４０】
ここで受信端末１ｂは、中継サーバ２から送信された送信テキストメッセージを処理する。具体的には、受信端末１ｂが送信者Ａの声質パターンを保持していない場合、ステップＳ１７において受信端末１ｂは、中継サーバ２に送信者の声質パターンＩＤを送信し、声質パターンを問い合わせる。中継サーバ２は、ステップＳ７で登録した声質パターンデータ２２１から送信者Ａの声質パターンＩＤに対応づけられた声質パターンを抽出し、ステップＳ１８において受信端末１ｂに送信する。ステップＳ１８において受信端末１ｂは、ステップＳ１９で受信した声質パターンを、声質パターンＩＤに対応づけて、声質パターンキャッシュデータ１５４に記憶する。予め声質パターンキャッシュデータ１５４が送信者Ａの声質パターンを保持している場合、ステップＳ１７ないしステップＳ１９の処理は割愛しても良い。
【００４１】
ステップＳ２０において受信端末１ｂは、ステップＳ１６で受信した送信テキストデータを、ステップＳ１９で記憶した送信者Ａの声質パターンで読み上げた受信音声データ１５７を生成する。ステップＳ２１において受信端末１ｂは、その受信音声データ１５７をスピーカーなどから出力し、受信者Ｂに認識させる。ここで、送信テキストデータが圧縮されて送信された場合、受信端末１ｂは復号してテキストデータに変換した後、受信音声データ１５７を生成する。
【００４２】
図２および図３に示した例では、一人のユーザに送信する場合を説明したがこれに限られない。たとえばメールなどと同様に、一度の操作で、複数のユーザを受信者に指定して送信しても良いし、複数のユーザをひとまとめにしたグループ／会議室を受信者に指定して送信しても良い。
【００４３】
このように本発明の実施の形態に係る通信方法は、送信者Ａが入力した音声メッセージをテキストデータに変換し、変換したテキストデータを受信端末１ｂ送信する。受信端末１ｂはテキストデータを受信すると、受信端末１ｂが送信者Ａの声質パターンと合成し、送信者Ａの声質で再生する。ここで、送信端末１ａおよび受信端末１ｂ間のデータ転送はテキストデータとなるので、音声データを転送する場合と比べて、データ容量を低減することができる。これにより、狭帯域かつ不安定なネットワークでも、安定して会話を成立させることができる。
【００４４】
また送信端末１ａおよび受信端末１ｂ間のデータ転送はテキストデータであるので、テキストデータを送受信可能であれば、ＨＴＴＰなどのどのようなプロトコルを用いても良く、ＶｏＩＰのように特定の複雑なプロトコルや、複数のプロトコルを用いる必要はない。従って、たとえばブラウザを用いてウェブサーバに接続可能な端末であれば、端末１はどのような端末であっても良く、また、あらゆる通信ネットワークにも適用することができる。さらに、音声メッセージを変換した後のテキストデータを翻訳することにより、音声メッセージを様々な言語に変換して出力することもできる。
【００４５】
また本発明の実施の形態に係る通信方法は、サーバプッシュ技術を用いて送信テキストデータを受信端末１ｂに送信することにより、通話の様に、リアルタイムのデータを送信し、出力することができる。これにより、ＩＴリテラシー格差を吸収し、狭帯域かつ不安定な通信ネットワークでも会話を成立させることができる。
【００４６】
（端末）
図４を参照して、本発明の実施の形態に係る端末１を説明する。端末１は、中央処理制御装置１１０、記憶装置１５０、入力装置１６０、通信制御装置１７０および出力装置１８０を備える一般的な情報処理端末である。
【００４７】
ここで入力装置１６０は、ユーザが入力した指示を中央処理制御装置１１０に入力する。本発明の実施の形態では特に、入力装置１６０は、マイクであって、ユーザが入力した音声メッセージを受信し、その音声メッセージを中央処理制御装置１１０に入力する。また入力装置１６０は、キーボード、マウス、タッチパネルなどであって、音声メッセージから変換された送信テキストを編集するなど、図３に示す各画面に指示を入力する。
【００４８】
出力装置１８０は、中央処理制御装置１１０の処理結果を出力する。本発明の実施の形態では特に、出力装置１８０は、スピーカーであって、送信者Ａが入力した音声メッセージを変換した送信テキストデータ１５２を、送信者の声質を表す声質パターンに基づいて読み上げた音声メッセージを出力する。また出力装置１８０は、ディスプレイであって、図３に示す画面を表示してユーザに認識させる。
【００４９】
通信制御装置１７０は、端末１を中継サーバ２に接続するためのインタフェースである。中央処理制御装置１１０は、入力装置１６０や通信制御装置１７０から入力されたデータを処理するとともに、その処理結果を出力装置１８０や通信制御装置１７０に出力する。記憶装置１５０は、端末１の中央処理制御装置１１０が実行するプログラムを記憶するとともに、中央処理制御装置１１０の処理の結果得られるデータや、処理の際に読み出されるデータを記憶する。
【００５０】
本発明の実施の形態に係る端末１は、中央処理制御装置１１０が所定の処理を実行するプログラムを実行することにより、図４に示す各手段およびデータを実装する。
【００５１】
記憶装置１５０は、送信音声データ１５１、送信テキストデータ１５２、送信データ１５３、声質パターンキャッシュデータ１５４、受信データ１５５、受信テキストデータ１５６および受信音声データ１５７を記憶する。中央処理制御装置１１０は、送信手段１２０、声質パターン登録手段１３０および受信手段１４０を備える。端末１が送信端末１ａとして機能する場合、送信音声データ１５１、送信テキストデータ１５２、送信データ１５３、声質パターンキャッシュデータ１５４および送信手段１２０が用いられる。端末１が受信端末１ｂとして機能される場合、声質パターンキャッシュデータ１５４、受信データ１５５、受信テキストデータ１５６、受信音声データ１５７および受信手段１４０が用いられる。また端末１が本発明の実施の形態に係る通信方法を用いるための前処理のために用いられる場合、声質パターンキャッシュデータ１５４および声質パターン登録手段１３０が用いられる。
【００５２】
送信手段１２０は、当該端末１が送信端末１ａとして機能するための処理を担う。送信手段１２０は、送信音声取得手段１２１、送信テキスト変換手段１２２およびテキスト送信手段１２３を備える。
【００５３】
送信音声取得手段１２１は、入力装置１６０から、送信者Ａが入力する音声を、送信音声データ１５１として取得し、記憶装置１５０に記憶する。この送信音声データ１５１は、送信者Ａが受信者Ｂに伝えたいメッセージを、送信者Ａが声に出して読むことにより入力装置１６０が取得した音声データである。ここでは、送信者Ａが音声でメッセージを入力する場合を説明するが、テキスト入力などで入力しても良い。送信音声取得手段１２１の処理は、図２のステップＳ１２の処理に相当する。
【００５４】
送信テキスト変換手段１２２は、記憶装置１５０から送信音声データ１５１を読み出し、音声認識技術により送信音声データ１５１をテキストに変換して、送信テキストデータ１５２を生成し、記憶装置１５０に記憶する。ここで音声データをテキストに変換する方法としては様々な方法が考えられ、本発明の実施の形態においてはその方法は問わない。送信テキスト変換手段１２２の処理は、図２のステップＳ１３の処理に相当する。
【００５５】
送信テキスト変換手段１２２が、送信音声データ１５１を送信テキストデータ１５２に変換するタイミングは任意のタイミングで良い。たとえば送信テキスト変換手段１２２は、予め定められた一定時間ごとに、テキスト化しても良いし、音声入力が所定時間以上とぎれた場合にテキスト化しても良い。また、音声入力を区切られたくない場合、送信者Ａは自動または手動で、音声入力の開始と終了ポイントを指定しても良い。その開始が指定された後、送信テキスト変換手段１２２は、テキスト化することなく待機し、終了が指定された後、開始が指定されたタイミングから終了が指定されたタイミングの音声入力をテキスト化しても良い。
【００５６】
テキスト送信手段１２３は、送信テキストデータ１５２を記憶装置１５０から読み出し、送信テキストデータ１５２を、受信端末１ｂに向けて送信する。テキスト送信手段１２３は、送信データ１５３を生成し、記憶装置１５０に記憶する。送信データ１５３は、当該端末１を利用する受信者Ｂを識別する受信者ＩＤ、送信者Ａを識別する送信者ＩＤ、および送信テキストを含む。ここで送信データ１５３はさらに、受信端末１ｂで送信テキストを読み上げる音声の声質パターンＩＤを含んでも良い。テキスト送信手段１２３は、記憶装置１５０から送信データ１５３を読み出し、中継サーバ２を経由して受信端末１ｂに送信する。テキスト送信手段１２３の処理は、図２のステップＳ１１の処理に相当する。
【００５７】
ここで受信端末１ｂにおいて送信者Ａの声質で送信テキストを読み上げる場合、声質パターンＩＤには、送信者Ａの声質パターンＩＤが設定される。また声質パターンＩＤとして、中継サーバ２が登録した声質パターンに付与した声質パターンＩＤのいずれが設定されても良い。いずれの声質パターンで読み上げるかは、図３に示すメニュー画面Ｐ１の再現選択部Ｐ１３において指定されても良いし、受信端末１ｂで設定されても良い。また、受信端末１ｂが中継サーバ２に声質パターンＩＤを問い合わせて、所望の声質パターンを取得しても良い。
【００５８】
また声質パターンＩＤとして、声質パターンのパラメータが設定されても良い。声質パターンＩＤとして声質パターンのパラメータが設定された場合、受信端末１ｂは、設定されたパラメータに従って、送信テキストを読み上げる。
【００５９】
声質パターン登録手段１３０は、当該端末１が送信端末１ａとして機能する場合、送信者Ａが入力する音声を解析して、送信者Ａの声質パターンを学習し、学習した送信者Ａの声質パターンを中継サーバ２に送信する。中継サーバ２は送信者Ａの声質パターンを受信すると、この声質パターンに声質パターンＩＤを付与して端末１に送信する。声質パターン登録手段１３０は、送信者Ａの声質パターンと声質パターンＩＤとを対応づけて声質パターンキャッシュデータ１５４に記憶する。声質パターン登録手段１３０は、送信者Ａが明示的に指示しなくとも、送信者Ａが受信者Ｂに送信するために入力する音声に基づいて、声質パターンを学習しても良い。この処理は、図２のステップＳ１ないしＳ１１に対応する。
【００６０】
声質パターン登録手段１３０は、当該端末１が受信端末１ｂとして機能する場合、異なった処理をする。声質パターンキャッシュデータ１５４が、送信テキストとともに送信された声質パターンＩＤに対応する声質パターンを保持していない場合、声質パターン登録手段１３０は、中継サーバ２に声質パターンＩＤを送信し、これに対応する声質パターンを取得する。声質パターン登録手段１３０は、このように取得した声質パターンも、声質パターンキャッシュデータ１５４に記憶する。この処理は、図２のステップＳ１７ないしステップＳ１９の処理に対応する。
【００６１】
声質パターンキャッシュデータ１５４は、送信者Ａなどの声を再現するパラメータである声質パターンを蓄積するデータである。声質パターンキャッシュデータ１５４は、たとえば図５に示すようなデータである。図５に示す声質パターンキャッシュデータ１５４は、ユーザＩＤをキーに、声質パターンＩＤおよび声質パターンを対応づけたデータである。声質パターンＩＤは、声質パターンの識別子であって、中継サーバ２が採番する。声質パターンは、ユーザの性質を特徴づけるパラメータの集合体である。声質パターンは、既存の方法によって、ユーザの音声を学習することによって得られる。
【００６２】
図５に示す声質パターンキャッシュデータ１５４には、ユーザＩＤ”ｕｓｅｒ０１”と”ｕｓｅｒ０２”のユーザに関するデータが登録されている。当該端末１が、様々な人と本発明の実施の形態の通信方法を利用することにより、声質パターンキャッシュデータ１５４に登録されるユーザの数が増える場合もある。また一定期間通信していないユーザのデータは、声質パターンキャッシュデータ１５４から削除されても良い。
【００６３】
受信手段１４０は、当該端末１が受信端末１ｂとして機能するための処理を担う。受信手段１４０は、プッシュ受信手段１４１、受信テキスト変換手段１４２および受信音声出力手段１４３を備える。
【００６４】
プッシュ受信手段１４１は、送信端末１ａが送信した送信テキストデータなどのデータを、受信データ１５５として受信し、記憶装置１５０に記憶する。受信データ１５５は、送信テキストデータの他に、受信者ＩＤ、送信者ＩＤ、声質パターンＩＤなども含む。
【００６５】
ここでプッシュ受信手段１４１は特に、中継サーバ２からプッシュ送信された送信テキストデータを、受信テキストデータ１５６としてプッシュ受信する。これにより端末１は、送信テキストデータをリアルタイムに送受信し、通話と同様にメッセージをやりとりすることができる。プッシュ受信手段１４１は、データを受信すると、受信した旨を中継サーバ２に送信する。プッシュ受信手段１４１の処理は、図２のステップＳ１６およびステップＳ１７に相当する。
【００６６】
受信テキスト変換手段１４２は、受信データ１５５のうち送信テキストデータを取得して、記憶装置１５０に受信テキストデータ１５６として記憶する。
【００６７】
ここで受信テキスト変換手段１４２が、再度の送信を要求するメッセージを検出する場合、受信テキスト変換手段１４２は、それより前に受信者Ｂが送信したメッセージが、適切に送信者Ａに伝わっていない可能性がある。再度の送信を要求するメッセージは、「もしもし」、「意味が分からない」、「もう一度お願いします」などである。この原因としては、受信者Ｂが、その前のやりとりで送信したメッセージが、適切に処理されていない場合が考えられる。具体的には、受信端末１ｂにおいて、適切にテキスト化できていない場合や、受信端末１ｂにおいて適切にテキスト化できていたとしても、送信端末１ａにおいて声質パターンと合成する際に、適切な音声メッセージを生成できていない可能性が考えられる。
【００６８】
そこで受信テキスト変換手段１４２は、テキスト化によりこのような再度の送信を要求するメッセージを検出すると、この前にこのユーザが送信した送信テキストデータをピックアップし、「認識しにくい可能性のある文章」として、ピックアップする。このようにピックアップされた文章は、中継サーバ２などに送信され、音声認識エンジンや合成エンジンの精度向上に活用されても良い。
【００６９】
受信音声出力手段１４３は、受信テキストデータ１５６を、所定の声質パターンに基づいて再生する。受信音声出力手段１４３は、受信データ１５５のうち受信テキストデータ１５６を、受信データ１５５の声質パターンＩＤに対応する声質パターンで再生する。このとき受信音声出力手段１４３は、声質パターンキャッシュデータ１５４から声質パターンを取得する。
【００７０】
たとえば、送信者Ａが声質パターンＩＤとして送信者Ａの声質パターンＩＤを設定した場合、受信音声出力手段１４３は、送信者の声質パターンで受信テキストデータ１５６を再生する。
【００７１】
また、送信者Ａが、声質パターンＩＤとして、送信者Ａ以外の任意の声質パターンＩＤを設定しても良いし、中継サーバ２が、送信データをプッシュ送信する際、任意の声質パターンＩＤを設定しても良い。ここで受信音声出力手段１４３は、送信者Ａまたは中継サーバ２によって指定された声質パターンＩＤに対応する声質パターンで、受信テキストデータ１５６を再生する。また受信音声出力手段１４３は、送信者Ａまたは中継サーバ２によって声質パターンＩＤが指定されたか否かにかかわらず、機械音声や有名人の音声など、受信端末１ｂ内においてデフォルトで設定された声質パターンで受信テキストデータ１５６を再生しても良い。また受信音声出力手段１４３は、声質パターンキャッシュデータ１５４に記憶された複数の声質パターンのうちランダムに選択した声質パターンで受信テキストデータ１５６を再生しても良い。このように送信端末１ａ、受信端末１ｂ、中継サーバ２などにおいて、任意の声質を設定可能とすることにより、匿名性を確保することができる。
【００７２】
また、受信音声出力手段１４３が、音声で出力するか否かは、送信者Ａおよび受信者Ｂの希望により任意に設定されても良い。たとえば、送信者Ａが送信端末１ａに音声で再現しても良い旨を入力し、送信端末１ａはそれを受信端末１ｂに送信する。受信端末１ｂは、受信者Ｂが音声で再現しても良い旨を入力した場合であって、かつ送信端末１ａから音声で再現しても良い旨が送信された場合のみ、受信音声出力手段１４３は、音声で再生するように制御しても良い。
【００７３】
ここで声質パターンキャッシュデータ１５４が、送信者Ａが指定した声質パターンＩＤに対応する声質パターンを保持していない場合、受信音声出力手段１４３は、声質パターン登録手段１３０に、送信者Ａが指定した声質パターンＩＤを入力する。声質パターン登録手段１３０は、受信音声出力手段１４３から指定された声質パターンＩＤに対応する声質パターンを中継サーバ２から受信し、声質パターンキャッシュデータ１５４に記憶する。その後受信音声出力手段１４３は、声質パターンキャッシュデータ１５４から送信者Ａが指定した声質パターンＩＤに対応する声質パターンを取得して再生する。
【００７４】
受信音声出力手段１４３は、声質パターンに基づいて受信テキストデータを再生し、出力装置１８０を介してユーザに認識させる。
【００７５】
ここで、端末１が、送信テキストデータ１５２および受信テキストデータ１５６を蓄積することにより、端末１が送信した送信テキストデータ１５２および受信テキストデータ１５６を用いて、他のユーザとの送受信履歴を出力することができる。たとえば、送信テキストデータ１５２および受信テキストデータ１５６は、その通信相手と通信日時と対応づけて蓄積する。端末１は、特定の通信相手との送信テキストデータおよび受信テキストデータを、通信日時でソートして表示することにより、通話をテキストファイル化したログデータを出力することができる。また、各ユーザは、このログデータを議事録として活用することもできる。
【００７６】
（中継サーバ）
図１を参照して、本発明の実施の形態に係る中継サーバ２を説明する。中継サーバ２は、中央処理制御装置２１０、記憶装置２２０、通信制御装置（図示せず）を備える一般的なコンピュータである。中継サーバ２は、一般的なコンピュータが所定の機能を実現するためのプログラムを実行することによって、図１に示す各手段およびデータを実装する。
【００７７】
記憶装置２２０は、声質パターンデータ２２１および通信データ２２２を送信する。
【００７８】
声質パターンデータ２２１は、図６に示すように、ユーザＩＤをキーに、声質パターンＩＤおよび声質パターンを対応づけたデータである。声質パターンＩＤは、声質パターンの識別子であって、中継サーバ２が採番する。声質パターンは、ユーザの性質を特徴づけるパラメータの集合体である。
【００７９】
図６に示す例においてユーザＩＤ”ｕｓｅｒ０３”の声質パターンＩＤおよび声質パターンは、ｎｕｌｌ値が設定されている。これは、声質の学習が完了していなかったり、声質を入力していなかったりなど、中継サーバ２がユーザＩＤ”ｕｓｅｒ０３”の声質パターンを未だ受信していない状態であることを示す。
【００８０】
中継サーバ２が保持する声質パターンデータ２２１は、図５に示すような端末１が保持する声質パターンキャッシュデータ１５４に比べて、より多くのユーザの声質パターンを登録する。中継サーバ２は、本発明の実施の形態に係る通信方法において、受信端末１ｂで用いられる可能性のある全ての声質パターンを保持し、必要に応じて受信端末１ｂに送信する。図６に示す例では、ユーザの声質パターンのみ登録しているが、ユーザ以外に、キャラクターの声や機械音声などの声質パターンも、声質パターンデータ２２１は保持しても良い。
【００８１】
通信データ２２２は、送信端末１ａから受信端末１ｂに送信するデータを蓄積する。中継サーバ２は、受信端末１ｂにデータをプッシュ送信するところ、受信端末１ｂから受信確認を得られるまでそのデータを再送する。そのため、中継サーバ２は、受信端末１ｂから受信確認を得られていないデータを通信データ２２２として蓄積し、逐次受信端末１ｂに送信する。
【００８２】
ここで、中継サーバ２は、受信端末１ｂから受信確認を得た後も、通信データ２２２のデータを削除することなく、蓄積しても良い。中継サーバ２は、特定の送信端末１ａおよび受信端末１ｂ間で送受信されるデータを、通信日時でソートして表示することにより、通話をテキストファイル化したログデータを出力することができる。また、中継サーバ２は、このログデータを議事録として、送信端末１ａおよび受信端末１ｂなどに提供しても良い。
【００８３】
中央処理制御装置２１０は、声質パターン制御手段２１１、受信手段２１２およびプッシュ送信手段２１３を備える。
【００８４】
声質パターン制御手段２１１は、声質パターンデータ２２１に声質パターンを登録したり、端末１から要求された声質パターンを取り出して返したりする。
【００８５】
たとえば、声質パターン制御手段２１１は、ユーザＩＤ”ｕｓｅｒ０３”の端末１からユーザＩＤ”ｕｓｅｒ０３”のユーザの声質パターンを受信する。声質パターン制御手段２１１は、声質パターンＩＤを採番して声質パターンデータ２２１に登録するとともに、採番した声質パターンＩＤを、ユーザＩＤ”ｕｓｅｒ０３”の端末１に送信する。また声質パターン制御手段２１１は、端末１から、声質パターンＩＤ”ＶｏＰａｔ０１”の声質パターンの取得が要求される。声質パターン制御手段２１１は、声質パターンデータ２２１から、声質パターンＩＤ”ＶｏＰａｔ０１”に対応する声質パターンのデータ”ａ＝５，  ｂ＝２５，  ｃ＝１０，  ・・・・”を取得し、要求元の端末１に返す。
【００８６】
受信手段２１２は、送信端末１ａから受信端末１ｂ宛の送信データを受信する。受信した送信データを、通信データ２２２に記憶する。このとき受信手段２１２は、受信者ＩＤ、送信者ＩＤ、声質パターンＩＤおよび受信日時なども対応づけて、通信データ２２２に記憶する。
【００８７】
プッシュ送信手段２１３は、送信端末１ａが送信した送信テキストデータを通信データ２２２から取り出し、受信端末１ｂにプッシュ送信する。プッシュ送信手段２１３は、通信データ２２２の送信テキストデータを、この送信テキストデータに対応づけられた受信者ＩＤに対応する受信端末１ｂにプッシュ送信する。このときプッシュ送信手段２１３は、この送信テキストデータに対応づけられた受信者ＩＤに対応する受信端末１ｂにプッシュ送信する。
【００８８】
送信テキストデータを送信してから一定時間以内に受信端末１ｂから受信確認を受信すると、プッシュ送信手段２１３は、通信データ２２２からこの送信テキストデータ１５２を削除する。一方一定時間以内に受信端末１ｂから受信確認を受信しない場合、プッシュ送信手段２１３は、所定時間経過後、再度送信テキストデータを送信する。このように所定回数または所定時間送信テキストデータを送信するなどの条件を満たしても、受信端末１ｂから受信確認を受信しない場合、プッシュ送信手段２１３は、通信データ２２２からこの送信テキストデータ１５２を削除する。
【００８９】
このように本発明の実施の形態によれば、送信端末１ａおよび受信端末１ｂ間をテキストデータで送受信し、受信端末１ｂにおいて声質パターンを用いて音声出力する。これにより、ネットワークの帯域を圧迫することなく、通話と同様に、リアルタイムで音声によるデータの送受信を実現することができる。また、従来のＶｏＩＰのように、パケット遅延などによって、音声が不明瞭になることなく、鮮明な音声でメッセージを再生することができる。
【００９０】
また、送受信するデータが小さく、狭い帯域でもデータを送受信できるので、災害発生時などにより、急激にトラフィクが増えたり、通信帯域が混み合ったりしても、他の通信に提供を与えることなくデータを送受信し、データの送受信が成立しやすくなる。
【００９１】
このように本発明の実施の形態に係る通信方法は、送信端末１ａと受信端末１ｂとの間で、リソースを圧迫することなく音声によるデータの送受信を可能にする。
【００９２】
（第１の変形例）
本発明の実施の形態においては、一つの送信テキストデータを送信する場合を説明したが、本発明の第１の変形例においては、複数の送信テキストデータに分割して送信する場合を説明する。
【００９３】
本発明の実施の形態に係る通信方法は、送信端末１ａおよび受信端末１ｂ間で、確実なデータの送受信を補償するものではない。具体的には、送信端末１ａは、受信端末１ｂが送信テキストデータを受信したか否かを知ることはない。また中継サーバ２が受信端末１ｂに送信テキストデータを送信した後、中継サーバ２は、受信端末１ｂから受信確認が送信されるまで、何度か再送する。しかしながら、所定時間が経過したり所定回数再送したりしても、受信端末１ｂから受信確認が送信されない場合、中継サーバ２は、再送を中止し、受信端末１ｂに送信されるべき送信テキストデータを削除する。
【００９４】
特に一連の会話の中で、所定の文章のみが欠落してしまう場合も考えられる。送信者Ａは、全ての文章を適切に伝えたつもりであっても、受信者Ｂは、一部の文章が送信されたことすら確認できない場合がある。
【００９５】
そこで第１の変形例に係る通信方法は、複数の送信テキストデータから成立する一つの音声メッセージについて、受信端末１ｂが一部の送信テキストデータを受信しなかった場合、受信端末１ｂは、この一連の複数の送信テキストデータの全てを、出力しない。
【００９６】
具体的には、送信端末１ａのテキスト送信手段１２３は、送信音声データ１５１を、複数の送信テキストデータに分割して送信する場合、それぞれの送信テキストデータとともに、当該送信音声データの識別子と、当該送信テキストデータの識別子と、分割数を送信する。ユーザが、図３のメニュー画面Ｐ１の連続モード選択部Ｐ１４において、連続モードを選択「する」にチェックを入れた場合、テキスト送信手段１２３は、送信音声データ１５１を、複数の送信テキストデータに分割して送信する。ここで送信音声データ１５１の分割方法や分割数は問わない。
【００９７】
テキスト送信手段１２３は、送信音声データ１５１を３つの送信テキストデータに分割した場合、それぞれの送信テキストデータについて、送信音声データ１５１の識別子と、送信音声データ１５１における各送信テキストデータ１５２の識別子と、分割数を対応づけた送信データを、生成する。たとえば、送信音声データ１５１における各送信テキストデータ１５２の識別子と、分割数は、「１／３」、「２／３」および「３／３」などと表現される。ここで分子は送信音声データ１５１における各送信テキストデータ１５２の識別子で、連結可能な様にシーケンシャルに付与される。また分母は分割数を示す。このように送信テキストデータのそれぞれについて送信データを生成すると、テキスト送信手段１２３は、受信端末１ｂに向けて、それぞれの送信データを送信する。
【００９８】
プッシュ受信手段１４１は、所定の送信音声データの識別子について、分割数に対応する全ての送信テキストデータを受信したか判定する。プッシュ受信手段１４１は、中継サーバ２から送信されたデータのうち、送信音声データの識別子をキーに、一連の送信テキストデータを待機する。ここで、送信音声データに対応づけられた分割数が「３」の場合、プッシュ受信手段１４１は、３つの受信データの受信を待機する。プッシュ受信手段１４１は、３つの受信データを受信した場合、この３つの受信データを受信音声出力手段１４３に処理させる。
【００９９】
ここで本発明の実施の形態において、テキスト送信手段１２３およびプッシュ受信手段１４１が、送信データを送受信する方法は問わない。たとえば、送信端末１ａのテキスト送信手段１２３は、連続モードの複数の送信テキストデータのうち、最初の送信テキストデータについて、送信音声データの識別子と、スタートを指定する識別子とを挿入した送信データを生成する。テキスト送信手段１２３は、最後の送信テキストデータについて、送信音声データの識別子と、エンドを指定する識別子とを挿入した送信データを生成する。さらにテキスト送信手段１２３は、スタートおよびエンド間の各送信テキストデータについて、送信音声データの識別子と、シーケンス番号とを挿入した送信データを生成する。テキスト送信手段１２３は、この一連の複数の送信データを送信する。
【０１００】
このとき受信端末１ｂのプッシュ受信手段１４１は、所定の送信音声データの識別子を含む複数の受信データについて、スタートを指定する識別子を含む受信データと、エンドを指定する識別子を含む受信データと、スタートおよびエンド間の全てのシーケンス番号をそれぞれ含む受信データを受信した場合、連続モードの複数の送信テキストデータを受信したと判定し、これらの受信データを受信音声出力手段１４３に処理させる。
【０１０１】
受信音声出力手段１４３は、分割数に対応する全ての送信テキストデータ（受信テキストデータ１５６）を受信した場合、送信テキストデータの識別子に基づいて送信テキストデータ（受信テキストデータ１５６）を連結し、送信者Ａの声質パターンで再生する。受信音声出力手段１４３は、送信テキストデータの識別子に基づいて、受信テキストデータ１５６を連結する。たとえば、送信テキストデータの識別子として、１／３、２／３および３／３が付されている場合、１／３が付されたデータの後ろに、２／３が付されたデータを連結し、さらにその後ろに３／３が付されたデータを連結する。このように、送信テキストデータの識別子によって、受信端末１ｂは、複数のテキストデータを適切な順番で連結することができる。
【０１０２】
受信音声出力手段１４３は、このように全てのテキストデータが揃い、適切な順番で連結できた場合に、このテキストデータに、指定された声質パターンを合成して、音声メッセージを出力する。
【０１０３】
図７を参照して、本発明の第１の変形例に係る通信方法を説明する。ここでは、「お見積もり金額は千百万円です」という音声メッセージを送信する場合を説明する。
【０１０４】
まずステップＳ５１において送信者Ａが、連続モード選択部Ｐ１４で連続モードを選択して音声メッセージを入力すると、ステップＳ５２において送信端末１ａは、送信音声データ１５１を取得し、音声認識によりテキスト化する。ここで送信端末１ａは、「オミツモリキンガクハセンヒャクマンエンデス」というテキストデータを取得する。
【０１０５】
さらに送信端末１ａは、テキスト化したデータを複数に分割し、複数の送信テキストデータを生成する。ステップＳ５２において送信端末１ａは、３つの送信テキストデータを生成した場合を説明する。ここで、第１の送信テキストデータは「オミツモリ」、第２の送信テキストデータは「キンガクハセン」、第３の送信テキストデータは「ヒャクマンエンデス」とする。送信端末１ａは、これら３つの送信テキストデータを送信するために、図８に示す３つの送信データを生成する。
【０１０６】
図８（ａ）は、第１の送信テキストデータ「オミツモリ」を送信するための、第１の送信データＭ１１である。図８（ａ）に示すデータは、図２のステップＳ１４で示した送信データと比べて、先頭に連続モードであることを示すフレームを設けている点が異なる。この先頭フレームには、送信者Ａが入力した送信音声データ１５１の識別子として、「ＸＹＺ」が指定され、第１の送信テキストデータの識別子および分割数として、「１／３」が指定されている。また、送信テキストとして、「オミツモリ」が設定されている。
【０１０７】
図８（ｂ）は、第２の送信テキストデータ「キンガクハセン」を送信するための、第２の送信データＭ１２である。図８（ｂ）に示すデータは、図８（ａ）と同様に、先頭に連続モードであることを示すフレームを設けている。この先頭フレームには、送信者Ａが入力した送信音声データ１５１の識別子として、「ＸＹＺ」が指定され、第２の送信テキストデータの識別子および分割数として、「２／３」が指定されている。また、送信テキストとして、「キンガクハセン」が設定されている。
【０１０８】
図８（ｃ）は、第３の送信テキストデータ「ヒャクマンエンデス」を送信するための、第３の送信データＭ１３である。図８（ｃ）に示すデータは、図８（ａ）と同様に、先頭に連続モードであることを示すフレームを設けている。この先頭フレームには、送信者Ａが入力した送信音声データ１５１の識別子として、「ＸＹＺ」が指定され、第３の送信テキストデータの識別子および分割数として、「３／３」が指定されている。また、送信テキストとして、「ヒャクマンエンデス」が設定されている。
【０１０９】
送信端末１ａはこのようなデータを生成すると、ステップＳ５３ないしステップＳ５５において、第１の送信データＭ１１、第２の送信データＭ１２および第３の送信データＭ１３を順次送信し、中継サーバ２が受信する。
【０１１０】
中継サーバ２はこれらのデータを受信すると、ステップＳ５６ないしステップＳ５８において受信端末１ｂにプッシュ送信する。ここで受信端末１ｂは、ステップＳ５６において第１の送信データＭ１１を受信すると、ステップＳ５９において第１の受信確認を中継サーバ２に送信する。受信端末１ｂは、ステップＳ５７において第２の送信データＭ１２を受信すると、ステップＳ６０において第１の受信確認を中継サーバ２に送信する。受信端末１ｂは、ステップＳ５８において第３の送信データＭ１３を受信すると、ステップＳ６１において第３の受信確認を中継サーバ２に送信する。
【０１１１】
中継サーバ２は受信確認を受信すると、ステップＳ６２において、受信確認を受けた送信テキストデータを、通信データ２２２から削除する。ここでは、第１の送信テキストデータ、第２の送信テキストデータおよび第３の送信テキストデータを削除する。
【０１１２】
一方ステップＳ６３において受信端末１ｂは、連続モードの全ての送信テキストデータを受信したか否かを判定する。受信端末１ｂはたとえば、先頭フレームで設定された送信音声データ１５１の識別子「ＸＹＺ」について、分割数「３」が設定されているので、送信音声データ１５１の識別子「ＸＹＺ」の送信データを３つ受信したか否かで判定することができる。
【０１１３】
図７に示す例では、３つの送信データを受信しているので、ステップＳ６４において、これらの送信テキストデータを連結して、受信音声データ１５７を生成する。具体的には、受信端末１ｂは、３つの送信データの送信テキストデータを、送信テキストデータの識別子の順に連結して、「オミツモリキンガクハセンヒャクマンエンデス」というテキストデータを取得する。受信端末１ｂは、連結して得られた「オミツモリキンガクハセンヒャクマンエンデス」を、送信データで指定された声質パターンＩＤで合成して、出力装置１８０に出力する。
【０１１４】
図９を参照して、中継サーバ２から受信端末１ｂへの送信データの送信において、第２の送信データが受信端末１ｂに受信されなかった場合を説明する。図９に示すシーケンス図は、図７のステップＳ５５の後に相当する。
【０１１５】
図９に示す例において、ステップＳ８１において受信端末１ｂが、第１の送信データＭ２１を受信し、ステップＳ８３において受信端末１ｂが、第３の送信データＭ２３を受信する。一方ステップＳ８２において中継サーバ２から送信された第２の送信データＭ２２は、受信端末１ｂに受信されていない。この場合、受信端末１ｂは、ステップＳ８４において第１の送信データＭ２１の受信に対して第１の受信確認を送信し、ステップＳ８５において第３の送信データＭ２３の受信に対して第３の受信確認を送信する。
【０１１６】
この場合、ステップＳ８６において中継サーバ２は、受信確認を受けた第１の送信データＭ２１および第３の送信データＭ２３を通信データ２２２から削除する。ステップＳ８７において受信確認を受けていない第２の送信データＭ２２について、再度送信を試みる。それでも受信端末１ｂから受信確認を受信しない場合、中継サーバ２は、通信データ２２２から第２の送信データＭ２２を削除する。中継サーバ２は、第２の送信データＭ２２を最初に送信してから、たとえば３６０秒などの一定時間が経過しても受信確認を受領できない場合、通信データ２２２から第２の送信データＭ２２を削除する。
【０１１７】
一方受信端末１ｂは、ステップＳ８９において、連続モードの全ての送信データを受信したか確認する。ステップＳ９０において受信端末１ｂは、連続モードの最初の送信データを受信してから、たとえば７２０秒などの一定時間を経過したか否かを判定する。一定時間を経過しても、全ての送信データを受信できなかった場合、ステップＳ９１において受信端末１ｂは、連続モードとして受信した送信メッセージを削除する。ここでは、第１の送信データＭ２１および第３の送信データＭ２３を削除する。この場合、受信端末１ｂは、この連続モードの送信データを出力することなく、処理を終了する。
【０１１８】
図９に示すように、第２の送信データが正常に送信されなかった場合、本発明の第１の変形例で説明した連続モードを用いない方法で処理すると、異なった意味の音声メッセージが出力されてしまうおそれがある。具体的には、受信端末１ｂは、「オミツモリ」および「ヒャクマンエンデス」のみを取得するので、これらを合成して「オミツモリヒャクマンエンデス」と再生してしまう。この場合受信者Ｂは、見積金額が１００万円かと理解してしまう。この状態では、元の「お見積もり金額は千百万円です」と内容が大きく乖離していることにより、トラブルの元となってしまう。
【０１１９】
そこで本発明の第１の変形例に係る通信方法によれば、連続モードを指定された複数の送信テキストデータのうち、一部の送信テキストデータが受信端末１ｂに受信されなかった場合、これらの複数の送信テキストデータを全て再生しない。これにより、受信者Ｂに一連の文書を誤った意味で認識させることを防ぐことができるので、この通信方法の信頼性を向上させることができる。特に、本発明の第1の変形例に係る通信方法は、音声が不明瞭になったり途切れたりする不安定なネットワーク環境においても、信頼性を確保して、音声によるメッセージの送受信や音声通話を実現することができる。
【０１２０】
（第２の変形例）
第２の変形例において、送信端末１ａおよび受信端末１ｂ間で、より送受信するデータ量を削減できる通信方法を説明する。
【０１２１】
第２の変形例に係る端末１は、ユーザがよく利用するフレーズを定型文として定義する手段を備える。端末１は、過去のログデータを参照して、所定のフレーズが所定回数以上登場する場合、このフレーズに記号や数字などの文字列を付与したテーブルデータを保持する。端末１は、このフレーズと文字列とを対応づけたテーブルデータを、中継サーバ２に送信し、中継サーバ２とテーブルデータを共有する。
【０１２２】
送信端末１ａに送信者Ａが入力したフレーズがこのテーブルデータに格納されたフレーズの場合、送信端末１ａは、このフレーズをこの文字列を用いて圧縮して、送信テキストデータを生成し、中継サーバ２に送信する。これにより、送信端末１ａおよび中継サーバ２間で送受信する送信テキストデータのデータ量を、さらに圧縮することができる。
【０１２３】
さらに、中継サーバ２がテーブルデータを受信端末１ｂに送信することにより、中継サーバ２および受信端末１ｂ間でも、送受信するデータ量を圧縮することができる。受信端末１ｂは、受信した送信テキストデータにテーブルデータに格納された文字列が含まれる場合、この文字列をフレーズに復号化して受信テキストデータ１５６を生成する。
【０１２４】
このように、端末１が頻出フレーズに記号を割り当てることにより、送信端末１ａおよび受信端末１ｂ間で送受信するデータを、さらに削減し、通信ネットワーク３への負担を軽減することができる。
【０１２５】
（第３の変形例）
第３の変形例において、受信端末１ｂでの返信が容易になる通信方法を説明する。第３の変形例において、送信端末１ａが特定のフレーズを含む送信テキストデータを送信した場合、受信者Ｂが容易に返信できるように、受信端末１ｂは、この特定のフレーズに対する返信を予め表示する。
【０１２６】
例えば送信者Ａが「お元気ですか？」のフレーズを含む送信テキストデータを送信したとする。この場合、受信端末１ｂは、図３の送信画面Ｐ３の送信テキスト編集部Ｐ３１に、このフレーズに対する頻出返信として、予め「元気です。」を表示する。受信者Ｂは、この頻出返信である「元気です。」を送信する場合、受信端末１ｂにおいて、図３の送信画面Ｐ３の送信指示部Ｐ３２を押下すれば良い。また「元気です。」以外の文言で送信する場合、受信者Ｂは、受信端末１ｂに、音声入力したり、テキスト入力したりして、任意のフレーズを送信端末１ａに送信することができる。
【０１２７】
また、送信者Ａが「お元気ですか？」のフレーズを送信した場合、受信端末１ｂは、頻出返信として、「はい」および「いいえ」のうちいずれかを選択可能なボタンを表示しても良い。受信者Ｂがいずれかを選択することにより、受信端末１ｂは送信端末１ａに返信しても良い。ここで、「はい」および「いいえ」の各ボタンは、「○」および「×」の各ボタンでも良い。
【０１２８】
さらに、送信者Ａが、「ＸＸと、ＹＹと、どちらが良いですか？」と、複数の選択肢から一つを選択させるフレーズを含む送信テキストデータを送信した場合を考える。この場合、受信端末１ｂの表示画面に、送信者Ａが選択肢として挙げた「ＸＸ」と「ＹＹ」のいずれかを選択可能なボタンが表示される。受信端末１ｂは、受信者Ｂが押下したボタンに対応する選択肢を、送信端末１ａに送信する。例えば、受信者Ｂが「ＸＸ」のボタンを押下した場合、受信端末１ｂは、送信端末１ａに「ＸＸ」を送信する。このように、受信者Ｂは、いずれかのボタンを押下することにより、音声入力したり、テキスト入力したりすることなく、送信者Ａに返信することができる。
【０１２９】
第３の変形例に係る通信方法を実現するために、様々な実現方法が考えられる。
【０１３０】
例えば第３の変形例に係る受信端末１ｂは、所定のフレーズと、このフレーズに対する頻出返信とを対応づけたデータを記憶する。受信端末１ｂが受信テキストデータ１５６を抽出した際、受信端末１ｂが、「お元気ですか？」などの所定のフレーズが含まれているか否かを判定する。含まれている場合、受信端末１ｂは、このフレーズに対応する頻出返信を、表示画面に表示する。
【０１３１】
また受信端末１ｂは、受信テキストデータ１５６を形態素解析し、受信テキストデータ１５６に、「ＸＸと、ＹＹと、どちらが良いですか？」などの、複数の選択肢から一つを選択させるフレーズが含まれているか否かを判定する。含まれている場合、受信端末１ｂは、このフレーズで挙げられた選択肢に対応するボタンを表示画面に表示する。
【０１３２】
ここでは、受信端末１ｂにおいて、実装する場合を説明したが、中継サーバ２において同様に処理しても良い。この場合中継サーバ２は、送信者Ａが送信した送信テキストデータを受信端末１ｂに送信するとともに、この送信テキストデータに対する返信を受信端末１ｂに送信する。受信端末１ｂでは、送信テキストデータに対する返信を受信すると、その返信内容にあわせて、送信テキスト編集部Ｐ３１に表示したり、選択肢に対応するボタンを表示したりする。上記の例の場合、中継サーバ２は、「お元気ですか？」に対して、「元気です。」の返信を受信端末１ｂに送信する。また中継サーバ２は、「ＸＸと、ＹＹと、どちらが良いですか？」に対して、「ＸＸ」と「ＹＹ」の二つの選択肢を受信端末１ｂに送信し、受信端末１ｂが、これらの選択肢のいずれかを選択可能なボタンを表示する。
【０１３３】
このような第３の変形例に係る通信方法によると、送信者Ａが送信した送信テキストメッセージの内容に基づいて、受信端末１ｂは、受信者Ｂが返信しやすい画面を表示することができる。
【０１３４】
（その他の実施の形態）
上記のように、本発明の実施の形態とその第１の変形例ないし第３の変形例によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。
【０１３５】
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【符号の説明】
【０１３６】
１  端末
２  中継サーバ
３  通信ネットワーク
５  通信システム
１２０  送信手段
１２１  送信音声取得手段
１２２  送信テキスト変換手段
１２３  テキスト送信手段
１３０  声質パターン登録手段
１４０、２１２  受信手段
１４１  プッシュ受信手段
１４２  受信テキスト変換手段
１４３  受信音声出力手段
１１０、２１０  中央処理制御装置
１５０、２２０  記憶装置
１５１  送信音声データ
１５２  送信テキストデータ
１５３  送信データ
１５４  声質パターンキャッシュデータ
１５５  受信データ
１５６  受信テキストデータ
１５７  受信音声データ
２１１  声質パターン制御手段
２１３  プッシュ送信手段
２２１  声質パターンデータ
２２２  通信データ
【図１】
2014022938.tif 000003
【図２】
2014022938.tif 000004
【図３】
2014022938.tif 000005
【図４】
2014022938.tif 000006
【図５】
2014022938.tif 000007
【図６】
2014022938.tif 000008
【図７】
2014022938.tif 000009
【図８】
2014022938.tif 000010
【図９】
2014022938.tif 000011
【図１０】
2014022938.tif 000012