(57)【特許請求の範囲】
【請求項１】
音声情報をリアルタイムに送受信して会話コミュニケーションを行う装置を用いた音声伝送方法において、
送信装置が、音声データを送信する前に、発話されたことを示す音声データよりも短い発話データを送信し、その後に音声データを送信するとともに、
受信装置が、前記発話データを受信すると、ブラウザ上の表示を変化させることにより、利用者に前記音声データの到着予測通知を行うことを特徴とする音声伝送方法。
【請求項２】
請求項１記載の音声伝送方法において、
前記受信装置は、ブラウザ上で表示している対話者のアバタを、受信した前記発話データをもとに画像的に変化させることを特徴とする音声伝送方法。
【請求項３】
音声データが入力されると発話データを生成し、発話データを発話データサーバへ送信する発話データ送信処理ステップと、
発話データを発話データサーバへ送信して後、音声データの送信処理を行い、音声データを音声データサーバへ送信する音声データ送信処理ステップと
を具備することを特徴とするデータ送信処理方法。
【請求項４】
音声データが入力されると発話データを生成し、発話データを発話データサーバへ送信する発話データ送信処理手順、
発話データを発話データサーバへ送信して後、音声データの送信処理を行い、音声データを音声データサーバへ送信する音声データ送信処理手順
をコンピュータに実行させるためのデータ送信処理プログラムを記録した記録媒体。
【請求項５】
音声データの送信より前に送信され、該音声データの送信を予告するデータである発話データを受信すると、前記音声データの到着予測通知を表示するブラウザ上の表示変化処理を行う発話データ受信処理ステップと、
前記音声データを受信すると再生処理を行う音声データ受信処理ステップと
を具備することを特徴とするデータ受信処理方法。
【請求項６】
音声データの送信より前に送信され、該音声データの送信を予告するデータである発話データを受信すると、前記音声データの到着予測通知を表示するブラウザ上の表示変化処理を行う発話データ受信処理手順、
前記音声データを受信すると再生処理を行う音声データ受信処理手順
をコンピュータに実行させるためのデータ受信処理プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声伝送方法、データ送信処理方法及びデータ送信処理プログラムを記録した記録媒体、並びにデータ受信処理方法及びデータ受信処理プログラムを記録した記録媒体に関するものである。
【０００２】
本発明は、インターネットなどのコンピュータネットワークを介し、これに接続したパソコンなどの端末を用いて、音声による送受信を行うことで会話を行う装置に関わるものであり、特に、コンピュータネットワークの伝送遅延時間が比較的大きく、遅延が音声による会話に支障を来たす可能性がある場合に大きく関係する。また、コンピュータネットワークに接続されているサーバに一旦送信しミキシングなどの処理を施した後に、音声データを必要とする端末に送信する、多人数参加型の環境における音声送受信にも大きく関わる。
【０００３】
【従来の技術】
従来は、音声データを送付することで、発話されたことを直接伝えていたので、バッファリングやネットワークトラフィックの変動などで音声データの到着が遅延した場合、発話しようとしたときに相手の音声データが到着するなど、使用感の点で使いやすいというわけではなかった。また、遅延を予め予測して会話することは、人間に多大なストレスを与えるため、使いやすいとは言えなかった。この原因になっているのは、音声データが比較的大きなデータであり、かつリアルタイム性を要求するために、非常に厳しい条件で送信しなければならないからであった。
【０００４】
【発明が解決しようとする課題】
本発明は上記の事情に鑑みてなされたもので、音声データが届く前に発話するという行き違いがなくなり、会話をスムースに進めることができる音声伝送方法、データ送信処理方法及びデータ送信処理プログラムを記録した記録媒体、並びにデータ受信処理方法及びデータ受信処理プログラムを記録した記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために本発明は、音声情報をリアルタイムに送受信して会話コミュニケーションを行う装置を用いた音声伝送方法において、送信装置が、音声データを送信する前に、発話されたことを示す音声データよりも短い発話データを送信し、その後に音声データを送信するとともに、受信装置が、前記発話データを受信すると、ブラウザ上の表示を変化させることにより、利用者に前記音声データの到着予測通知を行うことを特徴とする。
【０００７】
また本発明は、前記音声伝送方法において、前記受信装置は、ブラウザ上で表示している対話者のアバタを、受信した前記発話データをもとに画像的に変化させることを特徴とする。
【０００８】
また本発明のデータ送信処理方法は、音声データが入力されると発話データを生成し、発話データを発話データサーバへ送信する発話データ送信処理ステップと、発話データを発話データサーバへ送信して後、音声データの送信処理を行い、音声データを音声データサーバへ送信する音声データ送信処理ステップとを具備することを特徴とする。
【０００９】
また本発明のデータ送信処理プログラムを記録した記録媒体は、音声データが入力されると発話データを生成し、発話データを発話データサーバへ送信する発話データ送信処理手順、発話データを発話データサーバへ送信して後、音声データの送信処理を行い、音声データを音声データサーバへ送信する音声データ送信処理手順をコンピュータに実行させるためのものである。
【００１０】
また本発明のデータ受信処理方法は、音声データの送信より前に送信され、該音声データの送信を予告するデータである発話データを受信すると、前記音声データの到着予測通知を表示するブラウザ上の表示変化処理を行う発話データ受信処理ステップと、前記音声データを受信すると再生処理を行う音声データ受信処理ステップとを具備することを特徴とする。
【００１１】
また本発明のデータ受信処理プログラムを記録した記録媒体は、音声データの送信より前に送信され、該音声データの送信を予告するデータである発話データを受信すると、前記音声データの到着予測通知を表示するブラウザ上の表示変化処理を行う発話データ受信処理手順、前記音声データを受信すると再生処理を行う音声データ受信処理手順をコンピュータに実行させるためのものである。
【００１２】
尚、前記発話データは、音声データの送信を予告するデータ（信号）である。
【００１３】
本発明では、コンピュータネットワークの伝送レートをあげることなく、また、特別なプロトコルを開発することなく、さらに、送受信装置のバッファリング機構を改造することなく、音声データの入力が開始されたことを、音声データの入力が終了するまで待つのではなく、入力開始時に、音声データの送信開始前の事前情報として、受信側の装置に送信する手段を提供するものである。
【００１４】
本発明を用いることにより、発話データが事前に届くため、音声データが届く前に発話する、という行き違いがなくなり、会話をスムースに進めることができる。
【００１５】
【発明の実施の形態】
以下図面を参照して本発明の実施形態例を詳細に説明する。
【００１６】
サーバに複数台のクライアントが接続されている構成上で実現される場合の実施形態例について述べる。サーバと各クライアントはコンピュータネットワークで接続されている。サーバとクライアント間は電文（メッセージ）で情報をやり取りする。クライアントが送信するデータは一旦サーバに蓄積され、必要とするクライアントに送信される。例えば、発話する側と聞く側が別のチャネルにいる場合は、サーバは音声データを送信する必要はない。また、送信するクライアントが複数台存在する場合は、サーバで一旦受信した音声データをミキシングして、これを必要とする端末へ送信する。
【００１７】
このような構成の場合、一旦サーバに蓄積することや、コンピュータネットワーク自体の遅延、サーバ上の処理によって、音声データの到着には遅延が生じる。この遅延による会話のスムーズな進行の妨害を避けるため、本発明を用いる。
【００１８】
また、サーバを置かず、クライアント間でピアツーピア通信を行う場合でも、中間のコンピュータネットワークによる遅延がネグリジブルでないとき、本発明が効を奏することは言うまでもない。
【００１９】
図１は本発明の実施形態例に係る電文シーケンスを示す説明図である。
【００２０】
発話者が使用している送信側クライアントは、発話者が発話を開始したときにこれいをトリガとして、（１）ごく短い発話データをサーバに送信する。サーバは発話者のアバタと同じ仮想空間に存在する受信側クライアント（複数台）へ（２）発話データを送信する。受信側のクライアントは、これを受けてブラウザプログラム上で表示する。
【００２１】
これらの処理を行っている間、送信側クライアントは（３）音声データをサーバに送信し、サーバは同一仮想空間内に存在する他の受信側クライアントに（４）音声データを送信する。受信側クライアントは受信した音声データをスピーカから出力する。
【００２２】
受信側クライアントでは、到着した発話データをパソコンの画面上で表示する／しないを選択することができるようにする。表示する選択を行ったときは、画面上のブラウザウインドウのタスクバーなどに、音声データの到着予測通知を表示する。これによって、受信側クライアントを使用しているユーザは音声データの到着を待つ準備ができ、相手の音声データの到着前に発話（音声データ送信）をしてしまって、発話がぶつかってしまうことを避けることができる。
【００２３】
受信側クライアント上で相手の発話データが到着したことを表示する方法としては、タスクバー上の表示以外にも、３次元仮想空間内の相手ユーザのアバタの形状を変化させて表示することがある。
【００２４】
図２は本発明の実施形態例に係る発話データ到着時のアバタ変化を示し、（ａ）は発話データを受信していないとき、（ｂ）は発話データを受信し、音声データを待っているとき、（ｃ）は音声データを受信しおわったとき（元に戻る）を示している。
【００２５】
ここでは、発話データを受信したときに、その発話データを送信した相手のアバタの形状を、挙手している状態に変化させ、これを全音声データの受信が終了するまで継続する。音声データが到着しおわったら、相手のアバタを元に戻す。受信が終了した時点で音声データは出力し終わっていない（鳴り終わっていない）ので、このタイミングでこちらから次の発話を行うことができる。
【００２６】
送信側クライアントとサーバの間のデータのやりとりの実施形態例を、図３を用いてより詳細に説明する。
【００２７】
サーバを機能別に分割し、発話データの集配信は、専用の発話データサーバが行い、音声データの集配信は音声データサーバが行う。この構成によって従来から音声データの集配信の機能が実現されている場合でも容易に機能追加ができる。
【００２８】
図３のシーケンスにおいて、図２のように発話者のアバタ画像を変更して受信者に通知する場合、発話者は発話データに自己の識別情報をつけて送信する必要がある。
【００２９】
尚、発話データ、音声データの集配信を１つのサーバで行う実現形態もあることはいうまでもない。
【００３０】
以下、発話データの集配信を行う発話データサーバ、音声データの集配信を行う音声データサーバが、独立して設けられているときの送受信各々のクライアント上の処理について説明する。
【００３１】
図４に送信側の処理のフローチャートを示す。
【００３２】
送信側は、プログラム起動後に、常に音声データの入力を待つ状態に入る。音声データが入力されると、発話データを生成し、発話データサーバへ送信する。その後、音声データの送信処理を行う。音声データは音声データサーバへ送信する。
【００３３】
音声データの送信処理とは、マイク等の入力装置から入力された音声（アナログデータ）の標本化、量子化、符号化、バッファへの格納を途切れずに行うことである。
【００３４】
送信側クライアントで音声が入力され続ける限り送信処理は続けられる。入力が途切れたら、再び音声データ入力待ちの状態に戻る。
【００３５】
次に、図５（ａ），（ｂ）に受信側の処理のフローチャートを示す。
【００３６】
図５（ａ）は発話データサーバから送られてくる発話データ受信処理のフローチャートである。
【００３７】
図５（ｂ）は音声データサーバから送られてくる音声データ受信処理のフローチャートである。
【００３８】
発話データ受信処理と、音声データ受信処理は各々独立して待ちうけ状態を保持している。
【００３９】
発話データ受信処理では、常に発話データ受信待ち状態になっており、発話データを受信したら、タスクバー上で表示を行うことや、３次元表示エリア上のアバタの形状を変化させたりするブラウザ上の表示変化処理を行う。表示が終了した後は、再び発話データ受信待ち状態に戻る。
【００４０】
音声データ受信処理は、発話データ受信処理とは独立して行われ、常に音声データ受信待ち状態になっており、音声データを受信したら受信バッファへの格納とＤ／Ａ（ディジタル／アナログ）変換による受信端末のスピーカ等への出力による再生処理が行われる。
【００４１】
尚、データ送信処理方法及びデータ受信処理方法は、具体的にはパーソナルコンピュータ（ＰＣ）等のコンピュータにより、予め所定の記録媒体に記録されたデータ送信処理プログラム及びデータ受信処理プログラムに基づいて実行される。
【００４２】
すなわち、データ送信処理プログラムを記録した記録媒体は、音声データが入力されると発話データを生成し、発話データを発話データサーバへ送信する発話データ送信処理手順、発話データを発話データサーバへ送信して後、音声データの送信処理を行い、音声データを音声データサーバへ送信する音声データ送信処理手順をコンピュータに実行させる。
【００４３】
また、データ受信処理プログラムを記録した記録媒体は、発話データを受信するとブラウザ上の表示変化処理を行う発話データ受信処理手順、音声データを受信すると再生処理を行う音声データ受信処理手順をコンピュータに実行させる。
【００４４】
【発明の効果】
以上述べたように本発明によれば、様々な要因で生じる音声データの遅延が、コンピュータネットワークを介した音声会話に与える影響を少なくし、装置を使用する人間に発話のタイミング与え、予測しやすくする効果がある。
【図面の簡単な説明】
【図１】本発明の実施形態例に係る電文シーケンスの一例を示す説明図である。
【図２】本発明の実施形態例に係る発話データ到着時のアバタ変化を示す説明図である。
【図３】本発明の実施形態例に係る電文シーケンスの他の例を示す説明図である。
【図４】本発明の実施形態例に係る送信側の処理フローチャートを示す。
【図５】本発明の実施形態例に係る受信側の処理フローチャートを示す。
【符号の説明】
（１）  発話データ送信
（２）  発話データ送信
（３）  音声データ
（４）  音声データ
【図１】
0003568424.tif 000002
【図２】
0003568424.tif 000003
【図３】
0003568424.tif 000004
【図４】
0003568424.tif 000005
【図５】
0003568424.tif 000006