(57)【要約】【課題】通信環境が悪化して通信系路上でのパケットの欠落が生じても確実な情報伝達が可能とし、受信データ補間処理によりデータ欠落を防止し、ファイアウォール越えの通信端末との通信を可能にする。【解決手段】送信側で、音声の文節を区別し、区別された文節単位のパケットデータとして送信し、受信側では、受信した文節単位のパケットデータに基づいて音声データを音声出力する。【選択図】      図１
2004186860.tif 000002
【特許請求の範囲】
【請求項１】
音声データをパケットデータとしてネットワークを介して送受信する音声データ送受信方式において、
送信側では、音声の文節を区別し、区別された文節単位のパケットデータとして送信し、受信側では、受信した文節単位のパケットデータに基づいて音声データを音声出力することを特徴とする音声データ送受信方式。
【請求項２】
送信側では、
入力音声データに基づいてリアルタイム通信パケットを生成し、
前記入力音声データを文節単位に区分けし、
前記文節単位の複数のＲＴＰ音声データをパケットデータとして通信経路に伝送し、
受信側では、
前記通信経路を介して受信したパケット化された受信データから文節単位のパケットデータを得て文節単位のＲＴＰを復元し、
前記復元されたＲＴＰに基づいて音声データを音声出力する、
ことを特徴とする音声データ送受信方式。
【請求項３】
送信側では、
入力音声データに基づいてリアルタイム通信パケットを生成し、
前記入力音声データを文節単位に区分けし、
前記文節単位の複数のＲＴＰ音声データを結合し、まとめて一つのパケットデータとして通信経路に伝送し、
受信側では、
前記通信経路を介して受信したパケット化された受信データをパケット分割し文節単位のパケットデータを得て一文節と区別された複数のＲＴＰを復元し、
前記複数のＲＴＰに基づいて音声データを音声出力する、
ことを特徴とする音声データ送受信方式。
【請求項４】
前記送信側から送出するデータはファイル化されていることを特徴とする請求項１乃至３のいずれかに記載の音声データ送受信方式。
【請求項５】
前記受信側では、受信ファイルデータに基づいて受信データの欠落を認識して再送依頼を送出するか、受信データの補間処理を実行することを特徴とする請求項に記載の音声データ送受信方式。
【請求項６】
前記送信側から送出するファイル化データには、識別情報が付与されていることを特徴とする請求項１乃至４のいずれかに記載の音声データ送受信方式。
【請求項７】
前記受信では、受信ファイルデータから前記識別情報に基づいて送信側のデータを取り出すことを特徴とする請求項６に記載の音声データ送受信方式。
【請求項８】
前記音声の文節の区別は、音声認識により行われることを特徴とする請求項１乃至７のいずれかに記載の音声データ送受信方式。
【請求項９】
前記音声の文節の区別は、外部からの指示により行われることを特徴とする請求項１乃至７のいずれかに記載の音声データ送受信方式。
【請求項１０】
前記音声の文節の区別は、入力音声の音量レベルに基づいて行われることを特徴とする請求項１乃至７のいずれかに記載の音声データ送受信方式。
【請求項１１】
前記音声の文節の区別は、入力音声の高さレベルの変化に基づいて行われることを特徴とする請求項１乃至７のいずれかに記載の音声データ送受信方式。
【請求項１２】
前記音声の文節の区別は、計測されたユーザの唇の動きに基づいて行われることを特徴とする請求項１乃至７のいずれかに記載の音声データ送受信方式。
【請求項１３】
前記音声の文節の区別は、計測されたユーザの喉の振動に基づいて行われることを特徴とする請求項１乃至７のいずれかに記載の音声データ送受信方式。
【請求項１４】
送信側と受信側との間の単位時間あたりの通信量に基づいて請求項１乃至３のいずれかの方式を選択することを特徴とする音声データ送受信方式。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声データ送受信方式に関し、例えば、インターネット等の非ＱｏＳ保証ネットワーク等の通信経路を経由した音声通信における意味情報を確保した音声データ送受信方式に関する。
【０００２】
【従来の技術】
国境を越え、全世界で共通利用されているインターネットは、ホームページ閲覧、電子メール、ファイル転送のような従来からのアプリケーション以外に電子商取引やインターネット電話（ＩＰ電話：インターネットプロトコル電話）が注目を浴びている。これは、電話網における回線交換を中心とするネットワークだけでなく、パケット交換によるＩＰネットワークの急激な進展が大きな原因となっている。
【０００３】
ＩＰ電話通信は、音声（又はＦＡＸ）データを含む各種データ（静止画、動画、データ等）をＩＰパケットに変換し、ＩＰベースのネットワーク内を転送する通信であり、ネットワークの一部または全部においてＩＰネットワーク技術を利用した音声電話サービスがＩＰ電話、ＩＰ電話のうちｗｗｗ等のアプリケーションに利用されているものと同じＩＰネットワーク（インターネットプロトコルにより通信を行う通信網）を利用するものがインターネット電話とされている。
【０００４】
ＩＰ電話には、次のような３つの方式がある。第１の方式は、インターネット上にダイヤルアップ接続したパソコン間で音声メッセージをやり取りする両パソコンにはそのための同じソフトウエアをインストールし、同時にパソコンがサーバに接続されている必要がある。また、第２の方式は、パソコンから一般加入電話機に電話をかける（逆は不可）予め双方で約束しておかないと通話ができない。更に、第３の方式は、一般加入電話機間の通話を行なうインターネット網と公衆回線交換機との接続点にインターネット電話用ゲートウエイ経由でユーザＩＤとＰＩＮを入力して通信する方式と、インターネット直結型端末による通信があり、現在の電話通信方式に最も近く、その技術的進展は著しいものがある。
【０００５】
一方、狭帯域で多くの音声情報を送信する方式として、入力音声を音声認識により文字データに変換し、得られた文字データをパケット化して送信し、受信側では、受信した文字データを音声データに変換し、更に音声合成した後に音声出力することにより、送信データ量を格段に少なくして通信遅延を避けた方式が提案されている（例えば、特許文献１参照）。しかし、この方式は、送信データ量の低減効果はあるものの、あくまでも文字データ伝送であるため、合成音声は一律的な音声で、会話者の音声とは異なる。
【０００６】
【特許文献１】
特開平１０−２８５２７５号公報（第４〜５頁、図１）
【０００７】
【発明が解決しようとする課題】
ところで、通信品質ＱｏＳ（Ｑｕａｌｉｔｙ  ｏｆ  Ｓｅｒｖｉｃｅ）が保証されないインターネットやローカルネットワーク等のＩＰネットワークを介したＩＰによる音声通信においては、ＵＤＰプロトコルのＲＴＰを用いた音声データの送受信が一般的である。このとき、音声通話や動画再生はデータのリアルタイム性を重要視してＲＴＰを用いているが、ＲＴＰは通信経路で発生するパケットロスに対する対処が無く、途中で失われたパケットは再送されず、音声の途切れ等、音声品質に問題がある。
【０００８】
この問題に対処するため、従来は、パケットがロスしても音声が途切れないように前後のパケットデータも付加して送信し、これらデータに基づく補間処理を行う方式が提案されている。しかしながら、音声以外のデータ通信が頻繁に流れている環境においては、音声パケットのロスが著しく、補間を用いても音声品質の劣化が大きすぎ、したがって、会話の意味を認識できない場合も生ずる。
【０００９】
以上のように、パケット送信によるリアルタイム音声通信は、通信経路の環境の悪化によってＲＴＰの欠除が起こり音声の虫食いが発生するため、これまでは通信環境が良い時にしか満足な通信を行えなかった。
【００１０】
そこで、本発明の目的は、通信経路環境が劣化しても会話の意味を認識可能な音声データ送受信方式を提供することにある。
【００１１】
本発明の目的は、通信経路に起因するパケットの欠落があっても会話の意味を認識可能な音声データ送受信方式を提供することにある。
【００１２】
【課題を解決するための手段】
前述の課題を解決するため、本発明による音声データ送受信方式は、次のような特徴的な構成を採用している。
【００１３】
（１）音声データをパケットデータとしてネットワークを介して送受信する音声データ送受信方式において、
送信側では、音声の文節を区別し、区別された文節単位のパケットデータとして送信し、受信側では、受信した文節単位のパケットデータに基づいて音声データを音声出力する音声データ送受信方式。
【００１４】
（２）送信側では、
入力音声データに基づいてリアルタイム通信パケットを生成し、
前記入力音声データを文節単位に区分けし、
前記文節単位の複数のＲＴＰ音声データをパケットデータとして通信経路に伝送し、
受信側では、
前記通信経路を介して受信したパケット化された受信データから文節単位のパケットデータを得て文節単位のＲＴＰを復元し、
前記復元されたＲＴＰに基づいて音声データを音声出力する音声データ送受信方式。
【００１５】
（３）送信側では、
入力音声データに基づいてリアルタイム通信パケットを生成し、
前記入力音声データを文節単位に区分けし、
前記文節単位の複数のＲＴＰ音声データを結合し、まとめて一つのパケットデータとして通信経路に伝送し、
受信側では、
前記通信経路を介して受信したパケット化された受信データをパケット分割し、文節単位のパケットデータを得て一文節と区別された複数のＲＴＰを復元し、前記複数のＲＴＰに基づいて音声データを音声出力する音声データ送受信方式。
【００１６】
（４）前記送信側から送出するデータはファイル化されている上記（１）乃至（３）のいずれかの音声データ送受信方式。
【００１７】
（５）前記受信側では、受信ファイルデータに基づいて受信データの欠落を認識して再送依頼を送出するか、受信データの補間処理を実行する（４）の音声データ送受信方式。
【００１８】
（６）前記送信側から送出するファイル化データには、識別情報が付与されている上記（１）乃至（４）のいずれかの音声データ送受信方式。
【００１９】
（７）前記受信では、受信ファイルデータから前記識別情報に基づいて送信側のデータを取り出す上記（６）の音声データ送受信方式。
【００２０】
（８）前記音声の文節の区別は、音声認識により行われる上記（１）乃至（７）のいずれかの音声データ送受信方式。
【００２１】
（９）前記音声の文節の区別は、外部からの指示により行われる上記（１）乃至（７）のいずれかの音声データ送受信方式。
【００２２】
（１０）前記音声の文節の区別は、入力音声の音量レベルに基づいて行われる上記（１）乃至（７）のいずれかの音声データ送受信方式。
【００２３】
（１１）前記音声の文節の区別は、入力音声の高さレベルの変化に基づいて行われる上記（１）乃至（７）のいずれかの音声データ送受信方式。
【００２４】
（１２）前記音声の文節の区別は、計測されたユーザの唇の動きに基づいて行われる上記（１）乃至（７）のいずれかの音声データ送受信方式。
【００２５】
（１３）前記音声の文節の区別は、計測されたユーザの喉の振動に基づいて行われる上記（１）乃至（７）のいずれかの音声データ送受信方式。
【００２６】
（１４）送信側と受信側との間の単位時間あたりの通信量に基づいて上記（１）乃至（３）のいずれかの方式を選択する音声データ送受信方式。
【００２７】
【発明の実施の形態】
以下、本発明による音声データ送受信方式の好適実施形態例について添付図を参照して説明する。図１は本発明による音声データ送受信方式の第１の実施形態例を示すシステム構成図である。
【００２８】
本実施形態では、送信側には、通信端末１１、音声認識装置１２及びパケット結合装置１３を備え、送信側とインターネット等の通信経路を介して接続されている受信側には、パケット分割装置２１及び通信端末２２を備える。勿論、各ユーザは、会話のために送信機能と受信機能の両機能を有するが、ここでの説明は、送信側と受信側を別に行う。
【００２９】
送信側においては、ユーザの発声した音声入力は、マイク等の音声入力装置により音声データとして通信端末１１で処理される。受信側の通信端末２２で音声処理された音声はスピーカ等の音声出力装置を介して音声出力される。
【００３０】
送信側の通信端末１１は、入力音声データに基づいてリアルタイム通信パケット（以後、ＲＴＰと称する）を生成する。音声認識装置１２は、通信端末１１から音声データを受信し、音声認識処理を実行して音声を文節単位に区分けする。パケット結合装置１３は、こうして音声認識装置１２で文節単位の複数のＲＴＰ音声データを結合し、まとめて一つのパケットデータとして通信経路にデータ伝送する。パケット結合装置１３は、また上記文節単位のＲＴＰデータをそのまま送信しても良い。
【００３１】
通信経路を介して受信したパケット化された受信データは、受信側のパケット分割装置２１でパケット分割されて文節単位のパケットデータＲＴＰが得られ、一文節と区別された複数のＲＴＰを復元する。通信端末２２は、パケット分割装置２１から受信した複数のＲＴＰに基づいて送信側の音声データを生成してスピーカから音声出力する。
【００３２】
以上のように、本実施形態では、音声文章の意味をもつ区切りとしての文節単位を識別し、識別された文節単位でのリアルタイム通信パケットで送受信しているので、通信回線の劣化等に起因する通信環境が悪化して通信系路上でのパケットの欠落が生じても文節毎の意味は伝達でき確実な情報伝達が可能となる。
【００３３】
図２は本発明による音声データ送受信方式の第２の実施形態例を示すシステム構成図である。図２において、図１と同じ参照符号を付与された構成部は同様な機能を有する構成部である。
【００３４】
本実施形態では、送信側には、通信端末１１、音声認識装置１２、パケット結合装置１３及びファイル化装置１４を備え、送信側とインターネット等の通信経路を介して接続されている受信側には、パケット分割装置２１、通信端末２２及びファイル受信装置２３を備える。
【００３５】
送信側の通信端末１１は、入力音声データに基づいてＲＴＰを生成する。音声認識装置１２により、通信端末１１から音声データに対して音声認識処理を実行して音声を文節単位に区分けし、パケット結合装置１３により、文節単位の複数のＲＴＰ音声データを結合して一つのパケットデータとしてファイル化装置１４に送出する。ファイル化装置１４は、受信したパケットをファイル化して通信経路に伝送する。
【００３６】
通信経路を介して受信したファイルデータは、受信側のファイル受信装置２３で、パケットデータとしてパケット分割装置２１に送出する。ファイル受信装置２３は、また、受信したファイルデータから受信データの欠落を認識してデータの再送依頼を送信側に送出したり、受信データに補間処理を施してデータの欠落を防止する。
【００３７】
パケット分割装置２１は、ファイル受信装置２３から受信したデータをパケット分割し、文節単位のパケットデータＲＴＰを得て、一文節と区別された複数のＲＴＰを復元する。通信端末２２は、パケット分割装置２１から受信した複数のＲＴＰに基づいて送信側の音声データを生成してスピーカから音声出力する。
【００３８】
以上の第２の実施形態では、第１の実施形態のような通信回線の劣化等に起因する通信環境が悪化して通信系路上でのパケットの欠落が生じても文節毎の意味は伝達でき確実な情報伝達が可能となるだけでなく、ファイル受信装置２３が受信したファイルデータに基づいて受信データの欠落を認識してデータの再送依頼を出したり、受信データ補間処理によるデータ欠落を防止できるという効果も奏する。
【００３９】
次に、本発明による音声データ送受信方式の第３の実施形態を図３のシステム構成図を参照して説明する。図３において、図２と同じ参照符号を付与された構成部は同様な機能を有する構成部である。
【００４０】
本実施形態の構成と動作は基本的に図２に示す第２の実施形態と同様である。本実施形態は、ファイアウォール２４が通信経路と受信側に存在する場合に効果が大きい。本実施形態では、ファイル化装置１４が、ファイルデータを、一般的に開放されているＨＴＴＰ、ＦＴＰ等のポートを利用して送信し、他のファイルと区別するためにファイル化後に識別情報を付与する。
【００４１】
インターネット等の通信経路を介して接続されている受信側のファイル受信装置２３は、受信したファイル全部から識別情報を元にファイル化装置１４が送信したファイルを取り出してパケット分割装置２１に送出する。ファイル受信装置２３は、上記と同様に、受信データの欠落を認識してデータ再送の指示を出したり、受信データの補間処理を施してデータの欠落を防止する。
【００４２】
この第３の実施形態では、第１と第２の実施形態のような通信回線の劣化等に起因する通信環境が悪化して通信系路上でのパケットの欠落が生じても文節毎の意味は伝達でき確実な情報伝達が可能となる効果、受信ファイルデータに基づく受信データ欠落の認識によるデータの再送処理や受信データ補間処理によるデータ欠落の防止効果に加えて、ファイアウォール越えの通信端末との通信が可能になるという効果も奏することができる。
【００４３】
以下に説明する本発明の更に他の実施形態は、音声の文節を区別（識別）する方式についての種々の形態である。
【００４４】
本発明の第４の実施形態は、手動で文節区切りを示す信号を出力するものであり、手動で文節区切りの信号を送る装置を用いることにより、必要な区切りを人の判断で入力することができる。
【００４５】
この実施形態によれば、如何なる環境下でも区切り情報を入力できるため、音声に限らず、音楽、連続音を送信する場合に用いることができるだけでなく、画像などの他のＲＴＰ通信にも用いることができる。
【００４６】
本発明の第５の実施形態は、音声の文節区切りを計測した入力音量に基づいて決定するものである。すなわち、入力された音量を計測し、そのレベルが特定の値まで下がった時を区切りと判断する。この場合の特定の値とは発言が途切れた際の雑音レベルとすることができる。
【００４７】
本実施形態によれば、発言中の自然な区切りで自動的に文節を区切ることができる。
【００４８】
本発明の第６の実施形態は、音声の文節区切りを、計測された入力音の高さに基づいて決定するものである。すなわち、入力された音の高さを計測し、そのレベルが一定以上の落差を生じた時を区切りと判断する。
【００４９】
本実施形態によれば、背景の雑音が大きくとも自動的に発言の区切りを識別することができる。
【００５０】
本発明の第７の実施形態は、音声の文節区切りを、音声入力中の人物の顔を画像計測し、唇の動きに基づいて決定するものである。すなわち、音声入力中の人物の顔を画像計測し、唇の動きが停滞した時を区切りと判断する。
【００５１】
本実施形態によれば、音声処理とは異なる機構で区切りの判断が行えるため、適切な音声識別装置がなくとも自動的に区切りの識別が行える。
【００５２】
本発明の第８の実施形態は、音声の文節区切りを、計測された喉の振動に基づいて決定するものである。すなわち、喉の振動を計測し、振動が止んだ時を区切りと判断する。
【００５３】
本実施形態によれば、音声処理とは異なる機構で区切りの判断が行えるため、適切な音声識別装置がなくとも自動的に区切りの識別が行える。また、音声の音量が極端に小さい場合にも用いることができる。
【００５４】
本発明の第９の実施形態は、音声の文節区切りを、音声の文章としての識別、解析手法に基づいて決定するものである。すなわち、音声を文章として解析し、適切な区切りを判断する。音声の文章への解析技術は公知の技術を用いることがきる。
【００５５】
本実施形態によれば、上述の手法を利用できない環境下、例えば平坦で長く連続した音声に対しても、意味から区切りを自動的に判断することができる。
【００５６】
次に本発明の第１０の実施形態について説明する。
本実施形態は、送信側（または受信側）に設置され、通信状況を観測して送受信両方の通信端末に通信の最適な手段の通達を行うものである。
【００５７】
図４には本実施形態の構成ブロック図が示されている。
本実施形態は、通信の開始、終了を感知する送受信監視装置３１と、通信時間を累算する通信時間記憶部３２と、送信または受信の完了したデータ量を累算する通信量記憶部３３と、通信手段切り替えの基準値とそれぞれの通信手段を保持する基準値、対応手段記憶部３４と、通信時間記憶部３２と通信量記憶部３３から時間あたり通信量を計算し、基準値、対応手段記憶部３４に記憶された基準と比較し、適切な通信手段を判別する比較演算装置３５と、比較演算装置３５から通信手段を受け取り、その切り替え命令を行う通信手段通達装置３６を備える。
【００５８】
本実施形態の動作を図５を参照して説明する。
通信が行われると送受信監視装置３１が通信開始を感知し、通信時間記憶部３２と通信量記憶部３３にそれぞれの累算を開始させる。通信時間記憶部３２が一定時間経過を感知するごとに通信量記憶部３３のデータ量と共に記憶値を比較演算装置３５に送り、同時に通信時間記憶部３２、通信量記憶部３３共に累積値を消去する。比較演算装置３５は通信時間記憶部３２と通信量記憶部３３から送られた情報から時間あたり通信量を算出し、結果を基準値、対応手段記憶部３４に記憶されている基準値と比較して、対応した通信手段を通信手段通達装置３６に送出する。通信手段通達装置３６は、選択された手段の切り替え命令を通信端末に通達する。また、通信が終了した際には送受信監視装置３１がそれを感知し、通信時間記憶部３２と通信量記憶部３３に累算の終了と記憶値の消去を通知する。このように、本実施形態では、送信側と受信側との間の単位時間あたりの通信量に基づいて上記いずれかの方式を選択することができる。
【００５９】
本実施形態によれば、送受信通信端末は通信経路の環境に合わせて最適な通信手段で通信を行うことができる。通信手段として例えば挙げられるのは、通常時がＲＴＰ通信、経路環境の悪化時が文節区切りパケット通信、経路環境が更に悪化した際にはファイル化通信を選択する、などとする。
【００６０】
以上、本発明の好適実施形態の構成および動作を詳述した。しかし、斯かる実施形態は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではない。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であること、当業者には容易に理解できよう。
【００６１】
【発明の効果】
以上説明したように、本発明の音声データ送受信方式によれば、通信回線の劣化等に起因する通信環境が悪化して通信系路上でのパケットの欠落が生じても文節毎の意味は伝達でき確実な情報伝達が可能となるだけでなく、受信したファイルデータに基づいて受信データの欠落を認識してデータの再送依頼を出したり、受信データ補間処理によるデータ欠落を防止でき、ファイアウォール越えの通信端末との通信が可能になるという効果を奏することができる。
【００６２】
また、送受信通信端末は通信経路の環境に合わせて最適な通信手段で通信を行うことができる。
【図面の簡単な説明】
【図１】本発明による音声データ送受信方式の第１の実施形態例を示すシステム構成図である。
【図２】本発明による音声データ送受信方式の第２の実施形態例を示すシステム構成図である。
【図３】本発明による音声データ送受信方式の第３の実施形態例を示すシステム構成図である。
【図４】本発明による音声データ送受信方式の第１０の実施形態例を示すシステム構成図である。
【図５】図４に示す実施形態の動作を説明するための図である。
【符号の説明】
１１、２２    通信端末
１２          音声認識装置
１３          パケット結合装置
１４          ファイル化装置
２１          パケット分割装置
２３          ファイル受信装置
２４          ファイアウォール
３１          送受信監視装置
３２          通信時間記憶部
３３          通信量記憶部
３４          基準値、対応手段記憶部
３５          比較演算装置
３６          通信手段通達装置
【図１】
2004186860.tif 000003
【図２】
2004186860.tif 000004
【図３】
2004186860.tif 000005
【図４】
2004186860.tif 000006
【図５】
2004186860.tif 000007