(57)【要約】【課題】  パケット通信システムにおいて、パケットを構成するメディアデータフレームの送信による欠損を削減するためのパケットデータ通信方式及びその方法の提供を目的とする。【解決手段】  パケット送信処理装置１０は、送信したパケット化されたメディアデータフレームの後半の一部を残し、次に送信するメディアデータフレームの先頭に配置することで、後半の一部のメディアデータフレームを重複させたパケットを送信し、メディアデータフレーム再生装置２０は、受信したパケットのタイムスタンプを基準に、後半の一部のメディアデータフレームに欠損があれば、重複して受信した前記メディアデータフレームで補完し、欠損がなければ該メディアデータフレームを破棄する。【選択図】      図１
2007019889.tif 000002
【特許請求の範囲】
【請求項１】
パケット化されたメディアデータフレームを送受信するための、パケット送信処理装置とメディアデータフレーム再生装置とを含むパケット通信システムにおける、パケットデータ送信方式であって、
前記パケット送信処理装置は、送信した前記パケット化されたメディアデータフレームの後半の一部を残し、次に送信するメディアデータフレームの先頭に配置することで、前記後半の一部のメディアデータフレームを重複させたパケットを送信し、
前記メディアデータフレーム再生装置は、受信した前記パケットのタイムスタンプを基準に、前記後半の一部のメディアデータフレームに欠損があれば、重複して受信した前記メディアデータフレームで補完し、欠損がなければ該メディアデータフレームを破棄することを特徴とするパケットデータ送信方式。
【請求項２】
前記パケット送信処理装置は、メディア情報入力装置からのアナログ信号を受信するアナログ信号受信回路と、前記アナログ信号をサンプリングしてメディアデータ化するサンプリング回路と、前記サンプリングされたメディアデータを圧縮するコーデック回路と、前記圧縮されたメディアデータを一部重複したフレーム単位でパケットに構成して送信するパケット送信処理回路とを有し、
前記メディアフレーム再生装置は、送信された前記パケットを受信するパケット受信回路と、前記受信したパケットのメディアデータフレームの欠損部分の補完処理と、重複部分の破棄処理とを行うメディアデータフレーム再生回路と、前記補完処理及び前記破棄処理されて成る前記メディアデータフレームを保持するバッファ回路と、前記保持されたメディアデータフレームを読み出して前記アナログ信号に伸張する伸張処理回路とを有することを特徴とする請求項１に記載のパケットデータ送信方式。
【請求項３】
前記パケット送信処理回路は、さらに通信回線の状態を監視する回線監視手段を有し、回線状態に応じて重複させるフレーム数を適応的に可変処理し、
前記メディアフレーム再生回路は、前記パケットのヘッダのタイムスタンプを基準に前記メディアデータフレームの重複を判断して、該重複したメディアデータフレームを破棄することを特徴とする請求項１又は２のいずれかに記載のパケットデータ送信方式。
【請求項４】
パケット化されたメディアデータフレームを送受信するための、パケット送信処理装置とメディアデータフレーム再生装置とを含むパケット通信システムにおける、パケットデータ送信方法であって、
前記パケット通信システムの通信回線の状態を監視するステップと、
前記監視の結果を基に、前記メディアデータフレームの重複数を適応的に可変したパケットを送信するステップと、
前記送信されたパケットを受信し、該パケットのヘッダのタイムスタンプを基に、前記メディアデータフレームに重複があれば破棄し、無ければ該メディアデータフレームで補完するステップと
を有することを特徴とするパケットデータ送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パケット通信システムにおけるリアルタイムデータの送信方式に関し、詳しくは、パケットを構成するメディアデータフレームの送信による欠損を削減する為のパケットデータ通信方式とその方法に関する。
【背景技術】
【０００２】
パケットネットワーク上で、音声や動画などのリアルタイム性の高いメディアデータを送信する場合、送信側では、メディアデータをフレーム単位で取り込み、そのメディアデータフレームをパケット化して送信する。受信側では、パケット受信と同時に、もしくは短時間バッファに保持して、メディアデータを再生することにより、リアルタイム性の高いメディア通信を実現している。このようなパケット通信において、パケットで送信されるデータは、データの信頼性より時間への依存度が高いため、ある程度のデータの欠損は許容されている。また送信におけるパケット構造は、１つのメディアデータフレームを１つのパケットとするだけでなく、メディアデータサイズが大きい場合は細分化して複数のパケットにし、小さい場合は複数フレームを同時に埋め込み１つのパケットとして送信される。
【０００３】
図７は、パケットのフレーム構造と、その送受信を示す模式図である。図７ａにおいて、メディア入力のデータ量Ｄ０〜Ｄ４は、メディアデータフレーム毎にそれぞれ異なるため、圧縮処理された後、フレームの細分化や複数フレームの埋込み処理が行われ、パケット化されてネットワークへと送信される。フレームとパケットが１対１の場合は、ヘッダとコード化されたデータＣ０が１パケットとして送信される。コード化されたデータが大きい場合は、例えば０、１に２分割され２パケットとして送信される。コード化されたデータが小さい場合は、ヘッダの後に連続して埋め込まれ、例えばＣ０、Ｃ１が１つのパケットとして送信される。図７ｂにおいて、送信されたいずれのパケットも欠損なく受信された場合は、バッファ処理でデータの遅延を取り除いて再配列され、フレーム毎に伸張処理されて欠損のない元のメディア情報に復元され、再生される。
【０００４】
図８は、送信されたパケットに欠損が生じた場合のパケットの状態を示すパケット配列パターンである。図８ａにおいて、送信した３つのパケットのうち２番目のパケットが欠損している。従って、５〜９番目のフレームに相当するメディアデータが失われるが、受信側のバッファでは、これらのデータの連続性が保たれた状態で一時保存される。図８ｂおいて、受信されたパケットは遅延を伴っており、配列パターンのリアルタイム性は補償されていない。一方、受信バッファにおけるパケットは、ヘッダのタイムスタンプを基に再配列されており、メディアデータの再生に必要なリアルタイム性が保たれている。
【０００５】
このように、メディアデータの再生に必要なリアルタイム性は保たれているものの、欠損したメディアデータに対してはそのままであるため、欠損量に依存して再生されたメディア情報は不完全なものとなる。通信回線の通信品質状況によらず音声パケットの送信側において、リアルタイム性が維持できる範囲で時間をずらし、同一の音声パケットを２つ以上送信し、音声品質の劣化を防ぐ方法が特許文献１に記載されている。
【特許文献１】特開２００１−２６８１２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、このような問題を解決するためになされたものであり、パケット通信システムにおいて、パケットを構成するメディアデータフレームの送信による欠損を削減するためのパケットデータ通信方式及びその方法の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明のパケットデータ送信方式は、パケット化されたメディアデータフレームを送受信するための、パケット送信処理装置とメディアデータフレーム再生装置とを含むパケット通信システムにおける、パケットデータ送信方式であって、
前記パケット送信処理装置は、送信した前記パケット化されたメディアデータフレームの後半の一部を残し、次に送信するメディアデータフレームの先頭に配置することで、前記後半の一部のメディアデータフレームを重複させたパケットを送信し、
前記メディアデータフレーム再生装置は、受信した前記パケットのタイムスタンプを基準に、前記後半の一部のメディアデータフレームに欠損があれば、重複して受信した前記メディアデータフレームで補完し、欠損がなければ該メディアデータフレームを破棄することを特徴とする。
【０００８】
本発明のパケットデータ送信方式の前記パケット送信処理装置は、メディア情報入力装置からのアナログ信号を受信するアナログ信号受信回路と、前記アナログ信号をサンプリングしてメディアデータ化するサンプリング回路と、前記サンプリングされたメディアデータを圧縮するコーデック回路と、前記圧縮されたメディアデータを一部重複したフレーム単位でパケットに構成して送信するパケット送信処理回路とを有し、
前記メディアフレーム再生装置は、送信された前記パケットを受信するパケット受信回路と、前記受信したパケットのメディアデータフレームの欠損部分の補完処理と、重複部分の破棄処理とを行うメディアデータフレーム再生回路と、前記補完処理及び前記破棄処理されて成る前記メディアデータフレームを保持するバッファ回路と、前記保持されたメディアデータフレームを読み出して前記アナログ信号に伸張する伸張処理回路とを有することを特徴とする。
【０００９】
本発明のパケットデータ送信方式の前記パケット送信処理回路は、さらに通信回線の状態を監視する回線監視手段を有し、回線状態に応じて重複させるフレーム数を適応的に可変処理し、
前記メディアフレーム再生回路は、前記パケットのヘッダのタイムスタンプを基準に前記メディアデータフレームの重複を判断して、該重複したメディアデータフレームを破棄することを特徴とする。
【００１０】
本発明のパケットデータ送信方法は、パケット化されたメディアデータフレームを送受信するための、パケット送信処理装置とメディアデータフレーム再生装置とを含むパケット通信システムにおける、パケットデータ送信方法であって、
前記パケット通信システムの通信回線の状態を監視するステップと、
前記監視の結果を基に、前記メディアデータフレームの重複数を適応的に可変したパケットを送信するステップと、
前記送信されたパケットを受信し、該パケットのヘッダのタイムスタンプを基に、前記メディアデータフレームに重複があれば破棄し、無ければ該メディアデータフレームで補完するステップと
を有することを特徴とする
【発明の効果】
【００１１】
本発明によれば、重複フレームの指定においてヘッダの負担を伴わず、回線品質に応じて適応的に重複フレーム数を可変することができる。また受信パケットの重複を避け、欠損パケットの補完を補充することでメディアデータの欠損サイズを削減できるため、メディアデータの再現性が向上する。
【発明を実施するための最良の形態】
【００１２】
本発明によるパケットデータ送信方式の実施の形態について、図を用いて説明する。図１は、本発明によるパケットデータ送信方式のパケット通信システム構成図である。パケット通信システム１００は、パケット送信処理装置１０、メディアデータフレーム再生装置２０、パケット通信網３０、メディア情報入力装置４０及びメディア情報出力装置５０を具備している。
【００１３】
パケット送信処理装置１０は、アナログ信号受信回路１１、サンプリング回路１２、コーデック回路１３及びパケット送信処理回路１４を有し、パケット送信処理回路１４は、さらに回線監視手段１５を備えている。メディアデータフレーム再生装置２０は、パケット受信回路２１、メディアデータフレーム再生回路２２、バッファ回路２３、伸張処理回路２４及びアナログ信号再生回路２５を有している。
【００１４】
図１において、パケット送信処理装置１０のアナログ信号受信回路１１は、メディア情報入力装置４０からメディア情報のアナログデータ信号を受信する。サンプリング回路１２は、このアナログデータ信号をサンプリングしてメディアデータの符号化を行う。  符号化されたメディアデータは、コーデック１３においてデータ圧縮される。この圧縮されたメディアデータは、パケット送信処理回路１４において、入力されたデータ順にフレーム単位にまとめられ、パケットのヘッダ部に続くデータ部を構成し、パケット通信網３０へ送信される。このとき、最初に送信されたパケットのメディアデータフレームの後半の補完を残し、次に送信するメディアデータフレームの先頭に配置する。このように、最初のパケットの後半の補完のメディアデータフレームを重複して送信する。以後この操作を繰り返す。
【００１５】
図２は、メディアデータフレームの重複を示すパケットの構造図である。パケットは、ヘッダ部にタイムスタンプ情報を有し、データ部にメディアデータフレームが配列されている。最初のパケットは重複が無いため、データ部には、メディアデータフレームの１〜４が配列され、ヘッダ部には、タイムスタンプ１の情報が入っている。次のパケットは、前のパケットの後半の補完のメディアデータフレームを重複させるため、データ部には、メディアデータフレームの４〜７が配列され、ヘッダ部には、タイムスタンプ４の情報が入っている。またパケット送信処理回路１４は、パケット通信網３０の通信回線の状態を監視する回線監視手段１５により回線状態を監視し、回線状態に応じて重複させるフレーム数を適応的に可変処理する。
【００１６】
再び図１において、メディアデータフレーム再生装置２０のパケット受信回路２１は、パケット送信処理装置１０から送信されたパケットを、パケット通信網３０を介して受信する。送信されたパケットは、それぞれの通信遅延を伴って受信され、通信状態によっては途中でパケットが消失し、データの欠損が発生する。メディアデータフレーム再生回路２２は、このような状況で受信されたパケットのタイムスタンプを基に、リアルタイム性の再現と欠損データの補完とを行い、メディアデータをバッファ回路２３へ一時保存する。バッファ回路２３に一時保存されたデータは、伸張処理回路２４に読み出されて圧縮データが元に復元され、アナログ信号再生回路２５でアナログ信号に再生されメディア情報としてメディア情報出力装置５０に出力される。
【００１７】
図３は、パケットのヘッダ部に格納されるタイムスタンプを示すパケット構造図である。パケットのヘッダ部には、ＩＰヘッダ、ＵＤＰヘッダ及びリアルタイム通信のためのヘッダが順次格納され、データ部には、メディアデータがデータの入力順にフレーム化されて、フレーム単位に格納されている。リアルタイム通信のためのヘッダは、シーケンス番号、タイムスタンプ及び明記されていないボックスから構成されている。この明記されていないボックスには、パケットのあて先及びヘッダの種別情報が格納されている。シーケンス番号は、パケットの識別に使用され、タイムスタンプは連続したメディアデータの再生の開始位置を示す。メディアデータフレーム再生回路２２は、パケット受信回路２１で受信されたパケットの、このタイムスタンプを基にリアルタイム性の再現と欠損データの補完とを行い、メディアデータをバッファ回路２３へ一時保存する。次に、このメディアデータの再現について詳細に説明する。
【００１８】
図４は、送信、受信及び再生されたパケットの、データ部の配列を示すパケットデータ配列パターン図である。ステート１では、送信される６つのパケットのデータ部の先頭を示す先頭タイムスタンプ値と、データ部のデータサイズが示されている。データ部の後部の斜線は、次に送られるパケットで重複されるフレーム部分を示し、データ部の前部の斜線は、先に送られたパケットのフレームと重複する部分を示している。各々のパケットは、それぞれ同一タイミングでパケット送信処理装置１０から送信される。
【００１９】
送信中のパケットは、ゆらぎや遅延を伴い、回線の状態によりパケットが消失又はデータが欠損し、メディアデータフレーム再生装置２０に正常なパケットとして受信されない。ステート２のパケットの配列は、３番目と５番目のパケットが欠損して受信された場合を示している。メディアデータフレーム再生回路２２は、これらの受信パケットのタイムスタンプを基準に欠損データの補完を行う。図２に示すように、データ部が４フレームで構成される場合、２番目のパケットのタイムスタンプが４であれば、メディアデータフレーム４が重複しているためこれを破棄し、１つ前のタイムスタンプが存在しなければ、欠損と見做し、重複して送信されたフレームでする。ステート３のデータ部は、フレームが重複していると、重複して送信された方のフレームを破棄し、フレームが欠損していると、重複して送信されたフレームでし、且つメディアデータフレームのリアルタイム性を再現して、再配列されている。再配列されたメディアデータは、バッファ回路２３に一時保存されアナログ信号のメディア情報に変換される。
【００２０】
図５は、重複フレーム数可変における、受信及び再生パケットの、データ部の配列を示すパケットデータ配列パターン図である。パケット送信処理回路１４の回線監視手段１５は、パケット通信網３０の通信回線の状態を監視し、回線状態に応じて重複させるフレーム数を適応的に可変処理する。図５のステート１は、送信側で回線状況を判断し、重複フレーム数を各パケット毎に変えて送信されたパケットを、欠損無しの状態で受信したデータ部の配列を示している。従ってステート２において、バッファ回路２３には、重複フレームを全て破棄した状態でメディアデータが一時保存され、アナログ信号のメディア情報に変換される。
【００２１】
通信回線のエラーは、時間に対して連続して発生するバーストエラーは稀で、不連続に発生するランダムエラーが殆どである。このため、ランダムエラーが頻繁に起きている通信回線状態においては、重複フレーム数を増やすことでメディアデータの欠損量を削減することができる。なお図１に示されるブロック図の回路構成は、当該機能を実現する手段であれば、どのような回路又は装置であっても良く、また機能の補完をソフトウエアで実現することも可能である。さらに機能実現手段を、複数の回路によって実現しても良く、複数の機能を単一の回路で実現しても良い。
【００２２】
図６は、本発明のパケットデータ送信方法によるメディアデータフレームの処理を示すフローチャートである。パケット送信処理装置１０のパケット送信処理回路１４が有する回線監視手段１５がパケット通信網３０の通信回線状態を監視する（ステップ１０）。パケット送信処理回路１４は、回線監視手段１５の監視結果を基に重複フレーム数を決定する（ステップ２０）。この重複フレーム数に対応するフレームをパケットのデータ部の前部にセットして送信パケットを作成する（ステップ３０）。作成されたパケットをパケット通信網３０へ送信する（ステップ４０）。メディアデータフレーム再生装置２０は、送信されたパケットをパケット通信網３０から受信する（ステップ５０）。受信したメディアデータフレームに重複があるか、タイムスタンプを基にチェックする（ステップ６０）。受信したメディアデータフレームに重複があれば、重複フレームを破棄し重複をなくしてバッファに一時保存し、終了する（ステップ７０、ステップ９０、ステップ１００）。重複が無ければ、パケットの欠損が生じたと判断し、重複として送信されたメディアデータフレームで補完し、バッファへ一時保存して終了する（ステップ８０〜ステップ１００）。
【００２３】
以上説明したように本発明によれば、重複フレームの指定においてヘッダの負担を伴わず、回線品質に応じて適応的に重複フレーム数を可変することができる。また受信パケットの重複を避け、欠損パケットの補完を補充することでメディアデータの欠損サイズを削減できるため、メディアデータの再現性が向上する。
【図面の簡単な説明】
【００２４】
【図１】本発明によるパケットデータ送信方式のパケット通信システム構成図。
【図２】本発明によるメディアデータフレームの重複を示すパケットの構造図。
【図３】パケットのヘッダ部に格納されるタイムスタンプを示すパケット構造図。
【図４】送信、受信及び再生パケットの、パケットデータ配列パターン図。
【図５】本発明の重複フレーム数可変におけるパケットデータ配列パターン図。
【図６】本発明によるメディアデータフレームの処理を示すフローチャート。
【図７】従来のパケットのフレーム構造と、その送受信を示す模式図。
【図８】従来の受信パケットの状態を示すパケット配列パターン図。
【符号の説明】
【００２５】
１０  パケット通信処理装置
１１  アナログ信号受信回路
１２  サンプリング回路
１３  コーデック回路
１４  パケット送信処理回路
１５  回路監視手段
２０    メディアデータフレーム再生装置
２１    パケット受信回路
２２  メディアデータフレーム再生回路
２３  バッファ回路
２４  伸張処理回路
２５  アナログ信号再生回路
３０  パケット通信網
４０  メディア情報入力装置
５０  メディア情報出力装置
１００  パケット通信システム
【図１】
2007019889.tif 000003
【図２】
2007019889.tif 000004
【図３】
2007019889.tif 000005
【図４】
2007019889.tif 000006
【図５】
2007019889.tif 000007
【図６】
2007019889.tif 000008
【図７】
2007019889.tif 000009
【図８】
2007019889.tif 000010