(57)【要約】  パケットロスの発生によるメディアの品質劣化を防止するメディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、メディアサーバ装置を提供する。  各パケットに格納される符号化データ及び冗長データの設定、及び音声符号化部及び冗長データ生成部の少なくともいずれか１つの符号化ビットレートの設定をメディア送受信装置間で交換する接続呼処理部と、メディア送受信装置間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくといずれか１つを復号化する音声復号化部とを有し、メディア送受信装置間で交換されたパケットに格納されるデータの設定に基づいて各パケットから符号化データ及び冗長データを分離し、該冗長データで欠落した符号化データを補填することにより、メディア符号化データをＩＰ網を介してパケットで転送する場合に、パケットロスが発生しても、メディア品質の劣化を防止する。
2008072469.tif 000002
【特許請求の範囲】
【請求項１】
送信装置と受信装置の間で通信を行なうメディア送受信方法であって、
前記送信装置にて、入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化工程と、
前記送信装置にて、前記符号化データに対して冗長データを生成する冗長データ生成工程と、
前記送信装置にて、前記符号化データ及び前記冗長データを１つのパケットに格納するパケット格納工程と、
前記送信装置にて、接続呼処理を用いて、前記符号化データ及び前記冗長データの少なくとも１つの符号化ビットレートの設定を前記受信装置へ通知する接続呼処理工程と、
前記送信装置にて、前記パケットを前記受信装置へ送信するパケット送信工程と、
前記受信装置にて、前記送信装置から送信されたパケットを受信するパケット受信工程と、
前記受信装置にて、前記送信装置と前記受信装置の間で交換された前記符号化ビットレートの設定に基づいて前記パケットに格納された前記符号化データと前記冗長データとを分離するデータ分離工程と、
前記受信装置にて、前記パケットの送信中にロスが発生した場合は、前記符号化データのロスを前記冗長データで補填するデータ補填工程と、
前記受信装置にて、前記送信装置と前記受信装置の間で交換された前記符号化ビットレートの設定に基づいて前記符号化データ及び前記冗長データの少なくとも１つを復号化する復号化工程と、
を有することを特徴とするメディア送受信方法。
【請求項２】
前記信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする請求項１記載のメディア送受信方法。
【請求項３】
前記送信装置にて、前記パケットに前記冗長データを複数格納して送信することを特徴とする請求項１記載のメディア送受信方法。
【請求項４】
前記送信装置にて、前記パケットに前記符号化データを複数格納して送信することを特徴とする請求項１記載のメディア送受信方法。
【請求項５】
前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項１記載のメディア送受信方法。
【請求項６】
受信装置との間で通信を行なうメディア送信方法であって、
入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化工程と、
前記符号化データに対して冗長データを生成する冗長データ生成工程と、
前記符号化データ及び前記冗長データを１つのパケットに格納するパケット格納工程と、
接続呼処理を用いて、前記符号化データ及び前記冗長データの少なくとも１つの符号化ビットレートの設定を前記受信装置へ通知する接続呼処理工程と、
前記パケットを前記受信装置へ送信するパケット送信工程と、
を有することを特徴とするメディア送信方法。
【請求項７】
前記信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする請求項６記載のメディア送信方法。
【請求項８】
前記パケット格納工程では、前記パケットに前記冗長データを複数格納することを特徴とする請求項６記載のメディア送信方法。
【請求項９】
前記パケット格納工程では、前記パケットに前記符号化データを複数格納することを特徴とする請求項６記載のメディア送信方法。
【請求項１０】
前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項６記載のメディア送信方法。
【請求項１１】
送信装置との間で通信を行なうメディア受信方法であって、
前記送信装置から送信されたパケットを受信するパケット受信工程と、
前記送信装置との間で交換された前記符号化ビットレートの設定に基づいて前記パケットに格納された前記符号化データと前記冗長データとを分離するデータ分離工程と、
前記パケットの送信中にロスが発生した場合は、前記符号化データのロスを前記冗長データで補填するデータ補填工程と、
前記送信装置と間で交換された前記符号化ビットレートの設定に基づいて前記符号化データ及び前記冗長データの少なくとも１つを復号化する復号化工程と、
を有することを特徴とするメディア受信方法。
【請求項１２】
前記符号化データは、音声信号及び画像信号のいずれかが符号化されたデータであることを特徴とする請求項１１記載のメディア受信方法。
【請求項１３】
前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項１１記載のメディア受信方法。
【請求項１４】
入力された信号を所定のフレーム長に分割し、各フレームを符号化した符号化データを作成する符号化部と、前記符号化データに対して冗長データを生成する冗長データ生成部と、前記符号化データ及び前記冗長データが１つのパケットに格納されたパケットを送受信するデータ送受信部とを有するメディア送受信装置において、
前記各パケットに格納される前記符号化データ及び前記冗長データの設定、及び前記符号化部及び前記冗長データ生成部の少なくとも１つの符号化ビットレートの設定を前記メディア送受信装置間で交換する接続呼処理部と、
前記メディア送受信装置間で交換された前記符号化ビットレートの設定に基づいて前記符号化データ及び前記冗長データの少なくとも１つを復号化する復号化部とを有し、
前記データ送受信部は、前記メディア送受信装置間で交換された前記パケットに格納されるデータの設定に基づいて前記パケットに格納された記符号化データと前記冗長データとを分離し、前記パケットの送信中にロスが発生した場合は、前記符号化データのロスを前記冗長データで補填することを特徴とするメディア送受信装置。
【請求項１５】
前記信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする請求項１４記載のメディア送受信装置。
【請求項１６】
前記データ送受信部は、前記各パケットに複数の前記冗長データを格納して送信することを特徴とする請求項１４記載のメディア送受信装置。
【請求項１７】
前記データ送受信部は、前記各パケットに複数の前記符号化データを格納して送信することを特徴とする請求項１４記載のメディア送受信装置。
【請求項１８】
前記符号化部及び前記冗長データ生成部においてデータを符号化する前記符号化ビットレートが異なることを特徴とする請求項１４記載のメディア送受信装置。
【請求項１９】
受信装置との間で通信を行なうメディア送信装置であって、
入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化手段と、
前記符号化データに対して冗長データを生成する冗長データ生成手段と、
前記符号化データ及び前記冗長データを１つのパケットに格納するパケット格納手段と、
接続呼処理を用いて、前記符号化データ及び前記冗長データの少なくとも１つの符号化ビットレートの設定を前記受信装置へ通知する接続呼処理手段と、
前記パケットを前記受信装置へ送信するパケット送信手段と、
を有することを特徴とするメディア送信装置。
【請求項２０】
前記信号は、音声信号及び画像信号のいずれかであることを特徴とする請求項１９記載のメディア送信装置。
【請求項２１】
前記パケット格納手段では、前記パケットに前記冗長データを複数格納することを特徴とする請求項１９記載のメディア送信装置。
【請求項２２】
前記パケット格納手段は、前記パケットに前記符号化データを複数格納することを特徴とする請求項１９記載のメディア送信装置。
【請求項２３】
前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項１９記載のメディア送信装置。
【請求項２４】
送信装置との間で通信を行なうメディア受信装置であって、
前記送信装置から送信されたパケットを受信するパケット受信手段と、
前記送信装置との間で交換された前記符号化ビットレートの設定に基づいて前記パケットに格納された前記符号化データと前記冗長データとを分離するデータ分離手段と、
前記パケットの送信中にロスが発生した場合は、前記符号化データのロスを前記冗長データで補填するデータ補填手段と、
前記送信装置と間で交換された前記符号化ビットレートの設定に基づいて前記符号化データ及び前記冗長データの少なくとも１つを復号化する復号化手段と、
を有することを特徴とするメディア受信装置。
【請求項２５】
前記符号化データは、音声信号及び画像信号のいずれかが符号化されたデータであることを特徴とする請求項２４記載のメディア受信装置。
【請求項２６】
前記符号化データ及び前記冗長データの符号化ビットレートがそれぞれ異なることを特徴とする請求項２４記載のメディア受信装置。
【請求項２７】
請求項１４から１８のいずれか１項記載のメディア送受信装置、請求項１９から２３のいずれか１項記載のメディア送信装置、請求項２４から２６のいずれか１項記載のメディア受信装置のうちのいずれかを有することを特徴とするゲートウェイ装置。
【請求項２８】
請求項１４か１８のいずれか１項記載のメディア送受信装置、請求項１９から２３のいずれか１項記載のメディア送信装置、請求項２４から２６のいずれか１項記載のメディア受信装置のうちのいずれかを有することを特徴とするメディアサーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化されたメディア（音声や映像など）データをパケットで送受信する方法及び装置に関し、パケットロスが発生する場合でもメディア品質の劣化を防止して伝送することができるメディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、及びメディアサーバに関する。
【背景技術】
【０００２】
近年、音声や映像などのメディア信号を効率よく、かつ高品質で圧縮伝送する方法がモバイル網、ブロードバンド網を問わず普及している。音声信号を効率良く、かつ高音質で圧縮伝送する方法として、モバイル網ではAMR-NB（Adaptive Multi-Rate NarrowBand）符号化方式が、ブロードバンド網ではITU-T G.729などのCS-ACELP（Conjugate Structure and Algebraic Code Excited Linear Prediction）符号化方式などが使用されている。現在、ブロードバンド網を中心に普及し、かつモバイル網でも導入される予定のＩＰ電話は、これらの符号化方式で符号化した音声データを、ＩＰ（Internet Protocol）網を介して転送する。ＩＰ網を介して音声データを転送する場合に、例えばAMR-NBで符号化した音声データをパケット化するための規格として、IETF RFC1889 RTP（Real-time Transport Protocol）やIETF RFC3016 AMRペイロードフォーマットが定められている。また、画像符号化方式としては、ITU−T規格のH.263符号化方式やMPEG規格のMPEG-4方式が普及しており、今後、さらに符号化効率の高いITU-T H.264（MPEG-4 AVC）方式が導入されると予想される。なお、IETFは、Internet Engineering Task Forceの略である。また、RFCは、Request For Commentsの略である。また、ITUは、International Telecommunication Unionの略である。また、MPEGは、Motion Picture Experts Groupの略である。【０００３】
特許文献１では、パケット冗長化によるロス改善方法およびシステムが提案されている。この方法では、まず、送信する音声等のリアルタイム性を持つデータをｎ分割したｎパケットと、該データの排他論理和からなる冗長化パケットのｎ＋１パケットを併せて送信する。次に、１パケットのロスが発生しても残りのｎ−１パケットと冗長化パケットとの排他論理和により、ロスパケットを再生して、データロスを低減する。また、ｎ分割したパケットと冗長化パケットのｎ＋１パケットのうち、２つ以上のパケットロスが発生してもｎ分割したパケットのいずれかを受信した場合には、パケットを正しい時間位置で復号化する。【０００４】
特許文献２では、パケットデータ通信における損失データ補填方式が提案されている。この方式では、再送機能を有しておらず、かつ、シーケンス番号を有しているプロトコルを用いてパケットデータ通信を行なうに際し、時系列的に連続する複数Ｎ個のデータ片を備えるパケットデータを生成して送信する。また、パケットデータを受信し、受信したパケットデータ内のシーケンス番号に基づき、当該パケットデータが前回受信したパケットデータの後続のパケットデータであるか否かを判定する。そして、当該パケットデータが前回受信したパケットデータの後続のパケットデータではないと判定されるパケット損失発生時に、受信したパケットデータ内のデータ片を用いてパケット損失に係るデータを補填する。【０００５】
特許文献３では、無線ネットワークシステムが提案されている。このシステムは、第１及び第２の無線通信装置が無線ネットワークを介してパケット通信を行う無線ネットワークシステムである。第１の無線通信装置は、送信しようとするパケットをコピー処理して複数の同一パケットを生成し、その複数の同一パケットを、異なる複数のネットワーク経路に送出する。第２の無線通信装置は、１又は複数のネットワーク経路からのパケットを受信し、その受信パケットを監視し、過去に受信したパケットと同一の受信パケットを廃棄する。
【特許文献１】特開２００２−２６１８１９号公報
【特許文献２】特開２００３−１６３７１４号公報
【特許文献３】特開２００５−３１８３９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記メディア符号化方式では、符号化したデータをIETF規格のRFC3016やRFC1886を用いてＲＴＰパケット化してＩＰ網を介して転送する場合、ＩＰ網で発生するパケットロスを回避することができない。例えば、音声符号化方式で圧縮符号化された音声データに対してパケットロスが発生した場合、音声符号化データは、例えば、２０ｍｓ毎のフレーム単位または複数個のフレームで損失する。そのため、パケットロスを含む音声データを受信側で復号すると、音質が極めて劣化する。【０００７】
また、音声符号化方式の受信側は誤り隠蔽手段を搭載しており、パケットロスと判断されると誤り隠蔽を起動させて音切れや音飛びを防止するが、音声符号化方式は過去の信号からの予測を用いて符号化効率を高めた方式であるため、原理的にパケットロスや誤りに弱く、かつ誤り隠蔽方式自体も不十分なものである。そのため、パケットロス率が数％をこえると、誤り隠蔽しても、音質の劣化が明らかに検知できてしまうという問題点があった。【０００８】
また、画像符号化方式では音声よりもさらにパケット損失の影響が大きく、画像符号化データを含んだパケットが損失すると、特に予測フレーム（Ｐフレーム）では受信側で大幅な画質劣化が発生するという問題があった。【０００９】
本発明は、上記事情に鑑みてなされたものであり、メディア符号化データをＩＰ網を介してパケットで転送する場合に、パケットロスが発生しても、メディア品質の劣化を防止するメディア送受信方法、メディア送信方法、メディア受信方法、メディア送受信装置、メディア送信装置、メディア受信装置、ゲートウェイ装置、メディアサーバを提供することを目的としている。
【課題を解決するための手段】
【００１０】
かかる目的を達成するために、本発明の第１のメディア送受信方法は、送信装置と受信装置の間で通信を行なうメディア送受信方法であって、送信装置にて、入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化工程と、送信装置にて、符号化データに対して冗長データを生成する冗長データ生成工程と、送信装置にて、符号化データ及び冗長データを１つのパケットに格納するパケット格納工程と、送信装置にて、接続呼処理を用いて、符号化データ及び冗長データの少なくとも１つの符号化ビットレートの設定を受信装置へ通知する接続呼処理工程と、送信装置にて、パケットを受信装置へ送信するパケット送信工程と、受信装置にて、送信装置から送信されたパケットを受信するパケット受信工程と、受信装置にて、送信装置と受信装置の間で交換された符号化ビットレートの設定に基づいてパケットに格納された符号化データと冗長データとを分離するデータ分離工程と、受信装置にて、パケットの送信中にロスが発生した場合は、符号化データのロスを冗長データで補填するデータ補填工程と、受信装置にて、送信装置と受信装置の間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくとも１つを復号化する復号化工程と、を有することを特徴とする。【００１１】
本発明の第２のメディア送受信方法は、本発明の第１のメディア送受信方法において、信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする。【００１２】
本発明の第２のメディア送受信方法は、本発明の第１のメディア送受信方法において、送信装置にて、パケットに冗長データを複数格納して送信することを特徴とする。【００１３】
本発明の第３のメディア送受信方法は、本発明の第１のメディア送受信方法において、送信装置にて、パケットに符号化データを複数格納して送信することを特徴とする。【００１４】
本発明の第４のメディア送受信方法は、本発明の第１のメディア送受信方法において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とする。【００１５】
本発明の第１のメディア送信方法は、受信装置との間で通信を行なうメディア送信方法であって、入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化工程と、符号化データに対して冗長データを生成する冗長データ生成工程と、符号化データ及び冗長データを１つのパケットに格納するパケット格納工程と、接続呼処理を用いて、符号化データ及び冗長データの少なくとも１つの符号化ビットレートの設定を受信装置へ通知する接続呼処理工程と、パケットを受信装置へ送信するパケット送信工程と、を有することを特徴とする。【００１６】
本発明の第２のメディア送信方法は、本発明の第１のメディア送信方法において、信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする。【００１７】
本発明の第３のメディア送信方法は、本発明の第１のメディア送信方法において、パケット格納工程では、パケットに冗長データを複数格納することを特徴とする。【００１８】
本発明の第４のメディア送信方法は、本発明の第１のメディア送信方法において、パケット格納工程では、パケットに符号化データを複数格納することを特徴とする。【００１９】
本発明の第５のメディア送信方法は、本発明の第１のメディア送信方法において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とする。【００２０】
本発明の第１のメディア受信方法は、送信装置との間で通信を行なうメディア受信方法であって、送信装置から送信されたパケットを受信するパケット受信工程と、送信装置との間で交換された符号化ビットレートの設定に基づいてパケットに格納された符号化データと冗長データとを分離するデータ分離工程と、パケットの送信中にロスが発生した場合は、符号化データのロスを冗長データで補填するデータ補填工程と、送信装置と間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくとも１つを復号化する復号化工程と、を有することを特徴とする。【００２１】
本発明の第２のメディア受信方法は、本発明の第１のメディア受信方法において、符号化データは、音声信号及び画像信号のいずれかが符号化されたデータであることを特徴とする。【００２２】
本発明の第３のメディア受信方法は、本発明の第１のメディア受信方法において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とする。【００２３】
本発明の第１のメディア送受信装置は、入力された信号を所定のフレーム長に分割し、各フレームを符号化した符号化データを作成する符号化部と、符号化データに対して冗長データを生成する冗長データ生成部と、符号化データ及び冗長データが１つのパケットに格納されたパケットを送受信するデータ送受信部とを有するメディア送受信装置において、各パケットに格納される符号化データ及び冗長データの設定、及び符号化部及び冗長データ生成部の少なくとも１つの符号化ビットレートの設定をメディア送受信装置間で交換する接続呼処理部と、メディア送受信装置間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくとも１つを復号化する復号化部とを有し、データ送受信部は、メディア送受信装置間で交換されたパケットに格納されるデータの設定に基づいてパケットに格納された記符号化データと冗長データとを分離し、パケットの送信中にロスが発生した場合は、符号化データのロスを冗長データで補填することを特徴とする。【００２４】
本発明の第２のメディア送受信装置は、本発明の第１のメディア送受信装置において、信号は、音声及び画像の少なくとも一つを含む信号であることを特徴とする。【００２５】
本発明の第３のメディア送受信装置は、本発明の第１のメディア送受信装置において、データ送受信部は、各パケットに複数の冗長データを格納して送信することを特徴とする。【００２６】
本発明の第４のメディア送受信装置は、本発明の第１のメディア送受信装置において、データ送受信部は、各パケットに複数の符号化データを格納して送信することを特徴とする。【００２７】
本発明の第５のメディア送受信装置は、本発明の第１のメディア送受信装置において、符号化部及び冗長データ生成部においてデータを符号化する符号化ビットレートが異なることを特徴とする。【００２８】
本発明の第１のメディア送信装置は、受信装置との間で通信を行なうメディア送信装置であって、入力された信号を所定のフレーム長に分割し、各フレームを符号化して、符号化データを作成する符号化手段と、符号化データに対して冗長データを生成する冗長データ生成手段と、符号化データ及び冗長データを１つのパケットに格納するパケット格納手段と、接続呼処理を用いて、符号化データ及び冗長データの少なくとも１つの符号化ビットレートの設定を受信装置へ通知する接続呼処理手段と、パケットを受信装置へ送信するパケット送信手段と、を有することを特徴とする。【００２９】
本発明の第２のメディア送信装置は、本発明の第１のメディア送信装置において、信号は、音声信号及び画像信号のいずれかであることを特徴とする。【００３０】
本発明の第３のメディア送信装置は、本発明の第１のメディア送信装置において、パケット格納手段では、パケットに冗長データを複数格納することを特徴とする。【００３１】
本発明の第４のメディア送信装置は、本発明の第１のメディア送信装置において、パケット格納手段は、パケットに符号化データを複数格納することを特徴とする。【００３２】
本発明の第５のメディア送信装置は、本発明の第１のメディア送信装置において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とする。【００３３】
本発明の第１のメディア受信装置は、送信装置との間で通信を行なうメディア受信装置であって、送信装置から送信されたパケットを受信するパケット受信手段と、送信装置との間で交換された符号化ビットレートの設定に基づいてパケットに格納された符号化データと冗長データとを分離するデータ分離手段と、パケットの送信中にロスが発生した場合は、符号化データのロスを冗長データで補填するデータ補填手段と、送信装置と間で交換された符号化ビットレートの設定に基づいて符号化データ及び冗長データの少なくとも１つを復号化する復号化手段と、を有することを特徴とする。【００３４】
本発明の第２のメディア受信装置は、本発明の第１のメディア受信装置において、符号化データは、音声信号及び画像信号のいずれかが符号化されたデータであることを特徴とする。【００３５】
本発明の第３のメディア受信装置は、本発明の第１のメディア受信装置において、符号化データ及び冗長データの符号化ビットレートがそれぞれ異なることを特徴とする。【００３６】
本発明のゲートウェイ装置は、本発明の第１から第５のいずれか１つのメディア送受信装置、本発明の第１から第５のいずれか１つのメディア送信装置、本発明の第１から第３のいずれか１つのメディア受信装置のうちのいずれかを有することを特徴とする。【００３７】
本発明のメディアサーバは、本発明の第１から第５のいずれか１つのメディア送受信装置、本発明の第１から第５のいずれか１つのメディア送信装置、本発明の第１から第３のいずれか１つのメディア受信装置のうちのいずれかを有することを特徴とする。
【発明の効果】
【００３８】
本発明は、メディア符号化データを、ＩＰ網を介してパケットで転送する場合に、パケットロスが発生しても、メディア品質の劣化を防止できる。
【発明を実施するための最良の形態】
【００３９】
まず、第１の実施形態に係るメディア送受信装置の構成及び動作について説明する。【００４０】
図１は、本実施形態に係るメディア送受信装置のシステム構成を示す図である。また、図８は、本実施形態に係るメディア送受信装置（送信側及び受信側）の動作を示す図である。なお、本実施形態においては、メディア信号として音声信号を扱う場合の例を示すが、これに限定されるものではない。例えば、画像信号でもよいし、音声及び画像（静止画・動画）のうち少なくとも１つを含む信号でもよい。【００４１】
図１において、音声送受信装置１０１及び１０９は、それぞれ音声データ送信部と音声データ受信部の両方を含むが、説明の簡略化のために、１０１には音声送信部のみを示し、１０９には音声受信部のみを示している。よって、以下の説明では、音声送受信装置１０１は送信側とし、音声送受信装置１０９は受信側として説明する。また、１０１には、音声復号化部を有するように構成してもよい。本実施形態において、音声送受信装置１０１及び１０９は、ＩＰ（Internet Protocol）網による伝送路１０８に接続されている。また、ＩＰ伝送プロトコルをＲＴＰ（Real-time Transport Protocol）／ＵＤＰ（User Datagram Protocol）／ＩＰとして説明するが、伝送プロトコルがＲＴＰ／ＵＤＰに限定されるものでない。【００４２】
音声送受信装置１０１は、入力された音声信号を音声符号化部１０４でフレームごとに区切り、各フレームを符号化して音声符号化データを作成する（図８のステップＳ１）。ここで、音声符号化方式としては、AMR-NBなどの周知の方式を使用することができる。フレーム長は、AMR-NBの場合、２０ｍｓとなるが、他の符号化方式の場合は符号化方式に固有のフレーム長、又は予め定められたフレーム長を使用する。【００４３】
冗長データ生成部１０６では、入力された音声信号又は音声符号化データに対し冗長データを生成する（図８のステップＳ２）。冗長データの生成は色々な構成が考えられる。例えば、音声符号化部１０４で作成された音声符号化データと同じものを冗長データとして重複して使う方法、音声符号化データよりも低いビットレートで符号化した音声信号を冗長データとする方法、音声符号化データと冗長データのフレームタイミングをずらす方法等がある。【００４４】
ここで、これらの設定は予め定めておくこともできるし、後述の接続呼処理を用いて、送信側から受信側、又は受信側から送信側に通知することもできる。【００４５】
音声データ送信部１０７は、少なくとも一つ（少なくとも１フレーム）の音声符号化データ、及び少なくとも一つ（少なくとも１フレーム）の冗長データを同一のＲＴＰ／ＵＤＰパケットに格納する（図８のステップＳ３）。ここで、音声データのフレーム数や冗長データのフレーム数の設定、音声データと冗長データの時間的なずらし量の設定等は、予め定めておくこともできるし、後述の接続呼処理で設定することもできる。【００４６】
接続呼処理を用いて送信側と受信側で前記設定をやりとりする構成をとる場合、接続呼処理部１０２は、前記設定を音声送受信装置１０９へ通知する（図８のステップＳ４）。例えば、前記設定を通知する方法として、ＳＤＰ（Session Description Protocol）を用いて通知する方法がある。ＳＤＰの内容はIETF RFC2327などを参照することができる。ＳＤＰ以外にも他の周知の方法を使用してもよい。例えば、ＲＴＰペイロードフォーマットヘッダ（ＡＭＲの場合におけるＲＴＰペイロードフォーマットの規格はRFC3267）に独自の記述を追加して前記設定を通知することもできる。【００４７】
音声データ送信管理部１０３は、接続呼処理部１０２から上記設定の内容が通知されると、音声符号化部１０４及び冗長データ生成部１０６に対し、音声の１つのフレームのデータに対して冗長データを何フレーム分発生させるかを指示する。また、音声データ送信部１０７に対し、音声の１つのフレームに対して冗長データを何フレーム分付加するのか、それらの順番をどう並べるのかについて指示を行なう。【００４８】
また、受信側の音声送受信装置１０９の接続呼処理１１０から送信側の音声送受信装置１０１の接続呼処理部１０２に対し接続呼処理を行なう構成にすることもできる。【００４９】
呼接続開始時において、音声送受信装置１０９の接続呼処理部１１０は、接続呼処理部１０２から前記設定などについての通知を受信し（図８のステップＳ５）、設定値（設定の内容を示す情報。設定情報）を音声データ・冗長データ受信部１１１及び音声復号化部１１２に出力する。【００５０】
音声送受信装置１０１の音声データ送信部１０７からパケットが伝送路１０８を介して送信されると（図８のステップＳ６）、音声データ・冗長データ受信部１１１は、伝送路１０８からパケットを受信し（図８のステップＳ７）、接続呼処理部１１０からの設定情報を受信し、該設定情報に基づき、パケットから音声データと冗長データを分離する（図８のステップＳ８）。また、音声データ・冗長データ受信部１１１は、内部にバッファメモリを有し、分離した音声データ及び冗長データをバッファメモリに書き込む。バッファメモリへの書き込み処理は、次のように行なう。【００５１】
ここで、例えば、音声データと冗長データがそれぞれ１フレームずつパケットに格納され、かつこれらが１フレーム分ずれて送信されているものとする。この場合は、第Ｎフレームの音声データと第Ｎ−１フレームの冗長データを受信する。例えば、現時点より１フレーム前の時点でパケットロスが発生してパケットが受信できなかった場合（図８のステップＳ９／ＹＥＳ）、第Ｎ−１フレームの音声データと第Ｎ−２フレームの冗長データが受信できなかったことになる。そこで、現時点で受信した第Ｎ−１フレームの冗長データを以て、ロスした分の音声データ（第Ｎ−１フレームの音声データ）の補填し、第Ｎ−１フレームの冗長データと第Ｎフレームの音声データをバッファに入力する（図８のステップＳ１０）。もし、１フレーム前のパケット及び現時点のパケットの両者ともにパケットロスが発生せずに正しく受信できた場合は（図８のステップＳ９／ＮＯ）、第Ｎ−１フレームの冗長データを廃棄し、第Ｎフレームの音声データをバッファメモリに書き込む（図８のステップＳ１１）。このような処理の後で、バッファメモリに書き込んだデータを音声復号化部１１２に出力する。【００５２】
音声復号化部１１２は、音声データ・冗長データ受信部１１１においてバッファメモリに書き込まれたデータを受信し、フレーム毎に順番に音声復号器（音声デコーダ）に出力し、音声復号器はデータを復号化して再生音声信号を算出して出力する（図８のステップＳ１２）。【００５３】
次に、第２の実施形態に係るメディア送受信装置の構成及び動作について説明する。【００５４】
図２は、本実施形態に係るメディア送受信装置のシステム構成を示す図である。また、図８は、本実施形態に係るメディア送受信装置（送信側及び受信側）の動作を示す図である。なお、本実施形態においては、メディア信号として画像信号を扱う場合の例を示すが、これに限定されるものではない。例えば、音声信号でもよいし、音声及び画像（静止画・動画）のうち少なくとも１つを含む信号でもよい。【００５５】
図１と同じ符号を付した構成要素は、図１と同様の動作を行なうため、ここでは説明を省略する。画像送受信装置６０１及び７０９は、それぞれ画像データ送信部及び画像データ受信部の両方を含むが、説明の簡略化のために、画像送受信装置６０１には画像データ送信部６０７のみを示し、画像送受信装置７０９には画像データ・冗長データ受信部７１１のみを示している。よって、以下の説明では、音声送受信装置６０１は送信側とし、音声送受信装置７０９は受信側として説明する。また、６０１には、画像復号化部を有するように構成してもよい。画像送受信装置６０１及び７０９は、ＩＰ（Internet Protocol）網による伝送路１０８に接続されている。また、本実施形態では、ＩＰ伝送プロトコルをＲＴＰ（Real-time Transport Protocol）／ＵＤＰ（User Datagram Protocol）／ＩＰとして説明するが、伝送プロトコルはＲＴＰ／ＵＤＰに限定されるものではない。【００５６】
画像送受信装置６０１は、入力された画像信号を画像符号化部６０４で符号化して画像符号化データを作成する（図８のステップＳ１）。ここで、画像符号化方式としては、MPEG-4、H.263やH.264などの周知の方式を使用することができる。【００５７】
冗長データ生成部６０５では、入力された画像信号又は画像符号化データに対して冗長データを生成する（図８のステップＳ２）。冗長データの生成は色々な構成が考えられる。例えば、画像符号化部６０４で作成された画像符号化データと同じものを冗長データとして重複して使う方法、画像符号化データよりも低いビットレートで符号化した画像信号を冗長データとする方法、画像符号化データと冗長データの時間タイミングをずらす方法等がある。これらの設定は予め定めておくこともできるし、後述の接続呼処理を用いて、送信側から受信側または、受信側から送信側に通知することもできる。【００５８】
画像データ送信部６０７は、少なくとも一個（例えば、少なくとも１ビデオパケット）の画像符号化データ、及び少なくとも一個（例えば、少なくとも１ビデオパケット）の冗長データを同一のＲＴＰ／ＵＤＰパケットに格納する（図８のステップＳ３）。ここで、画像符号化データの個数（例えば、ビデオパケット数）、冗長データの個数（例えば、ビデオパケット数）の設定、画像符号化データと冗長データの時間的なずらし量の設定等は、予め定めておくこともできるし、後述の接続呼処理で設定することもできる。【００５９】
接続呼処理により送信側と受信側とで該設定をやりとりする構成をとる場合、接続呼処理部６０２は、該設定を画像送受信装置７０９へ通知する（図８のステップＳ４）。例えば、該設定を通知する方法として、ＳＤＰを用いて通知する方法がある。ＳＤＰの内容はIETF RFC2327などを参照することができる。ＳＤＰ以外にも他の周知の方法を使用してもよい。例えば、ＲＴＰペイロードフォーマットヘッダ（MPEG-4の場合におけるＲＴＰペイロードフォーマットの規格はRFC3267）に独自の記述を追加して該設定を通知することもできる。【００６０】
画像データ送信管理部６０３は、接続呼処理部６０２から上記設定の内容が通知されると、画像符号化部６０４及び冗長データ生成部６０５に対し、画像の１つのビデオパケットのデータに対して冗長データを何ビデオパケット分発生させるかを指示する。また、画像データ送信部６０７に対し、画像の１つのビデオパケットに対して冗長データ（冗長パケット）をいくつ分付加するのか、それらの順番をどう並べるのかについて指示を行なう。【００６１】
また、受信側の画像送受信装置７０９において、接続呼処理部７１０から、送信側の画像送受信装置６０１の接続呼処理部６０２に対し接続呼処理を行なう構成にすることもできる。【００６２】
呼接続開始時において、画像送受信装置７０９の接続呼処理部７１０は、接続呼処理部６０２から前記設定などについての通知を受信し（図８のステップＳ５）、設定値を画像データ・冗長データ受信部７１１、及び画像復号化部７１２に出力する。【００６３】
画像送受信装置６０１の画像データ送信部６０７からパケットが伝送路６０６を介して送信されると（図８のステップＳ６）、画像データ・冗長データ受信部７１１は、伝送路１０８からパケットを受信し（図８のステップＳ７）、かつ呼接続処理部７１０から設定情報を受信すると、該設定情報に基づき、パケットから画像データと冗長データを分離する（図８のステップＳ８）。また、画像データ・冗長データ受信部７１１は、内部にバッファメモリを有し、分離した画像データ及び冗長データをバッファメモリに書き込む。バッファメモリへの書き込みは、以下の方法により行なう。【００６４】
ここで、例えば、画像データと冗長データがそれぞれ１ビデオパケットずつパケットに格納され、かつこれらが１ビデオパケット分ずれて送信されている場合について説明する。画像データ・冗長データ受信部７１１は、第Ｎのビデオパケットデータと第Ｎ−１の冗長データを受信する。【００６５】
そして、現時点より１ビデオパケット前の時点でパケットロスが発生し、パケットが受信できなかった場合（図８のステップＳ９／ＹＥＳ）、第Ｎ−１のビデオパケットデータと第Ｎ−２の冗長データが受信できなかったことになる。そこで、現時点で受信した第Ｎ−１の冗長データを以て、ロスした分の画像データ（第Ｎ−１フレームの画像データ）の補填し、第Ｎ−１の冗長データと第Ｎのビデオパケットデータをバッファに入力する（図８のステップＳ１０）。【００６６】
一方、１ビデオパケット前のパケット及び現時点のパケットの両者ともにパケットロスが発生せず、正しく受信できた場合は（図８のステップＳ９／ＮＯ）、第Ｎ−１の冗長データを廃棄し、第Ｎのビデオパケットデータ（画像符号化データ）のみをバッファメモリに書き込む（図８のステップＳ１１）。その後、バッファメモリに書き込んだデータを画像復号化部７１２に出力する。【００６７】
画像復号化部７１２は、画像データ・冗長データ受信部７１１においてバッファメモリに書き込まれたデータを受信し、例えば、ビデオパケット毎に順番に画像復号器（画像デコーダ）に出力し、画像復号器はデータを復号化して再生画像声信号を出力する（図８のステップＳ１２）。【００６８】
本実施形態では、画像信号のみを扱う場合の構成を記載したが、音声信号と画像信号の両者を扱う場合も同様の構成を用いることができるので、ここでは説明を省略する。【００６９】
図３は、図１に示す音声データ送信部１０７におけるＲＴＰペイロードデータの具体的な構成を示す図である。なお、図３では、ＲＴＰペイロードデータに音声データを追加した場合について記載するが、画像データの場合も同様の構成を用いることができる。【００７０】
図３に示すパケット２０１は、同一のＲＴＰパケットに音声データ及び冗長データが格納されている。同図では、ＲＴＰペイロードデータに、音声符号化データＳ１（ｎ）を１つ（第Ｎフレーム目）及び冗長データＲ１（ｎ）を１つ（第Ｎ−１フレーム目）が追加された構成を示しているが、複数の音声符号化データ及び複数の冗長データをＲＴＰペイロードデータに追加した構成とすることも可能である。【００７１】
図４に示すパケット３０１は、同一のＲＴＰパケットに音声データ及び複数の冗長データが格納されている。図４では、ＲＴＰペイロードデータに、音声符号化データＳ１（ｎ）を１つ（第Ｎフレーム目）、及び冗長データＲ１（ｎ）を２つ（例えば、第Ｎ−１フレーム目と第Ｎ−２フレーム目）が追加された構成を示している。なお、冗長データの個数は２以上であってもよい。なお、本図では音声データの場合について記載するが、画像データの場合も同様の構成を用いることができる。【００７２】
図５に示すパケット４０１は、同一のＲＴＰパケットに複数の音声データ及び複数の冗長データが格納されている。図５では、ＲＴＰペイロードデータに、音声符号化データＳ１（ｎ）を２つ（第Ｎフレーム目と第Ｎ＋１フレーム目）、及び冗長データＲ１（ｎ）を２つ（例えば、第Ｎ−１フレーム目と第Ｎフレーム目）が追加された構成を示している。音声符号化データの個数は２以上でもよいし、冗長データの個数は２以上でもよい。なお、本図では音声データの場合について記載するが、画像データの場合も同様の構成を用いることができる。【００７３】
図６は、ＲＴＰパケット内におけるＲＴＰペイロードデータの並べ方の一例を示す図である。図６では、図３に示した複数のＲＴＰパケットを集めて１つのＵＤＰパケットに格納した場合の例を示す。なお、図６では、２つのＲＴＰパケットを１つのＵＤＰに格納する例を示しているが、２つ以上のＲＴＰパケットを１つのＵＤＰに格納してもよい。さらに、ＲＴＰパケットは、図３と図４に示すＲＴＰパケットの組み合わせや、図３と図５に示すＲＴＰパケットの組み合わせや、図４と図５に示すＲＴＰパケットの組み合わせでもよい。なお、本図では音声データの場合について記載するが、画像データの場合も同様の構成を用いることができる。【００７４】
図７は、上述の実施形態に係るメディア送受信装置をメディアサーバ装置又はゲートウェイ装置に適用した場合の構成を示す図である。図７では、音声データを送受信する場合について記載するが、画像データの場合も同様の構成を用いることができる。【００７５】
メディアサーバ装置又はゲートウェイ装置は、入力された音声信号を音声データ送信部１０７からパケットとしてＩＰ網１０８に出力する。図７において、符号５０１はメディアサーバ装置又はゲートウェイ装置を示す。メディアサーバ装置又はゲートウェイ装置５０１には、音声信号又は符号化されたビットストリームが入力される。【００７６】
そして、メディアサーバ装置又はゲートウェイ装置５０１は、音声信号が符号化されたビットストリーム又は符号化されたビットストリームを出力する。音声符号化・冗長データ生成部５２０は、符号化されたビットストリームをコピーして冗長データを作成するか、または符号化されたビットストリームを一旦復号化した上で異なるビットレートで再符号化して冗長データを作成して出力する。【００７７】
音声データ送信管理部５０３は、接続呼処理部１０２から上記設定の内容が通知されると、音声符号化・冗長データ生成部５２０に対し、音声の１つのフレームのデータに対して冗長データを何フレーム分発生させるかを指示する。また、音声データ送信部１０７に対し、音声の１つのフレームに対して冗長データ（冗長フレーム）をいくつ分付加するのか、それらの順番をどう並べるのかについて指示を行なう。【００７８】
符号５０９は、メディアの配信を受ける端末を示し、メディアサーバ装置またはゲートウェイ装置５０１に接続される。図７において、図１と同じ番号の構成要素は、図１と同じ動作をするため、ここでは説明を省略する。なお、画像信号のみを扱う場合や、音声信号と画像信号の両方をあつかう場合においても、その構成は同様である。【００７９】
上述の構成によれば、メディアデータの送受信において、ＩＰ網でのパケットロスに起因するメディア品質の劣化を防ぐことが可能である。また、メディア送受信装置において必要となる演算量の増大を防ぎ、かつ上記の効果を得ることができる。【００８０】
以上、本発明の実施形態について説明したが、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。【００８１】
例えば、上述した実施形態における制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。【００８２】
このプログラムは、例えば、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto Optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。【００８３】
また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。【００８４】
また、上記実施形態で説明した、送信側のメディア送受信装置と受信側のメディア送受信装置とで構成されるメディア送受信システムは、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。【００８５】
この出願は、２００６年１２月１１日に出願された日本出願特願２００６−３３３７０８を基礎とする優先権を主張し、その開示を全てここに取り込む。
【図面の簡単な説明】
【００８６】
【図１】第１の実施形態に係るメディア送受信装置のシステム構成を示すブロック図である。
【図２】第２の実施形態に係るメディア送受信装置のシステム構成を示すブロック図である。
【図３】本実施形態に係るメディア送受信装置間で送受信されるＲＴＰペイロードデータに追加されるＲＴＰパケットの構成を示す図である。
【図４】本実施形態に係るメディア送受信装置間で送受信されるＲＴＰペイロードデータに追加されるＲＴＰパケットの構成を示す図である。
【図５】本実施形態に係るメディア送受信装置間で送受信されるＲＴＰペイロードデータに追加されるＲＴＰパケットの構成を示す図である。
【図６】本実施形態に係るメディア送受信装置間で送受信されるＲＴＰペイロードデータに追加されるＲＴＰパケットの構成を示す図である。
【図７】本実施形態に係るメディア送受信装置をメディアサーバ装置又はゲートウェイ装置に搭載した場合の構成を示すブロック図である。
【図８】本実施形態に係るメディア送受信装置（送信側及び受信側）の動作を示すシーケンス図である。
【符号の説明】
【００８７】
１０１，１０９    メディア送受信装置
１０２，１１０    接続処理部
１０３    音声データ送信管理部
１０４    音声符号化部
１０６    冗長データ生成部
１０７    音声データ送信部
１０８    ＩＰ網
１１１    音声データ・冗長データ受信部
１１２    音声復号化部
【図１】
2008072469.tif 000003
【図２】
2008072469.tif 000004
【図３】
2008072469.tif 000005
【図４】
2008072469.tif 000006
【図５】
2008072469.tif 000007
【図６】
2008072469.tif 000008
【図７】
2008072469.tif 000009
【図８】
2008072469.tif 000010
【国際調査報告】
2008072469.tif 000011
2008072469.tif 000012
2008072469.tif 000013
2008072469.tif 000014