(57)【要約】【課題】符号化レートの更新頻度を抑制することにより、利用可能な帯域が大きく変動する環境下で高品質のメディアデータ伝送を実現する。【解決手段】伝送レートＲｓが更新されると、更新された伝送レートＲｓが現在の符号化レートＲｃにより定義される変動幅（Ｒｃ＜Ｒｓ＜Ｕ×ＲｃかつＵ＞１）に収まっている場合には、現在の符号化レートＲｃを更新せずにＦＥＣ（前方誤り訂正）データ送出レートＲｆを更新する（Ｒｆ＝Ｒｓ−Ｒｃ）。一方、例えば３秒に設定されたＲｃ更新タイマがタイムアウトした場合には、その時点までの伝送レートの最小値Ｒｓ＿ｍｉｎを用いて符号化レートＲｃを更新する（Ｒｃ＝Ｖ×Ｒｓ＿ｍｉｎかつ０＜Ｖ＜１）。上記変動幅を外れるほど伝送レートＲｓが大きく変動した場合にも、同様に符号化レートＲｃを更新する。【選択図】　　　　図４
2004072720.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して、メディアデータに基づく符号化データを伝送するためのメディア伝送方法であって、
前記ネットワークの伝送状態に応じて伝送レートを更新する第１のステップと、
前記伝送レートの更新頻度より少ない頻度で符号化レートを更新する第２のステップとを備えたことを特徴とするメディア伝送方法。
【請求項２】
請求項１記載のメディア伝送方法において、
前記第２のステップは、前記伝送レートの更新間隔より長いタイムアウト時間が設定されたタイマがタイムアウトした時に前記符号化レートを更新するステップを有することを特徴とするメディア伝送方法。
【請求項３】
請求項１記載のメディア伝送方法において、
前記第２のステップは、前記伝送レートが所定の範囲を外れる値に更新された時に前記符号化レートを更新するステップを有することを特徴とするメディア伝送方法。
【請求項４】
請求項１記載のメディア伝送方法において、
前記第２のステップは、ある時間内の前記伝送レートの最小値に応じて前記符号化レートを更新するステップを有することを特徴とするメディア伝送方法。
【請求項５】
請求項１記載のメディア伝送方法において、
前記伝送レートと前記符号化レートとの差を誤り訂正のための冗長データの送出レートに割り当て、前記符号化データに前記冗長データを付加して伝送する第３のステップを更に備えたことを特徴とするメディア伝送方法。
【請求項６】
請求項５記載のメディア伝送方法において、
前記第３のステップは、前記冗長データの送出レートに応じて誤り訂正方式を変更するステップを有することを特徴とするメディア伝送方法。
【請求項７】
請求項５記載のメディア伝送方法において、
前記第３のステップは、前記ネットワークのパケットロス率に応じて誤り訂正方式を変更するステップを有することを特徴とするメディア伝送方法。
【請求項８】
請求項７記載のメディア伝送方法において、
前記第３のステップは、前記ネットワークのパケットロス率が低い場合には全ての符号化データに誤り耐性を付与し、前記ネットワークのパケットロス率が高い場合には重要度の高い符号化データにのみ誤り耐性を付与するステップを有することを特徴とするメディア伝送方法。
【請求項９】
請求項１記載のメディア伝送方法において、
前記第１のステップは、前記ネットワークの伝送状態を示すフィードバック情報を受信端末から通知するステップを有することを特徴とするメディア伝送方法。
【請求項１０】
請求項９記載のメディア伝送方法において、
前記フィードバック情報の通知間隔を前記ネットワークの伝送状態に応じて可変に制御するステップを更に備えたことを特徴とするメディア伝送方法。
【請求項１１】
ネットワークを介してメディアデータを伝送するためのメディア伝送方法であって、
前記ネットワークの伝送状態を示すフィードバック情報を、前記ネットワークの伝送状態に応じた可変の間隔で受信端末から通知する第１のステップと、
前記通知されたフィードバック情報に応じて前記メディアデータの伝送レートを更新する第２のステップとを備えたことを特徴とするメディア伝送方法。
【請求項１２】
請求項１１記載のメディア伝送方法において、
前記第１のステップは、前記ネットワークのパケットロス率が高い場合には前記フィードバック情報の通知間隔を短くし、かつ前記ネットワークのパケットロス率が低い場合には前記フィードバック情報の通知間隔を長くするステップを有することを特徴とするメディア伝送方法。
【請求項１３】
請求項１２記載のメディア伝送方法において、
前記フィードバック情報の通知間隔が所定の最小間隔を下回らないように制限するステップを更に有することを特徴とするメディア伝送方法。
【請求項１４】
メディアデータに基づく符号化データをネットワークへ送信するためのメディア送信装置であって、
前記メディアデータから前記符号化データを生成するための手段と、
前記符号化データから誤り訂正用の冗長データを生成するための手段と、
前記ネットワークの伝送状態に応じて伝送レートを更新するための手段と、
前記伝送レートの更新頻度より少ない頻度で符号化レートを更新するための手段と、
前記伝送レートと前記符号化レートとの差を前記冗長データの送出レートに割り当てるための手段と、
前記符号化データに前記冗長データを付加して送信するための手段とを備えたことを特徴とするメディア送信装置。
【請求項１５】
ネットワークからメディアデータを受信するためのメディア受信装置であって、
前記メディアデータの伝送レートが更新されるように、前記ネットワークの伝送状態を示すフィードバック情報を通知するための手段と、
前記ネットワークの伝送状態に応じて前記フィードバック情報の通知間隔を制御するための手段とを備えたことを特徴とするメディア受信装置。
【請求項１６】
ネットワークを介して、メディアデータに基づく符号化データを伝送するためのメディア伝送方法であって、
前記ネットワークの伝送状態に応じて伝送レートを更新するステップと、
前記更新された伝送レートと、前記ネットワークにおけるパケットロスの観測期間の長さと、前記符号化データの通常時のパケットサイズとに基づいて、前記観測期間内に伝送可能なパケット数を計算するステップと、
前記計算されたパケット数と、予め定められた閾値とを比較するステップと、前記閾値よりも前記計算されたパケット数の方が小さい場合には、前記符号化データのパケットサイズを前記通常時のパケットサイズよりも小さく設定するステップとを備えたことを特徴とするメディア伝送方法。
【請求項１７】
メディアデータに基づく符号化データをネットワークへ送信するためのメディア送信装置であって、
前記メディアデータから前記符号化データを生成するための手段と、
前記ネットワークの伝送状態に応じて伝送レートを更新するための手段と、
前記更新された伝送レートと、前記ネットワークにおけるパケットロスの観測期間の長さと、前記符号化データの通常時のパケットサイズとに基づいて、前記観測期間内に伝送可能なパケット数を計算するための手段と、
前記計算されたパケット数と、予め定められた閾値とを比較するための手段と、
前記閾値よりも前記計算されたパケット数の方が小さい場合には、前記符号化データのパケットサイズを前記通常時のパケットサイズよりも小さく設定するための手段と、
前記符号化データを送信するための手段とを備えたことを特徴とするメディア送信装置。
【請求項１８】
ネットワークを介して、メディアデータに基づく符号化データを伝送するためのメディア伝送方法であって、
送信端末と受信端末との間の往復伝播遅延時間を前記送信端末が測定するステップと、
前記測定された往復伝播遅延時間と、予め定められた閾値とを比較するステップと、
前記閾値よりも前記測定された往復伝播遅延時間の方が小さい場合には、当該測定された往復伝播遅延時間にオフセット値を加算するステップと、
前記オフセット値が加算された往復伝播遅延時間に基づいて伝送レートを決定するステップとを備えたことを特徴とするメディア伝送方法。
【請求項１９】
メディアデータに基づく符号化データをネットワークへ送信するためのメディア送信装置であって、
前記メディアデータから前記符号化データを生成するための手段と、
前記ネットワーク上の往復伝播遅延時間を測定するための手段と、
前記測定された往復伝播遅延時間と、予め定められた閾値とを比較するための手段と、
前記閾値よりも前記測定された往復伝播遅延時間の方が小さい場合には、当該測定された往復伝播遅延時間にオフセット値を加算するための手段と、
前記オフセット値が加算された往復伝播遅延時間に基づいて伝送レートを決定するための手段と、
前記決定された伝送レートで前記符号化データを送信するための手段とを備えたことを特徴とするメディア送信装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラやマイクからの音声・映像データ、すなわちメディアデータを高品質で伝送するためのメディア伝送方法並びにその送信装置及び受信装置に関するものである。
【０００２】
【従来の技術】
イントラネット、インターネットといった、ＩＰ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）ネットワーク上では、様々な接続形態があり、接続形態により利用可能な帯域が数Ｋｂｐｓ〜数百Ｍｂｐｓと大きく異なる。しかも、他のフロー（伝送データ）の影響により、利用可能な帯域が時間的に変動する。このようなネットワークでメディアデータ伝送を行うためには、利用可能な伝送帯域にあわせて伝送レートを調整する伝送レート制御が必要になる。
【０００３】
メディアデータをインターネットでリアルタイムに伝送するプロトコルとしてＲＴＰ（Ｒｅａｌｔｉｍｅ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ）／ＲＴＣＰ（ＲＴＰ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ）が知られている（非特許文献１参照）。このＲＴＰ／ＲＴＣＰによれば、受信端末から送信端末へパケットロス率、伝播遅延時間、ジッタなどに関する情報をフィードバックし、このフィードバック情報に基づいてメディアデータの伝送レートを決定する。受信端末からのフィードバック情報の送信間隔（通知間隔）は固定値、例えば５秒であった。
【０００４】
フィードバック情報を利用した伝送レート制御方法の１つとして、ＴＦＲＣ（ＴＣＰ　Ｆｒｉｅｎｄｌｙ　Ｒａｔｅ　Ｃｏｎｔｒｏｌ）が知られている（非特許文献２参照）。このＴＦＲＣによれば、パケットロスが発生するまで伝送レートを上昇させ、パケットロスが発生した場合に伝送レートを下げるという制御を行うことで、メディアデータの伝送に適した円滑な伝送レートの更新が達成される。伝送レートの更新間隔は、１×ＲＴＴ（Ｒｏｕｎｄ　Ｔｒｉｐ　Ｔｉｍｅ：往復伝播遅延時間）、例えば数十〜数百ｍｓである。
【０００５】
一方、ＲＴＰに誤り訂正能力を付加する技術であるＲＦＣ２７３３方式も知られている（非特許文献３参照）。このＲＦＣ２７３３方式では、前方誤り訂正（ＦＥＣ：Ｆｏｒｗａｒｄ　Ｅｒｒｏｒ　Ｃｏｒｒｅｃｔｉｏｎ）のための冗長データであるＦＥＣデータが、送信すべきデータに付加される。
【０００６】
【非特許文献１】
Ｈ．　Ｓｃｈｕｌｚｒｉｎｎｅ　ｅｔ　ａｌ．，　”ＲＴＰ：　Ａ　Ｔｒａｎｓｐｏｒｔ　Ｐｒｏｔｏｃｏｌ　ｆｏｒ　Ｒｅａｌ−Ｔｉｍｅ　Ａｐｐｌｉｃａｔｉｏｎｓ”，　ＲＦＣ　１８８９，　Ｉｎｔｅｒｎｅｔ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｔａｓｋｆｏｒｃｅ，　Ｊａｎ．　１９９６
【非特許文献２】
Ｍ．　Ｈａｎｄｌｅｙ　ｅｔ　ａｌ．，　”ＴＣＰ　Ｆｒｉｅｎｄｌｙ　Ｒａｔｅ　Ｃｏｎｔｒｏｌ　（ＴＦＲＣ）：　Ｐｒｏｔｏｃｏｌ　Ｓｐｅｃｉｆｉｃａｔｉｏｎ”，　ＲＦＣ　３４４８，　Ｉｎｔｅｒｎｅｔ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｔａｓｋｆｏｒｃｅ，　Ｊａｎ．　２００３
【非特許文献３】
Ｊ．　Ｒｏｓｅｎｂｅｒｇ　ｅｔ　ａｌ．，　”Ａｎ　ＲＴＰ　Ｐａｙｌｏａｄ　Ｆｏｒｍａｔ　ｆｏｒ　Ｇｅｎｅｒｉｃ　Ｆｏｒｗａｒｄ　Ｅｒｒｏｒ　Ｃｏｒｒｅｃｔｉｏｎ”，　ＲＦＣ　２７３３，　Ｉｎｔｅｒｎｅｔ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｔａｓｋｆｏｒｃｅ，　Ｄｅｃ．　１９９９
【０００７】
【発明が解決しようとする課題】
メディアデータに基づく符号化データを伝送する場合、ＴＦＲＣに従って伝送レートを数十〜数百ｍｓ間隔で更新し、伝送レートが更新されるたびに符号化レートを更新することとすると、符号化レートが頻繁に変化する。したがって、例えば伝送する映像の画質が頻繁に変化することとなるため、主観画質が低下してしまう。
【０００８】
また、受信端末から送信端末へのフィードバック情報の通知間隔を短くすると、利用可能な伝送帯域にすばやく追従し、伝送帯域を効率良く利用できるという利点がある反面、送信端末での伝送レートの更新頻度が高くなり、メディアデータの品質が頻繁に変化することになり、安定した品質でメディア伝送ができなくなる。また、他のフローとのスループットの公平性が低下する。逆に、フィードバック情報の通知間隔を長くすると、伝送レートの更新頻度が低くなり、伝送レートが安定するが、伝送帯域の変動にすばやく追従できなくなり、伝送帯域の効率的な利用ができなくなる。また、通知間隔が長い場合には、利用可能な伝送帯域が狭くなるとパケットがバースト的にロスすることになり、メディアデータの伝送品質が極端に劣化する。
【０００９】
更に、従来は、データのパケットサイズが一定であったため、伝送レートが低下すると、送出するパケット数が少なくなる。パケットロス率Ｌは通常、受信端末において、
Ｌ＝１−（期間Ｔのうちに受信端末に到達したデータパケットの数）／（期間Ｔのうちに送信端末が送信したデータパケットの数）
で算出される。期間Ｔは通常、前回のフィードバック情報を送信してから、今回のフィードバック情報を送信するまでの時間間隔である。この式から、送信端末が送出するパケット数が少なくなると、１つのパケットのパケットロスがパケットロス率を大きく変化させることが判る。例えば、伝送レートが極端に低くなり、期間Ｔのうちに１つしかパケットを送出できない状況であった場合には、パケットロス率は、そのパケットがロスしなかった場合には０％となり、ロスした場合には１００％となる。このような状況では、パケットロス率をきめ細かく観測できないことが原因で、ネットワークの輻輳状態を正確に把握することができなくなる。
【００１０】
更に、ＴＦＲＣに代表される、ＴＣＰとの公平性を主眼に置いた方式においては、伝送レートを決定するための計算式の分母にＲＴＴを含んでいる。ＲＴＴは、送信端末と受信端末との間をパケットが往復するのに要する時間であり、送信端末と受信端末との間の距離が短ければ１ｍｓ以下の値をとり得る。このような状況下では、ＲＴＴの測定結果が、送信端末からパケットを送信する処理を行うオペレーティングシステムの処理遅延の揺らぎや、パケットの転送処理を行うルータなどの転送処理の遅延の揺らぎなど、ネットワークの輻輳状態とは関連のない遅延の揺らぎによる影響を受け、その結果として伝送レートが大きく揺らいでしまう。
【００１１】
本発明の目的は、利用可能な帯域が大きく変動する環境下で高品質のメディアデータ伝送を実現することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、本発明は、符号化レートの頻繁な更新を抑制したり、フィードバック情報の通知間隔を調整したり、パケットサイズを変更したり、ＲＴＴにオフセットを加算したりすることとしたものである。
【００１３】
具体的に説明すると、本発明は、メディアデータに基づく符号化データの伝送において、ネットワークの伝送状態に応じて伝送レートを更新し、かつ伝送レートの更新頻度より少ない頻度で符号化レートを更新することとしたものである。
例えば、伝送レートの更新間隔より長いタイムアウト時間が設定されたタイマがタイムアウトした時、あるいは伝送レートが所定の範囲を外れる値に更新された時に、ある時間内の伝送レートの最小値に応じて符号化レートを更新する。符号化データに誤り訂正のための冗長データを付加する場合には、伝送レートと符号化レートとの差を冗長データの送出レートに割り当てればよい。
【００１４】
また、本発明は、メディアデータの伝送において、ネットワークの伝送状態を示すフィードバック情報を当該ネットワークの伝送状態に応じた可変の間隔で受信端末から通知し、当該通知されたフィードバック情報に応じてメディアデータの伝送レートを更新することとしたものである。例えば、パケットロス率が高い場合にはフィードバック情報の通知間隔を短くし、パケットロス率が低い場合にはフィードバック情報の通知間隔を長くする。ただし、フィードバック情報の通知間隔が所定の最小間隔を下回らないように制限するのがよい。
【００１５】
また、本発明は、メディアデータの伝送において、伝送レートが低下し、パケットロスの観測期間内に所定のパケット数を送信できないと判定した場合には、データのパケットサイズを小さい値に変更することとしたものである。ネットワークの輻輳状態を正確に把握するためには、伝送レートが低下しても、一定期間内に送信端末が送出するデータパケットの数を一定数以上にすればよい。予めデータのパケットサイズを小さく設定し、送出するパケット数を多くするという方法も考えられるが、パケットにはヘッダを付与するため、パケット数が増えるとヘッダのオーバヘッドが大きくなるという課題がある。したがって、伝送レートが大きい場合には、パケットサイズは大きく設定し、伝送レートが低下した場合には、パケットサイズを小さくしてパケットロス率の観測精度を高めるといった適応的な処理を行うのである。これにより、パケットロス率をきめ細かく観測することができ、正確な伝送レートの決定を行うことができる。
【００１６】
また、本発明は、ＲＴＴが所定の値よりも小さいときに、ＲＴＴにオフセットを加算することとしたものである。これにより、ＲＴＴの値が小さ過ぎる際に、伝送レートがネットワークの輻輳と関連のない遅延の揺らぎの影響を大きく受けることを防ぐことができる。
【００１７】
【発明の実施の形態】
以下、本発明に係るメディア伝送方法並びにその送信装置及び受信装置の実施形態について、図面を参照しつつ説明する。
【００１８】
図１及び図２は、メディアデータに基づく符号化データを伝送するためのメディア伝送システムの構成を示している。図１はメディア送信装置（送信端末）１００の内部構成例を、図２はメディア受信装置（受信端末）２００の内部構成例をそれぞれ示す。これら送信端末１００と受信端末２００とは、ネットワーク１５０を介して互いに接続されている。ネットワーク１５０は、有線網、無線網のいずれでもよく、有線網と無線網とを相互接続したネットワークであってもよい。送信端末１００と受信端末２００との間の伝送プロトコルとして、例えばＲＴＰ／ＲＴＣＰを採用する。
【００１９】
図１の送信端末１００は、音声・映像入力部１０１と、符号化部１０２と、ＦＥＣ生成部１０３と、伝送部１０４と、伝送レート決定部１０５と、符号化レート及びＦＥＣデータ送出レート決定部１０６と、パケットサイズ決定部１０８と、ＲＴＴ計算部１０９とで構成されている。音声・映像入力部１０１は、符号化すべき音声・映像データ（メディアデータ）を入力するためのカメラ、マイクなどの手段である。符号化部１０２は、指定された符号化レートＲｃに従ってメディアデータから符号化データを生成するための手段である。例えばＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）１／２／４、ＡＭＲ（Ａｕｄｉｏ／Ｍｏｄｅｍ　Ｒｉｓｅｒ）などの標準化された圧縮・符号化方式を採用すればよい。また、この符号化部１０２は、パケットサイズ決定部１０８により決定されたパケットサイズでデータを出力する機能を有する。ＦＥＣ生成部１０３は、指定されたＦＥＣデータ送出レートＲｆに従って符号化データから、誤り訂正用の冗長データであるＦＥＣデータを生成するための手段である。伝送部１０４は、符号化データとともにＦＥＣデータをネットワーク１５０へ送信し、かつネットワーク１５０の伝送状態を示すフィードバック情報（パケットロス率、伝播遅延時間、ジッタなど）が受信端末２００から得られるように制御情報を送受信するための手段である。伝送レート決定部１０５は、フィードバック情報と、ＲＴＴ計算部１０９により計算されたＲＴＴとに基づいて伝送レートＲｓを更新し、かつＦＥＣ生成部１０３へパケットロス率を伝えるための手段である。伝送レートＲｓの決定アルゴリズムとして、例えばＴＦＲＣを採用する。符号化レート及びＦＥＣデータ送出レート決定部１０６は、Ｒｃ更新タイマ１０７を用いて伝送レートＲｓの更新頻度より少ない頻度で符号化レートＲｃを更新し、かつ伝送レートＲｓと符号化レートＲｃとの差をＦＥＣデータ送出レートＲｆに割り当てるための手段である。パケットサイズ決定部１０８は、伝送レート決定部１０５より通知された伝送レートＲｓからパケットサイズを決定し、その結果を符号化部１０２に通知するための手段である。ＲＴＴ計算部１０９は、伝送部１０４よりフィードバック情報を受け取り、このフィードバック情報から、伝送レートＲｓの計算に使用する往復伝播遅延時間（ＲＴＴ）を算出するための手段である。
【００２０】
図２の受信端末２００は、伝送部２０１と、パケットロス回復部２０２と、復号部２０３と、再生部２０４と、フィードバック情報生成部２０５と、通知間隔制御部２０６とで構成されている。伝送部２０１は、送信端末１００からネットワーク１５０を介して伝送されてきた符号化データ及びＦＥＣデータを受信し、かつ当該ネットワーク１５０の伝送状態を示すフィードバック情報を生成できるように制御情報を送受信するための手段である。パケットロス回復部２０２は、ネットワーク１５０でロスしたパケット中の符号化データを、ＦＥＣデータを用いて復元するための手段である。復号部２０３は、符号化データを復号することによりメディアデータを得るための手段である。再生部２０４は、復号結果を再生するためのディスプレイ、スピーカなどの手段である。フィードバック情報生成部２０５は、ネットワーク１５０の伝送状態を示すフィードバック情報を生成するための手段である。生成されたフィードバック情報は、伝送部２０１によりネットワーク１５０を介して送信端末１００へ通知される。通知間隔制御部２０６は、ネットワーク１５０の伝送状態に応じてフィードバック情報の通知間隔Ｔｆを制御するための手段である。
【００２１】
図３は、図１中の符号化レート及びＦＥＣデータ送出レート決定部１０６の初期動作を示している。送信端末１００が起動すると、まず定数Ｕ及びＶの値を取得する。定数Ｕは伝送レートＲｓの小変動幅を定義するための値（Ｕ＞１）であり、定数Ｖは符号化レートＲｃが伝送レートＲｓを上回ることがないようにするための値（０＜Ｖ＜１）である。次に、Ｒｃ更新タイマ１０７のタイムアウト時間Ｔｏ（１×ＲＴＴより長く、例えば３秒）と、伝送レートＲｓの初期値とをそれぞれ取得する。次に、符号化レートＲｃの初期値をＶ×Ｒｓとし、ＦＥＣデータ送出レートＲｆの初期値をＲｓ−Ｒｃとする。そして、最大伝送レートＲｓ＿ｍａｘを変数Ｒｓ＿ｍｉｎにセットしたうえ、Ｒｃ更新タイマ１０７をスタートしてＷＡＩＴ（待機）状態になる。Ｒｓ＿ｍｉｎは、ある時間内の伝送レートＲｓの最小値を求めるための変数である。
【００２２】
図４は、図１中の符号化レート及びＦＥＣデータ送出レート決定部１０６の割り込み動作を示している。同決定部１０６に割り込みが入ってＷＡＩＴ状態を脱するのは、伝送レート決定部１０５により伝送レートＲｓが更新された時と、Ｒｃ更新タイマ１０７がタイムアウトした時である。なお、伝送レートＲｓは、受信端末２００からのフィードバック情報の到着毎に、伝送レート決定部１０５によりＴＦＲＣ方式に従って更新されるものとする。
【００２３】
更新された伝送レートＲｓが符号化レート及びＦＥＣデータ送出レート決定部１０６に通知されると（ステップ３０１）、通知された伝送レートＲｓが現在の符号化レートＲｃにより定義される変動幅（Ｒｃ＜Ｒｓ＜Ｕ×Ｒｃ）に収まっているかどうかが調べられる（ステップ３０２）。伝送レートＲｓが当該変動幅に収まっている場合には、現在の符号化レートＲｃを更新せずに、通知された伝送レートＲｓに従ってＦＥＣデータ送出レートＲｆを更新する（Ｒｆ＝Ｒｓ−Ｒｃ：ステップ３０３）。更に、通知された伝送レートＲｓが、Ｒｃ更新タイマ１０７をスタートしてから現在までの間で最小の伝送レートであれば、これを変数Ｒｓ＿ｍｉｎに保存して（ステップ３０４）、ＷＡＩＴ状態に戻る。
【００２４】
一方、Ｒｃ更新タイマ１０７のタイムアウトが発生した場合には（ステップ３０５）、その時点での変数Ｒｓ＿ｍｉｎの値を用いて符号化レートＲｃを更新し（Ｒｃ＝Ｖ×Ｒｓ＿ｍｉｎ）、現在の伝送レートＲｓ及び更新された符号化レートＲｃに従ってＦＥＣデータ送出レートＲｆを更新し（Ｒｆ＝Ｒｓ−Ｒｃ）、Ｒｃ更新タイマ１０７をリスタートさせ、最大伝送レートＲｓ＿ｍａｘを変数Ｒｓ＿ｍｉｎに再度セットしたうえ（ステップ３０６）、ＷＡＩＴ状態に戻る。
【００２５】
上記変動幅（Ｒｃ＜Ｒｓ＜Ｕ×Ｒｃ）を外れるほど伝送レートＲｓが大きく変動させられた場合には、通知された伝送レートＲｓを変数Ｒｓ＿ｍｉｎにセットしたうえ（ステップ３０７）、符号化レートＲｃの更新などの上記ステップ３０６の動作を行い、ＷＡＩＴ状態に戻る。
【００２６】
以上のアルゴリズムにより、符号化レートＲｃの更新頻度が抑制され、かつ適切なＦＥＣデータ送出レートＲｆが得られる。
【００２７】
次に、図１中のＦＥＣ生成部１０３の動作例を説明する。ＦＥＣデータの生成には、例えばＲＦＣ２７３３のＸＯＲ（排他的論理和）演算を用いる。簡易的には、固定の誤り耐性を前提として、例えば２つの連続したパケットのロスを回復できるようにＦＥＣデータを生成する。ただし、連続して何個のパケットにロスが発生するかを検出して、誤り訂正能力を変更してもよい。図３及び図４のアルゴリズムで決定されたＦＥＣデータ送出レートＲｆよりも生成されたＦＥＣデータ量の方が小さければ全てのＦＥＣデータを送出し、大きければ送出するＦＥＣデータ量を調整する。送出すべきＦＥＣデータ量が多過ぎる場合は、誤り訂正能力を低くすることでＦＥＣデータ量を削減してもよい。ＸＯＲ演算以外に、パリティやリードソロモンといった誤り訂正方式も利用できる。
【００２８】
ＦＥＣデータ送出レートＲｆや、パケットロス率に応じて、複数の誤り訂正方式を動的に切り替えることとしてもよい。例えば、パケットロス率が高い場合にはリードソロモンとインターリーブとを組み合わせた強い誤り耐性を、パケットロス率が低い場合にはパリティのような弱い誤り耐性をそれぞれ選択する。
【００２９】
ＦＥＣデータ送出レートＲｆが一定期間、閾値Ｄ２（固定値）より高い場合には、誤り訂正の演算処理量が少ないが、誤り耐性の低いパリティ方式を用いる。
逆に、ＦＥＣデータ送出レートＲｆが一定期間、閾値Ｄ２以下の場合には、誤り訂正の演算処理量が多いが、誤り耐性の高いリードソロモン方式を用いる。このようにすることで、ＦＥＣデータの送出量が多い場合にはパリティ方式で受信端末２００の処理負荷を抑え、ＦＥＣデータの送出量が少ない場合にはリードソロモン方式で誤り耐性を高く保つことができる。なお、パリティ方式で受信端末２００の処理負荷を下げることにより、より多くの送信端末１００からの映像データを受信することができ、また処理遅延が小さくなり低遅延でメディアデータ再生が可能となるといった利点がある。
【００３０】
また、ＦＥＣ生成部１０３において、パケットロス率に応じて誤り耐性を付与するデータを選択したり、データ数を決定することとしてもよい。パケットロス率が高い場合には、例えば映像データの場合はイントラフレームや、ビデオヘッダ、音声データの場合は有音部分など、復号に重要なデータに対して選択的に誤り耐性を付与するのである。
【００３１】
これを詳細に説明すると、ＭＰＥＧ２の映像符号化データにおいて、パケットロス率が低い場合には、映像符号化データ全体にＦＥＣデータを付加する（方式Ｘとする）。一方、パケットロス率が高い場合には、Ｉ（Ｉｎｔｒａ）、Ｐ（Ｐｒｅｄｉｃｔｉｖｅ）フレームにのみＦＥＣデータを付加し、Ｂ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ　ｐｒｅｄｉｃｔｉｖｅ）フレームにはＦＥＣデータを付加しないこととする（方式Ｙとする）。方式Ｘ、ＹともＦＥＣデータの量は同じであるため、Ｉ、Ｐフレームに関しては、方式Ｘの方が方式Ｙよりも弱い誤り耐性が付与されることになる。
【００３２】
このようにパケットロス率に応じて方式Ｘ、Ｙを切り替えることで、方式Ｘ、Ｙをそれぞれ単独で使用した場合よりも、受信端末２００で再生可能なフレーム数を増加させることができる。例えば、パケットロス率が低い場合には、弱い誤り訂正能力でもロスしたパケットを回復できるため、映像符号化データ全体に誤り耐性を付与する方式Ｘの方が再生フレーム数は多くなる。一方、パケットロス率が高くなると、方式ＸではＩ、Ｐフレームの再生フレーム数が少なくなるため、これらを参照するＰ、Ｂフレームが再生できなくなり、再生フレーム数が急激に少なくなる。これと違って方式Ｙでは、Ｉ、Ｐフレームに強い誤り耐性を付与しているため、パケットロス率が高くなっても、参照されるフレーム（Ｉ、Ｐフレーム）がロスせず、再生フレーム数が多くなる結果となるのである。
【００３３】
なお、上記説明ではＩ、Ｐ、Ｂフレームを対象としたが、階層符号化を使用し、Ｉ、Ｐフレームの代わりに基本レイヤを、Ｂフレームの代わりに拡張レイヤを使用することとしてもよい。
【００３４】
図５は、図２中のフィードバック情報生成部２０５及び通知間隔制御部２０６の主要動作を示している。フィードバック情報生成部２０５は、伝送部２０１と協働してパケットロス率を計測する（ステップ４０１）。通知間隔制御部２０６は、パケットロス率が閾値Ｌ１（固定値）よりも高い場合には、フィードバック情報の通知間隔Ｔｆを、その最小値Ｔｆｍｉｎを下回らない範囲で、現在の通知間隔よりも固定値Ｔｃ１だけ短くする（ステップ４０２）。これにより、利用可能な伝送帯域に伝送レートＲｓをすばやく追従させ、パケットロスの発生を少なくすることができる。また、通知間隔制御部２０６は、パケットロス率が閾値Ｌ２（Ｌ１より小さい固定値）よりも低い場合には、フィードバック情報の通知間隔Ｔｆを現在の通知間隔よりも固定値Ｔｃ２だけ長くする（ステップ４０３）。
これにより、伝送レートＲｓの頻繁な切り替えを抑え、更に、他のフローとの間の公平性を向上させることができる。
【００３５】
図６は、図１及び図２の送受信端末１００，２００によるメディアデータ伝送における伝送レートＲｓ及び符号化レートＲｃの変動例を示している。図６によれば、伝送レートＲｓが頻繁に更新される状況下でも、符号化レート及びＦＥＣデータ送出レート決定部１０６の動作により符号化レートＲｃの更新頻度が抑制されることが判る。また、パケットロス率が低い場合には、通知間隔制御部２０６の動作により伝送レートＲｓの無用の更新も抑制される。
【００３６】
図７は、図１中のパケットサイズ決定部１０８の動作を示している。図７によれば、伝送レートＲｓが低下した場合にデータのパケットサイズを小さくすることで、パケットロス率をきめ細かく観測することができる。
【００３７】
まず、パケットサイズ決定部１０８は、伝送レート決定部１０５により決定された伝送レートＲｓを受信する（ステップ７０１）。その後、Ｓを予め定められた通常時のパケットサイズとして、観測期間Ｔにおいて伝送レートＲｓで伝送可能なパケット数Ｎを
Ｎ＝Ｒｓ×Ｔ／Ｓ
により求め、当該パケット数Ｎの値が予め定められた閾値Ｎｍｉｎよりも小さいかどうかを判定する（ステップ７０２）。ＮがＮｍｉｎよりも小さくないと判定された場合には、通常時のパケットサイズＳを採用する（ステップ７０３）。ＮがＮｍｉｎよりも小さいと判定された場合には、採用すべきパケットサイズＳ’を、
Ｓ’＝Ｒｓ×Ｔ／Ｎｍｉｎ
により計算する（ステップ７０４）。そして、ステップ７０３又はステップ７０４により決定されたパケットサイズを符号化部１０２に通知して（ステップ７０５）、処理を終了する。
【００３８】
なお、図５で説明したとおり、図１及び図２の実施形態ではフィードバック情報の通知間隔Ｔｆが変化するため、それにつれて観測期間Ｔが変動する。ただし、観測期間の最小値Ｔｆｍｉｎを用いれば、最低限Ｎｍｉｎ個のパケットを送信することができる。
【００３９】
図８は、図１中のＲＴＴ計算部１０９の動作を示している。図８によれば、ＲＴＴにオフセットを加算することで、ＲＴＴが小さい場合に、ネットワーク１５０の輻輳状態とは関連のない遅延の揺らぎにより発生する伝送レートＲｓの揺らぎを抑えることが可能となる。
【００４０】
まず、ＲＴＴ計算部１０９は、受信端末２００からのフィードバック情報を受信し（ステップ８０１）、このフィードバック情報から、測定された往復伝播遅延時間ＲＴＴｔを取得する（ステップ８０２）。続いて、ＲＴＴｔが予め定められた閾値ＲＴＴｍｉｎよりも小さいかどうかを判定する（ステップ８０３）。ＲＴＴｔがＲＴＴｍｉｎよりも小さくない場合には、伝送レートＲｓの計算に使用する往復伝播遅延時間ＲＴＴｃａｌｃとしてＲＴＴｔを採用する（ステップ８０４）。また、ＲＴＴｔがＲＴＴｍｉｎよりも小さい場合には、
ＲＴＴｃａｌｃ＝ＲＴＴｔ＋ｏｆｓ×（ＲＴＴｍｉｎ−ＲＴＴｔ）／ＲＴＴｍｉｎ
により、計算に使用する往復伝播遅延時間ＲＴＴｃａｌｃを求める（ステップ８０５）。ここで、ｏｆｓは予め定められた定数である。そして、ステップ８０４又はステップ８０５により決定されたＲＴＴｃａｌｃを伝送レート決定部１０５に通知して（ステップ８０６）、処理を終了する。
【００４１】
図９は、上記ＲＴＴｔとＲＴＴｃａｌｃとの関係を示している。図９では、横軸がＲＴＴｔであり、縦軸がＲＴＴｃａｌｃである。上記アルゴリズムにより得られる、ＲＴＴｔとＲＴＴｃａｌｃとの関係を太い実線の折れ線により表している。破線は、ＲＴＴｃａｌｃ＝ＲＴＴｔの場合、すなわち測定されたＲＴＴをそのまま計算に用いる場合を示している。図９に示すとおり、ＲＴＴｔがＲＴＴｍｉｎよりも小さい場合に正の加算オフセットが採用される。したがって、ＲＴＴｔが小さい場合でもＲＴＴｃａｌｃは小さくなり過ぎることがない。
【００４２】
輻輳による伝播遅延の増大は数百ｍｓ以上であり、機器の処理遅延は数ｍｓのオーダーである。したがって、上記ＲＴＴｍｉｎやｏｆｓを数十ｍｓ以下のオーダーに設定することで、上記オフセット加算が輻輳発生時の伝播遅延時間に影響を与えることはなくなる。
【００４３】
なお、送信端末１００と受信端末２００との間の伝送プロトコルは、ＩＰ以外の独自プロトコルであってもよい。接続形態も１対１型に限らず、１対Ｎの放送型（マルチキャスト、ブロードキャスト）、あるいはＮ対Ｍのメッシュ型であってもよい。メディアデータは、単一で伝送されていても、また並列に同時に伝送されていてもよい。標準化された符号化方式に限らず、独自の符号化方式を用いてもよい。
【００４４】
【発明の効果】
以上説明してきたとおり、本発明によれば、符号化レートの頻繁な更新を抑制したり、フィードバック情報の通知間隔を調整したり、パケットサイズを変更したり、ＲＴＴにオフセットを加算したりすることとしたので、利用可能な帯域が大きく変動する環境下で高品質のメディアデータ伝送を実現することができる。
したがって、本発明は、インターネット電話に利用されるＶｏＩＰ（Ｖｏｉｃｅ　ＯｖｅｒＩｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）、ＴＶ電話、ネットワークを利用した監視・放送などの様々なアプリケーションに適用できる。
【図面の簡単な説明】
【図１】本発明に係るメディア送信装置（送信端末）の内部構成例を示すブロック図である。
【図２】本発明に係るメディア受信装置（受信端末）の内部構成例を示すブロック図である。
【図３】図１中の符号化レート及びＦＥＣデータ送出レート決定部の初期動作を示すフローチャート図である。
【図４】同決定部の割り込み動作を示すフローチャート図である。
【図５】図２中のフィードバック情報生成部及び通知間隔制御部の主要動作を示すフローチャート図である。
【図６】図１及び図２の装置によるメディアデータ伝送における伝送レート及び符号化レートの変動例を示すタイムチャート図である。
【図７】図１中のパケットサイズ決定部の動作を示すフローチャート図である。
【図８】図１中のＲＴＴ計算部の動作を示すフローチャート図である。
【図９】図８の動作により実現するＲＴＴオフセット加算を説明するための図である。
【符号の説明】
１００　送信端末（メディア送信装置）
１０１　音声・映像入力部
１０２　符号化部
１０３　ＦＥＣ生成部
１０４　伝送部
１０５　伝送レート決定部
１０６　符号化レート及びＦＥＣデータ送出レート決定部
１０７　Ｒｃ更新タイマ
１０８　パケットサイズ決定部
１０９　ＲＴＴ計算部
１５０　ネットワーク
２００　受信端末（メディア受信装置）
２０１　伝送部
２０２　パケットロス回復部
２０３　復号部
２０４　再生部
２０５　フィードバック情報生成部
２０６　通知間隔制御部
Ｒｃ　符号化レート
Ｒｆ　ＦＥＣデータ送出レート
Ｒｓ　伝送レート
ＲＴＴｃａｌｃ　伝送レートの計算に使用するＲＴＴ
ＲＴＴｔ　測定されたＲＴＴ
Ｔｆ　フィードバック情報の通知間隔
【図１】
2004072720.tif 000003
【図２】
2004072720.tif 000004
【図３】
2004072720.tif 000005
【図４】
2004072720.tif 000006
【図５】
2004072720.tif 000007
【図６】
2004072720.tif 000008
【図７】
2004072720.tif 000009
【図８】
2004072720.tif 000010
【図９】
2004072720.tif 000011