(57)【要約】【課題】ネットワーク品質およびフレームの重要度を基に画質の観点から最適な不均一誤り保護を実現すること。【解決手段】動画符号化部11は、動画を符号化するとともに、現フレームと前フレームとの平均二乗誤差を算出する。パケット化部12は、符号化された動画をパケット化するとともに、データパケット数を求める。冗長度決定部13は、平均二乗誤差と受信側で受信されたパケット系列から推測されたネットワーク品質に基づき、各符号化処理単位での平均冗長度を一定にするという制約条件の下で、符号化処理単位についての歪みを最小化するように不均一誤り保護符号化での各フレームに対する冗長度を決定する。可変FEC部14は、この冗長度に従って不均一誤り保護符号化を行う。【選択図】図１
2009212842.tif 000002
【特許請求の範囲】
【請求項１】
フレーム間予測を利用して圧縮された動画をベストエフォート型のネットワークを経由して伝送する動画伝送装置において、
伝送する動画の各フレームの重要度を算出するフレーム重要度算出手段と、
受信側で受信されたパケット系列から推測されたネットワーク品質を受信するネットワーク品質受信手段と、
前記フレームの重要度および前記ネットワーク品質に基づき、画質の観点からの歪みを最小化するように不均一誤り保護符号化での各フレームに対する冗長度を決定する冗長度決定手段と、
前記冗長度に従って不均一誤り保護符号化を行う誤り保護符号化手段を備えたことを特徴とする動画伝送装置。
【請求項２】
さらに、伝送途中での損失パケットを再送する自動再送手段を備えたことを特徴とする請求項１に記載の動画伝送装置。
【請求項３】
前記ネットワーク品質は、パケットロス率を含むことを特徴とする請求項１に記載の動画伝送装置。
【請求項４】
前記ネットワーク品質は、パケットロス率およびパケット伝送遅延を含むことを特徴とする請求項２に記載の動画伝送装置。
【請求項５】
前記冗長度決定手段は、各符号化処理単位での平均冗長度を一定にするという制約条件の下で、符号化処理単位についての画質の観点からの歪みを最小化するように不均一誤り保護符号化での各フレームに対する冗長度を決定することを特徴とする請求項１ないし４のいずれかに記載の動画伝送装置。
【請求項６】
前記冗長度決定手段は、前記フレームの重要度と前記ネットワーク品質とから誤り保護符号量と符号化処理単位ごとの歪みの期待値の関係を求め、ラグランジュ未定乗数法によって、符号化処理単位についての画質の観点からの歪みを最小化するように不均一誤り保護符号化での各フレームに対する冗長度を決定することを特徴とする請求項５に記載の動画伝送装置。
【請求項７】
前記冗長度決定手段は、各符号化処理単位内でのデータパケット数と冗長パケット数の合計を一定にするという制約条件の下で、符号化処理単位についての画質の観点からの歪みを最小化するように符号化での量子化係数および不均一誤り保護符号化での各フレームに対する冗長度を決定することを特徴とする請求項１ないし４のいずれかに記載の動画伝送装置。
【請求項８】
前記冗長度決定手段は、前記フレームの重要度と前記ネットワーク品質とから誤り保護符号量と符号化処理単位ごとの歪みの期待値の関係を求め、ラグランジュ未定乗数法によって、符号化処理単位についての画質の観点からの歪みを最小化するように符号化での量子化係数および不均一誤り保護符号化での各フレームに対する冗長度を決定することを特徴とする請求項７に記載の動画伝送装置。
【請求項９】
前記フレームの重要度は、受信側で該フレームが損失した場合に、エラー隠蔽処理によって表示される画像と該フレームの損失がないとした場合の表示される画像との平均二乗誤差を該フレームが属する符号化処理単位内で合計して算出された値を含むことを特徴とする請求項１ないし８のいずれかに記載の動画伝送装置。
【請求項１０】
前記エラー隠蔽処理は、当該フレームの１つ前のフレームを複製して用いる処理であることを特徴とする請求項９に記載の動画伝送装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画伝送装置に関し、特に、誤り保護符号量の最適分配を行うことができる、ベストエフォート型ネットワークを利用した動画伝送装置に関する。
【背景技術】
【０００２】
ADSLや光ファイバーなどのブロードバンドの普及により、ネットワークを利用した動画の配信が注目を集めている。IPネットワークのようなベストエフォート型ネットワークを利用した動画配信、特に無線ネットワークを利用した動画配信の場合、伝送の途中でパケット損失が生じる可能性が大きい。このため、動画を良好に配信するにはパケット損失を適切に復元する必要がある。
【０００３】
パケット損失を復元する技術としては、主に、前方誤り訂正(FEC：Forward Error Correction)および自動再送制御(ARQ：Automatic Repeat reQuest)が存在する。FECは、帰還路を必要とせず、送信遅延が小さいという利点がある。しかし、これには、多数のパケットが短時間で損失した場合にパケット損失を復元できないという欠点がある。これに対して、ARQは、多数のパケットが損失した場合でもそれを適切に復元することができるという利点がある。しかし、これには、帰還路を必要とし、再送による送信遅延が大きいという欠点がある。
【０００４】
FECとARQを組み合わせてパケット損失を復元するHybrid FEC/ARQも提案されている。
【０００５】
特許文献１には、ネットワーク品質に応じて動画のビットレートの増減とFEC強度の強弱を制御するビデオ伝送装置が記載されている。
【０００６】
特許文献２には、動画の時間的な複雑さ及び空間的な複雑さに応じて異なるFEC強度を設定し、不均一誤り保護(UEP:Unequal Error Protection)を実施するデータストリーム符号化方法が記載されている。
【０００７】
特許文献３には、FECとARQをみ合わせ、所望の伝送品質を達成するために自動再送を行うとともに最適なFEC冗長度を決定するパケット送信装置が記載されている。
【特許文献１】特開２００１−１６５８４号公報
【特許文献２】特表２００５−５１８１６４号公報
【特許文献３】特開２００７−１３４８３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１には、ネットワーク品質に応じてビデオビットレートとFEC冗長度の増減を制御するビデオ伝送装置が記載されている。しかし、これは、ネットワーク品質に対応した制御値を予め設定しておき、この制御値でビデオビットレートとFEC冗長度の増減を制御するというものであり、その制御に際し画質が考慮されておらず、ビデオビットレートとFEC冗長度の増減量の根拠に欠ける。
【０００９】
特許文献２に記載されているデータストリーム符号化方法では、動画の時間的な複雑さおよび空間的な複雑さに応じたFEC強度を設定する。動画ではフレーム構造などからくるフレームの重要度によりエラーの伝搬が異なり、ネットワーク品質も異なる。しかし、これでは、FEC強度の設定に際しフレームの重要度やネットワーク品質が考慮されていないので、画質の観点から最適なFEC冗長度が設定されないという課題がある。
【００１０】
特許文献３に記載されているパケット送信装置では、FECとARQを組み合わせた場合に所望の品質を達成する最適なFEC冗長度を設定する。ここでの品質とはフレームの損失確率を意味している。したがって、これでも、フレームの重要度が考慮されておらず、画質の観点から最適なFEC冗長度が設定されないという課題がある。
【００１１】
本発明の目的は、上記課題を解決し、ネットワーク品質およびフレームの重要度を基に、画質の観点から最適な不均一誤り保護を実現できる動画伝送装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明は、フレーム間予測を利用して圧縮された動画をベストエフォート型ネットワークを経由して伝送する動画伝送装置において、伝送する動画の各フレームの重要度を算出するフレーム重要度算出手段と、受信側で受信されたパケット系列から推測されたネットワーク品質を受信するネットワーク品質受信手段と、前記フレームの重要度および前記ネットワーク品質に基づき、画質の観点からの歪みを最小化するように不均一誤り保護符号化での各フレームに対する冗長度を決定する冗長度決定手段と、前記冗長度に従って不均一誤り保護符号化を行う誤り保護符号化手段を備えた点に第１の特徴がある。
【００１３】
また、本発明は、さらに、伝送途中での損失パケットを再送する自動再送手段を備えた点に第２の特徴がある。
【００１４】
また、本発明は、前記ネットワーク品質が、パケットロス率を含む点に第３の特徴がある。
【００１５】
また、本発明は、前記ネットワーク品質が、パケットロス率およびパケット伝送遅延を含む点に第４の特徴がある。
【００１６】
また、本発明は、前記冗長度決定手段が、各符号化処理単位での平均冗長度を一定にするという制約条件の下で、符号化処理単位についての画質の観点からの歪みを最小化するように不均一誤り保護符号化での各フレームに対する冗長度を決定する点に第５の特徴がある。
【００１７】
また、本発明は、前記冗長度決定手段が、前記フレームの重要度と前記ネットワーク品質とから誤り保護符号量と符号化処理単位ごとの画質の観点からの歪みの期待値の関係を求め、ラグランジュ未定乗数法によって、符号化処理単位についての歪みを最小化するように不均一誤り保護符号化での各フレームに対する冗長度を決定する点に第６の特徴がある。
【００１８】
また、本発明は、前記冗長度決定手段が、各符号化処理単位内でのデータパケット数と冗長パケット数の合計を一定にするという制約条件の下で、符号化処理単位についての画質の観点からの歪みを最小化するように符号化での量子化係数および不均一誤り保護符号化での各フレームに対する冗長度を決定する点に第７の特徴がある。
【００１９】
また、本発明は、前記冗長度決定手段が、前記フレームの重要度と前記ネットワーク品質とから誤り保護符号量と符号化処理単位ごとの歪みの期待値の関係を求め、ラグランジュ未定乗数法によって、符号化処理単位についての画質の観点からの歪みを最小化するように符号化での量子化係数および不均一誤り保護符号化での各フレームに対する冗長度を決定する点に第８の特徴がある。
【００２０】
また、本発明は、前記フレームの重要度が、受信側で該フレームが損失した場合に、エラー隠蔽処理によって表示される画像と該フレームの損失がないとした場合の表示される画像との平均二乗誤差を該フレームが属する符号化処理単位内で合計して算出された値を含む点に第９の特徴がある。
【００２１】
さらに、本発明は、前記エラー隠蔽処理が、当該フレームの１つ前のフレームを複製いて用いる処理である点に第１０の特徴がある。
【発明の効果】
【００２２】
本発明によれば、ネットワーク品質およびフレームの重要度に応じて画質の観点からFEC冗長度を最適に分配することができる。これにより、既定のFEC冗長度を付加した場合の画質を最大化する、あるいは、所望の画質を達成するためのFEC冗長度を最小にする不均一誤り保護を実現できる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明を説明する。本発明では、伝送する動画の各フレームの重要度を求め、また、ネットワーク品質を推測し、これらに基づいて画質の観点からの歪みを最小化するように不均一誤り保護符号化での各フレームに対する冗長度を決定し、該冗長度に従って不均一誤り保護符号化を行うことを基本としている。
【００２４】
まず、本発明の第１の実施形態について説明する。第１の実施形態は、各符号化処理単位(GOP)での平均冗長度を一定にするという制約条件の下で、符号化処理単位についての画質の観点からの歪みを最小化するように、不均一誤り保護符号化での各フレームに対する冗長度を決定するものである。
【００２５】
図１は、第１の実施形態おける送信装置を示すブロック図であり、この送信装置は、動画符号化部11、パケット化部12、冗長度決定部13、可変FEC部14および送信部15を備える。送信装置で生成されたパケットは、IPネットワークのようなベストエフォート型ネットワークを通して後述する受信装置へ伝送される。
【００２６】
動画符号化部11は、入力のビデオ信号を既定の圧縮形式に符号化し、パケット化部12に送出する。動画符号化部11での圧縮方式は、例えば、MPEG-4 AVCであるが、これに限定されない。また、動画符号化部11は、フレームiを符号化するとともに、直前のフレームi-1との平均二乗誤差σｉ２を算出し、冗長度決定部13に送出する。
【００２７】
パケット化部12は、動画符号化部11からの圧縮されたフレームをIPパケット化してデータパケットを生成し、可変FEC部14に送出する。また、パケット化部12は、フレームiのデータパケット数Dnumｉを求め、冗長度決定部13に送出する。
【００２８】
冗長度決定部13は、動画符号化部11からの平均二乗誤差σｉ２と、パケット化部12からのデータパケット数Dnumｉと、後述する受信装置のロス率測定部からのパケットロス率pとからフレームiに対する冗長パケット数Rnumｉ、すなわちフレームiに対する冗長度を算出し、可変FEC部14に送信する。冗長パケット数Rnumｉの算出は、可変FEC部14に、符号化処理単位であるGOPが新たに送信されてくる都度行う。この算出は、受信装置のロス率測定部からのパケットロス率の取得と同期して行う必要はなく、新たなGOPが送信されてきた時点で取得されているパケットロス率を用いて行えばよい。なお、冗長パケット数Rnumｉの算出については後で具体的に説明する。
【００２９】
可変FEC部14は、パケット化部12からのデータパケットに、冗長度決定部13で決定された冗長パケット数Rnumｉの冗長パケットを付加し、不均一誤り保護符号化を施して送信部15に送出する。
【００３０】
送信部15は、可変FEC部14からのパケットをIP ネットワークを介して受信装置へ送信する。
【００３１】
可変FEC部14での不均一誤り保護符号化には、例えば、Reed-Solomon符号(RS符号)化を利用することができる。図２は、(n,k)RS符号化の説明図である。複数のデータシンボル(通常1byte)を含むデータパケットが上部から順次並び、その後にパリティを含む冗長パケットが続く。(n,k)RS符号化は、データシンボルとパリティを含む垂直方向で行う。図２には、n=Dnumｉ+Rnumｉ(=4)，k=Dnumｉ(=3)とした(n,k)RS符号化を示している。
【００３２】
次に、冗長度決定部13での冗長パケット数Rnumｉの算出について説明する。冗長パケット数Rnumｉの算出は、符号化処理単位であるGOPごとに個々のフレームについて行い、GOP内での各フレームに対する冗長度を画質の観点から最適にする。以下の説明での上記以外の各符号の意味は次の通りである。なお、フレームの損失とは、FECによって復元できない場合を意味している。
N: GOP内フレーム数
i: GOP内フレーム番号(0〜N-1)
Dｉ: フレームiが損失した場合のGOPについての歪み
D: GOPについての歪みの期待値
Pｉ: フレームiが損失する確率
avr[r]: GOPについての平均冗長度(運用者によって予め設定される値)
α：定数
【００３３】
受信装置においてフレームiが損失した場合、直前のフレームi-1の画像をコピー(エラー隠蔽処理)して表示させる。その際、該フレームの損失がなかったとした場合に受信装置で表示されるフレームとエラー隠蔽処理によって実際に受信装置で表示されるフレーム(前のフレーム)との平均二乗誤差σｉ２は、GOP内でフレームiからフレーム(N-1)まで、つまり(N-i)個伝播する。したがって、GOP内で伝播する歪みの合計Dｉは、式(1)で近似できる。
【００３４】
これは、GOPのフレーム構造がI,P,P,P,・・・の並びの場合であるが、平均二乗誤差σｉ２が伝搬する形態は、フレーム構造に依存する。式(1)で算出される値は、当該フレームの重要度を示している。なお、定数αは、動画の動きの激しさなどによって変わる比例定数であるが、多くの場合、α=1あるいはα≒1であるので、α=1として差し支えない。
【００３５】
【数１】
2009212842.tif 000003
【００３６】
次に、フレームiが損失する確率Pｉは、送信装置が送信するデータパケット(Dnumｉ個)および冗長パケット(Rnumｉ個)のうち、Rnumｉ個より多いパケットが損失する確率と等しい。すなわち、Rnumｉ個より多いパケットが損失しなければ、フレームiを復元できるので、フレームiが損失する確率Pｉは、式(2)で表すことができる。式(2)の右辺第２項は、損失したパケットの数kがRnumｉ個より多くなくて、FECでフレームiを復元できる確率を表している。なお、ｎＣｒは、相異なるn個のもののr個をとった組み合わせの総数を意味している。
【００３７】
【数２】
2009212842.tif 000004
【００３８】
GOPについての歪みの期待値Dは、式(3)で表すことができる。
【００３９】
【数３】
2009212842.tif 000005
【００４０】
GOPについての平均冗長度を一定とし、不均一誤り保護符号化での各フレームに対する冗長度を画質の観点から最適とするには、GOPについての平均冗長度avr[r]を一定にするという制約条件の下で、GOPについての画質の観点からの歪みの期待値Dを最小にすればよい。そこで、
【００４１】
【数４】
2009212842.tif 000006
とおき、式(5),(6)を解いてフレームiに対する冗長パケット数Rnumｉを求める。すなわち、ラグランジュの未定乗数法によって、GOPについての歪みの期待値Dを最小にする冗長パケット数Rnumｉを求める。
【００４２】
【数５】
2009212842.tif 000007
【００４３】
【数６】
2009212842.tif 000008
【００４４】
図３は、第１の実施形態における受信装置を示すブロック図であり、この受信装置は、受信部31、ロス率測定部32、FEC復号部33、動画復号部34および動画表示部35を備える。
【００４５】
受信部31は、送信装置(図１)から送信されてくるパケットを受信し、FEC復号部33に送出する。また、受信部31は、受信したパケットのシーケンス番号をチェックすることで受信パケット数と損失パケット数を求め、一定時間ごとにロス率測定部32に送出する。
【００４６】
なお、損失パケット数には、伝送の途中で実際に損失して届かなかったパケットの数だけではなく、遅延により動画の再生時間までに届かなかったパケットの数も含まれる。
【００４７】
ロス率測定部32は、一定時間内ごとに受信部31から送出されてくる受信パケット数と損失パケット数からその期間内でのパケットロス率pｓａｍｐｌｅを求め、過去のパケットロス率pｏｌｄとの重み付け和(式(7))により新たなパケットロス率pｎｅｗを求め、送信装置(図１)へ送信する。なお、重み付け定数βを大きくすることは、より長期間でのパケットロス率の平均化を意味する。
【００４８】
【数７】
2009212842.tif 000009
【００４９】
FEC復号部33は、受信部31で受信したパケットにおける損失パケットをFECにより復元する。
【００５０】
図４は、FEC復号部33における処理手順を示すフローチャートである。FEC復号部33では、GOPを処理単位とするので、まず、初期化を行う。この初期化は特別なものではなく、処理に入るに際して一般的に行われているものと同様である。次に、受信部31で受信したパケットを復元する必要があるか否かをフレームごとに判定する(S41)。
【００５１】
ここで、受信部31で受信したパケットが損失していなくてFECで復元する必要がないと判定した場合、該パケットをそのまま動画復号部34へ送出する。S41で、受信部31で受信したパケットが損失していてFECで復元する必要があると判定した場合には、FECによりパケットの復元が可能か否か、すなわち損失パケット数がRnumｉ個より多いか否かを判定する(S42)。
【００５２】
ここで、損失パケット数がRnumｉ個より多くないと判定した場合、損失パケットをFECにより復元(S43)した後、動画復号部34へ送出する。また、S42で、損失パケット数がRnumｉ個より多いと判定した場合には、そのまま、動画復号部34へ送出する。
【００５３】
動画復号部34は、圧縮された動画ストリームを復号し、動画表示部35は、動画復号部34で復号された動画を表示する。なお、損失パケット数がRnumｉ個より多くて損失パケットが復元されなかった場合には、前フレームの画像を繰り返し再生して動画を表示すればよい。
【００５４】
次に、本発明の第２の実施形態について説明する。第２の実施形態は、各符号化処理単位(GOP)内での動画のデータパケット数と付加する冗長パケット数の合計を一定にするという制約条件の下で、符号化処理単位についてのGOPについての画質の観点からの歪みを最小化するように、符号化での量子化係数および不均一誤り保護符号化での各フレームに対する冗長度を決定するものである。
【００５５】
上記の制約条件下で、データパケット数を少なくすると、パケットの損失がなくても画質が劣化する。また、データパケット数を余り多くすると、パケットの損失の確率が高くなる。このため、データパケット数と冗長パケット数を最適に決定する必要がある。
【００５６】
図５は、第２の実施形態おける送信装置を示すブロック図であり、この送信装置は、動画符号化部51、パケット化部52、冗長度決定部53、可変FEC部54および送信部55を備える。送信装置で生成されたパケットは、IPネットワークのようなベストエフォート型ネットワークを通して受信装置へ伝送される。ここで、動画符号部51と冗長度決定部53以外は、第１の実施形態と同様であるので、以下では、主として、動画符号部51と冗長度決定部53における処理について説明する。
【００５７】
以下の説明での各符号の意味は次の通りである。
qp: 量子化係数
N: GOP内フレーム数
i: GOP内フレーム番号(0〜N-1)
RＳ: GOP内のデータパケット数
RＣ: GOP内の冗長パケット数
RＳ＋Ｃ: GOP内のデータパケット数と冗長パケット数の合計
DＳ: GOPについての符号化による歪み
DＣ: GOPについてのフレームの損失による歪み
DＳ＋Ｃ: GOPについての符号化とフレーム損失によるトータルの歪み
Pｉ: フレームiが損失する確率
【００５８】
図６は、量子化係数qpと冗長パケット数Rnumｉの決定手順を示すフローチャートである。GOPを処理単位とするので、まず、初期化を行う(S61)。次に、動画符号部51での符号化の量子化係数および冗長度決定部53の冗長パケット数をそれぞれ初期値qp′、Rnumｉ′に設定する(S62)。これらの初期値は予め用意しておく。
【００５９】
最初のGOPに対し、動画符号化部51は、量子化係数の初期値qp′を用いて符号化を行い(S63)、可変FEC部54は、その各フレームに対し、冗長パケット数の初期値Rnumｉ′を用いてFEC付加(FEC符号化)を行う(S64)。
【００６０】
次のGOPに対し、冗長度決定部53は、関数f(qp)、関数g(qp)、σｉ２およびネットワーク品質を用いて(S65)量子化計数qpを決定し、その各フレームに対する冗長パケット数Rnumｉを決定する(S66)。ここで、関数f(qp)は、GOPを量子化係数qpで符号化したときのGOPでの発生データ量の予測値を示し、関数g(qp)は、GOPを量子化係数qpで符号化したときの歪みの予測値を示す。これらの関数f(qp)，g(qp)は、量子化係数の初期値qp′で実際にGOPを符号化したときの発生データ量，歪みから求めることができる。
【００６１】
図７は、量子化係数(QP)と発生データ量の予測値(bit rate)との関係、つまり関数f(qp)の例を示す図である。この関数f(qp)=a×b−ｑｐは、定数bを予め決められた固定値に設定し、量子化係数の初期値qp′とそれにより実際に符号化したときのGOPについての発生データ量との関係から求めることができる。
【００６２】
また、図８は、量子化係数(QP)と歪みの予測値(MSE)との関係、つまり関数g(qp)の例を示す図である。この関数g(qp)=c×dｑｐは、定数dを予め決められた固定値に設定し、量子化係数の初期値qp′とそれにより実際に符号化したときのGOPについての歪みとの関係から求めることができる。
【００６３】
以降のGOPに対しては、それ以前のGOPの符号化での量子化係数と発生データ量と歪みとの関係を追加的に用いて関数f(qp)，g(qp)を更新し(S65)、それらを用いて当該GOPに対する量子化計数qpを決定し、その各フレームに対する冗長パケット数Rnumｉを決定する(S66)。実際に得られる量子化係数と発生データ量，歪みとの関係を追加的に用いて関数f(qp)，g(qp)を更新することにより、関数f(qp)，g(qp)を、当該画像における実際の発生データ量、歪みに近づけることができる。
【００６４】
以上のようにして決定した量子化計数qp，冗長パケット数Rnumｉをそれぞれ動画符号化部51，可変FEC部54に与える。動画符号化部51は、量子化係数qpを用いて符号化し(S63)、可変FEC部54は、冗長パケット数Rnumｉを用いてFEC付加を行う(S64)。以上の処理を全てのGOPについての処理が終了するまで行う(S67)。
【００６５】
冗長度決定部53では、以下のようにして初期化以降での量子化計数qpおよび冗長パケット数Rnumｉを決定する。
【００６６】
第１の実施形態では、データパケット数Dnumｉが与えられていたが、第２の実施形態では、これを予測する必要がある。そこで、動画符号化部51より前のGOPでの量子化係数qpに対する発生データ量f(qp)を冗長度決定部53に与え、これを用いてデータパケット数Dnumｉを予測する。前のGOPの量子化係数と個々のフレームのデータパケット数をそれぞれ、qp′、Dnumｉ′としたとき、量子化係数qpで現GOPを符号化した際の個々のフレームのデータパケット数の予測値Dnumｉを式(8)で求める。式(8)では、個々のフレームのデータパケット数がGOPでの発生データ量に比例していると仮定している。しかし、これに限られず、他の予測手法でも構わない。
【００６７】
【数８】
2009212842.tif 000010
【００６８】
次に、第１の実施形態と同様に、ラグランジュの未定乗数法によって、GOPについての歪みを最小にする量子化係数qpおよび冗長パケット数Rnumｉを求める。ここでは、フレームの損失による歪みだけでなく、符号化による歪みDＳ=g(qp)も発生するので、これも考慮する必要がある。フレームの損失による歪みDＣは、式(9)で表される。
【００６９】
【数９】
2009212842.tif 000011
【００７０】
ここで、Dｉ,Pｉは、それぞれ式(10),(11)で表される。
【００７１】
【数１０】
2009212842.tif 000012
【００７２】
【数１１】
2009212842.tif 000013
【００７３】
なお、σｉ′２は、前のGOPにおける前フレームとの二乗誤差の平均である。よって、GOPについてのトータルの歪みDＳ＋Ｃは、式(12)で表される。
【００７４】
【数１２】
2009212842.tif 000014
【００７５】
ここでは、データパケット数と冗長パケット数の合計RＳ＋Ｃを一定にするという制約条件の下で、歪みDＳ＋Ｃを最小にすればよいので、
【００７６】
【数１３】
2009212842.tif 000015
とおき、式(14),(15)を解いて、qp，Rnumｉを求める。すなわち、ラグランジュの未定乗数法によって、符号化とフレーム損失によるトータルの歪みの期待値DＳ＋Ｃを最小にする量子化係数qpと冗長パケット数Rnumｉを求める。
【００７７】
【数１４】
2009212842.tif 000016
【００７８】
【数１５】
2009212842.tif 000017
【００７９】
動画符号化部51は、量子化係数qpに従って符号化を行い、可変FEC部54は、パケット化部52からのパケットに、冗長パケット数Rnumｉに従って冗長パケットを付加してFEC化を行う。
【００８０】
第２の実施形態における受信装置は、第１の実施形態と同じであるので、説明を省略する。
【００８１】
以上実施形態を説明したが、本発明は、上記実施形態に限られるものではない。例えば、本発明は、自動再送機能を採用している動画伝送装置に適用しても有効である。すなわち、自動再送機能を採用すれば受信側でのパケット損失は低減するが、それにより低減されたパケット損失をネットワーク品質として考えればよい。例えば、パケットの損失を解消するのに許される自動再送の繰り返し回数は、パケット伝送遅延に依存するので、パケット伝送遅延をネットワーク品質に含ませる。本発明は、効率的なQoS(quality of service)を提供する映像配信サービスに適用できる。
【図面の簡単な説明】
【００８２】
【図１】本発明の第１の実施形態おける送信装置を示すブロック図である。
【図２】冗長パケットの生成を説明するための説明図である。
【図３】本発明の第１の実施形態おける受信装置を示すブロック図である。
【図４】FEC復号部における処理手順を示すフローチャートである。
【図５】本発明の第２の実施形態おける送信装置を示すブロック図である。
【図６】本発明の第２の実施形態おける量子化係数と冗長パケット数の決定手順を示すフローチャートである。
【図７】量子化係数と発生データ量との関係を示す図である。
【図８】量子化係数と歪みの関係を示す図である。
【符号の説明】
【００８３】
11,51・・・動画符号化部、12,52・・・パケット化部、13,53・・・冗長度決定部、14,54・・・可変FEC部、15,55・・・送信部、31・・・受信部、32・・・ロス率測定部、33・・・FEC復号部、34・・・動画復号部、35・・・動画表示部
【図１】
2009212842.tif 000018
【図２】
2009212842.tif 000019
【図３】
2009212842.tif 000020
【図４】
2009212842.tif 000021
【図５】
2009212842.tif 000022
【図６】
2009212842.tif 000023
【図７】
2009212842.tif 000024
【図８】
2009212842.tif 000025