(57)【要約】  【課題】  時間的ないし空間的にスケーラブルな動画像を伝送する際の伝送レートを、帯域保証のない状況下においても最適に決定すること、  【解決手段】  階層化された各レイヤの映像データには、ＦＥＣ信号が付されて伝送される。受信側装置は、一定時間間隔でＦＥＣ信号の使用率αを求め、該使用率αがある下限閾値ＴｈＬ（Ｓ）より小さければ（ステップＳ２が肯定）、伝送路の状態が良好であるのでステップＳ６に進んで、伝送するレイヤ数Ｓを１つ増やす。これにより、より高品質の画像情報を送ることができるようになる。一方、該使用率αがある上限閾値ＴｈＨ（Ｓ）より大きければ（ステップＳ３が肯定）、伝送路の状態が悪くなっているのでステップＳ４に進んで伝送するレイヤ数Ｓを１つ減らす。これにより、パケット損失などによる映像情報の品質の劣化を防止できるようになる。  【選択図】  図３
2006339775.tif 000002
【特許請求の範囲】
【請求項１】
時間的もしくは空間的にスケーラブルな動画像の伝送システムにおいて、
伝送データにＦＥＣ信号を付して構成された１または複数レイヤの映像情報を伝送する送信側装置と、
受信したＦＥＣ信号を用いて伝送データを誤り訂正する受信側装置とからなり、
前記受信側装置におけるＦＥＣ信号の使用割合を基に、伝送レイヤ数を決定することを特徴とする動画像伝送システム。
【請求項２】
請求項１に記載の動画像伝送システムにおいて、
前記受信側装置は前記ＦＥＣ信号の使用割合を前記送信側装置に送り、
前記送信側装置は該ＦＥＣ信号の使用割合を基に伝送レイヤ数を決定することを特徴とする動画像伝送システム。
【請求項３】
請求項１に記載の動画像伝送システムにおいて、
前記受信側装置は前記ＦＥＣ信号の使用割合を基に伝送レイヤ数を決定して前記送信側装置に送り、
前記送信側装置は該伝送レイヤ数の映像情報を伝送することを特徴とする動画像伝送システム。
【請求項４】
請求項２または３に記載の動画像伝送システムにおいて、
前記受信側装置は、前記ＦＥＣ信号の使用割合または伝送レイヤ数を、前記送信側装置に一定時間間隔にて送信することを特徴とする動画像伝送システム。
【請求項５】
請求項１ないし４のいずれかに記載の動画像伝送システムにおいて、
前記伝送データの各レイヤにおけるＦＥＣ信号の割合を、レイヤ毎に決定するようにしたことを特徴とする動画像伝送システム。
【請求項６】
請求項５に記載の動画像伝送システムにおいて、
前記伝送データの各レイヤにおけるＦＥＣ信号の割合を、低い階層のレイヤほど高くするようにしたことを特徴とする動画像伝送システム。
【請求項７】
請求項５または６に記載の動画像伝送システムにおいて、
前記各レイヤにおけるＦＥＣ信号の割合を、前記伝送データのヘッダまたは伝送ストリームのヘッダに記述するようにしたことを特徴とする動画像伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はスケーラブル動画像伝送システムに関し、特に時間的または空間的にスケーラブルな動画像を伝送する際の伝送レートを最適にし、伝送レートが変動する環境下においても高品質な映像伝送を行えるスケーラブル動画像伝送システムに関する。
【背景技術】
【０００２】
従来の階層符号化動画像伝送方式としては、下記の特許文献１に記載されているような、ディジタル動画像送信装置に最重要サブバンド信号に対して誤り訂正符号を生成する回路を２つ並列的に設けておき、各回路の出力を別ルートでディジタル動画像受信装置に転送し、並列設置された２つの誤り訂正回路で２重に誤り訂正処理を行い、選択回路でいずれか正しい出力を選択して前記最重要サブバンド信号を復号するものがある。この方式によれば、最重要サブバンド信号の伝送エラー及び網内輻輳等に起因する画像品質の劣化を抑制することが可能になる。
【０００３】
また、帯域保証がなされていないもしくは伝送帯域が不明な環境下における映像伝送に適した伝送方式として、下記の非特許文献１に記載されているような、時間的ないし空間的に映像情報を階層化し、伝送レートに基づいて伝送を行う階層（レイヤ）数を決定することが可能なスケーラブル符号化方式が提案されている。この方式を用いると、映像品質の異なる複数の素材を用意することなく伝送レートに応じた品質の映像を提供することができる。
【特許文献１】特開平６−３３９１３０号公報
【非特許文献１】“AMENDMENT 4:Streaming video profile，”ISO/IEC                           14496-2:1999/FDAM4
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前者の従来方式では、伝送レートが変化する環境下では、送信される最適な階層数に関して、何らの配慮もなされていないと言う課題があった。
【０００５】
一方、後者の従来方式では、インターネットに代表される、帯域保証がなされておらず伝送レートの上限が変動する環境下においては、最適な伝送レートの決定が困難であったため、該環境下において送信される最適な階層数を決定するのが困難であるという課題があった。
【０００６】
本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、時間的ないし空間的にスケーラブルな動画像を伝送する際の伝送レートを最適に決定することができるスケーラブル動画像伝送システムを提供することにある。
【課題を解決するための手段】
【０００７】
前記した目的を達成するために、本発明は、時間的もしくは空間的にスケーラブルな動画像の伝送システムにおいて、伝送データにＦＥＣ信号を付して構成された１または複数レイヤの映像情報を伝送する送信側装置と、受信したＦＥＣ信号を用いて伝送データを誤り訂正する受信側装置とからなり、前記受信側装置におけるＦＥＣ信号の使用割合を基に、伝送レイヤ数を決定するようにした点に第１の特徴がある。
【０００８】
また、前記伝送データの各レイヤにおけるＦＥＣ信号の割合を、レイヤ毎に決定するようにした点に第２の特徴がある。
【発明の効果】
【０００９】
本発明によれば、伝送可能レートの変動を反映させつつ、受信端末レベルの情報を基に、スケーラブル符号化がなされた動画像における伝送レイヤ数を決定することができるようになる。また、このため、帯域保証のない状況下においても、最適品質を推定した上での動画像伝送を実現することが可能になる。
【００１０】
さらに、各レイヤにおけるＦＥＣ信号の割合を、レイヤ毎に決定するようにしたので、パケットロスや輻輳などが頻出する環境下における伝送においても、最低限の映像品質を確保することができ、また高レートでの伝送が可能な環境においてもより高品質な映像伝送を実現することができる。
【発明を実施するための最良の形態】
【００１１】
以下に、図面を参照して本発明を詳細に説明する。図１は、本発明の一実施形態の概略説明図である。
【００１２】
図１において、サーバ１とクライアント２間で、帯域保証のない任意の伝送路例えばＩＰ回線を介して、伝送データ例えば映像情報の伝送が行われるとする。サーバ１からクライアント２へは該伝送路の伝送レートに対して、後述の説明から明らかになるように、映像情報とＦＥＣ信号（誤り訂正信号）３のレイヤ数が適応的に決められて伝送される。
【００１３】
一方、クライアント２からサーバ１へは、該ＦＥＣ信号の使用率４が伝送される。サーバ１は受信したＦＥＣ信号使用率４に従って伝送レートの状態あるいは変化を求め、求めた伝送レートに従ってクライアント２に伝送する映像情報のレイヤ数Ｓを決定する。
【００１４】
このようにして、サーバ１は、伝送路の伝送レートに適合したレーヤ数Ｓの映像情報を伝送できるようになり、クライアント２は伝送路の状態が許す範囲で最高の品質の映像情報を受信・再生できるようになる。
【００１５】
次に、前記サーバ１およびクライアント２の機能を、詳細に説明する。図２は、前記サーバ１において作成され伝送される各映像素材のデータ構成を示す。
【００１６】
このデータ構成は、階層（レイヤ）０〜Ｎ（ここに、Ｎは正の整数）の映像データからなり、各レイヤの映像データにＦＥＣ符号（誤り訂正符号）が付されている。レイヤ０〜Ｎの映像データは、レイヤ０のみを用いると低品質な映像の描画が可能になり、伝送レートに応じてレイヤ０から任意のレイヤ数Ｓ（Ｓ≦Ｎ）までの各レイヤの映像データを伝送すると、レイヤ数が多くなるに従って映像品質を向上することができる。各レーヤは前記ＦＥＣ符号（以下、ＦＥＣデータという）を必ず含むこととし、該ＦＥＣデータを用いることによってパケット損失や輻輳によって損失された映像データの復元が可能になる。
【００１７】
一方、クライアント２側では、映像の復号を行うと共に、該復号化に使用されたＦＥＣデータの使用率αを、一定のタイミング（時間間隔）でサーバ１に伝送する。このタイミングは、フレーム単位、秒数単位（１秒あるいは数秒単位）などを使用することができる。ＦＥＣデータの使用率αが大きいということは受信した映像データの損失が大きいことを示し、逆に小さいということは該損失が小さいことを示す。
【００１８】
次に、図３のフローチャートを参照して、本実施形態の動作を説明する。前提として、今、サーバ１はクライアント２へ、レイヤＳ（０≦Ｓ≦Ｎ）までの映像データを伝送しているとする。
【００１９】
ステップＳ１では、サーバ１はクライアント２からＦＥＣ信号使用率αを受信する。ステップＳ２では、α＜ＴｈＬ（Ｓ）であるか否かの判断がなされる。ここに、ＴｈＬ（Ｓ）は、予めレイヤＳに応じて決められている閾値であり、許容できるαの下限閾値である。この判断が肯定の場合には、伝送路の状態が良好であるので、ステップＳ６に進んで伝送するレイヤ数Ｓに１が加算される。
【００２０】
一方、該判断が否定の時にはステップＳ３に進み、α＞ＴｈＨ（Ｓ）であるか否かの判断がなされる。ここに、ＴｈＨ（Ｓ）は、予めレイヤＳに応じて決められている閾値であり、許容できるαの上限閾値である。この判断が肯定の場合には、伝送路の状態が悪化しているので、ステップＳ４に進み伝送するレイヤ数Ｓが１減算される。該判断が否定の時には、ステップＳ５に進み現在伝送されているレイヤ数Ｓがそのまま維持される。
【００２１】
ステップＳ７では、一定時間が経過したか否かの判断がなされ、この判断が肯定になるとステップＳ１に戻ってＦＥＣ信号使用率αを受信し、前記ステップＳ２〜Ｓ６の処理を繰り返し、伝送するレイヤ数Ｓを更新する。
【００２２】
なお、クライアント２側は受信データを復号するためには、受信データのレイヤ数Ｓを知る必要があるが、クライアント２側では、レイヤ０〜Ｎの各レイヤの平均データ量から、もしくは、データヘッダに記述されているレイヤ数Ｓから、当初受信するレイヤ数Ｓを求め、その後は、サーバ１に送信するＦＥＣ信号使用率αを参照することにより、受信するレイヤ数Ｓを推測することができる。
【００２３】
本実施形態では、図３の手順を実行する送信レイヤ数決定手段をサーバ１の中に設けたが、該送信レイヤ数決定手段をクライアント２の中に設け、クライアント２からサーバ１へは、図３の処理で求めた送信レイヤ数Ｓを伝送するようにしてもよい。
【００２４】
次に、図４に示すように、伝送データの各レイヤにおけるＦＥＣ信号の割合を、レイヤ毎に決定するようにしてもよい。例えば、低い階層のレイヤほどＦＥＣ信号の割合を高くすると、低い階層の映像データの復元が強化されるから、エラー耐性の強い映像伝送が可能になる。
【００２５】
前記各レイヤにおけるＦＥＣ信号の割合は、予め定められた規則に従って決めておき、サーバ１とクライアント２間で該割合を予め共有しておくことができる。または、クライアント２は映像情報の素材毎に決めた各レイヤにおけるＦＥＣ信号の割合を、該素材のヘッダに記述してクライアント２に通知することができる。または、クライアント２はレイヤ毎のＦＥＣ信号の割合を、映像ストリームのヘッダに記述することにより、クライアント２に通知することができる。
【００２６】
以上のように、本実施形態によれば、受信端末レベルにおいて符号量の配分を決定することが可能になるため、伝送レートの確定に要する時間の短縮や、伝送可能レートの変動に応じたデータ送信レートの決定を実現することができるようになる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態のスケーラブル動画像伝送システムの概略構成を示すブロック図である。
【図２】映像情報の各レイヤのデータ構成を示す説明図である。
【図３】送信レイヤ数を決定する手順を示すフローチャートである。
【図４】映像情報の各レイヤの他のデータ構成を示す説明図である。
【符号の説明】
【００２８】
１・・・サーバ、２・・・クライアント
【図１】
2006339775.tif 000003
【図２】
2006339775.tif 000004
【図３】
2006339775.tif 000005
【図４】
2006339775.tif 000006