(57)【要約】【課題】ＦＥＣパケットのサイズを抑制することによって、ＦＥＣパケットが伝送エラーとなる可能性を減らしてＲＴＰパケットの欠落を回復できる確率を上昇させると共に、ＦＥＣパケットの伝送路に対するオーバーヘッドを軽減する。【解決手段】映像音声配信装置１０は、映像フレームを符号化するエンコーダ３と、映像フレームよりＲＴＰパケットを生成するＲＴＰパケット生成部４と、このＲＴＰパケットを蓄積し当該ＲＴＰパケット数が所定条件を満たす場合に当該蓄積されたＲＴＰパケットから当該ＲＴＰパケットと誤り訂正に使用するＦＥＣパケットの集合からなるＦＥＣブロックを生成し当該ＦＥＣブロックに基いてＦＥＣパケットを生成するＦＥＣパケット生成部５と、上記ＲＴＰパケット及びＦＥＣパケットを個別に送信する送信処理部６と、を具備し、上記ＦＥＣパケット生成部５は、同一映像フレームから生成したＲＴＰパケットよりＦＥＣパケットを生成する。【選択図】      図１
2008017330.tif 000002
【特許請求の範囲】
【請求項１】
映像フレームを符号化する符号化手段と、
上記符号化手段により符号化された映像フレームよりＲＴＰパケットを生成するＲＴＰパケット生成手段と、
上記ＲＴＰパケット生成手段により生成されたＲＴＰパケットを蓄積し、当該ＲＴＰパケット数が所定条件を満たす場合には、当該蓄積されたＲＴＰパケットから当該ＲＴＰパケットと誤り訂正に使用するＦＥＣパケットの集合からなるＦＥＣブロックを少なくとも１つ生成し、当該ＦＥＣブロックに基いてＦＥＣパケットを生成するＦＥＣパケット生成手段と、
上記ＲＴＰパケット及びＦＥＣパケットを送信する送信手段と、
を具備し、上記ＦＥＣパケット生成手段は、同一の映像フレームから生成したＲＴＰパケットのみから上記ＦＥＣブロックを生成する、ことを特徴とする映像音声配信装置。
【請求項２】
上記所定条件とは、
これまでに生成したＦＥＣブロック数をＦｉ、ＦＥＣブロック１個当りの標準ＲＴＰパケット数をＲｓ、これまでに入力したＲＴＰパケット数をＲｉとした場合に、
((Ｆｉ＋１)＊Ｒｓ)≦Ｒｉ
である、ことを更に特徴とする請求項１に記載の映像音声配信装置。
【請求項３】
上記ＦＥＣパケット生成手段が生成するＦＥＣブロック数Ｆｎは、
これまでに入力したＲＴＰパケット数をＲｉ、ＦＥＣブロック生成の重みをｍ、ＦＥＣブロック１個当りの標準ＲＴＰパケット数をＲｓ、これまでに生成したＦＥＣブロック数をＦｉとした場合に、
Ｆｎ＝小数点以下切捨て（（Ｒｉ＋ｍ）／Ｒｓ）−Ｆｉ
より算出される、ことを更に特徴とする請求項１に記載の映像音声配信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像や音声等のメディアを配信する映像音声配信装置に関する。
【背景技術】
【０００２】
従来、ＲＴＰ（Real-time Transport Protocol）パケットにパリティを取ってＦＥＣ（Forward Error Correction）パケットを生成する場合、当該ＦＥＣパケットサイズは対象となるＲＴＰパケットの最大サイズによって決まる。そのため、ＦＥＣパケットが過大になり、無線区間で伝送エラーの影響を受け易くなる。また、ＦＥＣパケットによる伝送路へのオーバーヘッドも大きくなる。
【０００３】
ここで、特許文献１では、ＭＰＥＧ２のフレーム種別（Ｉ，Ｐ，Ｂ）毎に異なる誤り耐性を適用する技術が開示されている。すなわち、同技術では、ＭＰＥＧ２の映像符号化データにおいて、パケットロス率が低い場合には映像符号化データ全体にＦＥＣパケットを付加し、パケットロス率が高い場合にはＩ，ＰフレームにのみＦＥＣパケットを付加することとしている（特許文献１の段落［００３１］等参照）。
【特許文献１】特開２００４−７２７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、映像符号化データ全体にＦＥＣパケットを付与する場合においては、複数の映像フレームのＲＴＰパケットからＦＥＣパケットを生成することになり、当該ＦＥＣパケットのサイズは最もサイズの大きいＲＴＰパケットのサイズで決まることから、ＦＥＣパケットのサイズを十分には抑制することができない。
【０００５】
本発明の目的とするところは、ＦＥＣパケットのサイズを抑制することで、ＦＥＣパケットが伝送エラーとなる可能性を減らしてＲＴＰパケットの欠落を回復できる確率を上昇させると共に、ＦＥＣパケットの伝送路に対するオーバーヘッドを軽減することにある。
【課題を解決するための手段】
【０００６】
本発明の映像音声配信装置は、映像フレームを符号化する符号化手段と、上記符号化手段により符号化された映像フレームよりＲＴＰパケットを生成するＲＴＰパケット生成手段と、上記ＲＴＰパケット生成手段により生成されたＲＴＰパケットを蓄積し、当該ＲＴＰパケット数が所定条件を満たす場合には、当該蓄積されたＲＴＰパケットから当該ＲＴＰパケットと誤り訂正に使用するＦＥＣパケットの集合からなるＦＥＣブロックを少なくとも１つ生成し、当該ＦＥＣブロックに基いてＦＥＣパケットを生成するＦＥＣパケット生成手段と、上記ＲＴＰパケット及びＦＥＣパケットを送信する送信手段とを具備し、上記ＦＥＣパケット生成手段は、同一の映像フレームから生成したＲＴＰパケットのみから上記ＦＥＣブロックを生成することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ＦＥＣパケットのサイズを抑制することによって、ＦＥＣパケットが伝送エラーとなる可能性を減らしてＲＴＰパケットの欠落を回復できる確率を上昇させると共に、ＦＥＣパケットの伝送路に対するオーバーヘッドを軽減することが可能な映像音声配信装置を提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、添付図面を参照して、本発明の実施の形態について説明する。
【０００９】
図１には本発明の一実施の形態に係る映像音声配信装置の構成を示し説明する。
【００１０】
尚、この実施の形態に係る映像音声配信装置１０によりパケット化されて受信側端末２０に配信されるメディアの種類は特に問わないが、以下では、フレームが複数のＲＴＰパケットに格納される一般的なメディアとして映像を例に挙げて説明を進める。
【００１１】
図１に示されるように、この映像音声配信装置１０は、カメラ１、カメラ制御部２、エンコーダ３、ＲＴＰパケット化部４、ＦＥＣパケット化部５、送信処理部６を備える。
【００１２】
このような構成において、カメラ１は、固体撮像素子等により被写体を撮像して得た映像信号を後段のカメラ制御部２に送る。カメラ制御部２は、カメラ１を駆動制御すると共に当該カメラ１からの映像信号を映像フレームとしてエンコーダ３に送る。そして、エンコーダ３は、この映像フレームを符号化してＲＴＰパケット化部４に送る。尚、このエンコーダ３による符号化では、動き補償、直交変換、量子化、エントロピー符号化等の一般的なステップを踏むことは勿論である。この詳細な説明は省略する。
【００１３】
ＲＴＰパケット化部４では、この符号化された映像フレームからＲＴＰパケットを生成し、ＦＥＣパケット化部５に送る。ここで、ＲＴＰパケットは、ＲＴＰヘッダとＲＴＰペイロードから構成されている。ＲＴＰヘッダには、例えばペイロードタイプやシーケンス番号、タイムスタンプが格納されており、ＲＴＰペイロードは符号化方式に固有のヘッダ情報を格納したペイロードヘッダとペイロードデータからなる。
【００１４】
続いて、ＦＥＣパケット化部５では、バッファリングしたＲＴＰパケットが当該ＲＴＰパケットと誤り訂正に使用するＦＥＣパケットの集合からなるＦＥＣブロック１個当りに含まれる標準ＲＴＰパケット数以上となった時点で、当該ＲＴＰパケットよりＦＥＣブロック数を求め、ＦＥＣブロック単位でＦＥＣパケットを生成し、当該ＦＥＣパケットを送信処理部６に送る。
【００１５】
ここで、上記ＦＥＣブロックの数は、
ＲＴＰパケット数／ＦＥＣブロック１個当りの標準ＲＴＰパケット数
となるようにするが、これに限定されず、短期的にこの値から外れることは許容する。
【００１６】
一般に、同一の映像フレームから生成したＲＴＰパケットのサイズは等しいが、複数の映像フレームのＲＴＰパケットからＦＥＣパケットを生成すると、ＦＥＣパケットのサイズは最大サイズのＲＴＰパケットのサイズで決まることから、ＦＥＣパケットが過大になってしまう。かかる点に鑑みて、この実施の形態では、ＦＥＣパケット化部５は、基本的に単一の映像フレームから生成したＲＴＰパケット群を単一のＦＥＣパケットの生成に使用することとしている。ＦＥＣブロックに含めるＦＥＣパケット数は、ＦＥＣブロックに適用する誤り訂正方式による。例えばＸＯＲ（排他的論理和）によるパリティを使用する場合は１個、リード・ソロモン符号を使用する場合は複数になる。
【００１７】
こうしてＲＴＰパケット、及び生成されたＦＥＣパケットを受け、送信処理部６は、ＲＴＰパケットとＦＥＣパケットとを個別に受信側端末２０に送信する。
【００１８】
ここで、画像データをリアルタイムにエンコードする必要は必ずしもないので、既にエンコード済みの映像フレームを送信することも可能である。その場合には、ＲＴＰパケット化部４への入力はエンコーダからではなく、例えば図２に示されるように、エンコード済映像読み出し部８が記録媒体７よりエンコード済の映像データを読み出し、当該符号化後の映像データをＲＴＰパケット化部４へ入力すればよい。
【００１９】
次に、図３及び図４の概念図を参照して、ＦＥＣブロック生成の過程について更に詳細に説明する。図３は、ＦＥＣブロックの構成を示す概念図であり、図４は当該ＦＥＣブロックの生成過程を示す概念図であり、図中の数字は映像フレーム番号である。
【００２０】
この実施の形態に係る映像音声配信装置１０では、ＦＥＣパケット化部５は、基本的には一定数（例えば、ＦＥＣブロック１個当たりの標準ＲＴＰパケット数Ｒｓ）以上のＲＴＰパケットを蓄積した時点で、当該ＲＴＰパケットからＦＥＣブロックを生成し、更に当該ＦＥＣブロックに基いてＦＥＣパケットを生成する（図４（ａ）参照）。図４（ａ）においては同一のＦＥＣブロックに属するＲＴＰパケットを連結して一まとまりとし、異なるＦＥＣブロックに属するＲＴＰパケットを互いに分けて表現する。
【００２１】
このとき、更に以下の条件によることができる。
【００２２】
１．フレーム境界を無視する。最初のＦＥＣブロックの先頭と最後のＦＥＣブロックの末尾はフレーム境界に従う（図４（ｂ）参照）。
【００２３】
２．フレーム境界を維持する（図４（ｃ）参照）。ＦＥＣブロック数がフレーム数を超える場合は超えた分の分割についてはフレーム境界を無視する（図４（ｄ）参照）。
【００２４】
尚、生成されるＦＥＣブロックの数は、平均的には、
ＲＴＰパケット数／ＦＥＣブロック１個当たりの標準ＲＴＰパケット数Ｒｓ
となるようにするが、短期的にこの値からずれることは許容してよい。
【００２５】
以下、図５のフローチャートを参照して、本発明の一実施の形態による映像音声配信装置による一連の処理の流れを詳細に説明する。ここでは、特にＦＥＣパケット化部５にてＦＥＣブロック、更にはＦＥＣパケットを生成する過程を詳述する。
【００２６】
ＦＥＣパケット化部５は、ＲＴＰパケット化部４にて映像フレームから生成したＲＴＰパケット群の入力を受け付け、ＦＥＣパケット未生成のＲＴＰパケットをＦＥＣパケット生成までの間、内部にバッファリングする。このＲＴＰパケット群に含まれるＲＴＰパケットの数は、今回入力したＲＴＰパケット数Ｒｎとなる（ステップＳ１）。
【００２７】
続いて、ＦＥＣパケット化部５は、これまでに入力したＲＴＰパケット数Ｒｉを今回入力したＲＴＰパケット数Ｒｎだけ増やし（即ち、Ｒｉ＝Ｒｉ＋Ｒｎ）（ステップＳ２）、この今回入力されたＲＴＰパケット群を送信処理部６に送る（ステップＳ３）。
【００２８】
尚、送信処理部６は、このＲＴＰパケットを入力と同時に、或いは予め定められた送信レートで（タイマで計時した所定時間毎に）受信側端末２０に送信する。
【００２９】
続いて、ＦＥＣブロック化部５は、ＦＥＣブロックを生成するかどうか判定する（ステップＳ４）。即ち、ここでは、ＦＥＣブロック化部５は、これまでに生成したＦＥＣブロック数をＦｉ、ＦＥＣブロック１個当りの標準ＲＴＰパケット数をＲｓ、これまでに入力したＲＴＰパケット数をＲｉとした場合に、
((Ｆｉ＋１)＊Ｒｓ)≦Ｒｉ
が成立する場合にはＦＥＣブロックを生成し、それ以外は生成しない。ＦＥＣブロックを生成する場合にはステップＳ５に進み、生成しない場合にはステップＳ１に戻る。
【００３０】
次いで、ＦＥＣブロックを生成する場合には、ＦＥＣブロック化部５は、生成するＦＥＣブロック数を算出する（ステップＳ５）。
【００３１】
即ち、ここでは、今回生成するＦＥＣブロック数をＦｎ、これまでに入力したＲＴＰパケット数をＲｉ、ＦＥＣブロック生成の重みをｍ、ＦＥＣブロック１個当りの標準ＲＴＰパケット数をＲｓ、これまでに生成したＦＥＣブロック数をＦｉとした場合に、
Ｆｎ＝（（Ｒｉ＋ｍ）／Ｒｓ）−Ｆｉ
よりＦＥＣブロック数を算出する。尚、（Ｒｉ＋ｍ）／Ｒｓの部分は少数点を以下切捨てする。ＦＥＣブロック生成の重みｍは、生成するＦＥＣブロックの数を短期的に標準より多くするための値である。
【００３２】
一例として、キーフレーム（例えばＩフレーム）に対して重みを付加する場合は、ＦＥＣブロック生成の重みｍは、
ｍ＝Ｒｓ−１
とする。尚、キーフレーム以外については、ｍ＝０とする。
【００３３】
このＦＥＣブロック生成の重みｍは、キーフレーム（例えばＩフレーム）の場合にＦＥＣブロックの総数が、
ＦＥＣブロックの総数＝(（Ｒｉ＋ｍ）／Ｒｓ)個（小数点以下切捨て）
になるまでＦＥＣブロックを生成することを意味する。
【００３４】
こうして、ＦＥＣブロックと、ＦＥＣブロックに含まれるＦＥＣパケットを生成する（ステップＳ６）。但し、ここでは、生成するＦＥＣブロック数が２以上の場合のＲＴＰパケットとＦＥＣブロックの対応は例えば図４の方法に従うもとのとし、特に規定しないこととする。
【００３５】
次いで、これまでに生成したＦＥＣブロック数Ｆｉを、今回生成したＦＥＣブロック数Ｆｎだけ増やし（Ｆｉ＝Ｆｉ＋Ｆｎ）（ステップＳ７）、生成したＦＥＣパケットを送信処理部６に送り（ステップＳ８）、ステップＳ１に戻る。
【００３６】
送信処理部６は、ＦＥＣパケットを生成と同時に、或いは予め定められた送信レート（タイマで計時した所定時間毎）で受信側端末２０に送信する。
【００３７】
以上説明したように、本発明の一態様によれば、パケットレベルＦＥＣを利用し、ネットワークの輻輳時などにパケットロスの問題が生じた場合であっても、消失したパケットを再送することなく復元することが可能となるようにメディアを配信できる。
【００３８】
そして、特に、ＦＥＣパケットのサイズを抑制することによって、ＦＥＣパケットが伝送エラーとなる可能性を減らしてＲＴＰパケットの欠落を回復できる確率を上昇させると共に、ＦＥＣパケットの伝送路に対するオーバーヘッドを軽減することができる。
【００３９】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施の形態に係る映像音声配信装置の構成を示す図。
【図２】本発明の一実施の形態に係る映像音声配信装置の他の構成を示す図。
【図３】ＦＥＣブロックの構成を示す概念図。
【図４】ＦＥＣブロックの生成過程を示す概念図。
【図５】本発明の一実施の形態による映像音声配信装置による一連の処理の流れを詳細に説明するフローチャート。
【符号の説明】
【００４１】
１…カメラ、２…カメラ制御部、３…エンコーダ、４…ＲＴＰパケット化部、５…ＦＥＣパケット化部、６…送信処理部、７…記録媒体、８…エンコード済映像読み出し部、１０…映像音声配信装置、２０…受信側端末。
【図１】
2008017330.tif 000003
【図２】
2008017330.tif 000004
【図３】
2008017330.tif 000005
【図４】
2008017330.tif 000006
【図５】
2008017330.tif 000007