(57)【要約】【課題】電波干渉による伝送パケットの損失を補填できるマルチキャスト又はユニキャストにおける伝送パケットの配信方法を提供する。【解決手段】少なくとも映像データ及び音声データを含むクローズドＧＯＰで構成されるコンテンツストリームデータを、通信路２，４を介して端末装置３へマルチキャスト配信又はユニキャスト配信する方法において、コンテンツストリームデータを、クローズドＧＯＰを１単位にして、先頭から順にＮα１個のクローズドＧＯＰを１グループにしてＭβ個に多重化した第１多重化ストリームパケットＳＴ１と、先頭から順にＮα２個のクローズドＧＯＰを１グループにしてＭβ個に多重化した第２多重化ストリームパケットＳＴ２とで階層的に構成し、これら第１多重化ストリームパケットと第２多重化ストリームパケットとを時間差を設けてマルチキャスト配信又はユニキャスト配信する。【選択図】  図１
2014003429.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも映像データ及び音声データを含むクローズドＧＯＰで構成されるコンテンツストリームデータを、通信路を介して端末へマルチキャスト配信又はユニキャスト配信する方法において、
前記コンテンツストリームデータを、クローズドＧＯＰを１単位にして、先頭から順にＮα１個のクローズドＧＯＰを１グループにしたＭβ個の第１多重化ストリームパケットに変換するステップと、
前記コンテンツストリームデータを、クローズドＧＯＰを１単位にして、先頭から順にＮα２個のクローズドＧＯＰを１グループにしたＭβ個の第２多重化ストリームパケットに変換するステップと、を備える伝送パケットの配信方法。
（ただし、Ｎα１，Ｎα２，Ｍβは自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）
【請求項２】
前記第１多重化ストリームパケット及び前記第２多重化ストリームパケットを、Ｎα２個のクローズドＧＯＰの個数ぶんだけ時間差を設けて配信する請求項１に記載の伝送パケットの配信方法。
【請求項３】
前記第１多重化ストリームパケット及び前記第２多重化ストリームパケットのうち１グループのクローズドＧＯＰの個数（Ｎα１，Ｎα２）が少ない方を、他方に比べて前記ＧＯＰの個数ぶんだけ遅延して配信する請求項２に記載の伝送パケットの配信方法。
【請求項４】
前記コンテンツストリームデータをマルチキャスト配信する場合に、
前記第１多重化ストリームパケット及び前記第２多重化ストリームパケットを、同一のマルチキャストグループを介して、異なるマルチキャストアドレスポート番号で配信する請求項２又は３に記載の伝送パケットの配信方法。
【請求項５】
前記第１多重化ストリームパケット及び前記第２多重化ストリームパケットを、複数チャンネルで配信する請求項４に記載の伝送パケットの配信方法。
【請求項６】
前記端末へ伝送された第１多重化ストリームパケットを復号化し、Ｎα１個のクローズドＧＯＰのうち損失したＧＯＰが検出された場合は、Ｍβ個のうちの他のＧＯＰで補正する第１補正ステップと、
前記端末へ伝送された第２多重化ストリームパケットを復号化し、Ｎα２個のクローズドＧＯＰのうち損失したＧＯＰが検出された場合は、Ｍβ個のうちの他のＧＯＰで補正する第２補正ステップと、
前記第１補正ステップ及び前記第２補正ステップにおいて補正不能なＧＯＰが検出された場合は、時間的に先行して配信された第１多重化ストリームパケット又は第２多重化ストリームパケットの対応するＧＯＰを用いて前記補正不能なＧＯＰを補正する第３補正ステップと、をさらに備える請求項１〜５のいずれか一項に記載の伝送パケットの配信方法。
【請求項７】
前記第３補正ステップにおいて補正不能なＧＯＰが検出された場合は、当該ＧＯＰを損失として破棄する請求項６に記載の伝送パケットの配信方法。
【請求項８】
前記第３補正ステップにおいて補正不能なＧＯＰが検出され、当該ＧＯＰが損失として破棄されたコンテンツストリームデータを再生する場合に、当該破棄されたＧＯＰの前のＧＯＰを再生し終えた後に、当該破棄されたＧＯＰの次のＧＯＰの先頭に移行し、再生開始時間に達するまで一時停止させるステップをさらに備える請求項７に記載の配信方法。
【請求項９】
前記コンテンツストリームデータは、テキストデータ又は画像データからなる字幕データ及び字幕ヘッダ情報を含み、
前記破棄されたＧＯＰの前のＧＯＰと次のＧＯＰの字幕ヘッダ情報をそれぞれ検索し、
これら前後のＧＯＰの両方に字幕挿入情報が検出された場合は、前記破棄されたＧＯＰの前のＧＯＰの字幕データを消去するとともに前記次のＧＯＰの字幕データを字幕ヘッダ情報にしたがって表示し、
前記破棄されたＧＯＰの前のＧＯＰに字幕挿入情報が検出され、前記破棄されたＧＯＰの次のＧＯＰに字幕挿入情報が検出されない場合は、タイムアウト値によりクリアする請求項７又は８に記載の伝送パケットの配信方法。
【請求項１０】
前記第１多重化ストリームパケット及び前記第２多重化ストリームパケットの各ＧＯＰに、ＧＯＰの順序、当該ＧＯＰに含まれるＩＰパケット数及びその順序、前記コンテンツストリームデータに含まれる全ＩＰパケットの中での順序、当該ＧＯＰに含まれるＴＳパケット数、マルチキャストアドレスポート番号及び多重化数Ｍβを含むヘッダを付与するステップをさらに備える請求項１〜９のいずれか一項に記載の伝送パケットの配信方法。
【請求項１１】
少なくとも映像データ及び音声データを含むクローズドＧＯＰで構成されるコンテンツストリームデータを、通信路を介して端末へマルチキャスト配信又はユニキャスト配信する配信サーバにおいて、
前記コンテンツストリームデータを、クローズドＧＯＰを１単位にして、先頭から順にＮα１個のクローズドＧＯＰを１グループにしたＭβ個の第１多重化ストリームパケットに変換する第１変換手段と、
前記コンテンツストリームデータを、クローズドＧＯＰを１単位にして、先頭から順にＮα２個のクローズドＧＯＰを１グループにしたＭβ個の第２多重化ストリームパケットに変換する第２変換手段と、を備える伝送パケットの配信サーバ。
（ただし、Ｎα１，Ｎα２，Ｍβは自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）
【請求項１２】
少なくとも映像データ及び音声データを含むクローズドＧＯＰで構成されるコンテンツストリームデータを、通信路を介して端末へマルチキャスト配信又はユニキャスト配信するプログラムにおいて、
前記コンテンツストリームデータを、クローズドＧＯＰを１単位にして、先頭から順にＮα１個のクローズドＧＯＰを１グループにしたＭβ個の第１多重化ストリームパケットに変換するステップと、
前記コンテンツストリームデータを、クローズドＧＯＰを１単位にして、先頭から順にＮα２個のクローズドＧＯＰを１グループにしたＭβ個の第２多重化ストリームパケットに変換するステップと、をコンピュータに実行させるための伝送パケットの配信プログラム。
（ただし、Ｎα１，Ｎα２，Ｍβは自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）
【請求項１３】
端末装置へ伝送された、少なくとも映像データ及び音声データを含むクローズドＧＯＰで構成されるコンテンツストリームデータを変換し、クローズドＧＯＰを１単位にして、先頭から順にＮα１個のクローズドＧＯＰを１グループにしたＭβ個の第１多重化ストリームパケットを復号化し、Ｎα１個のクローズドＧＯＰのうち損失したＧＯＰが検出された場合は、Ｍβ個のうちの他のＧＯＰで補正する第１補正ステップと、
前記端末装置へ伝送された、前記コンテンツストリームデータを変換し、クローズドＧＯＰを１単位にして、先頭から順にＮα２個のクローズドＧＯＰを１グループにしたＭβ個の第２多重化ストリームパケットを復号化し、Ｎα２個のクローズドＧＯＰのうち損失したＧＯＰが検出された場合は、Ｍβ個のうちの他のＧＯＰで補正する第２補正ステップと、
前記第１補正ステップ及び前記第２補正ステップにおいて補正不能なＧＯＰが検出された場合は、時間的に先行して配信された第１多重化ストリームパケット又は第２多重化ストリームパケットの対応するＧＯＰを用いて前記補正不能なＧＯＰを補正する第３補正ステップと、をコンピュータに実行させるための伝送パケットの復号補正プログラム。
【請求項１４】
音声データを含むフレームで構成されるコンテンツストリームデータを、通信路を介して端末へマルチキャスト配信又はユニキャスト配信する方法において、
前記コンテンツストリームデータを、フレームを１単位にして、先頭から順にＮα１個のフレームを１グループにしたＭβ個の第１多重化ストリームパケットに変換するステップと、
前記コンテンツストリームデータを、フレームを１単位にして、先頭から順にＮα２個のフレームを１グループにしたＭβ個の第２多重化ストリームパケットに変換するステップと、を備える伝送パケットの配信方法。
（ただし、Ｎα１，Ｎα２，Ｍβは自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）
【請求項１５】
音声データを含むフレームで構成されるコンテンツストリームデータを、通信路を介して端末へマルチキャスト配信又はユニキャスト配信する配信サーバにおいて、
前記コンテンツストリームデータを、フレームを１単位にして、先頭から順にＮα１個のフレームを１グループにしたＭβ個の第１多重化ストリームパケットに変換する第１変換手段と、
前記コンテンツストリームデータを、フレームを１単位にして、先頭から順にＮα２個のフレームを１グループにしたＭβ個の第２多重化ストリームパケットに変換する第２変換手段と、を備える伝送パケットの配信サーバ。
（ただし、Ｎα１，Ｎα２，Ｍβは自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）
【請求項１６】
音声データを含むフレームで構成されるコンテンツストリームデータを、通信路を介して端末へマルチキャスト配信又はユニキャスト配信するプログラムにおいて、
前記コンテンツストリームデータを、フレームを１単位にして、先頭から順にＮα１個のフレームを１グループにしたＭβ個の第１多重化ストリームパケットに変換するステップと、
前記コンテンツストリームデータを、フレームを１単位にして、先頭から順にＮα２個のフレームを１グループにしたＭβ個の第２多重化ストリームパケットに変換するステップと、をコンピュータに実行させるための伝送パケットの配信プログラム。
（ただし、Ｎα１，Ｎα２，Ｍβは自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）
【請求項１７】
端末装置へ伝送された、音声データを含むフレームで構成されるコンテンツストリームデータを変換し、フレームを１単位にして、先頭から順にＮα１個のフレームを１グループにしたＭβ個の第１多重化ストリームパケットを復号化し、Ｎα１個のフレームのうち損失したフレームが検出された場合は、Ｍβ個のうちの他のフレームで補正する第１補正ステップと、
前記端末装置へ伝送された、前記コンテンツストリームデータを変換し、フレームを１単位にして、先頭から順にＮα２個のフレームを１グループにしたＭβ個の第２多重化ストリームパケットを復号化し、Ｎα２個のフレームのうち損失したフレームが検出された場合は、Ｍβ個のうちの他のフレームで補正する第２補正ステップと、
前記第１補正ステップ及び前記第２補正ステップにおいて補正不能なフレームが検出された場合は、時間的に先行して配信された第１多重化ストリームパケット又は第２多重化ストリームパケットの対応するフレームを用いて前記補正不能なフレームを補正する第３補正ステップと、をコンピュータに実行させるための伝送パケットの復号補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチキャスト又はユニキャストにおける伝送パケットの配信方法に関する。
【背景技術】
【０００２】
ホストコンピュータからの指令を、ネットワークを通じて接続された複数のアクセスポイントから複数の端末に指令を伝える無線通信システムにおいて、アクセスポイントと端末とで構成される複数のチャンネルにそれぞれ識別番号を付与し、複数のチャンネルに付与した識別番号に応じて割り付けられたタイムスロットをアクセスポイントに設けることで、マルチキャスト又はブロードキャストの伝送パケットの損失を回避することが提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２４５８９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、隣接するアクセスポイントとのチャンネル干渉による伝送パケットの損失は回避できても、電子レンジやアマチュア無線等、アクセスポイント以外からの電波干渉による伝送パケットの損失は回避することができない。
【０００５】
本発明が解決しようとする課題は、電波干渉による伝送パケットの損失を補填できるマルチキャスト又はユニキャストにおける伝送パケットの配信方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、少なくとも映像データ及び音声データを含むクローズドＧＯＰで構成されるコンテンツストリームデータを、通信路を介して端末へマルチキャスト配信又はユニキャスト配信する方法において、コンテンツストリームデータを、クローズドＧＯＰを最小単位にして、先頭から順にＮα１個のクローズドＧＯＰを１グループにしてＭβ個に多重化した第１多重化ストリームパケットと、先頭から順にＮα２個のクローズドＧＯＰを１グループにしてＭβ個に多重化した第２多重化ストリームパケットとで階層的に構成し、これら第１多重化ストリームパケットと第２多重化ストリームパケットとを時間差を設けてマルチキャスト配信又はユニキャスト配信することによって、上記課題を解決する。
（ただし、Ｎα１，Ｎα２，Ｍβは自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）
【発明の効果】
【０００７】
本発明によれば、互いに異なるクローズドＧＯＰ個数Ｎα１，Ｎα２（バーストエラー耐性値）の多重化ストリームパケットを、時間差を設けてマルチキャスト配信するので、相互に復号補正が可能となり、特にバーストエラー耐性値Ｎα１，Ｎα２を超えたバーストエラーに対しても復号可能性を高めることができる。
【図面の簡単な説明】
【０００８】
【図１】発明の一実施の形態を適用したマルチキャスト配信装置を示すブロック図である。
【図２】本発明の一実施の形態に係るマルチキャストパケットのデータ構造を示す図である。
【図３】本発明の一実施の形態に係るＧＯＰ多重化のデータ構造を示す図である。
【図４】本発明の一実施の形態に係る階層多重化のデータ構造を示す図である。
【図５】本発明の一実施の形態に係る階層多重化によるパケット損失の補正例を示す図である。
【図６】本発明の一実施の形態に係るＧＯＰ多重化復号による効果を説明するためのデータ構造図である。
【図７】本発明の一実施の形態に係る階層多重化復号による効果を説明するためのデータ構造図である。
【図８】本発明の一実施の形態に係る階層多重化パケットを伝送する他の実施形態を示す図である。
【図９】本発明の一実施の形態に係る階層多重化パケットを伝送するさらに他の実施形態を示す図である。
【図１０】本発明の一実施の形態に係るＩＰパケットに階層多重化ヘッダを付与した実施形態を示す図である。
【図１１Ａ】本発明の比較例に係る階層多重化パケットの再生方法を示す図である。
【図１１Ｂ】本発明の一実施の形態に係る階層多重化パケットの再生方法を示す図である。
【図１２Ａ】本発明の比較例に係る階層多重化パケットの字幕再生方法を示す図である。
【図１２Ｂ】本発明の一実施の形態に係る階層多重化パケットの字幕再生方法を示す図である。
【図１３Ａ】本発明の比較例に係る字幕パケットの平滑化方法を示す図である。
【図１３Ｂ】本発明の一実施の形態に係る字幕パケットの平滑化方法の比較例を示す図（その１）である。
【図１３Ｃ】本発明の一実施の形態に係る字幕パケットの平滑化方法の比較例を示す図（その２）である。
【図１３Ｄ】本発明の一実施の形態に係る字幕パケットの平滑化方法の比較例を示す図（その３）である。
【図１４Ａ】本発明の比較例に係るパディングパケットの縮小・平滑化方法を示す図である。
【図１４Ｂ】本発明の一実施の形態に係るパディングパケットの縮小・平滑化方法の比較例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
本例は、図１に示すように、マルチキャストサーバ１からＷｉＦｉ（登録商標）無線ＬＡＮ装置２（以下、単に無線ＬＡＮ装置２ともいう）を介して、スマートフォン等の端末装置３へ、映像，音声及び字幕などを含むコンテンツをマルチキャスト配信する方法及び装置並びにソフトウェアプログラムに関するものである。マルチキャストサーバ１と無線ＬＡＮ装置２との間は通信回線４によりデータ信号が伝送され、無線ＬＡＮ装置２と端末装置３との間は無線ＬＡＮ回線５によりデータ信号が伝送される。なお以下においては、本発明の配信方法を、マルチキャスト配信を例に挙げて説明するが、ユニキャスト配信に対しても適用することができる。
【００１０】
マルチキャスト配信とは、ネットワーク内で、複数の相手を指定して同じデータを送信することであり、複数の相手に一回データを送信すれば通信経路上のルーターが相手先に応じて自動的にデータを複製し、１つのマルチキャストサーバ１から多数の端末装置３へ配信する方法である。放送系の映像配信等では、１回の送信で複数ユーザーに同一映像を送信でき、また相手先が増えてもサーバ側の配信帯域を圧迫することがないマルチキャスト方式を採用する場合が多い。ただし、マルチキャストによる伝送方式（ＵＤＰ）では、１方向に１回送信されるのみで、再送制御が行われないため、電波干渉の影響を受け伝送パケットの損失が頻繁に発生することになる。特に、映像配信系のシステムでは、映像が破壊され視聴に耐えられないものになったり、再生デコーダがエラー停止したりするような問題が頻発する。
【００１１】
ＷｉＦｉ（登録商標）無線ＬＡＮは、ＩＥＥＥ８０２．１１で規格化されており、使用できる無線周波数帯は２．４ＧＨｚ帯および５ＧＨｚ帯であり、現行の無線ＬＡＮ機器では双方対応しているものもあるが、一般的には２．４ＧＨｚ帯の対応機器が主流である。ただし、既述したとおり２．４ＧＨｚ帯を使用したＷｉＦｉ（登録商標）無線ＬＡＮでは、電子レンジやアマチュア無線等との電波干渉の問題が存在する。なお、本発明の伝送パケットの配信方法等は、ＷｉＦｉ（登録商標）無線ＬＡＮを使用することに何ら限定されず、その他の無線通信路のほか有線通信路であってもよい。また、こうしたローカルエリア通信網以外にも、インターネット回線やＮＧＮ（Next Generation Network，次世代通信網）であってもよい。
【００１２】
現在のネットワークプロトコルでは、ＩＰｖ４およびＩＰｖ６を用いており、それぞれのプロトコル、フォーマット等については、ＲＦＣ７９１（Ｉｐｖ４）、ＲＦＣ２４２０（Ｉｐｖ６）の仕様書のほかさまざまな文献があり、かつ、それぞれのマルチキャスト転送技術についても確立されている。本例では、マルチキャスト映像として、ＭＰＥＧ−ＴＳコンテナに、Ｈ．２６４  ｖｉｄｅｏ、ＡＡＣ  ａｕｄｉｏを使用したストリーム構成とし、前述のＩＰプロトコルを適用したパケット構成を図２に示す。
【００１３】
すなわち、図１のマルチキャストサーバ１に格納されたオリジナルコンテンツは、図２に示すように、複数のＩＰパケットからなるストリームデータであり、一つのＩＰパケットはＩＰヘッダとＩＰペイロードを含み、一つのＩＰペイロードはＵＤＰヘッダとＵＤＰペイロードを含み、一つのＵＤＰペイロードは、１または複数のＴＳパケットを含んで構成される。ＴＳパケットがＭＰＥＧ−ＴＳストリームで構成されている。端末装置３では、マルチキャストサーバ１から配信されたＩＰパケットから最終的にＭＰＥＧ−ＴＳストリームを抽出して再生し、これにより映像、音声及び字幕等を視聴することができる。なお、以下の説明では、ＵＰＤヘッダ及びＵＰＤペイロードの構成は便宜上、省略するものとする。
【００１４】
マルチキャストのパケット損失に関してはさまざまな手法が考案されており、代表的なものとして以下のものが掲げられるが、それぞれ問題も内包する。
【００１５】
１）パケット再送要求法は、パケット損失が検出されたらユニキャストによる損失パケットの再送要求により損失パケットを再受信する方法であるが、パケット損失を検出しユニキャストで再送要求をするための端末側およびサーバ側の処理が煩雑になり、また再送要求から再送パケット受信まで遅延時間が発生するという問題がある。
【００１６】
２）複数通信経路による送信法は、複数の無線ＬＡＮ装置から同一のマルチキャストパケットを送信し、パケット損失があった場合は、他の無線ＬＡＮ装置からの正常パケットで補正する方法である。しかし、複数の無線ＬＡＮ装置が必要となり、接続する無線ＬＡＮ装置を監視し、随時切換える処理が必要となり、システム規模が増大し、コンスーマー用途に向かないといった問題や、パケットを補正しきれない場合は再生画像が壊れて視聴に耐えられないという問題がある。
【００１７】
３）複数のマルチキャストグループ（マルチキャストアドレス）による送信法は、複数のマルチキャストグループで同一のマルチキャストパケットを送信し、パケット損失があった場合は他のマルチキャストグループの正常パケットで補正する方法である。或いは、複数のマルチキャストグループで同一コンテンツの、エンコード条件（例：ビットレート等）を変えたものを送信し、パケット損失が頻発する場合は、例えば低ビットレートのマルチキャストグループに切換える方法である。しかし、パケット損失を検出し、マルチキャストグループを切換える処理が必要となり、また複数のマルチキャストグループが必要となり、サーバ側及び端末側の処理が煩雑化するといった問題があり、さらに同一のコンテンツを複数マルチキャストグループで保持するため、コンテンツを増やす場合にはさらにマルチキャストグループを増やす必要がある。さらにパケット補正しきれない場合は、再生画像が壊れて視聴に耐えられないという問題がある。
【００１８】
かかる状況に鑑み、本例では以下の条件でマルチキャストパケットの損失に対応する方法を検討乃至完成し、マルチキャスト映像配信システムに適用するものである。すなわち、複数の無線ＬＡＮ装置や複数のマルチキャストグループを使用しなくてもよい簡易なシステム構成であることと、ユニキャスト切り替えや再送要求を行わず単一のマルチキャストグループを使用するといった複雑な処理系を伴わないことと、パケット損失による再生映像品質への影響を最小限にして再生映像のノイズや画崩れを起こさないことを前提条件とした配信方法及びシステムである。
【００１９】
上述したマルチキャストパケットの損失に対応する方法として、マルチキャストパケットの多重化および時間差を付与したパケットの送信が考えられるが、バースト的にエラーが発生した場合は、補正しきれない問題も残されている。また、パケット欠損（抜けたパケット）がある状態で再生デコードした場合に、映像にノイズが入って画崩れが発生したり、最悪の場合は再生デコーダがエラー停止したりすることも考えられる。本例では、ＩＰパケットをクローズドＧＯＰ単位で多重化し、さらに時間差をおいて送信するもう一つのストリームでさらに多重化する方法を完成した（以下、階層多重化方法ともいう）。なお、以下の説明では、映像及び音声を含むコンテンツにて本発明の実施形態を説明するが、音声のみを含むコンテンツについても同様の構成で配信することができ、音声のみを含むコンテンツの場合は、以下のＧＯＰをフレームに置き換えて考えればよい。
【００２０】
ＧＯＰ（Ｇｒｏｕｐ ｏｆ  Ｐｉｃｔｕｒｅ）とは、１つの再生のまとまりの単位であり、クローズド（Ｃｌｏｓｅｄ）ＧＯＰは、ＧＯＰの先頭Ｐｉｃｔｕｒｅが必ず、Ｉｄｒ Ｐｉｃｔｕｒｅとなり、ＧＯＰ間でのリファレンスが無いストリーム構成をいう。すなわち、クローズドＧＯＰは、ＧＯＰ先頭で前のＧＯＰとの関連がリセットされ、１つのＧＯＰ単体で正常な再生が可能である。図３に本例のＧＯＰ多重化構成を示すが、１ＧＯＰ＝０．５秒のストリームとした場合について説明する。なお、以下説明するコンテンツは、図１に示すマルチキャストサーバ１の記憶装置などに格納されたものを例に挙げるが、本発明はテレビなどの放送系コンテンツやライブカメラで撮影したリアルタイム映像などもコンテンツとして含む。
【００２１】
図３に示すコンテンツは、１つのＩＰパケットがたとえば２３個のＴＳパケット（１８８バイト×２３個＝４３２４バイト）で構成され、１つのＧＯＰが０．５秒ぶんのＩＰパケットで構成されているものとする。このＧＯＰをコンテンツの先頭（または任意の開始点ＧＯＰでもよい）からＮα１個抽出し、このＮα１個を一つの単位としてＭβ個の多重化ストリームパケットＳＴ１を生成する。たとえば、４００個のＧＯＰからなるコンテンツに対して、Ｎα１＝１０，Ｍβ＝２に設定すれば、１０個のＧＯＰを一つの単位として同じデータを２つずつ生成することを意味し、多重化ストリームパケットＳＴ１では、１０個のＧＯＰが２セット（＝２０個のＧＯＰ）ずつ、４００個まで順次生成される。
【００２２】
図４は、８００個（１番目〜８００番目の序数を数字で示す）のＧＯＰに対して、第１多重化ストリームパケットＳＴ１ではＮα１＝１０，Ｍβ＝２に設定し、第２多重化ストリームパケットＳＴ２ではＮα２＝４００，Ｍβ＝２に設定した場合を示す。第１多重化ストリームパケットＳＴ１では、１０個のＧＯＰが２セット（＝２０個のＧＯＰ）ずつ、８００個まで順次生成される一方で、第２多重化ストリームパケットＳＴ２では、４００個のＧＯＰが２セット（＝８００個のＧＯＰ）ずつ、８００個まで順次生成される。そして、ＧＯＰの４００番目と８００番目において第１多重化ストリームパケットＳＴ１と第２多重化ストリームパケットＳＴ２が多重同期することになる。
【００２３】
本例では、図１に示すようにマルチキャストサーバ１において、オリジナルコンテンツに対して、Ｎα１＝１０，Ｍβ＝２に設定して第１多重化ストリームパケットＳＴ１を生成するとともに、同じオリジナルコンテンツに対して、Ｎα２＝４００，Ｍβ＝２に設定して第２多重化ストリームパケットＳＴ２を生成する。そして、第１多重化ストリームパケットＳＴ１を、第２多重化ストリームパケットＳＴ２に対して、４００個のＧＯＰの伝送時間だけ遅延して、通信回線４を介して無線ＬＡＮ装置２へ伝送し、さらに端末装置３へ伝送する。
【００２４】
第１多重化ストリームパケットＳＴ１及び第２多重化ストリームパケットＳＴ２を、マルチキャストサーバ１から通信回線４を介して無線ＬＡＮ装置２へ伝送する場合には、同じマルチキャストグループＡを使用する一方でマルチキャストアドレスポート番号を変えて伝送する。図１に示す例では、第１多重化ストリームパケットＳＴ１をマルチキャストアドレスポート１から伝送し、第２多重化ストリームパケットＳＴ２をマルチキャストアドレスポート２から伝送する。なお、ユニキャスト配信に適用する場合は一つのポートから伝送する。
【００２５】
階層多重化した第１多重化ストリームパケットＳＴ１および第２多重化ストリームパケットＳＴ２を送信する際、これら第１多重化ストリームパケットＳＴ１を第２多重化ストリームパケットＳＴ２より時間差を設けて送信することで、バーストエラー発生時の影響を受けるＧＯＰをそれぞれのストリームでずらすことになり、どちらかのストリームでパケット損失が発生しても互いに補正が可能となる。この作用効果については後述する。
【００２６】
無線ＬＡＮ装置２から受信手段で第１多重化ストリームパケットＳＴ１及び第２多重化ストリームパケットＳＴ２を受信したら、それぞれのストリームパケットＳＴ１，ＳＴ２を復号化するとともにパケット補正を実行する。この処理を、図５を参照して説明する。
【００２７】
図５において横軸は時間軸を示し、このうち左端は再生起動時ｔ０を示すが、第１多重化ストリームパケットＳＴ１と第２多重化ストリームパケットＳＴ２は常時出力されているものとし、また再生はたとえば第２多重化ストリームパケットＳＴ２をメインに使用するものとする。まず、左側の再生起動直後のＧＯＰ１〜４００においては（時間ｔ０〜ｔ１）、第１多重化ストリームパケットＳＴ１が遅延時間（ＧＯＰ４００個に相当する）経過するまでは、第１多重化ストリームパケットＳＴ１のＧＯＰ多重化復号のみで再生する。再生起動時には第２多重化ストリームパケットＳＴ２は既に配信されてしまっているからである。これと並行して、第２多重化ストリームパケットＳＴ２のＧＯＰ多重化復号パケット補正Ｘ２では、先行して伝送されたＧＯＰ４０１〜８００に対し、第２多重化ストリームパケットＳＴ２の２つのパケットβ１及びβ２を用いてＧＯＰ単位でパケット補正を行う。そして、ＧＯＰ単位でパケット補正を行い、補正しきれないパケットがなかった場合は当該第２多重化ストリームパケットＳＴ２を再生に使用するが、ＧＯＰ内に補正しきれないパケットがあった場合は、ＧＯＰパケット損失として、当該ＧＯＰを破棄する。
【００２８】
次の時間（ｔ１〜ｔ２）においては、第１多重化ストリームパケットＳＴ１のＧＯＰ多重化復号パケット補正Ｘ１で、第１多重化ストリームパケットＳＴ１の２つのパケットβ１及びβ２を用いて、ＧＯＰ４０１〜８００に対しＧＯＰ単位でパケット補正を行う。そして、ＧＯＰ単位でパケット補正を行い、ＧＯＰ内に補正しきれないパケットがあった場合は、ＧＯＰパケット損失として、当該ＧＯＰを破棄する。
【００２９】
次に、階層多重化ＧＯＰ復号Ｘ３では、先行する第２多重化ストリームパケットＳＴ２の出力段（ＧＯＰ４０１〜８００）にＧＯＰパケット損失があった場合は、遅れてきた第１多重化ストリームパケットＳＴ１の出力段（ＧＯＰ４０１〜８００）の正常なＧＯＰを当てはめて、最終出力とする。そして、ＧＯＰ単位で第１多重化ストリームパケットＳＴ１から第２多重化ストリームパケットＳＴ２への補正を行なった結果、補正しきれないＧＯＰがあった場合は、ＧＯＰパケット損失として、当該ＧＯＰを破棄する。このように、本例では補正不能なＧＯＰをＧＯＰ単位で破棄するので、損失ＧＯＰ部分で映像とびが発生するものの、再生中の誤動作や画像破壊は発生しない。この再生動作については後述する。
【００３０】
ここで、本例の階層多重化ストリームパケットによる効果について説明する。
（１）ＧＯＰ多重化復号による効果
まず図６に示すように、オリジナルコンテンツに対して、１０個のＧＯＰを１単位とし（Ｎα１＝１０）、２つの多重化（Ｍβ＝２、β１とβ２）をした第１多重化ストリームパケットＳＴ１を生成した場合に、同図の下左に示すように１０個分またはそれ以下のＧＯＰがバーストエラーしたとすると、すなわちβ１の７番目〜１０番目とβ２の１番目〜６番目がパケット損失したとすると、パケット損失したβ１の７番目〜１０番目のＧＯＰは、β２の７番目〜１０番目のＧＯＰにて補正することができ、パケット損失したβ２の１番目〜６番目のＧＯＰは、β１の１番目〜６番目のＧＯＰにて補正することができる。
【００３１】
これに対して、同図の下右に示すように、１１個分またはそれ以上のＧＯＰがバーストエラーしたとすると、すなわちβ１の１６番目〜２０番目とβ２の１１番目〜１７番目の合計で１２個のＧＯＰがパケット損失したとすると、パケット損失したβ１の１８番目〜２０番目のＧＯＰは、β２の１８番目〜２０番目のＧＯＰにて補正することができ、パケット損失したβ２の１１番目〜１５番目のＧＯＰは、β１の１１番目〜１５番目のＧＯＰにて補正することができる。しかしながら、パケット損失したβ１の１６番目〜１７番目のＧＯＰは、β２の１６番目〜１７番目のＧＯＰもパケット損失しているため補正することができない。したがって、クローズドＧＯＰを単に多重化しただけでは、Ｎα１以下のバーストエラーには対応できても、それを超えるバーストエラーには対応することができない。つまり、Ｎα１の値がバーストエラーに対する耐性値である。
【００３２】
（２）階層多重化復号による効果
上記「（１）ＧＯＰ多重化復号による効果」による、Ｎα１値を超えるバーストエラーの対策として、Ｎα１値を変え、さらに時間差を付与した第２多重化ストリームパケットＳＴ２を用いた階層多重化復号の効果を以下に示す。便宜上、図７のＧＯＰの１つの枠はＧＯＰ１０個分を表すものとし（たとえば、同図に示すＧＯＰ＝１０とは、１番目から１０番目のＧＯＰを示す。）、表記の番号はその最終ＧＯＰ番号とする。
【００３３】
図７に示す例では、オリジナルコンテンツに対して、１０個のＧＯＰを１単位とし（Ｎα１＝１０）、２つの多重化（Ｍβ＝２、β１とβ２）をした第１多重化ストリームパケットＳＴ１と、オリジナルコンテンツに対して、４００個のＧＯＰを１単位とし（Ｎα２＝４００）、２つの多重化（Ｍβ＝２、β１とβ２）をした第２多重化ストリームパケットＳＴ２とをそれぞれ生成し、第１多重化ストリームパケットＳＴ１を、第２多重化ストリームパケットＳＴ２に対して４００個のＧＯＰぶんだけ遅延して伝送するものとする。すなわち、図７に示す時間ｔ０〜ｔ１において第１多重化ストリームパケットＳＴ１の１番目〜４００番目のＧＯＰが伝送されているとすると、同じ時間ｔ０〜ｔ１において第２多重化ストリームパケットＳＴ２は、４００個ぶんのＧＯＰが先行した４０１番目のＧＯＰ（４１０で示すＧＯＰ）から伝送される。Ｎα２（≧Ｎα１）が大きい第２多重化ストリームパケットＳＴ２を先行させる、換言すればバースト耐性が大きいストリームパケットの方を先行させることで、Ｎα２以下のバーストに対しては他方のストリームパケットで補正しなくても自己のストリームパケットで補正できる可能性が高いためである。
【００３４】
そして、第１多重化ストリームパケットＳＴ１の１番目〜４００番目のＧＯＰについては、そのまま第１多重化ストリームパケットＳＴ１を復号して再生処理に供するが、第１多重化ストリームパケットＳＴ１の４０１番目〜８００番目のＧＯＰについて、４００個以下のＧＯＰにパケット損失が生じた場合には、これより先行して伝送されている第２多重化ストリームパケットＳＴ２の４０１番目〜８００番目のＧＯＰを用いて補正する。たとえば、同図の時間ｔ１〜ｔ２に示すように第１多重化ストリームパケットＳＴ１の４１１番目〜７８０番目の３６０個（≦４００）のＧＯＰにパケット損失が生じた場合には、同図下に示す第２多重化ストリームパケットＳＴ２の４１１番目〜７８０番目の３６０個のＧＯＰを用いてパケット損失を補填する。あるいは、時間ｔ０〜ｔ１の間に復号化処理されてパケット損失がなかった第２多重化ストリームパケットＳＴ２の４０１番目〜８００番目のＧＯＰをそのまま再生処理に供してもよい。
【００３５】
なお、第１多重化ストリームパケットＳＴ１のパケット損失がバーストエラー耐性値Ｎα１＝１０以下の場合には、第１多重化ストリームパケット単独のストリームで１００％復号は可能である。また、バーストエラー耐性値Ｎα１，Ｎα２を相違させ、バーストエラー耐性の異なる２本の第１多重化ストリームパケットＳＴ１，ＳＴ２を、時間差を付与して階層多重化することで、相互に復号の補正が可能となる。
【００３６】
さらに本例の方法によれば、最大のバーストエラー耐性値Ｎα１，Ｎα２を超えるバーストエラーに対しても、復号できる可能性が高まることになる。たとえば、図７の時間ｔ１〜ｔ３に示すように、第２多重化ストリームパケットＳＴ２の１１８１番目〜１６００番目の４２０個（≧４００）のＧＯＰがパケット損失したとする。
【００３７】
この場合には、パケット損失した第２多重化ストリームパケットＳＴ２の１１８１番目〜１６００番目の４２０個のＧＯＰは、次のタイミングｔ２〜ｔ３で伝送されてくる第１多重化ストリームパケットＳＴ１の１１８１番目〜１６００番目の４２０個のＧＯＰが復号可能であれば（パケット損失が生じていなければ）これで補填することができる。
【００３８】
このように、本例の方法によれば、最大のバーストエラー耐性値Ｎα１，Ｎα２を超えるバーストエラーに対しても、復号できる可能性が高まることになる。図７に示す例では、バーストエラー耐性値としてＮα１＝１０およびＮα２＝４００を使用したが、最大バーストエラー耐性値Ｎα２＝４００で、ＧＯＰ＝０．５秒の場合に、再生実時間としては２００秒となり、したがって２００秒以下のバーストエラーに対しては復号可能となる。
【００３９】
図１に戻り、同図に示す例では、階層多重化した第１多重化ストリームパケットＳＴ１と第２多重化ストリームパケットＳＴ２を、同一のマルチキャストグループで異なる２つのマルチキャストアドレスポート番号１，２から伝送するように構成したが、ポート数やチャンネル数は何ら限定されることなく複数のポート及び複数のチャンネルを適用することができる。また、図８に示す２チャンネルや図９に示す４チャンネルで対応することもできる。
【００４０】
図８に示す伝送形態では、第１チャンネル用コンテンツと第２チャンネル用コンテンツの２つのコンテンツを用意し、それぞれのコンテンツから上述した例と同様に第１多重化ストリームパケットＳＴ１と第２多重化ストリームパケットＳＴ２を生成する。そして、第１チャンネルでは、第１多重化ストリームパケットＳＴ１及び第２多重化ストリームパケットＳＴ２のいずれか一方（同図に示す例では第１多重化ストリームパケットＳＴ１）を４００個のＧＯＰの伝送時間ぶんだけ遅延させて、異なる２つのマルチキャストアドレスポート１，２から通信回線４へ伝送する。またこれと同時に、第２チャンネルでは、第１多重化ストリームパケットＳＴ１及び第２多重化ストリームパケットＳＴ２のいずれか一方（同図に示す例では第１多重化ストリームパケットＳＴ１）を４００個のＧＯＰの伝送時間ぶんだけ遅延させて、異なる２つのマルチキャストアドレスポート３，４から通信回線４へ伝送する。
【００４１】
これに対して図９に示す伝送形態では、第１〜第４チャンネル用コンテンツの４つのコンテンツを用意し、それぞれのコンテンツから上述した例と同様に第１多重化ストリームパケットＳＴ１と第２多重化ストリームパケットＳＴ２を生成する。この例の場合は、４つの第１多重化ストリームパケットＳＴ１と４つの第２多重化ストリームパケットＳＴ２を生成する。そして、１つのマルチキャストポートアドレスを２つのチャンネルで使用し、図８に示す伝送形態に対して２倍のタイミングで伝送する。
【００４２】
すなわち、マルチキャストアドレスポート１からは、第１チャンネル用の第１多重化ストリームパケットＳＴ１と第２チャンネル用の第１多重化ストリームパケットＳＴ１を、４００個のＧＯＰの伝送時間ぶんだけ遅延させて通信回線４へ伝送する。またマルチキャストアドレスポート２からは、第１チャンネル用の第２多重化ストリームパケットＳＴ２と第２チャンネル用の第２多重化ストリームパケットＳＴ２を通信回線４へ伝送する。またマルチキャストアドレスポート３からは、第３チャンネル用の第１多重化ストリームパケットＳＴ１と第４チャンネル用の第１多重化ストリームパケットＳＴ１を、４００個のＧＯＰの伝送時間ぶんだけ遅延させて通信回線４へ伝送する。またマルチキャストアドレスポート４からは、第３チャンネル用の第２多重化ストリームパケットＳＴ２と第４チャンネル用の第２多重化ストリームパケットＳＴ２を通信回線４へ伝送する。
【００４３】
図１に戻り、マルチキャストサーバ１においてコンテンツの階層多重化を行う際に、端末装置３での復号処理を容易に進めるため、ＩＰパケット内に階層多重化ヘッダを付与し、ＧＯＰ単位でのパケット損失補正およびＧＯＰ損失補正時に使用するように構成してもよい。図１０は、ＩＰパケットに階層多重化ヘッダを追加した例を示す図である。
【００４４】
コンテンツがＭＰＥＧ−ＴＳの場合に、ＴＳパケットヘッダの”continuity counter”の不連続性からパケット欠落を判定する方法が知られているが、この方法は単にＴＳパケットの欠落を示しているのみで、パケット損失の補正およびＧＯＰの補正には不適当である。というのは、従来方法ではcontinuity counterの不連続性の情報のみを用いているのであり、本例のようにＧＯＰ単位での補正を行う場合には相当な検索処理が必要となることや、多重化および階層化情報を取得できないという問題があるからである。このため本例では、ＩＰパケット内に階層多重化用のヘッダ情報を図１０に示すように付与することとした。
【００４５】
図１０に示すように、階層多重化ヘッダはＩＰパケットに付与され、ＧＯＰ番号を示すGOP NO、１ＧＯＰ内のＩＰパケット数を示すpck Total、ＧＯＰ内のＩＰパケット番号を示すpck No、パケット総シリアル番号を示すPck serNO、ＩＰパケット内のＴＳパケット数，マルチキャストアドレスポート番号及び多重化数Ｍβを示すTS syncの各情報が所定のバイト数でこの順序で格納される。たとえば、同図に示す多重化β１のＩＰパケット１のデータでは、階層多重化ヘッダに１，２０，１，１００１，２３，１，２と記録されているので、ＧＯＰ番号１が、ＩＰパケットを２０個含み、その内の１番目のＩＰパケットであり、ＩＰパケットとしては１００１番目であり、ＩＰパケット内にＴＳパケットを２３個含み、マルチキャストアドレスポート番号は１であり、多重化数Ｍβは２である、という情報を得ることができる。
【００４６】
このようなパケット構成により、ＧＯＰ単位でのパケット損失の検出および補正が容易にできると同時に、マルチキャストアドレスポート番号により、マルチキャストグループ単位での多重化ストリームβの検出が容易にでき、さらに同一のマルチキャストアドレスでのＧＯＰ単位の多重化を実現することができる。また、パケット総シリアル番号を付与することで、全ストリーム（β１〜β２）の固有パケット番号となり、どこが損失したかを即座に検出することができる。
【００４７】
再び図１に戻り、パケット損失が生じた場合の端末装置３におけるストリームの再生方法について説明する。
【００４８】
さて、コンテンツのストリーミング中にパケット損失があった場合に、損失パケットを破棄して再生する方法は容易に考えられるが、ＧＯＰ内の損失パケットを破棄した場合に、次のＧＯＰの先頭で、リファレンスがリセットされるまで、   崩れた映像を再生してしまうという問題がある。また、再生デコーダがエラーアボートしてしまうという問題がある。これらの問題に対し、ＧＯＰ単位で破棄するという対策が考えられ、ＧＯＰ単位で破棄した場合は、次のＧＯＰでリファレンスリセットするため、映像崩れは発生しない。
【００４９】
しかしながら、図１１Ａに示すようにＧＯＰ（４）とＧＯＰ（５）を破棄したとすると、ＧＯＰを破棄した時点で再生映像がＧＯＰ（３）の最後で一時停止（Pause）し、正常な次のＧＯＰ（６）の先頭がくるまでその状態を保持し続ける。このため、視聴者は再生中にＧＯＰ（３）でそのまま一時停止し、その状態をしばらく保持し、ＧＯＰ（６）の先頭が来たときに急に映像が飛んで再生を再開したような映像を視聴することになり、違和感が生じる。
【００５０】
これに対して本例では、階層化多重化方法によってもＧＯＰ損失の補正ができなかった場合には、上記と同様にＧＯＰを破棄する。ただし、階層化多重化方法により、どのＧＯＰが損失し、次のどのＧＯＰが正常かを判断できるため、ＧＯＰ損失が発生した場合には、図１１Ｂに示すように、次の正常なＧＯＰ先頭に強制ジャンプさせてからここで一時停止させる。そして、次のＧＯＰの再生開始時間に達するまで一時停止状態を保持し、再生開始時間に達した時点でそのまま再生開始させる。その結果、一時停止状態（静止画）から、映像の飛びなく再生を継続するため、視聴者の違和感は軽減される。ＧＯＰの間隔を例えば０．５秒とした場合に、２つのＧＯＰ損失で１秒分の映像が失われるが、一時停止寸前に次のＧＯＰの先頭にジャンプするため、継続した映像として視聴し、そのまま１秒一時停止した後も映像飛びが発生しない。そのため違和感が軽減される。
【００５１】
次に、パケット損失が生じた場合の端末装置３における字幕の表示方法について説明する。ＭＰＥＧ−ＴＳの映像ストリームに字幕ストリームを多重化する方法は一般的であるが、ここでもパケット損失が発生した場合に、映像ストリームと同様、字幕データが表示されない不具合、消えない不具合、字幕表示崩れの不具合等が発生する。字幕パケットは、対応する映像ストリームの再生時間に同期して、表示及び消去を行うため、字幕パケット内にIn Time（表示開始時間）及びOut Time（消去時間）の情報を保持しており、当該情報により映像に同期して字幕表示及び消去が行われる。たとえば図１２Ａに示すように、ＧＯＰ（４）及びＧＯＰ（５）を破棄したとすると、ＧＯＰ（４）に字幕のOut Time情報が格納されていた場合には、次の正常なＧＯＰ（６）を再生すると字幕が消えないという問題が発生する。
【００５２】
このため本例では、階層化多重化方法によってもＧＯＰ損失の補正ができなかった場合には、ＧＯＰを破棄するが、上述したストリーム再生方法において、以下の字幕表示制御方法をさらに追加する。なお、字幕データはビットマップ形式及びテキスト形式いずれにも対応可能である。
【００５３】
すなわち、図１２Ｂに示すように、正常なＧＯＰ（６）の字幕情報を検索し、次の字幕のIn Time情報があればＧＯＰ（３）の字幕を消去し、次の字幕をIn Timeで表示する。次の字幕の情報がなければ、タイムアウト値によりクリアする。
【００５４】
ちなみに、コンテンツの作成時において、ＭＰＥＧ−ＴＳの映像ストリームに字幕ストリームを多重化する場合、一般的なエンコーダーおよびＴＳ多重化装置（ハードウエア及びソフトウエア問わず）においては、字幕を表示するタイミングのＧＯＰに対して集中的に字幕ストリームを配置する。そのため、マルチキャスト配信を行うと、図１３Ａに示すように、特定の箇所（ＧＯＰ（６））のみ突出してビットレートが増大することとなり、パケット損失が集中的に発生する問題がある。また、ユニキャスト配信においては、マルチキャスト配信ほど影響は無いものの、通信路の帯域によっては字幕ストリームが存在する部分で再生バッファのアンダーランが発生し、映像再生が滞る場合がある。
【００５５】
こうした問題を解消するために、本例ではＭＰＥＧ−ＴＳ字幕パケットを平均多重化してもよい。すなわち、図１３Ｂに示すように特定のＧＯＰに集中的に配置された字幕パケットを検出し、当該配置のＧＯＰより時間的に前のＧＯＰを検索し、図１３Ｃに示すようにそれぞれのＧＯＰのビットレートが低い箇所に、字幕パケットを再配置することで、図１３Ｄに示すように全体的にビットレートの平均化を行う。ここで、再配置先のＧＯＰの検索範囲は、本例では１０秒分のＧＯＰとしたがこれに限るものではない。すなわち、字幕パケットが存在するＧＯＰ毎に、その間の字幕パケットが存在しないＧＯＰを対象としてもよい。また、字幕パケットが存在するＧＯＰから、再配置が必要な字幕パケット数を検出し、再配置先のＧＯＰ毎にＴＳパケット数を検索し、図１３Ｃに示すようなＧＯＰ毎のＴＳパケット数テーブルを作成する。そして、ＧＯＰ毎のＴＳパケット数テーブルに基づき、再配置が必要な字幕パケットを、ＧＯＰ毎に平滑化して再配置する。なお、字幕パケットを再配置する際に、パケットの順番は、元々の字幕パケットの順番にする必要がある。
【００５６】
要するに、映像データ、音声データおよび字幕データを含むＭＰＥＧ−ＴＳ規格のストリームパケットに対して、ストリームパケットを構成する各ＧＯＰに含まれる字幕のデータ容量を検出し、これが所定の平滑度以上の場合には、所定の平滑度未満となるように各ＧＯＰの字幕パケット数を再調整するコンテンツの作成方法である。
【００５７】
また、コンテンツの作成時において、ＭＰＥＧ−ＴＳの映像ストリームとして、ビデオ、オーディオ、字幕等のストリームを多重化する場合に、前項のような、一般的なエンコーダーおよびＴＳ多重化装置（ハードウエア及びソフトウエア問わず）においては、ＰＥＳパケットからＴＳパケット生成時に、ＴＳパケット１８８byte単位でパケットの生成を行うため、ＰＥＳパケットエンド部分で端数が生じる。既存技術では、図１４Ａに示すように、端数部分をパディング（Padding（Null Pack））で埋め合わせ、１８８byte単位で多重化する方法が知られている。
【００５８】
しかしながら、パケット損失が問題になるマルチキャスト配信では、極力ビットレートを低くし、パケット損失の影響を最小限に抑えることが重要視されるため、上記パディングによる余分かつ不要なデータは、極力除去する必要がある。また、ユニキャスト配信においても、通信帯域が充分でない場合等、極力ビットレートを低くすることが望ましい。
【００５９】
このため本例では、ＰＥＳパケットからＴＳパケットの多重化を行う際に、端数パディングを極力発生させない方法を採用してもよい。すなわち、図１４Ｂに示すように、ＰＥＳパケットからＴＳ多重化していく過程で、ＰＥＳパケットエンドの端数部分のサイズ（P_end_size)を検出する。次いで、対象となるＰＥＳパケット（本例ではAudioパケット）のサイズ（P_total_size）から、上記端数分（P_end_size)を差し引いてP_dest_sizeを算出する。次いで、P_dest_sizeと、当該ＰＥＳパケットの再生実時間（t）から、ビットレート（P_dest_rate）を算出する。次いで、P_dest_rate をターゲットビットレートとして、ストリームを再エンコードし、再度ＰＥＳパケットを生成する。
【００６０】
上記のとおり得られたＰＥＳパケットは、ＴＳ多重化のアライン（ＴＳパケットペイロード１８４byte）で平滑化したものとなり、パディングを必要最小限に抑えたものとなる。なお本例では、Audioパケットを例にしたが、ビデオ、字幕パケット等にも適用可能である。
【符号の説明】
【００６１】
１…マルチキャストサーバ
２…ＷｉＦｉ無線ＬＡＮ
３…端末装置
４…通信回線
５…無線ＬＡＮ回線
【図１】
2014003429.tif 000003
【図２】
2014003429.tif 000004
【図３】
2014003429.tif 000005
【図４】
2014003429.tif 000006
【図５】
2014003429.tif 000007
【図６】
2014003429.tif 000008
【図７】
2014003429.tif 000009
【図８】
2014003429.tif 000010
【図９】
2014003429.tif 000011
【図１０】
2014003429.tif 000012
【図１１Ａ】
2014003429.tif 000013
【図１１Ｂ】
2014003429.tif 000014
【図１２Ａ】
2014003429.tif 000015
【図１２Ｂ】
2014003429.tif 000016
【図１３Ａ】
2014003429.tif 000017
【図１３Ｂ】
2014003429.tif 000018
【図１３Ｃ】
2014003429.tif 000019
【図１３Ｄ】
2014003429.tif 000020
【図１４Ａ】
2014003429.tif 000021
【図１４Ｂ】
2014003429.tif 000022
【手続補正書】
【提出日】平成24年11月15日(2012.11.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも映像データ及び音声データを含むクローズドＧＯＰで構成されるコンテンツストリームデータを、通信路を介して端末へマルチキャスト配信又はユニキャスト配信する配信装置において、
前記コンテンツストリームデータを、クローズドＧＯＰを１単位にして、先頭から順にＮα１個のクローズドＧＯＰを１グループにした複数のＧＯＰ群に多重化した第１多重化ストリームパケットに変換する第１変換手段と、
前記コンテンツストリームデータを、クローズドＧＯＰを１単位にして、先頭から順にＮα２個のクローズドＧＯＰを１グループにした複数のＧＯＰ群に多重化した第２多重化ストリームパケットに変換する第２変換手段と、
前記第１多重化ストリームパケット及び前記第２多重化ストリームパケットを、Ｎα２個のクローズドＧＯＰの個数ぶんだけ時間差を設けて配信する配信手段と、を備える伝送パケットの配信装置。
（ただし、Ｎα１，Ｎα２は自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）
【請求項２】
前記第１多重化ストリームパケット及び前記第２多重化ストリームパケットのうち１グループのクローズドＧＯＰの個数（Ｎα１，Ｎα２）が少ない方を、他方に比べて前記ＧＯＰの個数ぶんだけ遅延して配信する請求項１に記載の伝送パケットの配信装置。
【請求項３】
前記コンテンツストリームデータをマルチキャスト配信する場合に、
前記第１多重化ストリームパケット及び前記第２多重化ストリームパケットを、同一のマルチキャストグループを介して、異なるマルチキャストアドレスポート番号で配信する請求項１又は２に記載の伝送パケットの配信装置。
【請求項４】
前記第１多重化ストリームパケット及び前記第２多重化ストリームパケットを、複数チャンネルで配信する請求項３に記載の伝送パケットの配信装置。
【請求項５】
前記端末へ伝送された第１多重化ストリームパケットを復号化し、Ｎα１個のクローズドＧＯＰのうち損失したＧＯＰが検出された場合は、複数のうちの他のＧＯＰで補正する第１補正手段と、
前記端末へ伝送された第２多重化ストリームパケットを復号化し、Ｎα２個のクローズドＧＯＰのうち損失したＧＯＰが検出された場合は、複数のうちの他のＧＯＰで補正する第２補正手段と、
前記第１補正手段及び前記第２補正手段において補正不能なＧＯＰが検出された場合は、時間的に先行して配信された第１多重化ストリームパケット又は第２多重化ストリームパケットの対応するＧＯＰを用いて前記補正不能なＧＯＰを補正する第３補正手段と、をさらに備える請求項１〜４のいずれか一項に記載の伝送パケットの配信装置。
【請求項６】
前記第３補正手段において補正不能なＧＯＰが検出された場合は、当該ＧＯＰを損失として破棄する請求項５に記載の伝送パケットの配信装置。
【請求項７】
前記第３補正手段において補正不能なＧＯＰが検出され、当該ＧＯＰが損失として破棄されたコンテンツストリームデータを再生する場合に、当該破棄されたＧＯＰの前のＧＯＰを再生し終えた後に、当該破棄されたＧＯＰの次のＧＯＰの先頭に移行し、再生開始時間に達するまで一時停止させる手段をさらに備える請求項６に記載の配信装置。
【請求項８】
前記コンテンツストリームデータは、テキストデータ又は画像データからなる字幕データ及び字幕ヘッダ情報を含み、
前記破棄されたＧＯＰの前のＧＯＰと次のＧＯＰの字幕ヘッダ情報をそれぞれ検索し、
これら前後のＧＯＰの両方に字幕挿入情報が検出された場合は、前記破棄されたＧＯＰの前のＧＯＰの字幕データを消去するとともに前記次のＧＯＰの字幕データを字幕ヘッダ情報にしたがって表示し、
前記破棄されたＧＯＰの前のＧＯＰに字幕挿入情報が検出され、前記破棄されたＧＯＰの次のＧＯＰに字幕挿入情報が検出されない場合は、タイムアウト値によりクリアする手段をさらに備える請求項６又は７に記載の伝送パケットの配信装置。
【請求項９】
前記第１多重化ストリームパケット及び前記第２多重化ストリームパケットの各ＧＯＰに、ＧＯＰの順序、当該ＧＯＰに含まれるＩＰパケット数及びその順序、前記コンテンツストリームデータに含まれる全ＩＰパケットの中での順序、当該ＧＯＰに含まれるＴＳパケット数、マルチキャストアドレスポート番号及び多重化数を含むヘッダを付与する手段をさらに備える請求項１〜８のいずれか一項に記載の伝送パケットの配信装置。
【請求項１０】
少なくとも映像データ及び音声データを含むクローズドＧＯＰで構成されるコンテンツストリームデータを、通信路を介して端末へマルチキャスト配信又はユニキャスト配信するプログラムにおいて、
前記コンテンツストリームデータを、クローズドＧＯＰを１単位にして、先頭から順にＮα１個のクローズドＧＯＰを１グループにした複数のＧＯＰ群に多重化した第１多重化ストリームパケットに変換するステップと、
前記コンテンツストリームデータを、クローズドＧＯＰを１単位にして、先頭から順にＮα２個のクローズドＧＯＰを１グループにした複数のＧＯＰ群に多重化した第２多重化ストリームパケットに変換するステップと、
前記第１多重化ストリームパケット及び前記第２多重化ストリームパケットを、Ｎα２個のクローズドＧＯＰの個数ぶんだけ時間差を設けて配信するステップと、をコンピュータに実行させるための伝送パケットの配信プログラム。
（ただし、Ｎα１，Ｎα２は自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）
【請求項１１】
端末装置へ伝送された、少なくとも映像データ及び音声データを含むクローズドＧＯＰで構成されるコンテンツストリームデータを変換し、クローズドＧＯＰを１単位にして、先頭から順にＮα１個のクローズドＧＯＰを１グループにした複数のＧＯＰ群に多重化した第１多重化ストリームパケットを復号化し、Ｎα１個のクローズドＧＯＰのうち損失したＧＯＰが検出された場合は、複数のうちの他のＧＯＰで補正する第１補正ステップと、
前記端末装置へ伝送された、前記コンテンツストリームデータを変換し、クローズドＧＯＰを１単位にして、先頭から順にＮα２個のクローズドＧＯＰを１グループにした複数のＧＯＰ群に多重化した第２多重化ストリームパケットであってＮα２個のクローズドＧＯＰの個数ぶんだけ時間差を設けて配信された第２多重化ストリームパケットを復号化し、Ｎα２個のクローズドＧＯＰのうち損失したＧＯＰが検出された場合は、複数のうちの他のＧＯＰで補正する第２補正ステップと、
前記第１補正ステップ及び前記第２補正ステップにおいて補正不能なＧＯＰが検出された場合は、時間的に先行して配信された第１多重化ストリームパケット又は第２多重化ストリームパケットの対応するＧＯＰを用いて前記補正不能なＧＯＰを補正する第３補正ステップと、をコンピュータに実行させるための伝送パケットの復号補正プログラム。
（ただし、Ｎα１，Ｎα２は自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）
【請求項１２】
音声データを含むフレームで構成されるコンテンツストリームデータを、通信路を介して端末へマルチキャスト配信又はユニキャスト配信する配信装置において、
前記コンテンツストリームデータを、フレームを１単位にして、先頭から順にＮα１個のフレームを１グループにした複数のフレーム群に多重化した第１多重化ストリームパケットに変換する第１変換手段と、
前記コンテンツストリームデータを、フレームを１単位にして、先頭から順にＮα２個のフレームを１グループにした複数のフレーム群に多重化した第２多重化ストリームパケットに変換する第２変換手段と、
前記第１多重化ストリームパケット及び前記第２多重化ストリームパケットを、Ｎα２個のフレームの個数ぶんだけ時間差を設けて配信する配信手段と、を備える伝送パケットの配信装置。
（ただし、Ｎα１，Ｎα２は自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）
【請求項１３】
音声データを含むフレームで構成されるコンテンツストリームデータを、通信路を介して端末へマルチキャスト配信又はユニキャスト配信するプログラムにおいて、
前記コンテンツストリームデータを、フレームを１単位にして、先頭から順にＮα１個のフレームを１グループにした複数のフレーム群に多重化した第１多重化ストリームパケットに変換するステップと、
前記コンテンツストリームデータを、フレームを１単位にして、先頭から順にＮα２個のフレームを１グループにした複数のフレーム群に多重化した第２多重化ストリームパケットに変換するステップと、
前記第１多重化ストリームパケット及び前記第２多重化ストリームパケットを、Ｎα２個のフレームの個数ぶんだけ時間差を設けて配信するステップと、をコンピュータに実行させるための伝送パケットの配信プログラム。
（ただし、Ｎα１，Ｎα２は自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）
【請求項１４】
端末装置へ伝送された、音声データを含むフレームで構成されるコンテンツストリームデータを変換し、フレームを１単位にして、先頭から順にＮα１個のフレームを１グループにした複数のフレーム群に多重化した第１多重化ストリームパケットを復号化し、Ｎα１個のフレームのうち損失したフレームが検出された場合は、複数のうちの他のフレームで補正する第１補正ステップと、
前記端末装置へ伝送された、前記コンテンツストリームデータを変換し、フレームを１単位にして、先頭から順にＮα２個のフレームを１グループにした複数のフレーム群に多重化した第２多重化ストリームパケットであってＮα２個のフレームの個数ぶんだけ時間差を設けて配信された第２多重化ストリームパケットを復号化し、Ｎα２個のフレームのうち損失したフレームが検出された場合は、複数のうちの他のフレームで補正する第２補正ステップと、
前記第１補正ステップ及び前記第２補正ステップにおいて補正不能なフレームが検出された場合は、時間的に先行して配信された第１多重化ストリームパケット又は第２多重化ストリームパケットの対応するフレームを用いて前記補正不能なフレームを補正する第３補正ステップと、をコンピュータに実行させるための伝送パケットの復号補正プログラム。
（ただし、Ｎα１，Ｎα２は自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明は、少なくとも映像データ及び音声データを含むクローズドＧＯＰで構成されるコンテンツストリームデータを、通信路を介して端末へマルチキャスト配信又はユニキャスト配信する配信装置において、コンテンツストリームデータを、クローズドＧＯＰを最小単位にして、先頭から順にＮα１個のクローズドＧＯＰを１グループにして複数のＧＯＰ群に多重化した第１多重化ストリームパケットと、先頭から順にＮα２個のクローズドＧＯＰを１グループにして複数のＧＯＰ群に多重化した第２多重化ストリームパケットとで階層的に構成し、これら第１多重化ストリームパケットと第２多重化ストリームパケットとを時間差を設けてマルチキャスト配信又はユニキャスト配信することによって、上記課題を解決する。
（ただし、Ｎα１，Ｎα２は自然数であり、Ｎα１＜Ｎα２かつＮα２はＮα１の倍数）