(57)【要約】【課題】本開示は、階層符号化ビットストリームを送信する映像送信装置において、階層別伝送のために、各階層の符号化ビットストリームのＧＯＰ境界を検出し、階層間でＧＯＰを対応付ける方法を提供することを目的とする。【解決手段】本開示は、階層符号化ビットストリームの基本階層を解析することによって基本階層におけるＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出し、基本階層の復号タイムスタンプと拡張階層の復号タイムスタンプの関係性を利用して、前記Ａｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプから前記Ａｃｃｅｓｓ  Ｕｎｉｔと同じＧＯＰの拡張階層における先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出することを特徴とする映像送信装置および映像送信方法である。【選択図】図３
2020031391.tif 000002
【特許請求の範囲】
【請求項１】
階層符号化ビットストリームを構成するＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）からＡｃｃｅｓｓ  Ｕｎｉｔを抽出し、抽出した各Ａｃｃｅｓｓ  Ｕｎｉｔに復号タイムスタンプを付与する入力処理部と、
抽出したＡｃｃｅｓｓ  Ｕｎｉｔのなかから基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出し、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  ＵｎｉｔにＧＯＰ番号を付与し、さらに、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプ及び拡張階層のＡｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプを用いて拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出し、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプに応じて、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  ＵｎｉｔにＧＯＰ番号を付与するＧＯＰ番号付与部と、
前記ＧＯＰ番号付与部の付与したＧＯＰ番号を用いて、基本階層のＡｃｃｅｓｓ  Ｕｎｉｔ及び拡張階層のＡｃｃｅｓｓ  Ｕｎｉｔを階層別に送信する階層別送信制御部と、
を備える映像送信装置。
【請求項２】
前記ＧＯＰ番号付与部は、基本階層のＡｃｃｅｓｓ  Ｕｎｉｔに含まれるＮＡＬ（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ）Ｕｎｉｔの種別を判別することで前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出する、
請求項１に記載の映像送信装置。
【請求項３】
前記ＧＯＰ番号付与部は、Ｖｉｄｅｏ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ（ＶＰＳ）  ＮＡＬ  ＵｎｉｔとＳｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ（ＳＰＳ）  ＮＡＬ  Ｕｎｉｔの両方を含むＡｃｃｅｓｓ  Ｕｎｉｔを前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔとして検出する、
請求項２に記載の映像送信装置。
【請求項４】
前記階層符号化ビットストリームはＭＰＥＧ−２  ＴＳを用いて送信され、
前記入力処理部は、ＭＰＥＧ−２  ＴＳからＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）を再構成し、前記ＰＥＳのヘッダに含まれるＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）を、前記ＰＥＳのペイロードから取得したＡｃｃｅｓｓ  Ｕｎｉｔに前記復号タイムスタンプとして付与するＴＳ処理部である、
請求項１から３のいずれかに記載の映像送信装置。
【請求項５】
前記ＧＯＰ番号付与部は、
検出した前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔに付与された前記復号タイムスタンプである第１のＤＴＳの値と連続するＡｃｃｅｓｓ  Ｕｎｉｔ間のＤＴＳ差分値との和に等しい値のＤＴＳを有する拡張階層のＡｃｃｅｓｓ  Ｕｎｉｔを前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔとして検出し、検出した前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔに前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔに付与したものと同じ前記ＧＯＰ番号を付与する、
請求項４に記載の映像送信装置。
【請求項６】
前記階層別送信制御部は、基本階層のＡｃｃｅｓｓ  Ｕｎｉｔ及び拡張階層のＡｃｃｅｓｓ  Ｕｎｉｔを異なるｐａｃｋｅｔ＿ｉｄを有するＭＰＵ（Ｍｅｄｉａ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）に格納し、ＭＭＴ（ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）プロトコルに従って送信するＭＭＴ送信制御部である、
請求項１から５のいずれかに記載の映像送信装置。
【請求項７】
映像送信装置が、階層符号化ビットストリームを構成するＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）からＡｃｃｅｓｓ  Ｕｎｉｔを抽出し、抽出した各Ａｃｃｅｓｓ  Ｕｎｉｔに復号タイムスタンプを付与する入力処理手順と、
前記映像送信装置が、抽出したＡｃｃｅｓｓ  Ｕｎｉｔのなかから基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出し、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  ＵｎｉｔにＧＯＰ番号を付与し、さらに、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプ及び拡張階層のＡｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプを用いて拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出し、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプに応じて、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  ＵｎｉｔにＧＯＰ番号を付与するＧＯＰ番号付与手順と、
前記映像送信装置が、前記ＧＯＰ番号付与手順で付与したＧＯＰ番号を用いて、基本階層のＡｃｃｅｓｓ  Ｕｎｉｔ及び拡張階層のＡｃｃｅｓｓ  Ｕｎｉｔを階層別に送信する階層別送信制御手順と、
を備える映像送信方法。
【請求項８】
前記階層符号化ビットストリームはＭＰＥＧ−２  ＴＳを用いて送信され、
前記入力処理手順は、ＭＰＥＧ−２  ＴＳからＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）を再構成し、前記ＰＥＳのヘッダに含まれるＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）を、前記ＰＥＳのペイロードから取得したＡｃｃｅｓｓ  Ｕｎｉｔに前記復号タイムスタンプとして付与するＴＳ処理手順であり、
前記ＧＯＰ番号付与手順において、
検出した前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔに付与された前記復号タイムスタンプである第１のＤＴＳの値と連続するＡｃｃｅｓｓ  Ｕｎｉｔ間のＤＴＳ差分値との和に等しい値のＤＴＳを有する拡張階層のＡｃｃｅｓｓ  Ｕｎｉｔを前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔとして検出し、検出した前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔに前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔに付与したものと同じ前記ＧＯＰ番号を付与する、
請求項７に記載の映像送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、映像を送信する方法および装置に関する。特に、階層符号化された映像信号の符号化ビットストリームを階層別に送信する方法および装置に関する。
【背景技術】
【０００２】
Ｈ．２６５等の映像符号化方式では、時間方向または空間方向に階層構造を持った階層符号化ビットストリームを生成する階層符号化に対応している。階層符号化ビットストリームは、復号に必須となる基本階層と復号に必須ではない拡張階層から構成され、拡張階層まで使用して復号することによって、基本階層のみでの復号に比べてより高品質な復号映像を得ることができる。これにより単一の符号化ビットストリームで複数の受信端末性能や伝送ネットワーク帯域に対応することが可能である。例えば、１２０プログレッシブ（Ｐ）と６０Ｐの時間方向での階層符号化ビットストリームは、基本階層である６０Ｐ復号用サブビットストリームのみを用いた復号では６０Ｐ映像として、拡張階層である１２０Ｐ復号用サブセットまで用いれば１２０Ｐ映像として復号することができる。
【０００３】
一方、エラーのある伝送路で符号化ビットストリームを伝送する技術として、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−２  Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ（ＴＳ）が広く用いられている。ＭＰＥＧ−２  ＴＳには複数の映像・音声を多重化することができる。階層符号化ビットストリームを伝送する場合、階層別の処理を容易にするため、各階層を異なるＰＩＤ（映像や音声等の含まれているペイロードを識別するための識別子）で多重化することがある。ＭＰＥＧ−２  ＴＳパケットはＩｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ（ＩＰ）を使用して伝送することもできる。特許文献１には、伝送遅延に揺らぎがある場合でも安定的にＭＰＥＧ−２  ＴＳパケットを伝送することが可能な送受信装置および送受信方法が開示されている。しかし、ＭＰＥＧ−２  ＴＳのパケット長が小さいサイズ（主として１８８バイト）で固定であるために、ＩＰパケット化におけるオーバーヘッドが大きいという問題がある。
【０００４】
そこで、ＭＰＥＧ−２  ＴＳの後継として標準化されたＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ（ＭＭＴ：ＩＳＯ／ＩＥＣ  ２３００８−１）では、可変長パケットが採用され、効率的なＩＰ伝送が可能である。また、アセット（映像・音声・字幕等）ごとにＩＰデータフロー（送信元ＩＰアドレス、送信元ポート番号、宛先ＩＰアドレス、宛先ポート番号、プロトコル種別の組合せ）を割り当てることができるため、階層符号化ビットストリームを階層別に異なる伝送路で伝送すること（階層別伝送）も可能である。
【０００５】
ＭＭＴでは、符号化ビットストリームをＭｅｄｉａ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＭＰＵ）と呼ばれるデータユニットに格納して伝送する。図１に階層符号化を考慮しない符号化ビットストリームとＭＰＵの関係を、図２に階層別伝送における符号化ビットストリームとＭＰＵの関係を示す。符号化ビットストリームは、１つ以上のＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）を含み、各ＧＯＰは１つ以上のＡｃｃｅｓｓ  Ｕｎｉｔを含む。Ａｃｃｅｓｓ  Ｕｎｉｔは、Ｈ．２６５の符号化ビットストリームにおいて、１フレーム分に相当する符号化映像データである。
【０００６】
ＭＰＵには単独で復号可能なデータを格納することが定められているため、映像信号のＭＰＵはＧＯＰの単位とする必要がある。階層符号化を考慮しない場合、図１に示すように、符号化ビットストリームをＧＯＰ境界で分割し、ＧＯＰに含まれる全てのＡｃｃｅｓｓ  Ｕｎｉｔを一つのＭＰＵに格納して伝送する。図１は、ｐａｃｋｅｔ＿ｉｄ（ＭＭＴの識別子）が０ｘ１０００であるＭＰＵに格納する場合を示している。階層別伝送の場合は、階層符号化ビットストリームを階層別にＧＯＰ境界で分割し、異なるｐａｃｋｅｔ＿ｉｄ（図２では基本階層が０ｘ２０００、拡張階層が０ｘ２００１）を有するＭＰＵに格納して伝送する。正しいＧＯＰ境界で符号化ビットストリームを分割してＭＰＵを構成しなければ、正しく復号することができなくなる。
【０００７】
さらに、階層別伝送されたＭＰＵを受信し、基本階層と拡張階層の全体を用いて映像を復号するためには、階層間の対応付けを容易にする識別子がＭＰＵに付与されていることが望ましい。ＡＲＩＢ  ＳＴＤ−Ｂ６０（デジタル放送におけるＭＭＴによるメディアトランスポート方式の規格）（例えば、非特許文献１参照。）では、１２０Ｐと６０Ｐの時間方向での階層符号化ビットストリームの伝送において、拡張階層（１２０Ｐサブセット）を含むＭＰＵには、同じＧＯＰに属する基本階層（６０Ｐサブビットストリーム）を含むＭＰＵと同じＭＰＵシーケンス番号を付与することが定められている。
【０００８】
しかし、階層符号化ビットストリームが階層別に多重化されたＭＰＥＧ−２  ＴＳをＭＭＴで階層別伝送するため、二つの課題を解決する必要がある。第一の課題は、各階層におけるＧＯＰ境界の検出である。ＡＲＩＢ  ＳＴＤ−Ｂ３２（デジタル放送における映像符号化、音声符号化及び多重化方式の規格）（例えば、非特許文献２参照。）に準拠した１２０Ｐと６０Ｐの時間方向での階層符号化の６０Ｐサブビットストリームでは、Ａｃｃｅｓｓ  Ｕｎｉｔを構成するＮｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ（ＮＡＬ）Ｕｎｉｔ種別からＧＯＰ境界を検出することができる。ＮＡＬ  Ｕｎｉｔ種別は、ＮＡＬ  Ｕｎｉｔヘッダのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅフィールドから容易に判別可能である。一方、１２０ＰサブセットではＡｃｃｅｓｓ  Ｕｎｉｔを構成するＮＡＬ  Ｕｎｉｔ種別からＧＯＰ境界を検出することができない。第二の課題は、階層間でのＧＯＰの対応付けである。一般に、ＭＰＥＧ−２  ＴＳで各階層が異なるＰＩＤで多重化されている場合、階層間の時間的関係は保証されない。すなわち、基本階層に対して対応する拡張階層が遅れている場合もあれば、拡張階層が先行している場合もある。本開示はこの点に鑑みてなされたものである。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第４０９２７０５号公報
【非特許文献】
【００１０】
【非特許文献１】ＡＲＩＢ  ＳＴＤ−Ｂ６０「デジタル放送におけるＭＭＴによるメディアトランスポート方式」、電波産業界
【非特許文献２】ＡＲＩＢ  ＳＴＤ−Ｂ３２「デジタル放送における映像符号化、音声符号化及び多重化方式」、電波産業界
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本開示は、階層符号化ビットストリームを送信する映像送信装置において、階層別伝送のために、各階層の符号化ビットストリームのＧＯＰ境界を検出し、階層間でＧＯＰを対応付ける方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本開示に係る映像送信装置は、
階層符号化ビットストリームを構成するＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）からＡｃｃｅｓｓ  Ｕｎｉｔを抽出し、抽出した各Ａｃｃｅｓｓ  Ｕｎｉｔに復号タイムスタンプを付与する入力処理部と、
抽出したＡｃｃｅｓｓ  Ｕｎｉｔのなかから基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出し、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  ＵｎｉｔにＧＯＰ番号を付与し、さらに、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプ及び拡張階層のＡｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプを用いて拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出し、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプに応じて、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  ＵｎｉｔにＧＯＰ番号を付与するＧＯＰ番号付与部と、
前記ＧＯＰ番号付与部の付与したＧＯＰ番号を用いて、基本階層のＡｃｃｅｓｓ  Ｕｎｉｔ及び拡張階層のＡｃｃｅｓｓ  Ｕｎｉｔを階層別に送信する階層別送信制御部と、
を備える。
【００１３】
本開示に係る映像送信方法は、
映像送信装置が、階層符号化ビットストリームを構成するＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）からＡｃｃｅｓｓ  Ｕｎｉｔを抽出し、抽出した各Ａｃｃｅｓｓ  Ｕｎｉｔに復号タイムスタンプを付与する入力処理手順と、
前記映像送信装置が、抽出したＡｃｃｅｓｓ  Ｕｎｉｔのなかから基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出し、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  ＵｎｉｔにＧＯＰ番号を付与し、さらに、前記基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプ及び拡張階層のＡｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプを用いて拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出し、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプに応じて、前記拡張階層のＧＯＰ先頭Ａｃｃｅｓｓ  ＵｎｉｔにＧＯＰ番号を付与するＧＯＰ番号付与手順と、
前記映像送信装置が、前記ＧＯＰ番号付与手順で付与したＧＯＰ番号を用いて、基本階層のＡｃｃｅｓｓ  Ｕｎｉｔ及び拡張階層のＡｃｃｅｓｓ  Ｕｎｉｔを階層別に送信する階層別送信制御手順と、
を備える。
【発明の効果】
【００１４】
本開示は、階層符号化ビットストリームを送信する映像送信装置において、基本階層および拡張階層のＧＯＰの先頭位置を検出することができるようになり、もってＭＭＴで階層別の符号化ビットストリーム伝送を行うことができるようになる。
【図面の簡単な説明】
【００１５】
【図１】階層符号化を考慮しない符号化ビットストリームとＭＰＵの関係の一例を示す。
【図２】階層別伝送における符号化ビットストリームとＭＰＵの関係を示す。
【図３】映像送信装置の基本的な構成の一例を示す。
【図４】ＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔのデータ構造の一例を示す。
【図５】ＭＰＥＧ−２  ＴＳで入力された１２０Ｐと６０Ｐの時間方向での階層符号化ビットストリームをＭＭＴで階層別に伝送する映像送信装置の構成例を示す。
【図６】符号化ビットストリームとＭＰＥＧ−２  ＴＳの関係を示す。
【図７】ＧＯＰ番号を付与する処理フローの一例を示す。
【図８】階層間の対応関係の第１例を示す。
【図９】階層間の対応関係の第２例を示す。
【発明を実施するための形態】
【００１６】
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
【００１７】
（基本構成）
映像送信装置の基本的な構成を図３に示す。映像送信装置１０は、入力処理部１１、ＧＯＰ番号付与部１２、階層別送信制御部１３を備える。
【００１８】
入力処理部１１は、階層符号化ビットストリームの入力を受けて、Ａｃｃｅｓｓ  Ｕｎｉｔを抽出し、各Ａｃｃｅｓｓ  Ｕｎｉｔに復号タイムスタンプを付与して、階層別にＧＯＰ番号付与部１２に渡す。本開示の「階層符号化ビットストリーム」は、任意の階層構造を持った映像信号の符号化ビットストリームを含む。階層構造は、時間方向や空間方向の階層構造を含む。
【００１９】
ＧＯＰ番号付与部１２は、基本階層のＡｃｃｅｓｓ  Ｕｎｉｔを構成するＮＡＬ  Ｕｎｉｔ種別を判別することによって、基本階層におけるＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出し、検出したＡｃｃｅｓｓ  ＵｎｉｔにＧＯＰ番号を付与する。ＧＯＰ番号は、次のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出するまで同じ値を付与するものとし、ＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出するたびに１ずつインクリメントさせるものとする。ＧＯＰ番号は任意の値から開始してよい。
【００２０】
続いて、ＧＯＰ番号付与部１２は、基本階層の復号タイムスタンプと拡張階層の復号タイムスタンプの関係性を利用して、検出した基本階層のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプから同じＧＯＰの拡張階層における先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出し、基本階層と同じＧＯＰ番号を付与する。拡張階層においても、次のＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出するまで同じＧＯＰ番号を付与する。ＧＯＰ番号を付与されたＡｃｃｅｓｓ  Ｕｎｉｔは、階層別に階層別送信制御部１３に渡される。
【００２１】
階層別送信制御部１３は、同じＧＯＰ番号を有するＡｃｃｅｓｓ  Ｕｎｉｔから、階層別に送信用のデータユニットを構成し、ＩＰ送信する。このとき、階層別送信制御部１３は、基本階層のＡｃｃｅｓｓ  Ｕｎｉｔ及び拡張階層のＡｃｃｅｓｓ  Ｕｎｉｔを、図２に示すように異なるｐａｃｋｅｔ＿ｉｄを有するＭＰＵに格納する。
【００２２】
ここで、ＧＯＰ構造とフレームレートから、同一のＧＯＰに属する基本階層の先頭Ａｃｃｅｓｓ  Ｕｎｉｔと拡張階層の先頭Ａｃｃｅｓｓ  Ｕｎｉｔの復号タイムスタンプの時間的関係を予め計算することができる。まず、「どちらがどれだけ先行しているかを判断」し、最終的には前記復号タイムスタンプの時間的関係に基づいて、Ａｃｃｅｓｓ  Ｕｎｉｔを構成するＮＡＬ  Ｕｎｉｔ種別からでは検出できかった拡張階層のＧＯＰ先頭を検出する。これにより、階層別での送信用のデータユニットを構成することができる。
【００２３】
図４に、ＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔのデータ構造の一例を示す。符号化におけるＧＯＰ構造は、例えば、ＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔに格納されているシーケンス・パラメータ・セット（ＳＰＳ）の参照ピクチャセットを用いることができる。また、ＧＯＰ構造は固定した値を設定してもよい。
【００２４】
復号タイムスタンプは、例えば、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）ヘッダに格納されているＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）を用いることができる。
【００２５】
（時間方向での階層符号化ビットストリームのＭＭＴによる階層別伝送の具体例）
図５に、ＭＰＥＧ−２  ＴＳで入力された１２０Ｐと６０Ｐの時間方向での階層符号化ビットストリームをＭＭＴで階層別に伝送する映像送信装置の構成例を示す。映像送信装置１００は、ＴＳ処理部１１１、ＧＯＰ番号付与部１１２、ＭＭＴ送信制御部１１３を備える。
【００２６】
時間方向階層符号化ビットストリームは、ＡＲＩＢ  ＳＴＤ−Ｂ３２の時間方向階層符号化の規定に準拠しているものとする（例えば、非特許文献２参照。）。図６に符号化ビットストリームとＭＰＥＧ−２  ＴＳの関係を示す。ここでは、各ＧＯＰにおける復号順は、６０Ｐ、１２０Ｐ、６０Ｐ、１２０Ｐと交互に続く構造を前提とする。６０Ｐサブビットストリームが基本階層に相当し、１２０Ｐサブセットが拡張階層に相当する。６０Ｐサブビットストリームと１２０Ｐサブセットは、異なるＰＩＤ（図６では６０Ｐサブビットストリームが０ｘ０１００、１２０Ｐサブセットが０ｘ０１０１）で多重化されているため、階層間の時間的関係は不定である。
【００２７】
ＰＥＳヘッダにＤＴＳが格納されており、ペイロードにＡｃｃｅｓｓ  Ｕｎｉｔが格納される。ＰＥＳは、ＴＳパケットに分割されて伝送される。ＭＰＥＧ−２  ＴＳは、エンコーダの２７ＭＨｚクロックによってカウントアップするＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）という値をデコーダにも共有し、ＰＣＲを時刻のように使用する。例えば、ＤＴＳ＝１００００のＰＥＳを受け取っても、ＰＣＲが１００００より小さい間はバッファにためておく。ＰＣＲが１００００になると、当該ＰＥＳの復号を開始する。
【００２８】
ＴＳ処理部１１１は、入力されたＴＳパケットのペイロードを結合してＰＥＳを再構成し、ＰＥＳのペイロードをＡｃｃｅｓｓ  Ｕｎｉｔとして取得する。また、前記ＰＥＳのヘッダのＤＴＳフィールドからＤＴＳを復号タイムスタンプとして取得し、前記Ａｃｃｅｓｓ  Ｕｎｉｔに付与してＧＯＰ番号付与部１１２に渡す。このように、同じＰＥＳから抽出したＡｃｃｅｓｓ  ＵｎｉｔとＤＴＳを紐付けてＧＯＰ番号付与部１２に送る。このとき、Ａｃｃｅｓｓ  ＵｎｉｔとＤＴＳを紐付けるために、これらを含む新たなデータ構造を規定してもよい。
【００２９】
ＧＯＰ番号付与部１１２は、図７に示す処理フローによってＧＯＰ先頭を検出し、６０Ｐサブビットストリームと１２０Ｐサブセットで同じＧＯＰに属するＡｃｃｅｓｓ  Ｕｎｉｔに共通のＧＯＰ番号を付与する。
【００３０】
処理フローではまず、６０ＰサブビットストリームのＡｃｃｅｓｓ  Ｕｎｉｔを構成するＮＡＬ  ＵｎｉｔのそれぞれについてＮＡＬ  Ｕｎｉｔヘッダのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅフィールドを読み取って、ＶＰＳ（Ｖｉｄｅｏ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）  ＮＡＬ  ＵｎｉｔとＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）  ＮＡＬ  Ｕｎｉｔの両方を含むＡｃｃｅｓｓ  Ｕｎｉｔを検出する（Ｓ１０１）。「ＶＰＳ  ＮＡＬ  Ｕｎｉｔ」及び「ＳＰＳ  ＮＡＬ  Ｕｎｉｔ」はＮＡＬ  Ｕｎｉｔの種類であり、「ＶＰＳ  ＮＡＬ  Ｕｎｉｔ」及び「ＳＰＳ  ＮＡＬ  Ｕｎｉｔ」には、符号化データそのものではなく、符号化に関するパラメタが格納されている。ＶＰＳ  ＮＡＬとＳＰＳ  ＮＡＬの両方を含むＡｃｃｅｓｓ  ＵｎｉｔはＧＯＰ先頭のみであることから、検出されたＡｃｃｅｓｓ  Ｕｎｉｔを６０ＰサブビットストリームのＧＯＰ先頭とみなし、ＧＯＰ番号「０」を付与する（Ｓ１０２）。
【００３１】
基本階層のＧＯＰ先頭とみなしたＡｃｃｅｓｓ  Ｕｎｉｔに付与されたＤＴＳをＤＴＳＢ１、このときの１２０ＰサブセットのＡｃｃｅｓｓ  Ｕｎｉｔに付与されているＤＴＳをＤＴＳＥ１とし、ＤＴＳＢ１とＤＴＳＥ１を比較する（Ｓ１０３）。ＤＴＳＥ１＜ＤＴＳＢ１である場合には６０Ｐサブビットストリームが先行していると判断する（Ｓ１０３においてＹｅｓ）。この場合、後続の１２０ＰサブセットからＤＴＳＢ１＋ＤとなるＤＴＳを持つＡｃｃｅｓｓ  Ｕｎｉｔを検出し、これを１２０Ｐサブセットの先頭としてＧＯＰ番号「０」を付与する（Ｓ１０４）。
【００３２】
ただし、「Ｄ」は復号が連続するＡｃｃｅｓｓ  Ｕｎｉｔ間のＤＴＳ差分である。ＤＴＳは、９０ｋＨｚの時間解像度のカウンタ値であり、入力映像信号のフレームレートをＦとすると、Ｄ＝９００００／Ｆとして決定する。１２０Ｐと６０Ｐの時間方向階層符号化ではＤ＝９００００／１２０＝７５０、６０Ｐと３０Ｐの時間方向階層符号化ではＤ＝９００００／６０＝１５００である。「Ｄ」の値は、映像信号のフレームレートによって異なるため、条件に応じて適切な値を使用する。このときの階層間の対応関係を図８に示す。個々の四角がＡｃｃｅｓｓ  Ｕｎｉｔを表し、数字はＤＴＳを表す。図８では１つ後ろのＡｃｃｅｓｓ  Ｕｎｉｔが該当する場合を示したが、本開示の検出手法はこのような場合に限定されるものではない。後続の１２０Ｐサブセットを順次監視して、ＤＴＳＢ１＋ＤとなるＤＴＳを持つＡｃｃｅｓｓ  Ｕｎｉｔが現れるのを待つことで、１２０ＰサブセットのＧＯＰ先頭を検出することができる。
【００３３】
ＤＴＳＢ１  ＜  ＤＴＳＥ１の場合（Ｓ１０３においてＮｏ）、１２０Ｐサブセットが先行していると判断し、ＤＴＳＥ１がＤＴＳＢ１に対してＧＯＰ何個分相当先行しているかを表す指標ｋを計算する（Ｓ１０５）。
（数１）
ｋ＝｛（ＤＴＳＥ１−ＤＴＳＢ１）  ｍｏｄ  Ｔ｝＋１    （１）
【００３４】
ただし、ＴはＧＯＰひとつ分に相当するＤＴＳ差分である。１２０Ｐサブセットで次に現れるＧＯＰ先頭のＤＴＳはｋを用いて、ＤＴＳＥ２＝ＤＴＳＢ１＋ｋ＊Ｔ＋Ｄと計算できる。ＧＯＰに含まれるフレーム数をＬとすると、Ｔ＝Ｄ＊Ｌであり、Ｄ＝７５０かつＬ＝１６の場合には、Ｔ＝１２０００である。ここで、Ｌは基本階層と拡張階層の両方を含む。基本階層と拡張階層のフレームは必ず交互になることから、例えば、Ｌ＝１６の場合は、基本階層Ｌ／２＝８フレーム、拡張階層８フレームである。後続の１２０Ｐサブセットを監視して、ＤＴＳＥ２を持つＡｃｃｅｓｓ  Ｕｎｉｔを検出し、ＧＯＰ番号「ｋ」を付与する。このときの階層間の対応関係を図９に示す。図９ではｋ＝１の場合を示したが、本開示の検出手法はこのような場合に限定されるものではない。後続の１２０Ｐサブセットを順次監視して、ＤＴＳＢ１＋ｋ＊Ｔ＋ＤとなるＤＴＳを持つＡｃｃｅｓｓ  Ｕｎｉｔが表れるのを待つことで、１２０ＰサブセットのＧＯＰ先頭を検出することができる。
【００３５】
例えば、図８に示すように、ＤＴＳＢ１が「１００００」であり、後続する１２０ＰサブセットのなかにＤＴＳＥ２＝１０７５０を有するＡｃｃｅｓｓ  Ｕｎｉｔが存在する場合、ＤＴＳＥ２＝１０７５０のＡｃｃｅｓｓ  Ｕｎｉｔに、１２０Ｐサブセットの先頭としてＧＯＰ番号「０」を付与する。一方、図９に示すように、ＤＴＳＢ１が「１００００」であり、後続する１２０ＰサブセットのなかにＤＴＳＥ２＝１０７５０が存在せず、ｋ＝１に相当するＤＴＳＥ２＝２２７５０を有するＡｃｃｅｓｓ  Ｕｎｉｔが存在する。この場合、１２０Ｐサブセットの先頭としてＧＯＰ番号「１」を付与する。
【００３６】
前述の方法でＧＯＰ番号が付与されたＡｃｃｅｓｓ  Ｕｎｉｔは、ＭＭＴ送信制御部１１３に渡される。ＧＯＰ構造が固定の場合は、各階層のＡｃｃｅｓｓ  Ｕｎｉｔ数も固定であるため、一度先頭を発見すれば、Ａｃｃｅｓｓ  Ｕｎｉｔ数を数えるだけでＧＯＰ先頭を認識することができる。ＧＯＰ構造が可変の場合は、ＧＯＰ番号をインクリメントして前述の方法を繰り返す。
【００３７】
ＭＭＴ送信制御部１１３は、Ａｃｃｅｓｓ  Ｕｎｉｔを受け取り、同じＧＯＰ番号を持つＡｃｃｅｓｓ  ＵｎｉｔでＭＰＵを構成し、ＭＭＴプロトコルに従って、階層別にＩＰ送信を行う。ＧＯＰ番号はそのままＭＰＵシーケンス番号として用いてもよい。
【００３８】
（効果）
本開示により、時間方向での階層符号化ビットストリームが階層別に異なるＰＩＤで多重化されたＭＰＥＧ−２  ＴＳからＡｃｃｅｓｓ  Ｕｎｉｔを抽出して階層別のＭＰＵを構成する場合に、正しく各階層のＧＯＰ境界を検出してＭＰＵを構成することが可能になる。また、ＧＯＰ番号を用いて、同じＧＯＰに属するＡｃｃｅｓｓ  Ｕｎｉｔを含むＭＰＵに共通のＭＰＵシーケンス番号を付与することが容易になる。
【００３９】
さらに、実施形態に記載されたＡｃｃｅｓｓ  Ｕｎｉｔを構成するＮＡＬ  Ｕｎｉｔの種別によってＧＯＰ先頭Ａｃｃｅｓｓ  Ｕｎｉｔを検出する方法は、ＮＡＬ  Ｕｎｉｔ種別を示すｎａｌ＿ｕｎｉｔ＿ｔｙｐｅフィールドの位置がＮＡＬ  Ｕｎｉｔ先頭の２〜７バイト目に固定であることから、実装が容易で、ハードウェア化にも適している。
【００４０】
さらに、Ａｃｃｅｓｓ  Ｕｎｉｔを順次解析して先頭を検出することが可能であるため、Ａｃｃｅｓｓ  Ｕｎｉｔを蓄積するバッファを設ける必要が無い。そのため、基本階層と拡張階層の時間差が大きい場合でも、バッファ溢れを起こすことが無い。また、バッファを設けない分、実装コストを抑えることができる。さらに、バッファで蓄積することによる遅延時間の増加が無いという利点がある。
【産業上の利用可能性】
【００４１】
本開示は情報通信産業に適用することができる。
【符号の説明】
【００４２】
１０、１００：映像送信装置
１１：入力処理部
１２、１１２：ＧＯＰ番号付与部
１３：階層別送信制御部
１１１：ＴＳ処理部
１１３：ＭＭＴ送信制御部
【図１】
2020031391.tif 000003
【図２】
2020031391.tif 000004
【図３】
2020031391.tif 000005
【図４】
2020031391.tif 000006
【図５】
2020031391.tif 000007
【図６】
2020031391.tif 000008
【図７】
2020031391.tif 000009
【図８】
2020031391.tif 000010
【図９】
2020031391.tif 000011