(57)【特許請求の範囲】
【請求項１】
ＭＭＴ（MPEG Media Transport）パケットが他の装置から出力された第１の出力時刻を示す第１の出力時刻情報と、ペイロードから構成されるアクセス可能なデータ単位が表示される表示時刻を示す表示時刻情報とが、少なくともいずれかのＭＭＴパケットに付加されている複数のＭＭＴパケットを多重するパケット多重部と、
前記第１の出力時刻情報を、前記ＭＭＴパケットを出力する第２の出力時刻を示す第２の出力時刻情報に書き換える送出時刻設定部と、
前記複数のＭＭＴパケットを多重するために必要な時間を、遅延時間として前記表示時刻情報で示される表示時刻に加え、前記パケット多重部で多重されたＭＭＴパケットを出力する遅延量設定部と
を具備する多重化装置。
【請求項２】
前記遅延量設定部は、前記遅延時間を前記表示時刻情報に含め、前記遅延時間を含めた前記表示時刻情報を前記パケットに付加する請求項１記載の多重化装置。
【請求項３】
前記遅延量設定部は、前記遅延時間を示す第２の表示時刻情報を前記パケットに付加する請求項１記載の多重化装置。
【請求項４】
ＭＭＴパケットより上位のアプリケーションレイヤにおいて前記表示時刻が記載されている場合、
前記遅延量設定部は、前記アプリケーションレイヤにおいて前記遅延時間を含むオフセットを付加する請求項１記載の多重化装置。
【請求項５】
前記遅延量設定部は、前記第１の出力時刻と前記ＭＭＴパケットの到着時刻との差分を伝送路による遅延として、前記遅延時間に加える請求項１乃至４のいずれかに記載の多重化装置。
【請求項６】
送信設備に設けられる多重化装置が出力した時刻を示す出力時刻情報と、ペイロードから構成されるアクセス可能なデータ単位が表示される表示時刻に前記多重化装置による遅延時間が加えられた表示時刻情報とが付加されるＭＭＴ（MPEG Media Transport）パケットを含むＭＭＴストリームを受信する受信部と、
前記ＭＭＴパケットの受信時刻と、前記出力時刻情報に示される時刻とから伝送遅延時間を算出し、前記算出した伝送遅延時間と、前記表示時刻情報に示される前記遅延時間とから遅延量を取得する遅延量取得部と、
前記表示時刻情報に示される表示時刻に、前記取得した遅延量を加えた時刻に前記ＭＭＴストリームを表示させる表示時刻制御部と
を具備する受信装置。
【請求項７】
前記受信部は、前記ＭＭＴストリームを複数受信し、
前記遅延量取得部は、前記受信するＭＭＴストリーム毎に前記遅延量を取得し、
前記表示時刻制御部は、前記ＭＭＴストリーム毎に取得される遅延量をそれぞれ比較し、前記表示時刻に最大の遅延量を加えた時刻に前記複数のＭＭＴストリームを表示させる請求項６記載の受信装置。
【請求項８】
前記受信部は、前記ＭＭＴストリームを複数受信し、
前記遅延量取得部は、前記受信するＭＭＴストリーム毎に前記遅延量を取得し、
前記ＭＭＴストリーム毎に取得される遅延量を比較し、最大の遅延量を選択する比較部をさらに具備し、
前記表示時刻制御部は、前記表示時刻に前記選択された遅延量を加えた時刻に前記複数のＭＭＴストリームを表示させる請求項６記載の受信装置。
【請求項９】
前記出力時刻情報及び前記表示時刻情報が前記ＭＭＴパケットにおけるＳＩ（Service Information）パケットに付加される場合、前記ＳＩパケットを解析するＭＭＴ−ＳＩ解釈部をさらに具備する請求項６乃至８のいずれかに記載の受信装置。
【請求項１０】
前記遅延時間を含むオフセットがＭＭＴパケットより上位のアプリケーションレイヤにおいて付加される場合、
前記アプリケーションレイヤの内容を解釈する解釈部をさらに具備する請求項６乃至８のいずれかに記載の受信装置。
【請求項１１】
少なくともいずれかのＭＭＴ（MPEG Media Transport）パケットに、前段の装置から出力される第１の出力時刻を示す第１の出力時刻情報と、ペイロードから構成されるアクセス可能なデータ単位が表示される表示時刻を示す表示時刻情報とが付加される複数のＭＭＴパケットを多重し、
前記第１の出力時刻情報を、前記多重したＭＭＴパケットを出力する第２の出力時刻を示す第２の出力時刻情報に書き換え、
前記複数のＭＭＴパケットを多重するために必要な時間を、遅延時間として前記表示時刻情報で示される表示時刻に加え、前記多重したＭＭＴパケットを出力する多重化方法。
【請求項１２】
前記遅延時間に、前記第１の出力時刻と前記ＭＭＴパケットの到着時刻との差分を加えた合計時間を、前記表示時刻情報で示される表示時刻に加える請求項１１に記載の多重化方法。
【請求項１３】
送信設備に設けられる多重化装置が出力した時刻を示す出力時刻情報と、ペイロードから構成されるアクセス可能なデータ単位が表示される表示時刻に前記多重化装置による遅延時間が加えられた表示時刻情報とが付加されるＭＭＴ（MPEG Media Transport）パケットを含むＭＭＴストリームを受信し、
前記ＭＭＴパケットの受信時刻と、前記出力時刻情報に示される時刻とから伝送遅延時間を算出し、
前記算出した伝送遅延時間と、前記表示時刻情報に示される前記遅延時間とから遅延量を取得し、
前記表示時刻情報に示される表示時刻に、前記取得した遅延量を加えた時刻に前記ＭＭＴストリームを表示する遅延調整方法。
【請求項１４】
前記ＭＭＴストリームを複数受信し、
前記受信するＭＭＴストリーム毎に前記遅延量を取得し、
前記ＭＭＴストリーム毎の遅延量をそれぞれ比較して最大の遅延量を選択し、
前記表示時刻に前記選択した遅延量を加えた時刻に前記複数のＭＭＴストリームを表示させる請求項１３記載の遅延調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、ＭＭＴ（MPEG Multimedia Transport）を利用してデータを送信する放送システムで用いられる多重化装置及び受信装置、並びに、これらの装置で用いられる多重化方法及び遅延調整方法に関する。
【背景技術】
【０００２】
現在の放送システムでは、ＭＰＥＧ−２  ＴＳ（Moving Picture Experts Group-2 Transport Stream）方式、及び、ＲＴＰ（Real-time Transport Stream）方式のメディアトランスポート方式が広く用いられている。これらの方式では、放送と通信とを協調させようとすると、様々な限界がある。そこで、ＭＰＥＧを利用して多様なネットワークを用いることを想定した新たなメディアトランスポート方式であるＭＭＴ（MPEG Media Transport）が提案されている。【０００３】
ＭＭＴを採用する放送システムでは、送信設備から送信されるＭＭＴストリームを受信装置が受信する。送信設備は、例えば、映像送出装置、符号化装置、多重化装置及び送信装置を備える。多重化装置は、符号化装置から出力されるＭＭＴパケットを多重化し、多重化したＭＭＴパケットを送信装置からＭＭＴストリームとして送信する。送信装置へＭＭＴパケットを出力する際、多重化装置は、ＭＭＴパケットに、出力時刻Ｔｔを示すタイムスタンプを付加する。なお、ＭＭＴパケットに含まれるＳＩ（Service Information）パケットには、ＭＭＴパケットのペイロードから構成されるＭＰＵ（Media Processing Unit）の表示時刻Ｔｐを示すタイムスタンプが付加されている。【０００４】
受信装置は、送信されてくるＭＭＴストリームを受信する。このとき、受信装置で受信されるＭＭＴストリームは、伝送路の影響により、多重化装置がＭＭＴパケットを出力する出力時刻Ｔｔより、Δｄだけ遅延する。受信装置は、ＭＭＴストリームを受信した時刻と、ＭＭＴパケットに付加されるタイムスタンプとを比較することで、伝送遅延Δｄを把握する。受信装置は、ＳＩパケットに付加されるタイムスタンプが示す表示時刻Ｔｐに、伝送遅延Δｄを加えた時刻Ｔｐ＋Δｄに、ＭＭＴストリームの表示を開始する。【０００５】
しかしながら、多重化装置の多重化処理等により、遅延が生じる場合がある。多重化処理等による遅延により、表示時刻Ｔｐ＋ΔｄになってもＭＭＴパケットが未到着、すなわち、バッファアンダーフローの状態では、ＭＭＴストリームの表示を開始できないという問題がある。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】“Study of ISO/IEC CD 23008-1 MPEG Media Transport”、”http://mpeg.chiariglione.org/standards/mpeg-h/mpeg-media-transport/study-isoiec-cd-23008-1-mpeg-media-transport”
【非特許文献２】青木秀一、「次世代放送システムのメディアトランスポート技術」、ＮＨＫ技研  Ｒ＆Ｄ／Ｎｏ．１４０、２０１３．７、ｐ．２２−３１
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上のように、ＭＭＴを利用した放送では、多重化装置での処理遅延がある場合、受信装置におけるバッファアンダーフローのため、予定時刻に番組及びデータ等を表示できない恐れがある。【０００８】
そこで、目的は、多重化装置での処理遅延がある場合であっても、バッファアンダーフローを生じさせずにＭＭＴストリームを受信装置に表示させることが可能な多重化装置及びこの装置で用いられる多重化方法と、多重化装置での処理遅延がある場合であっても、バッファアンダーフローを生じさせずにＭＭＴストリームを表示可能な受信装置及びこの装置で用いられる遅延調整方法を提供することにある。
【課題を解決するための手段】
【０００９】
実施形態によれば、多重化装置は、パケット多重部、送出時刻設定部及び遅延量設定部を具備する。パケット多重部は、ＭＭＴパケットが他の装置から出力された第１の出力時刻を示す第１の出力時刻情報と、ペイロードから構成されるアクセス可能なデータ単位が表示される表示時刻を示す表示時刻情報とが、少なくともいずれかのＭＭＴパケットに付加されている複数のＭＭＴパケットを多重する。送出時刻設定部は、前記第１の出力時刻情報を、前記ＭＭＴパケットを出力する第２の出力時刻を示す第２の出力時刻情報に書き換える。遅延量設定部は、前記複数のＭＭＴパケットを多重するために必要な時間を、遅延時間として前記表示時刻情報で示される表示時刻に加え、前記パケット多重部で多重されたＭＭＴパケットを出力する。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施形態に係る多重化装置及び受信装置が設けられる放送システムの機能構成を示すブロック図である。
【図２】図２は、図１に示す多重化装置から出力されるＭＭＴパケットに付加されるＭＰＵタイムスタンプ記述子を示す図である。
【図３】図３は、図１に示す多重化装置の機能構成を示すブロック図である。
【図４】図４は、図３に示す多重化装置が出力時刻を更新し、表示時刻の遅延量を書き込む際のフローチャートを示す図である。
【図５】図５は、図１に示す受信装置の機能構成を示す図である。
【図６】図６は、図５に示す受信装置が映像の表示時刻の調整量を設定する際のフローチャートを示す図である。
【図７】図７は、パケット出力時刻、パケット受信時刻及び表示時刻を模式的に示す図である。
【図８】図８は、図２に示すＭＰＵタイムスタンプ記述子のその他の例を示す図である。
【図９】図９は、ＭＰＵタイムスタンプ記述子が図８に示す情報を含む場合の、ＭＰＵプレゼンテーションタイムオフセット記述子を示す図である。
【図１０】図１０は、図９に示すＭＰＵプレゼンテーションタイムオフセット記述子のその他の例を示す図である。
【図１１】図１１は、ＭＰＵタイムスタンプ記述子又はＭＰＵプレゼンテーションタイムオフセット記述子を格納するＭＰテーブルを示す図である。
【図１２】図１２は、第２の実施形態に係る受信装置が設けられる放送システムの機能構成を示すブロック図である。
【図１３】図１３は、図１２に示す受信装置の機能構成を示すブロック図である。
【図１４】図１４は、図１３に示す受信装置が映像の表示時刻の調整量を設定する際のフローチャートを示す図である。
【図１５】図１５は、図１２に示す送信設備から出力されるＭＭＴパケットの、パケット出力時刻、パケット受信時刻及び表示時刻を模式的に示す図である。
【図１６】図１６は、図１２に示す受信装置のその他の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、実施の形態について、図面を参照して説明する。
【００１２】
（第１の実施形態）  
図１は、第１の実施形態に係る多重化装置及び受信装置が設けられる放送システムの機能構成の例を示すブロック図である。図１に示す放送システムは、送信設備１０及び受信装置２０を備える。送信設備１０は、ＭＭＴ（MPEG Media Transport）ストリームを送信する。送信されるＭＭＴストリームは、放送ネットワーク等の伝送路を介して受信装置２０へ到達する。受信装置２０は、ＭＭＴストリームを受信する。
【００１３】
送信設備１０は、映像送出装置１１、符号化装置１２、多重化装置１３及び送信装置１４を備える。
【００１４】
映像送出装置１１は、例えば、ＣＰＵ（Central Processing Unit）、ＣＰＵからの制御に従って所定の処理を実行するＦＰＧＡ（Field Programmable Gate Array）、及び、データを蓄積するためのストレージメモリ等を備える。なお、映像送出装置１１は、ＦＰＧＡの代わりにＬＳＩ（Large-Scale Integration）を備えるようにしても構わない。また、映像送出装置１１は、ＣＰＵによるソフトウェア処理により所定の処理を実行するようにしても構わない。映像送出装置１１は、例えば、カメラ等の撮像装置、及び、映像・音声データを蓄積するサーバ等を示す。映像送出装置１１は、映像・音声データを符号化装置１２へ出力する。
【００１５】
符号化装置１２は、例えば、ＣＰＵ、及び、ＣＰＵからの制御に従って所定の処理を実行するＦＰＧＡ等を備える。なお、符号化装置１２は、ＦＰＧＡの代わりにＬＳＩを備えるようにしても構わない。また、符号化装置１２は、ＣＰＵによるソフトウェア処理により所定の処理を実行するようにしても構わない。符号化装置１２は、映像送出装置１１から供給される映像・音声データをＭＭＴに対応するプロトコルに従って符号化することで、映像・音声データをＭＭＴパケットに変換する。
【００１６】
ＭＭＴパケットは、映像・音声データを含むパケットと、ＳＩ（Service Information）パケットとを含む。ＳＩパケットは、ＭＭＴ構成情報を含む。ＭＭＴ構成情報は、番組情報及び映像・音声データの構成等を含むＭＭＴパケットの構成についての情報である。ＳＩパケットには、ＭＭＴパケットのペイロードから構成されるＭＰＵ（Media Processing Unit）の表示時刻Ｔｐを示すタイムスタンプが付加される。符号化装置１２は、ＭＭＴパケットを多重化装置１３へ出力する。符号化装置１２は、出力するＭＭＴパケットに、出力時刻Ｔｔ１を示すタイムスタンプを付加する。
【００１７】
表示時刻Ｔｐを示すタイムスタンプ記述子は、例えば、図２のように定義される。図２に示すタイムスタンプ記述子には、後述する遅延量を書き込み可能なｓｙｎｔａｘ要素、例えば、「mpu_presentation_time_offset」が設けられる。
【００１８】
多重化装置１３は、例えば、ＣＰＵ、及び、ＣＰＵからの制御に従って所定の処理を実行するＦＰＧＡ等を備える。多重化装置１３は、ＣＰＵがＦＰＧＡに設計される機能を実行することで、図３に示す機能を実現する。図３は、図１に示す多重化装置１３の機能構成の例を示すブロック図である。図３に示す多重化装置１３は、パケット多重部１３１、送出時刻設定部１３２及び遅延量設定部１３３の機能を実現する。なお、多重化装置１３は、ＦＰＧＡの代わりにＬＳＩを備えることで、図３に示す機能を実現するようにしても構わない。また、多重化装置１３は、ＣＰＵによるソフトウェア処理により、図３に示す機能を実現しても構わない。
【００１９】
パケット多重部１３１は、符号化装置１２から出力されるＭＭＴパケットを多重する。なお、図１では、多重化装置１３は、単一の符号化装置１２から出力されるＭＭＴパケットを受信する構成となっているが、異なるメディアの符号化装置から出力される複数のＭＭＴパケットを受信するようにしても構わない。
【００２０】
送出時刻設定部１３２は、ＮＴＰ（Network Time Protocol）に従い、多重されたＭＭＴパケットを送信装置１４へ出力する出力時刻Ｔｔ２を取得する。送出時刻設定部１３２は、パケット多重部１３１により多重されたＭＭＴパケットのタイムスタンプに書き込まれている出力時刻Ｔｔ１を、取得した出力時刻Ｔｔ２に書き換える。
【００２１】
遅延量設定部１３３は、多重化装置１３に固有の遅延量Δｔを予め記録する。遅延量Δｔは、例えば、パケット多重部１３１による多重処理にかかる時間である。遅延量設定部１３３は、ＳＩパケットのタイムスタンプ記述子の「mpu_presentation_time_offset」に遅延量Δｔを加算する。これにより、表示時刻は、Ｔｐ＋Δｔとなる。  
なお、遅延量設定部１３３は、符号化装置１２から多重化装置１３への伝送による遅延を算出し、遅延量Δｔに加算するようにしても構わない。このとき、パケット多重部１３１は、ＮＴＰに従い、多重されたＭＭＴパケットを受信した時刻を取得する。遅延量設定部１３３は、ＭＭＴパケットを受信した時刻と、出力時刻Ｔｔ１とを比較することで、伝送遅延Δｔ’を取得する。そして、遅延量設定部１３３は、遅延量Δｔに伝送遅延Δｔ’を加算した遅延量をＳＩパケットのタイムスタンプ記述子の「mpu_presentation_time_offset」に書き込み、下記の処理を実施する。
【００２２】
送信装置１４は、例えば、ＣＰＵ、及び、ＣＰＵからの制御に従って所定の処理を実行するＦＰＧＡ等を備える。なお、送信装置１４は、ＦＰＧＡの代わりにＬＳＩを備えるようにしても構わない。また、送信装置１４は、ＣＰＵによるソフトウェア処理により所定の処理を実行するようにしても構わない。送信装置１４は、多重化装置１３から出力されるＭＭＴパケットに送信処理を施す。送信装置１４は、送信処理を施したＭＭＴパケットを、ＭＭＴストリームとして送信する。
【００２３】
図４は、図３に示す多重化装置１３が出力時刻を更新し、表示時刻の遅延量を書き込む際のフローチャートを示す図である。まず、パケット多重部１３１は、符号化装置１２から出力されるＭＭＴパケットを受信する（ステップＳ４１）。パケット多重部１３１は、ＭＭＴパケットを多重する（ステップＳ４２）。
【００２４】
続いて、送出時刻設定部１３２は、タイムスタンプに書き込まれている出力時刻Ｔｔ１を、送出時刻設定部１３２がＭＭＴパケットを出力する出力時刻Ｔｔ２に書き換える（ステップＳ４３）。遅延量設定部１３３は、ＳＩパケットのタイムスタンプ記述子の「mpu_presentation_time_offset」に多重化装置１３に固有の遅延量Δｔを加算する（ステップＳ４４）。
【００２５】
受信装置２０は、例えば、ＣＰＵ、ＣＰＵからの制御に従って所定の処理を実行するＦＰＧＡ、及び、データを蓄積するためのストレージメモリ等を備える。受信装置２０は、ＣＰＵがＦＰＧＡに設計される機能を実行することで、図５に示す機能を実現する。図５は、図１に示す受信装置２０の機能構成の例を示す図である。図５に示す受信装置２０は、受信部２１、パケット解釈制御部２２、パケットヘッダ解釈部２３、ＭＭＴ−ＳＩ解釈部２４、遅延量取得部２５、表示時刻制御部２６、ペイロード抽出部２７、バッファ２８、デコーダ２９及び表示部２１０の機能を実現する。なお、受信装置２０は、ＦＰＧＡの代わりにＬＳＩを備えることで、図５に示す機能を実現するようにしても構わない。また、受信装置２０は、ＣＰＵによるソフトウェア処理により、図５に示す機能を実現しても構わない。
【００２６】
受信部２１は、伝送路を介して到来するＭＭＴストリームを受信する。受信部２１は、受信したＭＭＴストリームをパケット解釈制御部２２へ出力する。また、受信部２１は、パケット解釈制御部２２からの制御信号に従い、受信したＭＭＴストリームのデータを、パケットヘッダ解釈部２３、ＭＭＴ−ＳＩ解釈部２４又はペイロード抽出部２７へ出力する。
【００２７】
すなわち、受信部２１は、パケット解釈制御部２２から、受信したＭＭＴストリームのデータがＭＭＴパケットのヘッダである旨の制御信号を受信した場合、受信したＭＭＴストリームのデータをパケットヘッダ解釈部２３へ出力する。また、受信部２１は、パケット解釈制御部２２から、受信したＭＭＴストリームに含まれるＭＭＴパケットがＳＩパケットである旨の制御信号を受信した場合、受信したＭＭＴストリームのデータをＭＭＴ−ＳＩ解釈部２４へ出力する。また、受信部２１は、パケット解釈制御部２２から、受信したＭＭＴストリームに含まれるＭＭＴパケットが映像・音声データを含むパケットである旨の制御信号を受信した場合、受信したＭＭＴストリームのデータをペイロード抽出部２７へ出力する。
【００２８】
パケット解釈制御部２２は、受信したＭＭＴストリームのデータ構造に応じ、受信部２１、パケットヘッダ解釈部２３、ＭＭＴ−ＳＩ解釈部２４及びペイロード抽出部２７を制御する。
【００２９】
すなわち、パケット解釈制御部２２は、受信したＭＭＴストリームを解析し、受信したデータがＭＭＴパケットのヘッダであると判断した場合、受信したＭＭＴストリームのデータがＭＭＴパケットのヘッダである旨の制御信号を受信部２１へ出力する。そして、パケット解釈制御部２２は、パケットヘッダ解釈部２３へ、供給されるデータの解析を開始するように指示を出す。
【００３０】
また、パケット解釈制御部２２は、パケットヘッダ解釈部２３により、ヘッダがＳＩパケットのヘッダであると判断された場合、受信したＭＭＴストリームに含まれるＭＭＴパケットがＳＩパケットである旨の制御信号を受信部２１へ出力する。そして、パケット解釈制御部２２は、ＭＭＴ−ＳＩ解釈部２４へ、供給されるデータの解析を開始するように指示を出す。ＭＭＴ−ＳＩ解釈部２４からは、ＭＭＴパケットの構成についての情報であるＭＭＴ構成情報が返信される。
【００３１】
また、パケット解釈制御部２２は、パケットヘッダ解釈部２３により、ヘッダが映像・音声データを含むパケットのヘッダであると判断された場合、受信したＭＭＴストリームに含まれるＭＭＴパケットが映像・音声データを含むパケットである旨の制御信号を受信部２１へ出力する。そして、パケット解釈制御部２２は、ペイロード抽出部２７へ、ＭＭＴ−ＳＩ解釈部２４で解釈されたＭＭＴ構成情報を用いてＭＭＴパケットからペイロードの抽出を開始するように指示を出す。
【００３２】
パケットヘッダ解釈部２３は、パケット解釈制御部２２から解析開始の指示を受けると、受信部２１から出力されるＭＭＴパケットのヘッダについてのデータを解析する。ヘッダの解析により、ヘッダがＳＩパケットのヘッダであると判断した場合、パケットヘッダ解釈部２３は、ヘッダがＳＩパケットのヘッダである旨をパケット解釈制御部２２へ出力する。また、ヘッダの解析により、ヘッダが映像・音声データを含むパケットのヘッダであると判断した場合、パケットヘッダ解釈部２３は、ヘッダが映像・音声データを含むパケットのヘッダである旨をパケット解釈制御部２２へ出力する。
【００３３】
ＭＭＴ−ＳＩ解釈部２４は、パケット解釈制御部２２から解析開始の指示を受けると、受信部２１から出力されるＳＩパケットについてのデータを解析する。ＭＭＴ−ＳＩ解釈部２４は、データを解析することで、ＭＭＴ構成情報を解釈する。ＭＭＴ−ＳＩ解釈部２４は、解釈したＭＭＴ構成情報をパケット解釈制御部２２へ出力する。
【００３４】
遅延量取得部２５は、ＳＩパケットに付加されるタイムスタンプから表示時刻Ｔｐ＋Δｔと、出力時刻Ｔｔ２とを読み込む。遅延量取得部２５は、出力時刻Ｔｔ２と、ＮＴＰに基づいて取得されるＭＭＴパケットの受信時刻とを比較し、伝送路による遅延時間Δｄを算出する。遅延量取得部２５は、Δｔ＋Δｄを表示時刻の調整量として、表示時刻制御部２６へ出力する。
【００３５】
表示時刻制御部２６は、遅延量取得部２５で取得された調整量を考慮した時刻Ｔｐ＋Δｔ＋Δｄに表示を開始するように、デコーダ２９を制御する。
【００３６】
ペイロード抽出部２７は、パケット解釈制御部２２から抽出開始の指示を受けると、受信部２１から出力される映像・音声データを含むパケットについてのデータを、ＭＭＴ構成情報を参照して解析する。ペイロード抽出部２７は、パケットについてのデータを解析することで、映像・音声データ（ペイロード）をパケットから抽出する。ペイロード抽出部２７は、抽出したペイロードをバッファ２８に保持させる。
【００３７】
デコーダ２９は、表示時刻制御部２６から表示開始の指示を受けると、バッファ２８からペイロードを読み出し、読み出したペイロードを復号する。デコーダ２９は、復号したデータを表示部２１０に表示させる。
【００３８】
図６は、図５に示す受信装置２０が映像の表示時刻の調整量を設定する際のフローチャートを示す図である。まず、受信部２１は、伝送路を介して到来するＭＭＴストリームを受信する（ステップＳ６１）。受信部２１は、受信したＭＭＴストリームについてのデータをパケット解釈制御部２２へ出力する。
【００３９】
パケット解釈制御部２２は、受信したＭＭＴストリームについてのデータを解析し、ＭＭＴパケットのヘッダであると判断する（ステップＳ６２）。パケット解釈制御部２２は、受信したデータがＭＭＴパケットのヘッダであると判断すると、受信したデータがＭＭＴパケットのヘッダである旨の制御信号を受信部２１へ出力すると共に、パケットヘッダ解釈部２３へ、供給されるデータの解析を開始するように指示を出す（ステップＳ６３）。
【００４０】
パケットヘッダ解釈部２３は、受信部２１から、ヘッダについてのデータを受け取り、受け取ったヘッダを解析する（ステップＳ６４）。パケットヘッダ解釈部２３は、受け取ったヘッダが付加されるパケットがＳＩパケットであると判断すると、その旨をパケット解釈制御部２２へ出力する（ステップＳ６５）。パケット解釈制御部２２は、パケットヘッダ解釈部２３により、ヘッダがＳＩパケットのヘッダであると判断された場合、受信したＭＭＴストリームに含まれるパケットがＳＩパケットである旨の制御信号を受信部２１へ出力すると共に、ＭＭＴ−ＳＩ解釈部２４へ、供給されるデータの解析を開始するように指示を出す（ステップＳ６６）。
【００４１】
ＭＭＴ−ＳＩ解釈部２４は、パケット解釈制御部２２から解析開始の指示を受けると、受信部２１から出力されるＳＩパケットについてのデータを解析する（ステップＳ６７）。ＭＭＴ−ＳＩ解釈部２４は、データを解析することで、ＭＭＴ構成情報を解釈する。
【００４２】
続いて、遅延量取得部２５は、ＳＩパケットに付加されるタイムスタンプから表示時刻Ｔｐ＋Δｔと、出力時刻Ｔｔ２とを読み込む。遅延量取得部２５は、出力時刻Ｔｔ２と、ＮＴＰに基づいて取得されるＭＭＴパケットの受信時刻とを比較し、伝送路による遅延時間Δｄを算出する。遅延量取得部２５は、Δｔ＋Δｄを表示時刻の調整量として算出する（ステップＳ６８）。
【００４３】
図７は、パケット出力時刻、パケット受信時刻及び表示時刻を模式的に示す図である。図７において、白い四角は遅延量Δｔが発生しない場合のＭＭＴパケットを示し、斜線の四角は遅延量Δｔが発生する場合のＭＭＴパケットを示す。なお、図７において、パケットのリオーダは考慮していない。図７によれば、多重処理により遅延が発生した場合、受信装置２０は、表示時刻をその遅延分だけ遅らせることがわかる。すなわち、受信装置２０は、バッファアンダーフローを避けることが可能となる。
【００４４】
以上のように、第１の実施形態では、多重化装置１３は、ＳＩパケットの表示時刻Ｔｐを示すタイムスタンプに、多重化装置１３による多重処理にかかる遅延量Δｔを含める。そして、多重化装置１３は、表示時刻Ｔｐに遅延量Δｔを含めたＳＩパケットを、受信装置２０へ送信するようにしている。これにより、多重化装置１３は、多重処理にかかる遅延量Δｔを受信装置２０へ通知することが可能となる。
【００４５】
したがって、第１の実施形態に係る多重化装置１３によれば、多重化装置１３での処理遅延がある場合であっても、バッファアンダーフローを生じさせずにＭＭＴストリームを受信装置２０に表示させることができる。
【００４６】
また、第１の実施形態では、受信装置２０は、遅延量取得部２５により、ＳＩパケットに付加されるタイムスタンプから表示時刻Ｔｐ＋Δｔと、出力時刻Ｔｔ２とを読み込む。遅延量取得部２５は、出力時刻Ｔｔ２と、ＭＭＴパケットの受信時刻とを比較し、伝送路による遅延時間Δｄを算出する。遅延量取得部２５は、Δｔ＋Δｄを表示時刻の調整量として算出する。そして、表示部２１０は、調整量を含めた時刻Ｔｐ＋Δｔ＋Δｄで映像を表示するようにしている。これにより、受信装置２０は、伝送遅延Δｄと、多重化装置の多重処理による遅延Δｔとを含めた時刻で映像を表示することが可能となる。
【００４７】
したがって、第１の実施形態に係る受信装置２０によれば、多重化装置１３での処理遅延がある場合であっても、バッファアンダーフローを生じさせずにＭＭＴストリームを表示することができる。
【００４８】
なお、第１の実施形態では、符号化装置１２が図２に示すＭＰＵタイムスタンプ記述子を定義する場合を例に説明したが、これに限定されない。例えば、符号化装置１２は、「mpu_presentation_time_offset」を記述子に設けなくても構わない。このとき、多重化装置１３は、「mpu_presentation_time」に遅延量を含んだ表示時刻を書き込んでいく。
【００４９】
また、「mpu_presentation_time_offset」を定義するのではなく、遅延量を含んだ表示時刻を表す「mpu_presentation_time」と、遅延量を含まない表示時刻を表す「mpu_presentation_time_original」とを要素として持つ記述子を定義するようにしても構わない。このとき、多重化装置１３は、遅延量を加算する前の表示時刻を「mpu_presentation_time」に書き込み、遅延量を含んだ表示時刻を「mpu_presentation_time_original」に書き込んでいく。
【００５０】
また、符号化装置１２は、図２に示す「MPU_Timestamp_descriptor」において「mpu_presentation_time_offset」を拡張するのではなく、「mpu_presentation_time_offset_descriptor」という記述子を定義するようにしても構わない。この場合、多重化装置１３は、「mpu_presentation_time_offset_descriptor」の中に遅延量についての情報を書き込んでいく。
【００５１】
具体的には、図８に示すように、「MPU_timestamp_descriptor」がＭＰＵの表示時刻情報のみを持つ場合、図９に示す「MPU_presentation_time_offset_descriptor」を用い、「mpu_presentation_time_offset」を受信装置２０へ送信する。なお、「mpu_presentation_time_offset」のビット数Ｘは、最大で「mpu_presentation_time」と同じ６４ビット（整数秒３２ビット、小数秒３２ビット）であるが、運用の制約でオフセット値の最大値が予め規定できる場合、例えば整数秒１６ビット、小数秒１６ビットの合計３２ビットとしても良い。また、オフセット値の最大が１秒未満の場合、小数秒部分だけの１６ビット又は３２ビットとしても良い。
【００５２】
また、「MPU_presentation_time_offset_descriptor」のデータ構造は図９に示す構造に限定される訳ではない。例えば、「mpu_presentation_time_offset」が頻繁に変わることは少ないと考えられるため、図１０のようにオフセットを一個だけ送るようなデータ構造にしても良い。また、図９及び図１０に示すデータ構造には、将来の拡張性を考慮して、reservedフィールドを設けても良い。
【００５３】
図１１は、「MPU_timestamp_descriptor」を格納する「MP_table」のデータ構造を示す図である。「MPU_timestamp_descriptor」は「asset_descriptors_byte」に格納される。「MPU_presentation_time_offset_descriptor」も同様に「asset_descriptors_byte」中に格納しても良い。また、オフセット値がビデオやオーディオなどのアセット毎に変化しない場合、「MPU_timestamp_descriptor」及び「MPU_presentation_time_offset_descriptor」は、「MP_table_descriptors_byte」に格納しても良い。
【００５４】
また、符号化装置１２は、記述子に限らず、ＭＭＴパケットより上位のアプリケーションレイヤにおいて表示時刻等の時刻情報を記載するようにしても構わない。この場合、多重化装置１３の遅延量設定部１３３は、このアプリケーションレイヤにおいて多重化処理による遅延量を含んだオフセットを付加する。また、この場合、受信装置２０は、上位のアプリケーションレイヤの内容を解釈する、例えば、ＵＤＰ（User Datagram Protocol）解釈部をさらに備える。
【００５５】
また、第１の実施形態では、受信装置２０が、デコーダ２９をバッファ２８の後段に設ける場合を例に説明した。しかしながら、これに限定されない。例えば、デコーダ２９は、バッファ２８の前段に設けられていても構わない。このとき、バッファ２８は、デコーダ２９で復号された映像・音声データを保持する。表示時刻制御部２６は、時刻Ｔｐ＋Δｔ＋Δｄになると、バッファ２８に保持される映像・音声データを出力するように、バッファ２８を制御する。デコーダ２９をバッファ２８の後段へ設けることにより、バッファ２８の容量を低く抑えることが可能となる。
【００５６】
（第２の実施形態）  
図１２は、第２の実施形態に係る受信装置が設けられる放送システムの機能構成の例を示すブロック図である。図１２に示す放送システムは、送信設備１０−１，１０−２及び受信装置３０を備える。送信設備１０−１，１０−２は、ＭＭＴストリームを送信する。送信されるＭＭＴストリームは、放送ネットワーク等の伝送路を介して受信装置３０へ到達する。受信装置３０は、ＭＭＴストリームを受信する。
【００５７】
なお、送信設備１０−１，１０−２の構成は、第１の実施形態に示す送信設備の構成と同様である。ただし、説明の簡略化のため、送信設備１０−１の多重化装置１３−１による多重化処理は遅延量０で実施され、送信設備１０−２の多重化装置１３−２による多重化処理は遅延量Δｔで実施されるものとする。
【００５８】
これにより、多重化装置１３−１から出力されるＭＭＴパケットに付加されるタイムスタンプに示される出力時刻はＴｔ１となり、ＳＩパケットに付加されるタイムスタンプに示される表示時刻はＴｐとなる。一方、多重化装置１３−２から出力されるＭＭＴパケットに付加されるタイムスタンプに示される出力時刻はＴｔ２（すなわち、Ｔｔ１＋Δｔ）となり、ＳＩパケットに付加されるタイムスタンプに示される表示時刻はＴｐ＋Δｔとなる。
【００５９】
受信装置３０は、例えば、ＣＰＵ、ＣＰＵからの制御に従って所定の処理を実行するＦＰＧＡ、及び、データを蓄積するためのストレージメモリ等を備える。受信装置３０は、ＣＰＵがＦＰＧＡに設計される機能を実行することで、図１３に示す機能を実現する。図１３は、図１２に示す受信装置３０の機能構成の例を示すブロック図である。図１３に示す受信装置３０は、受信部２１−１，２１−２、パケット解釈制御部２２−１，２２−２、パケットヘッダ解釈部２３−１，２３−２、ＭＭＴ−ＳＩ解釈部２４−１，２４−２、遅延量取得部２５−１，２５−２、表示時刻制御部３１−１，３１−２、ペイロード抽出部２７−１，２７−２、バッファ２８−１，２８−２、デコーダ２９−１，２９−２及び表示部２１０の機能を実現する。なお、受信装置３０は、ＦＰＧＡの代わりにＬＳＩを備えることで、図１３に示す機能を実現するようにしても構わない。また、受信装置３０は、ＣＰＵによるソフトウェア処理により、図１３に示す機能を実現しても構わない。
【００６０】
遅延量取得部２５−１は、送信設備１０−１から出力されるＭＭＴパケットに含まれるＳＩパケットから、遅延量を取得する。すなわち、遅延量取得部２５−１は、ＳＩパケットに付加されるタイムスタンプから表示時刻Ｔｐと、出力時刻Ｔｔ１とを読み込む。遅延量取得部２５−１は、出力時刻Ｔｔ１と、ＮＴＰに基づいて取得されるＭＭＴパケットの受信時刻とを比較し、伝送路による遅延時間Δｄ１を算出する。遅延量取得部２５−１は、Δｄ１を表示時刻の調整量として、表示時刻制御部３１−１，３１−２へ出力する。
【００６１】
遅延量取得部２５−２は、送信設備１０−２から出力されるＭＭＴパケットに含まれるＳＩパケットから、遅延量を取得する。すなわち、遅延量取得部２５−２は、ＳＩパケットに付加されるタイムスタンプから表示時刻Ｔｐ＋Δｔと、出力時刻Ｔｔ２とを読み込む。遅延量取得部２５−２は、出力時刻Ｔｔ２と、ＮＴＰに基づいて取得されるＭＭＴパケットの受信時刻とを比較し、伝送路による遅延時間Δｄ２を算出する。遅延量取得部２５−２は、Δｔ＋Δｄ２を表示時刻の調整量として、表示時刻制御部３１−１，３１−２へ出力する。
【００６２】
表示時刻制御部３１−１は、遅延量取得部２５−１，２５−２から出力される、表示時刻の調整量を受け取る。表示時刻制御部３１−１は、取得した調整量を比較し、最大となる調整量を選択する。表示時刻制御部３１−１は、選択した調整量を考慮した時刻に表示を開始するように、デコーダ２９−１を制御する。
【００６３】
すなわち、表示時刻制御部３１−１は、遅延量取得部２５−１から出力される調整量Δｄ１と、遅延量取得部２５−２から出力される調整量Δｔ＋Δｄ２とを比較し、調整量Δｔ＋Δｄ２の方が大きいと判断する。表示時刻制御部３１−１は、調整量Δｔ＋Δｄ２を選択する。表示時刻制御部３１−１は、選択した調整量を考慮した時刻Ｔｐ＋Δｔ＋Δｄ２に表示を開始するように、デコーダ２９−１を制御する。
【００６４】
表示時刻制御部３１−２は、遅延量取得部２５−１，２５−２から出力される、表示時刻の調整量を受け取る。表示時刻制御部３１−２は、取得した調整量を比較し、最大となる調整量を選択する。表示時刻制御部３１−２は、選択した調整量を考慮した時刻に表示を開始するように、デコーダ２９−２を制御する。
【００６５】
すなわち、表示時刻制御部３１−２は、遅延量取得部２５−１から出力される調整量Δｄ１と、遅延量取得部２５−２から出力される調整量Δｔ＋Δｄ２とを比較し、調整量Δｔ＋Δｄ２の方が大きいと判断する。表示時刻制御部３１−１は、調整量Δｔ＋Δｄ２を選択する。表示時刻制御部３１−２は、決定した調整量を考慮した時刻Ｔｐ＋Δｔ＋Δｄ２に表示を開始するように、デコーダ２９−２を制御する。
【００６６】
図１４は、図１３に示す受信装置３０が映像の表示時刻の調整量を設定する際のフローチャートを示す図である。受信部２１−１，２１−２、パケット解釈制御部２２−１，２２−２、パケットヘッダ解釈部２３−１，２３−２、及び、ＭＭＴ−ＳＩ解釈部２４−１，２４−２は、図６に示すステップＳ６１〜Ｓ６７の処理をそれぞれ実施する。
【００６７】
Ｓ６７の後、遅延量取得部２５−１は、ＳＩパケットに付加されるタイムスタンプから表示時刻Ｔｐと、出力時刻Ｔｔ１とを読み込む。遅延量取得部２５−１は、出力時刻Ｔｔ１と、ＭＭＴパケットの受信時刻とから、伝送路による遅延時間Δｄ１を算出する。遅延量取得部２５−１は、Δｄ１を表示時刻の調整量とする。遅延量取得部２５−２は、ＳＩパケットに付加されるタイムスタンプから表示時刻Ｔｐ＋Δｔと、出力時刻Ｔｔ２とを読み込む。遅延量取得部２５―２は、出力時刻Ｔｔ２と、ＭＭＴパケットの受信時刻とから、伝送路による遅延時間Δｄ２を算出する。遅延量取得部２５―２は、Δｔ＋Δｄ２を表示時刻の調整量として算出する（ステップＳ１４１）。
【００６８】
表示時刻制御部３１−１，３１−２は、遅延量取得部２５−１で算出される調整量Δｄ１と、遅延量取得部２５−２で算出される調整量Δｔ＋Δｄ２とを比較し、遅延量の大きい調整量Δｔ＋Δｄ２を表示時刻の調整量として選択する（ステップＳ１４２）。
【００６９】
図１５は、図１２に示す送信設備１０−１，１０−２から出力されるＭＭＴパケットの、パケット出力時刻、パケット受信時刻及び表示時刻を模式的に示す図である。図１５において、白い四角は送信設備１０−１から出力されるＭＭＴパケットを示し、斜線の四角は送信設備１０−２から出力されるＭＭＴパケットを示す。なお、図１５において、パケットのリオーダは考慮していない。図１５によれば、送信設備１０−１と送信設備１０−２との間で多重処理にかかる時間に差がある場合、受信装置３０は、遅延時間が短い方の表示時刻を、遅延時間が長い方の表示時刻に併せることがわかる。すなわち、受信装置３０は、出力されるＭＭＴパケットの表示時刻を、時刻Ｔｐ＋Δｔ＋Δｄ２に併せることが可能となる。
【００７０】
以上のように第２の実施形態では、多重化装置１３−２は、ＳＩパケットの表示時刻Ｔｐを示すタイムスタンプに、多重化装置１３−２による多重処理にかかる遅延量Δｔを含める。そして、多重化装置１３−２は、表示時刻Ｔｐに遅延量Δｔを含めたＳＩパケットを、受信装置３０へ送信するようにしている。これにより、多重化装置１３−２は、多重処理にかかる遅延量Δｔを受信装置３０へ通知することが可能となる。
【００７１】
また、第２の実施形態では、受信装置３０は、遅延量取得部２５−１により、ＳＩパケットに付加されるタイムスタンプに示される表示時刻Ｔｐ及び出力時刻Ｔｔ１から、Δｄ１を表示時刻の調整量として算出する。遅延量取得部２５−２は、ＳＩパケットに付加されるタイムスタンプに示される表示時刻Ｔｐ＋Δｔ及び出力時刻Ｔｔ２から、Δｔ＋Δｄ２を表示時刻の調整量として算出する。そして、表示時刻制御部３１−１，３１−２は、遅延量取得部２５−１から出力される調整量Δｄ１と、遅延量取得部２５−２から出力される調整量Δｔ＋Δｄ２とを比較し、遅延量の大きい調整量Δｔ＋Δｄ２を受信装置３０の調整量として決定するようにしている。
【００７２】
第２の実施形態に示すように、送信設備が複数存在する場合、送信設備に設けられる多重化装置毎に多重処理による遅延量をタイムスタンプに付加したとしても、それぞれの遅延量が異なる。そのため、受信装置により遅延量を調整できたとしても、送信設備毎の遅延量を独立して処理するままでは、送信設備間で表示時刻の同期を取ることができない。第２の実施形態によれば、表示時刻制御部３１−１，３１−２は、送信設備１０−１から送信されるＭＭＴストリームの遅延量及び送信設備１０−２から送信されるＭＭＴストリームの遅延量を比較し、遅延量の大きい一方を用いてデコーダ２９−１，２９−２を制御するようにしている。そのため、受信装置３０は、送信設備が複数ある場合であっても、遅延量を揃えることが可能となる。
【００７３】
したがって、第２の実施形態に係る受信装置３０によれば、多重化装置１３−１，１３−２間で異なる処理遅延がある場合であっても、送信設備１０−１，１０−２から出力されるＭＭＴストリームを同期させて表示することができる。
【００７４】
なお、第２の実施形態では、受信装置３０が図１３に示す構成を取る場合を例に説明した。しかしながら、これに限定されない。例えば、受信装置３０は、ＣＰＵがＦＰＧＡに設計される機能を実行することで、図１６に示す構成を実現するようにしても構わない。図１６によれば、受信装置３０は、受信部２１−１，２１−２、パケット解釈制御部２２−１，２２−２、パケットヘッダ解釈部２３−１，２３−２、ＭＭＴ−ＳＩ解釈部２４−１，２４−２、遅延量取得部２５−１，２５−２、比較部３２、表示時刻制御部３３、ペイロード抽出部２７−１，２７−２、バッファ２８−１，２８−２、デコーダ２９−１，２９−２及び表示部２１０の機能を実現する。
【００７５】
比較部３２は、遅延量取得部２５−１，２５−２から出力される、表示時刻の調整量を受け取る。比較部３２は、取得した調整量を比較し、最大となる調整量を選択する。比較部３２は、選択した調整量を表示時刻制御部３３へ出力する。
【００７６】
表示時刻制御部３３は、比較部３２で選択された調整量を考慮した時刻に表示を開始するように、デコーダ２９−１，２９−２を制御する。
【００７７】
また、第２の実施形態では、受信装置３０が、デコーダ２９−１，２９−２をバッファ２８−１，２８−２の後段に設ける場合を例に説明した。しかしながら、これに限定されない。例えば、デコーダ２９−１，２９−２は、バッファ２８−１，２８−２の前段に設けられていても構わない。このとき、バッファ２８−１，２８−２は、デコーダ２９−１，２９−２で復号された映像・音声データを保持する。表示時刻制御部３１−１，３１−２は、遅延量の大きい時刻Ｔｐ＋Δｔ＋Δｄ２になると、バッファ２８−１，２８−２に保持される映像・音声データを出力するように、バッファ２８−１，２８−２を制御する。デコーダ２９−１，２９−２をバッファ２８−１，２８−２の後段へ設けることにより、バッファ２８−１，２８−２の容量を低く抑えることが可能となる。
【００７８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００７９】
１１…映像送出装置、１２…符号化装置、１３，１３−１，１３−２…多重化装置、１３１…パケット多重部、１３２…送出時刻設定部、１３３…遅延量設定部、１４…送信装置、２０…受信装置、２１−１，２１−２…受信部、２２，２２−１，２２−２…パケット解釈制御部、２３，２３−１，２３−２…パケットヘッダ解釈部、２４，２４−１，２４−２…ＭＭＴ−ＳＩ解釈部、２５，２５−１，２５−２…遅延量取得部、２６，３１−１，３１−２，３３…表示時刻制御部、２７−１，２７−２…ペイロード抽出部、２８，２８−１，２８−２…バッファ、２９，２９−１，２９−２…デコーダ、２１０…表示部、３０…受信装置、３２…比較部
【図１】
0005951893.tif 000002
【図２】
0005951893.tif 000003
【図３】
0005951893.tif 000004
【図４】
0005951893.tif 000005
【図５】
0005951893.tif 000006
【図６】
0005951893.tif 000007
【図７】
0005951893.tif 000008
【図８】
0005951893.tif 000009
【図９】
0005951893.tif 000010
【図１０】
0005951893.tif 000011
【図１１】
0005951893.tif 000012
【図１２】
0005951893.tif 000013
【図１３】
0005951893.tif 000014
【図１４】
0005951893.tif 000015
【図１５】
0005951893.tif 000016
【図１６】
0005951893.tif 000017