(57)【要約】【課題】所定のマークアップ言語で記述した字幕データを含むコンテンツのフォーマットを、時間軸が異なる第１のフォーマットから第２のフォーマットに変換することができるようにする。【解決手段】本技術の情報処理装置は、第１のフォーマットの多重化データから、字幕の表示開始の相対時刻を示すコードと表示終了の相対時刻を示すコードを所定のマークアップ言語で記述した字幕データを抽出し、第１のフォーマットの多重化データに含まれる、相対時刻の起点となる時刻を表す第１のタイムスタンプを第２のタイムスタンプに変換する。また、情報処理装置は、抽出した字幕データをそのまま格納したデータブロックに、第２のタイムスタンプを含むヘッダを付加し、第２のフォーマットの多重化データを生成する。本技術は、PC、ハードディスクレコーダなどの録画機器などに適用することができる。【選択図】図４３
2018182677.tif 000002
【特許請求の範囲】
【請求項１】
第１のフォーマットの多重化データから、字幕の表示開始の相対時刻を示すコードと表示終了の相対時刻を示すコードを所定のマークアップ言語で記述した字幕データを抽出する抽出部と、
前記第１のフォーマットの多重化データに含まれる、前記表示開始の相対時刻と前記表示終了の相対時刻の起点となる時刻が、１秒以下の精度を２ｎHz（ｎは２４以上の整数）とする３２＋ｎビットカウンタのカウンタ値により表される第１のタイムスタンプを、１秒以下の精度を９０kHzとする３３ビットカウンタのカウンタ値により表される第２のタイムスタンプに変換するタイムスタンプ変換部と、
抽出された前記字幕データをそのまま格納したデータブロックに、前記第２のタイムスタンプを含むヘッダを付加し、第２のフォーマットの多重化データを生成する処理部と
を備える情報処理装置。
【請求項２】
前記３２＋ｎビットカウンタのカウンタ値により表される前記第１のフォーマットの参照時刻を、１秒以下の精度を２７MHzとする４２ビットカウンタのカウンタ値により表される前記第２のフォーマットの参照時刻に変換する参照時刻変換部をさらに備え、
前記処理部は、前記データブロックのデータを格納するパケット、前記ヘッダのデータを格納するパケット、および、前記第２のフォーマットの参照時刻を格納するパケットを多重化し、前記第２のフォーマットの多重化データを生成する
請求項１に記載の情報処理装置。
【請求項３】
タイムスタンプ変換における前記３３ビットカウンタのカウンタ値の初期値と、参照時刻の変換における前記４２ビットカウンタのカウンタ値の初期値とをそれぞれ設定する制御部をさらに備える
請求項２に記載の情報処理装置。
【請求項４】
前記制御部は、タイムスタンプの変換処理、参照時刻の変換処理、および多重化データの生成処理のそれぞれの処理時間に基づいて初期値を設定する
請求項３に記載の情報処理装置。
【請求項５】
前記タイムスタンプ変換部は、前記第１のタイムスタンプに閏秒の調整が行われたことに応じて補正した前記第２のタイムスタンプを生成する
請求項１に記載の情報処理装置。
【請求項６】
前記第１のフォーマットはMMTであり、
前記第２のフォーマットはMPEG-2 TSである
請求項１に記載の情報処理装置。
【請求項７】
前記第１のタイムスタンプは、MH-データ符号化方式記述子のAdditional_Arib_Subtitle_Info()に記述されたreference_start_timeであり、
前記変換部は、前記第２のタイムスタンプを、DDBメッセージのentity-headerのX-ARIB-module-timestampに設定する
請求項６に記載の情報処理装置。
【請求項８】
前記MH-データ符号化方式記述子のTMDの値として0010が設定されており、
前記処理部は、PMTのデータ符号化方式記述子のTMDの値として0011を設定し、DIIメッセージの字幕モジュール情報記述子のTMDの値として0011を設定する
請求項６に記載の情報処理装置。
【請求項９】
第１のフォーマットの多重化データから、字幕の表示開始の相対時刻を示すコードと表示終了の相対時刻を示すコードを所定のマークアップ言語で記述した字幕データを抽出し、
前記第１のフォーマットの多重化データに含まれる、前記表示開始の相対時刻と前記表示終了の相対時刻の起点となる時刻が、１秒以下の精度を２ｎHz（ｎは２４以上の整数）とする３２＋ｎビットカウンタのカウンタ値により表される第１のタイムスタンプを、１秒以下の精度を９０kHzとする３３ビットカウンタのカウンタ値により表される第２のタイムスタンプに変換し、
抽出した前記字幕データをそのまま格納したデータブロックに、前記第２のタイムスタンプを含むヘッダを付加し、第２のフォーマットの多重化データを生成する
ステップを含む情報処理方法。
【請求項１０】
第１のフォーマットの多重化データから、字幕の表示開始の相対時刻を示すコードと表示終了の相対時刻を示すコードを所定のマークアップ言語で記述した字幕データを抽出し、
前記第１のフォーマットの多重化データに含まれる、前記表示開始の相対時刻と前記表示終了の相対時刻の起点となる時刻が、１秒以下の精度を２ｎHz（ｎは２４以上の整数）とする３２＋ｎビットカウンタのカウンタ値により表される第１のタイムスタンプを、１秒以下の精度を９０kHzとする３３ビットカウンタのカウンタ値により表される第２のタイムスタンプに変換し、
抽出した前記字幕データをそのまま格納したデータブロックに、前記第２のタイムスタンプを含むヘッダを付加し、第２のフォーマットの多重化データを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１１】
第１のフォーマットの多重化データから、字幕の表示開始の相対時刻を示すコードと表示終了の相対時刻を示すコードを所定のマークアップ言語で記述した字幕データを抽出し、
前記第１のフォーマットの多重化データに含まれる、前記表示開始の相対時刻と前記表示終了の相対時刻の起点となる時刻が、１秒以下の精度を２ｎHz（ｎは２４以上の整数）とする３２＋ｎビットカウンタのカウンタ値により表される第１のタイムスタンプを、１秒以下の精度を９０kHzとする３３ビットカウンタのカウンタ値により表される第２のタイムスタンプに変換し、
抽出した前記字幕データをそのまま格納したデータブロックに、前記第２のタイムスタンプを含むヘッダを付加し、第２のフォーマットの多重化データを生成し、
前記多重化データを記録媒体に記録させる
記録媒体製造方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、プログラム、および記録媒体製造方法に関し、特に、所定のマークアップ言語で記述した字幕データを含むコンテンツのフォーマットを、時間軸が異なる第１のフォーマットから第２のフォーマットに変換することができるようにした情報処理装置、情報処理方法、プログラム、および記録媒体製造方法に関する。
【背景技術】
【０００２】
次世代の放送規格におけるコンテンツの伝送は、従来のMPEG-2 TSではなく、MMT(MPEG Media Transport)で行われる。MMTにより、放送波の伝送路だけでなく、インターネットなどの通信の伝送路を用いたコンテンツの伝送が可能になる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１０３７４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
MMTのコンテンツを受信し、記録する場合、MMTのコンテンツをそのまま記録することも考えられるが、MPEG-2 TSで記録することも検討されている。MPEG-2 TSで記録することにより、既に普及しているMPEG-2 TSの資産を活かすことが可能になる。
【０００５】
MMTのコンテンツをMPEG-2 TSのコンテンツに変換する技術が確立されていない。
【０００６】
本技術はこのような状況に鑑みてなされたものであり、所定のマークアップ言語で記述した字幕データを含むコンテンツのフォーマットを、時間軸が異なる第１のフォーマットから第２のフォーマットに変換することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の情報処理装置は、第１のフォーマットの多重化データから、字幕の表示開始の相対時刻を示すコードと表示終了の相対時刻を示すコードを所定のマークアップ言語で記述した字幕データを抽出する抽出部と、前記第１のフォーマットの多重化データに含まれる、前記表示開始の相対時刻と前記表示終了の相対時刻の起点となる時刻が、１秒以下の精度を２ｎHz（ｎは２４以上の整数）とする３２＋ｎビットカウンタのカウンタ値により表される第１のタイムスタンプを、１秒以下の精度を９０kHzとする３３ビットカウンタのカウンタ値により表される第２のタイムスタンプに変換するタイムスタンプ変換部と、抽出された前記字幕データをそのまま格納したデータブロックに、前記第２のタイムスタンプを含むヘッダを付加し、第２のフォーマットの多重化データを生成する処理部とを備える。
【０００８】
前記３２＋ｎビットカウンタのカウンタ値により表される前記第１のフォーマットの参照時刻を、１秒以下の精度を２７MHzとする４２ビットカウンタのカウンタ値により表される前記第２のフォーマットの参照時刻に変換する参照時刻変換部をさらに設けることができる。この場合、前記処理部には、前記データブロックのデータを格納するパケット、前記ヘッダのデータを格納するパケット、および、前記第２のフォーマットの参照時刻を格納するパケットを多重化することによって前記第２のフォーマットの多重化データを生成させることができる。
【０００９】
タイムスタンプ変換における前記３３ビットカウンタのカウンタ値の初期値と、参照時刻の変換における前記４２ビットカウンタのカウンタ値の初期値とをそれぞれ設定する制御部をさらに設けることができる。
【００１０】
前記制御部には、タイムスタンプの変換処理、参照時刻の変換処理、および多重化データの生成処理のそれぞれの処理時間に基づいて初期値を設定させることができる。
【００１１】
前記タイムスタンプ変換部には、前記第１のタイムスタンプに閏秒の調整が行われたことに応じて補正した前記第２のタイムスタンプを生成させることができる。
【００１２】
前記第１のフォーマットをMMTとし、前記第２のフォーマットをMPEG-2 TSとすることができる。
【００１３】
前記第１のタイムスタンプを、MH-データ符号化方式記述子のAdditional_Arib_Subtitle_Info()に記述されたreference_start_timeとすることができる。この場合、前記変換部には、前記第２のタイムスタンプを、DDBメッセージのentity-headerのX-ARIB-module-timestampに設定させることができる。
【００１４】
前記MH-データ符号化方式記述子のTMDの値として0010が設定されており、前記処理部には、PMTのデータ符号化方式記述子のTMDの値として0011を設定させ、DIIメッセージの字幕モジュール情報記述子のTMDの値として0011を設定させることができる。
【００１５】
本技術の一側面においては、第１のフォーマットの多重化データから、字幕の表示開始の相対時刻を示すコードと表示終了の相対時刻を示すコードを所定のマークアップ言語で記述した字幕データが抽出され、前記第１のフォーマットの多重化データに含まれる、前記表示開始の相対時刻と前記表示終了の相対時刻の起点となる時刻が、１秒以下の精度を２ｎHz（ｎは２４以上の整数）とする３２＋ｎビットカウンタのカウンタ値により表される第１のタイムスタンプが、１秒以下の精度を９０kHzとする３３ビットカウンタのカウンタ値により表される第２のタイムスタンプに変換される。また、抽出された前記字幕データをそのまま格納したデータブロックに、前記第２のタイムスタンプを含むヘッダを付加することによって、第２のフォーマットの多重化データが生成される。
【発明の効果】
【００１６】
本技術によれば、所定のマークアップ言語で記述した字幕データを含むコンテンツのフォーマットを、時間軸が異なる第１のフォーマットから第２のフォーマットに変換することができる。
【００１７】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１８】
【図１】本技術の一実施形態に係る情報処理装置によるフォーマット変換の例を示す図である。
【図２】カウンタ値の変換の例を示す図である。
【図３】MMTを用いる放送システムのプロトコルスタックを示す図である。
【図４】NTP形式の構成を示す図である。
【図５】NTP形式の時刻情報を含むIPパケットを格納するTLVパケットの配置を示す図である。
【図６】映像・音声信号からMMTPペイロードを構成する例を示す図である。
【図７】MMTPパケットの構成を示す図である。
【図８】payload_typeの値の意味を示す図である。
【図９】MMTP_payload()の構成を示す図である。
【図１０】MMTP_payload()の構成を示す図である。
【図１１】MMT-SIの構造を示す図である。
【図１２】MMT-SIのメッセージの種類と機能を示す図である。
【図１３】PAメッセージの構成を示す図である。
【図１４】message_idの値の意味を示す図である。
【図１５】MPTの構成を示す図である。
【図１６】MPUタイムスタンプ記述子の構成を示す図である。
【図１７】MPU拡張タイムスタンプ記述子の構成を示す図である。
【図１８】MMTにおけるPTSとDTSの算出方法を示す図である。
【図１９】TSパケットの構成を示す図である。
【図２０】アダプテーションフィールドの構成を示す図である。
【図２１】PESパケットの構成を示す図である。
【図２２】情報処理装置の構成例を示すブロック図である。
【図２３】図２２のMMT信号処理部と記録制御部の構成例を示すブロック図である。
【図２４】処理遅延の例を示す図である。
【図２５】MPEG-2 TSにおけるカウンタ値と時間の関係を示す図である。
【図２６】MMTにおけるカウンタ値と時間の関係を示す図である。
【図２７】タイムスタンプの変換について示す図である。
【図２８】タイムスタンプの変換について示す他の図である。
【図２９】閏秒挿入時のタイムスタンプの変換について示す図である。
【図３０】閏秒削除時のタイムスタンプの変換について示す図である。
【図３１】PLLの構成例を示すブロック図である。
【図３２】情報処理装置の変換処理について説明するフローチャートである。
【図３３】一連のフォーマット変換を示す図である。
【図３４】MMTにおけるTTML字幕の伝送例を示す図である。
【図３５】TTML文書の記述例を示す図である。
【図３６】MH-データ符号化方式記述子の構成を示す図である。
【図３７】Additional_Arib_Subtitle_Infoの構成を示す図である。
【図３８】時刻制御モードの意味を示す図である。
【図３９】MMTで伝送されたTTML字幕の提示時刻の運用例を示す図である。
【図４０】subtitle_module_info_descriptorの構成を示す図である。
【図４１】時刻制御モードの意味を示す図である。
【図４２】additional_data_component_infoの構成を示す図である。
【図４３】MPEG-2 TSで伝送されたTTML字幕の提示時刻の運用例を示す図である。
【図４４】情報処理装置における一連の変換処理を示す図である。
【図４５】情報処理装置の変換処理について説明するフローチャートである。
【図４６】情報処理装置の変換処理について説明する、図４５に続くフローチャートである。
【図４７】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．フォーマット変換の例
２．MMTについて
３．MPEG-2 TSについて
４．情報処理装置の構成例
５．カウンタ値の変換について
６．情報処理装置の動作
７．TTML字幕のフォーマット変換
８．変形例
【００２０】
＜１．フォーマット変換の例＞
図１は、本技術の一実施形態に係る情報処理装置によるフォーマット変換の例を示す図である。
【００２１】
情報処理装置１は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの記録媒体を内蔵した録画機器、テレビジョン受像機、パーソナルコンピュータ、セットトップボックスなどの装置である。情報処理装置１は、放送波の伝送路、またはインターネットなどの通信の伝送路を介して放送（配信）された、ビデオとオーディオを含むテレビジョン番組などのコンテンツを受信する。放送波の伝送路には、地上波放送、衛星放送の伝送路が含まれる。
【００２２】
放送波の伝送路、または通信の伝送路を介したコンテンツの伝送は、MMTで行われる。情報処理装置１は、ビデオストリームとオーディオストリームをMMTで多重化して得られた多重化データを受信する。多重化データには字幕データも適宜含まれる。
【００２３】
情報処理装置１は、ARIB STD-B60（「デジタル放送におけるMMTによるメディアトランスポート方式」）に準拠したMMTのコンテンツの受信に対応した装置である。また、情報処理装置１は、ARIB TR-B39（「高度広帯域衛星デジタル放送 運用規定」）に準拠したコンテンツ伝送に対応した装置でもある。
【００２４】
情報処理装置１は、受信したMMTのコンテンツを再生し、コンテンツの映像と音声を、情報処理装置１に接続されたテレビジョン受像機（図示せぬ）などから出力させる機能を有する。
【００２５】
また、情報処理装置１は、受信したMMTのコンテンツを、MPEG-2 TSのコンテンツに変換する機能を有する。MPEG-2 TSは、ITU-H.222.0により規定される。
【００２６】
MMTからMPEG-2 TSへのフォーマットの変換時、情報処理装置１は、MMTP(MMT Protocol)パケットに格納されたビデオデータやオーディオデータを取得し、TSパケットに格納し直す。情報処理装置１は、SI(Service Information)などの制御情報を格納したTSパケットとともに、ビデオのTSパケットとオーディオのTSパケットを多重化することによってTS（トランスポートストリーム）を生成する。
【００２７】
フォーマットの変換時、情報処理装置１は、MMTのコンテンツに含まれる時刻情報を、MPEG-2 TSの時刻情報に変換する。MMTとMPEG-2 TSは、時間軸が異なるフォーマットである。時間軸が異なるとは、時刻を規定するカウンタ値のビット数と精度（分解能）のうちの少なくともいずれかが異なることを意味する。
【００２８】
MMTのコンテンツとMPEG-2 TSのコンテンツには、時刻情報として、動作の基準となる参照時刻を表すカウンタ値と、PTS(Presentation Time Stamp)、DTS(Decode Time Stamp)を表すカウンタ値が含まれる。
【００２９】
図２は、カウンタ値の変換の例を示す図である。
【００３０】
図２の左側に示すように、MMTにおいて、参照時刻は、NTP(Network Time Protocol)形式の時刻情報として表される。
【００３１】
詳細については後述するが、NTP形式においては、３２＋ｎbit／２ｎHzのカウンタ値で参照時刻が表される。ここで、３２＋ｎbit／２ｎHzは、１秒以上の時刻が、秒単位で、３２bitを用いて表され、１秒以下の時刻がｎbitを用いて表されることを示す。１秒以下の精度は２ｎHzである。
【００３２】
ARIB TR-B39では、NTP形式の運用として、ｎが２４以上であることが規定されている。
【００３３】
MMTにおいて、PTSとDTSは、３２＋ｎbit／２ｎHzのカウンタ値で表される時刻から求められる。
【００３４】
一方、図２の右側に示すように、MPEG-2 TSにおいて、動作の基準となる参照時刻であるPCRは、４２bit／２７MHzのカウンタ値で表される。
【００３５】
また、MPEG-2 TSにおいて、PTSとDTSは、それぞれ、３３bit／９０kHzのカウンタ値で表される。
【００３６】
情報処理装置１は、３２＋ｎbit／２ｎHzのカウンタ値で表されるMMTの参照時刻を、４２bit／２７MHzのカウンタ値で表されるMPEG-2 TSのPCRに変換する。
【００３７】
また、情報処理装置１は、MMTにおけるPTSとDTSを、それぞれ、３３bit／９０kHzのカウンタ値で表されるMPEG-2 TSのPTSとDTSに変換する。
【００３８】
情報処理装置１は、このようにして変換したMPEG-2 TSの時刻情報を含むTSを生成する。
【００３９】
図１の説明に戻り、情報処理装置１は、MMTのコンテンツを変換することによって生成したMPEG-2 TSのコンテンツを、情報処理装置１に装着された記録媒体１１に記録する。記録媒体１１は、例えばBlu-ray（登録商標） Disc（以下、適宜、BDという）である。BDは、MPEG-2 TSのファイルを記録可能な記録媒体である。
【００４０】
情報処理装置１は、MMTで伝送されてきたコンテンツをBDに記録できることになる。BDの再生に対応した再生装置は、情報処理装置１によりBDに書き込まれたコンテンツを再生できることになる。
【００４１】
また、情報処理装置１は、MMTのコンテンツを変換することによって生成したMPEG-2 TSのコンテンツを、インターネットなどのネットワーク１２を介して送信する。MPEG-2 TSのコンテンツの再生に対応した再生装置は、情報処理装置１により生成されたコンテンツを再生できることになる。
【００４２】
このように、MMTのコンテンツをMPEG-2 TSのコンテンツに変換できるようにすることにより、MMTで提供されたコンテンツの処理を、MPEG-2 TSを処理可能な各種の装置が行うことが可能になる。すなわち、MPEG-2 TSの資産を活かすことが可能になる。
【００４３】
＜２．MMTについて＞
＜２−１．MMTのパケット構造＞
MMTについて説明する。ここでは、ARIB STD-B60の規定のうち、情報処理装置１の処理に関係のある部分について説明する。特に明示するもの以外は、基本的に、ARIB STD-B60 1.7版の規定によるものである。
【００４４】
図３は、MMTを用いる放送システムのプロトコルスタックを示す図である。
【００４５】
番組の映像信号及び音声信号の符号はMFU(Media Fragment Unit)/MPU(Media Processing Unit)の伝送単位に区切られる。１つ以上のアクセスユニットのデータを含む単位であるMPUは、複数のMFUを含むようにして構成される。
【００４６】
MFUは、MMTPペイロードに配置され、MMTPヘッダが付加されることによってMMTPパケットが構成される。MMTPパケットはIPパケットを用いて伝送される。１つのMMTPパケットは１つのIPパケットで伝送される。
【００４７】
放送番組の構成などを示す制御情報であるMMT-SIについても、MMTの制御メッセージの形式として、MMTPペイロードに配置されてMMTPパケット化され、IPパケットで伝送される。
【００４８】
上述したNTP形式の時刻情報も、IPパケットを用いて伝送される。
【００４９】
図４は、NTP形式の構成を示す図である。
【００５０】
IETF RFC 5905 “Network Time Protocol Version 4: Protocol and Algorithms Specification”に規定するNTP形式のIPパケットが、協定世界時（Coordinated Universal Time, UTC）を提供するために用いられる。
【００５１】
leap_indicator（閏秒指示子）は、現在月の最後の1分に、閏秒（うるう秒）を挿入あるいは削除することを示す。
【００５２】
フォーマット変換前のMMTのコンテンツが閏秒の挿入または削除を挟む場合、情報処理装置１においては、閏秒の挿入分または削除分を調整するようにしてタイムスタンプの変換が行われる。
【００５３】
MPEG-2 TSには閏秒の概念がないため、フォーマット変換前のMMTのコンテンツが閏秒の挿入または削除を挟む場合には、閏秒の挿入または削除を考慮して、MMTのタイムスタンプをMPEG-2 TSのタイムスタンプに変換する必要がある。
【００５４】
NTPでは、1900年1月1日0時0分0秒からの積算秒数が使用される。NTP形式には、reference_timestamp（参照タイムスタンプ）が含まれる。
【００５５】
reference_timestampは、システム時刻が最後に補正された時刻をNTP長形式で示す。NTP長形式は、秒単位を示す３２bitのフィールドと、1秒以下を示す３２bitのフィールドとから構成される。
【００５６】
ARIB TR-B39では、1秒以下の時刻を、ｎbit（ｎ：２４以上）を使用して示すことが規定される。ｎは３２以下となる。
【００５７】
NTPが示す時刻は、１秒以上の時刻を秒単位で表す３２bitと、１秒以下の時刻を表すｎbitを足し合わせた３２＋ｎbitカウンタのカウンタ値として表される。１秒以下の精度は２ｎHzとなる。
【００５８】
１秒以下の精度であるｎが、図４のprecision（精度）により示される。ｎは、システムクロックの精度（秒単位）のlog2を示す。
【００５９】
ARIB STD-B60では、MMTを用いる放送システムにおける送出システム及び受信機は以下の要件を満たす必要がある。
・送出システムは、NTPタイムスタンプに基づくクロックを保持すること。
・送出システムでは、上記クロックと映像、音声のエンコード処理を行うクロックが同期していること。
・受信機は、受信したNTP形式の時刻情報に基づくクロックを再生、保持すること。
・受信機では、上記クロックを保持するためのシステムクロックと映像・音声等のデコード処理を行うクロックが同期していること。
【００６０】
図５は、STD-B44における、NTP形式の時刻情報を含むIPパケットを格納するTLV(Type Length Value)パケットの配置を示す図である。
【００６１】
NTP形式の時刻情報を含むIPパケットも含めて、IPパケットは、TLVパケットにより伝送することがSTD-B323_1により規定されている。NTP形式の時刻情報を含むIPパケットを格納するTLVパケットは、TLVストリームIDごとに割り当てられたスロットのうち、最初のスロットの先頭に配置される。
【００６２】
NTP形式の時刻情報を含むIPパケットを格納するTLVパケットをこのように配置することにより、NTP形式の時刻情報を含むIPパケットの遅延変動を抑えることが可能になる。
【００６３】
情報処理装置１は、TLVストリームを構成するTLVパケットからIPパケットを抽出し、IPパケットに格納されているNTP形式の時刻情報、または、映像や音声のMMTPパケットを取得することになる。
【００６４】
図６は、映像・音声信号からMMTPペイロードを構成する例を示す図である。
【００６５】
映像信号や音声信号の処理では、MPUが処理の単位となる。図６の中段に破線でサンプルデータとして示すように、MPUは１つ以上のアクセスユニットを含み、映像や音声の復号処理をMPU単体で行うことができる単位となる。MPUの大きさは任意であり、任意の数のアクセスユニットを含むことができる。フレーム間予測を用いて符号化する映像信号では、MPUはGOP(Group of Picture)単位とする必要がある。
【００６６】
図６の中段に示すように、MPUは、MPU全体の構成に関する情報を含むMPUメタデータ、符号化したメディアデータの情報を含むムービーフラグメントメタデータ、符号化したメディアデータであるサンプルデータから構成される。１つのMPUは１つ以上のムービーフラグメントから構成できるため、ムービーフラグメントメタデータとサンプルデータは複数存在することがある。
【００６７】
MPUには、同一のアセットに属するMPUごとに同じシーケンス番号が付加される。アセットを識別するアセットIDとMPUのシーケンス番号を用いることで、各MPUを区別することが可能になる。
【００６８】
MFUは、MPUよりも小さな単位である。MFUは、MPUを構成するサンプルデータから取り出すことができる。MFUの構成方法として、図６の下向き矢印で示すようにNALユニット単位やアクセスユニット単位でMFUを構成する方法がある。メディアを意識してMFUを構成することで、パケットロスのような伝送品質の低下が発生したときの誤りの伝搬を抑えることができる。
【００６９】
映像コンポーネントや音声コンポーネントなどの提示時刻が指定されるメディアには、MPU単位で、提示時刻（上述した、MMTにおけるPTS）が示される。MPUの提示時刻は、UTCに基づき、共通の時間軸を用いて指定される。そのため、受信側の装置は、放送と通信の伝送路の違いや送信元の違いによらず、必要なメディアコンポーネントを同期して提示することができる。
【００７０】
このように、MMTにおける符号化信号を構成する要素には、MPU、MFU、MMTPパケット、MMTPペイロードがある。
【００７１】
なお、図６は、１つのMFUを１つのMMTPペイロードに格納した例を示すものである。１つのMMTPペイロードに複数のMFUが格納される場合もあるし、反対に、１つのMFUが複数のMMTPペイロードに格納される場合もある。
【００７２】
図７は、MMTPパケットの構成を示す図である。
【００７３】
MMTPパケットは、MMTPヘッダとMMTPペイロードから構成される。図７に示す記述のうち、先頭から、MMTP_payload()の前までの記述がMMTPヘッダを構成する。
【００７４】
MMTPヘッダに含まれるpayload_type（ペイロードタイプ）は、MMTPペイロードのデータタイプを示す。
【００７５】
図８は、payload_typeの値の意味を示す図である。
【００７６】
図８に示すように、payload_typeの値が0x00であることは、MMTPペイロードに、映像や音声などのMPUが含まれることを示す。
【００７７】
また、payload_typeの値が0x02であることは、MMTPペイロードに、制御メッセージが含まれることを示す。
【００７８】
図７の説明に戻り、MMTPヘッダに含まれるpacket_id（パケット識別子）は、MMTPペイロードのデータの種類を識別するための情報である。
【００７９】
ARIB TR-B39では、MMTPペイロードにMPUが含まれる場合（payload_typeの値が0x00である場合）、後述するMMTパッケージテーブルに示される、アセットのpacket_idが記述されることが規定されている。
【００８０】
図９および図１０は、MMTP_payload()の構成を示す図である。
【００８１】
図９は、payload_typeの値が0x00である、すなわち当該MMTPペイロードにMPUが含まれる場合の記述を示す。一方、図１０は、payload_typeの値が0x02である、すなわち当該MMTPペイロードに制御メッセージが含まれる場合の記述を示す。
【００８２】
図９に示す記述のうち、fragment_type（フラグメントタイプ）は、MMTPペイロードに格納する情報のフラグメント種別を示す。
【００８３】
fragment_typeの値が２であることは、MMTPペイロードに、MFUを構成する時間付きメディアデータのサンプルデータ（NALユニット、アクセスユニット）、サブサンプルデータ、あるいは時間なしメディアデータのアイテムが含まれることを示す。例えば、fragment_typeの値が２であり、timed_flagの値が１である場合に記述される図９のMFU_data_byteが、MFUを構成する時間付きメディアデータのサンプルデータに相当する。
【００８４】
また、図９に示す記述のうち、MPU_sequence_number（MPUシーケンス番号）は、当該MMTPペイロードがMPUメタデータ、ムービーフラグメントメタデータ、MFUを格納するものである場合、それらが属するMPUのシーケンス番号を示す。
【００８５】
図１０に示す記述のうち、payload_typeの値が0x02である場合に記述されるmessage_length（メッセージデータ長）は、このフィールドの直後に配置される１つの制御メッセージの大きさをバイト単位で示す。
【００８６】
message_byte（メッセージデータ）は、制御メッセージのデータバイトである。以下、適宜、制御メッセージを単にメッセージともいう。
【００８７】
＜２−２．MMTの制御メッセージ＞
ここで、MMTPペイロードに格納される制御メッセージについて説明する。
【００８８】
図１１は、制御情報であるMMT-SIの構造を示す図である。
【００８９】
MMTのパッケージの構成や放送サービスに関連する情報を示すMMT-SIは、図１１に示すように、テーブルや記述子を格納するメッセージ、特定の情報を示す要素や属性を持つテーブル、および、詳細な情報を示す記述子の３階層から構成される。
【００９０】
上述したように、メッセージは、MMTPペイロードに格納され、MMTPパケットを用いて伝送される。メッセージがMMTPペイロードを構成する際のpayload_typeの値は0x02である。複数のメッセージを１つのMMTPペイロードに格納することは行われず、１つのメッセージが１つのMMTPペイロードに格納される。
【００９１】
図１２は、MMT-SIのメッセージの種類と機能を示す図である。
【００９２】
図１２に示すように、メッセージには、主に、Package Access(PA)メッセージ、M2セクションメッセージ、CAメッセージ、M2短セクションメッセージ、データ伝送メッセージがある。例えばPAメッセージは、MMT-SIのエントリーポイントとなり、MMT-SIの各種のテーブルを伝送するために用いられる。
【００９３】
このようなメッセージの種類が、message_byteとしてMMTPペイロードに記述されるmessage_id（メッセージ識別子）により識別される。
【００９４】
図１３は、PAメッセージの構成を示す図である。
【００９５】
message_idは、図１４に示すように0x0000として設定される。
【００９６】
number_of_tables（テーブル数）は、このPAメッセージが格納するテーブルの数を示す。
【００９７】
table_id（テーブル識別）は、このPAメッセージが格納するテーブルの識別子を示す。
【００９８】
table（テーブル）は、このPAメッセージが格納するテーブルである。テーブルの１つであるMPT（MMTパッケージテーブル)が、PAメッセージのtable()に記述される。
【００９９】
このようなPAメッセージの記述が、message_byteとしてMMTPペイロード（図１０）に含まれる。
【０１００】
図１５は、MPTの構成を示す図である。
【０１０１】
MPTは、アセットのリストやアセットのネットワーク上の位置などの、パッケージを構成する情報を与える。MPTには記述子が含まれる。
【０１０２】
図１５に示す記述のうちのMPT_descriptors_length（MPT記述子長）は、MPT記述子領域の長さをバイト単位で示す。
【０１０３】
MPT_descriptors_byte（MPT記述子領域）は、MPTの記述子を格納する領域である。MPT_descriptors_byteに格納される記述子には、例えば、MPUタイムスタンプ記述子（MPU_Timestamp_Descriptor()）、MPU拡張タイムスタンプ記述子（MPU_Extended_Timestamp_Descriptor()）がある。
【０１０４】
MPUタイムスタンプ記述子は、MPUにおいて提示順序で最初のアクセスユニットの提示時刻を示す記述子である。また、MPU拡張タイムスタンプ記述子は、MPU内のアクセスユニットの復号時刻を提供する記述子である。
【０１０５】
図１６は、MPUタイムスタンプ記述子の構成を示す図である。
【０１０６】
MPUタイムスタンプ記述子のdescriptor_tagは、0x001として設定される。
【０１０７】
mpu_sequence_number（MPUシーケンス番号）は、当該MPUタイムスタンプ記述子においてタイムスタンプを記述するMPUのシーケンス番号を示す。上述したように、各MPUには、同一のアセットに属するMPUごとに同じシーケンス番号が付加される。
【０１０８】
mpu_presentation_time（MPU提示時刻）は、MPUの提示時刻をNTP形式で示す（３２＋ｎbit／２ｎHzのカウンタ値で示す）。
【０１０９】
図１７は、MPU拡張タイムスタンプ記述子の構成を示す図である。
【０１１０】
MPU拡張タイムスタンプ記述子のdescriptor_tagは、0x8026として設定される。
【０１１１】
mpu_sequence_number（MPUシーケンス番号）は、当該MPU拡張タイムスタンプ記述子において復号時刻等を指定するアクセスユニットが含まれるMPUのシーケンス番号を示す。
【０１１２】
mpu_decoding_time_offset（MPU復号時刻オフセット）は、MPUシーケンス番号により特定されるMPUにおいて、復号順で最初のアクセスユニットの復号時刻と、提示順で最初のアクセスユニットの提示時刻との差分の絶対値を、タイムスケールで示される時間単位で示す。
【０１１３】
num_of_au（アクセスユニット数）は、当該MPU拡張タイムスタンプ記述子で復号時刻等を指定するアクセスユニットの数を示す。
【０１１４】
dts_pts_offset（復号時刻・提示時刻オフセット）は、アクセスユニットの復号時刻から提示時刻までの時間を、タイムスケールで示される時間単位で示す。
【０１１５】
pts_offset（PTSオフセット）は、同一MPU内における、提示順で直前のアクセスユニットと現在のアクセスユニットとの提示時刻の差分を、タイムスケールで示される時間単位で示す。
【０１１６】
MPUタイムスタンプ記述子から、MPUの、提示順序で最初のアクセスユニットの提示時刻が特定される。また、MPU拡張タイムスタンプ記述子から、各アクセスユニットの復号時刻が特定される。
【０１１７】
MPU拡張タイムスタンプ記述子には、mpu_presentation_time_leap_indicator（MPU 提示時刻閏秒指示子）が含まれる。
【０１１８】
mpu_presentation_time_leap_indicatorは、閏秒の挿入または削除による時刻情報の調整があるか否かを示す。mpu_presentation_time_leap_indicatorの値が1であることは、午前8時59分59秒の後に閏秒として午前8時59分59秒の挿入が行われることを表し、2であることは、午前8時59分59秒の削除が行われることを表す。
【０１１９】
図１８は、MMTにおけるPTSとDTSの算出方法を示す図である。
【０１２０】
図１８に示す各矩形は、あるMPUに含まれるGOPｎを構成するピクチャ（アクセスユニット）を示す。図１８の上段は、各アクセスユニットの復号順での並びを示し、下段は、各アクセスユニットの提示順での並びを示す。I/P/Bのアルファベットはピクチャタイプを示し、数字は提示順での各ピクチャの番号を示す。
【０１２１】
MPUタイムスタンプ記述子のmpu_presentation_timeは、MPU内において提示順序で最初のアクセスユニットの提示時刻を示す。MPUタイムスタンプ記述子が示す提示時刻は、図１８の左下の上向き三角形が指す時刻である。
【０１２２】
一方、MPU拡張タイムスタンプ記述子は、mpu_decoding_time_offsetにより、図１８の左側に破線矢印で示すように、MPU内において、復号順序で最初のアクセスユニットの復号時刻と、提示順序で最初のアクセスユニットの提示時刻との差分値を示す。
【０１２３】
また、MPU拡張タイムスタンプ記述子は、各アクセスユニットの復号時刻と提示時刻の差分値を、タイムスケールを単位時間とする値でdts_pts_offestにより示す。さらに、MPU拡張タイムスタンプ記述子は、同一MPU内における、提示順序で直前のアクセスユニットの提示時刻と現在のアクセスユニットの提示時刻の差分値を、タイムスケールを単位時間とする値でpts_offsetにより示す。
【０１２４】
これらの時刻や値を用いて、MPU内のｎ番目のアクセスユニットの復号時刻DTS(n)と提示時刻PTS(n)は、それぞれ下式（１）、式（２）により算出される。
【数１】
2018182677.tif 000003
【数２】
2018182677.tif 000004
【０１２５】
このように、MPUタイムスタンプ記述子とMPU拡張タイムスタンプ記述子から、各アクセスユニットのPTSとDTSが特定される。３２＋ｎbit／２ｎHzのカウンタ値であるmpu_presentation_timeを用いて求められるから、MPUのDTSも、３２＋ｎbit／２ｎHzのカウンタ値で示される時刻といえる。
【０１２６】
情報処理装置１においては、MMTPパケットの制御メッセージからMPUタイムスタンプ記述子とMPU拡張タイムスタンプ記述子がそれぞれ取得され、MPUタイムスタンプ記述子とMPU拡張タイムスタンプ記述子に基づいてPTSとDTSが求められる。PTSとDTSの算出は、他のMMTPパケットを用いて伝送されたMPUを構成する各アクセスユニットの復号開始前に行われる。
【０１２７】
＜３．MPEG-2 TSについて＞
次に、MPEG-2 TSについて説明する。
【０１２８】
図１９は、TSを構成するTSパケットの構成を示す図である。
【０１２９】
１つのTSパケットは、４bytesのヘッダに対して、１８４bytesの、ペイロード、アダプテーションフィールド、または、その両方が付加されることによって構成される。ヘッダには、例えば、ペイロード中に含まれるデータの種類の識別情報であるPIDが含まれる。このようなTSパケットの構成については例えばISO/IEC 138180-1で規定される。
【０１３０】
TSパケットのアダプテーションフィールドには、図２０において斜線を付して示すようにPCRが含まれる。図２０はアダプテーションフィールドの構成を示す図である。
【０１３１】
MMTからMPEG-2 TSへの変換時、情報処理装置１においては、NTP形式の時刻情報により表されるMMTの参照時刻を変換して得られたPCRが、TSパケットのアダプテーションフィールドに設定される。
【０１３２】
図２１は、PES(Packetized Elementary Stream)パケットの構成を示す図である。
【０１３３】
MPEG-2 TSにおいては、ビデオとオーディオのストリームは所定の単位毎に分割され、PESパケットに格納される。１つのPESパケットが、複数のTSパケットに分割される。PESパケットにはヘッダが付加され、図２１に示すようにPTSとDTSが記述される。
【０１３４】
MMTからMPEG-2 TSへの変換時、情報処理装置１においては、MMT-SIを解析することによって算出されたMMTのPTSとDTSを変換して得られたPTSとDTSがPESパケットに設定される。
【０１３５】
＜４．情報処理装置の構成例＞
図２２は、情報処理装置１の構成例を示すブロック図である。
【０１３６】
情報処理装置１は、受信部３１、MMT信号処理部３２、記録制御部３３、ドライブ３４、出力制御部３５、および通信部３６から構成される。
【０１３７】
受信部３１は、図示せぬアンテナからの放送波信号を受信し、復調処理、誤り訂正処理などの各種の処理を施す。受信部３１は、各種の処理を施すことによって得られたTVLストリームをMMTのコンテンツとしてMMT信号処理部３２に出力する。
【０１３８】
また、受信部３１は、コンテンツの伝送が通信の伝送路を介して行われる場合、通信部３６を制御してMMTのコンテンツを受信し、所定の処理を施すことによって得られたTVLストリームをMMT信号処理部３２に出力する。
【０１３９】
MMT信号処理部３２は、MMTのコンテンツを再生し、コンテンツの映像と音声をテレビジョン受像機から出力させたり、MMTのコンテンツをMPEG-2 TSのコンテンツに変換したりする。
【０１４０】
例えば、MMT信号処理部３２は、MMTのコンテンツを再生する場合、受信部３１から供給されたTLVストリームからビデオデータとオーディオデータを抽出し、デコードする。MMT信号処理部３２は、デコードして得られたコンテンツの映像と音声のデータを出力制御部３５に出力する。
【０１４１】
また、MMT信号処理部３２は、MMTのコンテンツをMPEG-2 TSのコンテンツに変換する場合、受信部３１から供給されたTLVストリームから抽出したMMTPパケットに格納されているデータをTSパケットに格納し直すなどしてTSを生成する。MMT信号処理部３２は、MPEG-2 TSのコンテンツを記録媒体１１に記録する場合、生成したTSを記録制御部３３に出力し、ネットワーク１２を介して他の装置に送信する場合、生成したTSを通信部３６に出力する。
【０１４２】
記録制御部３３は、ドライブ３４を制御し、MMT信号処理部３２により生成されたTSを、ドライブ３４に装着された記録媒体１１に記録させる。
【０１４３】
出力制御部３５は、MMT信号処理部３２から供給された映像と音声のデータを情報処理装置１に接続された例えばテレビジョン受像機に供給し、ディスプレイとスピーカからそれぞれ出力させる。
【０１４４】
通信部３６は、ネットワーク１２を介して各種の装置と通信を行う。例えば、通信部３６は、サーバからネットワーク１２を介して配信されたMMTのコンテンツを受信し、受信部３１に出力する。また、通信部３６は、MMT信号処理部３２により生成されたTSを、ネットワーク１２を介して他の装置に送信する。
【０１４５】
図２３は、図２２のMMT信号処理部３２と記録制御部３３の構成例を示すブロック図である。
【０１４６】
デマルチプレクサ５１は、受信部３１から供給されたTLVストリームを構成するTLVパケットからIPパケットを抽出し、IPパケットを用いて伝送されたMMTのデータのDEMUX処理を行う。
【０１４７】
例えば、デマルチプレクサ５１は、TLVパケットを用いて伝送された、NTP形式の時刻情報を含むIPパケットを抽出し、比較器５２に出力する。図５を参照して説明したように、NTP形式の時刻情報を含むIPパケットは、TLVストリームを構成するスロットのうちの最初のスロットの先頭に配置される。
【０１４８】
また、デマルチプレクサ５１は、IPパケットを用いて伝送されたMMTPパケットのうち、MMT-SIを格納するMMTPパケットをMMT-SI解析部５５に出力する。デマルチプレクサ５１は、MPUを構成するビデオデータ、オーディオデータを格納するMMTPパケットをMPU/MMTパケット解析部５８に出力する。MMTPペイロードに格納されるデータの種類については、MMTPパケットのpayload_typeにより識別される（図８）。
【０１４９】
比較器５２は、デマルチプレクサ５１から供給されたIPパケットに格納されたNTP形式の時刻情報（３２＋ｎbitのカウンタ値）をNTPクロックカウンタ５３に出力し、カウンタ値の初期値として設定する。
【０１５０】
また、比較器５２は、NTP形式の時刻情報を含むIPパケットがデマルチプレクサ５１から供給される毎に、NTPクロックカウンタ５３からの時刻情報と、デマルチプレクサ５１から供給されたNTP形式の時刻情報との誤差を求め、NTPクロックカウンタ５３に出力する。
【０１５１】
NTPクロックカウンタ５３は、図示せぬVCOが生成する２ｎHzのクロック信号をカウントし、３２＋ｎbitのカウンタ値を表す２ｎHzのシステムクロック信号を出力する。NTPクロックカウンタ５３から出力されたシステムクロック信号は、比較器５２、クロック変換部５４、および映像音声同期制御部５６に供給される。
【０１５２】
クロック変換部５４は、NTPクロックカウンタ５３から供給された２ｎHzのシステムクロック信号により表される３２＋ｎbitのカウンタ値を、MPEG-2 TSのPCRを示す４２bitのカウンタ値（２７MHz）に変換する。クロック変換部５４による変換の詳細については後述する。クロック変換部５４は、変換して得られた４２ビットのカウンタ値をPCRとしてTS化処理部６２に出力する。
【０１５３】
MMT-SI解析部５５は、デマルチプレクサ５１から供給されたIPパケットに格納されたMMTPパケットからMMT-SIを取得し、解析する。例えば、MMT-SI解析部５５は、MMTPパケットに格納されたPAメッセージにより伝送されたMPTを取得し、MPTに記述されたMPUタイムスタンプ記述子（図１６）とMPU拡張タイムスタンプ記述子（図１７）を取得する。
【０１５４】
また、MMT-SI解析部５５は、MPUタイムスタンプ記述子に基づいて各MPUのPTSを算出する（特定する）。MMT-SI解析部５５は、各MPUのPTSと、MPU拡張タイムスタンプ記述子の記述とを図１８を参照して説明したようにして用いて、各MPUを構成するアクセスユニットのDTSを算出する。
【０１５５】
MMT-SI解析部５５は、算出したPTSとDTSを、MPUのシーケンス番号を示すmpu_sequence_numberとともに、映像音声同期制御部５６とタイムスタンプ変換部５７に出力する。上述したように、MPUタイムスタンプ記述子に含まれるmpu_sequence_numberは、提示時刻を指定するMPUのシーケンス番号を示す（図１６）。また、MPU拡張タイムスタンプ記述子に含まれるmpu_sequence_numberは、復号時刻等を指定するアクセスユニットが含まれるMPUのシーケンス番号を示す（図１７）。
【０１５６】
MMT-SI解析部５５は、TTML形式の字幕データ（以下、適宜、TTML字幕という）の伝送が行われており、TTML文書内の時刻がNTP形式で表される場合、MH-データ符号化方式記述子を解析し、その起点となる時刻であるRST(Reference Start Time)を特定する。MMT-SI解析部５５は、特定したRSTを映像音声同期制御部５６とタイムスタンプ変換部５７に出力する。
【０１５７】
映像音声同期制御部５６は、NTPクロックカウンタ５３からのシステムクロック信号に従って動作し、MMT-SI解析部５５により算出されたPTSとDTSに基づいて、映像音声デコーダ６０によるデコードと出力のタイミングを制御する。映像音声同期制御部５６による映像音声デコーダ６０の制御は、MPU/MMTパケット解析部５８から供給されたMPUメタデータ、ムービーフラグメントメタデータなどのメタデータにも基づいて行われる。
【０１５８】
タイムスタンプ変換部５７は、MMT-SI解析部５５により算出されたPTSとDTSを表す３２＋ｎbitのカウンタ値を、それぞれ、MPEG-2 TSの３３bitのPTSとDTSを表すカウンタ値（９０kHz）に変換する。タイムスタンプ変換部５７による変換の詳細については後述する。タイムスタンプ変換部５７は、変換して得られたMPEG-2 TSのPTSとDTSをTS化処理部６２に出力する。
【０１５９】
タイムスタンプ変換部５７からは、変換して得られたMPEG-2 TSのPTSとDTSが関係するMPUのシーケンス番号を表すmpu_sequence_numberが出力される。また、タイムスタンプ変換部５７においては、適宜、MPEG-2 TSに含める必要のあるSIがMMT-SIに基づいて生成され、TS化処理部６２に出力される。
【０１６０】
また、タイムスタンプ変換部５７は、MMT-SI解析部５５により特定されたRSTのカウンタ値をMPEG-2 TSの３３bitのカウンタ値（９０kHz）に変換する。タイムスタンプ変換部５７は、変換して得られたカウンタ値を、MTS(Module Time Stamp)としてTS化処理部６２に出力する。
【０１６１】
タイムスタンプ変換部５７は、変換の対象とするMMTのビデオ、オーディオの伝送が閏秒を跨いで行われている場合、閏秒の調整の影響を排除するようにタイムスタンプの変換を行う。
【０１６２】
MPU/MMTパケット解析部５８は、デマルチプレクサ５１から供給されたIPパケットに格納されたMMTPパケットを解析することによって、各MPUのデータを取得する。各MPUのデータであるMPUメタデータ、ムービーフラグメントメタデータ、およびMFUは、それらが属するMPUのシーケンス番号を示す情報であるMPU_sequence_number（図９）により特定される。
【０１６３】
MPU/MMTパケット解析部５８は、MMTのコンテンツの再生時、MMTPペイロードから取得した各MPUのMPUメタデータとムービーフラグメントメタデータなどのメタデータを映像音声同期制御部５６に出力する。また、MPU/MMTパケット解析部５８は、MMTPペイロードから取得した、各MPUを構成するMFUのビデオデータとオーディオデータをデコーダバッファ５９に出力する。
【０１６４】
一方、MPU/MMTパケット解析部５８は、MMTからMPEG-2 TSへフォーマットの変換時、MMTPペイロードから取得した、各MPUを構成するMFUのビデオデータ（VIDEO ES）とオーディオデータ（AUDIO ES）を、MPU_sequence_numberとともにバッファ６１に出力する。
【０１６５】
TTML字幕の伝送が行われている場合、MPU/MMTパケット解析部５８は、MMTPペイロードから取得したTTML字幕のデータ（SUBTITLE DATA）をMPU_sequence_numberとともにバッファ６１に出力する。
【０１６６】
映像音声デコーダ６０は、映像音声同期制御部５６による制御に従って、デコーダバッファ５９に記録されたビデオデータとオーディオデータをデコードし、出力する。映像音声デコーダ６０から出力されたデータは出力制御部３５に供給され、コンテンツの映像と音声が出力される。
【０１６７】
TS化処理部６２は、バッファ６１に記録されたビデオデータ、オーディオデータのデータのうち、MPU_sequence_numberとして同じ値が設定されたデータをまとめることによってPESを構成する。また、TS化処理部６２は、各PESに対して、タイムスタンプ変換部５７から供給された、各PESに関連するPTSとDTSを付加し、PESパケットを生成する。各PTS/DTSをどのPESに付加するのかは、タイムスタンプ変換部５７から供給されたmpu_sequence_numberに基づいて特定される。
【０１６８】
TS化処理部６２は、生成したPESパケットのTSパケット化を行う。TS化処理部６２は、PESパケットのデータをペイロードに格納したTSパケットと、クロック変換部５４により生成されたPCRをアダプテーションフィールドに含むTSパケットに基づいてTSを生成する。
【０１６９】
TS化処理部６２は、TTML字幕のデータをDSM-CC(Digital Storage Media Command and. Control)のMulti Part Module形式で多重化することによってTSを生成することなども行う。
【０１７０】
Partial TSの生成時、TS化処理部６２は、ARIB STD-B14で規定される、PAT、PMT、DAT、SITなどのMPEG-2 TSのSIを、タイムスタンプ変換部５７から供給された情報に基づいてTSに埋め込む。
【０１７１】
PAT(Program Association Table)は、Partial TSに関連するPMTを伝送するTSパケットのパケット識別子を指定する情報である。PMT(Program Map Table)は、放送番組を構成する各符号化信号を伝送するTSパケットのパケット識別子を指定する情報である。PATとPMTは、100msに一回以上の周期で再送される。
【０１７２】
DIT(Discontinuity Information Table)は、Partial TSで伝送される番組の番組配列情報が不連続かもしれない変化点を指示する情報である。SIT(Selection Information Table)は、Partial TSで伝送される番組に関する情報を指示する情報である。
【０１７３】
TS化処理部６２は、以上のようなTS化処理を行うことによって得られたTSを記録制御部３３に出力する。
【０１７４】
制御部６３は、クロック変換処理で用いられるカウンタ値の初期値をクロック変換部５４に設定し、タイムスタンプ変換処理で用いられるカウンタ値の初期値をタイムスタンプ変換部５７に設定する。
【０１７５】
フォーマット変換時に行われる、クロック変換処理、タイムスタンプ変換処理、およびES再多重変換処理は、それぞれ異なる処理時間を要する。クロック変換処理は、図２４の矢印＃１１で示す、比較器５２、NTPクロックカウンタ５３、およびクロック変換部５４における処理である。タイムスタンプ変換処理は、矢印＃１２で示すMMT-SI解析部５５、タイムスタンプ変換部５７における処理である。ES再多重変換処理は、矢印＃１３で示すMPU/MMTパケット解析部５８、バッファ６１における処理である。
【０１７６】
制御部６３は、それぞれの処理の遅延の影響を排除するように初期値を設定することによってオフセット調整を行う。
【０１７７】
記録制御部３３は、T-STD８１、PLL８２、Arrival time clock counter８３、Source packetizer８４、およびWrite Buffer８５から構成される。なお、図２３に示す記録制御部３３の構成は、レコーディングプロセスを規定するための概念上のモデルである。記録制御部３３は、このレコーダモデルに従って、TSを構成するTSパケットにATS(Arrival_time_stamp)を付加し、ソースパケットの並びを生成する機能を有する。
【０１７８】
MMT信号処理部３２から供給されたTSのi番目のバイトは、T-STD(Transport stream system target decoder)８１とSource packetizer８４に対して、時刻t(i)に入力される。
【０１７９】
なお、T-STD８１はレコーダモデルにおける仮想的なデコーダである。T-STD８１に対応するデコーダが記録制御部３３に存在するわけではない。
【０１８０】
PLL８２は、TSのPCRの値にロックされた２７MHzのクロックを発生する。
【０１８１】
Arrival time clock counter８３は、PLL８２が出力する２７MHzの周波数のパルスをカウントするバイナリカウンタである。Arrival_time_clock(i)は、時刻t(i)におけるArrival time clock counter８３のカウンタ値である。
【０１８２】
Source packetizer８４は、すべてのTSパケットにTP_extra_headerを付加し、ソースパケットを生成する。また、Source packetizer８４は、TSパケットにATSを付加する。
【０１８３】
具体的には、Source packetizer８４は、Arrival time clock counter８３から供給されるArrival_time_clock(i)を基に、ソースパケットのTP_extra_headerにおけるATSの値を設定する。ATSは、TSパケットの第１バイト目がT-STD８１とSource packetizer８４の両方へ到着する時刻を表す。
【０１８４】
Write Buffer８５は、Source packetizer８４により生成されたソースパケットを記録する。Write Buffer８５から出力された各ソースパケットは、ドライブ３４に供給され、記録媒体１１に記録される。
【０１８５】
このように、MMT信号処理部３２においては、TTML字幕の伝送が行われている場合にはそのタイムスタンプの変換も行われる。以下においては、ビデオ、オーディオ、TTML字幕に関するクロックの変換と、ビデオとオーディオのタイムスタンプの変換について主に説明する。
【０１８６】
＜５．カウンタ値の変換について＞
＜５−１．タイムスタンプ変換＞
ここで、PTS/DTSを示すカウンタ値の変換について説明する。
【０１８７】
（１）タイムスタンプ変換の基本的な流れ
図２５は、MPEG-2 TSにおけるカウンタ値と時間の関係を示す図である。
【０１８８】
図２５に示すグラフの横軸は時刻を示し、縦軸はカウンタ値を示す。図２６以降においても同様である。
【０１８９】
MPEG-2 TSのPTS/DTSは、３３bit＠９０kHzのカウンタ値で表される。「＠９０kHz」の表記は、カウンタの精度（分解能）が９０kHzであることを表す。
【０１９０】
MPEG-2 TSのカウンタ値のラップアラウンド（桁上がり）は、下式（３）に示されるように、おおよそ２６．５h毎に生じる。
【数３】
2018182677.tif 000005
【０１９１】
MPEG-2 TSのカウンタ値と実時間との関係は、図２５の実線で示されるものとなる。
【０１９２】
図２６は、MMTにおけるカウンタ値と時間の関係を示す図である。
【０１９３】
MMTのPTS/DTSは、NTP形式により３２＋ｎbit＠２ｎHzのカウンタ値で表される。
【０１９４】
MMTのカウンタ値のラップアラウンドは、下式（４）に示されるように、1193046h毎に生じる。
【数４】
2018182677.tif 000006
【０１９５】
MMTのカウンタ値と実時間との関係は、図２６の実線で示されるものとなる。
【０１９６】
NTPのカウンタ値は、UTCの1900年1月1日0時0分0秒を起点とした値である。MPEG-2 TSのSTC(System Time Clock)の起点における時刻を、原点の1900年1月1日0時0分0秒より後の任意の時刻として、MPEG-2 TSのカウンタの特性（図２５）とMMTのカウンタの特性（図２６）を重ねて示すと図２７に示すものとなる。
【０１９７】
1900年1月1日0時0分0秒と、システム／プログラム毎に独立に計時されるMPEG-2 TSのSTCおよびそれを伝送するPCR(Program Clock Reference)の起点とは固定的な関係がないため、NTPの起点とSTCの起点を一致させる必要はない。
【０１９８】
ここで、MPEG-2 TSのSTCのカウント開始時刻を時刻Ｓとする。時刻Ｓは、例えばコンテンツのフォーマットを変換してBDに記録（録画）する際の録画開始時刻である。
【０１９９】
また、時刻Ｓにおける、MMTのカウンタ値（UTC時刻）をＳ＠MMT、MPEG-2 TSのカウンタ値（STCカウント開始値（初期値））をＳ’＠MPEG-2 TSとする。
【０２００】
MMTのPTS/DTSが所定の時刻を示す場合、それに対応するMPEG-2 TSのPTS/DTSは、その所定の時刻を表すMPEG-2 TSのカウンタ値を、MMTのカウンタ値に基づいて求めることによって特定される。
【０２０１】
具体的には、MPEG-2 TSのカウンタ値Ｘ’は、MMTのカウンタ値Ｘを元にして以下の手順で求められる。
【０２０２】
・手順１
MPEG-2 TSのカウンタ（３３bit＠９０kHz）のラップアラウンドが生じるカウンタ値Ａ’は、下式（５）により表される。
【数５】
2018182677.tif 000007
【０２０３】
MMTのカウンタ（３２＋ｎbit＠２ｎHz）の１秒未満をｎbit分解能（２ｎHz）として、２33を２ｎと９０kの比とする。この場合、MPEG-2 TSのカウンタのラップアラウンド毎の、MMTのカウンタ値の間隔Ａは、下式（６）により表される。
【数６】
2018182677.tif 000008
【０２０４】
MPEG-2 TSのカウンタ値Ａ’とMMTのカウンタ値の間隔Ａを図２７に示す。
【０２０５】
・手順２
MMTのカウンタ値ＸをＸ＠MMT、Ｘ＠MMTを元にして求めようとするMPEG-2 TSのカウンタ値Ｘ’をＸ’＠MPEG-2 TSとする。Ｘ＠MMTとＸ’＠MPEG-2 TSの例を図２８に示す。
【０２０６】
MMTのカウンタ値がＸ＠MMTとなる時刻（時刻Ｘ）における、MPEG-2 TSのカウンタ値であるＸ’＠MPEG-2 TSは、MMTのカウンタ値がＳ＠MMTからＸ＠MMTまで増加する間のMPEG-2 TSのカウンタ値の増加分に、MPEG-2 TSのカウンタの初期値Ｓ’を加えたものである。図２８の白丸で示すＸ’aliasは、下式（７）により表される。
【数７】
2018182677.tif 000009
【０２０７】
A’（MPEG-2 TSのカウンタ値Ａ’)の剰余を求めることによってMPEG-2 TSのカウンタのラップアラウンドの影響を排除すると、求めようとするMPEG-2 TSのカウンタ値Ｘ’は下式（８）により表される。
【数８】
2018182677.tif 000010
【０２０８】
このように、MPEG-2 TSのカウンタ値として任意の初期値Ｓ’を設定した上で、MMTのカウンタ値Ｘに対応する、MPEG-2 TSのカウンタ値Ｘ’を求めることが可能になる。
【０２０９】
任意の初期値Ｓ’を設定できるようにすることにより、クロック変換処理やES再多重変換処理との遅延差や、MMTとMPEG-2 TSのバッファモデルの違いによるタイミング差の調整が可能になる。
【０２１０】
すなわち、制御部６３は、遅延差などを調整するような初期値Ｓ’をタイムスタンプ変換部５７に設定し、MMTのPTS/DTSをMPEG-2 TSのPTS/DTSに変換させる。
【０２１１】
（２）閏秒の調整を考慮したタイムスタンプ変換
（２−１）閏秒の挿入があった場合
図２９は、閏秒の挿入があった場合のタイムスタンプの変換の例を示す図である。図２９には、閏秒の挿入があった時刻（午前8時59分59秒）近傍が拡大して示されている。
【０２１２】
図２９の下方に示すように、閏秒の挿入があった場合、MPU拡張タイムスタンプ記述子のmpu_presentation_time_leap_indicator（図１７）の値は、１回目の午前8時59分59秒の直後のタイミングで１から０に切り替わる。TTML字幕の時刻の閏秒の調整に用いられるMH-データ符号化方式記述子のreference_start_time_leap_indicatorの値も、mpu_presentation_time_leap_indicatorの値と同様にして切り替わる。
【０２１３】
また、閏秒の挿入があった場合、NTPのleap_indicator（図４）の値は、午前8時59分59秒を挿入した直後のタイミングで１から０に切り替わる。
【０２１４】
この場合、図２９の上方に示すように、MMTのカウンタ値は、閏秒である２回目の午前8時59分59秒になる直前のタイミングで、閏秒（１秒）に相当する分だけ減少し、その後、閏秒の挿入がある前と同様に増加する。MMTのカウンタ値は、実線＃２１と実線＃２２に示すように不連続点を挟んで増加することになる。
【０２１５】
ここで、例えばBDに記録する場合の１Clip（1TS）の連続録画時間は最大約２６時間半であるから、実用的な連続録画時間内に考慮する必要がある閏秒による調整回数は１回と仮定できる。
【０２１６】
閏秒挿入以降のある時刻のMMTのカウンタ値Ｘ（Ｘ＠MMT）を元にして、MPEG-2 TSのカウンタ値Ｘ’を上述したようにして求めた場合、図２９において黒丸で示されるMPEG-2 TSのカウンタ値Ｘ’（Ｘ’＠MPEG-2 TS）が求められる。このMPEG-2 TSのカウンタ値Ｘ’は、閏秒の挿入分を補正する前のカウンタ値となる。
【０２１７】
MMTのカウンタ値Ｘを元にして求めたMPEG-2 TSのカウンタ値Ｘ’を以下のように補正する。閏秒の挿入によるUTC補正は１秒の補正であるから、MPEG-2 TSのカウンタ値の補正量は、９０kHzのカウンタでは90000となる。
【０２１８】
（ｉ）変換元のMMTのカウンタ値の情報が載った記述子のleap_indicatorの値が１の期間が、録画開始時刻（時刻Ｓ）からMMTのカウンタ値の時刻までの間にあり、変換対象となるMMTのカウンタ値の時刻においてはleap_indicatorの値が０である場合。
【０２１９】
この場合、MMTのカウンタ値Ｘを元にして求められたMPEG-2 TSのカウンタ値Ｘ’は下式（９）により補正される。
【数９】
2018182677.tif 000011
【０２２０】
これにより、閏秒挿入以降のある時刻のMMTのカウンタ値Ｘを元にして求められたMPEG-2 TSのカウンタ値Ｘ’は、上向き矢印の先に示すように補正される。閏秒の挿入があった場合でも、MPEG-2 TSのカウンタ値Ｘ’の増加は、不連続点を挟むことなく、直線＃３１で表されることになる。
【０２２１】
（ｉｉ）それ以外の場合。すなわち、変換元のMMTのカウンタ値の情報が載った記述子のleap_indicatorの値が１の期間が、録画開始時刻からMMTのカウンタ値の時刻までの間にないか、または、変換対象となるMMTのカウンタ値の時刻においてはleap_indicatorの値が１である場合。
【０２２２】
この場合、MPEG-2 TSのカウンタ値Ｘ’の補正は行われず、MMTのカウンタ値Ｘを元にして求められたMPEG-2 TSのカウンタ値Ｘ’がそのまま用いられる。
【０２２３】
（２−２）閏秒の削除があった場合
図３０は、閏秒の削除があった場合のタイムスタンプの変換の例を示す図である。図３０には、閏秒の削除があった時刻（午前8時59分59秒）近傍が拡大して示されている。
【０２２４】
図３０の下方に示すように、閏秒の削除があった場合、MPU拡張タイムスタンプ記述子のmpu_presentation_time_leap_indicator（図１７）の値は、午前8時59分58秒の直後のタイミングで２から０に切り替わる。TTML字幕の時刻の閏秒の調整に用いられるMH-データ符号化方式記述子のreference_start_time_leap_indicatorの値も、mpu_presentation_time_leap_indicatorの値と同様にして切り替わる。
【０２２５】
また、閏秒の削除があった場合、NTPのleap_indicator（図４）の値は、午前8時59分58秒の直後のタイミングで２から０に切り替わる。
【０２２６】
この場合、図３０の上方に示すように、MMTのカウンタ値は、午前8時59分59秒になる直前のタイミングで、閏秒（１秒）に相当する分だけ増加し、その後、閏秒の削除がある前と同様に増加する。MMTのカウンタ値は、実線＃５１と実線＃５２に示すように不連続点を挟んで増加することになる。
【０２２７】
ここで、例えばBDに記録する場合の１Clip（1TS）の連続録画時間は最大２６時間半であるから、実用的な連続録画時間内に考慮する必要がある閏秒による調整回数は１回と仮定できる。
【０２２８】
閏秒削除以降のある時刻のMMTのカウンタ値Ｘ（Ｘ＠MMT）を元にして、MPEG-2 TSのカウンタ値Ｘ’を上述したようにして求めた場合、図３０において黒丸で示されるMPEG-2 TSのカウンタ値Ｘ’（Ｘ’＠MPEG-2 TS）が求められる。このMPEG-2 TSのカウンタ値Ｘ’は、閏秒の削除分を補正する前のカウンタ値となる。
【０２２９】
MMTのカウンタ値Ｘを元にして求めたMPEG-2 TSのカウンタ値Ｘ’を以下のように補正する。閏秒の削除によるUTC補正は毎回１秒の補正であるから、MPEG-2 TSのカウンタ値の補正量は、９０kHzカウンタでは90000となる。
【０２３０】
（ｉ）変換元のMMTのカウンタ値の情報が載った記述子のleap_indicatorの値が２の期間が、録画開始時刻からMMTのカウンタ値の時刻までの間にあり、変換対象となるMMTのカウンタ値の時刻においてはleap_indicatorの値が０である場合。
【０２３１】
この場合、MMTのカウンタ値Ｘを元にして求められたMPEG-2 TSのカウンタ値Ｘ’は下式（１０）により補正される。
【数１０】
2018182677.tif 000012
【０２３２】
これにより、閏秒削除以降のある時刻のMMTのカウンタ値Ｘを元にして求められたMPEG-2 TSのカウンタ値Ｘ’は、下向き矢印の先に示すように補正される。閏秒の削除があった場合でも、MPEG-2 TSのカウンタ値Ｘ’の増加は、不連続点を挟むことなく、直線＃６１で表されることになる。
【０２３３】
（ｉｉ）それ以外の場合。すなわち、変換元のMMTのカウンタ値の情報が載った記述子のleap_indicatorの値が２の期間が、録画開始時刻からMMTのカウンタ値の時刻までの間にないか、または、変換対象となるMMTのカウンタ値の時刻においてはleap_indicatorの値が２である場合。
【０２３４】
この場合、MPEG-2 TSのカウンタ値Ｘ’の補正は行われず、MMTのカウンタ値Ｘを元にして求められたMPEG-2 TSのカウンタ値Ｘ’がそのまま用いられる。
【０２３５】
このように、タイムスタンプ変換部５７は、MMTの時刻情報において閏秒による調整があった場合、その影響を排除するように、MPEG-2 TSのカウンタ値Ｘ’の補正を行う。
【０２３６】
なお、閏秒の調整があるか否かの判断は、MPU拡張タイムスタンプ記述子の解析結果に基づいて行われるようにしてもよいし、NTPの解析結果に基づいて行われるようにしてもよい。後者の場合、例えば、図示せぬ解析部によりNTPの解析が行われ、leap_indicatorの値を表す情報が解析結果としてタイムスタンプ変換部５７に供給される。
【０２３７】
＜５−２．クロック変換＞
次に、クロック変換について説明する。
【０２３８】
MMTにおいて、NTP形式の参照時刻は、３２＋ｎbit＠２ｎHzのカウンタ値として表される。
【０２３９】
また、MPEG-2 TSにおいて、参照時刻としてのPCRは、４２bit＠２７MHzのカウンタ値（下式）として表される。
３３bit(９０kHz counter 0-(233-1)) + ６bit(Reserve) + ９bit(２７MHz counter 0-300)
【０２４０】
クロック変換部５４は、３２＋ｎbit＠２ｎHzのカウンタ値を４２bit＠２７MHzのカウンタ値に変換し、PCRとして出力する。
【０２４１】
図３１は、クロック変換処理を行う構成を示すブロック図である。
【０２４２】
図３１に示す構成のうち、図２３を参照して説明した構成には同じ符号を付してある。図３１に示すように、クロック変換処理は、２ｎHz PLL１０１と２７MHz PLL１０２の２段のPLLにより行われる。２７MHz PLL１０２が、クロック変換部５４に相当する。
【０２４３】
２ｎHz PLL１０１は、比較器５２、２ｎHz VCO１１１、およびNTPクロックカウンタ５３により構成される。２ｎHz PLL１０１に対しては、NTP形式の時刻情報がデマルチプレクサ５１から入力される。
【０２４４】
比較器５２は、NTP形式の時刻情報（reference_timestamp）が入力されたことをトリガとして、入力された３２＋ｎbit＠２ｎHzのカウンタ値と、NTPクロックカウンタ５３のカウンタ値とを比較する。
【０２４５】
比較器５２に対しては、例えば図示せぬ解析部により解析されたreference_timestampの値が入力される。図４を参照して説明したように、reference_timestampは３２＋ｎbit＠２ｎHzのカウンタ値である。比較器５２は、比較結果に応じて２ｎHz VCO１１１の発振周波数を制御する。比較器５２によるカウンタ値の比較は、NTP形式の時刻情報が入力される毎に行われる。
【０２４６】
２ｎHz VCO１１１は、比較器５２による制御に従って、２ｎHzのクロック信号（NTPクロック）をNTPクロックカウンタ５３に出力する。
【０２４７】
NTPクロックカウンタ５３は、カウント開始時、NTP形式の時刻情報に基づいてカウンタ値の初期値を設定する。閏秒による調整が行われている場合、閏秒の調整後のカウンタ値が設定される。
【０２４８】
NTPクロックカウンタ５３は、ｎbitカウンタ５３Ａと３２bitカウンタ５３Ｂから構成される。NTPクロックカウンタ５３は、２ｎHz VCO１１１から供給されるNTPクロックに応じて、１秒以下を表すカウンタ値のカウントをｎbitカウンタ５３Ａにおいて行い、１秒以上を表すカウンタ値のカウントを３２bitカウンタ５３Ｂにおいて行う。NTPクロックカウンタ５３による３２＋ｎbit＠２ｎHzのカウンタ値は比較器５２に供給される。
【０２４９】
一方、２７MHz PLL１０２は、分周器１２１、設定器１２２、比較器１２３、２７MHz VCO１２４、STCカウンタ１２５、および演算器１２６から構成される。分周器１２１に対しては、ｎbitカウンタ５３Ａのカウンタ値が入力される。
【０２５０】
すなわち、NTPクロックカウンタ５３の１秒以上を表すカウンタ値は、２７MHz PLL１０２においては用いられない。閏秒の調整は１秒の調整であるから、MMTにおいて生じることのある閏秒の調整の影響は、ｎbitカウンタ５３Ａのカウンタ値だけが２７MHz PLL１０２に入力されるようにすることにより、いわば吸収されることになる。
【０２５１】
分周器１２１は、ｎbitカウンタ５３Ａのカウンタ値を分周比ｘで分周し、トリガ信号を比較器１２３に周期的に出力する。
【０２５２】
設定器１２２は、期待値ｄを比較器１２３に設定する。期待値ｄは、ｎbitカウンタ５３Ａのカウンタ値がｘだけカウントアップするの間の、STCの増加分ΔSTCの期待値である。
【０２５３】
ここで、分周比ｘと期待値ｄは、下式（１１）の関係を満たすように設定される。
【数１１】
2018182677.tif 000013
【０２５４】
分周比ｘと期待値ｄが上式（１１）の関係を満たすことは、NTPとSTCのそれぞれの時間粒度（２ｎHzと２７MHz）に誤差（剰余）が生じない周波数で比較器１２３により比較が行われることを表す。
【０２５５】
例えば、ｎ＝２４bit、比較周波数を３２Hzとすると、分周比ｘと期待値ｄはそれぞれ下式（１２）、（１３）のように表される。
【数１２】
2018182677.tif 000014
【数１３】
2018182677.tif 000015
【０２５６】
この例の場合、比較器１２３による比較は31.25msec（1/32Hz）周期で行われる。この比較周期はNTPの送出間隔である33.04647msecに近く、これにより、２７MHz PLL１０２での位相比較（カウンタ値の比較）が、NTPの送出間隔に近い周期で行われることになる。
【０２５７】
比較器１２３は、分周器１２１からトリガ信号が供給される毎に、設定器１２２により設定された期待値ｄと、演算器１２６により求められたSTCの増加分ΔSTCとを比較する。比較器１２３は、比較結果に応じて２７MHz VCO１２４の発振周波数を制御する。
【０２５８】
期待値ｄに対して増加分ΔSTCが遅れている場合にはSTCを進ませるように発振周波数が制御され、期待値ｄに対して増加分ΔSTCが進んでいる場合にはSTCを遅らせるように発振周波数が制御される。
【０２５９】
２７MHz VCO１２４は、比較器１２３による制御に従って２７MHzのクロック信号（STCクロック）をSTCカウンタ１２５に出力する。
【０２６０】
STCカウンタ１２５は、９bitカウンタ１２５Ａと３３bitカウンタ１２５Ｂから構成される。STCカウンタ１２５は、２７MHz VCO１２４から供給されるSTCクロックに応じて９bitカウンタ１２５Ａにおいてカウンタ値のカウントを行う。また、STCカウンタ１２５は、２７MHzのSTCクロックを３００分周した９０kHzのクロック信号に応じて３３bitカウンタ１２５Ｂにおいてカウンタ値のカウントを行う。
【０２６１】
９bitカウンタ１２５Ａと３３bitカウンタ１２５Ｂの４２bit（３３bit＋９bit）のカウンタ値はSTCであり、演算器１２６に供給される。また、４２bit（３３bit＋９bit）のカウンタ値は、MPEG-2 TSのPCRを示す４２bitのカウンタ値として出力される。
【０２６２】
STCカウンタ１２５は、リセット時、カウンタ値の初期値を設定する。初期値は、タイムスタンプ変換処理の遅延とES再多重変換処理の遅延の影響を排除するような値が設定される。
【０２６３】
演算器１２６は、比較周期毎のSTCの増加分ΔSTCを求め、比較器１２３に出力する。STCカウンタ１２５のラップアラウンドの影響は、増加分ΔSTCの算出時に排除される。
【０２６４】
このように、クロック変換は、２ｎHz PLL１０１と２７MHz PLL１０２の２段のPLLを用いて行われる。NTPクロックの復調を行う２ｎHz PLL１０１の後段に２７MHz PLL１０２を設けることにより、STCクロックを、NTPクロックに同期させることが可能になる。
【０２６５】
NTPの閏秒の調整は±１秒の調整であるため、２７MHz PLL１０２における比較動作が、ｎbitカウンタ５３Ａのカウンタ値に基づいて３２Hzのような所定の整数の比較周波数で行われるようにすることにより、NTPの閏秒の調整が２７MHz PLL１０２におけるクロック変換に影響しないことになる。すなわち、閏秒の調整に影響されないクロック変換が可能となる。
【０２６６】
また、STCカウンタ１２５の初期値として任意の値を設定可能な構成とすることにより、オフセット調整機能を２７MHz PLL１０２が持つことになる。これにより、タイムスタンプ変換処理やES再多重化変換処理との遅延差の影響を排除することが可能になる。
【０２６７】
また、比較器１２３による比較が増分期待値を用いた比較であるため、NTP/UTC値とSTC初期値の関係を自由に選ぶことが可能になる。
【０２６８】
＜６．情報処理装置の動作＞
次に、図３２のフローチャートを参照して、MMTのコンテンツをMPEG-2 TSのコンテンツに変換し、記録媒体１１に記録する情報処理装置１の一連の処理について説明する。
【０２６９】
ステップＳ１において、受信部３１は、放送波の伝送路または通信の伝送路を介して供給されたMMTのコンテンツを受信して取得する。受信部３１は、MMTのコンテンツのデータであるTVLストリームをMMT信号処理部３２に出力する。
【０２７０】
ステップＳ２において、MMT信号処理部３２のデマルチプレクサ５１は、TLVストリームを構成するTLVパケットからIPパケットを抽出し、DEMUX処理を行う。すなわち、NTP形式の時刻情報を含むIPパケットは比較器５２に供給され、MMT-SIを格納するMMTPパケットはMMT-SI解析部５５に供給される。MPUを構成するビデオデータ、オーディオデータを格納するMMTPパケットはMPU/MMTパケット解析部５８に供給される。
【０２７１】
ステップＳ３において、MPU/MMTパケット解析部５８は、各MPUを構成するMFUのビデオデータ、オーディオデータをMMTPパケットから抽出する。抽出されたデータはMPU_sequence_numberとともにバッファ６１に出力され、記憶される。
【０２７２】
ステップＳ４において、MMT-SI解析部５５は、MMTPパケットに格納されているMMT-SIを解析することによってMPUタイムスタンプ記述子とMPU拡張タイムスタンプ記述子を取得する。
【０２７３】
ステップＳ５において、MMT-SI解析部５５は、MPUタイムスタンプ記述子とMPU拡張タイムスタンプ記述子に基づいて、各MPUのPTSと、各MPUを構成するアクセスユニットのDTSを算出する。
【０２７４】
また、MMT-SI解析部５５は、例えばMPU拡張タイムスタンプ記述子を解析することによって、閏秒の調整が行われているか否かを特定する。閏秒の調整が行われているか否かを表す情報は、PTS／DTSの情報とともにタイムスタンプ変換部５７に供給される。
【０２７５】
ステップＳ６において、制御部６３は、初期値となる所定のカウンタ値をクロック変換部５４とタイムスタンプ変換部５７にそれぞれ設定し、オフセット調整を行う。ここで設定される初期値は、例えば、クロック変換処理、タイムスタンプ変換処理、ES再多重変換処理の３つの処理の遅延に基づいて予め決められている値である。
【０２７６】
具体的には、MPEG-2 TSに多重化する同じタイミングのデータを得るための上記３つの処理のうち、クロック変換処理が、処理時間が最も短い処理であるとする。また、クロック変換処理の処理時間を基準としたときに、タイムスタンプ変換処理には＋0.5秒の遅延があり、ES再多重変換処理には＋1.0秒の遅延があるものとする。同じ時刻のデータとして多重化するPCR、タイムスタンプ、ビデオ／オーディオデータについては、ほぼ同じタイミングでTS化処理部６２に供給される必要がある。
【０２７７】
この場合、制御部６３は、クロック変換処理の初期値として、STCカウンタ１２５のカウンタ値を1.0秒だけ遅らせるような値を設定し、タイムスタンプ変換処理の初期値として、時刻Ｓを0.5秒だけ遅らせるような値を設定する。
【０２７８】
図３２の説明に戻り、ステップＳ７において、タイムスタンプ変換部５７は、MMTのタイムスタンプをMPEG-2 TSのタイムスタンプに変換する。すなわち、タイムスタンプ変換部５７は、MMT-SI解析部５５により算出されたMMTのPTS／DTSを表す３２＋ｎbit＠２ｎHzのカウンタ値を、それぞれ、MPEG-2 TSのPTS／DTSを表す３３bit＠９０kHzのカウンタ値に変換する。
【０２７９】
ステップＳ８において、クロック変換部５４は、３２＋ｎbit＠２ｎHzのカウンタ値として表されるNTP形式の時刻情報を、MPEG-2 TSのPCRを示す４２bitのカウンタ値に変換する。ここでは、２ｎHz PLL１０１と２７MHz PLL１０２により、図３１を参照して説明した処理が行われ、４２bit＠２７MHzのカウンタ値が生成される。生成されたカウンタ値はPCRとしてTS化処理部６２に供給される。
【０２８０】
ステップＳ９において、TS化処理部６２は、MPU_sequence_numberとして同じ値が設定されたビデオデータとオーディオデータを用いてPESを構成し、各PESに関連するPTSとDTSを付加することによってPESパケットを生成する。
【０２８１】
ステップＳ１０において、TS化処理部６２は、PESパケットのTSパケット化を行う。
【０２８２】
ステップＳ１１において、TS化処理部６２は、PESパケットのデータをペイロードに格納したTSパケットに対して、クロック変換部５４により生成されたPCRをアダプテーションフィールドに含むTSパケットを挿入し、TSを生成する。適宜、MMT-SIに基づいて生成されたSIを格納するTSパケットもTSに挿入される。
【０２８３】
ステップＳ１２において、記録制御部３３は、ドライブ３４を制御し、MMT信号処理部３２により生成されたTSを記録媒体１１に記録させる。情報処理装置１は、いわば、変換して得られたMPEG-2 TSのファイルを記録した記録媒体を製造する製造装置としても機能することになる。
【０２８４】
図３３は、情報処理装置１における一連の変換処理を示す図である。
【０２８５】
左端の破線矢印＃１０１の先に示すように、クロック変換処理として、NTP形式の時刻情報である３２＋ｎbit＠２ｎHzのカウンタ値を、４２bit＠２７MHzのカウンタ値に変換する処理が行われる。クロック変換処理にはオフセット調整が行われる。
【０２８６】
破線矢印＃１０２の先に示すように、クロック変換処理により得られた４２bit＠２７MHzのカウンタ値はPCRとしてTSパケットのアダプテーションフィールドに記述される。
【０２８７】
破線矢印＃１０３の先に示すように、MMTのMPTを解析することによって生成された、PMTなどのA/V符号化情報（SI）がTSに多重化される。
【０２８８】
MPTに含まれるMPUタイムスタンプ記述子とMPU拡張タイムスタンプ記述子の解析が行われ、破線矢印＃１０４の先に示すように、各AUのPTS/DTSがMPU毎に算出される。
【０２８９】
３２＋ｎbit＠２ｎHzのカウンタ値として表される、破線矢印＃１０５の先に示す各AUのPTS/DTSは、破線矢印＃１０６の先に示すように、タイムスタンプ変換処理が行われることによって、MPEG-2 TSのPTS/DTSに変換される。タイムスタンプ変換処理にはオフセット調整が行われる。
【０２９０】
破線矢印＃１０７の先に示すように、３３bit＠９０kHzのカウンタ値として表される、タイムスタンプ変換処理により得られたMPEG-2 TSのPTS/DTSは、各PESパケットのPESヘッダに記述される。
【０２９１】
以上の処理により、時間軸が異なるMMTのコンテンツをMPEG-2 TSのコンテンツに変換し、BDなどの記録媒体に記録することができる。
【０２９２】
＜７．TTML字幕のフォーマット変換＞
MMTのコンテンツにTTML字幕が含まれる場合、情報処理装置１においては、ビデオやオーディオと同様に、TTML字幕がTSに多重化される。
【０２９３】
ここで、TTMLは、W3C(World Wide Web Consortium)により策定されたXML(Extensible Markup Language)に基づくマークアップ言語である。TTMLにより、字幕の表示タイミング、表示位置などを指定することができる。Timed Textは、ビデオなどの他のメディアと同期して表示されるテキストであり、主に、CaptionとSubtitleの提示に用いられる。
【０２９４】
＜７−１．MMTにおけるTTML字幕の伝送＞
はじめに、MMTにおけるTTML字幕の伝送について説明する。
【０２９５】
図３４は、ARIB STD-B60で規定するMMTにおけるTTML字幕の伝送例を示す図である。
【０２９６】
図３４に示すように、TTML字幕のMPUには、MPUメタデータとムービーフラグメントメタデータは配置されず、１つ以上のMFUによって構成される。TTML字幕のMPUを構成するMFUは、字幕サンプルヘッダ部とサブサンプルデータ部で構成される。
【０２９７】
MPU中の最初のMFUにはTTML文書（ARIB-TTML文書）が配置され、TTML文書から参照する外部リソースがある場合には、後続のMFUに、その外部リソースのファイルがサブサンプルとして配置される。TTML文書、外部リソースとしての画像ファイル等は、それぞれ１つのサブサンプルとしてMFUに格納される。
【０２９８】
TTML字幕は、TTML文書のみからなることもあるし、TTML文書と、それが参照する画像ファイル等の外部リソースからなることもある。
【０２９９】
図３５は、TTML文書の記述例を示す図である。
【０３００】
主な記述について説明すると、<p>エレメントには、beginとendの各属性が含まれる。３行目と４行目の<span>エレメントは、字幕の一部区間を示す。
【０３０１】
図３５の記述は、「begin＝“00:00:05.000”」で指定される時刻である「00:00:05.000」から、「end＝“00:00:50.000”」で指定される時刻である「00:00:50.000」までの間、「r001」で指定される領域に「あいうえお」の字幕を表示し、「r002」で指定される領域に「かきくけこ」の字幕を表示することを表す。
【０３０２】
なお、「begin＝“00:00:05.000”」と「end＝“00:00:50.000”」は、それぞれ、ある時刻を起点とした、字幕の表示開始と表示終了の相対時刻を示すコードである。
【０３０３】
図３６は、MH-データ符号化方式記述子の構成を示す図である。
【０３０４】
MH-データ符号化方式記述子は、データ符号化方式を識別するために使用される。MH-データ符号化方式記述子は、MPTの字幕アセットループ（asset_type（図１５）＝stpp）中に配置される。
【０３０５】
additional_data_component_info（付加識別情報）は、識別子番号の拡張、又は符号化方式ごとに規定される補足情報の格納に使用される。TTML字幕を伝送する場合、付加識別情報として、Additional_Arib_Subtitle_Infoが記述される。
【０３０６】
図３７は、Additional_Arib_Subtitle_Infoの構成を示す図である。
【０３０７】
typeは、字幕・文字スーパーの区別を示す。
【０３０８】
TMD（時刻制御モード）は、受信再生時の時刻制御モードを示し、MPUに付加されるMPUタイムスタンプ、TTML文書内に記述されるタイムコードあるいはその他の情報により提示時刻を指定する。時刻制御モードの意味を図３８に示す。
【０３０９】
例えば、TMDの値が0010であることは、時刻制御モードがTTML記述(参照開始時刻起点)であることを表す。これは、各字幕の表示開始、表示終了の時刻が、本記述子の参照開始時刻を起点として、TTML文書内のタイムコードにより示されることを意味する。TTML文書内のタイムコードにより示される相対時刻の起点となる時刻を指定する情報が、Additional_Arib_Subtitle_Info中に記述されることになる。
【０３１０】
TMDの値が0010である場合、図３７の下方に示すように、Additional_Arib_Subtitle_Info()にはreference_start_timeとreference_start_time_leap_indicatorが記述される。
【０３１１】
reference_start_time（参照開始時刻）は、TTML文書内のタイムコードの起点となるUTC時刻をNTP長形式で示す。
【０３１２】
reference_start_time_leap_indicator（参照開始時刻閏秒指示子）は、閏秒の挿入または削除による時刻情報の調整があるか否かを示す。
【０３１３】
このように、MH-データ符号化方式記述子には、３２＋ｎbit＠２ｎHzのカウンタ値により表されるタイムスタンプであるreference_start_timeが記述される。また、MPU拡張タイムスタンプ記述子中のmpu_presentation_time_leap_indicator（図１７）に相当する、reference_start_time_leap_indicatorが記述される。
【０３１４】
後述するように、reference_start_timeにより表される３２＋ｎbit＠２ｎHzのカウンタ値は、上述したPTS/DTSの変換と同様に、３３bit＠９０kHzのカウンタ値に変換される。
【０３１５】
また、閏秒による調整が生じたことがreference_start_time_leap_indicatorにより特定された場合、変換して得られた３３bit＠９０kHzのカウンタ値は、上述したようにして補正される。
【０３１６】
図３９は、ARIB STD-B60におけるMMTで伝送されたTTML字幕の提示時刻の運用例を示す図である。
【０３１７】
図３９の下方に示す系列Ｔ１乃至Ｔ３は、それぞれ、MMT/TLVの系列、NTPカウンタ（NTPクロックカウンタ）の系列、字幕表示の系列を示す。
【０３１８】
矢印＃２０１に示すように、NTP形式の時刻情報がロードされ、NTPカウンタの初期値ntp_0として設定される。その後、２ｎHzのNTPクロックに応じたカウント動作が開始される。
【０３１９】
MPTの記述のうち、asset_type＝stppにより特定される字幕アセットループ中に配置されるMH-データ符号化方式記述子が解析される。MH-データ符号化方式記述子のTMDの値が0010である場合、additional_data_component_info中のreference_start_timeとreference_start_time_leap_indicatorが特定される。
【０３２０】
この場合、reference_start_timeにより表される３２＋ｎbit＠２ｎHzのカウンタ値が、TTML文書内のタイムコードの起点となるNTPカウンタのカウンタ値ntp_Rとして設定される。閏秒の調整がある場合、カウンタ値ntp_Rは、図２９の直線＃２１，＃２２、および図３０の直線＃５１，＃５２を参照して説明したようにして１秒分調整される。
【０３２１】
MPUの先頭に配置されたMFUにサブサンプルデータとして含まれるTTML文書が解析され、字幕の表示タイミング（表示開始と表示終了の相対時刻）、表示領域、表示内容などが特定される。TTML文書の記述が図３５に示すものであるとする。
【０３２２】
この場合、「あいうえお」、「かきくけこ」の字幕の表示が、矢印＃２０２に示すように、「ntp_R」を起点として、「begin＝“00:00:05.000”」により指定される５秒後のタイミングで開始される。
【０３２３】
この字幕の表示は、「ntp_R」を起点として、「end＝“00:00:50.000”」により指定される５０秒後のタイミングまで続けられ、そのタイミングで消去される。
【０３２４】
このように、MMTのTTML字幕においては、字幕の表示開始と表示終了の相対時刻がTTML文書中のタイムコードにより指定される。また、MPTの字幕アセットループ中に配置されるMH-データ符号化方式記述子のTMDの値が0010である場合、起点となる時刻が、MH-データ符号化方式記述子のadditional_data_component_info中のreference_start_timeにより指定される。
【０３２５】
＜７−２．MPEG-2 TSにおけるTTML字幕の伝送＞
次に、MPEG-2 TSにおけるTTML字幕の伝送について説明する。ARIB STD-B24には、上述したようなTTML字幕の伝送が規定される。
【０３２６】
MPEG-2 TSにおいて、TTML字幕の伝送は、DSM-CC（Digital Storage Media Command and Control）データカルーセルによる方式で行われる。
【０３２７】
DSM-CCデータカルーセル伝送方式は、データのダウンロードやマルチメディアサービスにおけるコンテンツの伝送などの、ストリーミングを要しない同期および非同期のデータの伝送に用いられる方式である。
【０３２８】
DSM-CCデータカルーセル伝送方式においては、Download Data Blockメッセージ（DDBメッセージ）とDownload Info Indication メッセージ（DIIメッセージ）とを用いてデータの伝送が行われる。伝送対象のデータ本体は、ブロックに分割された各モジュールとしてDDBメッセージによって伝送される。
【０３２９】
DIIメッセージは、カルーセルの識別情報などの、DSM-CCデータカルーセル伝送方式に関する各種の制御情報が含まれる。TTML字幕を伝送するモジュールに関するDIIメッセージのモジュール情報領域には、字幕モジュール情報記述子(subtitle_module_info_descriptor)が配置される。
【０３３０】
図４０は、subtitle_module_info_descriptorの構成を示す図である。
【０３３１】
type（字幕タイプ）は、字幕・文字スーパーの区別を示す。
【０３３２】
subtitle_format（字幕記述方式識別）は、字幕及び文字スーパーの記述方式を指定する。subtitle_formatの値が0000であることは、字幕の記述方式がTTML（ARIB-TTML）であることを表す。
【０３３３】
TMD（時刻制御モード）は、受信再生時の時刻制御モードを示し、ARIB-TTML文書内に記述されるタイムコード、その他の情報により提示時刻を指定する。時刻制御モードの意味を図４１に示す。
【０３３４】
例えば、TMDの値が0011であることは、時刻制御方式がTTML記述（モジュールタイムスタンプ起点）であることを表す。これは、各字幕の表示開始、表示終了の時刻が、字幕モジュールのモジュールタイムスタンプのモジュール提示時刻を起点として、TTML文書内のタイムコードにより示されることを意味する。
【０３３５】
後述するように、字幕モジュールのモジュールタイムスタンプは、DDBのヘッダであるentity-headerに含まれる。
【０３３６】
一方、データ本体の伝送に用いられるDDBメッセージは、データブロックを伝送するデータ構造である。データブロックは、モジュールを固定長のブロック単位に分割したものである。DDBメッセージにはブロック番号が割り当てられ、受信機はこの番号順にデータブロックを並べることでモジュールを再構成する。
【０３３７】
このように、DIIメッセージとDDBメッセージを用いたDSM-CCデータカルーセル伝送方式によってTTML字幕を伝送する場合、PMT(Program Map Table)には、データ符号化方式記述子が配置される。PMTは、PSI(Program Specific Information)を構成するテーブルであり、あるプログラムに含まれる画像や音声などの各PIDを表す。
【０３３８】
PMTに配置されるデータ符号化方式記述子の符号化方式毎に定めるadditional_data_component_infoには、図４２に示すデータ構造を持つ付加識別情報が格納される。
【０３３９】
付加識別情報であるadditional_ttml_subtitle_info()において、default_property_flag＝1である場合にはTMDが含まれる。PMTのデータ符号化方式記述子に記述されるTMDは、DIIメッセージの字幕モジュール情報記述子に記述されるTMD（図４１）と同じである。それぞれのTMDには同じ値が設定される。
【０３４０】
図４３は、ARIB STD-B24におけるMPEG-2 TSで伝送されたTTML字幕の提示時刻の運用例を示す図である。
【０３４１】
図４３の下方に示す３つの系列Ｔ１１乃至Ｔ１３は、それぞれ、TSの系列、STCカウンタの系列、字幕表示の系列を示す。
【０３４２】
矢印＃２５１に示すように、PCRがロードされ、STCカウンタの初期値STC_0として設定される。その後、２７MHzのSTCクロックに応じたカウント動作が開始される。
【０３４３】
PMTの記述のうち、stream_type＝0x0Dにより特定される字幕アセットループ中に配置されるデータ符号化方式記述子が解析される。データ符号化方式記述子の付加識別情報（additional_ttml_subtitle_info）のTMDの値が例えば0011であることが特定される。
【０３４４】
また、DSM-CCデータカルーセルのセクションデータを伝送するTSパケットから再構成されたDIIメッセージの字幕モジュール情報記述子に記述されるTMDの値が例えば0011であることが特定される。
【０３４５】
この場合、DSM-CCデータカルーセルのセクションデータを伝送するTSパケットから再構成されたDDBメッセージのentity-headerに含まれるX-ARIB-module-timestampに基づいて、矢印＃２５２に示すように、TTML文書内のタイムコードの起点となるSTCカウンタのカウンタ値STC_Rが設定される。
【０３４６】
X-ARIB-module-timestampは、STCの上位３３ビットを１６進数値で表した9HEX形式のタイムスタンプである。X-ARIB-module-timestampは、モジュールに含まれる字幕の起点となる時刻を示す。
【０３４７】
DDBメッセージに配置されたTTML文書が解析され、字幕の表示タイミング（表示開始と表示終了の相対時刻）、表示領域、表示内容などが特定される。TTML文書の記述が図３５に示すものであるとする。
【０３４８】
この場合、「あいうえお」、「かきくけこ」の字幕の表示が、矢印＃２５３に示すように、「STC_R」を起点として、「begin＝“00:00:05.000”」により指定される５秒後のタイミングで開始される。
【０３４９】
この字幕の表示は、「STC_R」を起点として、「end＝“00:00:50.000”」により指定される５０秒後のタイミングまで続けられ、そのタイミングで消去される。
【０３５０】
このように、MPEG-2 TSのTTML字幕においては、字幕の表示開始と表示終了の相対時刻がTTML文書中のタイムコードにより指定される。この点は、MMTのTTML字幕と同様である。
【０３５１】
また、PMTの字幕アセットループ中に配置されるデータ符号化方式記述子のTMDの値と、DIIメッセージの字幕モジュール情報記述子のTMDの値が0011である場合、起点となる時刻が、DDBメッセージのentity-headerに含まれるX-ARIB-module-timestampにより指定される。
【０３５２】
＜７−３．情報処理装置１における変換処理＞
ここで、以上のようなMMTのTTML字幕を、MPEG-2 TSのDSM-CCデータカルーセル伝送方式によって伝送するための変換処理について説明する。
【０３５３】
上述したように、TTML字幕の表示開始、表示終了の時刻は、TTML文書内のタイムコードにより示されるが、その起点となる時刻が指定される必要がある。
【０３５４】
MMTにおいては、起点となる時刻は、MPTの字幕アセットループ中に配置されたMH-データ符号化方式記述子のreference_start_timeにより指定される。一方、MPEG-2 TSにおいては、起点となる時刻は、DDBメッセージのentity-headerに含まれるX-ARIB-module-timestampにより指定される。
【０３５５】
情報処理装置１においては、MPTの字幕アセットループ中に配置されたMH-データ符号化方式記述子のreference_start_timeにより指定される時刻をX-ARIB-module-timestampに変換し、DDBメッセージのentity-headerに設定する処理が行われる。
【０３５６】
また、TTML字幕の表示開始、表示終了の時刻の起点となる時刻が、どの時刻であるのかがTMDによって指定される必要がある。
【０３５７】
MMTにおいては、起点となる時刻が、MPTの字幕アセットループ中に配置されたMH-データ符号化方式記述子のreference_start_timeにより指定されることは、MH-データ符号化方式記述子のTMD＝0010により指定される。一方、MPEG-2 TSにおいては、起点となる時刻が、DDBメッセージのentity-headerに含まれるX-ARIB-module-timestampにより指定されることは、PMTに配置されるデータ符号化方式記述子に記述されるTMD＝0011と、DIIメッセージの字幕モジュール情報記述子に記述されるTMD＝0011により指定される。
【０３５８】
情報処理装置１においては、MPTの字幕アセットループ中に配置されたMH-データ符号化方式記述子のTMD＝0010をTMD＝0011に変換し、PMTに配置されるデータ符号化方式記述子とDIIメッセージの字幕モジュール情報記述子に設定する処理が行われる。
【０３５９】
図４４は、情報処理装置１における一連の変換処理を示す図である。
【０３６０】
左端の破線矢印＃３０１の先に示すように、クロック変換処理として、NTP形式の時刻情報である３２＋ｎbit＠２ｎHzのカウンタ値を、４２bit＠２７MHzのカウンタ値に変換する処理が行われる。クロック変換処理にはオフセット調整が行われる。
【０３６１】
破線矢印＃３０２の先に示すように、クロック変換処理により得られた４２bit＠２７MHzのカウンタ値はPCRとしてTSパケットのアダプテーションフィールドに記述される。
【０３６２】
このように、クロック変換処理については、図３３等を参照して説明した処理と同様の処理となる。
【０３６３】
破線矢印＃３０３の先に示すように、MMTのMPTを解析することによって生成された字幕符号化情報がPMTに記述される。また、MPTの字幕アセットループ中に配置されたMH-データ符号化方式記述子のTMDの値が0010である場合、その値が0011に変換され、PMTに配置されるデータ符号化方式記述子のTMDの値として設定される。このようにして生成されたPMTがTSに多重化される。
【０３６４】
また、TMD＝0011は、DIIメッセージの字幕モジュール情報記述子にも設定される。
【０３６５】
MMTのMPTの字幕アセットループ中に配置されたMH-データ符号化方式記述子のreference_start_timeにより表される３２＋ｎbit＠２ｎHzのカウンタ値は、矢印＃３０４の先に示すように３３bit＠９０kHzのカウンタ値に変換される。ここで行われるタイムスタンプ変換は、上述したPTS/DTSの変換と同じ処理である。
【０３６６】
また、閏秒による調整が生じたことがreference_start_time_leap_indicatorにより特定された場合、変換して得られた３３bit＠９０kHzのカウンタ値は、上述したようにして補正される。
【０３６７】
タイムスタンプ変換によって得られた３３bit＠９０kHzのカウンタ値は、9HEX形式で、矢印＃３０５の先に示すように、DDBメッセージのentity-headerに含まれるX-ARIB-module-timestampに設定される。
【０３６８】
矢印＃３０６に示すように、MPUを構成する各MFUに格納された、TTML文書を含むTTML字幕のデータは、タイムコードの記述の変更等が行われることなく、そのまま、DDBメッセージを構成するモジュールとしてブロック化される。また、TTML字幕のデータを格納するブロックの先頭に、X-ARIB-module-timestampを含むentity-headerが付加されることによってDDBメッセージが生成される。
【０３６９】
TMDの値として0011が設定された字幕モジュール情報記述子を含むDIIメッセージと、DDBメッセージによりDSM-CCのセクションが構成され、DSM-CCのセクションデータが各TSパケットに格納されることによってTSが生成される。
【０３７０】
TSには、図３２等を参照して説明した処理によって生成された、ビデオデータ、オーディオデータも多重化され、MPEG-2 TSのコンテンツが生成される。
【０３７１】
以上の処理により、時間軸が異なるMMTのコンテンツに含まれるTTML字幕を、MPEG-2 TSのコンテンツを構成するTTML字幕に変換し、BDなどの記録媒体に記録することが可能になる。
【０３７２】
次に、図４５、図４６のフローチャートを参照して、MMTのコンテンツをMPEG-2 TSのコンテンツに変換し、記録媒体１１に記録する情報処理装置１の一連の処理について説明する。
【０３７３】
ここでは、TTML字幕の処理について主に説明するが、コンテンツに含まれるビデオデータとオーディオデータについては、図３２等を参照して説明したようにしてTSに多重化され、TTML字幕とともに記録媒体１１に記録される。図３２を参照して説明した処理と同様の処理の説明については適宜省略する。
【０３７４】
ステップＳ１０１において、受信部３１は、放送波の伝送路または通信の伝送路を介して供給されたMMTのコンテンツを受信して取得する。受信部３１は、MMTのコンテンツのデータであるTVLストリームをMMT信号処理部３２に出力する。
【０３７５】
ステップＳ１０２において、MMT信号処理部３２のデマルチプレクサ５１は、TLVストリームを構成するTLVパケットからIPパケットを抽出し、DEMUX処理を行う。NTP形式の時刻情報を含むIPパケットは比較器５２に供給され、MMT-SIを格納するMMTPパケットはMMT-SI解析部５５に供給される。MPUを構成するTTML字幕を格納するMMTPパケットはMPU/MMTパケット解析部５８に供給される。
【０３７６】
ステップＳ１０３において、MPU/MMTパケット解析部５８は、各MPUを構成するMFUのTTML字幕のデータをMMTPパケットから抽出する。抽出されたデータはMPU_sequence_numberとともにバッファ６１に出力され、記憶される。
【０３７７】
ステップＳ１０４において、MMT-SI解析部５５は、MMTPパケットに格納されているMMT-SIであるMH-データ符号化方式記述子を解析し、Additional_Arib_Subtitle_Info()のTMD（＝0010）、reference_start_time、reference_start_time_leap_indicatorを特定する。TMD、reference_start_time（RST）、およびreference_start_time_leap_indicatorの情報は、MMTのMPTを解析することによって生成された字幕符号化情報とともにタイムスタンプ変換部５７に供給される。
【０３７８】
ステップＳ１０５において、制御部６３は、初期値となる所定のカウンタ値をクロック変換部５４とタイムスタンプ変換部５７にそれぞれ設定し、オフセット調整を行う。ここで設定される初期値は、例えば、クロック変換処理、タイムスタンプ変換処理、ES再多重変換処理の３つの処理の遅延に基づいて予め決められている値である。
【０３７９】
ステップＳ１０６において、タイムスタンプ変換部５７は、MMTのタイムスタンプをMPEG-2 TSのタイムスタンプに変換する。
【０３８０】
すなわち、タイムスタンプ変換部５７は、MPTの字幕アセットループ中に配置されたMH-データ符号化方式記述子のreference_start_timeにより表される３２＋ｎbit＠２ｎHzのカウンタ値を３３bit＠９０kHzのカウンタ値に変換する。
【０３８１】
また、タイムスタンプ変換部５７は、閏秒による調整が生じたことがreference_start_time_leap_indicatorにより示されている場合、変換して得られた３３bit＠９０kHzのカウンタ値を補正する。適宜補正が施されることによって生成された３３bit＠９０kHzのカウンタ値は、MPEG-2 TSのタイムスタンプ（MTS）としてTS化処理部６２に供給される。タイムスタンプ変換部５７からTS化処理部６２に対しては、PMT等のSIを構成する字幕符号化情報も供給される。
【０３８２】
ステップＳ１０７において、クロック変換部５４は、３２＋ｎbit＠２ｎHzのカウンタ値として表されるNTP形式の時刻情報を、MPEG-2 TSのPCRを示す４２bitのカウンタ値に変換する。ここでは、２ｎHz PLL１０１と２７MHz PLL１０２により、図３１を参照して説明した処理が行われ、４２bit＠２７MHzのカウンタ値が生成される。生成されたカウンタ値はPCRとしてTS化処理部６２に供給される。
【０３８３】
ステップＳ１０８において、TS化処理部６２は、MMT-SI解析部５５から供給されえたMH-データ符号化方式記述子のTMD（＝0010）の値を変換し、PMTのデータ符号化方式記述子のTMD（＝0011）として設定する。
【０３８４】
ステップＳ１０９において、TS化処理部６２は、MH-データ符号化方式記述子のTMD（＝0010）の値を変換し、DIIメッセージの字幕モジュール情報記述子のTMD（＝0011）として設定する。
【０３８５】
ステップＳ１１０において、TS化処理部６２は、ステップＳ１０６において変換して得られたMPEG-2 TSのタイムスタンプを、DDBメッセージのentity-headerのX-ARIB-module-timestampとして設定する。
【０３８６】
ステップＳ１１１において、TS化処理部６２は、TTML字幕データを、DDBメッセージのentity-bodyに格納し、DIIメッセージとDDBメッセージにより構成されるDSM-CCのセクションを生成する。
【０３８７】
ステップＳ１１２において、TS化処理部６２は、TTML字幕を格納したDSM-CCのセクションのTSパケット化を行う。
【０３８８】
ステップＳ１１３において、TS化処理部６２は、TTML字幕のデータをペイロードに格納したTSパケットに対して、クロック変換部５４により生成されたPCRをアダプテーションフィールドに含むTSパケットを挿入し、TSを生成する。適宜、MMT-SIに基づいて生成されたSIを格納するTSパケットもTSに挿入される。
【０３８９】
ステップＳ１１４において、記録制御部３３は、ドライブ３４を制御し、MMT信号処理部３２により生成されたTSを記録媒体１１に記録させる。
【０３９０】
以上のように、MMTのコンテンツをMPEG-2 TSのコンテンツに変換（再多重）する際、TTML文書中のタイムコードを変換することなく、参照開始起点時刻のみが、MMTで用いられるNTP形式から、MPEG2-TSで用いられる９０kHz形式のタイムスタンプに変換される。
【０３９１】
これにより、変換処理によって得られたMPEG-2 TSのコンテンツを再生する場合においても、MMTのコンテンツを再生する場合と同様に、ビデオデータなどと同期させて字幕を提示させることが可能になる。
【０３９２】
＜８．変形例＞
＜８−１．逆変換について＞
MMTのコンテンツをMPEG-2 TSのコンテンツに変換する場合について説明したが、MPEG-2 TSのコンテンツをMMTのコンテンツに変換することも可能である。
【０３９３】
この場合、情報処理装置１は、変換対象とするMPEG-2 TSのコンテンツのTSを構成するTSパケットからビデオデータとオーディオデータを取得し、MMTPパケットに格納し直す。
【０３９４】
また、情報処理装置１は、４２bit＠２７MHzのカウンタ値として表されるPCRをTSパケットから抽出し、３２＋ｎbit＠２ｎHzのカウンタ値として表されるNTP形式の時刻情報に変換する。
【０３９５】
さらに、情報処理装置１は、３３bit＠９０kHzのカウンタ値として表されるMPEG-2 TSのPTS/DTSをPESパケットから抽出し、３２＋ｎbit＠２ｎHzのカウンタ値として表されるMMTのPTS/DTSに変換する。この処理は、MPEG-2 TSのカウンタ値Ｘ’を元にして、MMTのカウンタ値Ｘを求める処理となる。
【０３９６】
情報処理装置１は、ビデオデータとオーディオデータを格納するMMTPパケットと、MMTのPTS/DTSの算出に用いる記述子を伝送する制御メッセージを格納するMMTPパケットを生成する。また、情報処理装置１は、生成したそれらのMMTPパケットを格納するIPパケットとNTP形式の時刻情報を含むIPパケットを多重化することによって、TLVストリームを生成する。
【０３９７】
＜８−２．その他の例＞
MMTからMPEG-2 TSへの変換とMPEG-2 TSからMMTへの逆変換について説明したが、変換／逆変換の対象となるコンテンツのフォーマットはMMTとMPEG-2 TSに限られるものではない。上述した処理は、時間軸が異なる各種のフォーマットの変換／逆変換に用いることができる。
【０３９８】
変換／逆変換の対象となるコンテンツが、ビデオデータとオーディオデータの両方を含むものであるものとしたが、いずれか一方のコンテンツのフォーマットの変換／逆変換に上述した処理を適用するようにしてもよい。また、ビデオデータとオーディオデータ以外の種類のデータのフォーマットの変換／逆変換に適用されるようにしてもよい。
【０３９９】
・コンピュータの構成例
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０４００】
図４７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０４０１】
CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
【０４０２】
バス１００４には、さらに、入出力インタフェース１００５が接続される。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
【０４０３】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０４０４】
CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
【０４０５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０４０６】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４０７】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０４０８】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４０９】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４１０】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４１１】
・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。
（１）
第１のフォーマットの多重化データから、字幕の表示開始の相対時刻を示すコードと表示終了の相対時刻を示すコードを所定のマークアップ言語で記述した字幕データを抽出する抽出部と、
前記第１のフォーマットの多重化データに含まれる、前記表示開始の相対時刻と前記表示終了の相対時刻の起点となる時刻が、１秒以下の精度を２ｎHz（ｎは２４以上の整数）とする３２＋ｎビットカウンタのカウンタ値により表される第１のタイムスタンプを、１秒以下の精度を９０kHzとする３３ビットカウンタのカウンタ値により表される第２のタイムスタンプに変換するタイムスタンプ変換部と、
抽出された前記字幕データをそのまま格納したデータブロックに、前記第２のタイムスタンプを含むヘッダを付加し、第２のフォーマットの多重化データを生成する処理部と
を備える情報処理装置。
（２）
前記３２＋ｎビットカウンタのカウンタ値により表される前記第１のフォーマットの参照時刻を、１秒以下の精度を２７MHzとする４２ビットカウンタのカウンタ値により表される前記第２のフォーマットの参照時刻に変換する参照時刻変換部をさらに備え、
前記処理部は、前記データブロックのデータを格納するパケット、前記ヘッダのデータを格納するパケット、および、前記第２のフォーマットの参照時刻を格納するパケットを多重化し、前記第２のフォーマットの多重化データを生成する
前記（１）に記載の情報処理装置。
（３）
タイムスタンプ変換における前記３３ビットカウンタのカウンタ値の初期値と、参照時刻の変換における前記４２ビットカウンタのカウンタ値の初期値とをそれぞれ設定する制御部をさらに備える
前記（２）に記載の情報処理装置。
（４）
前記制御部は、タイムスタンプの変換処理、参照時刻の変換処理、および多重化データの生成処理のそれぞれの処理時間に基づいて初期値を設定する
前記（３）に記載の情報処理装置。
（５）
前記タイムスタンプ変換部は、前記第１のタイムスタンプに閏秒の調整が行われたことに応じて補正した前記第２のタイムスタンプを生成する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記第１のフォーマットはMMTであり、
前記第２のフォーマットはMPEG-2 TSである
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記第１のタイムスタンプは、MH-データ符号化方式記述子のAdditional_Arib_Subtitle_Info()に記述されたreference_start_timeであり、
前記変換部は、前記第２のタイムスタンプを、DDBメッセージのentity-headerのX-ARIB-module-timestampに設定する
前記（６）に記載の情報処理装置。
（８）
前記MH-データ符号化方式記述子のTMDの値として0010が設定されており、
前記処理部は、PMTのデータ符号化方式記述子のTMDの値として0011を設定し、DIIメッセージの字幕モジュール情報記述子のTMDの値として0011を設定する
前記（７）に記載の情報処理装置。
（９）
第１のフォーマットの多重化データから、字幕の表示開始の相対時刻を示すコードと表示終了の相対時刻を示すコードを所定のマークアップ言語で記述した字幕データを抽出し、
前記第１のフォーマットの多重化データに含まれる、前記表示開始の相対時刻と前記表示終了の相対時刻の起点となる時刻が、１秒以下の精度を２ｎHz（ｎは２４以上の整数）とする３２＋ｎビットカウンタのカウンタ値により表される第１のタイムスタンプを、１秒以下の精度を９０kHzとする３３ビットカウンタのカウンタ値により表される第２のタイムスタンプに変換し、
抽出した前記字幕データをそのまま格納したデータブロックに、前記第２のタイムスタンプを含むヘッダを付加し、第２のフォーマットの多重化データを生成する
ステップを含む情報処理方法。
（１０）
第１のフォーマットの多重化データから、字幕の表示開始の相対時刻を示すコードと表示終了の相対時刻を示すコードを所定のマークアップ言語で記述した字幕データを抽出し、
前記第１のフォーマットの多重化データに含まれる、前記表示開始の相対時刻と前記表示終了の相対時刻の起点となる時刻が、１秒以下の精度を２ｎHz（ｎは２４以上の整数）とする３２＋ｎビットカウンタのカウンタ値により表される第１のタイムスタンプを、１秒以下の精度を９０kHzとする３３ビットカウンタのカウンタ値により表される第２のタイムスタンプに変換し、
抽出した前記字幕データをそのまま格納したデータブロックに、前記第２のタイムスタンプを含むヘッダを付加し、第２のフォーマットの多重化データを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
（１１）
第１のフォーマットの多重化データから、字幕の表示開始の相対時刻を示すコードと表示終了の相対時刻を示すコードを所定のマークアップ言語で記述した字幕データを抽出し、
前記第１のフォーマットの多重化データに含まれる、前記表示開始の相対時刻と前記表示終了の相対時刻の起点となる時刻が、１秒以下の精度を２ｎHz（ｎは２４以上の整数）とする３２＋ｎビットカウンタのカウンタ値により表される第１のタイムスタンプを、１秒以下の精度を９０kHzとする３３ビットカウンタのカウンタ値により表される第２のタイムスタンプに変換し、
抽出した前記字幕データをそのまま格納したデータブロックに、前記第２のタイムスタンプを含むヘッダを付加し、第２のフォーマットの多重化データを生成し、
前記多重化データを記録媒体に記録させる
記録媒体製造方法。
【符号の説明】
【０４１２】
１  情報処理装置，  １１  記録媒体，  ３２  MMT信号処理部，  ３３  記録制御部，  ５１  デマルチプレクサ，  ５２  比較部，  ５３  NTPクロックカウンタ，  ５４  クロック変換部，  ５５  MMT-SI解析部，  ５６  映像音声同期制御部，  ５７  タイムスタンプ変換部，  ５８  MPU/MMTパケット解析部，  ５９  デコーダバッファ，  ６０  映像音声デコーダ，  ６１  バッファ，  ６２  TS化処理部，  ６３  制御部，  １０１  ２ｎHz PLL，  １０２  ２７MHz PLL，  １１１  ２ｎHz VCO，  １２１  分周器，  １２２  設定器，  １２３  比較器，  １２４  ２７MHz VCO，  １２５  STCカウンタ，  １２６  演算器
【図１】
2018182677.tif 000016
【図２】
2018182677.tif 000017
【図３】
2018182677.tif 000018
【図４】
2018182677.tif 000019
【図５】
2018182677.tif 000020
【図６】
2018182677.tif 000021
【図７】
2018182677.tif 000022
【図８】
2018182677.tif 000023
【図９】
2018182677.tif 000024
【図１０】
2018182677.tif 000025
【図１１】
2018182677.tif 000026
【図１２】
2018182677.tif 000027
【図１３】
2018182677.tif 000028
【図１４】
2018182677.tif 000029
【図１５】
2018182677.tif 000030
【図１６】
2018182677.tif 000031
【図１７】
2018182677.tif 000032
【図１８】
2018182677.tif 000033
【図１９】
2018182677.tif 000034
【図２０】
2018182677.tif 000035
【図２１】
2018182677.tif 000036
【図２２】
2018182677.tif 000037
【図２３】
2018182677.tif 000038
【図２４】
2018182677.tif 000039
【図２５】
2018182677.tif 000040
【図２６】
2018182677.tif 000041
【図２７】
2018182677.tif 000042
【図２８】
2018182677.tif 000043
【図２９】
2018182677.tif 000044
【図３０】
2018182677.tif 000045
【図３１】
2018182677.tif 000046
【図３２】
2018182677.tif 000047
【図３３】
2018182677.tif 000048
【図３４】
2018182677.tif 000049
【図３５】
2018182677.tif 000050
【図３６】
2018182677.tif 000051
【図３７】
2018182677.tif 000052
【図３８】
2018182677.tif 000053
【図３９】
2018182677.tif 000054
【図４０】
2018182677.tif 000055
【図４１】
2018182677.tif 000056
【図４２】
2018182677.tif 000057
【図４３】
2018182677.tif 000058
【図４４】
2018182677.tif 000059
【図４５】
2018182677.tif 000060
【図４６】
2018182677.tif 000061
【図４７】
2018182677.tif 000062