(57)【要約】  サブタイトルのテキスト情報における表示タイミングを変えることなく伝送時のシステムタイミングとの関連性を保証し、受信側において適切なタイミングでのサブタイトル表示を可能とする。  サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを生成して送信する。パケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれる。パケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる。
2018123719.tif 000002
【特許請求の範囲】
【請求項１】
サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを生成して送信するパケット送信部を備え、
上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれ、
上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる
送信装置。
【請求項２】
上記基準時間情報は、上記対応するサンプル期間の開始時刻を示す時間情報である
請求項１に記載の送信装置。
【請求項３】
上記基準時間情報は、上記表示タイミング情報で示される表示開始時刻と上記対応するサンプル期間の開始時刻との差、あるいは表示タイミング情報で示される表示終了時刻と対応するサンプル期間の開始時刻との差を示す時間情報である
請求項１に記載の送信装置。
【請求項４】
上記第１の時間軸は９０ｋＨｚのカウント値で時間が示され、上記第２の時間軸は時分秒フレームで時間が示される
請求項１に記載の送信装置。
【請求項５】
上記パケットは、ＰＥＳパケットである
請求項１に記載の送信装置。
【請求項６】
上記パケットのペイロードには、上記サブタイトルのテキスト情報のドキュメントを持つ第１のセグメントと、上記表示タイミングに係る基準時間情報を持つ第２のセグメントが含まれる
請求項１に記載の送信装置。
【請求項７】
上記第１のセグメントと該第１のセグメントに対応する上記第２のセグメントは識別情報により対応付けされる
請求項６に記載の送信装置。
【請求項８】
上記パケット送信部は、上記パケットを、上記表示タイミング情報で示される表示開始時刻が過ぎた後の上記サンプル期間においても生成して送信する
請求項１に記載の送信装置。
【請求項９】
送信部が、サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを生成して送信し、
上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれ、
上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる
送信方法。
【請求項１０】
サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを受信する受信部を備え、
上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれており、
上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれており、
上記タイムスタンプおよび上記基準時間情報に基づいて、上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを制御する制御部をさらに備える
受信装置。
【請求項１１】
上記制御部は、上記タイムスタンプおよび上記基準時間情報を用いて上記表示タイミング情報で示される表示開始時刻および表示終了時刻を上記第１の時間軸の時刻に変換し、該変換された時刻を用いて上記サブタイトルの表示タイミングを制御する
請求項１０に記載の受信装置。
【請求項１２】
上記制御部は、上記表示タイミング情報で示される表示開始時刻が上記サンプル期間の開始時刻より前にあるとき、上記サブタイトルのテキスト情報によるサブタイトルの表示を直ちに行うように制御する
請求項１０に記載の受信装置。
【請求項１３】
上記パケットのペイロードには、上記サブタイトルのテキスト情報のドキュメントを持つ第１のセグメントと、上記表示タイミングに係る基準時間情報を持つ第２のセグメントが含まれており、
上記第１のセグメントと該第１のセグメントに対応する上記第２のセグメントは識別情報により対応付けされており、
上記制御部は、上記第１のセグメントが持つ上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを、該第１のセグメントと対応付けされている上記第２のセグメントが持つ基準時間情報を用いて制御する
請求項１０に記載の受信装置。
【請求項１４】
受信部が、サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを受信し、
上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれており、
上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれており、
受信部が、上記タイムスタンプおよび上記基準時間情報に基づいて、上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを制御する
受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントを送信する送信装置等に関する。
【背景技術】
【０００２】
従来、例えば、ＤＶＢ（Digital Video Broadcasting）の放送などでは、サブタイトルの情報をビットマップデータで送信する運用が行われている。近時、サブタイトルの情報をテキストの文字コードで、つまりテキストベースで送信することが提案されている。この場合、受信側で解像度に応じたフォント展開がなされる。【０００３】
また、サブタイトルの情報をテキストベースで送信する場合、テキスト情報にタイミング情報を持たせることが提案されている。このテキスト情報として、例えば、Ｗ３Ｃ（World Wide Web Consortium）でＴＴＭＬ（Timed Text Markup Language）が提唱されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１６９８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
サンプル期間（固定区間）に同期してＴＴＭＬのドキュメントが含まれたパケットを生成して送信することが考えられる。この場合、パケットのヘッダには対応するサンプル期間の開始時刻を示すタイムスタンプが含まれる。タイムスタンプに関してはシステム全体で統一されたタイミング管理がなされる。【０００６】
ＴＴＭＬのドメインの表示タイミング（begin, end）は、ＴＴＭＬのパッケージごとの相対的なタイミングでしかなく、システムとの連携がとれない。一方で、ＴＴＭＬのサブタイトルはコンテンツ単体で制作されたものであり、配信時のタイミング管理とは独立である。そのため、ＴＴＭＬのサブタイトルの相対的タイミングである表示タイミング（begin, end）を変えずに、伝送時のシステムタイミングとの関連性を保証する同期方法が必要になる。【０００７】
本技術の目的は、サブタイトルのテキスト情報における表示タイミングを変えることなく伝送時のシステムタイミングとの関連性を保証し、受信側において適切なタイミングでのサブタイトル表示を可能とすることにある。
【課題を解決するための手段】
【０００８】
本技術の概念は、
サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを生成して送信するパケット送信部を備え、
上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれ、
上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる
送信装置にある。【０００９】
本技術において、送信部により、サンプル期間に同期してパケットが生成されて送信される。このパケットのペイロードには、表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントが含まれる。例えば、パケットは、ＰＥＳパケットである、ようにされてもよい。また、サブタイトルのテキスト情報は、ＴＴＭＬあるいはこのＴＴＭＬの派生フォーマットである、ようにされてもよい。【００１０】
パケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれる。また、パケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる。例えば、基準時間情報は、対応するサンプル期間の開始時刻を示す時間情報である、ようにされてもよい。また、例えば、基準時間情報は、表示タイミング情報で示される表示開始時刻と対応するサンプル期間の開始時刻との差、あるいは表示タイミング情報で示される表示終了時刻と対応するサンプル期間の開始時刻との差を示す時間情報である、ようにされてもよい。また、例えば、第１の時間軸は９０ｋＨｚのカウント値で時間が示され、第２の時間軸は時分秒フレームで時間が示される、ようにされてもよい。【００１１】
また、例えば、パケットのペイロードには、サブタイトルのテキスト情報のドキュメントを持つ第１のセグメントと、表示タイミングに係る基準時間情報を持つ第２のセグメントが含まれる、ようにされてもよい。そして、この場合、第１のセグメントとこの第１のセグメントに対応する第２のセグメントは識別情報により対応付けされる、ようにされてもよい。【００１２】
このように本技術においては、パケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれ、パケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報が含まれる。そのため、サブタイトルのテキスト情報における表示タイミングを変えることなく伝送時のシステムタイミングとの関連性を保証でき、受信側において適切なタイミングでのサブタイトル表示が可能となる。【００１３】
なお、本技術において、例えば、パケット送信部は、パケットを、表示タイミング情報で示される表示開始時刻が過ぎた後のサンプル期間においても生成して送信する、ようにされてもよい。これにより、例えば、チャネル切り替えによるランダムアクセス時におけるサブタイトルの表示確率を高めることが可能となる。【００１４】
また、本技術の他の概念は、
サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを受信する受信部を備え、
上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれており、
上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれており、
上記タイムスタンプおよび上記基準時間情報に基づいて、上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを制御する制御部をさらに備える
受信装置にある。【００１５】
本技術において、受信部により、サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットが受信される。ここで、パケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれている。また、パケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれている。【００１６】
制御部により、タイムスタンプおよび基準時間情報に基づいて、サブタイトルのテキスト情報によるサブタイトルの表示タイミングが制御される。例えば、制御部は、タイムスタンプおよび基準時間情報を用いて表示タイミング情報で示される表示開始時刻および表示終了時刻を第１の時間軸の時刻に変換し、この変換された時刻を用いてサブタイトルの表示タイミングを制御する、ようにされてもよい。また、例えば、制御部は、表示タイミング情報で示される表示開始時刻が前にあるとき、サブタイトルのテキスト情報によるサブタイトルの表示を直ちに行うように制御する、ようにされてもよい。【００１７】
このように本技術においては、パケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれており、パケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報が含まれており、タイムスタンプおよび基準時間情報に基づいてサブタイトルのテキスト情報によるサブタイトルの表示タイミングが制御される。そのため、適切なタイミングでのサブタイトル表示が可能となる。【００１８】
なお、本技術において、例えば、パケットのペイロードには、サブタイトルのテキスト情報のドキュメントを持つ第１のセグメントと、表示タイミングに係る基準時間情報を持つ第２のセグメントが含まれており、第１のセグメントとこの第１のセグメントに対応する第２のセグメントは識別情報により対応付けされており、制御部は、第１のセグメントが持つサブタイトルのテキスト情報によるサブタイトルの表示タイミングを、この第１のセグメントと対応付けされている第２のセグメントが持つ基準時間情報を用いて制御する、ようにされてもよい。これにより、誤った基準時間情報を用いて表示タイミングが制御されるということが回避可能となる。
【発明の効果】
【００１９】
本技術によれば、サブタイトルのテキスト情報における表示タイミングを変えることなく伝送時のシステムタイミングとの関連性を保証でき、受信側において適切なタイミングでのサブタイトル表示が可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００２０】
【図１】実施の形態としての送受信システムの構成例を示すブロック図である。
【図２】放送送出システムのストリーム生成部の構成例を示すブロック図である。
【図３】ＴＴＭＬ構造を説明するための図である。
【図４】ＴＴＭＬ構造のヘッダ（head）に存在するメタデータ（metadata）、スタイリング（styling）、レイアウト（layout）の各要素の構造例を示す図である。
【図５】ＴＴＭＬ構造のボディ（body）の構造例を示す図である。
【図６】サブタイトルＰＥＳパケットの生成タイミングの一例を示す図である。
【図７】基準時間情報を説明するための図である。
【図８】サブタイトルＰＥＳパケットの内容（パケット構成）の一例を概略的に示す図である。
【図９】再放送のケースにおけるサブタイトルＰＥＳパケットの内容の一例を概略的に示す図である。
【図１０】サブタイトルＰＥＳパケットの内容（パケット構成）の一例を概略的に示す図である。
【図１１】個別に制作された２つの字幕コンテンツの例を示す図である。
【図１２】字幕コンテンツＳ１，Ｓ２が存在する場合におけるサブタイトルＰＥＳパケットの内容（パケット構成）の一例を概略的に示す図である。
【図１３】サブタイトルＰＥＳパケットに字幕コンテンツＳ１，Ｓ２に係るＴＴＬＭドキュメントおよび基準時間セグメントが存在する場合における配列順の一例を示す図である。
【図１４】サブタイトルＰＥＳパケットの構成例を示す図である。
【図１５】サブタイトルＰＥＳパケット（PES_packet）の構造例と、「PES_data_byte_field()」の構造例を示す図である。
【図１６】ＴＴ・サブタイトル・セグメント・タイプの定義の一例を示す図である。
【図１７】ＴＴＭＬセグメントの構造例と、その構造例などにおける主要な情報の内容を示す図である。
【図１８】基準時間セグメントの構造例と、その構造例などにおける主要な情報の内容を示す図である。
【図１９】テレビ受信機の構成例を示すブロック図である。
【図２０】ＣＰＵがサブタイトルＰＥＳパケットを受信する毎に行うサブタイトルの表示制御の処理手順の一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００２２】
＜１．実施の形態＞
［送受信システムの構成例］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、放送送出システム１００とテレビ受信機２００により構成されている。
【００２３】
放送送出システム１００は、多重化ストリームとしてのＭＰＥＧ−２トランスポートストリーム（以下、単に、「トランスポートストリーム」という）ＴＳを、放送波に載せて送信する。
【００２４】
トランスポートストリームＴＳは、ビデオストリーム、オーディオストリームと共に、サブタイトルストリームを有している。ビデオストリームは、ペイロードに符号化画像データが配置されたビデオＰＥＳパケットにより構成される。オーディオストリームは、ペイロードに符号化音声データが配置されたオーディオＰＥＳパケットにより構成される。
【００２５】
サブタイトルストリームは、表示タイミング情報を持つサブタイトルのテキスト情報のドキュメント、この実施の形態ではＴＴＭＬのドキュメント（ＴＴＭＬドキュメント）を持つセグメントパケットがペイロードに配置されたサブタイトルＰＥＳパケットにより構成される。このサブタイトルＰＥＳパケットは、サンプル期間（固定区間）に同期して生成される。
【００２６】
このサブタイトルＰＥＳパケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれる。このタイムスタンプは、いわゆるＰＴＳ（Presentation Time Stamp）であり、９０ｋＨｚのカウント値で時間が示される。この場合、ＰＴＳは、サンプルスタートタイムを構成する。このＰＴＳに関しては、システム全体で統一されたタイミング管理がなされている。
【００２７】
また、サブタイトルＰＥＳパケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、表示タイミング（begin, end）に係る第２の時間軸の基準時間情報が含まれる。表示タイミング（begin, end）は、ＴＴＭＬのパッケージごとの相対的なタイミングでしかなく、システムとの連携はとられておらず、配信時のタイミング管理とは独立である。この実施の形態において、基準時間情報は、対応するサンプル期間の開始時刻を示す時間情報とされ、時分秒フレームで時間が示される。
【００２８】
サブタイトルＰＥＳパケットのペイロードには、上述のサブタイトルのテキスト情報のドキュメントを持つ第１のセグメント（TTML_segment）と、上述の表示タイミングに係る基準時間情報を持つ第２のセグメント（Reftime_segment）が含まれる。ここで、第１のセグメントとこの第１のセグメントに対応する第２のセグメントにより１つの組（グループ）が構成され、それぞれのセグメントに同一の識別情報が付されて対応付けされる。個別に制作された複数の字幕コンテンツが存在する場合には、サブタイトルＰＥＳパケットのペイロードには、第１のセグメントと第２のセグメントとの組（グループ）が複数含まれることもあるが、識別情報により識別が可能とされる。
【００２９】
テレビ受信機２００は、放送送出システム１００から放送波で送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳは、上述したように、ビデオストリーム、オーディオストリームと共に、サブタイトルストリームを有している。サブタイトルストリームは、上述したように、サブタイトルＰＥＳパケットにより構成されている。このサブタイトルＰＥＳパケットには、サブタイトルのテキスト情報のドキュメントを持つ第１のセグメント（TTML_segment）と、表示タイミングに係る基準時間情報を持つ第２のセグメント（Reftime_segment）が含まれている。
【００３０】
テレビ受信機２００は、サブタイトルのテキスト情報によるサブタイトル表示のタイミングを、タイムスタンプおよび基準時間情報に基づいて制御する。上述したように、タイムスタンプは第１の時間軸の時間情報であり、基準時間情報はＴＴＭＬが持つ表示タイミング情報と同様に第２の時間軸の時間情報である。テレビ受信機２００は、表示タイミング情報で示される表示開始時刻および表示終了時刻を第１の時間軸の時刻に変換し、この変換された時刻を用いてサブタイトル表示のタイミングを制御する。
【００３１】
ここで、第１のセグメントとこの第１のセグメントに対応する第２のセグメントにより１つの組（グループ）が構成され、それぞれのセグメントに同一の識別情報が付されて対応付けされる。テレビ受信機２００は、第１のセグメントが持つサブタイトルのテキスト情報によるサブタイトルの表示タイミングを、この第１のセグメントと対応付けされている第２のセグメントが持つ基準時間情報を用いて制御する。
【００３２】
なお、チャネル切り替えによるランダムアクセス時におけるサブタイトルの表示確率を高めるために、同一のＴＴＭＬドキュメントを含むサブタイトルＰＥＳパケットが複数のサンプル期間に同期して連続的に送られてくる場合もある。その場合、各サブタイトルＰＥＳパケットにおいて、それに含まれる基準時間情報が示す時刻は、対応するサンプル期間が進んでいくことから、順次変化していく。この場合、サブタイトルＰＥＳパケットは、表示タイミング情報で示される表示開始時刻が過ぎた後のサンプル期間においても生成されて送られてくる。受信装置２００は、表示タイミング情報で示される表示開始時刻が、サンプル期間の開始時刻より前にあるとき、サブタイトル表示を直ちに行うように制御する。
【００３３】
［放送送出システムのストリーム生成部の構成例］
図２は、放送送出システム１００のストリーム生成部１１０の構成例を示している。このストリーム生成部１１０は、制御部１１１と、ビデオエンコーダ１１２と、オーディオエンコーダ１１３と、テキストフォーマット変換部１１４と、サブタイトルエンコーダ１１５と、ＴＳフォーマッタ（マルチプレクサ）１１６を有している。
【００３４】
制御部１１１は、例えば、ＣＰＵ（Central Processing Unit）を備えた構成とされており、ストリーム生成部１１０の各部の動作を制御する。ビデオエンコーダ１１２は、画像データＤＶを入力し、この画像データＤＶに対して符号化を施し、ペイロードに符号化画像データを持つビデオＰＥＳパケットにより構成されるビデオストリーム（ＰＥＳストリーム）を生成する。オーディオエンコーダ１１３は、音声データＤＡを入力し、この音声データＤＡに対して符号化を施し、符号化音声データを持つオーディオＰＥＳパケットにより構成されるオーディオストリーム（ＰＥＳストリーム）を生成する。
【００３５】
テキストフォーマット変換部１１４は、サブタイトル情報としてのテキストデータ（文字コード）とその表示制御情報で構成されるデータＤＴを入力し、表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報を得る。このテキスト情報として、例えば、ＴＴＭＬあるいはＴＴＭＬの派生フォーマットが考えられるが、この実施の形態においてはＴＴＭＬであるとする。
【００３６】
図３は、ＴＴＭＬのドキュメント（ファイル）の構造例を示している。ＴＴＭＬは、ＸＭＬベースで記載される。ＴＴＭＬには、ヘッド（head）と、ボディ（body）が存在する。そして、ヘッド（head）には、メタデータ（metadata）、スタイリング（styling）、レイアウト（layout）の各要素が存在する。
【００３７】
図４（ａ）は、メタデータ（ＴＴＭ：TTML Metadata）の構造例を示している。このメタデータには、メタデータのタイトルの情報と、コピーライトの情報が含まれている。
【００３８】
図４（ｂ）は、スタイリング（ＴＴＳ：TTML Styling）の構造例を示している。このスタイリングには、識別子（id）の他に、カラー（color）、フォント（fontFamily）、サイズ（fontSize）、アラインメント（textAlign）などの情報が含まれている。
【００３９】
図４（ｃ）は、レイアウト（region：TTML layout）の構造例を示している。このレイアウトには、サブタイトルを配置するリージョンの識別子（id）の他に、範囲（extent）、オフセット（padding）、バックグラウンドカラー（backgroundColor）、アラインメント（displayAlign）などの情報が含まれている。
【００４０】
図５は、ボディ（body）の構造例を示している。図示の例では、サブタイトル１（subtitle 1）の情報が含まれている。表示開始時刻と表示終了時刻が記載されると共に、テキストデータが記載されている。例えば、サブタイトル１（subtitle 1）に関しては、表示開始タイミングが“３ｓ”で、表示終了タイミングが“６ｓ”であり、テキストデータが「I’m going to the station now」とされている。
【００４１】
図２に戻って、サブタイトルエンコーダ１１５は、テキストフォーマット変換部１１４で得られるＴＴＭＬのドキュメントを含むＴＴＭＬセグメント（TTML_segment）を生成する。そして、サブタイトルエンコーダ１１５は、ペイロードにそのＴＴＭＬセグメントを配置したサブタイトルＰＥＳパケットにより構成されるサブタイトルストリーム（ＰＥＳストリーム）を生成する。
【００４２】
サブタイトルエンコーダ１１５は、サブタイトルＰＥＳパケットをサンブル期間に同期して生成し、このサブタイトルＰＥＳパケットのヘッダに、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプをＰＴＳとして挿入する。この第１の時間軸は、９０ｋＨｚのカウント値で時間が示される。
【００４３】
図６は、サブタイトルＰＥＳパケットの生成タイミングの一例を示している。図において、縦線は、各サンプル期間（固定区間）の境界を示している。この例では、あるサンプル期間に同期して、そのサンプル期間の開始時刻を示すタイムスタンプＡ（Timestamp A）をＰＴＳとして持つサブタイトルＰＥＳパケットが生成される。このサブタイトルＰＥＳパケットのペイロードには、表示開始時刻が“Ｊ”で表示終了時刻が“Ｋ”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント（TTML_segment）が含まれている。
【００４４】
また、この例では、あるサンプル期間に同期して、そのサンプル期間の開始時刻を示すタイムタイムスタンプＢ（Timestamp B）をＰＴＳとして持つサブタイトルＰＥＳパケットが生成される。このサブタイトルＰＥＳパケットのペイロードには、表示開始時刻が“Ｐ”で表示終了時刻が“Ｒ” 表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント（TTML_segment）が含まれている。
【００４５】
また、サブタイトルエンコーダ１１５は、制御部１１１によるタイミング管理に基づいて、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報を持つ基準時間セグメント（Reftime_segment）を生成する。そして、サブタイトルエンコーダ１１５は、サブタイトルＰＥＳパケットのペイロードに、この基準時間セグメント（Reftime_segment）を含める。この第２の時間軸は、時分秒フレームで時間が示される。
【００４６】
図７を参照して、基準時間情報について、さらに説明する。サンプル期間の開始に対応した第１の時間軸の時刻を“timestamp1”とする。また、サブタイトル（字幕）の表示タイミング（begin, end）は第２の時間軸の時間情報である。表示開始時刻（begin）を“Time1”とし、サンプル期間の開始に対応した第２の時間軸における時刻を“Reftime1”とし、それらの間の差をΔとする。この場合に、“Reftime1”を、基準時間情報とする。
【００４７】
このような基準時間情報をサブタイトルＰＥＳパケットのペイロードに挿入して送信することで、受信側においては、第２の時間軸の時間情報であるサブタイトル（字幕）の表示タイミング（begin, end）を、第１の時間軸に変換し、変換された時刻を用いてサブタイトルの表示タイミングを制御することが可能となる。
【００４８】
以下の数式（１）は、Δの期間に対応する９０ｋＨｚ精度の値である“delta90”を求めるため変換式を示している。また、以下の数式（２）は、第２の時間軸の表示開始時刻（begin）に対応した第１の時間軸の時刻である“timestamp2”を求めるための変換式を示している。さらに、以下の数式（３）は、第２の時間軸の表示終了時刻（end）に対応した第１の時間軸の時刻である“Timestamp3”を求めるための変換式を示している。なお、表示終了時刻（end）を“Time1´”とする。なお、これらの数式において、Time1、Reftime1、Time1´のそれぞれの単位は「秒」である。
【００４９】
delta90 = ( Time1-Reftime1 ) * 90K      ・・・（１）
timestamp2 = timestamp1 + delta90      ・・・（２）
timestamp3 = timestamp2 + (Time1´ - Time1 ) * 90K      ・・・（３）
【００５０】
なお、上述では、表示開始時刻“Time1”が時刻“Reftime1”より大きくなる一般的な場合を示しているが、これらが一致する場合もある。その場合には、基準時間情報となる“Reftime1”は、“Time1”とされる。この場合、基準時間情報の送信を省略することも可能である。
【００５１】
図８は、サブタイトルＰＥＳパケットの内容（パケット構成）の一例を概略的に示している。この例は、上述の図６に対応している。タイムスタンプＡ（Timestamp A）をＰＴＳとして持つサブタイトルＰＥＳパケットにおいては、そのペイロードに、表示開始時刻が“Ｊ”で表示終了時刻が“Ｋ”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント（TTML_segment）が含まれると共に、基準時間情報“Reftime1”を持つ基準時間セグメント（Reftime_segment）が含まれる。
【００５２】
この場合、受信側においては、例えば、以下の数式（４）によって、第２の時間軸の表示開始時刻（begin）に対応した９０ｋＨｚ精度を持つ第１の時間軸の時刻である“Ts_Am”を求めることができる。
TS_Am = timestampA + ( J ? Reftime1 ) * 90K      ・・・（４）
【００５３】
また、タイムスタンプＢ（Timestamp B）をＰＴＳとして持つサブタイトルＰＥＳパケットにおいては、そのペイロードに、表示開始時刻が“Ｐ”で表示終了時刻が“Ｒ”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント（TTML_segment）が含まれると共に、基準時間情報“Reftime2”を持つ基準時間セグメント（Reftime_segment）が含まれる。なお、この場合には、基準時間セグメント（Reftime_segment）の挿入を省略することも可能である。
【００５４】
この場合、受信側においては、例えば、以下の数式（５）によって、第２の時間軸の表示開始時刻（begin）に対応した９０ｋＨｚ精度を持つ第１の時間軸の時刻である“Ts_Bm”を求めることができる。
TS_Bm = timestampB + ( P ? Reftime2 ) * 90K 
= timestampB                        ・・・（５）
【００５５】
図９は、同一のＴＴＭＬドキュメントを別の放送時間帯で再配信する、例えば再放送のケースにおけるサブタイトルＰＥＳパケットの内容の一例を概略的に示している。オリジナルの放送時には、ＰＴＳ１のタイムスタンプが付けられ、再放送時にはＰＴＳ２のタイムスタンプが付けられる。ペイロードには、オリジナルの放送時および再放送時の双方において、表示開始時刻が“00:00:03”で表示終了時刻が“00:00:06”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント（TTML_segment）が含まれる。
【００５６】
また、ペイロードには、オリジナルの放送時には基準時間情報“Reftime1”として“00:00:01”を持つ基準時間セグメント（Reftime_segment）が含まれるようにし、再放送時には基準時間情報“Reftime2”として“00:00:01”を持つ基準時間セグメント（Reftime_segment）が含まれるようにする。この場合、ＰＴＳ１から表示開始時刻であるＰＴＳ１_１までの時間遅延であるαとＰＴＳ２から表示開始時刻であるＰＴＳ２_１までの時間遅延であるβとは等しい値となる。一方で、”Reftime1”と”Reftime2”を異なる値で設定することも可能である。この場合は、上記αとβは異なる遅延量となる。
【００５７】
これにより、受信側においては、オリジナル放送時には、以下の数式（６）によって、第２の時間軸の表示開始時刻（begin）に対応した９０ｋＨｚ精度を持つ第１の時間軸の時刻である“PTS1_1”を求めることができる。
PTS1_1 = PTS1 + ( 3sec ? 1sec ) * 90K      ・・・（６）
【００５８】
また、受信側においては、再放送時には、以下の数式（７）によって、第２の時間軸の表示開始時刻（begin）に対応した９０ｋＨｚ精度を持つ第１の時間軸の時刻である“PTS2_1”を求めることができる。これにより、再放送時においても、オリジナル放送時と同様に、サブタイトルの表示タイミング制御を行うことが可能となる。
PTS2_1 = PTS2 + ( 3sec ? 1sec ) * 90K      ・・・（７）
【００５９】
なお、図８の例においては、表示開始時刻が“Ｊ”で表示終了時刻が“Ｋ”の表示タイミング情報を持つＴＴＬＭドキュメントを含むサブタイトルＰＥＳパケットをあるサンプル期間で１回だけ送信し、同様に、表示開始時刻が“Ｐ”で表示終了時刻が“Ｒ”の表示タイミング情報を持つＴＴＬＭドキュメントを含むサブタイトルＰＥＳパケットをあるサンプル期間で１回だけ送信する例を示した。
【００６０】
しかし、チャネル切り替えによるランダムアクセス時におけるサブタイトルの表示確率を高めるために、同一のＴＴＬＭドキュメントを含むサブタイトルＰＥＳパケットをサンプル期間に同期して連続的に生成して送信することも考えられる。その場合、各サブタイトルＰＥＳパケットにおいて、それに含まれる基準時間情報が示す時刻は、対応するサンプル期間が進んでいくことから、順次変化していく。
【００６１】
図１０は、サブタイトルＰＥＳパケットの内容（パケット構成）の一例を概略的に示している。タイムスタンプＡ０（Timestamp A0）、タイムスタンプＡ１（Timestamp A1）, タイムスタンプＡ２（Timestamp A２）を持つサブタイトルＰＥＳパケットは、全て、そのペイロードに、表示開始時刻が“Ｊ”で表示終了時刻が“Ｋ”の表示タイミング情報を持つＴＴＬＭドキュメントが含まれる。しかし、それぞれのサブタイトルＰＥＳパケットに含まれる基準時間情報は、“Reftime10”、“Reftime11”、 “Reftime12”と変化していく。この場合、タイムスタンプＡ１, タイムスタンプＡ２を持つサブタイトルＰＥＳパケットにおいては、表示開始時刻“Ｊ”が基準時間情報で示す時刻よりも前になっており、受信側では、既に表示開始時刻を過ぎていることがわかる。
【００６２】
また、同様に、タイムスタンプＢ０（Timestamp B0）、タイムスタンプＢ１（Timestamp B1）, タイムスタンプＢ２（Timestamp B２）を持つサブタイトルＰＥＳパケットは、全て、そのペイロードに、表示開始時刻が“Ｐ”で表示終了時刻が“Ｒ”の表示タイミング情報を持つＴＴＬＭドキュメントが含まれる。しかし、それぞれのサブタイトルＰＥＳパケットに含まれる基準時間情報は、“Reftime20”、“Reftime21”、 “Reftime22”と変化していく。この場合、タイムスタンプＢ１, タイムスタンプＢ２を持つサブタイトルＰＥＳパケットにおいては、表示開始時刻“Ｐ”が基準時間情報で示す時刻よりも前になっており、受信側では、既に表示開始時刻を過ぎていることがわかる。
【００６３】
なお、上述では、サブタイトルＰＥＳパケットのペイロードに、１つの字幕コンテンツに係るＴＴＭＬセグメント（TTML_segment）および基準時間セグメント（Reftime_segment）を含める例について説明した。しかし、サブタイトルＰＥＳパケットのペイロードに、個別に制作された複数の字幕コンテンツに係るＴＴＭＬセグメントおよび基準時間セグメントを含めることも考えられる。
【００６４】
つまり、サブタイトルＰＥＳパケットのペイロードには、ＴＴＭＬセグメントおよび基準時間セグメントの組（グループ）が、１つ以上含まれることもある。このことを考慮して、後述するように、各組において、ＴＴＭＬセグメントおよび基準時間セグメントは識別情報「segment_associate_id」により関連付けされる。
【００６５】
図１１は、個別に制作された２つの字幕コンテンツの例を示している。例えば、字幕コンテンツＳ１は、ビデオに同期した字幕コンテンツであり、登場人物の声に関連する字幕を表示するものである。また、例えば、字幕コンテンツＳ２は、ビデオに非同期の字幕コンテンツであり、物語やシーンの解説、俳優情報、その他の一般情報（例えば、天気予報など）の字幕を表示するものである。
【００６６】
図１２は、字幕コンテンツＳ１，Ｓ２が存在する場合におけるサブタイトルＰＥＳパケットの内容（パケット構成）の一例を概略的に示している。タイムスタンプＡ（Timestamp A）をＰＴＳとして持つサブタイトルＰＥＳパケットにおいては、そのペイロードに、字幕コンテンツＳ１に係る表示開始時刻が“S1_b1”で表示終了時刻が“S1_e1”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント「S1 TTML」が含まれると共に、基準時間情報“A_S1”を持つ基準時間セグメント「Reftime A_S1」が含まれる。
【００６７】
また、このサブタイトルＰＥＳパケットにおいては、そのペイロードに、字幕コンテンツＳ２に係る表示開始時刻が“S2_b1”で表示終了時刻が“S2_e1”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント「S2 TTML」が含まれると共に、基準時間情報“A_S2”を持つ基準時間セグメント「Reftime A_S2」が含まれる。
【００６８】
また、タイムスタンプＢ（Timestamp B）をＰＴＳとして持つサブタイトルＰＥＳパケットにおいては、そのペイロードに、字幕コンテンツＳ１に係る表示開始時刻が“S1_b2”で表示終了時刻が“S1_e2”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント「S1 TTML」が含まれると共に、基準時間情報“B_S1”を持つ基準時間セグメント「Reftime B_S1」が含まれる。
【００６９】
また、このサブタイトルＰＥＳパケットにおいては、そのペイロードに、字幕コンテンツＳ２に係る表示開始時刻が“S2_b2”で表示終了時刻が“S2_e2”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント「S2 TTML」が含まれると共に、基準時間情報“B_S2”を持つ基準時間セグメント「Reftime B_S2」が含まれる。
【００７０】
さらに、タイムスタンプＣ（Timestamp C）をＰＴＳとして持つサブタイトルＰＥＳパケットにおいては、そのペイロードに、字幕コンテンツＳ１に係る表示開始時刻が“S1_b3”で表示終了時刻が“S1_e3”の表示タイミング情報を持つＴＴＬＭドキュメントを持つＴＴＭＬセグメント「S1 TTML」が含まれると共に、基準時間情報“C_S1”を持つ基準時間セグメント「Reftime C_S1」が含まれる。
【００７１】
図１３は、サブタイトルＰＥＳパケットに字幕コンテンツＳ１，Ｓ２に係るＴＴＬＭドキュメントおよび基準時間セグメントが存在する場合における配列順の一例を示している。この例は、図１２のタイムスタンプＡ（Timestamp A）をＰＴＳとして持つサブタイトルＰＥＳパケットに対応している。
【００７２】
図１３（ａ）は、基準時間セグメント「Reftime A_S1」、ＴＴＬＭドキュメント「S1 TTML」、基準時間セグメント「Reftime A_S2」、ＴＴＭＬセグメント「S2 TTML」の順に配列されたものである。図１３（ｂ）は、基準時間セグメント「Reftime A_S1」、基準時間セグメント「Reftime A_S2」、ＴＴＬＭドキュメント「S1 TTML」、ＴＴＭＬセグメント「S2 TTML」の順に配列されたものである。これらの配列順は一例であって、これ以外の配列順であってもよい。なお、基準時間セグメント「Reftime A_S1」とＴＴＬＭドキュメント「S1 TTML」は、識別情報「segment_associate_id1」で関連付けされ、基準時間セグメント「Reftime A_S2」とＴＴＭＬセグメント「S2 TTML」は「segment_associate_id2」で関連付けされる。
【００７３】
また、図１３（ｃ）のように，一つの基準時間セグメント「Reftime A」とＴＴＬＭドキュメント「S1 TTML」、ＴＴＭＬセグメント「S2 TTML」の配置も可能である。この場合、一つの基準時間セグメント「Reftime A_S」の中に関連付け情報が複数あり、ＴＴＬＭドキュメント「S1 TTML」は「segment_associate_id1」で、またＴＴＬＭドキュメント「S2 TTML」は「segment_associate_id2」で関連付けされる。
【００７４】
図１４は、サブタイトルＰＥＳパケットの構成例を示すものである。図１４（ａ）は、１つの字幕コンテンツのデータを含む場合であり、ヘッダにはＰＴＳが含まれ、ペイロードには基準時間セグメントとＴＴＭＬセグメントの組が１つだけ存在する。図１４（ｂ）は、図１４（ａ）の変形であり、基準時間情報の送信が省略される場合であり、ペイロードにはＴＴＭＬセグメントだけが存在する。
【００７５】
図１４（ｃ）は、複数、ここでは２つの字幕コンテンツのデータを含む場合であり、ヘッダにはＰＴＳが含まれ、ペイロードには基準時間セグメントとＴＴＭＬセグメントの組が２つ存在する。図１４（ｄ）は、複数、ここでは２つの字幕コンテンツのデータを含む場合であり、ヘッダにはＰＴＳが含まれ、ペイロードには一つの基準時間セグメントと２つのＴＴＭＬセグメントが存在する。
【００７６】
図１５（ａ）は、サブタイトルＰＥＳパケット（PES_packet）の構造例を示している。「PES_startcode_prefix」の２４ビットフィールドには、“０ｘ０００００１”の固定パターンが配置される。「stream_id」の８ビットフィールドは、ストリーム識別子を示す。サブタイトルＰＥＳパケットの場合、「private stream1を示す値である“１０１１１１０１”とされる。「PES_packet_length」の１６ビットフィールドは、ＰＥＳパケットの長さ（サイズ）として以降のバイト数を示す。
【００７７】
「PES_packet_length」の後に、「Optional_PES_header()」のフィールドが存在する。このフィールドには、ＰＴＳ，ＤＴＳのタイムスタンプなどが配置される。このフィールドの後に、「PES_packet_data_byte」のフィールドが存在する。このフィールドが、ＰＥＳペイロードに相当する。このフィールドに、データをコンテナするための「PES_data_byte_field()」が配置される。
【００７８】
図１５（ｂ）は、「PES_data_byte_field()」の構造例を示している。「data_identifier」の８ビットフィールドは、コンテナ部分でデータの種類を識別する識別子を示す。従来のサブタイトル（ビットマップの場合）は、“０ｘ２０”で示すこととされているので、テキストの場合は新たな値、例えば“０ｘ２１”で識別することも可能である。
【００７９】
「subtitle_stream_id」の８ビットフィールドは、サブタイトルストリームの種類を識別する識別子を示す。テキスト情報を伝送するサブタイトルストリームの場合は新たな値、例えば“０ｘ０１”とし、従来のビットマップを伝送するサブタイトルストリーム“０ｘ００”と区別することが可能である。
【００８０】
この「subtitle_stream_id」のフィールドの後に、“００００１１１１”のパターンに続いて、「Subtitling_segments()」のフィールドが存在する。このフィールドに、セグメントパケットが配置される。このフィールドの後に、「end_of_PES_data_field_marker」の８ビットフィールドが存在する。このフィールドは、ＰＥＳパケットの最後を示すマーカである。
【００８１】
図１６は、ＴＴ・サブタイトル・セグメント・タイプ（TT_subtitle segment_type）の定義の一例を示している。“０ｘＡ０”は、ＴＴＭＬセグメント（TTML_segment）であることを示す。“０ｘＡ１”は、基準時間セグメント（Reftime_segment）であることを示す。
【００８２】
図１７（ａ）は、ＴＴＭＬセグメント（TTML_segment）の構造例（Syntax）を示している。図１７（ｂ）は、その構造例などにおける主要な情報の内容（Semantics）を示している。「sync_byte」の８ビットフィールドは、セグメント開始を示すユニークワードである。「segment_type」の８ビットフィールドは、セグメント種類（セグメントタイプ）を示す。ここでは、ＴＴＭＬセグメント（TTML_segment）であることを示す“０ｘＡ０”となる。
【００８３】
「segment_length」は、１６ビットフィールドは、サブタイトル・セグメントの長さ（サイズ）として、以降のバイト数を示す。「TTML_version_number」の４ビットフィールドは、情報の更新を示す。更新がなされる場合は値を一つ増加する。「segment_associate_id」の８ビットフィールドは、相互に関連するセグメントの識別に用いる識別情報を示す。「segment_payload()」のフィールドには、ＴＴＭＬドキュメントが配置される。
【００８４】
図１８（ａ）は、基準時間セグメント（Reftime_segment）の構造例（Syntax）を示している。図１８（ｂ）は、その構造例などにおける主要な情報の内容（Semantics）を示している。「sync_byte」の８ビットフィールドは、セグメント開始を示すユニークワードである。「segment_type」の８ビットフィールドは、セグメント種類（セグメントタイプ）を示す。ここでは、基準時間セグメント（Reftime_segment）であることを示す“０ｘＡ１”となる。
【００８５】
「segment_length」は、１６ビットフィールドは、サブタイトル・セグメントの長さ（サイズ）として、以降のバイト数を示す。「reftime_version_number」の４ビットフィールドは、情報の更新を示す。更新がなされる場合は値を一つ増加する。「number_of_reftime_targets」の８ビットフィールドは、「reftime」を供給するターゲットの数を示す。「segment_associate_id」の８ビットフィールドは、相互に関連するセグメントの識別に用いる識別情報を示す。
【００８６】
「reftime_hour」の８ビットフィールドは、基準時間情報のうちの１０進数表示の時間を示す。「reftime_minute」の８ビットフィールドは、基準時間情報のうちの１０進数表示の分を示す。「reftime_second」の８ビットフィールドは、基準時間情報のうちの１０進数表示の秒を示す。「reftime_frame」の８ビットフィールドは、基準時間情報のうちの１０進数表示のフレームを示す。
【００８７】
図２に戻って、ＴＳフォーマッタ１１６は、ビデオエンコーダ１１２で生成されたビデオストリーム、オーディオエンコーダ１１３で生成されたオーディオストリームおよびサブタイトルエンコーダ１１５で生成されたサブタイトルストリームを、ＴＳパケット化して多重化し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
【００８８】
図２に示すストリーム生成部１１０の動作を簡単に説明する。画像データＤＶは、ビデオエンコーダ１１２に供給される。ビデオエンコーダ１１２では、この画像データＤＶに対して符号化が施され、ペイロードに符号化画像データを持つビデオＰＥＳパケットからなるビデオストリーム（ＰＥＳストリーム）が生成される。このビデオストリームは、ＴＳフォーマッタ１１６に供給される。
【００８９】
また、音声データＤＡは、オーディオエンコーダ１１３に供給される。オーディオエンコーダ１１３では、音声データＤＡに対して符号化が施され、符号化音声データを持つオーディオＰＥＳパケットからなるオーディオストリーム（ＰＥＳストリーム）が生成される。このオーディオストリームは、ＴＳフォーマッタ１１６に供給される。
【００９０】
また、サブタイトル情報としてのテキストデータ（文字コード）とその表示制御情報で構成されるデータＤＴは、テキストフォーマット変換部１１４に供給される。このキストフォーマット変換部１１４では、表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報、ここではＴＴＭＬが得られる。このＴＴＭＬは、サブタイトルエンコーダ１１５に供給される。
【００９１】
サブタイトルエンコーダ１１５では、テキストフォーマット変換部１１４で得られるＴＴＭＬのドキュメントを含むＴＴＭＬセグメント（TTML_segment）が生成される。そして、サブタイトルエンコーダ１１５では、ペイロードにそのＴＴＭＬセグメントを配置したサブタイトルＰＥＳパケットにより構成されるサブタイトルストリーム（ＰＥＳストリーム）が生成される。
【００９２】
サブタイトルエンコーダ１１５では、サブタイトルＰＥＳパケットがサンブル期間に同期して生成され、このサブタイトルＰＥＳパケットのヘッダに、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプ（９０ｋＨｚ精度）がＰＴＳとして挿入される。
【００９３】
また、サブタイトルエンコーダ１１５では、制御部１１１によるタイミング管理に基づいて、対応するサンプル期間の開始時刻に関連付けされた、表示タイミングに係る第２の時間軸の基準時間情報（時分秒フレーム）を持つ基準時間セグメント（Reftime_segment）が生成される。そして、サブタイトルエンコーダ１１５では、サブタイトルＰＥＳパケットのペイロードに、この基準時間セグメント（Reftime_segment）が含められる。
【００９４】
サブタイトルエンコーダ１１５で生成されたサブタイトルストリームは、ＴＳフォーマッタ１１６に供給される。ＴＳフォーマッタ１１６では、各エンコーダで生成されたストリームが、ＴＳパケット化されて多重化され、多重化ストリームとしてのトランスポートストリームＴＳが生成される。
【００９５】
［テレビ受信機の構成例］
図１９は、テレビ受信機２００の構成例を示している。このテレビ受信機２００は、受信部２０１と、ＴＳ解析部（デマルチプレクサ）２０２と、ビデオデコーダ２０３と、ビデオ重畳部２０４と、パネル駆動回路２０５と、表示パネル２０６を有している。また、このテレビ受信機２００は、オーディオデコーダ２０７と、音声出力回路２０８と、スピーカ２０９と、サブタイトルデコーダ２１０を有している。また、このテレビ受信機２００は、ＣＰＵ２２１と、フラッシュＲＯＭ２２２と、ＤＲＡＭ２２３と、内部バス２２４と、リモコン受信部２２５と、リモコン送信機２２６を有している。
【００９６】
ＣＰＵ２２１は、テレビ受信機２００の各部の動作を制御する。フラッシュＲＯＭ２２２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２２３は、ＣＰＵ２２１のワークエリアを構成する。ＣＰＵ２２１は、フラッシュＲＯＭ２２２から読み出したソフトウェアやデータをＤＲＡＭ２２３上に展開してソフトウェアを起動させ、テレビ受信機２００の各部を制御する。
【００９７】
リモコン受信部２２５は、リモコン送信機２２６から送信されたリモートコントロール信号（リモコンコード）を受信し、ＣＰＵ２２１に供給する。ＣＰＵ２２１は、このリモコンコードに基づいて、テレビ受信機２００の各部を制御する。ＣＰＵ２２１、フラッシュＲＯＭ２２２およびＤＲＡＭ２２３は、内部バス２２４に接続されている。
【００９８】
受信部２０１は、放送送出システム１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように、ビデオストリーム、オーディオストリームおよびサブタイトルストリームが含まれている。ＴＳ解析部２０２は、トランスポートストリームＴＳからビデオ、オーディオ、サブタイトルの各ストリームを抽出する。
【００９９】
オーディオデコーダ２０７は、ＴＳ解析部２０２で抽出されるオーディオストリームを構成するオーディオＰＥＳパケットにデコード処理を施し、音声データを得る。音声出力回路２０８は、音声データに対して、Ｄ／Ａ変換や増幅等の必要な処理を施し、スピーカ２０９に供給する。ビデオデコーダ２０３は、ＴＳ解析部２０２で抽出されるビデオストリームを構成するビデオＰＥＳパケットにデコード処理を施し、画像データを得る。
【０１００】
サブタイトルデコーダ２１０は、ＴＳ解析部２０２で抽出されるサブタイトルストリームを構成するサブタイトルＰＥＳパケットにデコード処理を施し、画像データに重畳すべき各リージョンのビットマップデータ（サブタイトルのグラフィックスデータ）を得る。サブタイトルＰＥＳパケットのペイロードには、上述したように、ＴＴＭＬドキュメントを含むＴＴＭＬセグメント（図３−図５、図１７参照）と、基準時間情報を持つ基準時間セグメント（図１８参照）が含まれている。サブタイトルデコーダ２１０は、ＴＴＭＬセグメントからＴＴＭＬドキュメントを抽出し、このＴＴＭＬドキュメントに基づいて各リージョンのビットマップデータを得る。
【０１０１】
また、サブタイトルデコーダ２１０は、ＴＴＭＬドキュメントのボディ（図５参照）から各リージョンの表示タイミング（begin, end）の情報を取り出してＣＰＵ２２１に送る。この表示タイミング（begin, end）は、ＴＴＭＬのパッケージごとの相対的なタイミングでしかなく、システムとの連携はとられておらず、配信時のタイミング管理とは独立である。
【０１０２】
また、サブタイトルデコーダ２１０は、基準時間セグメントから、各リージョンの表示タイミングに係る第２の時間軸の基準時間情報を取り出してＣＰＵ２１１に送る。また、サブタイトルデコーダ２１０は、サブタイトルＰＥＳパケットのヘッダに含まれている９０ｋＨｚ精度の第１の時間軸のタイムスタンプ（ＰＴＳ）をＣＰＵ２１１に送る。このタイムスタンプ（ＰＴＳ）は、システム全体で統一されたタイミング管理がなされているものである。
【０１０３】
ＣＰＵ２１１は、タイムスタンプと基準時間情報（第２の時間軸で示されるサンプル期間の開始時刻）を用いて、表示タイミング（begin, end）の情報で示される各リージョンの表示開始時刻および表示終了時刻を第１の時間軸の９０ｋＨｚ精度の時刻に変換する（上述の数式（２）、（３）参照）。
【０１０４】
なお、サブタイトルＰＥＳパケットのペイロードに、個別に制作された複数の字幕コンテンツに係るＴＴＭＬセグメントおよび基準時間セグメントが含まれる場合もある。つまり、サブタイトルＰＥＳパケットのペイロードには、ＴＴＭＬセグメントおよび基準時間セグメントの組（グループ）が、１つだけでなく、２つ以上含まれる場合もある。
【０１０５】
しかし、上述したように、各組において、ＴＴＭＬセグメントおよび基準時間セグメントは識別情報「segment_associate_id」により関連付けされている。ＣＰＵ２１１は、あるＴＴＭＬセグメントに含まれるＴＴＭＬドキュメントにおける各リージョンの表示開始時刻および表示終了時刻を上述したように９０ｋＨｚ精度の時刻に変換する場合、このＴＴＭＬセグメントに対応付けされている基準時間セグメントが持つ基準時間情報を用いることで、誤変換を防止する。
【０１０６】
ビデオ重畳部２０４は、ビデオデコーダ２０３で得られた画像データに、サブタイトルデコーダ２１０から得られる各リージョンのビットマップデータを重畳する。この場合、ビデオ重畳部２０４は、ＣＰＵ２１１の制御のもと、各リージョンのビットマップデータを、それぞれの上述したように変換された９０ｋＨｚ精度の表示開始時刻から表示終了時刻までの期間だけ重畳する。
【０１０７】
なお、チャネル切り替えによるランダムアクセス時におけるサブタイトルの表示確率を高めるために、同一のＴＴＬＭドキュメントを含むサブタイトルＰＥＳパケットがサンプル期間に同期して連続的に生成されて送られてくる場合も考えられる（図１０参照）。その場合、表示タイミング（begin）の情報で示される各リージョンの表示開始時刻が、基準時間情報で示される基準時間（サンプル期間の開始時刻）「Reftime」よりも前にある場合も考えられる。
【０１０８】
ビデオ重畳部２０４は、ＣＰＵ２１１の制御のもと、表示タイミング（begin）の情報で示される各リージョンの表示開始時刻が、基準時間情報で示されるサンプル期間の開始時刻よりも前にあるときは、ビデオデコーダ２０３で得られた画像データに、サブタイトルデコーダ２１０から得られる各リージョンのビットマップデータを直ちに重畳する。
【０１０９】
図２０のフローチャートは、ＣＰＵ２１１が、サブタイトルＰＥＳパケットを受信する毎に行うサブタイトルの表示制御の処理手順の一例を示している。なお、この例において、“Ｊ”、“Ｋ”はそれぞれ表示タイミング（begin, end）の情報で示される表示開始時刻、表示終了時刻を示している（図１０参照）。
【０１１０】
ＣＰＵ２１１は、ステップＳＴ１において、「Reftime」が“Ｊ”より小さいか否かを判断する。「Reftime」が“Ｊ”より小さいとき（例えば、図１０の「Reftime 10」のとき）、ＣＰＵ２１１は、ステップＳＴ２において、システムクロックが“Ｊ”のタイミングに相当するまで待ち、この“Ｊ”のタイミングで画像データに各リージョンのビットマップデータを重畳し、サブタイトル表示が開始されるように制御する。
【０１１１】
ステップＳＴ１で「Reftime」が“Ｊ”より小さくないとき、ＣＰＵ２１１は、ステップＳＴ３において、「Reftime」が“Ｊ”以上で“Ｋ”以下にあるか否かを判断する。「Reftime」が“Ｊ”以上で“Ｋ”以下にあるとき（例えば、図１０の「Reftime 11」のとき）、ステップＳＴ４に進む。
【０１１２】
このステップＳＴ４において、ＣＰＵ２１１は、「Reftime」から“Ｋ”までの時間が閾値ＴＨ以上か否か、つまり「Reftime」から“Ｋ”までに十分な時間的余裕があるか否かを判断する。充分な時間的余裕があるとき、サブタイトル表示が既に始まっているがその終了まで十分な時間的余裕があるとき、ＣＰＵ２１１は、ステップＳＴ５において、直ちに、画像データに各リージョンのビットマップデータを重畳し、サブタイトル表示が開始されるように制御する。
【０１１３】
また、ステップＳＴ３で「Reftime」が“Ｊ”以上で“Ｋ”以下にないとき、さらには、ステップＳＴ４で「Reftime」から“Ｋ”までの時間が閾値ＴＨ以上でないとき、ＣＰＵ２１１は、ステップＳＴ６において、画像データに各リージョンのビットマップデータを重畳しないように、つまりサブタイトル表示をしないように制御する。
【０１１４】
図１９に戻って、パネル駆動回路２０５は、ビデオ重畳部２０４で得られる表示用の画像データに基づいて、表示パネル２０６を駆動する。表示パネル２０６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬディスプレイ（organic electroluminescence display）などで構成されている。
【０１１５】
図１９に示すテレビ受信機２００の動作を簡単に説明する。受信部２０１では、放送送出システム１００から放送波に載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳには、ビデオストリーム、オーディオストリームおよびサブタイトルストリームが含まれている。
【０１１６】
このトランスポートストリームＴＳは、ＴＳ解析部２０２に供給される。ＴＳ解析部２０２では、トランスポートストリームＴＳからビデオ、オーディオ、サブタイトルの各ストリームが抽出される。ＴＳ解析部２０２で抽出されるビデオストリーム（ＰＥＳストリーム）は、ビデオデコーダ２０３に供給される。ビデオデコーダ２０３では、ビデオストリームを構成するビデオＰＥＳパケットにデコード処理が施されて、画像データが得られる。この画像データは、ビデオ重畳部２０４に供給される。
【０１１７】
また、ＴＳ解析部２０２で抽出されるサブタイトルストリーム（ＰＥＳストリーム）は、サブタイトルデコーダ２１０に供給される。サブタイトルデコーダ２１０では、サブタイトルストリームを構成するサブタイトルＰＥＳパケットにデコード処理が施され、画像データに重畳すべき各リージョンのビットマップデータ（サブタイトルのグラフィックスデータ）が得られる。
【０１１８】
この場合、サブタイトルＰＥＳパケットのペイロードに含まれているＴＴＭＬセグメントからＴＴＭＬドキュメントが抽出され、このＴＴＭＬドキュメントに基づいて各リージョンのビットマップデータが得られる。
【０１１９】
また、サブタイトルデコーダ２１０では、ＴＴＭＬドキュメントのボディ（図５参照）から各リージョンの表示タイミング（begin, end）の情報が取り出されてＣＰＵ２２１に送られる。また、サブタイトルデコーダ２１０では、基準時間セグメントから、各リージョンの表示タイミングに係る第２の時間軸の基準時間情報が取り出されてＣＰＵ２１１に送られる。また、サブタイトルデコーダ２１０では、サブタイトルＰＥＳパケットのヘッダに含まれている９０ｋＨｚ精度の第１の時間軸のタイムスタンプ（ＰＴＳ）が抽出されてＣＰＵ２１１に送られる。
【０１２０】
ＣＰＵ２１１では、タイムスタンプと基準時間情報（第２の時間軸で示されるサンプル期間の開始時刻）が用いられて、表示タイミング（begin, end）の情報で示される各リージョンの表示開始時刻および表示終了時刻が、第１の時間軸の９０ｋＨｚ精度の時刻に変換される。（上述の数式（２）、（３）参照）。
【０１２１】
サブタイトルデコーダ２１０から出力される各リージョンのビットマップデータは、ビデオ重畳部２０４に供給される。ビデオ重畳部２０４では、ビデオデコーダ２０３で得られた画像データに、サブタイトルデコーダ２１０から得られる各リージョンのビットマップデータが重畳される。この場合、ビデオ重畳部２０４では、ＣＰＵ２１１の制御のもと、各リージョンのビットマップデータが、それぞれの上述したように変換された９０ｋＨｚ精度の表示開始時刻から表示終了時刻までの期間だけ重畳される。
【０１２２】
なお、この場合、ビデオ重畳部２０４では、ＣＰＵ２１１の制御のもと、表示タイミング（begin）の情報で示される各リージョンの表示開始時刻が、サンプル期間の開始時刻よりも前にあるときは、ビデオデコーダ２０３で得られた画像データに、サブタイトルデコーダ２１０から得られる各リージョンのビットマップデータが直ちに重畳される。
【０１２３】
ビデオ重畳部２０４で得られる表示用の画像データは、パネル駆動回路２０５に供給される。パネル駆動回路２０５では、表示用のビデオデータに基づいて、表示パネル２０６を駆動することが行われる。これにより、表示パネル２０６には、各リージョンが重畳された画像が表示される。
【０１２４】
以上説明したように、図１に示す送受信システム１０において、放送送出システム１００は、サンプル期間に同期してサブタイトルＰＥＳパケットを生成して送信し、このサブタイトルＰＥＳパケットのヘッダには、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプ（ＰＴＳ）が含まれ、このサブタイトルＰＥＳパケットのペイロードには、対応するサンプル期間の開始時刻に関連付けされた、各リージョンの表示タイミングに係る第２の時間軸の基準時間情報が含まれる。そのため、サブタイトルのテキスト情報における表示タイミングを変えることなく伝送時のシステムタイミングとの関連性を保証でき、受信側において適切なタイミングでのサブタイトル表示を行うことができる。
【０１２５】
また、図１に示す送受信システム１０において、放送送出システム１００は、サブタイトルＰＥＳパケットのペイロードに含まれるＴＴＭＬセグメントおよび基準時間セグメントの各組において、ＴＴＭＬセグメントおよび基準時間セグメントを識別情報により関連付けする。そのため、受信側において、あるＴＴＭＬセグメントに含まれるＴＴＭＬドキュメントにおける各リージョンの表示開始時刻および表示終了時刻を９０ｋＨｚ精度の時刻に変換する場合、このＴＴＭＬセグメントに対応付けされている基準時間セグメントが持つ基準時間情報を用いることで、誤変換を防止できる。
【０１２６】
また、図１に示す送受信システム１０において、テレビ受信機２００は、サブタイトルＰＥＳパケットのヘッダに含まれるタイムスタンプ（ＰＴＳ）およびそのペイロードに含まれる基準時間情報に基づいてサブタイトルのテキスト情報によるサブタイトルの表示タイミングを制御する。そのため、適切なタイミングでのサブタイトル表示が可能となる。
【０１２７】
＜２．変形例＞
なお、上述実施の形態においては、サブタイトルＰＥＳパケットのペイロードに含まれる基準時間情報を、対応するサンプル期間の開始時刻「Reftime」を示す時間情報としたものであるが、表示タイミング情報で示される表示開始時刻と対応するサンプル期間の開始時刻との差「Δ」（図７参照）を示す時間情報とすること、あるいは表示タイミング情報で示される表示終了時刻と対応するサンプル期間の開始時刻とすることも考えられる。
【０１２８】
また、上述実施の形態においては、表示タイミング情報を持つ所定フォーマットのサブタイトルのテキスト情報としてＴＴＭＬを用いる例を示した。しかし、本技術は、これに限定されず、ＴＴＭＬと同等の情報を持つその他のタイムドテキスト情報を用いることも考えられる。例えば、ＴＴＭＬの派生フォーマットを用いてもよい。
【０１２９】
また、上述実施の形態においては、放送送出システム１００とテレビ受信機２００とからなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、テレビ受信機２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は登録商標である。
【０１３０】
また、上述実施の形態においては、コンテナ（多重化ストリーム）がＭＰＥＧ−２トランスポートストリームである例を示した。本技術は、多重化ストリームがＭＭＴストリームあるいはＤＡＳＨ/ＩＳＯＢＭＦＦストリームなどである場合にも、同様に適用できることは勿論である。
【０１３１】
また、本技術は、以下のような構成を取ることもできる。
（１）サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを生成して送信するパケット送信部を備え、
上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれ、
上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる
送信装置。
（２）上記基準時間情報は、上記対応するサンプル期間の開始時刻を示す時間情報である
前記（１）に記載の送信装置。
（３）上記基準時間情報は、上記表示タイミング情報で示される表示開始時刻と上記対応するサンプル期間の開始時刻との差、あるいは表示タイミング情報で示される表示終了時刻と対応するサンプル期間の開始時刻との差を示す時間情報である
前記（１）に記載の送信装置。
（４）上記第１の時間軸は９０ｋＨｚのカウント値で時間が示され、上記第２の時間軸は時分秒フレームで時間が示される
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記パケットは、ＰＥＳパケットである
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記パケットのペイロードには、上記サブタイトルのテキスト情報のドキュメントを持つ第１のセグメントと、上記表示タイミングに係る基準時間情報を持つ第２のセグメントが含まれる
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記第１のセグメントと該第１のセグメントに対応する上記第２のセグメントは識別情報により対応付けされる
前記（６）に記載の送信装置。
（８）上記パケット送信部は、上記パケットを、上記表示タイミング情報で示される表示開始時刻が過ぎた後の上記サンプル期間においても生成して送信する
前記（１）から（７）のいずれかに記載の送信装置。
（９）送信部が、サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを生成して送信し、
上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれ、
上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれる
送信方法。
（１０）サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを受信する受信部を備え、
上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれており、
上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれており、
上記タイムスタンプおよび上記基準時間情報に基づいて、上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを制御する制御部をさらに備える
受信装置。
（１１）上記制御部は、上記タイムスタンプおよび上記基準時間情報を用いて上記表示タイミング情報で示される表示開始時刻および表示終了時刻を上記第１の時間軸の時刻に変換し、該変換された時刻を用いて上記サブタイトルの表示タイミングを制御する
前記（１０）に記載の受信装置。
（１２）上記制御部は、上記表示タイミング情報で示される表示開始時刻が上記サンプル期間の開始時刻より前にあるとき、上記サブタイトルのテキスト情報によるサブタイトルの表示を直ちに行うように制御する
前記（１０）または（１１）に記載の受信装置。
（１３）上記パケットのペイロードには、上記サブタイトルのテキスト情報のドキュメントを持つ第１のセグメントと、上記表示タイミングに係る基準時間情報を持つ第２のセグメントが含まれており、
上記第１のセグメントと該第１のセグメントに対応する上記第２のセグメントは識別情報により対応付けされており、
上記制御部は、上記第１のセグメントが持つ上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを、該第１のセグメントと対応付けされている上記第２のセグメントが持つ基準時間情報を用いて制御する
前記（１０）から（１２）のいずれかに記載の受信装置。
（１４）受信部が、サンプル期間に同期して表示タイミング情報を持つサブタイトルのテキスト情報のドキュメントがペイロードに含まれたパケットを受信し、
上記パケットのヘッダには、対応する上記サンプル期間の開始時刻を示す第１の時間軸のタイムスタンプが含まれており、
上記パケットのペイロードには、上記対応するサンプル期間の開始時刻に関連付けされた、上記表示タイミングに係る第２の時間軸の基準時間情報がさらに含まれており、
受信部が、上記タイムスタンプおよび上記基準時間情報に基づいて、上記サブタイトルのテキスト情報によるサブタイトルの表示タイミングを制御する
受信方法。
【０１３２】
本技術の主な特徴は、サンプル期間に同期してサブタイトルＰＥＳパケットを生成して送信し、対応するサンプル期間の開始時刻を示す第１の時間軸のタイムスタンプ（ＰＴＳ）をヘッダに含め、対応するサンプル期間の開始時刻に関連付けされた各リージョンの表示タイミングに係る第２の時間軸の基準時間情報をペイロードに含めることで、サブタイトルのテキスト情報における表示タイミングを変えることなく伝送時のシステムタイミングとの関連性を保証し、受信側において適切なタイミングでのサブタイトル表示を行い得るようにしたことである（図７、図８参照）。
【符号の説明】
【０１３３】
１０・・・送受信システム
１００・・・放送送出システム
１１０・・・ストリーム生成部
１１１・・・制御部
１１２・・・ビデオエンコーダ
１１３・・・オーディオエンコーダ
１１４・・・テキストフォーマット変換部
１１５・・・サブタイトルエンコーダ
１１６・・・ＴＳフォーマッタ
２００・・・テレビ受信機
２０１・・・受信部
２０２・・・ＴＳ解析部
２０３・・・ビデオデコーダ
２０４・・・ビデオ重畳部
２０５・・・パネル駆動回路
２０６・・・表示パネル
２０７・・・オーディオデコーダ
２０８・・・音声出力回路
２０９・・・スピーカ
２１０・・・サブタイトルデコーダ
２２１・・・ＣＰＵ
２２２・・・フラッシュＲＯＭ
２２３・・・ＤＲＡＭ
２２４・・・内部バス
２２５・・・リモコン受信部
２２６・・・リモコン送信機
【図１】
2018123719.tif 000003
【図２】
2018123719.tif 000004
【図３】
2018123719.tif 000005
【図４】
2018123719.tif 000006
【図５】
2018123719.tif 000007
【図６】
2018123719.tif 000008
【図７】
2018123719.tif 000009
【図８】
2018123719.tif 000010
【図９】
2018123719.tif 000011
【図１０】
2018123719.tif 000012
【図１１】
2018123719.tif 000013
【図１２】
2018123719.tif 000014
【図１３】
2018123719.tif 000015
【図１４】
2018123719.tif 000016
【図１５】
2018123719.tif 000017
【図１６】
2018123719.tif 000018
【図１７】
2018123719.tif 000019
【図１８】
2018123719.tif 000020
【図１９】
2018123719.tif 000021
【図２０】
2018123719.tif 000022
【国際調査報告】
2018123719.tif 000023
2018123719.tif 000024