(57)【特許請求の範囲】
【請求項１】
第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを受信する受信部と、
上記受信されたビデオデータを処理する処理部を備え、
上記ビデオデータは、上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されており、
上記ビデオデータは、上記第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、上記第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、該第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化されている
受信装置。
【請求項２】
受信部が、第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを受信する受信ステップと、
処理部が、上記受信されたビデオデータを処理する処理ステップを有し、
上記ビデオデータは、上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されており、
上記ビデオデータは、上記第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、上記第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、該第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化されている
受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、受信装置および受信方法に関する。
【背景技術】
【０００２】
現状の放送サービスにおけるフレームレートは例えば２９．９７Ｈｚとされている。しかし、今後、その他のフレームレートを採用した放送サービスも行われる可能性がある（例えば、特許文献１参照）。その場合、途中にフレームレートの切り替え部を持つビデオデータを配信するという状況も考えられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１-１７２１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本技術の目的は、フレームレートの切り替え部を持つビデオデータが配信される場合、受信側において表示連続性を容易に確保可能とすることにある。
【課題を解決するための手段】
【０００５】
本技術の概念は、
第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを生成する画像符号化部と、
上記生成されたビデオデータを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化を行う
送信装置にある。
【０００６】
本技術において、画像符号化部により、第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータが生成される。この場合、画像符号化部では、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化が行われる。
【０００７】
送信部により、上述のビデオデータを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
【０００８】
このように本技術においては、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化が行われるものである。そのため、例えば、受信側において、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能となる。
【０００９】
なお、本技術において、例えば、画像符号化部は、デコードしてから表示するまでの遅延ピクチャ数が、第１のシーケンスの符号化画像データと第２のシーケンスの符号化画像データとで同一となるように符号化する、ようにされてもよい。このように符号化されることで、例えば、受信側におけるバッファ破綻を回避することが可能となる。
【００１０】
また、本技術において、例えば、画像符号化部は、第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、この第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化する、ようにされてもよい。このように符号化されることで、例えば、受信側において、第１のシーケンスと第２のシーケンスのデコードタイミングの連続性を容易に確保でき、第２のシーケンスの最初のピクチャの読み遅れを良好に回避可能となる。
【００１１】
また、本技術において、例えば、ビデオデータの各ピクチャの符号化画像データ毎に、フレームレートに変化があるか否かを示す情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、情報がフレームレートに変化があることを示すとき、この情報に変化後のフレームレートの値を示す情報が付加される、ようにされてもよい。このように情報が挿入されることで、受信側において、第１のシーケンスから第２のシーケンスへの変化点を容易に把握可能となる。
【００１２】
また、本技術において、例えば、ビデオデータをコンテナするパケットに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、情報挿入部は、通知情報を、ペイロードにピクチャ毎の符号化画像データを含むＰＥＳパケットのエクステンションフィールドに挿入する、ようにされてもよい。このように通知情報が挿入されることで、受信側においては、第１のシーケンスから第２のシーケンスへの変化を容易に把握可能となる。
【００１３】
この場合、例えば、通知情報には、デコード時刻の値の変化に関して不連続があるか否かを示す情報が含まれる、ようにされてもよい。そして、例えば、情報が不連続があることを示すとき、情報に不連続が生じるまでのピクチャ数のカウントダウン値が付加される、ようにされてもよい。
【００１４】
また、この場合、例えば、通知情報には、ピクチャ毎の表示時間間隔が切り替わるか否かを示す情報が含まれる、ようにされてもよい。そして、例えば、情報が切り替わることを示すとき、上記情報に、切り替わるまでのピクチャ数のカウントダウン値が付加される、ようにされてもよい。
【００１５】
また、本技術において、例えば、コンテナのレイヤに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、通知情報には、第１のシーケンスのフレームレートおよび第２のシーケンスのフレームレートの情報が含まれる、ようにされてもよい。このように通知情報が挿入されることで、受信側においては、第１のシーケンスから第２のシーケンスへの変化を容易に把握可能となる。
【００１６】
また、本技術の他の概念は、
第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを含む所定フォーマットのコンテナを受信する受信部を備え、
上記ビデオデータは、上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されており、
上記受信されたコンテナに含まれているビデオデータを復号化して上記第１のシーケンスおよび上記第２のシーケンスの表示の連続性が維持された画像データを得る画像復号化部をさらに備える
受信装置にある。
【００１７】
本技術において、受信部により、所定フォーマットのコンテナが受信される。このコンテナには、第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータが含まれている。そして、画像復号化部により、受信されたコンテナに含まれているビデオデータが復号化されて、第１のシーケンスおよび第２のシーケンスの表示の連続性が維持された画像データが得られる。
【００１８】
ここで、ビデオデータは、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されている。そのため、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能となる。
【００１９】
なお、本技術において、例えば、画像復号化部は、上記同一タイミングより前では第２のシーケンスの各ピクチャの符号化画像データを、第１のシーケンスの各ピクチャの符号化画像データの復号化タイミングに同期したタイミングで復号化する、ようにされてもよい。この場合、非同期の２つの垂直同期信号を同時に発生させるような実装を回避可能となる。
【００２０】
また、本技術において、例えば、ビデオデータをコンテナするパケットおよび/またはコンテナのレイヤに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報が挿入されており、画像復号化部の処理はこの通知情報を用いて制御される、ようにされてもよい。
【００２１】
また、本技術の他の概念は、
第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを受信する受信部と、
上記受信されたビデオデータを処理する処理部を備え、
上記ビデオデータは、上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されている
受信装置にある。
【００２２】
本技術において、受信部により、第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータが受信される。そして、処理部により、その受信されたビデオデータが処理される。
【００２３】
この場合、ビデオデータは、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されている。これにより、例えば、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能となる。
【００２４】
なお、例えば、このビデオデータは、デコードしてから表示するまでの遅延ピクチャ数が、第１のシーケンスの符号化画像データと第２のシーケンスの符号化画像データとで同一となるように符号化されている、ようにされてもよい。また、例えば、ビデオデータは、第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、この第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化されている、ようにされてもよい。
【発明の効果】
【００２５】
本技術によれば、受信側において表示連続性を容易に確保可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２６】
【図１】実施の形態としての送受信システムの構成例を示すブロック図である。
【図２】送信装置の構成例を示すブロック図である。
【図３】表示連続性を確保するためのエンコーダのＨＲＤ制御の一例を示す図である。
【図４】エンコーダのＨＲＤ制御の一例を示す図である。
【図５】テンポラル・リフレッシュ・インフォメーションＳＥＩを挿入するためのインタフェースの構造例と、「temporal_refresh_information()」の構造例を示す図である。
【図６】「temporal_refresh_information()」の構造例の主要な情報の内容を示す図である。
【図７】エンコーダの構成例を示すブロック図である。
【図８】エンコーダの処理フローの一例を示す図である。
【図９】ＰＥＳエクステンション・フィールド・データ（pes_extension_field_data）の構造例と、その主要な情報の内容を示す図である。
【図１０】テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information（））の構造例を示す図である。
【図１１】テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information（））の構造例における主要な情報の内容を示す図である。
【図１２】第１のシーケンス（シーケンスＡ）から第２のシーケンス（シーケンスＢ）への切り替え時の表示連続性に関する各情報の変換の一例を示す図である。
【図１３】ビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）の構造例を示す図である。
【図１４】ビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）の構造例における主要な情報の内容を示す図である。
【図１５】マルチプレクサの構成例を示すブロック図である。
【図１６】マルチプレクサの処理フローの一例を示す図である。
【図１７】トランスポートストリームＴＳの構成例を示す図である。
【図１８】受信装置の構成例を示すブロック図である。
【図１９】デマルチプレクサの構成例を示すブロック図である。
【図２０】デマルチプレクサの処理フローの一例を示す図である。
【図２１】デコーダの構成例を示すブロック図である。
【図２２】垂直同期信号Ｖsyncの切り替えタイミングの一例を説明するための図である。
【図２３】垂直同期信号Ｖsyncの切り替えタイミングの他の一例を説明するための図である。
【図２４】表示連続性およびデコード連続性を確保するためのエンコーダのＨＲＤ制御の一例を示す図である。
【発明を実施するための形態】
【００２７】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２８】
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００を有する構成となっている。
【００２９】
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、フレームレートの切り替え部、つまり第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオストリームが含まれる。
【００３０】
例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５/ ＨＥＶＣなどの符号化が施される。ここで、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化が行われる。これにより、例えば、受信側において、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能となる。
【００３１】
ビデオストリームの各ピクチャの符号化画像データ毎に、フレームレートに変化があるか否かを示す情報が挿入される。これにより、例えば、受信側において、第１のシーケンスから第２のシーケンスへの変化点を容易に把握可能となる。
【００３２】
また、ビデオストリームをコンテナするパケット、例えば、ＰＥＳパケットに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報が挿入される。また、コンテナのレイヤ、つまりトランスポートストリームのレイヤに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報が挿入される。これにより、例えば、受信側において、第１のシーケンスから第２のシーケンスへの変化を容易に把握可能となる。
【００３３】
受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、このトランスポートストリームＴＳに含まれるビデオストリームを復号化して画像データを得る。上述したように第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるようにビデオストリームの符号化が行われている。そのため、第１のシーケンスおよび第２のシーケンスの表示の連続性が維持された画像データが得られる。
【００３４】
ここで、ビデオストリームをコンテナするパケットおよび/またはコンテナのレイヤに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報が挿入されている。画像復号化の処理はこの通知情報に基づいて制御される。例えば、第１のシーケンスから第２のシーケンスへの切り替え部がこの通知情報に基づいて把握され、第１のシーケンスの符号化画像データに同期した垂直同期信号から第２のシーケンスの符号化画像データに同期した垂直同期信号への切り替えが行われる。
【００３５】
また、上述の同一のタイミングより前では第２のシーケンスの各ピクチャの符号化画像データは、第１のシーケンスの各ピクチャの符号化画像データの復号化タイミングに同期したタイミングで復号化される。これにより、例えば、非同期の２つの垂直同期信号を同時に発生させるような実装を回避可能となる。
【００３６】
「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２と、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０３と、マルチプレクサ１０４と、送信部１０５を有している。ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。
【００３７】
エンコーダ１０２は、非圧縮画像データを入力して符号化を行う。エンコーダ１０２は、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５/ ＨＥＶＣなどの符号化を行う。この実施の形態において、エンコーダ１０２には、フレームレートを異にする非圧縮画像データが切り替え入力される。そのため、エンコーダ１０２は、フレームレートの切り替え部、つまり第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオストリーム（ビデオデータ）を生成する。
【００３８】
ここで、エンコーダ１０２は、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一となるように符号化を行う。
【００３９】
図３は、エンコーダ１０２のＨＲＤ（Hypothetical Reference Decoder）制御の一例を示している。階段状の実線ａは、エンコード（符号化）により発生するデータ量の推移を示しており、各段がそれぞれ一つのピクチャの単位に対応している。段の高さは、エンコードにより発生するデータ量を示している。
【００４０】
タイミングＰ０は、第１のシーケンス（シーケンスＡ）の最初のピクチャの符号化画像データの最初のバイトがｃｐｄ（coded picture buffer:圧縮データバッファ）に入るタイミングを示している。タイミングＰ１は、第１のシーケンスの最後のピクチャの符号化画像データの最初のバイトがｃｐｄに入るタイミングを示している。タイミングＰ２は、第１のシーケンスの最後のピクチャの符号化画像データの最後のバイトがｃｐｄに入るタイミングを示すと共に、第２のシーケンス（シーケンスＢ）の最初のピクチャの符号化画像データの最初のバイトがｃｐｄに入るタイミングを示している。
【００４１】
また、Ｒａは、第１のシーケンスの最初のピクチャの符号化画像データのｃｐｄへの入力ビットレートを示している。ここで、第１のシーケンスの最初のピクチャの符号化画像データのデータ量がＱａであってＴａの時間をもってｃｐｄに入力されるとき、Ｒａ＝Ｑａ/Ｔａとなる。なお、図示の例では、第１のシーケンスのその他のピクチャの符号化画像データのｃｐｄへの入力ビットレートもＲａである場合を示している。
【００４２】
また、Ｒｂは、第２のシーケンスの最初のピクチャの符号化画像データのｃｐｄへの入力ビットレートを示している。ここで、第２のシーケンスの最初のピクチャの符号化画像データのデータ量がＱｂであってＴｂの時間をもってｃｐｄに入力されるとき、Ｒｂ＝Ｑｂ/Ｔｂとなる。なお、図示の例では、第２のシーケンスのその他のピクチャの符号化画像データのｃｐｄへの入力ビットレートもＲｂである場合を示している。なお、Ｒａ，Ｒｂとも、固定ビットレート（constant_bit_rate）の例を示しているが、これに限定せずとも、可変ビットレート（variable_bit_rate）でも考え方は同じである。
【００４３】
階段状の実線ｂは、デコード（復号化）により消費するデータ量の推移を示しており、各段がそれぞれ一つのピクチャの単位に対応している。段の高さは、デコードにより消費するデータ量を示している。Ｑcpbは、ｃｐｄの占有量を示している。この占有量が、どのタイミングにおいてもｃｐｂのサイズ（メモリ容量）に収まるようにエンコードされる。
【００４４】
図示の例では、第１のシーケンスは、４ピクチャからなり、ａ０，ａ１，ａ２，ａ３の順にデコードされると共に、ａ０，ａ２，ａ３，ａ１の順に表示される。この場合、デコードされた各ピクチャの画像データは、ｄｐｂ（decoded picture buffer:非圧縮データバッファ）に入力される。この例において、第１のシーケンスのデコードが行われてから表示が開始されるまでの遅延ピクチャ数は２ピクチャとされている。
【００４５】
第１のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔を持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされる。例えば、ａ０，ａ１，ａ２，ａ３のピクチャは、Ｔａ(0)，Ｔａ(1)，Ｔａ(2)，Ｔａ(3)のタイミングでデコードが行われ、ａ０，ａ２，ａ３，ａ１のピクチャは、Ｔａ(2)，Ｔａ(3)，Ｔａ(4)，Ｔａ(5)のタイミングで表示が開始される。
【００４６】
第２のシーケンスは、６ピクチャからなり、ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５の順にデコードされると共に、ｂ１，ｂ２，ｂ０，ｂ４，ｂ５，ｂ３の順に表示される。この場合、デコードされた各ピクチャの画像データは、ｄｐｂに入力される。この例において、第２のシーケンスのデコードが行われてから表示が開始されるまでの遅延ピクチャ数は、第１のシーケンスにおけると同様に、２ピクチャとされている。これにより、バッファ破綻が回避される。
【００４７】
第２のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔を持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされる。例えば、ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５は、Ｔｂ(0)，Ｔｂ(1)，Ｔｂ(2)，Ｔｂ(3) ，Ｔｂ(4)，Ｔｂ(5)のタイミングでデコードが行われ、ｂ１，ｂ２，ｂ０，ｂ４，ｂ５，ｂ３のピクチャは、Ｔｂ(2)，Ｔｂ(3)，Ｔｂ(4)，Ｔｂ(5) ，Ｔｂ(6)，Ｔｂ(7)のタイミングで表示が開始される。
【００４８】
この例において、第１のシーケンスの最後のピクチャの表示終了タイミングと第２のシーケンスの最初のピクチャの表示開始タイミングが同一とされる。すなわち、Ｔａ(6)のタイミングと、Ｔｂ(2)のタイミングが等しくされる。これにより、第１のシーケンスと、第２のシーケンスの表示の連続性が保たれる。
【００４９】
この際、第２のシーケンスの最初のピクチャのデコードタイミング（Ｔｂ(0)）は、第２のシーケンスの最初のピクチャの先頭バイトが圧縮データバッファ（ｃｐｂ）に蓄積され始めるタイミング（Ｐ２）から、“Initial_cpb_removal_delay B”だけ遅延を持たせたタイミングとなる。このタイミング（Ｔｂ(0)）が、タイミング（Ｔａ(4)）より遅くなっていれば、第２のシーケンスの最初のピクチャの読み遅れが回避される。
【００５０】
図４もＨＲＤ制御の一例を示している。この例は、上述の図３に示すＨＲＤ制御に対する比較例である。この例では、第２のシーケンスの最初のピクチャのデコードタイミング（Ｔｂ(0)）は、第１のシーケンスの最後のピクチャのデコードタイミング（Ｔａ(3)）にその第２のシーケンスの１フレーム分の期間を加えたタイミング（Ｔa(4)）と、同一のタイミングとされる。
【００５１】
この場合、第１のシーケンスと第２のシーケンスのデコードタイミングの連続性は保たれるが、表示の連続性は保たれなくなる。すなわち、第１のシーケンスの最後のピクチャの表示終了タイミング（Ｔa(6)）と第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔｂ(4)）はずれたものとなる。この場合には、Ｐ３で示すように、第１のシーケンスの最後のピクチャの表示をタイミング（Ｔｂ(4)）の手前まで引き延ばす必要が生じる。
【００５２】
また、エンコーダ１０２は、ビデオストリームの各ピクチャの符号化画像データ毎に、フレームレートに変化があるか否かを示す情報を挿入する。エンコーダ１０２は、この情報を、新たに定義する、テンポラル・リフレッシュ・インフォメーションＳＥＩ（Temporal_refresh_information SEI）を、プリフィックスＳＥＩ（Prefix_SEI）の一つとして挿入する。
【００５３】
図５（ａ）は、テンポラル・リフレッシュ・インフォメーションＳＥＩを挿入するためのインタフェース（I/F）の構造例(Syntax)を示している。「uuid_iso_iec_11578」のフィールドは、“ISO/IEC 11578:1996 Annex A.”で示されるＵＵＩＤ値を持つ。「user_data_payload_byte」のフィールドに、「temporal_refresh_information()」が挿入される。
【００５４】
図５（ｂ）は、「temporal_refresh_information()」の構造例(Syntax)を示している。図６は、その構造例における主要な情報の内容（Semantics）を示している。「userdata_id」の１６ビットフィールドには、所定のユーザデータのＩＤを付す。「temporal_refresh_information_length」の８ビットフィールドは、“temporal_refresh_information”のバイト数（本要素の次の要素からカウント）を示す。
【００５５】
「temporal_timing_discontinuity_flag」の１ビットフィールドは、表示の時間情報、タイムスタンプに不連続が生じることを示すフラグである。“１”は、不連続が生じることを示す。“０”は、不連続が生じないことを示す。“１”であるとき、「num_unit_in_tick」の８ビットフィールドと、「times_scale」の８ビットフィールドが存在する。
【００５６】
「num_unit_in_tick」の８ビットフィールドは、該当するスライス（slice）あるいはピクチャ（picture）の表示期間を示すクロック数である。「times_scale」の８ビットフィールドは、時間情報のスケーリング値を示す。ここで、times_scale/ num_unit_in_tickを計算することでフレームレート（フレーム周波数）を求めることができる。
【００５７】
図７は、エンコーダ１０２の構成例を示している。このエンコーダ１０２は、バッファ遅延制御部１２２と、ＨＲＤ（Hypothetical Reference Decoder）設定部１２３と、パラメータセット/ＳＥＩエンコード部１２４と、スライスエンコード部１２５と、ＮＡＬパケット化部１２６を有している。
【００５８】
バッファ遅延制御部１２２は、時系列的に切り替わる前後のシーケンス間で、シーケンスのバッファリング（buffering）初期値である、“initial_cpb_removal_delay ”と、ピクチャ毎の“cpb_removal_delay”、“ dpb_output_delay”を計算する。この場合、２つのシーケンス間で、表示の連続接続関係を保証するように、前のシーケンスの最後のピクチャのdpbバッファ出力と、後のシーケンスの最初のピクチャのdpbバッファ出力とが時系列的に連続するように、両者の“dpb_output_delay”、そして、“cpb_removal_delay”を制御する（図３参照）。
【００５９】
「initial cpb removal time」は、ｃｐｂ（圧縮データバッファ）からＧＯＰ（Group Of Picture）の先頭のピクチャの符号化画像データをデコードする際に取り出す時刻（初期時刻）を示す。「cpb_removal_delay」は、各ピクチャの符号化画像データをｃｐｂから取り出す時間であり、「initial_cpb_removal_time」と合わせて各ピクチャのデコード時刻が決まる。また、「dpb_output_delay」は、デコード後ｄｐｂ（非圧縮データバッファ）に入ってから取り出すまでの時間を示す。
【００６０】
ＨＲＤ設定部１２３は、バッファ遅延制御部１２２で計算された、「initial cpb removal time」、「cpb_removal_delay」、「dpb_output_delay」の情報に基づいて、ＨＲＤ設定を行う。パラメータセット/ＳＥＩエンコード部１２４は、ＨＲＤ設定などに基づいて、ＶＰＳ（Video Parameter Set）、ＳＰＳ（Sequence Parameter Set）などのパラメータセットの他に、ＳＥＩを生成する。
【００６１】
例えば、「cpb_removal_delay」と「dpb_output_delay」を含むピクチャ・タイミング・ＳＥＩ（Picture_timing SEI）が生成される。また、例えば、「initial_cpb_removal_time」を含むバッファリング・ピリオド・ＳＥＩ（Buffereing_Perifod SEI）が生成される。また、例えば、上述したように、切り替えタイミングを明示する、テンポラル・リフレッシュ・インフォメーションＳＥＩ（temporal_refresh_information SEI）が生成される。
【００６２】
スライスエンコード部１２５は、各ピクチャの画像データをエンコードしてスライスデータ（slice segment header, slice segment data）を得る。スライスデコード部１２５は、フレームバッファにより、時間方向の予測の状態を表す情報として、「Prediction Unit」の予測先ピクチャのインデックスを示す「ref_idx_l0_active(ref_idx_l1_active)を、「slice segment header」に挿入する。これにより、デコード時には、被参照ピクチャが決定される。また、スライスエンコード部１２５は、現在のスライス（slice）のインデックスを、「short_term_ref_pic_set_idx」、 あるいは「it_idx_sps」として、「slice segment header」に挿入する。
【００６３】
ＮＡＬパケット化部１２６は、パラメータセット/ＳＥＩエンコード部１２４で生成されたパラメータセットおよびＳＥＩと、スライスエンコード部１２５で生成されるスライスデータに基づき、各ピクチャの符号化画像データを生成し、ビデオストリーム（符号化ストリーム）を出力する。
【００６４】
図８は、エンコーダ１０２の処理フローの一例を示す。エンコーダ１０２は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、エンコーダ１０２は、符号化する動画シーケンスのパラメータをチェックする。このパラメータには、フレームレート（フレーム周波数）も含まれる。
【００６５】
次に、エンコーダ１０２は、ステップＳＴ３において、シーケンス間でフレームレートに変化があるか否かを判断する。フレームレートに変化があるとき、エンコーダ１０２は、ステップＳＴ４の処理に進む。このステップＳＴ４において、変化点の前後のバッファ入出力タイミング管理を行う。
【００６６】
この場合、以下の（１）式を満足させる。
T_2(first_presentation)=
T_1(last_presentation) + 1* (T_1 temporal disctance)
・・・（１）
【００６７】
ここで、“T_2(first_presentation)”は、第２のシーケンスの最初のピクチャの表示開始タイミングを示す。“T_1(last_presentation)”は、第１のシーケンスの最後のピクチャの表示開始タイミングを示す。“T_1 temporal disctance”は、第１のシーケンスの垂直同期信号間の時間間隔、すなわちフレーム期間を示す。
【００６８】
ステップＳＴ４の処理後、エンコーダ１０２は、ステップＳＴ５の処理に進む。上述のステップＳＴ３でフレームレートに変化がないとき、エンコーダ１０２は、直ちに、ステップＳＴ５の処理に移る。このステップＳＴ５において、エンコーダ１０２は、すべてのピクチャ（Slice) において、ＨＲＤ管理を行い、スライス（Slice）、パラメータセット（parameter set）、ＳＥＩなどの符号化を行ったうえで、ストリームをＮＡＬパケット（NAL packet）で構成させる。その後、エンコーダ１０２は、ステップＳＴ６において、処理を終了する。
【００６９】
図２に戻って、圧縮データバッファ(ｃｐｂ)１０３は、エンコーダ１０２で生成された、各ピクチャの符号化データを含むビデオストリームを、一時的に蓄積する。マルチプレクサ１０４は、圧縮データバッファ１０３に蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
【００７０】
マルチプレクサ１０４は、ビデオストリームをコンテナするパケット、例えば、ＰＥＳパケットに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報を挿入する。この実施の形態においては、ＰＥＳパケットのＰＥＳエクステンション（PES extension）のフィールドに、テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）を定義する。
【００７１】
このテンポラル・ディスコンティニュティ・インフォメーションには、デコード時刻の値の変化に関して不連続があるか否かを示す情報が含まれ、その情報が不連続があることを示すとき、その情報に不連続が生じるまでのピクチャ数のカウントダウン値が付加される。また、このテンポラル・ディスコンティニュティ・インフォメーションには、ピクチャ毎の表示時間間隔が切り替わるか否かを示す情報が含まれ、その情報が切り替わることを示すとき、その情報に切り替わるまでのピクチャ数のカウントダウン値が付加される。
【００７２】
図９（ａ）は、ＰＥＳエクステンション・フィールド・データ（pes_extension_field_data）の構造例(Syntax)を示している。図９（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。なお、「PES_extension field length」は、このシンタクス構造の外部で与えられるものとする。「start_sync_byte」の８ビットフィールドは、エクステンション・フィールド（extension field）の開始を表す符号値を示す。
【００７３】
「extension_field_type」の８ビットフィールドは、エクステンションフィールドのタイプを示す。“０ｘ０１”は、「temporal_discontinuity_information」のタイプ、つまりアクセスユニット（ピクチャ）の時間的な不連続性の情報を供給する構造であることを示す。エクステンションフィールドのタイプが“０ｘ０１”であるとき、「data_byte」のフィールドに、テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）が挿入される。
【００７４】
図１０は、テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information（））の構造例(Syntax)を示している。図１１は、その構造例における主要な情報の内容（Semantics）を示している。
【００７５】
「decode_time_discontinuity_flag」の１ビットフィールドは、デコード時刻（あるいはDecodingTimeStamp)の値の変化に関して不連続なことがあるか否かを示すフラグ情報である。“１”は不連続なことがあることを示し、“０”は不連続なことがないことを示す。「presentation_frequency_change_flag」の１ビットフィールドは、アクセスユニットの表示時間間隔が切り替わるか否かを示すフラグ情報である。“１”は切り替わることを示し、“０”は切り替わらないことを示す。
【００７６】
「decode_time_discontinuity_flag」が“１”であるとき、「au_count_down_to_decode_time_switching」の８ビットフィールドが存在する。このフィールドは、デコード時刻の変化量に不連続が生じるまでのアクセスユニット（ピクチャ）単位のカウントダウン値を示す。例えば、“０ｘ００”は当該アクセスユニットが不連続点の前の最後のアクセスユニットであることを示し、“０ｘ０１〜０ｘＦＥ”は当該アクセスユニットの、不連続点前の最後のアクセスユニットまでのカウント値を示す。
【００７７】
また、「presentation_frequency_change_flag」が“１”であるとき、「au_count_down_to_presentation_frequency_change」の８ビットフィールドが存在する。このフィールドは、アクセスユニットごとの表示時間間隔が切り替わるまでのアクセスユニット単位のカウントダウン値を示す。例えば、“０ｘ００”は当該アクセスユニットが表示時間間隔切り替わり前の最後のアクセスユニットであることを示し、“０ｘ０１〜０ｘＦＥ”は当該アクセスユニットの、表示時間間隔切り替わり前の最後のアクセスユニットまでのカウント値を示す。
【００７８】
図１２は、第１のシーケンス（シーケンスＡ）から第２のシーケンス（シーケンスＢ）への切り替え時の表示連続性に関する各情報の変換の一例を示している。ここでは、第１のシーケンスの１フレーム期間を「Time Distance A」として、第２のシーケンスの１フレーム期間を「Time Distance B」としている。また、ここでは、テンポラル・リフレッシュ・インフォメーションＳＥＩ（Temporal_refresh_information SEI）に含まれる「temporal_timing_discontinuity_flag」のフラグ情報と、テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）に含まれる「au_count_down_to_presentation_frequency_change」のカウントダウン値を示している。
【００７９】
また、マルチプレクサ１０４は、トランスポートストリームＴＳに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報を挿入する。
【００８０】
トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＭＴには、各ビデオストリームに関連した情報を持つビデオエレメンタリ・ループ（video ES1 loop）が存在する。このビデオエレメンタリ・ループには、各ビデオストリームに対応して、ストリームタイプ、パケット識別子（ＰＩＤ）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。この実施の形態において、マルチプレクサ１０４は、このデスクリプタの一つとして、新たに定義するビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）を挿入する。
【００８１】
図１３は、ビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）の構造例（Syntax）を示している。また、図１４は、その構造例における主要な情報の内容（Semantics）を示している。
【００８２】
「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ビデオ・パラメータ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
【００８３】
「resolution_change_flag」の１ビットフィールドは、水平、垂直の解像度の変化があるか否かを示すフラグ情報である。「video_frame_rate_change_flag」の１ビットフィールドは、ピクチャのフレーム周波数（フレームレート）の変化があるか否かを示す１ビットフィールドである。「video_bit_depth_change_flag」の１ビットフィールドは、符号化ビット幅の変化があるか否かを示すフラグ情報である。「color_gamut_change_flag」の１ビットフィールドは、符号化したピクチャの色域の変化があるか否かを示すフラグ情報である。「dynamic_range_change_flag」の１ビットフィールドは、輝度の明度暗度の範囲の変化があるか否かを示すフラグ情報である。
【００８４】
「video_resolution1」の４ビットフィールドは、現在の水平、垂直の解像度を示す。「video_frame_rate1」の４ビットフィールドは、現在のピクチャのフレーム周波数を示す。「video_bit_depth1」は、現在の符号化ビット幅を示す。「color_gamut1」は、現在の符号化したピクチャの色域を示す。「luma_dynamic_range1」は、現在の輝度の明度暗度の範囲を示す。
【００８５】
「resolution_change_flag = 1」であって水平、垂直の解像度の変化があることが示されるとき、「video_resolution2」の４ビットフィールドが存在する。このフィールドは、変化後の水平、垂直の解像度を示す。また、「video_frame_rate_change_flag = 1」であってピクチャのフレーム周波数の変化があることが示されるとき、「video_frame_rate2」の４ビットフィールドが存在する。このフィールドは、変化後のピクチャのフレーム周波数を示す。
【００８６】
また、「video_bit_depth_change_flag = 1」であって符号化ビット幅の変化があることが示されるとき、「video_bit_depth2」の４ビットフィールドが存在する。このフィールドは、変化後の符号化ビット幅を示す。また、「color_gamut_change_flag = 1」であって符号化したピクチャの色域の変化があることが示されるとき、「color_gamut2」の４ビットフィールドが存在する。このフィールドは、変化後の符号化したピクチャの色域を示す。また、「dynamic_range_change_flag = 1」であって輝度の明度暗度の範囲の変化があることが示されるとき、「luma_dynamic_range2」の４ビットフィールドが存在する。このフィールドは、変化後の輝度の明度暗度の範囲を示す。
【００８７】
図１５は、マルチプレクサ１０４の構成例を示している。セクションコーディング部１４２と、ＰＥＳパケット化部１４３と、トランスポートパケット化部１４５を有している。
【００８８】
ＰＥＳパケット化部１４３は、圧縮データバッファ１０３に蓄積されているビデオストリーム（Elementary Stream）を読み込み、ＰＥＳパケットを生成する。この際、ＰＥＳパケット化部１４３は、ビデオストリームのＨＲＤ情報等を元にＤＴＳ（Decoding Time Stamp）、ＰＴＳ（Presentation Time Stamp）のタイムスタンプをＰＥＳヘッダに付与する。この場合、各ピクチャの「cpu_removal_delay」、「dpb_output_delay」が参照され、ＳＴＣ（System Time Clock）時刻に同期した精度で、各々ＤＴＳ、ＰＴＳに変換され、ＰＥＳヘッダの所定位置に配置される。
【００８９】
また、この際、ＰＥＳパケット化部１４３は、ビデオストリームに含まれるピクチャ（アクセスユニット）の時間的な不連続性の情報に基づき、上述のテンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）（図１０参照）を作成する。そして、ＰＥＳパケット化部１４３は、この情報を、ＰＥＳパケットのＰＥＳエクステンション（PES extension）のフィールドに挿入する。
【００９０】
セクションコーディング部１４２は、トランスポートストリームＴＳに挿入すべき各種のセクションデータを生成する。この際、セクションコーディング部１４２は、例えば、ビデオストリームに含まれるピクチャ（アクセスユニット）の時間的な不連続性の情報に基づき、上述のビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）（図１３参照）も作成する。
【００９１】
ＰＥＳパケット化部１４３で生成されたＰＥＳパケットはトランスポートパケット化部１４５に送られる。また、セクションコーディング部１４２で生成された各種セクションデータもトランスポートパケット化部１４５に送られる。トランスポートパケット化部１４５は、ペイロードにＰＥＳパケットやセクションデータを含むＴＳパケットを生成し、トランスポートストリームＴＳを生成する。
【００９２】
図１６は、マルチプレクサ１０４の処理フローの一例を示す。マルチプレクサ１０４は、ステップＳＴ１１において、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、マルチプレクサ１０４は、ビデオストリーム（Elementary Stream）のテンポラル・リフレッシュ・インフォメーションＳＥＩ、ピクチャ・タイミング・ＳＥＩ、バッファリング・ピリオド・ＳＥＩ、あるいはＨＲＤ情報からタイムスタンプを計算する。
【００９３】
次に、マルチプレクサ１０４は、ステップＳＴ１３において、不連続情報としてのテンポラル・ディスコンティニュティ・インフォメーションを作成し、ＰＥＳエクステンションのフィールドに挿入する。次に、マルチプレクサ１０４は、ステップＳＴ１４において、ＰＥＳペイロードにビデオストリーム（Elementary Stream）を挿入する。
【００９４】
次に、マルチプレクサ１０４は、ステップＳＴ１５において、種々のセクションデータを生成する。そのセクションデータの一つとして、ビデオストリーム（Elementary Stream）のパラメータの変化の存在を示すビデオ・パラメータ・デスクリプタも生成する。次に、マルチプレクサ１０４は、ステップＳＴ１６において、ペイロードにＰＥＳパケットやセクションデータを含むＴＳパケットを生成して出力する。マルチプレクサ１０４は、このステップＳＴ１６の処理の後、ステップＳＴ１７において、処理を終了する。
【００９５】
図１７は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、１つのビデオストリームが含まれている。すなわち、この構成例では、ビデオストリームのＰＥＳパケット「video PES1」が存在する。
【００９６】
各ピクチャの符号化画像データは、ＰＥＳペイロード（PES payload）に配置される。この符号化画像データは、ＨＥＶＣの符号化の場合には、ＶＰＳ、ＳＰＳ、ＳＥＩ、ＰＰＳ、Ｐ−ＳＥＩ、ＳＬＩＣＥ、Ｓ−ＳＥＩ，ＥＯＳなどのＮＡＬユニットにより構成される。上述したテンポラル・リフレッシュ・インフォメーションＳＥＩ（temporal_refresh_information SEI）は、Ｐ−ＳＥＩの一つとして挿入される。
【００９７】
また、ＰＥＳヘッダ（PES header）のＰＥＳエクステンションのフィールドに、上述したテンポラル・ディスコンティニュティ・インフォメーション（temporal_continuity_information）が挿入される。なお、ＰＥＳヘッダには、ＤＴＳ、ＰＴＳも配置されている。
【００９８】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
【００９９】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（video ES1 loop）が存在する。
【０１００】
ビデオエレメンタリ・ループには、ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）が挿入される。
【０１０１】
図２に戻って、送信部１０５は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。
【０１０２】
図２に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、非圧縮の画像データが入力される。エンコーダ１０２では、この画像データに対して、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５/ ＨＥＶＣなどの符号化が行われる。この場合、エンコーダ１０２には、フレームレートを異にする画像データが切り替え入力される。そのため、エンコーダ１０２では、フレームレートの切り替え部、つまり第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオストリームが生成される。
【０１０３】
エンコーダ１０２では、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一となるように符号化が行われる。また、エンコーダ１０２では、デコードしてから表示するまでの遅延ピクチャ数が、第１のシーケンスの符号化画像データと第２のシーケンスの符号化画像データとで同一となるように符号化される。さらに、エンコーダ１０２では、第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングにこの第１のシーケンスの符号化画像データの１フレーム分の期間を加えたタイミングより後のタイミングとなるように符号化される。
【０１０４】
また、エンコーダ１０２では、ビデオストリームの各ピクチャの符号化画像データ毎に、フレームレートに変化があるか否かを示す情報が挿入される。すなわち、エンコーダ１０２では、各ピクチャの符号化画像データに、テンポラル・リフレッシュ・インフォメーションＳＥＩ（Temporal_refresh_information SEI）（図５（ｂ）参照）が、プリフィックスＳＥＩ（Prefix_SEI）の一つとして挿入される。
【０１０５】
エンコーダ１０２で生成された、各階層のピクチャの符号化データを含むビデオストリームは、圧縮データバッファ（ｃｐｂ）１０３に供給され、一時的に蓄積される。マルチプレクサ１０４では、圧縮データバッファ１０３に蓄積されているビデオストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
【０１０６】
マルチプレクサ１０４では、ビデオストリームをコンテナするパケット、例えば、ＰＥＳパケットに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報が挿入される。すなわち、ＰＥＳパケットのＰＥＳエクステンション（PES extension）のフィールドに、テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）（図１０参照）が挿入される。
【０１０７】
また、マルチプレクサ１０４では、トランスポートストリームＴＳに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報が挿入される。すなわち、ビデオエレメンタリ・ループに、ビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）（図１３参照）が挿入される。
【０１０８】
マルチプレクサ１０４で生成されるトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。
【０１０９】
「受信装置の構成」
図１８は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、デマルチプレクサ２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４を有している。また、この受信装置２００は、デコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、ポスト処理部２０７と、クロック発生部２０８と、分周部２０９を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。
【０１１０】
受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。このトランスポートストリームＴＳには、第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオストリーム（ビデオデータ）が含まれている。デマルチプレクサ２０３は、ビデオストリームを取り出し、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。
【０１１１】
図１９は、デマルチプレクサ２０３の構成例を示している。デマルチプレクサ２０３は、ＴＳアダプテーションフィールド抽出部２３１と、クロック情報抽出部２３２と、ＴＳペイロード抽出部２３３と、セクション抽出部２３４と、ＰＳＩテーブル/デスクリプタ抽出部２３５と、ＰＥＳパケット抽出部２３６を有している。また、デマルチプレクサ２０３は、ＰＥＳヘッダ抽出部２３７と、タイムスタンプ抽出部２３８と、不連続/カウントダウン情報抽出部２３９と、ＰＥＳペイロード抽出部２４０を有している。
【０１１２】
ＴＳアダプテーションフィールド抽出部２３１は、トランスポートストリームＴＳのアダプテーションフィールドを持つＴＳパケットから当該アダプテーションフィールドを抽出する。クロック情報抽出部２３２は、ＰＣＲ（Program Clock Reference）が含まれるアダプテーションフィールドから当該ＰＣＲを抽出し、クロック発生部２０８に送る。
【０１１３】
ＴＳペイロード抽出部２３３は、トランスポートストリームＴＳのＴＳペイロードを持つＴＳパケットから当該ＴＳペイロードを抽出する。セクション抽出部２３４は、セクションデータが含まれるＴＳペイロードから当該セクションデータを抽出する。ＰＳＩテーブル/デスクリプタ抽出部２３５は、セクション抽出部２３４で抽出されたセクションデータを解析し、ＰＳＩテーブルやデスクリプタを抽出する。そして、ＰＳＩテーブル/デスクリプタ抽出部２３５は、デスクリプタ情報をＣＰＵ２０１に送る。
【０１１４】
このデスクリプタ情報には、上述のビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）も含まれる。ＣＰＵ２０１は、このビデオ・パラメータ・デスクリプタの情報から、事前に、フレーム周波数（フレームレート）の変化があることを認識でき、さらに、変化後のフレーム周波数も認識できる。
【０１１５】
ＰＥＳパケット抽出部２３６は、ＰＥＳパケットが含まれるＴＳペイロードから当該ＰＥＳパケットを抽出する。ＰＥＳヘッダ抽出部２３７は、ＰＥＳパケット抽出部２３６で抽出されたＰＥＳパケットからＰＥＳヘッダを抽出する。タイムスタンプ抽出部２３８は、ピクチャ単位にＰＥＳヘッダに挿入されているタイムスタンプ（ＤＴＳ、ＰＴＳ）を抽出し、ＣＰＵ２０１に送る。
【０１１６】
また、不連続/カウントダウン情報抽出部１３９は、ピクチャ単位にＰＥＳヘッダのＰＥＳエクステンションの領域に挿入されている上述のテンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）を抽出し、不連続情報およびカウントダウン情報をＣＰＵ２０１に送る。
【０１１７】
この場合、ＣＰＵ２０１は、デコード時刻（あるいはDecodingTimeStamp)の値の変化に関して不連続がある場合、それを事前に認識でき、しかもその不連続が生じるまでのアクセスユニット（ピクチャ）単位の推移をカウントダウン情報（カウントダウン値）により明確に知ることができる。また、ＣＰＵ２０１は、アクセスユニット（ピクチャ）毎の表示時間間隔が切り替わる場合、それを事前に認識でき、しかも切り替わるまでのアクセスユニット（ピクチャ）単位の推移をカウントダウン情報（カウントダウン値）により明確に知ることができる。
【０１１８】
ＰＥＳペイロード抽出部２４０は、ＰＥＳパケット抽出部２３６で抽出されたＰＥＳパケットからＰＥＳペイロード、つまり、各ピクチャの符号化画像データを抽出して、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。
【０１１９】
図２０は、デマルチプレクサ２０３の処理フローの一例を示している。デマルチプレクサ２０３は、ステップＳＴ３１において、処理を開始し、その後に、ステップＳＴ３２において、ＴＳペイロードを抽出する。次に、デマルチプレクサ２０３は、ステップＳＴ３３において、ＰＩＤ解析を行って、セクションか否かを判断する。セクションと判断するとき、デマルチプレクサ２０３は、ステップＳＴ３４において、該当ＰＩＤフィルタを通過するパケットをデマルチプレクスし、セクションパーシング（Section parsing）を行う。
【０１２０】
次に、デマルチプレクサ２０３は、ステップＳＴ３５において、ビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）を解析する。そして、デマルチプレクサ２０３は、ステップＳＴ３６において、フレームレート（フレーム周波数）の変更があるか否かを判断する。フレームレートに変更があるとき、デマルチプレクサ２０３は、ステップＳＴ３７において、変更後のフレームレートをシステム、つまりＣＰＵ２０１に通知する。
【０１２１】
次に、デマルチプレクサ２０３は、ステップＳＴ３８に移り、処理を終了する。なお、ステップＳＴ３６でフレームレートに変更がないとき、デマルチプレクサ２０３は、直ちに、ステップＳＴ３８に移り、処理を終了する。
【０１２２】
また、ステップＳＴ３３でセクションでないとき、デマルチプレクサ２０３は、ステップＳＴ３９において、ＰＥＳパケットを抽出する。そして、デマルチプレクサ２０３は、ステップＳＴ４０において、ＰＥＳヘッダか否かを判断する。ＰＥＳヘッダであるとき、デマルチプレクサ２０３は、ステップＳＴ４１において、ビデオ・パラメータ・デスクリプタの解析でフレームレートに変更があったか否かを判断する。
【０１２３】
フレームレートに変更があったとき、デマルチプレクサ２０３は、ステップＳＴ４２において、ＰＥＳエクステンション（PES extension）のフィールドに、テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）があるか否かを判断する。ステップＳＴ４１の判断はステップＳＴ３６の結果と一致するものである。
【０１２４】
テンポラル・ディスコンティニュティ・インフォメーションがあるとき、デマルチプレクサ２０３は、ステップＳＴ４３において、テンポラル・ディスコンティニュティ・インフォメーションの不連続フラグとカウントダウン値でタイムスタンプの不連続性を検知し、システム、つまりＣＰＵ２０１に通知する。その後、デマルチプレクサ２０３は、ステップＳＴ４４の処理に移る。なお、ステップＳＴ４１でフレームレートに変更がなかったとき、あるいはステップＳＴ４２でテンポラル・ディスコンティニュティ・インフォメーションがなかったとき、デマルチプレクサ２０３は、直ちに、ステップＳＴ４４の処理に移る。
【０１２５】
このステップＳＴ４４において、デマルチプレクサ２０３は、ＤＴＳ、ＰＴＳがあるか否かを判断する。ＤＴＳ、ＰＴＳがあるとき、デマルチプレクサ２０３は、ステップＳＴ４６の処理に移る。一方、ＤＴＳ、ＰＴＳがないとき、デマルチプレクサ２０３は、ステップＳＴ４５において、ＤＴＳ、ＰＴＳを補間して生成し、その後に、ステップＳＴ４６の処理に移る。ステップＳＴ４６において、デマルチプレクサ２０３は、ＤＴＳ、ＰＴＳをシステム、つまりＣＰＵ２０１に通知する。その後、デマルチプレクサ２０３は、ステップＳＴ３８に移り、処理を終了する。
【０１２６】
また、ステップＳＴ４０でＰＥＳヘッダでないとき、デマルチプレクサ２０３は、ステップＳＴ４７においてＰＥＳペイロード（PES payload）を抽出する。そして、デマルチプレクサ２０３は、ステップＳＴ４８において、ＰＩＤの対象となる符号化ストリームを圧縮データバッファ（ｃｐｂ）２０４へ転送する。その後、デマルチプレクサ２０３は、ステップＳＴ３８に移り、処理を終了する。
【０１２７】
図１８に戻って、圧縮データバッファ(ｃｐｂ)２０４は、デマルチプレクサ２０３で取り出されるビデオストリーム（符号化ストリーム）を、一時的に蓄積する。デコーダ２０５は、圧縮データバッファ２０４に蓄積されているビデオストリームの各ピクチャの符号化画像データを、そのピクチャのデコードタイミングでデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。
【０１２８】
ここで、デコーダ２０５には、ＣＰＵ２０１から、ＤＴＳ（Decoding Time stamp）に基づいて、デコードタイミングが与えられる。なお、デコーダ２０５は、各ピクチャの符号化画像データをデコードする際に、必要に応じて、非圧縮データバッファ２０６から被参照ピクチャの画像データを読み出して利用する。
【０１２９】
図２１は、デコーダ２０５の構成例を示している。このデコーダ２０５は、ＮＡＬパケット解析部２５１と、デコード部２５２を有している。ＮＡＬパケット解析部２５１は、ピクチャ毎に、符号化画像データを構成する各ＮＡＬパケットを解析し、ＶＰＳ、ＳＰＳ、ＰＰＳなどのパラメータセットや、ＳＥＩ、そして、スライス（slice）を判別する。ＮＡＬパケット解析部２５１は、各ＮＡＬパケットを、判別結果と共にデコード部２５２に送る。
【０１３０】
デコード部２５２は、ＮＡＬパケット解析部２５１を経て送られてくるビデオストリーム（符号化ストリーム）が持つ各ピクチャの符号化画像データを、順次デコードタイミングでデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。この場合、デコード部２５２は、ＶＰＳ、ＳＰＳ、ＰＰＳのタイミング情報の解析を行って、ストリーム全体のビットレートのレベルである、「general_level_idc」あるいはサブレイヤごとのビットレートのレベル「sublayer_level_idc」を把握し、デコード能力内でデコードし得るものかどうかを確認する。また、この場合、デコード部２５２は、ＳＥＩの解析を行って、例えば、「initial_cpb_removal_time」、「cpb_removal_delay」を把握し、ＣＰＵ２０１からのデコードタイミングが適切か確認する。
【０１３１】
また、この場合、デコード部２５２は、ＶＰＳに含まれる「vps_num_units_in_tick」、「vps_times_scale」の情報からフレームレート（フレーム周波数）を求め、ＣＰＵ２０１に送る。これにより、ＣＰＵ２０１は、現在デコード対象のピクチャのフレームレートを確認することが可能となる。なお、デコード部２５２は、テンポラル・リフレッシュ・インフォメーションＳＥＩを解析することで、時間情報、タイムスタンプに不連続が生じるピクチャか否かを判別でき、不連続が生じるピクチャの場合には、このＳＥＩに含まれる「num_units_in_tick」、「times_scale」の情報からもフレームレート（フレーム周波数）を求めることができる。
【０１３２】
デコード部２５２は、スライス（Slice）のデコードを行う際に、スライスヘッダ（Slice header）から、時間方向の予測先を表す情報として、「ref_idx_l0_active(ref_idx_l1_active)を取得し、時間方向の予測を行う。なお、デコード後のピクチャは、スライスヘッダ（slice header）から得られる「short_term_ref_pic_set_idx」、あるいは「it_idx_sps」が指標とされて、他のピクチャによる被参照として処理される。
【０１３３】
図１８に戻って、非圧縮データバッファ（ｄｐｂ）２０６は、デコーダ２０５でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部２０７は、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。この場合、ＣＰＵ２０１から、ＰＴＳ（Presentation Time stamp）に基づいて、デコーダ２０５に表示タイミングが与えられる。
【０１３４】
例えば、デコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓであって、表示能力が６０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が１/２倍となるようにサブサンプル処理を施し、６０ｆｐｓの画像データとしてディスプレイに送る。
【０１３５】
また、例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が２倍となるように補間処理を施し、１２０ｆｐｓの画像データとしてディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が６０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。
【０１３６】
クロック発生部２０８は、デマルチプレクサ２０３で抽出されるＰＣＲに同期したシステムクロックＳＴＣを発生する。分周部２０９は、このシステムクロックＳＴＣを分周して、垂直同期信号Ｖsyncを出力する。この垂直同期信号Ｖsyncは、ＣＰＵ２０１に供給されると共に、デマルチプレクサ２０３、デコーダ２０５、ポスト処理部２０７、さらにはその他の必要な箇所に供給される。
【０１３７】
この垂直同期信号Ｖsyncの周波数は、ＣＰＵ２０１から、分周値（divider value）が供給されることで制御される。この実施の形態において、この垂直同期信号Ｖsyncの周波数は、第２のシーケンスの最初のピクチャの表示開始タイミングまでは、第１のシーケンスのフレームレートに合ったものとされ、このタイミング以降は、第２のシーケンスのフレームレートに合ったものに切り替えられる。
【０１３８】
そのため、本実施の形態において、第２のシーケンスの最初のピクチャの表示開始タイミングより前では、第２のシーケンスの各ピクチャ符号化画像データは、第１のシーケンスの各ピクチャの符号化画像データのデコード（復号化）タイミングで、デコードされる。
【０１３９】
図２２は、垂直同期信号Ｖsyncの切り替えタイミングの一例を示している。図示の例では、第１のシーケンスは、４ピクチャからなり、ａ０，ａ１，ａ２，ａ３の順にデコードされると共に、ａ０，ａ２，ａ３，ａ１の順に表示される。この場合、デコードが行われてから表示が開始されるまでの遅延ピクチャ数は２ピクチャとされている。
【０１４０】
第１のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔Ｖａを持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされる。例えば、ａ０，ａ１，ａ２，ａ３のピクチャは、Ｔａ(0)，Ｔａ(1)，Ｔａ(2)，Ｔａ(3)のタイミングでデコードが行われ、ａ０，ａ２，ａ３，ａ１のピクチャは、Ｔａ(2)，Ｔａ(3)，Ｔａ(4)，Ｔａ(5)のタイミングで表示が開始される。
【０１４１】
第２のシーケンスは、７ピクチャからなり、ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５，ｂ６の順にデコードされると共に、ｂ０，ｂ２，ｂ３，ｂ１，ｂ５，ｂ６，ｂ３の順に表示される。この場合、デコードが行われてから表示が開始されるまでの遅延ピクチャ数は、第１のシーケンスにおけると同様に、２ピクチャとされている。
【０１４２】
第２のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔Ｖｂ（＜Ｖａ）を持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされるように、デコード、表示のタイミングが、符号化において設定されている。しかし、この実施の形態において、第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔｂ(2)）までは、第１のシーケンスのフレームレートに合ったものとされ、このタイミング以降は、第２のシーケンスのフレームレートに合ったものに切り替えられる。
【０１４３】
そのため、デコーダ２０５では、第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔｂ(2)）より前では、第２のシーケンスの各ピクチャ（図示の例では、ｂ０，ｂ１のピクチャ）の符号化画像データは、第１のシーケンスの各ピクチャの符号化画像データのデコード（復号化）タイミングで、第１のシーケンスとのデコードタイミングの連続性が維持されてデコードされる。
【０１４４】
すなわち、ｂ０，ｂ１のピクチャは、Ｔａ(4)，Ｔａ(5)のタイミングでデコードが行われる。これは、デマルチプレクサ２０３が、遅くとも第１のシーケンスの最後のピクチャの先頭バイトが圧縮データバッファ（ｃｐｂ）２０４に入るタイミング（図３のＰ１のタイミング）で、ＰＥＳエクステンションの領域からテンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）を抽出し、不連続情報を検知するので、タイミング（Ｔｂ(0)）の前であっても、ｂ０のピクチャのデコードを行うことが可能になる。
【０１４５】
また、上述したように、垂直同期信号Ｖsyncの切り替えが、第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔｂ(2)）、したがって第１のシーケンスの最後のピクチャの表示終了タイミング（Ｔａ(6)）で行われる。ＣＰＵ２０１は、このタイミングで垂直同期信号Ｖsyncの切り替えが必要であることは、テンポラル・ディスコンティニュティ・インフォメーションの不連続情報、カウントダウン情報から検知できる。
【０１４６】
図２３も、垂直同期信号Ｖsyncの切り替えタイミングの一例を示している。図２２の例では、第１のシーケンスのフレーム周期（時間間隔）がＶａで、第２のシーケンスのフレーム周期（時間間隔）がＶｂ（＜Ｖａ）である例を示したが、この例はその逆の場合の例である。すなわち、この例では、第１のシーケンスのフレーム周期（時間間隔）がＶｂで、第２のシーケンスのフレーム周期（時間間隔）がＶａ（＞Ｖｂ）である。
【０１４７】
図示の例では、第１のシーケンスは、４ピクチャからなり、ｂ０，ｂ１，ｂ２，ｂ３の順にデコードされると共に、ｂ０，ｂ２，ｂ３，ｂ１の順に表示される。この場合、デコードが行われてから表示が開始されるまでの遅延ピクチャ数は２ピクチャとされている。
【０１４８】
第１のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔Ｖｂを持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされる。例えば、ｂ０，ｂ１，ｂ２，ｂ３のピクチャは、Ｔｂ(0)，Ｔｂ(1)，Ｔｂ(2)，Ｔｂ(3)のタイミングでデコードが行われ、ｂ０，ｂ２，ｂ３，ｂ１のピクチャは、Ｔｂ(2)，Ｔｂ(3)，Ｔｂ(4)，Ｔｂ(5)のタイミングで表示が開始される。
【０１４９】
第２のシーケンスは、４ピクチャからなり、ａ０，ａ１，ａ２，ａ３の順にデコードされると共に、ａ０，ａ２，ａ３，ａ１の順に表示される。この場合、デコードが行われてから表示が開始されるまでの遅延ピクチャ数は、第１のシーケンスにおけると同様に、２ピクチャとされている。
【０１５０】
第２のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔Ｖａ（＞Ｖｂ）を持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされるように、デコード、表示のタイミングが、符号化において設定されている。しかし、この実施の形態において、第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔａ(2)）までは、第１のシーケンスのフレームレートに合ったものとされ、このタイミング以降は、第２のシーケンスのフレームレートに合ったものに切り替えられる。
【０１５１】
そのため、デコーダ２０５では、第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔａ(2)）より前では、第２のシーケンスの各ピクチャ（図示の例では、ａ０，ａ１のピクチャ）の符号化画像データは、第１のシーケンスの各ピクチャの符号化画像データのデコード（復号化）タイミングで、第１のシーケンスとのデコードタイミングの連続性が維持されてデコードされる。
【０１５２】
すなわち、ａ０，ａ１のピクチャは、Ｔｂ(4)，Ｔｂ(5)のタイミングでデコードが行われる。これは、デマルチプレクサ２０３が、遅くとも第１のシーケンスの最後のピクチャの先頭バイトが圧縮データバッファ（ｃｐｂ）２０４に入るタイミング（図３のＰ１のタイミング）で、ＰＥＳエクステンションの領域からテンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）を抽出し、不連続情報を検知するので、タイミング（Ｔａ(0)）の後であっても、ａ０のピクチャのデコードを開始することが可能になる。
【０１５３】
また、上述したように、垂直同期信号Ｖsyncの切り替えが、第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔａ(2)）、したがって第１のシーケンスの最後のピクチャの表示終了タイミング（Ｔｂ(6)）で行われる。ＣＰＵ２０１は、このタイミングで垂直同期信号Ｖsyncの切り替えが必要であることは、テンポラル・ディスコンティニュティ・インフォメーションの不連続情報、カウントダウン情報から検知できる。
【０１５４】
図１８に示す受信装置２００の動作を簡単に説明する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳには、第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオストリームが含まれている。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ビデオストリームが取り出され、圧縮データバッファ（ｃｐｂ）２０４に送られ、一時的に蓄積される。
【０１５５】
また、デマルチプレクサ２０３では、ＴＳパケットのアダプテーションフィールドからＰＣＲ（Program Clock Reference）が抽出される。このＰＣＲは、クロック発生部２０８に供給される。クロック発生部２０８では、ＰＣＲに同期したシステムクロックＳＴＣが発生される。そして、このシステムクロックＳＴＣが分周部２０９で分周されて垂直同期信号Ｖsyncが得られる。この垂直同期信号Ｖsyncは、ＣＰＵ２０１の他、デマルチプレクサ２０３、デコーダ２０５、ポスト処理部２０７などの必要な個所に供給される。
【０１５６】
また、デマルチプレクサ２０３では、トランスポートストリームＴＳからビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）などのデスクリプタが抽出され、ＣＰＵ２０１に供給される。ＣＰＵ２０１は、このビデオ・パラメータ・デスクリプタの情報から、事前に、フレーム周波数（フレームレート）の変化があることを認識でき、さらに、変化後のフレーム周波数も認識できる。
【０１５７】
また、デマルチプレクサ２０３では、ピクチャ毎にＰＥＳヘッダのＰＥＳエクステンションの領域に挿入されているテンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）が抽出され、不連続情報およびカウントダウン情報がＣＰＵ２０１に供給される。
【０１５８】
これにより、ＣＰＵ２０１は、デコード時刻（あるいはDecodingTimeStamp)の値の変化に関して不連続がある場合、それを事前に認識でき、しかもその不連続が生じるまでのアクセスユニット（ピクチャ）単位の推移をカウントダウン情報（カウントダウン値）により明確に知ることができる。また、ＣＰＵ２０１は、アクセスユニット（ピクチャ）毎の表示時間間隔が切り替わる場合、それを事前に認識でき、しかも切り替わるまでのアクセスユニット（ピクチャ）単位の推移をカウントダウン情報（カウントダウン値）により明確に知ることができる。
【０１５９】
また、デマルチプレクサ２０３では、ピクチャ毎にＰＥＳヘッダに配置されているＤＴＳ，ＰＴＳのタイムスタンプが抽出され、ＣＰＵ２０１に供給される。ＣＰＵ２０１は、このタイムスタンプに基づき、デコーダ２０５に、デコードタイミングおよび表示タイミングを与える。
【０１６０】
デコーダ２０５では、圧縮データバッファ２０４に蓄積されているビデオストリームの各ピクチャの符号化画像データが、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ（ｄｐｂ）２０６に送られ、一時的に蓄積される。この場合、各ピクチャの符号化画像データがデコードされる際に、必要に応じて、非圧縮データバッファ２０６から被参照ピクチャの画像データが読み出されて利用される。
【０１６１】
非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部２０７に送られる。この場合、第１のシーケンスの最後のピクチャの表示終了タイミングと第２のシーケンスの最初のピクチャの表示開始タイミングが同一タイミングとされる。
【０１６２】
ポスト処理部２０７では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部２０７で処理された各ピクチャの画像データは、ディスプレイに供給され、その各ピクチャの画像データによる動画像の表示が行われる。
【０１６３】
なお、垂直同期信号Ｖsyncの周波数は、ＣＰＵ２０１から供給される分周値（divider value）が変更されることで切り替えられる。この垂直同期信号Ｖsyncの周波数は、第２のシーケンスの最初のピクチャの表示開始タイミングまでは、第１のシーケンスのフレームレートに合ったものとされ、このタイミング以降は、第２のシーケンスのフレームレートに合ったものに切り替えられる。ＣＰＵ２０１は、この切り替えタイミングを、テンポラル・ディスコンティニュティ・インフォメーションの不連続情報、カウントダウン情報に基づいて認識する。
【０１６４】
また、このように、第２のシーケンスの最初のピクチャの表示開始タイミングより前では、垂直同期信号Ｖsyncの周波数は第１のシーケンスのフレームレートに合ったものとされる。そのため、ＣＰＵ２０１の制御により、第２のシーケンスの最初のピクチャの表示開始タイミングより前では、第２のシーケンスの各ピクチャの符号化画像データは、第１のシーケンスの各ピクチャの符号化画像データのデコード（復号化）タイミングで、デコードされる。この制御は、テンポラル・ディスコンティニュティ・インフォメーションの不連続情報が検知されることから可能となっている。
【０１６５】
以上説明したように、図１に示す送受信システム１０においては、送信側において、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されるものである。そのため、例えば、受信側において、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能となる。
【０１６６】
また、図１に示す送受信システム１０においては、送信側において、デコードしてから表示するまでの遅延ピクチャ数が、第１のシーケンスの符号化画像データと第２のシーケンスの符号化画像データとで同一となるように符号化されるものである。そのため、例えば、受信側において、第１のシーケンスから第２のシーケンスへの切り替わり部におけるバッファ破綻を回避することが可能となる。
【０１６７】
また、図１に示す送受信システム１０においては、送信側において、ビデオストリームの各ピクチャの符号化画像データ毎に、フレームレートに変化があるか否かを示す情報、すなわちテンポラル・リフレッシュ・インフォメーションＳＥＩ（Temporal_refresh_information SEI）が挿入されるものである。そのため、例えば、受信側において、第１のシーケンスから第２のシーケンスへの変化点を容易に把握可能となる。
【０１６８】
また、図１に示す送受信システム１０においては、送信側において、ビデオストリームをコンテナするパケット、例えば、ＰＥＳパケットに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報、すなわちテンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）が挿入されるものである。そのため、例えば、受信側において、第１のシーケンスから第２のシーケンスへの変化、そして時間情報、タイムスタンプの不連続情報、変化するまでのカウントダウン情報を容易に把握可能となる。
【０１６９】
また、図１に示す送受信システム１０においては、送信側において、コンテナのレイヤ、つまりトランスポートストリームＴＳのレイヤに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報、すなわちビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）が挿入されるものである。そのため、例えば、受信側において、第１のシーケンスから第２のシーケンスへの変化があること、そして、変化後のフレームレートを容易に把握可能となる。
【０１７０】
また、図１に示す送受信システム１０においては、受信側において、第２のシーケンスの最初のピクチャの表示開始タイミングより前では、第２のシーケンスの各ピクチャの符号化画像データは、第１のシーケンスの各ピクチャの符号化画像データのデコード（復号化）タイミングでデコードされるものである。そのため、例えば、非同期の２つの垂直同期信号を同時に発生させるような実装を回避可能となる。
【０１７１】
＜２．変形例＞
なお、上述の実施の形態においては、受信側において、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能とする例を示した。そのために、送信側において、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように、符号化が行われる。
【０１７２】
ここで、受信側において、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能とするとともに、さらに、第１のシーケンスと第２のシーケンスのデコードタイミングの連続性を容易に確保可能とすることも考えられる。そのために、送信側において、さらに、第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、この第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように、符号化が行われる。
【０１７３】
図２４は、その場合におけるエンコーダ１０２のＨＲＤ（Hypothetical Reference Decoder）制御の一例を示している。この図２４において、上述の図３と対応する部分については、適宜、その詳細説明を省略する。
【０１７４】
図示の例では、第１のシーケンスは、４ピクチャからなり、ａ０，ａ１，ａ２，ａ３の順にデコードされると共に、ａ０，ａ２，ａ３，ａ１の順に表示される。この場合、デコードされた各ピクチャの画像データは、ｄｐｂ（decoded picture buffer:非圧縮データバッファ）に入力される。この例において、第１のシーケンスのデコードが行われてから表示が開始されるまでの遅延ピクチャ数は２ピクチャとされている。
【０１７５】
第１のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔を持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされる。例えば、ａ０，ａ１，ａ２，ａ３のピクチャは、Ｔａ(0)，Ｔａ(1)，Ｔａ(2)，Ｔａ(3)のタイミングでデコードが行われ、ａ０，ａ２，ａ３，ａ１のピクチャは、Ｔａ(2)，Ｔａ(3)，Ｔａ(4)，Ｔａ(5)のタイミングで表示が開始される。
【０１７６】
第２のシーケンスは、６ピクチャからなり、ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５の順にデコードされると共に、ｂ１，ｂ２，ｂ０，ｂ４，ｂ５，ｂ３の順に表示される。この場合、デコードされた各ピクチャの画像データは、ｄｐｂに入力される。この例において、第２のシーケンスのデコードが行われてから表示が開始されるまでの遅延ピクチャ数は、第１のシーケンスにおけると同様に、２ピクチャとされている。これにより、バッファ破綻が回避される。
【０１７７】
図３の例と同様に、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一とされる。すなわち、Ｔａ(6)のタイミングと、Ｔｂ(2)のタイミングが等しくされる。これにより、第１のシーケンスと、第２のシーケンスの表示の連続性が保たれる。
【０１７８】
第２のシーケンスは、最初のピクチャの表示開始タイミング（Ｔｂ(2)）以降では、そのフレームレート（フレーム周波数）に対応した時間間隔を持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされる。例えば、ｂ２，ｂ３，ｂ４，ｂ５のピクチャは、Ｔｂ(2)，Ｔｂ(3) ，Ｔｂ(4)，Ｔｂ(5)のタイミングでデコードが行われ、ｂ１，ｂ２，ｂ０，ｂ４，ｂ５，ｂ３のピクチャは、Ｔｂ(2)，Ｔｂ(3)，Ｔｂ(4)，Ｔｂ(5) ，Ｔｂ(6)，Ｔｂ(7)のタイミングで表示が開始される。
【０１７９】
また、第２のシーケンスは、最初のピクチャの表示開始タイミング（Ｔｂ(2)）より前では、第１のフレームレート（フレーム周波数）に対応した時間間隔を持つ垂直同期信号（Ｖsync）のタイミングでデコードされる。この例において、ｂ０，ｂ１のピクチャは、Ｔｂ(0)，Ｔｂ(1)でデコードされるが、Ｔｂ(0)＝Ｔａ(4)、Ｔｂ(1)＝Ｔａ(5)とされる。
【０１８０】
この場合、第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、この第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとされる。すなわち、Ｔａ(4)のタイミングと、Ｔｂ(0)のタイミングが等しくされる。つまり、Ｔｂ(0)のタイミングがＴａ(4)のタイミングと等しくなるように、“Initial_cpb_removal_delay B”が設定される。
【０１８１】
このようにＴｂ(0)のタイミングがＴａ(4)のタイミングと等しくなるように符号化されることで、受信側では、第１のシーケンスと第２のシーケンスのデコードタイミングの連続性が容易に確保され、第２のシーケンスの最初のピクチャの読み遅れが回避される。この場合、上述の図２２、図２３で説明したように、受信側において、第２のシーケンスの最初のピクチャの表示開始タイミングより前に位置する当該第２のシーケンスのピクチャのデコードタイミングを調整する処理も不要となる。つまり、受信側の負担も軽減可能となる。
【０１８２】
また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は登録商標である。
【０１８３】
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２  ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
【０１８４】
また、本技術は、以下のような構成を取ることもできる。
（１）第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを生成する画像符号化部を備え、
上記画像符号化部は、
上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化を行う
符号化装置。
（２）上記画像符号化部は、
デコードしてから表示するまでの遅延ピクチャ数が、上記第１のシーケンスの符号化画像データと上記第２のシーケンスの符号化画像データとで同一となるように符号化する
前記（１）に記載の符号化装置。
（３）上記画像符号化部は、
上記第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、上記第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、該第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化する
前記（１）または（２）に記載の符号化装置。
（４）第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを生成する画像符号化部と、
上記生成されたビデオデータを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化を行う
送信装置。
（５）上記ビデオデータの各ピクチャの符号化画像データ毎に、フレームレートに変化があるか否かを示す情報を挿入する情報挿入部をさらに備える
前記（４）に記載の送信装置。
（６）上記情報がフレームレートに変化があることを示すとき、該情報に変化後のフレームレートの値を示す情報が付加される
前記（５）に記載の送信装置。
（７）上記ビデオデータをコンテナするパケットに、上記第１のシーケンスの符号化画像データから上記第２のシーケンスの符号化画像データに変化することを通知する情報を挿入する情報挿入部をさらに備える
前記（４）から（６）のいずれかに記載の送信装置。
（８）上記通知情報には、デコード時刻の値の変化に関して不連続があるか否かを示す情報が含まれる
前記（７）に記載の送信装置。
（９）上記情報が不連続があることを示すとき、上記情報に不連続が生じるまでのピクチャ数のカウントダウン値が付加される
前記（８）に記載の送信装置。
（１０）上記通知情報には、ピクチャ毎の表示時間間隔が切り替わるか否かを示す情報が含まれる
前記（７）から（９）のいずれかに記載の送信装置。
（１１）上記情報が切り替わることを示すとき、上記情報に切り替わるまでのピクチャ数のカウントダウン値が付加される
前記（１０）に記載の送信装置。
（１２）上記情報挿入部は、
上記通知情報を、ペイロードにピクチャ毎の符号化画像データを含むＰＥＳパケットのエクステンションフィールドに挿入する
前記（７）から（１１）のいずれかに記載の送信装置。
（１３）上記コンテナのレイヤに、上記第１のシーケンスの符号化画像データから上記第２のシーケンスの符号化画像データに変化することを通知する情報を挿入する情報挿入部をさらに備える
前記（４）から（１２）のいずれかに記載の送信装置。
（１４）上記通知情報には、上記第１のシーケンスのフレームレートおよび上記第２のシーケンスのフレームレートの情報が含まれる
前記（１３）に記載の送信装置。
（１５）第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを受信する受信部と、
上記受信されたビデオデータを処理する処理部を備え、
上記ビデオデータは、上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されている
受信装置。
（１６）上記ビデオデータは、デコードしてから表示するまでの遅延ピクチャ数が、上記第１のシーケンスの符号化画像データと上記第２のシーケンスの符号化画像データとで同一となるように符号化されている
前記（１５）に記載の受信装置。
（１７）  上記ビデオデータは、上記第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、上記第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、該第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化されている
前記（１５）または（１６）に記載の受信装置。
（１８）第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを含む所定フォーマットのコンテナを受信する受信部を備え、
上記ビデオデータは、上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されており、
上記受信されたコンテナに含まれているビデオデータを復号化して上記第１のシーケンスおよび上記第２のシーケンスの表示の連続性が維持された画像データを得る画像復号化部をさらに備える
受信装置。
（１９）上記画像復号化部は、
上記同一タイミングより前では上記第２のシーケンスの各ピクチャの符号化画像データを、上記第１のシーケンスの各ピクチャの符号化画像データの復号化タイミングに同期したタイミングで復号化する
前記（１８）に記載の受信装置。
（２０）上記ビデオデータをコンテナするパケットおよび/または上記コンテナのレイヤに、上記第１のシーケンスの符号化画像データから上記第２のシーケンスの符号化画像データに変化することを通知する情報が挿入されており、
上記画像復号化部の処理は、上記通知情報に基づいて制御される
前記（１８）または（１９）に記載の受信装置。
【０１８５】
本技術の主な特徴は、フレームレートの切り替え部を持つビデオデータを配信する際に、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化することで、受信側において、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能としたことである（図３参照）。
【符号の説明】
【０１８６】
１０・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・エンコーダ
１０３・・・圧縮データバッファ（ｃｐｂ）
１０４・・・マルチプレクサ
１０５・・・送信部
１２２・・・バッファ遅延制御部
１２３・・・ＨＲＤ設定部
１２４・・・パラメータセット/ＳＥＩエンコード部
１２５・・・スライスエンコード部
１２６・・・ＮＡＬパケット化部
１４２・・・セクションコーディング部
１４３・・・ＰＥＳパケット化部
１４４・・・トランスポートパケット化部
２００・・・受信装置
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・圧縮データバッファ（ｃｐｂ）
２０５・・・デコーダ
２０６・・・非圧縮データバッファ（ｄｐｂ）
２０７・・・ポスト処理部
２０８・・・クロック発生部
２０９・・・分周部
２３１・・・ＴＳアダプテーションフィールド抽出部
２３２・・・クロック情報抽出部
２３３・・・ＴＳペイロード抽出部
２３４・・・セクション抽出部
２３５・・・ＰＳＩテーブル/デスクリプタ抽出部
２３６・・・ＰＥＳパケット抽出部
２３７・・・ＰＥＳヘッダ抽出部
２３８・・・タイムスタンプ抽出部
２３９・・・不連続/カウントダウン情報抽出部
２４０・・・ＰＥＳペイロード抽出部
２５１・・・ＮＡＬパケット解析部
２５２・・・デコード部
【要約】
【課題】フレームレートの切り替え部を持つビデオデータが配信される場合、受信側において表示連続性を容易に確保可能とする。
【解決手段】第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを受信して処理する。ビデオデータは、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されている。また、ビデオデータは、第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、該第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化されている。
【選択図】図２４【図１】
0005971443.tif 000002
【図２】
0005971443.tif 000003
【図３】
0005971443.tif 000004
【図４】
0005971443.tif 000005
【図５】
0005971443.tif 000006
【図６】
0005971443.tif 000007
【図７】
0005971443.tif 000008
【図８】
0005971443.tif 000009
【図９】
0005971443.tif 000010
【図１０】
0005971443.tif 000011
【図１１】
0005971443.tif 000012
【図１２】
0005971443.tif 000013
【図１３】
0005971443.tif 000014
【図１４】
0005971443.tif 000015
【図１５】
0005971443.tif 000016
【図１６】
0005971443.tif 000017
【図１７】
0005971443.tif 000018
【図１８】
0005971443.tif 000019
【図１９】
0005971443.tif 000020
【図２０】
0005971443.tif 000021
【図２１】
0005971443.tif 000022
【図２２】
0005971443.tif 000023
【図２３】
0005971443.tif 000024
【図２４】
0005971443.tif 000025