(57)【要約】      （修正有）【課題】送信済みのタイムスタンプを動的に変更できる装置、方法及びプログラムを提供する。【解決手段】送信装置が、送信済みのタイムスタンプに対して、変更のあった同一のＭＰＵ（Ｍｅｄｉａ  Ｐｒｏｇｒｅｓｓ  Ｕｎｉｔ）のタイムスタンプをデコード前に受信できるように送信する。受信装置は、変更のあった同一のＭＰＵのタイムスタンプを受信すると、タイムスタンプメモリ上で更新し、更新されたタイムスタンプを利用して、デコードすることにより、動的にタイムスタンプを変更する。【選択図】図９
2017028463.tif 000002
【特許請求の範囲】
【請求項１】
タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、
前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、
前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、
前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部とを含み、
前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、
前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する
送信装置。
【請求項２】
前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータをグループのうち、前記グループ単位で、確定したタイムスタンプのみを追加して、前記タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記グループ内で、前記確定したタイムスタンプのみが追加された、タイムスタンプパケットを、前記受信装置に再送する
請求項１に記載の送信装置。
【請求項３】
前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータのグループ中に、未確定のタイムスタンプがあるとき、前記未確定のタイムスタンプを示す情報を含めて、前記タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記グループ内で、前記未確定のタイムスタンプを示す情報を含むタイムスタンプパケットを、前記受信装置に再送する
請求項１に記載の送信装置。
【請求項４】
前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータのグループの、前記タイムスタンプを、前記タイムスタンプの更新の有無、または、完了を示す情報を含めて、前記タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記グループの前記タイムスタンプを、前記タイムスタンプの更新の有無、または、完了を示す情報を含むタイムスタンプパケットにパケット化して、前記受信装置に再送する
請求項１に記載の送信装置。
【請求項５】
前記多重化部は、前記受信装置において、前記変更または追加が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される所定時間だけ前に受信されるタイミングで、前記変更または追加が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する
請求項１に記載の送信装置。
【請求項６】
タイムスタンプをタイムスタンプパケットにパケット化し、
前記タイムスタンプが対応付けられるデータをエンコードし、
前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化し、
前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信するステップを含ませ、
前記タイムスタンプパケットにパケット化するタイムスタンプパケット化ステップの処理は、
複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、
前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、
前記多重化ストリームを生成して受信装置に送信するステップの処理は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する
送信方法。
【請求項７】
タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、
前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、
前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、
前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部としてコンピュータに実行させ、
前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、
前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する
プログラム。
【請求項８】
タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、
前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、
前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、
前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部とを含み、
前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、
前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する送信装置より送信されてくる前記多重化ストリームを受信する受信装置において、
前記多重化ストリームより、前記タイムスタンプと、エンコードされている前記タイムスタンプに対応付けられるデータとに分離する分離部と、
前記タイムスタンプを記憶するタイムスタンプ記憶部と、
前記タイムスタンプ記憶部に記憶される前記タイムスタンプの更新を管理する更新管理部と、
前記分離部により分離された、エンコードされている前記タイムスタンプに対応付けられるデータをデコードするデコード部と、
前記タイムスタンプ記憶部に記憶されている、前記タイムスタンプの情報に基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する同期制御部とを含み、
前記更新管理部は、再送された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記未デコードのタイムスタンプを、前記再送されたタイムスタンプに基づいて、前記タイムスタンプ記憶部に記憶されている前記タイムスタンプを更新して記憶させ、
前記同期制御部は、前記タイムスタンプ記憶部に、更新されて記憶されている前記タイムスタンプに基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する
受信装置。
【請求項９】
前記更新管理部は、再送された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記未デコード、または、未提示のタイムスタンプが変更されているとき、前記再送されたタイムスタンプに基づいて、前記タイムスタンプ記憶部に記憶されている前記タイムスタンプを更新して記憶させる
請求項８に記載の受信装置。
【請求項１０】
前記更新管理部は、確定した前記タイムスタンプのみが追加された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記追加されたタイムスタンプに基づいて、前記タイムスタンプ記憶部に記憶されている前記タイムスタンプを更新して記憶させる
請求項８に記載の受信装置。
【請求項１１】
タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、
前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、
前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、
前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部とを含み、
前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、
前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する送信装置より送信されてくる前記多重化ストリームを受信する受信装置の受信方法において、
前記多重化ストリームより、前記タイムスタンプと、エンコードされている前記タイムスタンプに対応付けられるデータとに分離し、
前記タイムスタンプを記憶し、
記憶される前記タイムスタンプの更新を管理し、
前記分離部により分離された、エンコードされている前記タイムスタンプに対応付けられるデータをデコードし、
前記記憶されている、前記タイムスタンプの情報に基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御するステップを含み、
記憶される前記タイムスタンプの更新を管理する管理ステップの処理は、再送された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記未デコードのタイムスタンプを、前記再送されたタイムスタンプに基づいて、記憶されている前記タイムスタンプを更新して記憶させ、
前記タイミングを制御する制御ステップの処理は、更新されて記憶されている前記タイムスタンプに基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する
受信方法。
【請求項１２】
タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、
前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、
前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、
前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部とを含み、
前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、
前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する送信装置より送信されてくる前記多重化ストリームを受信する受信装置を制御するコンピュータに、
前記多重化ストリームより、前記タイムスタンプと、エンコードされている前記タイムスタンプに対応付けられるデータとに分離する分離部と、
前記タイムスタンプを記憶するタイムスタンプ記憶部と、
前記タイムスタンプ記憶部に記憶される前記タイムスタンプの更新を管理する更新管理部と、
前記分離部により分離された、エンコードされている前記タイムスタンプに対応付けられるデータをデコードするデコード部と、
前記タイムスタンプ記憶部に記憶されている、前記タイムスタンプの情報に基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する同期制御部として機能させ、
前記更新管理部は、再送された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記未デコードのタイムスタンプを、前記再送されたタイムスタンプに基づいて、前記タイムスタンプ記憶部に記憶されている前記タイムスタンプを更新して記憶させ、
前記同期制御部は、前記タイムスタンプ記憶部に、更新されて記憶されている前記タイムスタンプに基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、送信装置、および送信方法、受信装置、および受信方法、並びにプログラムに関し、特に、送信済みのタイムスタンプを動的に変更できるようにした送信装置、および送信方法、受信装置、および受信方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、例えばデジタル放送では、データ構造として、ISO13818-1に規定されるMPEG（Moving Picture Experts Group）-2 TS（Transport Stream）が使用されている。
【０００３】
ビデオのピクチャやオーディオのフレームのように、時刻情報が対応付けられる単位はアクセスユニットと称される。
【０００４】
MPEG-2 TSでは、アクセスユニット単位で対応づけられるデコード時刻や提示時刻は、ビデオやオーディオのデータをパケット化する際に、そのヘッダ内に符号化されるため、ストリーム上で時刻情報と対応するアクセスユニットデータの先頭は近接しており、デコード時刻や提示時刻は確定した値を付与することが容易である。
【０００５】
一方、例えば、MPEG-H規格のPart1で規定されるMMT（MPEG Media Transport）を用いた標準規格であるARIB（Association of Radio Industries and Business）-STD-B60では、ビデオやオーディオのアクセスユニットと対応づけられるデコード時刻や提示時刻を、MMTメッセージを用いる方法により、ビデオやオーディオのデータとは異なるパケットとしてパケット化される（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許５６７２４０７号（特開２０１５−０１５７５９号公報）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の技術においては、ビデオやオーディオの複数個のアクセスユニットをグループとし、グループに含まれるアクセスユニットに対応づけられるデコード時刻や提示時刻をまとめて送信するため、予めグループ全体の時刻情報を確定している必要がある。
【０００８】
このため、例えば、シーンチェンジを検出して高い画質で符号化するためにビデオのエンコード方法を変更したい場合でも、送信済みのデコード時刻や提示時刻が固定されたままの状態となる。
【０００９】
また、例えば、編集点を挟むために、グループの境界を変更したい場合でも、デコード時刻や提示時刻を送信済みのグループ長は固定されたままの状態となる。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、特に、送信済みのタイムスタンプを動的に変更できるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の第１の側面の受信装置は、タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部とを含み、前記タイムスタンプパケット化部は、複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する送信装置である。
【００１２】
前記タイムスタンプパケット化部には、複数の前記タイムスタンプが対応付けられるデータをグループのうち、前記グループ単位で、確定したタイムスタンプのみを追加して、前記タイムスタンプパケットにパケット化させ、前記多重化部には、前記受信装置において、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記グループ内で、前記確定したタイムスタンプのみが追加された、タイムスタンプパケットを、前記受信装置に再送させるようにすることができる。
【００１３】
前記タイムスタンプパケット化部には、複数の前記タイムスタンプが対応付けられるデータのグループ中に、未確定のタイムスタンプがあるとき、前記未確定のタイムスタンプを示す情報を含めて、前記タイムスタンプパケットにパケット化させ、前記多重化部には、前記受信装置において、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記グループ内で、前記未確定のタイムスタンプを示す情報を含むタイムスタンプパケットを、前記受信装置に再送させるようにすることができる。
【００１４】
前記タイムスタンプパケット化部には、複数の前記タイムスタンプが対応付けられるデータのグループの、前記タイムスタンプを、前記タイムスタンプの更新の有無、または、完了を示す情報を含めて、前記タイムスタンプパケットにパケット化させ、前記多重化部は、前記受信装置において、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記グループの前記タイムスタンプを、前記タイムスタンプの更新の有無、または、完了を示す情報を含むタイムスタンプパケットにパケット化して、前記受信装置に再送させるようにすることができる。
【００１５】
前記多重化部には、前記受信装置において、前記変更または追加が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される所定時間だけ前に受信されるタイミングで、前記変更または追加が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送させるようにすることができる。
【００１６】
本技術の第１の側面の受信方法は、タイムスタンプをタイムスタンプパケットにパケット化し、前記タイムスタンプが対応付けられるデータをエンコードし、前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化し、前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信するステップを含ませ、前記タイムスタンプパケットにパケット化するタイムスタンプパケット化ステップの処理は、複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、前記多重化ストリームを生成して受信装置に送信するステップの処理は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する送信方法である。
【００１７】
本技術の第１の側面のプログラムは、タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部としてコンピュータに実行させ、前記タイムスタンプパケット化部は、複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送するプログラムである。
【００１８】
本技術の第１の側面においては、タイムスタンプがタイムスタンプパケットにパケット化され、前記タイムスタンプが対応付けられるデータがエンコードされ、エンコードされたエンコードデータがデータパケットにパケット化され、前記タイムスタンプパケットと、前記データパケットとが多重化され、多重化ストリームが生成されて受信装置に送信され複数の前記タイムスタンプが対応付けられるデータがグループとして、前記グループ単位で、複数のタイムスタンプがタイムスタンプパケットにパケット化され、前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプが、タイムスタンプパケットにパケット化され、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットが、前記受信装置に再送される。
【００１９】
本技術の第２の側面の受信装置は、タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部とを含み、前記タイムスタンプパケット化部は、複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する送信装置より送信されてくる前記多重化ストリームを受信する受信装置において、前記多重化ストリームより、前記タイムスタンプと、エンコードされている前記タイムスタンプに対応付けられるデータとに分離する分離部と、前記タイムスタンプを記憶するタイムスタンプ記憶部と、前記タイムスタンプ記憶部に記憶される前記タイムスタンプの更新を管理する更新管理部と、前記分離部により分離された、エンコードされている前記タイムスタンプに対応付けられるデータをデコードするデコード部と、前記タイムスタンプ記憶部に記憶されている、前記タイムスタンプの情報に基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する同期制御部とを含み、前記更新管理部は、再送された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記未デコードのタイムスタンプを、前記再送されたタイムスタンプに基づいて、前記タイムスタンプ記憶部に記憶されている前記タイムスタンプを更新して記憶させ、前記同期制御部は、前記タイムスタンプ記憶部に、更新されて記憶されている前記タイムスタンプに基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する受信装置である。
【００２０】
前記更新管理部には、再送された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記未デコード、または、未提示のタイムスタンプが変更されているとき、前記再送されたタイムスタンプに基づいて、前記タイムスタンプ記憶部に記憶されている前記タイムスタンプを更新して記憶させるようにすることができる。
【００２１】
前記更新管理部には、確定した前記タイムスタンプのみが追加された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記追加されたタイムスタンプに基づいて、前記タイムスタンプ記憶部に記憶されている前記タイムスタンプを更新して記憶させるようにすることができる。
【００２２】
本技術の第２の側面の受信方法は、タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部とを含み、前記タイムスタンプパケット化部は、複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する送信装置より送信されてくる前記多重化ストリームを受信する受信装置の受信方法において、前記多重化ストリームより、前記タイムスタンプと、エンコードされている前記タイムスタンプに対応付けられるデータとに分離し、前記タイムスタンプを記憶し、記憶される前記タイムスタンプの更新を管理し、前記分離部により分離された、エンコードされている前記タイムスタンプに対応付けられるデータをデコードし、前記記憶されている、前記タイムスタンプの情報に基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御するステップを含み、記憶される前記タイムスタンプの更新を管理する管理ステップの処理は、再送された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記未デコードのタイムスタンプを、前記再送されたタイムスタンプに基づいて、記憶されている前記タイムスタンプを更新して記憶させ、前記タイミングを制御する制御ステップの処理は、更新されて記憶されている前記タイムスタンプに基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する受信方法である。
【００２３】
本技術の第２の側面のプログラムは、タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部とを含み、前記タイムスタンプパケット化部は、複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する送信装置より送信されてくる前記多重化ストリームを受信する受信装置を制御するコンピュータに、前記多重化ストリームより、前記タイムスタンプと、エンコードされている前記タイムスタンプに対応付けられるデータとに分離する分離部と、前記タイムスタンプを記憶するタイムスタンプ記憶部と、前記タイムスタンプ記憶部に記憶される前記タイムスタンプの更新を管理する更新管理部と、前記分離部により分離された、エンコードされている前記タイムスタンプに対応付けられるデータをデコードするデコード部と、前記タイムスタンプ記憶部に記憶されている、前記タイムスタンプの情報に基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する同期制御部として機能させ、前記更新管理部は、再送された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記未デコードのタイムスタンプを、前記再送されたタイムスタンプに基づいて、前記タイムスタンプ記憶部に記憶されている前記タイムスタンプを更新して記憶させ、前記同期制御部は、前記タイムスタンプ記憶部に、更新されて記憶されている前記タイムスタンプに基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御するプログラムである。
【００２４】
本技術の第２の側面においては、タイムスタンプがタイムスタンプパケットにパケット化され、前記タイムスタンプが対応付けられるデータがエンコードされ、エンコードされたエンコードデータがデータパケットにパケット化され、前記タイムスタンプパケットと、前記データパケットとが多重化され、多重化ストリームが生成されて受信装置に送信され、複数の前記タイムスタンプが対応付けられるデータがグループとして、前記グループ単位で、複数のタイムスタンプがタイムスタンプパケットにパケット化され、前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプが、タイムスタンプパケットにパケット化され、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットが、前記受信装置に再送する送信装置より送信されてくる前記多重化ストリームを受信する受信装置であって、前記多重化ストリームが、前記タイムスタンプと、エンコードされている前記タイムスタンプに対応付けられるデータとに分離され、前記タイムスタンプが記憶され、記憶される前記タイムスタンプの更新が管理され、分離された、エンコードされている前記タイムスタンプに対応付けられるデータがデコードされ、記憶されている、前記タイムスタンプの情報に基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータがデコードされるタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータが提示されるタイミングとが制御され、再送された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記未デコードのタイムスタンプが、前記再送されたタイムスタンプに基づいて、記憶されている前記タイムスタンプが更新されて記憶され、更新されて記憶されている前記タイムスタンプに基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータがデコードされるタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータが提示されるタイミングとが制御される。
【００２５】
本技術の第１の側面の送信装置および第２の側面の受信装置は、それぞれ独立した装置であっても良いし、第１の側面の送信装置および第２の側面の受信装置として機能するブロックであっても良い。
【発明の効果】
【００２６】
本技術の一側面によれば、送信済みのタイムスタンプを動的に変更することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本技術を適用した送信装置の第１の実施の形態の構成例を説明する図である。
【図２】MMTにおけるデコード/提示時刻が対応づけられるデータのパケット構造例を説明する図である。
【図３】MMTにおけるデコード/提示時刻のパケット構造例を説明する図である。
【図４】MMTにおけるデコード/提示時刻の対応付けを説明する図である。
【図５】図１の送信装置による送信処理を説明するフローチャートである。
【図６】従来の受信装置の構成例を説明する図である。
【図７】本技術を適用した受信装置の第１の実施の形態の構成例を示す図である。
【図８】図８の受信装置による受信方法を説明するフローチャートである。
【図９】従来の受信装置を説明する図である。
【図１０】タイムスタンプを変更する処理を説明する図である。
【図１１】アクセスユニットAU数を変更する処理を説明する図である。
【図１２】本技術を適用した受信装置の第２の実施の形態の構成例を示す図である。
【図１３】図１の送信装置による確定したAUのタイムスタンプを追加するときの送信処理を説明するフローチャートである。
【図１４】図１の送信装置による確定したAUのタイムスタンプを追加するときの送信処理を説明する図である。
【図１５】図１３の送信処理に対応する受信処理を説明するフローチャートである。
【図１６】確定したAU数と未確定のAU数とを明示的に送受信するときの処理を説明する図である。
【図１７】確定したAU数と未確定のAU数とを明示的に送受信するときの処理を説明する図である。
【図１８】本技術を適用した送信装置の第３の実施の形態の構成例を示す図である。
【図１９】図１７の送信装置による送信処理を説明するフローチャートである。
【図２０】通常のMPU拡張タイムスタンプ記述子のシンタックスを説明する図である。
【図２１】図１９の送信処理を実現するMPU拡張タイムスタンプ記述子のシンタックス例を説明する図である。
【図２２】図１８の受信装置による受信処理を説明するフローチャートである。
【図２３】図１９の送信処理を実現するMPU拡張タイムスタンプ記述子のシンタックスの第１の変形例を説明する図である。
【図２４】図１９の送信処理を実現するMPU拡張タイムスタンプ記述子のシンタックスの第２の変形例を説明する図である。
【図２５】図１９の送信処理を実現するMPU拡張タイムスタンプ記述子のシンタックスの第３の変形例を説明する図である。
【図２６】タイムスタンプの更新の有無を示す情報を含めるようにするときのMPU拡張タイムスタンプ記述子のシンタックスの第４の変形例を説明する図である。
【図２７】タイムスタンプの完了を示す情報を含めるようにするときのMPU拡張タイムスタンプ記述子のシンタックスの第４の変形例を説明する図である。
【図２８】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００２８】
＜第１の実施の形態＞
＜送信装置の第１の実施の形態＞
図１を参照して、本技術を適用した送信装置の第１の実施の形態の構成例について説明する。図１の送信装置は、デコード時刻および提示時刻が対応付けられるビデオオーディオデータと、そのデコード時刻、および提示時刻からなるタイムスタンプとを個別にパケット化する。尚、以降において、デコード時刻、および提示時刻をデコード/提示時刻とも称する。
【００２９】
送信装置１１は、エンコーダ３１、エンコーダバッファ３２、エンコードデータパケット化部３３、同期制御部３４、制御情報パケット化部３５、および多重化部３６を備えている。
【００３０】
エンコーダ３１は、ビデオ・オーディオ信号よりビデオデータとオーディオデータとからなるビデオオーディオデータをエンコードすることで符号化信号からなるエンコードデータを生成し、エンコーダバッファ３２に出力して、一時的に格納させる（バッファリングさせる）。
【００３１】
エンコーダデータパケット化部３３は、エンコーダバッファ３２にバッファリングされている符号化信号からなるエンコーダデータを順次読み出してパケット化し、多重化部３６に出力する。
【００３２】
同期制御部３４は、エンコーダ３１におけるエンコードの動作を制御すると共に、エンコードされた符号化信号からなるエンコードデータのデコード/提示時刻からなるタイムスタンプを生成して制御情報パケット化部３５に出力する。
【００３３】
制御情報パケット化部３５は、デコード/提示時刻の情報からなるタイムスタンプを含むデコード/提示時刻を含む制御情報を生成すると共にパケット化する。
【００３４】
多重化部３６は、パケット化されたビデオオーディオデータと、パケット化されたデコード/提示時刻からなるタイムスタンプを含む制御情報とを多重化して、多重化ストリームとして出力する。
【００３５】
＜ビデオ・オーディオ信号を含むパケットの構造＞
次に、図２を参照して、ビデオオーディオデータを含むパケットの構造について説明する。
【００３６】
図２は、デコード/提示時刻が対応付けられるビデオオーディオデータと、そのデコード/提示時刻とが個別にパケット化されるときの例として、MMT（MPEG Media Transport）におけるデコード/提示時刻が対応付けられるビデオオーディオデータのパケット構造例を示したものである。
【００３７】
図２の最上段で示されるように、MMTP（MMT Protocol） Packet４１は、そのヘッダ部からなるMMTP Packet Header４２と、ペイロード部からなるMMTP Payload４３とを含む。
【００３８】
MMTP Packet Header４２は、packet_id４４、および、RAP_flag４５を含む。
【００３９】
packet_id４４は、多重化されたパケット列の中から特定データのパケット列、すなわち、MMTP payload４３のデータを識別する情報を含む。
【００４０】
RAP_flag４５は、MMTP Payload４３がランダムアクセスポイントを含むか否かを識別する情報を含んでいる。
【００４１】
MMTP Payload４３は、Payload Header４６とPayload data byte４７を含む。Payload Header４６は、MPU（Media Progress Unit）と呼ばれるグループ毎に付けられる通し番号であるmpu_sequence_number４８を含む。MPUは、例えば、ビデオのランダムアクセスポイント間とすることが一般的である。尚、Payload data byte４７については、図３を参照して、詳細を後述する。
【００４２】
＜制御情報パケットの構造＞
次に、図３を参照して、デコード/提示時刻が対応付けられるビデオオーディオデータと、そのデコード/提示時刻とを個別にパケット化する例として、MMTにおいて、上述した特許文献１に記載のMMTメッセージを用いる方法におけるデコード/提示時刻からなるタイムスタンプを含む制御情報パケットの構造例について説明する。
【００４３】
MPUに対するデコード/提示時刻の情報は、MPUタイムスタンプ記述子５３およびMPU拡張タイムスタンプ記述子５４と呼ばれる記述子として、MMTP Payload data byte４７のMPT（MMT Package Table）５１中にパケット化される。
【００４４】
＜デコード/提示時刻が対応付けられるビデオオーディオデータと、そのデコード/提示時刻との対応付け＞
次に、図４を参照して、デコード/提示時刻からなるタイムスタンプが対応付けられるビデオオーディオデータと、そのデコード/提示時刻の対応付けについて説明する。
【００４５】
制御情報パケット６１に含まれる記述子中のデコード/提示時刻と、ビデオやオーディオストリームのビデオオーディオパケット６２とに含まれるMPUとを対応付ける方法について説明する。
【００４６】
制御情報パケット６１のpacket_id５２が、対応するビデオオーディオパケット６２のpacket_id４４を特定する。
【００４７】
また、制御情報パケット６１のmpu_sequence_number５５または５６が、対応するビデオオーディオパケット６２のmpu_sequence_number４８のMPUを特定する。
【００４８】
RAP_flag４５によりランダムアクセスポイントである場合、mpu_sequence_number４８が変化するビデオオーディオパケット６２が、記述子に含まれるデコード/提示時刻の対応付けられる先頭であると特定することができる。
【００４９】
尚、図４においては、MMTP Packet列として多重化されている例を示しているが、MMTP Packetはインターネットプロトコルなどによりさらにパケット化されてから多重化される場合もある（図示せず）。
【００５０】
＜図１の送信装置による送信処理＞
次に、図５のフローチャートを参照して、図１の送信装置１１による送信処理について説明する。
【００５１】
ステップＳ１１において、送信装置１１は、ビデオおよびオーディオからなるビデオオーディオデータを取得する。
【００５２】
ステップＳ１２において、エンコーダ３１は、同期制御部３４により制御されて、ビデオオーディオデータをエンコードする。
【００５３】
ステップＳ１３において、エンコーダ３１は、エンコードデータをエンコードバッファ３２にバッファリングさせる。
【００５４】
ステップＳ１４において、エンコードデータパケット化部３３は、エンコードバッファ３２にバッファリングされている、ビデオオーディオデータのエンコードデータを順次パケット化して多重化部３６に出力する。
【００５５】
ステップＳ１５において、同期制御部３４は、エンコーダ３１によりエンコードされたビデオオーディオデータをデコード/提示時刻からなるタイムスタンプの情報を制御情報パケット化部３５に出力する。
【００５６】
ステップＳ１６において、制御情報パケット化部３５は、タイムスタンプを含む制御情報を生成すると共に、パケット化して多重化部３６に出力する。
【００５７】
ステップＳ１７において、多重化部３６は、パケット化されたタイムスタンプを含む制御情報と、パケット化されたビデオオーディオデータとを多重化して、多重化ストリームとして送信する。
【００５８】
ステップＳ１８において、同期制御部３４は、処理済みのMPUについて、タイムスタンプを変更したり、グループの構成を変更して、同一のMPUに対して、ビデオオーディオデータと制御情報を再送する必要があるか否かを判定する。ステップＳ１８において、例えば、シーンチェンジが検出されて高い画質で符号化するためにビデオのエンコード方法を変更したい場合や、編集点を挟むためにグループの境界を変更したい場合等、すなわち、処理済みのMPUと同一のMPUであって、変更が施されたビデオオーディオデータと、そのビデオオーディオデータに対応するタイムスタンプとを、再送する必要がある場合、処理は、ステップＳ１９に進む。
【００５９】
ステップＳ１９において、再送処理が実行される。尚、再送処理とは、処理済みのMPUと同一のMPUであって、変更が施されたビデオオーディオデータと、そのビデオオーディオデータに対応するタイムスタンプとについて、ステップＳ１１乃至Ｓ１７と同様の処理がなされるのみであるため、その説明は省略する。
【００６０】
＜従来の受信装置の構成例＞
ここで、図６を参照して、従来の受信装置７０の構成について説明する。
【００６１】
受信装置７０は、多重分離部７１、STC管理部７２、同期再生制御部７３、タイムスタンプFIFO７４、バッファ７５−１乃至７５−ｎ、デコーダ７６−１乃至７６−ｎ、および表示部７７−１乃至７７−ｎを含む。尚、以降において、バッファ７５−１乃至７５−ｎ、デコーダ７６−１乃至７６−ｎ、および表示部７７−１乃至７７−ｎを、それぞれ特に区別する必要がない場合、単にバッファ７５、デコーダ７６、および表示部７７と称するものとし、その他の構成についても同様に称するものとする。
【００６２】
多重分離部７１は、複数の番組や複数のビデオやオーディオデータが多重化されたパケットの中から、受信対象となるパケットのみを分離する。より詳細には、多重分離部７１は、入力パケット列の中から送信側のクロックを復元するためのクロック参照情報、制御パケットに含まれるデコード/提示時刻の情報からなるタイムスタンプ、およびビデオオーディオパケットからなるパケット化されたビデオオーディオデータを分離する。そして、多重分離部７１は、クロック参照情報をSTC管理部７２に供給し、タイムスタンプをタイムスタンプFIFO７４に供給し、分離済みのビデオオーディオデータのパケットをバッファ７５に供給する。
【００６３】
クロック参照情報は、MPEG-H規格のPart1で規定されるMMT（MPEG Media Transport）を用いた標準規格であるARIB-STD-B60の場合は、NTP（Network Time Protocol）が用いられる。
【００６４】
STC（System Time Clock）管理部７２はクロック参照情報により現在のシステム時刻STCを生成し、同期再生制御部７３に供給する。
【００６５】
同期再生制御部７３は、タイムスタンプFIFO（First In First Out）７４に格納されるタイムスタンプの情報に基づいて、STC管理部７２より供給されてくるシステム時刻STCに同期して、バッファ７５に蓄積されたビデオオーディオデータを、デコーダ７６を制御してデコードさせて、表示部７７に表示させる。
【００６６】
タイムスタンプFIFO７４は、多重分離部７１より供給されてくるタイムスタンプを順次記憶し、古いものから順次削除し、同期再生制御部７３からの要求に応じてタイムスタンプを供給する。
【００６７】
バッファ７５−１および７５−ｎは、それぞれチャンネルごとにビデオオーディオデータを順次蓄積し、適宜、デコーダ７６−１乃至７６−ｎに供給する。
【００６８】
デコーダ７６−１乃至７６−ｎは、タイムスタンプにおけるデコード時刻になると、同期再生制御部７３により制御され、それぞれチャンネルごとにエンコードされているビデオオーディオデータをデコードし、ビデオおよびオーディオとして復元して表示部７７に出力する。表示部７７は、タイムスタンプにおける提示時刻になると、同期再生制御部７３により制御され、デコードされたビデオおよびオーディオを、それぞれ表示させると共に、音声として出力させる。
【００６９】
＜従来の受信装置における受信方法＞
すなわち、タイムスタンプは、タイムスタンプFIFO７４により、時刻ｔ１において、mpu_seq(N)で示される番号Nで示されるMPUのタイムスタンプを含む制御情報８１−Ｎが記憶されると、以降の時刻ｔ２においては、mpu_seq（N＋1）で示される番号（N＋1）で示されるMPUのタイムスタンプを含む制御情報８１−（Ｎ＋１）が記憶される。
【００７０】
尚、図７においては、タイムスタンプを含む制御情報８１−Ｎは、上からmpu_seq(N)、mpu_of_au=9、左右に、PTS[0]乃至PTS[8]およびDTS[0]乃至DTS[8]が記載されており、MPUのシーケンス番号がNであり、MPUとなるアクセスユニットAU（フレーム）が9枚であり、PTS[0]乃至PTS[8]のそれぞれに時系列に9アクセスユニットAU（フレーム）分の提示時刻が記録され、DTS[0]乃至DTS[8]のそれぞれに時系列の9アクセスユニットAU（フレーム）分のデコード時刻が記録される。
【００７１】
また、図７における制御情報８１−（Ｎ＋１）については、MPUのシーケンス番号が１インクリメントされる以外は、制御情報８１−Ｎと同様であるので、その説明は省略するものとする。
【００７２】
さらに、図７の中段においては、多重化ストリームが、下段のSTCに対応付けて摸されており、この中で、斜線部で示された範囲が、図中、左から順に制御情報８１−Ｎ，８１−（Ｎ＋１）であることを示している。
【００７３】
このように、従来の受信装置７０では、時系列に新しいタイムスタンプが新たに記憶されるのみであるため、送信済みのタイムスタンプを更新できない。すなわち、例えば、シーンチェンジが検出されて高い画質で符号化するためにビデオのエンコード方法を変更したい場合や、編集点を挟むためにグループの境界を変更したい場合等、上述したステップＳ１８の再送処理に対応できない恐れがある。
【００７４】
＜受信装置の第１の実施の形態＞
上述したように、シーンチェンジが検出されて高い画質で符号化するためにビデオのエンコード方法を変更したい場合や、編集点を挟むためにグループの境界を変更したい場合等、すなわち、ビデオオーディオデータおよびタイムスタンプを更新する必要がある場合、送信装置は、変更が施されたビデオオーディオデータに対応する、デコード/提示時刻からなるタイムスタンプの情報を含む制御情報を生成して再送処理を実行している（図５のステップＳ１９参照）。
【００７５】
そこで、図８を参照して、この再送処理に対応した、本技術を適用した受信装置の第１の実施の形態の構成例について説明する。尚、図８の受信装置７０において、図６の受信装置７０の構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
【００７６】
すなわち、図８の受信装置７０において、図６の受信装置７０と異なる点は、タイムスタンプFIFO７４に代えて、タイムスタンプメモリ９２を備え、さらに、更新管理部９１を備えた点である。
【００７７】
更新管理部９１は、STCがデコード時刻となったとき、ビデオのピクチャやオーディオフレーム等のアクセスユニットデータとタイムスタンプ情報とを対応づける。更新管理部９１は、多重分離部７１が抽出したアクセスユニットとタイムスタンプとを対応づけた状態でタイムスタンプメモリに記憶しておき、タイムスタンプ情報を更新して記憶する際に、アクセスユニットとの対応付けをやり直す。
【００７８】
＜図８の受信装置による受信処理＞
次に、図９のフローチャートを参照して、図８の受信装置による受信処理について説明する。
【００７９】
ステップＳ３１において、多重分離部７１は、多重化ストリームからなるパケット列より、クロック参照情報、タイムスタンプ、およびチャンネルごとのビデオオーディオデータ（分離済みデータ）に分離して、それぞれSTC管理部７２、および更新管理部９１、およびバッファ７５に出力する。
【００８０】
ステップＳ３２において、STC管理部７２は、クロック参照情報に基づいて、STCを生成して、同期再生制御部７３に出力する。
【００８１】
ステップＳ３３において、更新管理部９１は、タイムスタンプメモリ９２を参照して、供給されてきたタイムスタンプと比較し、同一グループ（同一MPU）のタイムスタンプが既に受信されているか否かを判定する。すなわち、供給されてきたタイムスタンプが、更新されて、新たに供給されてきたものであるか否かが判定される。
【００８２】
ステップＳ３３において、同一グループのタイムスタンプが既に受信されていて、更新されたタイムスタンプが送信されてきている場合、処理は、ステップＳ３４に進む。
【００８３】
ステップＳ３４において、更新管理部９１は、同一グループのタイムスタンプについて、未デコードのタイムスタンプを、送信されてきたタイムスタンプの値に置換してタイムスタンプメモリ９２に記憶させる。
【００８４】
＜タイムスタンプを変更する例＞
すなわち、例えば、図１０で示されるように、時刻ｔ１１において、MPUのシーケンス番号がNで、フレーム数が9枚のタイムスタンプ情報を含む制御情報１０１−１が、既に、タイムスタンプメモリ９２に記憶されており、時刻ｔ１２において、新たなタイムスタンプが発生し、送信されてくる場合、更新されたタイムスタンプが送信されてきているものとみなされる。
【００８５】
時刻ｔ１２以降においては、既にタイムスタンプが記録されているものとみなされて、時刻ｔ１３において、タイムスタンプメモリ９２上で、制御情報１０１−２のうち、未デコードのアクセスユニットAU[4]乃至[8]のタイムスタンプであるPTS[4]乃至[8]およびDTS[4]乃至[8]が、送信されてきたタイムスタンプであるPTS'[4]乃至[8]およびDTS'[4]乃至[8]に置換される。すなわち、時刻ｔ１２においては、タイムスタンプのPTS[0]乃至[3]およびDTS[0]乃至[3]がデコード済みであることが示されている。
【００８６】
ただし、図１０においては、時刻ｔ１３は、デコード時刻DTS[4]より前のタイミングであることが必須となる。したがって、制御情報１４１−２は、図８の受信装置７０において、アクセスユニットAU[4]のデコード時刻DTS[4]までに受信できるように、送信装置１１が送信処理を完了する必要がある。また、時刻ｔ１４においては、次のシーケンス番号（N+1）の制御情報１０１−３が記憶されていることが示されている。
【００８７】
尚、図１０においては、最上段の左から順に制御情報１０１−１乃至１０１−３が示されており、このうち、制御情報１０１−１，１０１−２が同一のシーケンス番号N（＝mpu_seq(N)）で、アクセスユニットAU（フレーム数）が9枚（＝mpu_of_au＝９）であって、以下、上から左に提示時刻を示すタイムスタンプPTS[0]乃至[8]が示され、右にデコード時刻を示すタイムスタンプDTS[0]乃至[8]が示されている。
【００８８】
＜アクセスユニット数を変更する例＞
また、該当するグループであるMPU中のアクセスユニット数が9から4へと変更した場合、図１１で示されるように、アクセスユニット数を示すタイムスタンプの制御情報のうちアクセスユニット数を示す情報（mpu_of_au＝4）と、対応するAU[0]乃至[3]のタイムスタンプPTS[0]乃至[3]が示され、左にデコード時刻を示すタイムスタンプDTS[0]乃至[3]が記録されるようにしてもよい。
【００８９】
ここで、図９のフローチャートの説明に戻る。
【００９０】
一方、ステップＳ３３において、同一グループのタイムスタンプが初めて受信されて、新規のタイムスタンプが送信されてきている場合、処理は、ステップＳ３５に進む。
【００９１】
ステップＳ３５において、更新管理部９１は、新規のタイムスタンプをタイムスタンプメモリ９２に記憶させる。
【００９２】
ステップＳ３６において、同期再生制御部７３は、タイムスタンプメモリ９２に記録されている制御情報のタイムスタンプの情報を読み出し、STCと照合して、デコードするべき時刻（デコード時刻）になったか否かを判定する。ステップＳ３６において、例えば、デコード時刻になったとみなされた場合、処理は、ステップＳ３７に進む。
【００９３】
ステップＳ３７において、同期再生制御部７３は、デコーダ７６を制御して、バッファ７５に格納されているビデオオーディオデータをデコードさせる。
【００９４】
尚、ステップＳ３６において、デコード時刻ではないとみなされた場合、ステップＳ３７の処理はスキップされる。
【００９５】
ステップＳ３８において、同期再生制御部７３は、タイムスタンプメモリ９２に記録されている制御情報のタイムスタンプの情報を読み出し、STCと照合して、提示するべき時刻（提示時刻）になったか否かを判定する。ステップＳ３８において、例えば、提示時刻になったとみなされた場合、処理は、ステップＳ３９に進む。
【００９６】
ステップＳ３９において、同期再生制御部７３は、表示部７７を制御して、デコーダ７６より供給されてくるデコードされたビデオオーディオデータを提示させ、処理は、ステップＳ３１に戻る。
【００９７】
尚、ステップＳ３８において、提示すべき時刻ではないとみなされた場合、ステップＳ３９の処理はスキップされる。
【００９８】
以上の処理により、例えば、シーンチェンジが検出されて高い画質で符号化するためにビデオのエンコード方法を変更したい場合や、編集点を挟むためにグループの境界を変更したい場合等、すなわち、ビデオオーディオデータおよびタイムスタンプを更新する必要がある場合でも、適切に受信することが可能となる。
【００９９】
尚、再送信のタイミングが、変更が行われたアクセスユニットのデコード時刻よりも前に到着するタイミング（例えば、デコード時刻よりも所定時間だけ前のタイミング）になるようにすることにより、デコードに間に合うタイミングでタイムスタンプの更新を反映することが可能となる。
【０１００】
＜第２の実施の形態＞
＜受信装置の第２の実施の形態＞
以上においては、例えば、シーンチェンジが検出されて高い画質で符号化するためにビデオのエンコード方法を変更したい場合や、編集点を挟むためにグループの境界を変更したい場合等、すなわち、ビデオオーディオデータおよびタイムスタンプを更新する必要がある場合に再送処理されるとき、タイムスタンプをタイムスタンプメモリ上で更新する例について説明してきた。
【０１０１】
しかしながら、更新したビデオオーディオデータとタイムスタンプとを利用できるようにできれば、他の方法でもよく、例えば、MPU内のうち、確定したAU数だけ順次追加しながら制御情報を更新して、順次送信し、受信装置７０において、最新の制御情報を利用することで、デコードが開始されるまでに順次タイムスタンプを追加して記憶するようにしてもよい。
【０１０２】
図１２は、確定したAU数だけ順次追加しながら送信されてくる制御情報を順次追加して記憶するようにした受信装置の第２の実施の形態の構成例を示している。尚、図６における構成と同一の機能を備えた構成については、同一の名称および同一の符号を付しており、その説明は適宜省略するものとする。
【０１０３】
すなわち、図１２の受信装置７０において、図６の受信装置７０と異なる点は、更新管理部１２１が設けられた点である。
【０１０４】
更新管理部１２１は、順次供給されるタイムスタンプのうち、新規のタイムスタンプをタイムスタンプFIFO７４に記憶させると共に、同一のMPUのタイムスタンプの場合、AU数が、直前のAU数よりも多いとき、タイムスタンプを上書きする。
【０１０５】
ここで、送信装置１１の制御情報パケット化部３５は、同一MPUのグループ中で、同期制御部３４が確定したタイムスタンプのみを追加しながら、追加部分のデコードが開始されるまでに受信されるように制御情報パケットを生成し出力する。または、送信装置１１の制御情報パケット化部３５は、追加部分のデコードが開始されてから一定時間が経過するまでに受信されるように制御情報パケットを生成し出力する。
【０１０６】
また、送信装置１１は、未確定の範囲で、同一MPUのグループ中のタイムスタンプが変更されたり、グループの構成が変更されても、送信済みのタイムスタンプについては、変更は生じないようにするものとする。
【０１０７】
尚、送信装置１１の構成については、図１の例と同様であるが、制御情報パケット化部３５が、同一MPUのグループ中で、AUが追加されるとき、追加されたAUに関するタイムスタンプを追加して制御情報パケットを生成して出力する。
【０１０８】
＜確定したAUのタイムスタンプを追加するときの送信処理について＞
次に、図１３のフローチャートを参照して、確定したAUのタイムスタンプを追加するときの送信処理について説明する。尚、図１３のフローチャートにおけるステップＳ４１乃至Ｓ４７の処理は、図５のフローチャートにおけるステップＳ１１乃至Ｓ１７の処理と同様であるので、その説明は省略するものとする。
【０１０９】
すなわち、ステップＳ４８において、同期制御部３４は、処理済みのMPUについて、未確定のタイムスタンプを追加して、同一のMPUに対して、ビデオオーディオデータと制御情報を再送する必要があるか否かを判定する。ステップＳ４８において、例えば、同一のMPUであって、未確定であったビデオオーディオデータと、そのビデオオーディオデータに対応するタイムスタンプとが確定されて、追加する必要がある場合、処理は、ステップＳ４９に進む。
【０１１０】
ステップＳ４９において、追加処理が実行される。尚、追加処理は、送信済みのMPUと同一のMPUであって、未確定だったタイムスタンプが確定し、追加されたビデオオーディオデータと追加されたタイムスタンプを含む制御情報とについて、ステップＳ１１乃至Ｓ１７と同様の処理がなされるのみであるため、その説明は省略する。
【０１１１】
以上の処理により、例えば、図１４で示されるように、時刻ｔ３１において、mpu_sequence_numberがNのMPUにおいて、まずアクセスユニットAU[0]乃至AU[1]のタイムスタンプのみが確定したため、時刻ｔ３２において、AU数2のタイムスタンプ情報を含む制御情報１３１−１が送信される。
【０１１２】
続いて、時刻ｔ３３において、アクセスユニットAU[2]乃至AU[3]のタイムスタンプが確定したため、アクセスユニットAU数が4のタイムスタンプとして、新たに確定した分のタイムスタンプを含めた制御情報１３１−２が、時刻ｔ３４において送信される。
【０１１３】
同様に、時刻ｔ３５において、アクセスユニットAU[4]乃至AU[5]のタイムスタンプが確定したため、アクセスユニットAU数が6のタイムスタンプとして、新たに確定した分のタイムスタンプを含めた制御情報１３１−３が、時刻ｔ３６に送信される。
【０１１４】
時刻ｔ３７において、アクセスユニットAU[6]乃至AU[8]のタイムスタンプが確定したため、アクセスユニットAU数が9のタイムスタンプとして、新たに確定した分のタイムスタンプを含めた制御情報１３１−４が、時刻ｔ３８に送信される。
【０１１５】
時刻ｔ３１乃至ｔ３８の一連の処理により、mpu_sequence_numberがNのMPUの制御情報の送信が完了する。この結果、制御情報は、新たに確定したAUのタイムスタンプが順次追加されながら、同一のMPUのタイムスタンプが、全てのAUのタイムスタンプが確定するまで、繰り返し送信することが可能となる。
【０１１６】
尚、追加送信のタイミングは、追加が行われるアクセスユニットのデコードが開始される時刻よりも前に受信装置へ到着するタイミング（例えば、デコード時刻よりも所定時間だけ前のタイミング）で行うことにより、受信装置はデコードに間に合うタイミングでタイムスタンプの追加を反映することが可能となる。
【０１１７】
＜図１３の送信処理に対応する受信処理について＞
次に、図１５のフローチャートを参照して、図１３の送信処理に対応する、図１２の受信装置７０による受信処理について説明する。尚、図１５のフローチャートのステップＳ５１乃至Ｓ５３、およびステップＳ５６乃至Ｓ６０の処理は、図９のフローチャートのステップＳ３１乃至Ｓ３３、およびステップＳ３５乃至Ｓ３９の処理と同様であるので、その説明は省略するものとする。
【０１１８】
すなわち、ステップＳ５３において、同一グループのタイムスタンプが既に受信されていて、更新されたタイムスタンプが送信されてきている場合、処理は、ステップＳ５４に進む。
【０１１９】
ステップＳ５４において、更新管理部１２１は、該当する同一MPUのグループのAU数が増えているか否かを判定する。ステップＳ５４において、AU数が増えている場合、新たなタイムスタンプが確定したものとみなされ、処理は、ステップＳ５５に進む。
【０１２０】
ステップＳ５５において、更新管理部１２１は、同一グループのタイムスタンプについて、AUが追加された新たなタイムスタンプを、タイムスタンプFIFO７４に追加して記憶させる。
【０１２１】
例えば、図１４で示される時刻ｔ３１乃至ｔ３８の一連の処理で送信されてくる、mpu_sequence_numberがNのMPUの制御情報の受信が完了する。この結果、制御情報は、新たに確定したAUのタイムスタンプが順次追加されながら、順次受信することが可能となる。
【０１２２】
以上の処理により、タイムスタンプメモリなどで、新たなタイムスタンプを置換するといった処理が必要ないので、処理負荷を低減させることが可能になると共に、ビデオオーディオデータおよびタイムスタンプを更新する必要がある場合でも、適切に受信することが可能となる。
【０１２３】
＜第３の実施の形態＞
以上においては、MPU内のうち、確定したAU数だけ順次追加しながら制御情報を更新して、順次送信し、受信装置において、最新の制御情報を利用することで、デコードが開始されるまでに順次タイムスタンプを追加して記憶する例について説明してきた。しかしながら、確定したAU数だけタイムスタンプを順次追加できれば、他の方法でもよく、例えば、確定したAU数と、未確定なAU数とを明示しながら、順次確定したAUのタイムスタンプを追加しながら、タイムスタンプを追加して記憶するようにしてもよい。
【０１２４】
すなわち、図１６で示されるように、例えば、num_of_au＝9で固定し、時刻ｔ５１において、mpu_sequence_numberがNのMPUにおいて、まず、アクセスユニットAU[0]乃至AU[1]のタイムスタンプのみが確定したため、時刻ｔ５２において、アクセスユニットAU[0]乃至AU[1]と、それ以外の領域については、未定値（unknown）としたタイムスタンプを含む制御情報１４１−１が送信されるようにする。
【０１２５】
続いて、時刻ｔ５３において、アクセスユニットAU[2]乃至AU[3]のタイムスタンプが確定したため、アクセスユニットAU[0]乃至AU[3]と、それ以外の領域については、未定値（unknown）としたタイムスタンプを含む制御情報１４１−２が、時刻ｔ５４において送信される。
【０１２６】
同様に、時刻ｔ５５において、アクセスユニットAU[4]乃至AU[5]のタイムスタンプが確定したため、アクセスユニットAU[0]乃至AU[5]と、それ以外の領域については、未定値（unknown）としたタイムスタンプを含む制御情報１４１−３が、時刻ｔ５６において送信される。
【０１２７】
また、時刻ｔ５７において、アクセスユニットAU[6]乃至AU[8]のタイムスタンプが確定したため、アクセスユニットAU[0]乃至AU[8]のタイムスタンプ情報を含む制御情報１４１−４が、時刻ｔ５８において送信される。
【０１２８】
時刻ｔ５１乃至ｔ５８の一連の処理により、mpu_sequence_numberがNのMPUの制御情報の送信が完了する。この結果、新たに確定したAUのタイムスタンプを順次追加しながら制御情報を順次送信することが可能となる。
【０１２９】
＜第３の実施の形態における送信装置の構成例＞
次に、図１７を参照して、確定したAU数と、未確定なAU数とを明示しながら、順次確定したAUのタイムスタンプを追加しながら制御情報を送信するようにした送信装置の構成例について説明する。尚、図１７の送信装置１１において、図１の送信装置１１の構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
【０１３０】
すなわち、図１７の送信装置１１において、図１の送信装置１１と異なる点は、制御情報パケット化部３５に代えて、制御情報パケット化部２０１を備えた点である。制御情報パケット化部２０１は、基本的な機能は、制御情報パケット化部３５と同様の機能を備えると共に、さらに、確定したAU数と、未確定なAU数とを明示しながら、順次確定したアクセスユニットAUのタイムスタンプを追加しながら、制御情報を追加して生成する。結果として、受信装置においては、未確定なAU数を予め把握することが可能となる。
【０１３１】
＜第３の実施の形態における受信装置の構成例＞
次に、図１８を参照して、確定したAU数と、未確定なAU数とを明示しながら、順次確定したAUのタイムスタンプを追加しながら生成された制御情報を受信するようにした受信装置の構成例を示している。尚、図１８の受信装置７０において、図６の受信装置７０の構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
【０１３２】
すなわち、図１８の受信装置７０において、図６の受信装置７０と異なる点は、更新管理部２２１を追加した点である。
【０１３３】
更新管理部２２１は、タイムスタンプが含まれる制御情報をタイムスタンプFIFO７４に格納する。この際、更新管理部２２１は、新規なタイムスタンプをタイムスタンプFIFO７４に格納し、新規の制御情報に含まれるタイムスタンプに未確定の情報が含まれているとき、未確定の情報が含まれていることを記憶する。そして、更新管理部２２１は、次のタイムスタンプが送信されてくるとき、直前の制御情報に含まれるタイムスタンプに未確定の情報が含まれているとき、AUのうち、確定したタイムスタンプが追加された制御情報を追加して順次記憶させ、未確定のタイムスタンプが存在するときには、その情報を記憶しておく。そして、更新管理部２２１は、全てのAUについてタイムスタンプが確定した後に、再び新規の制御情報を記憶し、同様の処理を繰り返す。
【０１３４】
＜図１７の送信装置による送信処理について＞
次に、図１９のフローチャートを参照して、図１７の送信装置１１により送信処理について説明する。尚、図１９のステップＳ７１乃至Ｓ７５，Ｓ７９の処理は、図５におけるステップＳ１１乃至Ｓ１５，Ｓ１７の処理と同様であるので、その説明は、適宜省略する。
【０１３５】
すなわち、ステップＳ７６において、制御情報パケット化部２０１は、グループ内に未確定のAUのタイムスタンプの情報が含まれるか否かを判定する。ステップＳ７６において、例えば、図１６における、時刻ｔ５１で示されるように、アクセスユニットAU[0]乃至AU[1]のタイムスタンプが確定しているのみで、アクセスユニットAU[2]乃至AU[8]のタイムスタンプが未確定の場合、未確定の情報が存在するものとみなして、処理は、ステップＳ７７に進む。
【０１３６】
ステップＳ７７において、制御情報パケット化部２０１は、未確定の情報を含むデコード時刻/提示時刻からなるタイムスタンプを含む制御情報を生成してパケット化する。すなわち、この場合、例えば、図１６で示されるような制御情報１４１−１が生成される。
【０１３７】
一方、ステップＳ７６において、例えば、図１６における、時刻ｔ５７で示されるように、アクセスユニットAU[0]乃至AU[8]の全てのタイムスタンプが確定しており、未確定のタイムスタンプが存在しない場合、未確定の情報が存在しないものとみなして、処理は、ステップＳ７８に進む。
【０１３８】
ステップＳ７８おいて、制御情報パケット化部２０１は、未確定の情報を含まないデコード時刻/提示時刻からなるタイムスタンプを含む制御情報を生成してパケット化する。すなわち、この場合、例えば、図１６で示されるような制御情報１４１−４が生成される。
【０１３９】
以上の処理により、確定したAU数と、未確定なAU数とを明示しながら、順次確定したAUのタイムスタンプを追加しながら生成された制御情報を送信することが可能となる。結果として、確定したタイムスタンプのみが追加されて送信されることになるので、受信装置は受信済みのタイムスタンプを更新する処理を不要とすることができる。
【０１４０】
この際、制御情報パケット化部２０１は、例えば、図３のMPU拡張タイムスタンプ記述子５４を利用して、上述したステップＳ７７，Ｓ７８の処理を実現するためのコマンドを記載して、処理を実行するようにすることができる。
【０１４１】
より具体的には、MPU拡張タイムスタンプ記述子５４は、例えば、ARIB-STD-B60で規定されているシンタックスであり、例えば、図２０で示されるように記述される。
【０１４２】
＜通常のMPU拡張タイムスタンプ記述子のシンタックス＞
図２０は、MPU拡張タイムスタンプ記述子５４のシンタックス記述例を示しており、左から、記述（Syntax）、ビット数（No. of Bits）、およびフォーマット（Format）が示されている。
【０１４３】
第１行目は、「MPU_Extended_Timestamp_Descriptor」と記述されており、MPU拡張タイムスタンプ記述子５４であることが宣言されている。
【０１４４】
第２行目は、「descriptor_tag」と記述されており、16ビットの記述子を識別するタグが記載されている。
【０１４５】
第３行目は、「descriptor_length」と記述されており、8ビットの記述子の長さを示す情報が記載されている。
【０１４６】
第４行目は、「reserved」と記述されており、5ビットの記述子の予備部分であることが記述されている。
【０１４７】
第５行目は、「pts_offset_type」と記述されており、2ビットの記述子のオフセットタイプが記述されている。
【０１４８】
第６行目は、「timescale_flag」と記述されており、1ビットの記述子のタイムスケールフラグが記述されている。
【０１４９】
第７行目乃至第９行目は、「if (timescale_flag==1)」、および「{timescale}」と記述されており、第６行目のフラグが1であるとき、32ビットで設定される「{timescale}」が定義されている。
【０１５０】
第１０行目乃至第１２行目は、「if (pts_offset_type==1)」、および「{default_pts_offset}」と記述されており、第５行目のタイプが1であるとき、16ビットで設定される「{default_pts_offset}」が定義されている。
【０１５１】
第１３行目乃至第２３行目は、MPU毎のタイムスタンプ情報を記述領域である。
【０１５２】
第１３行目は、「for (i=0; i<N; i++)」と記述されており、第２３行目までの処理がカウンタiの0乃至N回までのループであることが定義されている。
【０１５３】
第１４行目は、「mpu_sequence_number」と記述されており、MPU毎の制御情報のタイムスタンプのシーケンス番号が32ビットで記述されている。
【０１５４】
第１５行目は、「mpu_decoding_time_offset」と記述されており、当該MPU内で、復号順で最初のAUの復号時刻と、提示順で最初のAUの提示時刻の差分の絶対値が16ビットで定義されている。
【０１５５】
第１６行目は、「num_of_au」と記述されており、「dts_pts_offset」、および「pts_offset」を含むアクセスユニットAUの数が8ビットで定義されている。
【０１５６】
第１７行目は、「for(j=0;j<num_of_au;j++)」と記述されており、第１７行目乃至第２０行目処理のカウンタjの0乃至num_of_au回までのループであることが定義されている。
【０１５７】
第１８行目は、「dts_pts_offset」と記述されており、AU毎の、復号時刻から提示時刻までの差分が16ビットで定義されている。
【０１５８】
第１９行目は、「if(pts_offset_type==2)」と記述されており、５行目で定義されるタイプが2であるとき、第２０行目の、「pts_offset」の記述に従って、提示順で直前のAUとの提示時刻の差分が16ビットの値とすることが定義されている。
【０１５９】
すなわち、第１７行目乃至第２１行目のループ処理により、各AUに対応するタイムスタンプが設定されることが記述されている。
【０１６０】
また、第１３行目乃至第２３行目のループ処理により、同一のMPU単位で、タイムスタンプが設定される処理が繰り返されることが示されている。
【０１６１】
このように定義された記述により、図５で示されるような送信処理において、例えば、図１０、または、図１１で示されるような制御情報１０１におけるタイムスタンプが記述されることになる。
【０１６２】
＜図１９の送信処理を実現するMPU拡張タイムスタンプ記述子のシンタックス例＞
次に、図２０で示した通常のMPU拡張タイムスタンプ記述子の一部の記載を変更（追加）した、図１９の送信処理を実現するシンタックス例について説明する。尚、以降のシンタックスについては、図２０における第１３行目乃至第２３行目の記載に対応するmpu_sequence_numberごとにタイムスタンプ情報を表すループ部分の記載のみについて説明するものとする。
【０１６３】
すなわち、図２１で示されるように、AU毎にタイムスタンプ情報が有効であるか否かを示すvalid_flagを導入し、valid_flagが有効であることを示している場合のみ、dts_pts_offsetやpts_offsetといったタイムスタンプ情報を含める。尚、図２１においては、通常の記述に対して、追加した行に色が付されている。
【０１６４】
すなわち、図２１における第７行目には、「valid_flag」と記述されており、対応するAUが確定したタイムスタンプであるか否かを示す1ビットのフラグが設定されている。
【０１６５】
図２１における第８行目には、「if(valid_flag==1)」と記述されており、「valid_flag」が、対応するAUが確定したタイムスタンプであることを示す1に設定されているとき、タイムスタンプが記述されることが示されている。
【０１６６】
＜図１８の受信装置による受信処理について＞
次に、図２２のフローチャートを参照して、図１８の受信装置による受信処理について説明する。尚、図２２の受信処理におけるステップＳ９１，Ｓ９２，Ｓ９８乃至Ｓ１０１の処理は、図９の受信処理におけるステップＳ３１，Ｓ３２，Ｓ３６乃至Ｓ３９の処理と同様であるので、その説明は省略するものとする。
【０１６７】
すなわち、ステップＳ９３において、更新管理部２２１は、直前の制御情報に含まれるタイムスタンプにおいて、未確定の情報が存在したか否かを判定する。ステップＳ９３において、未確定の情報がない場合、処理は、ステップＳ９５に進む。
【０１６８】
ステップＳ９３において、直前の制御情報におけるタイムスタンプに未確定の情報がない場合、直前のタイムスタンプは全てのAUのタイムスタンプが確定している完全なタイムスタンプであり、以降においては、新規のタイムスタンプが送信されてきたものとみなされるので、更新管理部２２１は、送信されてきた制御情報に含まれるタイムスタンプを新規のMPUのグループのタイムスタンプとしてタイムスタンプFIFO７４に格納し、処理は、ステップＳ９６に進む。
【０１６９】
ステップＳ９６において、更新管理部２２１は、今回のタイムスタンプに未確定の情報が含まれているか否かを判定し、未確定の情報が存在する場合、ステップＳ９７において、次回の処理において、直前のタイムスタンプに未確定の情報があることを記憶する。
【０１７０】
尚、ステップＳ９６において、未確定の情報がない場合、ステップＳ９７の処理はスキップされる。
【０１７１】
一方、ステップＳ９３において、直前のタイムスタンプに未確定の情報がある場合、処理は、ステップＳ９４に進む。
【０１７２】
ステップＳ９４において、更新管理部２２１は、直前の制御情報のタイムスタンプにおけるMPUと同一のグループのタイムスタンプを追加してタイムスタンプFIFO７４に格納し、処理は、ステップＳ９６に進む。
【０１７３】
すなわち、タイムスタンプを含む制御情報が送信されてくる度に、未確定の情報の有無を記憶しておき、直前のタイムスタンプにおいて未確定の情報が記憶されているような場合、直前の同一のMPUのタイムスタンプであって、未確定の情報のうち、確定された情報が追加されたタイムスタンプが送信されてきたものとみなし、追加してタイムスタンプFIFO７４に格納されるようにした。
【０１７４】
結果として、受信装置は、送信されてきたタイムスタンプを追加して記憶するだけの処理とするだけで、タイムスタンプの管理を容易なものとすることが可能となる。
【０１７５】
＜第１の変形例＞
以上においては、図２１で示されるような、ARIB-STD-B60で規定されているMPU拡張タイムスタンプ記述子５４の一部を変更した記述を利用することで、確定したAU数と、未確定なAU数とを明示しながら、順次確定したAUのタイムスタンプを追加しながら生成された制御情報を送受信する例について説明してきたが、同様の機能を果たす限り、MPU拡張タイムスタンプ記述子５４の記述は、他の記述であってもよいものである。
【０１７６】
例えば、図２３の第７行目で示されるように、図２１と同様にAU毎にタイムスタンプ情報が有効であるか否かを示すvalid_flagを導入し、valid_flagが有効であることを示している場合のみ、dts_pts_offsetやpts_offsetといったタイムスタンプ情報が有効な値であることを示すようにしてもよい。
【０１７７】
＜第２の変形例＞
また、図２４の第４行目で示されるように、MPUを構成するAU数を示すnum_of_au_in_mpuを導入し、num_of_au_in_mpuとnum_of_auに差分がある場合は、その差分に相当するAUに対するタイムスタンプ情報が未確定であることを示すようにしてもよい。
【０１７８】
＜第３の変形例＞
さらに、図２５の第５行目で示されるように、num_of_auがMPUを構成するAU数を示すものとして、タイムスタンプ情報が確定済みのAU数を示すnum_of_vaild_auを導入し、num_of_auとnum_of_vaild_auに差分がある場合は、その差分に相当するAUに対するタイムスタンプ情報が未確定であることを示すようにしてもよい。
【０１７９】
num_of_vaild_auの個数分dts_pts_offsetやpts_offsetといったタイムスタンプ情報を含むようにしても良いし、num_of_auの個数分含むが、num_of_auとnum_of_vaild_auの差分相当は値が無効であるとしてもよい。
【０１８０】
いずれにおいても、確定したタイムスタンプのみを追加して送信することで、受信装置は受信済みのタイムスタンプを更新する処理を不要とすることができる。
【０１８１】
＜第４の変形例＞
さらに、本技術によってタイムスタンプを更新する場合、受信装置がタイムスタンプ更新の有無を簡単に知る事ができると、更新があった場合のみ処理を行う事が可能になる。
【０１８２】
例えば、図２６の第４行目で示されるように、タイムスタンプの更新の有無を示すupdate_flagを導入することで、受信装置はupdate_flagにより更新有りと示されている場合のみ、更新処理を実施するようにしてもよい。
【０１８３】
＜第５の変形例＞
また、図２７の第４行目で示されるように、対象となるMPUに対するタイムスタンプ情報が確定し、以降の更新は無いことを示すcomplete_flagを導入することで、受信装置はcomplete_flagにより以降の更新は無いものと示されたMPUに対しては、以降更新処理を行う必要がないと判断する事が可能になる。
【０１８４】
尚、本技術においては、上述したシンタックスに限定されるものではなく、例えば、更新があった場合にカウントアップするカウンタ等によってタイムスタンプ更新の有無を通知するようにしてもよい。
【０１８５】
以上の処理により、グループの構成またはグループ内のタイムスタンプに変更があった場合、変更部分のデコードが開始されるまでに受信されるように、同一のグループに対応づけられるタイムスタンプをまとめて再送信し、受信側にて変更部分の更新を行う事により、動的にグループの構成やタイムスタンプの変更を行うことが可能になる。
【０１８６】
結果として、リアルタイムで入力ソースをエンコードする送信装置では、例えば、シーンチェンジを検出して高い画質で符号化するためにビデオのエンコード方法を動的に変更することが可能になる。
【０１８７】
また、例えば、編集点を挟むために、グループの境界を変更したい場合、デコード時刻や提示時刻が送信済みであっても、変更できるので、編集点を挟むことが可能になる。
【０１８８】
さらに、送信装置が、グループの中で確定したタイムスタンプのみを追加して送信し、受信装置にて追加を行う事により、動的にグループの構成やタイムスタンプの変更を行うことが可能になる。
【０１８９】
この際、一度受信したタイムスタンプを更新する必要がないため、受信装置における受信済みのタイムスタンプを更新する処理を省略することが可能となる。
【０１９０】
さらに、更新の有無を通知することにより、受信装置がタイムスタンプ更新の有無を簡単に知る事ができ、更新があった場合のみ処理を行う事で処理を簡素化することが可能になる。
【０１９１】
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１９２】
図２８は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１９３】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１９４】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１９５】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１９６】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１９７】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１９８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９９】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２００】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０１】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２０２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０４】
尚、本技術は、以下のような構成も取ることができる。
＜１＞  タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、
前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、
前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、
前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部とを含み、
前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、
前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する
送信装置。
＜２＞  前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータをグループのうち、前記グループ単位で、確定したタイムスタンプのみを追加して、前記タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記グループ内で、前記確定したタイムスタンプのみが追加された、タイムスタンプパケットを、前記受信装置に再送する
＜１＞に記載の送信装置。
＜３＞  前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータのグループ中に、未確定のタイムスタンプがあるとき、前記未確定のタイムスタンプを示す情報を含めて、前記タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記グループ内で、前記未確定のタイムスタンプを示す情報を含むタイムスタンプパケットを、前記受信装置に再送する
＜１＞または＜２＞のいずれかに記載の送信装置。
＜４＞  前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータのグループの、前記タイムスタンプを、前記タイムスタンプの更新の有無、または、完了を示す情報を含めて、前記タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記グループの前記タイムスタンプを、前記タイムスタンプの更新の有無、または、完了を示す情報を含むタイムスタンプパケットにパケット化して、前記受信装置に再送する
＜１＞乃至＜３＞のいずれかに記載の送信装置。
＜５＞  前記多重化部は、前記受信装置において、前記変更または追加が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される所定時間だけ前に受信されるタイミングで、前記変更または追加が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する
＜１＞乃至＜４＞のいずれかに記載の送信装置。
＜６＞  タイムスタンプをタイムスタンプパケットにパケット化し、
前記タイムスタンプが対応付けられるデータをエンコードし、
前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化し、
前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信するステップを含ませ、
前記タイムスタンプパケットにパケット化するタイムスタンプパケット化ステップの処理は、
複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、
前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、
前記多重化ストリームを生成して受信装置に送信するステップの処理は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する
送信方法。
＜７＞  タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、
前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、
前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、
前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部としてコンピュータに実行させ、
前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、
前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する
プログラム。
＜８＞  タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、
前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、
前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、
前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部とを含み、
前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、
前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する送信装置より送信されてくる前記多重化ストリームを受信する受信装置において、
前記多重化ストリームより、前記タイムスタンプと、エンコードされている前記タイムスタンプに対応付けられるデータとに分離する分離部と、
前記タイムスタンプを記憶するタイムスタンプ記憶部と、
前記タイムスタンプ記憶部に記憶される前記タイムスタンプの更新を管理する更新管理部と、
前記分離部により分離された、エンコードされている前記タイムスタンプに対応付けられるデータをデコードするデコード部と、
前記タイムスタンプ記憶部に記憶されている、前記タイムスタンプの情報に基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する同期制御部とを含み、
前記更新管理部は、再送された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記未デコードのタイムスタンプを、前記再送されたタイムスタンプに基づいて、前記タイムスタンプ記憶部に記憶されている前記タイムスタンプを更新して記憶させ、
前記同期制御部は、前記タイムスタンプ記憶部に、更新されて記憶されている前記タイムスタンプに基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する
受信装置。
＜９＞  前記更新管理部は、再送された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記未デコード、または、未提示のタイムスタンプが変更されているとき、前記再送されたタイムスタンプに基づいて、前記タイムスタンプ記憶部に記憶されている前記タイムスタンプを更新して記憶させる
＜８＞に記載の受信装置。
＜１０＞  前記更新管理部は、確定した前記タイムスタンプのみが追加された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記追加されたタイムスタンプに基づいて、前記タイムスタンプ記憶部に記憶されている前記タイムスタンプを更新して記憶させる
＜８＞または＜９＞に記載の受信装置。
＜１１＞  タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、
前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、
前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、
前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部とを含み、
前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、
前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する送信装置より送信されてくる前記多重化ストリームを受信する受信装置の受信方法において、
前記多重化ストリームより、前記タイムスタンプと、エンコードされている前記タイムスタンプに対応付けられるデータとに分離し、
前記タイムスタンプを記憶し、
記憶される前記タイムスタンプの更新を管理し、
前記分離部により分離された、エンコードされている前記タイムスタンプに対応付けられるデータをデコードし、
前記記憶されている、前記タイムスタンプの情報に基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御するステップを含み、
記憶される前記タイムスタンプの更新を管理する管理ステップの処理は、再送された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記未デコードのタイムスタンプを、前記再送されたタイムスタンプに基づいて、記憶されている前記タイムスタンプを更新して記憶させ、
前記タイミングを制御する制御ステップの処理は、更新されて記憶されている前記タイムスタンプに基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する
受信方法。
＜１２＞  タイムスタンプをタイムスタンプパケットにパケット化するタイムスタンプパケット化部と、
前記タイムスタンプが対応付けられるデータをエンコードするエンコード部と、
前記エンコード部によりエンコードされたエンコードデータをデータパケットにパケット化するデータパケット化部と、
前記タイムスタンプパケットと、前記データパケットとを多重化し、多重化ストリームを生成して受信装置に送信する多重化部とを含み、
前記タイムスタンプパケット化部は、
複数の前記タイムスタンプが対応付けられるデータをグループとして、前記グループ単位で、複数のタイムスタンプをタイムスタンプパケットにパケット化し、
前記グループの構成、または、前記グループ内のタイムスタンプに変更が発生した場合、変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプを、タイムスタンプパケットにパケット化し、
前記多重化部は、前記受信装置において、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプに対応する前記エンコードデータのデコードが開始される前に受信されるタイミングで、前記変更が発生した前記グループの構成、または、前記グループ内のタイムスタンプの、前記タイムスタンプパケットを、前記受信装置に再送する送信装置より送信されてくる前記多重化ストリームを受信する受信装置を制御するコンピュータに、
前記多重化ストリームより、前記タイムスタンプと、エンコードされている前記タイムスタンプに対応付けられるデータとに分離する分離部と、
前記タイムスタンプを記憶するタイムスタンプ記憶部と、
前記タイムスタンプ記憶部に記憶される前記タイムスタンプの更新を管理する更新管理部と、
前記分離部により分離された、エンコードされている前記タイムスタンプに対応付けられるデータをデコードするデコード部と、
前記タイムスタンプ記憶部に記憶されている、前記タイムスタンプの情報に基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する同期制御部として機能させ、
前記更新管理部は、再送された前記タイムスタンプが送信されてくる場合、前記グループ内の前記タイムスタンプのうち、前記未デコードのタイムスタンプを、前記再送されたタイムスタンプに基づいて、前記タイムスタンプ記憶部に記憶されている前記タイムスタンプを更新して記憶させ、
前記同期制御部は、前記タイムスタンプ記憶部に、更新されて記憶されている前記タイムスタンプに基づいて、前記エンコードされている前記タイムスタンプに対応付けられるデータをデコードするタイミングと、前記デコードされた、前記タイムスタンプに対応付けられるデータを提示するタイミングとを制御する
プログラム。
【符号の説明】
【０２０５】
１１  送信装置，  ３１  エンコーダ，  ３２  エンコーダバッファ，  ３３  エンコードデータパケット化部，  ３４  同期制御部，  ３５  制御情報パケット化部，  ３６  多重化部，  ７０  受信装置，  ７１  多重化分離部，  ７２  STC管理部，  ７３  同期再生制御部，  ７４  タイムスタンプFIFO，  ７５−１乃至７５−ｎ  バッファ，  ７６−１乃至７６−ｎ  デコーダ，  ７７  表示部，  ９１  更新管理部，  ９２  タイムスタンプメモリ，  １２１  更新管理部，  ２０１  制御情報パケット化部，  ２２１  更新管理部
【図１】
2017028463.tif 000003
【図２】
2017028463.tif 000004
【図３】
2017028463.tif 000005
【図４】
2017028463.tif 000006
【図５】
2017028463.tif 000007
【図６】
2017028463.tif 000008
【図７】
2017028463.tif 000009
【図８】
2017028463.tif 000010
【図９】
2017028463.tif 000011
【図１０】
2017028463.tif 000012
【図１１】
2017028463.tif 000013
【図１２】
2017028463.tif 000014
【図１３】
2017028463.tif 000015
【図１４】
2017028463.tif 000016
【図１５】
2017028463.tif 000017
【図１６】
2017028463.tif 000018
【図１７】
2017028463.tif 000019
【図１８】
2017028463.tif 000020
【図１９】
2017028463.tif 000021
【図２０】
2017028463.tif 000022
【図２１】
2017028463.tif 000023
【図２２】
2017028463.tif 000024
【図２３】
2017028463.tif 000025
【図２４】
2017028463.tif 000026
【図２５】
2017028463.tif 000027
【図２６】
2017028463.tif 000028
【図２７】
2017028463.tif 000029
【図２８】
2017028463.tif 000030