(57)【特許請求の範囲】
【請求項１】
装置外部のＮＴＰサーバから送信される時間情報が入力される基準周波数制御部と、
前記基準周波数制御部によって生成されるクロック信号に基づいてデータストリームの入出力を行うデータストリーム制御部を有し、
前記基準周波数制御部は、
前記時間情報が入力される基準時間情報取得部と、
前記データストリーム制御部に供給されるとともに該データストリーム処理装置の基準時間カウンタに供給されて基準周波数を定めるクロック信号を生成する発振器と、
前記時間情報と前記基準時間カウンタのカウンタ値の履歴を格納するレジスタと、
前記レジスタに格納されている前記時間情報と前記カウンタ値の履歴から、前記時間情報の増加時間及び前記前記カウンタ値の増加時間の平均値を求めて、これらの平均値の差分に応じて前記発振器を制御する発振器制御部を備えて基準周波数のクロック信号を生成することを特徴とするデータストリーム処理装置。
【請求項２】
前記データストリーム処理部は、
外部から入力されたデータストリームを格納するデータストリーム格納部と、
前記データストリーム格納部に格納されたデータストリームを加工して外部へ出力するデータストリーム処理部と
を有することを特徴とする請求項１に記載されたデータストリーム処理装置。
【請求項３】
前記データストリーム処理部は、
前記データストリーム格納部から入力されるデータストリームを画像符号化情報と音声符号化情報とに分離するデータストリーム分離部と、
前記データストリーム分離部から入力される前記画像符号化情報から画像データを生成する画像デコーダ部と、
前記データストリーム分離部から入力される前記音声符号化情報から音声データを生成する音声デコーダ部と、
前記画像データを選択及び合成して外部へ出力する画像選択合成部と、
前記音声データを選択及び合成して外部へ出力する音声選択合成部を有することを特徴とする請求項２記載のデータストリーム処理装置。
【請求項４】
前記基準周波数制御部は、前記データストリーム分離部によって抽出される基準時間情報と、前記基準時間情報取得部が取得した時間情報の内いずれか一つを選択して前記発振器制御部に出力する基準時間情報選択部を有することを特徴とする請求項３記載のデータストリーム処理装置。
【請求項５】
前記データストリーム格納部は、外部から入力される画像データストリームを格納する画像格納部と、外部から入力される音声データストリームを格納する音声格納部を有し、
前記データストリーム処理部は、前記画像データストリームから画像符号化情報を生成する画像エンコーダ部と、前記音声データストリームから音声符号化情報を生成する音声エンコーダ部と、
前記画像符号化情報と前記音声符号化情報を多重化し、データストリームを生成するストリーム多重化部を有することを特徴とする請求項２のデータストリーム処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像情報や音声情報等を含んだデータに対して、符号化や復号化等の処理を行うデータストリーム処理装置に関する。
【０００２】
【従来の技術】
映像や音声の情報を圧縮する方式の１つに、国際規格のＭＰＥＧ２がある。ＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２）は、映像、音声を個別に圧縮し、圧縮された映像や音声、及びデータ等を同期化して多重化する方式で、蓄積メディアやネットワークなどに適合する。ＭＰＥＧ２には、１つのプログラムの多重・分離方式であるＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ  Ｓｔｒｅａｍ）及びマルチプログラムに対応したＭＰＥＧ２−ＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）の２種類の方式がある。ＭＰＥＧ２−ＴＳは、複数のプログラムデータを１つの連続的データ（以下「データストリーム」）として扱うことができるため、テレビ放送などに主に用いられる。
【０００３】
ＭＰＥＧ２−ＴＳによって圧縮されるデータには、映像や音声の各フレームを復号化する時刻、再生する時刻として、再生時刻情報（ＰＴＳ）、復号時刻情報（ＤＴＳ）が含まれる。また、圧縮されたデータを復号する復号化装置（以下、「復号化装置」）側の時刻の基準となるＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）の値を、データを圧縮する符号化装置（以下、「符号化装置」）側で意図した値になるように補正するために復号化装置で使用される、ＳＣＲ（Ｓｙｓｔｅｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）及びＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）の２種類の時刻情報も、圧縮されたデータに含まれる。
【０００４】
ここで、復号化装置側でＰＣＲを用いてＳＴＣを補正しなければ、符号化装置側のシステムクロックに対し、復号化装置側のＳＴＣが徐々にずれる現象が発生する。復号化装置側のＳＴＣが、符号化装置側のシステムクロックよりも前にずれる場合、符号化装置からデータストリームが完全に到着する前、すなわち、映像データや音声データを含むデータストリームを格納するバッファが一時的に空になった状態で、復号化装置側は復号又は再生時間となる。つまり、復号化装置側では、同一の映像、音声の繰り返しが生じる。一方、復号化装置側のＳＴＣが符号化装置のシステムクロックよりも後ろにずれる場合、復号化装置側で復号や再生を行うタイミングが遅れ、映像データや音声データを含むデータストリームを格納するバッファに符号化装置側から送られたデータストリームを格納することができなくなる。その結果、映像、音声の駒落ちが発生する。
【０００５】
上述した復号化装置側での映像や音声の繰り返し又は駒落ちを回避するため、ＭＰＥＧ２−ＴＳの規格では、符号化装置側のシステムクロックと復号化装置側のＳＴＣの周波数とを完全に一致させるための、ＳＴＣと一体となったＰＬＬ（Ｐｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ）を復号化装置に実装することが義務づけられている。復号化装置側のＰＬＬは、自らが有する基準時間カウンタのカウンタ値と圧縮されたデータストリームに埋め込まれているＰＣＲとの差分に基づいて、符号化装置側と完全に周波数が一致したクロックを生成する。このように、ＰＣＲを使用してＳＴＣを補正することにより、符号化装置側で意図したタイミングで、復号化装置側で映像、音声を同期して再生することが可能となる。なお、ＭＰＥＧ２の場合、システムクロックは２７ＭＨｚであり、８１０Ｈｚ以内の誤差が許されている。
【０００６】
【発明が解決しようとする課題】
最近、テレビ会議システムやビデオチャット等を実現するために、複数の遠隔地で符号化された映像、音声がネットワーク等で転送され、受信側が複数のデータストリームを受信して復号化する機能が要求されている。
【０００７】
従来技術を用いて上記要求を満たそうとした場合、復号化装置側に、ＭＰＥＧ２−ＴＳ方式に従った複数のデータストリームが転送される。この場合、すべてのデータストリームに対して、符号化装置側で意図したタイミングに復号化装置側のＳＴＣを補正するためには、復号化装置側に複数のＰＬＬが必要となる。しかし、これは復号化装置のコストアップの要因となる。また、複数のモニタにそれぞれのデータストリームを出力する場合、上記の複数のＰＬＬでデータストリーム毎に基準時間を校正し、複数の基準周波数でデータストリームを再生することができるが、１つのモニタに複数のデータストリームを同時再生する場合には、単一の基準周波数で再生を行う必要があるため、全てのデータストリームをそれぞれの時間情報に従い再生することができない。
【０００８】
上記要求を満たすための技術が特開２００１−５４９９公報に開示されている。本技術では、復号化装置に、複数のデータストリームから各々のデータストリームのＰＣＲを取得し、複数のＰＣＲから何れか一つを選択する基準時間情報選択部が設けられている。本技術における復号化装置は、基準時間情報選択部で選択されたＰＣＲを使用してＳＴＣを補正する。
【０００９】
しかし、本技術を用いた場合、復号化装置では、選択されたデータストリーム以外のデータストリームに対して正確な時間で再生できない。さらに、ネットワークや無線等でジッタやパケット損失が発生する環境下では、本技術では、基準周波数の違いによる再生時の不具合を減少させるための基準時間情報選択の処理が複雑化するという課題がある。さらに、一つのデータストリームの転送においても、ネットワークのジッタやパケット損失により、ＰＣＲデータの取りこぼしが生じ、復号化装置側でタイミングよくデータを再生することが出来ない。
【００１０】
本発明の目的は、一つ、又は多数の符号化装置から送出されるデータストリームを、復号化装置側においてタイミングよく再生することができるデータストリーム符号化装置及び復号化装置を提供することである。
【００１１】
【課題を解決するための手段】
本発明の目的を達成するために、本発明のデータストリーム処理装置は、装置外部から時間情報が入力される基準周波数制御部と、基準周波数制御部によって生成される信号に基づいてデータストリームの入出力を行うデータストリーム制御部とを有する構成とする。
【００１２】
また、基準周波数制御部は、時間情報が入力される基準時間情報取得部と、データストリーム処理部内の周波数を定める信号を生成する発信器と、基準時間情報取得部に入力される時間情報と発信器から発信される信号の周波数とのずれを計算し、計算結果に基づいて発信器を制御する発信器制御部とを有する構成としても良い。
【００１３】
更に、データストリーム処理部は、外部から入力されたデータを格納するデータストリーム格納部と、データストリーム格納部に格納されたデータを加工して外部へ出力するデータストリーム処理部とを有する構成としても良い。
【００１４】
また、データストリーム処理部は、データストリーム格納部から入力されるデータを画像符号化情報と音声符号化情報とに分離するデータストリーム分離部と、データストリーム分離部から入力される画像符号化情報から画像データを生成する画像デコーダ部と、データストリーム分離部から入力される前記音声符号化情報から音声データを生成する音声デコーダ部と、画像データを選択及び合成して外部へ出力する画像選択合成部と、音声データを選択及び合成して外部へ出力する音声選択合成部とを有する構成としても良い。
【００１５】
更に、データストリーム格納部は、外部から入力される画像データを格納する画像格納部と、外部から入力される音声データを格納する音声格納部とを有し、データストリーム処理部は、画像データから画像符号化情報を生成する画像エンコーダ部と、音声データから音声符号化情報を生成する音声エンコーダ部と、画像符号化情報と音声符号化情報を多重化し、データストリームを生成するストリーム多重化部とを有する構成としても良い。
【００１６】
尚、時間情報は、ＮＴＰサーバから送信される時間情報でも良い。
【００１７】
【発明の実施の形態】
図１は、本発明を適用したデータストリーム処理装置１の構成を示す図である。尚、データストリーム処理装置とは、データ符号化装置、データ復号化装置及びデータ符号化／復号化装置を総称した名称である。
【００１８】
データストリーム処理装置１は、基準周波数制御部１１及びデータストリーム制御部１２を有する。基準周波数制御部１１は、データストリーム処理装置１の外部から入力される時間情報に基づいて、装置内部のデータ送信等のタイミングを規定する基準周波数を制御する。データストリーム制御部１２は、外部から入力されたデータストリームを一旦格納し、基準周波数制御部１１で生成される信号で定められる基準周波数に基づいて、データストリームを出力する。
【００１９】
基準周波数制御部１１は、発振器１３、基準時間カウンタ１６、発振器制御部１７、及び基準時間情報取得部１５を有する。
【００２０】
基準時間カウンタ１６は、発振器１３から出力されるクロック信号によって定められる基準周波数（本実施形態では２７ＭＨｚ）に同期してカウントアップされる。発振制御部１７は、基準時間カウンタ１６のカウンタ値と基準時間情報取得部１５が外部から取得した時間情報との差分を使って、発振器１３を制御する。基準時間情報取得部１５が取得する時間情報の一例として、ＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）がある。
【００２１】
図１０は、ＮＴＰのフォーマットを示す図である。ＮＴＰの時間情報は、１９００年１月１日からの秒数（３２ビット）と秒の小数部（３２ビット）から構成される、２３２Ｈｚ（約４ＧＨｚ）のカウンタ値である。発振制御部１７は、外部から取得したＮＴＰの時間情報と、ＮＴＰを取得した時の基準時間カウンタ１６のカウンタ値を保存する。その後、発振制御部１７は、次に取得したＮＴＰの時間情報及びその時の基準時間カウンタ１６のカウンタ値と、先に保存された以前の時間情報及び基準時間カウンタ１６のカウンタ値とを比較して、各々の増分を計算する。さらに発信制御部１７は、ＮＴＰの時間情報の増分と基準時間カウンタ１６のカウンタ値の増分を比較し、その差分量に応じて、発振器１３を制御する。
【００２２】
データストリーム制御部１２は、外部から入力されるデータストリームを格納するデータストリーム格納部１４と、データストリーム格納部１４に格納されたデータストリームを加工して出力するデータストリーム処理部１８とを有する。データストリーム処理部１８は、発信器１３によって生成されるクロック信号のクロックに従って、加工されたデータストリームを外部に出力する。
【００２３】
図２は、図１で説明したデータストリーム処理装置１をデータストリーム復号化装置２として使用する場合の一実施形態の構成を示す図である。
【００２４】
データ復号化装置２において、データストリーム制御部１２のデータストリーム処理部１８は、データストリーム分離部２３、画像デコーダ部２４、音声デコーダ部２５、画像選択合成部２６、及び音声選択合成部２７を有する。尚、基準周波数制御部１１の構成は図１と同一である。
【００２５】
データストリーム格納部１４には、外部から入力されたデータストリーム（本実施例においては、ＭＰＥＧ２−ＴＳ）が格納される。データストリーム分離部２３は、データストリーム格納部１４から入力されたデータストリームから、画像符号化情報（ビデオストリーム及びＰＴＳ、ＤＴＳ）、及び音声符号化情報（オーディオストリーム及びＰＴＳ、ＤＴＳ）を抽出する。また、データストリーム分離部２３は、抽出した画像符号化情報を画像デコーダ部２４へ、音声符号化情報を音声デコーダ部２５へ出力する。本実施形態においては、データストリームに含まれているＰＣＲは、基準周波数の制御に使用しない。
【００２６】
画像デコーダ部２４は、データストリーム分離部２３から入力された画像符号化情報を画像デコーダ部２４が有するバッファに格納する。その後、画像デコーダ部２４は、基準時間カウンタ１６のカウント値（ＳＴＣ）とデータに含まれるＤＴＳとが等しくなったタイミングで画像データの復号化処理を開始する。生成された画像データは、画像選択合成部２６へ出力される。
【００２７】
一方、音声デコーダ部２５は、ストリーム分離部２３から入力された音声符号化情報を、ＳＴＣとデータに含まれるＤＴＳとが一致するタイミングで復号化する。生成された音声データは音声選択合成部２７へ出力される。
【００２８】
画像選択合成部２６は、画像デコーダ部２４から入力された複数の画像データから、ユーザが表示を要求している画像データを選択し、モニタ等の表示機器に出力するために用意された１フレーム分の画像データ格納領域の指定された位置に、それぞれの画像データを重み付けして加算した値を格納することにより、複数の画像データを合成する。その後、画像選択合成部２６は、基準時間カウンタ１６のカウント値（ＳＴＣ）とデータに含まれるＰＴＳとが等しくなったタイミングで、合成した画像データを画像信号として出力する。
【００２９】
同様に、音声出力部２７は、音声デコーダ部２５から入力された複数の音声データから、ユーザが表示を要求している音声データを選択し、スピーカー等の音声機器に出力するために用意された１フレーム分の音声データ格納領域に、それぞれの音声データの周波数レベルまたは出力レベルを重み付けして加算した値を格納することにより、複数の音声データを合成する。
【００３０】
図３は、図１のデータストリーム処理装置１をデータストリーム符号化装置３として使用する場合の構成を示す図である。
【００３１】
データストリーム格納部１４は、画像格納部３３、及び音声格納部３４から構成される。データストリーム処理部１８は、画像エンコーダ部３５、音声エンコーダ部３６、及びデータストリーム多重化部３７から構成される。尚、基準周波数制御部１１は、図１と同じ構成である。
【００３２】
画像格納部３３は、外部から入力されるデータストリーム、具体的には映像信号を画像データとして格納する。音声格納部３４は、外部から入力される音声信号を音声データとして格納する。画像エンコーダ部３５は、画像入力部３３から入力された画像データを符号化して画像符号化情報を生成する。音声エンコーダ部３６は、音声入力部３４から入力された音声データを符号化し、音声符号化情報を生成する。
【００３３】
データストリーム多重化部３７は、基準時間カウンタ１６のカウンタ値をもとに、ＰＴＳ、ＤＴＳ、及びＰＣＲを生成する。さらに、データストリーム多重部３７は、これらの時刻情報と画像符号化情報、音声符号化情報からデータストリームを生成して外部へ出力する。
【００３４】
図４は、データストリーム復号化装置の別の実施形態の構成を示す図である。本実施形態では、基準時間情報取得部１５が外部から時間情報を取得できない場合においても基準周波数を補正し、徐々に各々の符号化側の意図する時間と復号化側のＳＴＣとが離れてしまう現象を最小限に抑えることができる。
【００３５】
基準周波数制御部４１は、基準時間情報選択部４３を有する点が、図１の基準周波数制御部１１の構成と異なる。データストリーム制御部４８は、データストリーム分離部４４の機能が、図２で説明したデータストリーム分離部１８と異なる。
【００３６】
データストリーム分離部４４は、入力された複数のデータストリームの各々からＰＣＲを抽出し、基準時間情報選択部４３に出力する。基準時間情報選択部４３は、上記ＰＣＲと基準時間情報取得部１５から入力される時間情報とのうち何れか一つを選択し、発振制御部１７に出力する。基準時間情報選択部４３は、基準時間情報取得部１５から時間情報が入力されなくなった場合は、データストリーム分離部４４から入力されるＰＣＲを選択する。ここで、時間情報が入力されなくなった場合とは、装置内部に設けられた時間間隔の閾値を超えて外部から時間情報が入力されなくなることを指す。閾値を超えても時間情報が外部から入力されない場合、基準時間情報選択部４３は、ＰＣＲを選択する。
【００３７】
本実施形態によれば、もし何らかの理由で基準時間情報取得部１５が外部から基準時間情報を取得できない状態に陥った場合、データストリーム復号化装置４が、データストリーム分離部４３で抽出したＰＣＲを選択することにより、ある程度、再生時の不具合を減少させることが可能になる。
【００３８】
図７は、データストリーム符号化装置３及びデータストリーム復号化装置２をネットワークに接続した場合の構成の一実施形態を示す図である。
【００３９】
ネットワーク６１には、データストリーム符号化装置３、データストリーム復号化装置２に加え、基準時間局６２が接続される。基準時間局６２が供給する時間情報は、各々のデータストリーム符号化装置３及びデータストリーム復号化装置２の各々が有する基準時間情報取得部１５で取得される。取得された時間情報に基づいて、データストリーム符号化装置３及びデータストリーム復号化装置２双方は、基準時間局６２の基準周波数と同一になるように、各々の基準周波数を補正する。したがって、図７のようにデータストリーム符号化装置３が複数ある場合であっても、データストリーム符号化装置３及びデータストリーム復号化装置２双方の基準周波数がずれることはない。これにより、データストリーム復号化装置２におけるデータ再生時の基準周波数のずれによる不具合を回避することができる。
【００４０】
尚、基準基地局としては、通常のホストコンピュータ、ＧＰＳ（Global Positioning Satellite）、ＮＴＰサーバ等を使用することが考えられる。ＮＴＰサーバとは、インターネットに接続されたコンピュータ間で時間を同期させる技術に用いられるサーバである。本技術によれば、インターネットに接続された計算機は、全世界に散らばったＮＴＰサーバを利用することで、自分自身の時間を調整することができる。また、あるサーバがＮＴＰサーバの役割をも有する場合、各クライアントは、このサーバを使って、自分自身の時間をＮＴＰサーバと同一のシステム時間に調整することができる。ＮＴＰの技術では、最終的に、基準基地局と各計算機との時間の差が数十ミリ秒以内に収まる。したがって、基準時間局としてＮＴＰサーバを採用すれば、符号化装置側と復号化装置側との基準時間の誤差を常に数十ミリ秒以内に抑えることができる。
【００４１】
しかし、基準時間情報取得部１５が、ＮＴＰによって供給される時間情報を取得した場合、前述したように数十ミリ秒の誤差が含まれる可能性がある。この場合、データストリーム復号化装置２において、１組の時間情報とカウンタ値を使用して発振器１３を制御すると、基準周波数が安定しないことがありうる。
【００４２】
図５は、上記の課題を解決するデータストリーム復号化装置５の実施形態を示す図である。
【００４３】
基準周波数制御部５１は、レジスタ５２を有する点が基準周波数制御部１１と異なる。
基準時間情報取得部１５は、外部から基準時間情報を取得したら、基準時間情報と基準時間カウンタ１６のカウンタ値をレジスタ５２に登録する。レジスタ５２は、図６に示すように、基準時間とカウンタ値の履歴が格納される構成を有する。この履歴により、基準周波数制御部５１は、基準時間とカウンタ値の増加傾向を把握することができる。発振制御部１７は、レジスタ５２に格納されている基準時間とカウンタ値の履歴から把握した増加傾向を基に、発振器１３の制御を行う。例えば、発信制御部１７は、基準時刻の増加時間、及び、カウンタ値の増加時間の平均値を求めて、これらの平均値の差分に応じて発振器１３を制御する。
【００４４】
本実施形態では、データストリーム復号化装置５は、レジスタ５２に格納された基準時間とカウンタ値の履歴に基づいて、基準時間、カウンタ値の増加傾向を解析して発振器１７を制御する。これにより、データストリーム復号化装置において、より変動の少ない基準周波数のクロックを生成することができる。
【００４５】
図９は、本発明を適用したデータストリーム符号化／復号化処理装置６３の構成を示す図である。
【００４６】
データストリーム符号化／復号化処理装置７１は、基準周波数制御部１１及びデータストリーム制御部１２を有する。基準周波数制御部１１の構成は図２、図３と同一である。また、データストリーム制御部１２は、復号化処理を実行する図２のデータストリーム格納部１４とデータストリーム処理部１８、符号化処理を実行する図３のデータストリーム格納部１４とデータストリーム処理部１８を有する。データストリーム符号化／復号化装置７１は、一つの基準周波数制御部１１で、符号化処理を行う部分と復号化処理を行う部分へ基準周波数を送信する。
【００４７】
図８は、図９に示した、複数のデータストリーム符号化／復号化装置を、ネットワーク６１を介して接続したシステムを示す図である。
【００４８】
この構成により、自分が位置する装置で符号化した映像、音声のデータストリームを転送し、離れた位置に存在する装置で符号化された複数の映像、音声のデータストリームをお互いが送受信することが可能となる。これにより、テレビ会議システムやビデオチャット等の双方向の通信システムで、画像、音声の繰り返しや欠落の発生を減少させることが出来る。
【００４９】
他の装置から１本のデータストリームが一時的に転送されなくなった場合においても、従来技術ではそのデータストリームの基準時間を使用していた場合問題が発生したが、本システムでは、外部から基準時間を取得するので問題は起きない。
【００５０】
【発明の効果】
本発明によれば、１つ又は複数のデータストリームを受信し、表示装置に表示する場合であっても、符号化装置側と復号化装置側との基準周波数の違いによる画像、音声の繰り返しや欠落を解消することができる。
【図面の簡単な説明】
【図１】本発明のデータストリーム処理装置の構成を示す図である。
【図２】本発明のデータストリーム復号化処理装置の構成を示す図である。
【図３】本発明のデータストリーム符号化処理装置の構成を示す図である。
【図４】本発明のデータストリーム復号化処理装置の構成を示す図である。
【図５】本発明のデータストリーム復号化処理装置の構成を示す図である。
【図６】基準時間情報および基準時間カウンタのカウンタ値を格納するレジスタの構成を示す図である。
【図７】本発明のデータストリーム処理装置をネットワークに接続した構成を示す図である。
【図８】本発明のデータストリーム処理装置をネットワークに接続した構成を示す図である。
【図９】本発明のデータストリーム符号化／復号化処理装置の構成を示す図である。
【図１０】ＮＴＰのフォーマットを示す図である。
【符号の説明】
１…データストリーム処理装置、１１…基準周波数制御部、１２…データストリーム制御部、１３…発振器、１４…データストリーム格納部、１５…基準時間情報取得部、１６…基準時間カウンタ、１７…発振器制御部、１８…データストリーム処理部、２１…基準周波数制御部、２３…データストリーム分離部、２４…画像デコーダ部、２５…音声デコーダ部、２６…画像選択合成部、２７…音声選択合成部、３３…画像格納部、３４…音声格納部、３５…画像エンコーダ部、３６…音声エンコーダ部、３７…ストリーム多重化部、４３…基準時間情報選択部、５２…レジスタ、６１…ネットワーク、６２…基準時間局、７１…データストリーム符号化／復号化装置。
【図１】
0003906712.tif 000002
【図２】
0003906712.tif 000003
【図３】
0003906712.tif 000004
【図４】
0003906712.tif 000005
【図５】
0003906712.tif 000006
【図６】
0003906712.tif 000007
【図７】
0003906712.tif 000008
【図８】
0003906712.tif 000009
【図９】
0003906712.tif 000010
【図１０】
0003906712.tif 000011