(57)【要約】【課題】データをリアルタイムで符号化し、伝送し、復号するシステムにおいて、伝送路にジッタを生じる場合でも、また符号化ビットレートの如何にかかわらず、容易かつ確実に符号化側と復号側を同期させることができるようにする。【解決手段】復号側のＳＴＣ（ＳＴＣカウンタの出力値）と符号化ストリーム（ＭＰＥＧ２−ＰＳ）から抽出したＳＣＲとの差分ｄの変化分を一定時間内で積算し、その積算値の正負によって、復号側のデータ処理速度が符号化側のデータ処理速度より速いか否かを判断して、積算値がプラスの場合には復号側のＳＴＣカウンタの入力クロック周波数を低くし、積算値がマイナスの場合には復号側のＳＴＣカウンタの入力クロック周波数を高くする。積算値がプラスの場合には符号化側のＳＴＣカウンタの入力クロック周波数を高くし、積算値がマイナスの場合には符号化側のＳＴＣカウンタの入力クロック周波数を低くしてもよい。【選択図】　　　　図８
2004104395.tif 000002
【特許請求の範囲】
【請求項１】
データをリアルタイムで符号化し、基準時刻情報を挿入してリアルタイムで伝送し、リアルタイムで復号するシステムにおいて、
復号側において、復号用クロックを計数するカウンタの出力値と前記基準時刻情報の値との差分の時間変化を検出して、その差分変化がプラス方向であるときには、前記復号用クロックの周波数を低くし、差分変化がマイナス方向であるときには、前記復号用クロックの周波数を高くする同期化方法。
【請求項２】
データをリアルタイムで符号化し、基準時刻情報を挿入してリアルタイムで伝送し、リアルタイムで復号するシステムにおいて、
復号側において、復号用クロックを計数するカウンタの出力値と前記基準時刻情報の値との差分の時間変化を検出して、その検出結果を符号化側に伝送し、
符号化側において、その検出結果の差分変化がプラス方向であるときには、符号化用クロックの周波数を高くし、検出結果の差分変化がマイナス方向であるときには、符号化用クロックの周波数を低くする同期化方法。
【請求項３】
データをリアルタイムで符号化し、基準時刻情報を挿入してリアルタイムで伝送する符号化装置と、その伝送された符号化データをリアルタイムで復号する復号化装置とからなり、
前記復号化装置は、復号用クロックを発生する手段と、そのクロックを計数するカウンタと、このカウンタの出力値と前記基準時刻情報の値との差分の時間変化を検出して、その差分変化がプラス方向であるときには、前記復号用クロックの周波数を低くし、差分変化がマイナス方向であるときには、前記復号用クロックの周波数を高くする演算制御手段とを備える同期化システム。
【請求項４】
データをリアルタイムで符号化し、基準時刻情報を挿入してリアルタイムで伝送する符号化装置と、その伝送された符号化データをリアルタイムで復号する復号化装置とからなり、
前記復号化装置は、復号用クロックを発生する手段と、そのクロックを計数するカウンタと、このカウンタの出力値と前記基準時刻情報の値との差分の時間変化を検出する手段と、その検出結果を前記符号化装置に送信する手段とを備え、
前記符号化装置は、符号化用クロックを発生する手段と、前記検出結果を受信する手段と、その検出結果の差分変化がプラス方向であるときには、前記符号化用クロックの周波数を高くし、検出結果の差分変化がマイナス方向であるときには、前記符号化用クロックの周波数を低くする制御手段とを備える同期化システム。
【請求項５】
請求項３または４の同期化システムにおいて、
前記符号化装置は、映像データおよび音声データを符号化して、前記復号化装置に無線送信するものであり、前記復号化装置は、その符号化された映像データおよび音声データを復号して、ディスプレイ上に映像を表示し、音声出力装置から音声を出力するものである同期化システム。
【請求項６】
基準時刻情報が挿入されて符号化装置から伝送された符号化データをリアルタイムで復号する符号化装置であって、
復号用クロックを発生する手段と、
そのクロックを計数するカウンタと、
このカウンタの出力値と前記基準時刻情報の値との差分の時間変化を検出して、その差分変化がプラス方向であるときには、前記復号用クロックの周波数を低くし、差分変化がマイナス方向であるときには、前記復号用クロックの周波数を高くする演算制御手段と、
を備える復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、映像データや音声データなどのデータを、リアルタイムで符号化し、伝送し、復号するシステム、および、このシステムにおいて、符号化側と復号側を同期させる方法に関する。
【０００２】
【従来の技術】
映像データや音声データなどのデータを、符号化装置においてリアルタイムで圧縮符号化し、符号化装置に対して離れた復号化装置にリアルタイムで伝送し、復号化装置においてリアルタイムで伸長復号するシステムでは、符号化データをバッファに一時記憶させて伝送することによって、復号側でのデータの過不足を防止する。
【０００３】
しかし、送信側の符号化装置と受信側の復号化装置が全く独自に制御されていると、いずれ問題を生じる。
【０００４】
例えば、復号化装置の方が符号化装置よりデータ処理速度が速い場合には、いずれ、バッファに蓄積されたデータを全て復号し尽くしてしまって、復号するべきデータが存在しないバッファアンダーフロー状態となる。逆に、符号化装置の方が復号化装置よりデータ処理速度が速い場合には、いずれ、データがバッファに溜まり過ぎて溢れてしまい、データの損失を来たすバッファオーバーフロー状態となる。
【０００５】
そのため、データを正しく復号するためには、符号化側と復号側を同期させる必要がある。
【０００６】
ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）２システムでは、基準時刻情報（時刻基準参照値）として、ＭＰＥＧ２−ＰＳ（Ｐｒｏｇｒａｍ　Ｓｔｒｅａｍ）ではＳＣＲ（Ｓｙｓｔｅｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）を用い、ＭＰＥＧ２−ＴＳ（Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）ではＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）を用いることによって、符号化側と復号側を同期させることができ、一時記憶用のバッファのオーバーフローやアンダーフローを生じることなくデータを正しく復号することができる。
【０００７】
具体的に、ＭＰＥＧ２システムでは、符号化時には、符号化用のクロックを計数するＳＴＣ（Ｓｙｓｔｅｍ　Ｔｉｍｅ　Ｃｌｏｃｋ）カウンタの出力値のＳＴＣを基準にＳＣＲまたはＰＣＲを生成して、図１１上段に示すように、一定時間間隔で符号化ストリームに挿入する。
【０００８】
復号側では、このＳＣＲまたはＰＣＲを検出して、図１１下段に示すような復号側のＳＴＣ（ＳＴＣカウンタの出力値）と比較し、両者の間の誤差が一定以上になったときには、ＳＣＲまたはＰＣＲの値をＳＴＣカウンタにロードしてＳＴＣの値そのものを更正する。したがって、復号側のＳＴＣの時間間隔は、ＳＣＲまたはＰＣＲによる更正時を除いて一定である。
【０００９】
また、ＭＰＥＧ２システムでは、符号化時、復号の時刻管理情報であるＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ）および再生出力の時刻管理情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）を符号化ストリームに挿入し、復号側では、このＤＴＳおよびＰＴＳとＳＴＣとを比較することによって、データの復号および出力を管理する。
【００１０】
しかしながら、符号化ストリームの伝送路にジッタを生じる場合には、基準時刻情報であるＳＣＲまたはＰＣＲ自体にジッタを生じるため、ＳＣＲまたはＰＣＲによる上記のような同期制御を正しく行うことができない。
【００１１】
すなわち、図１２（Ａ）に示すような一定時間間隔でＳＣＲまたはＰＣＲが挿入された符号化ストリームが、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）などの通信プロトコルによって、同図（Ｂ）に示すようなパックサイズおよび伝送タイミングで、同図（Ｃ）に示すようにパケット化されて伝送される際、伝送路中でパケット喪失などを生じると、受信側の符号化ストリームは、ＳＣＲまたはＰＣＲの受信間隔が、同図（Ｄ）のＤ１，Ｄ２，Ｄ３で示すように、ばらばらとなって、時刻を正確に更正することができなくなる。
【００１２】
そこで、特開平１１−２１５４９４号および特開２０００−９２１３０には、伝送路にＩＥＥＥ１３９４シリアルインタフェースなどを用いて、伝送路のパケットに伝送路用のタイムスタンプ（時刻情報）を付加することによって、時刻を更正することが示されている。
【００１３】
この方法では、図１３（Ａ）に示すような一定時間間隔でＳＣＲまたはＰＣＲが挿入された符号化ストリームが、同図（Ｂ）に示すようなパックサイズおよび伝送タイミングで、同図（Ｃ）に示すようにパケット化されて伝送される際、そのパケットに伝送路用のタイムスタンプが付加される。
【００１４】
したがって、受信側の受信直後の符号化ストリームが、パケット喪失などによって同図（Ｄ）に示すようなものとなったときでも、この伝送路用のタイムスタンプにより符号化ストリームの時刻を制御することによって、同図（Ｅ）のＤ０で示すようにＳＣＲまたはＰＣＲを正しい間隔とすることができ、データを正しく復号することができる。
【００１５】
しかしながら、このようにＩＥＥＥ１３９４シリアルインタフェースなどによって伝送路のパケットに伝送路用のタイムスタンプを付加する場合には、システム全体のコストが大幅に増加する。
【００１６】
そこで、特開２００２−１６５１４８には、符号化側のデータ処理速度と復号側のデータ処理速度との差に応じてバッファのデータ蓄積量が変化する（符号化側のデータ処理速度が復号側のデータ処理速度より速いと、バッファのデータ蓄積量が増加し、逆に復号側のデータ処理速度が符号化側のデータ処理速度より速いと、バッファのデータ蓄積量が減少する）ことから、バッファのデータ蓄積量を監視して、データ蓄積量が上側の閾値より多くなったときには、復号用のクロック周波数を高くして復号側のデータ処理速度を速くし、データ蓄積量が下側の閾値より少なくなったときには、復号用のクロック周波数を低くして復号側のデータ処理速度を遅くすることが示されている。
【００１７】
【特許文献１】
特開平１１−２１５４９４号公報。
【特許文献２】
特開２０００−９２１３０公報。
【特許文献３】
特開２００２−１６５１４８公報。
【００１８】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧシステムでは、符号化のビットレートが一定のＣＢＲ（Ｃｏｎｓｔａｎｔ　Ｂｉｔ　Ｒａｔｅ）と、ビットレートが可変のＶＢＲ（Ｖａｒｉａｂｌｅ　Ｂｉｔ　Ｒａｔｅ）の、いずれを用いることもでき、ＶＢＲを用いることも多い。
【００１９】
そして、ＶＢＲの場合、１秒あたりのデータ量が変化するので、バッファのデータ蓄積量は、必ずしも、符号化側のデータ処理速度と復号側のデータ処理速度との差に応じたものにならない。
【００２０】
そのため、特開２００２−１６５１４８に示された、バッファのデータ蓄積量から符号化側のデータ処理速度と復号側のデータ処理速度との差を検出する方法では、符号化側のデータ処理速度と復号側のデータ処理速度との差を正確に検出することができず、したがって復号側を符号化側に確実に同期させることができない。
【００２１】
また、符号化ビットレートが一定であっても、例えば、符号化ストリームを無線送信する場合、送信途中でパケットの欠落やデータの化けを生じると、その分のデータがバッファに蓄積されないため、同様にバッファのデータ蓄積量からでは、符号化側のデータ処理速度と復号側のデータ処理速度との差を正確に検出することができない。
【００２２】
そこで、この発明は、映像データや音声データなどのデータを、リアルタイムで符号化し、伝送し、復号するシステムにおいて、伝送路にジッタを生じる場合でも、符号化ビットレートの如何にかかわらず、システムのコストアップを来たすことなく、容易かつ確実に、符号化側と復号側を同期させることができるようにしたものである。
【００２３】
【課題を解決するための手段】
第１の発明の同期化方法は、
データをリアルタイムで符号化し、基準時刻情報を挿入してリアルタイムで伝送し、リアルタイムで復号するシステムにおいて、
復号側において、復号用クロックを計数するカウンタの出力値と前記基準時刻情報の値との差分の時間変化を検出して、その差分変化がプラス方向であるときには、前記復号用クロックの周波数を低くし、差分変化がマイナス方向であるときには、前記復号用クロックの周波数を高くするものである。
【００２４】
第２の発明の同期化方法は、
データをリアルタイムで符号化し、基準時刻情報を挿入してリアルタイムで伝送し、リアルタイムで復号するシステムにおいて、
復号側において、復号用クロックを計数するカウンタの出力値と前記基準時刻情報の値との差分の時間変化を検出して、その検出結果を符号化側に伝送し、
符号化側において、その検出結果の差分変化がプラス方向であるときには、符号化用クロックの周波数を高くし、検出結果の差分変化がマイナス方向であるときには、符号化用クロックの周波数を低くするものである。
【００２５】
上記の同期化方法では、例えば、ＭＰＥＧ２システムの場合、復号側のＳＴＣ（ＳＴＣカウンタの出力値）と、ＭＰＥＧ２−ＰＳのＳＣＲまたはＭＰＥＧ２−ＴＳのＰＣＲとの差分の時間変化が、復号側のデータ処理速度と符号化側のデータ処理速度との差として検出される。
【００２６】
この場合、伝送路にジッタを生じる場合でも、また符号化ビットレートの如何にかかわらず、復号側のＳＴＣおよび符号化ストリーム中のＳＣＲまたはＰＣＲが示す時刻は変わらないので、復号側のデータ処理速度と符号化側のデータ処理速度との差を正確に検出することができる。
【００２７】
したがって、上記のように差分の時間変化の方向に応じて復号用クロックまたは符号化用クロックの周波数を制御することによって、符号化側と復号側を同期させることができる。
【００２８】
このとき、符号化側および復号側の時刻は、絶対時刻のような正確な時刻ではなく、両者の間の誤差が一定範囲内に収まるだけであるが、映像データや音声データを伝送するシステムの時刻調整方法としては、その誤差が映像や音声の乱れを生じることなく映像や音声を視聴できる範囲内であれば、十分である。
【００２９】
さらに、上記の同期化方法では、伝送路のパケットに伝送路用のタイムスタンプを付加する方法とは異なり、システムのコストアップを来たすことがなく、ＭＰＥＧ２などの規格内の情報のみによって、符号化側と復号側を同期させることができる。
【００３０】
【発明の実施の形態】
〔システムの一実施形態の概要：図１〜図４〕
この発明の一実施形態として、テレビ放送の受信用のチューナを備えるベース装置においてテレビ放送の映像および音声のデータをリアルタイムで符号化し、ＭＰＥＧ２システムの符号化ストリームとして表示端末にリアルタイムで無線送信し、表示端末においてリアルタイムで復号するシステムに、この発明を適用した場合を示す。
【００３１】
このシステムは、同時に、ベース装置がモデムを介して電話回線に接続されるなどによって、表示端末において、ベース装置との間の無線通信によって、ベース装置を介してインターネットに接続し、電子メールを送受信することができるものである。
【００３２】
（ベース装置および表示端末の外観構成：図１および図２）
図１は、ベース装置の一例の外観構成を示し、図２は、表示端末の一例の外観構成を示す。
【００３３】
ベース装置１０は、正面部１１と後方部１２を接合して一体化した構造とされる。正面部１１は、後方側に傾いたものとされ、その上部左右位置には、表示端末５０との間の無線通信用のアンテナ１３が設けられ、中央下部には、表示端末５０をベース装置１０に立て掛けるための支持体１４が設けられ、支持体１４の内側には、一対の充電端子１５が設けられる。
【００３４】
また、後方部１２の下部背面には、後述のアンテナ端子や回線端子などの各種端子が設けられる。
【００３５】
表示端末５０の正面には、ＬＣＤ（液晶ディスプレイ）５１が設けられ、その表示画面上には、タッチパネル５２が設けられ、ＬＣＤ５１の左右には、上部にスピーカ５３が設けられ、下部にベース装置１０との間の無線通信用のアンテナ５５が設けられる。
【００３６】
表示端末５０の正面の右側部分には、スピーカ５３の下側に、インデックスボタン５４ａなどを含むキー操作部５４が設けられる。
【００３７】
インデックスボタン５４ａは、これを押すことによって、ＬＣＤ５１上に図示するようなインデックス画面を表示するものであり、ユーザは、タッチペンまたは指で、いずれかのメニューにタッチすることによって、テレビの選局、インターネットへの接続、メールの作成および送信などを行うことができる。
【００３８】
表示端末５０の底面には、一対の充電端子５６が設けられ、右側面には、図では省略したが、メモリカードが装着されるスロットが設けられる。
【００３９】
図では省略したが、表示端末５０の背面には、表示端末５０を自立させるためのＵ形のスタンドが開閉可能に取り付けられ、そのスタンドで囲まれる部分にバッテリ収納部が設けられ、これにバッテリが収納される。
【００４０】
表示端末５０は、手に持って使用し、または上記のスタンドを開いて適当な面上に適当な傾斜角で自立させて使用し、あるいはベース装置１０の正面部１１に立て掛けて使用することができる。
【００４１】
表示端末５０をベース装置１０に立て掛ける場合には、表示端末５０の充電端子５６が、ベース装置１０の充電端子１５に接触し、接続されることによって、表示端末５０に装着されたバッテリを、ベース装置１０によって充電することができる。
【００４２】
（ベース装置および表示端末の機能ブロック構成：図３および図４）
図３に、ベース装置１０の機能ブロック構成の一例を示す。制御部２０は、ＣＰＵ２１を備え、そのバス２２に、ＣＰＵ２１が実行すべきプログラムや必要な固定データなどが書き込まれたＲＯＭ２３、およびＣＰＵ２１のワークエリアなどとして機能するＲＡＭ２４などが接続される。
【００４３】
アンテナ端子１７には、テレビ放送の受信用のアンテナ１が接続され、アンテナ１で受信されたテレビ放送信号が、チューナ２６で選局復調され、復調後の映像信号および音声信号が、Ａ／Ｄコンバータ２７でデジタル映像データおよびデジタル音声データに変換されて、バス２２に送出される。
【００４４】
回線端子１８には、電話回線２が接続され、その回線端子１８が、モデム２８を介してバス２２に接続される。また、ブロードバンド対応用に、ＡＤＳＬモデムやＣＡＴＶモデムなどの接続用のイーサネット（登録商標）端子１９が、インタフェース２９を介してバス２２に接続される。
【００４５】
一方、バス２２に、符号化処理部３１、復号化処理部３９およびクロック生成部４１が接続され、符号化処理部３１および復号化処理部３９に、無線通信部４９が接続され、無線通信部４９に、上記のアンテナ１３が接続される。
【００４６】
クロック生成部４１は、後述のように、クロック発生回路およびＳＴＣカウンタを備え、符号化処理部３１での符号化および復号化処理部３９での復号化のためのクロックを発生し、基準時刻情報としてのＳＣＲまたはＰＣＲ、復号の時刻管理情報であるＤＴＳ、および再生出力の時刻管理情報であるＰＴＳなどの情報を生成するものである。
【００４７】
無線通信部４９は、表示端末５０との間で、ＴＣＰ／ＩＰなどの通信プロトコルによって通信を行うものである。
【００４８】
そして、符号化処理部３１において、Ａ／Ｄコンバータ２７からバス２２に送出された、テレビ放送の映像および音声のデータが符号化されるとともに、その符号化データに、ＳＣＲまたはＰＣＲ、ＤＴＳおよびＰＴＳなどが挿入されて、ＭＰＥＧ２システムの符号化ストリーム（ＭＰＥＧ２−ＰＳまたはＭＰＥＧ２−ＴＳ）が得られ、その符号化ストリームが、無線通信部４９によって表示端末５０に送信される。
【００４９】
その他の、バス２２に得られて表示端末５０に送信される、インターネット上で得られたデータやメールの受信データなどのデータも、符号化処理部３１で処理されて、無線通信部４９によって表示端末５０に送信される。
【００５０】
また、後述のように表示端末５０からベース装置１０に送信された、テレビの選局やインターネットへの接続などのためのコマンドおよびメールの送信データなどの信号は、無線通信部４９で受信され、復号化処理部３９で処理されて、バス２２に取り込まれる。
【００５１】
図４に、表示端末５０の機能ブロック構成の一例を示す。制御部６０は、ＣＰＵ６１を備え、そのバス６２に、ＣＰＵ６１が実行すべきプログラムや必要な固定データなどが書き込まれたＲＯＭ６３、およびＣＰＵ６１のワークエリアなどとして機能するＲＡＭ６４などが接続される。
【００５２】
バス６２には、表示制御部６５を介してＬＣＤ５１が接続されるとともに、Ｄ／Ａコンバータ６７および音声増幅回路６８を介してスピーカ５３が接続される。また、タッチパネル５２が、座標検出部６６を介してバス６２に接続されるとともに、図２に示したインデックスボタン５４ａなどを含むキー操作部５４が、入力インタフェース６９を介してバス６２に接続される。
【００５３】
一方、バス６２に、復号化処理部７１、符号化処理部７９およびクロック生成部８１が接続され、復号化処理部７１および符号化処理部７９に、無線通信部８９が接続され、無線通信部８９に、上記のアンテナ５５が接続される。
【００５４】
クロック生成部８１は、後述のように、クロック発生回路およびＳＴＣカウンタを備え、符号化処理部７９での符号化および復号化処理部７１での復号化のためのクロックを発生し、ＳＣＲまたはＰＣＲ、ＤＴＳおよびＰＴＳなどの情報を生成するものである。
【００５５】
無線通信部８９は、ベース装置１０との間で、ＴＣＰ／ＩＰなどの通信プロトコルによって通信を行うものである。
【００５６】
そして、復号化処理部７１において、ベース装置１０から送信された、符号化された映像データおよび音声データが多重化された符号化ストリームから、符号化された映像データおよび音声データが分離され、その映像データおよび音声データが、それぞれ復号されて、バス６２に送出されて、ＬＣＤ５１上に映像が表示され、スピーカ５３から音声が出力される。
【００５７】
その他の、ベース装置１０から送信された、インターネット上で得られたデータやメールの受信データなどのデータも、復号化処理部７１で処理されて、バス６２に送出される。
【００５８】
また、表示端末５０からベース装置１０に送信される、テレビの選局やインターネットへの接続などのためのコマンドおよびメールの送信データなどの信号は、符号化処理部７９で処理されて、無線通信部８９によってベース装置１０に送信される。
【００５９】
〔同期化方法の実施形態：図５〜図１０〕
上述した実施形態での、この発明の同期化方法を、符号化ストリームがＭＰＥＧ２−ＰＳ、基準時刻情報がＳＣＲである場合につき示す。
【００６０】
図５に、ベース装置１０の符号化処理部３１およびクロック生成部４１の例を示す。ただし、クロック生成部４１は、符号化処理部３１用の部分のみを示したものである。
【００６１】
クロック生成部４１は、ＭＰＥＧ２システムのシステムクロック周波数である２７ＭＨｚのクロックを発生するクロック発生回路４２、そのクロックを計数するＳＴＣカウンタ４３、および、ＳＴＣカウンタ４３の出力値のＳＴＣを元にＳＣＲ，ＤＴＳおよびＰＴＳを生成する時刻情報生成回路４４を備えるものとして構成される。
【００６２】
そして、符号化処理部３１では、映像エンコーダ３３および音声エンコーダ３４で、入力の映像データおよび音声データが、それぞれクロック発生回路４２からのクロックによって符号化され、マルチプレクサ３５で、それぞれの符号化データが多重化されるとともに、符号化データにＳＣＲ，ＤＴＳおよびＰＴＳが挿入され、その多重化後の符号化ストリームが、送信バッファ３６を通じて無線通信部４９に送出され、表示端末５０に送信される。
【００６３】
図６に、表示端末５０の復号化処理部７１およびクロック生成部８１の例を示す。ただし、クロック生成部８１は、復号化処理部７１用の部分のみを示したものである。
【００６４】
クロック生成部８１は、ＭＰＥＧ２システムのシステムクロック周波数である２７ＭＨｚのクロックを発生するクロック発生回路８２、そのクロックを計数するＳＴＣカウンタ８３、および、制御部６０からの後述の同期化のためのデジタル制御データＤｃをアナログ制御電圧Ｖｃに変換してクロック発生回路８２に供給するＤ／Ａコンバータ８５を備えるものとして構成される。
【００６５】
クロック発生回路８２は、ＶＣＸＯ（電圧制御水晶発振器）によって構成され、制御電圧Ｖｃによって出力クロック周波数が２７ＭＨｚを中心に後述のような範囲内で変えられる。
【００６６】
そして、復号化処理部７１では、時刻情報検出回路７２で、ベース装置１０から送信された符号化ストリーム（この例ではＭＰＥＧ２−ＰＳ）から、ＳＣＲ，ＤＴＳおよびＰＴＳが検出され、抽出される。
【００６７】
その抽出されたＳＣＲは、ＳＴＣカウンタ８３の出力値のＳＴＣとともに、制御部６０に取り込まれ、後述のように同期制御のために用いられる。また、抽出されたＤＴＳおよびＰＴＳも、制御部６０に取り込まれ、復号および再生出力の時刻管理に供される。
【００６８】
さらに、復号化処理部７１では、時刻情報検出回路７２を通じた符号化ストリームが、デマルチプレクサ７３に供給されて、符号化された映像データおよび音声データが分離され、その映像データおよび音声データが、受信バッファ７４および７５を通じて映像デコーダ７６および音声デコーダ７７に供給されて、映像デコーダ７６および音声デコーダ７７で、それぞれクロック発生回路８２からのクロックによって復号される。
【００６９】
制御部６０は、復号側のＳＴＣ（ＳＴＣカウンタ８３の出力値）と符号化ストリームから抽出されたＳＣＲとの差分の時間変化から、復号側のデータ処理速度の、符号化側のデータ処理速度に対する相対的な速さを検出する。
【００７０】
図７は、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速い場合（図６のクロック発生回路８２の出力クロック周波数が図５のクロック発生回路４２の出力クロック周波数より高い場合）で、制御部６０は、一定時間間隔Ｔｄの時点ｔ１，ｔ２‥‥で、ＳＴＣおよびＳＣＲを取り込み、両者の差分ｄの変化分Δｄを検出する。
【００７１】
時点ｔ１での差分をｄ１、時点ｔ２での差分をｄ２とすると、時点ｔ２での差分の変化分は、（ｄ２−ｄ１）であり、図７は、差分ｄが時間の経過に伴ってプラス方向に変化し、変化分Δｄがプラスになる場合である。
【００７２】
図８（Ａ）（Ｂ）は、この差分ｄの変化の様子、および後述するクロック周波数の制御の様子を示したものである。
【００７３】
図８（Ａ）に示すように、符号化ストリーム中のＳＣＲは一定時間間隔（ＭＰＥＧ２−ＰＳのＳＣＲの再送周期は４００ｍ秒以内と定められているので、４００ｍ秒以下の一定時間間隔）Ｔｃで挿入され、その値（時刻）は一定時間ずつ変化する。
【００７４】
これに対して、図７のように復号側のデータ処理速度が符号化側のデータ処理速度より速い場合には、図８（Ａ）の時点ｔａ以前で示すように、復号側のＳＴＣが同じ一定時間ずつ変化するときの時間間隔Ｔａが、ＳＣＲのそれＴｃより短くなり、図８（Ｂ）の時点ｔａ以前の期間Ｐａで示すように、ＳＴＣおよびＳＣＲの取り込み時点でのＳＴＣとＳＣＲとの差分が、時間の経過に伴ってプラス方向に変化する。
【００７５】
この場合、図７に示したＳＴＣおよびＳＣＲの取り込み時間間隔Ｔｄは、図８（Ａ）に示したＳＣＲの再送周期Ｔｃより長ければ、これと無関係に設定することができる。具体的には、取り込み時間間隔Ｔｄを再送周期Ｔｃの整数倍とすればよい。
【００７６】
図７とは逆に、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅い場合（図６のクロック発生回路８２の出力クロック周波数が図５のクロック発生回路４２の出力クロック周波数より低い場合）には、ＳＴＣとＳＣＲとの差分ｄが時間の経過に伴ってマイナス方向に変化し、変化分Δｄがマイナスになる。
【００７７】
そして、このようなＳＴＣとＳＣＲとの差分ｄの変化分Δｄを、ＳＴＣおよびＳＣＲの取り込み時間間隔Ｔｄより十分長い時間に渡って積算（平均化）し、その積算値（平均値）の正負を判別して、積算値がプラスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いと判断して、図６に示した制御データＤｃとして、クロック発生回路８２のＶＣＸＯの発振周波数を低くするような制御データを出力することによって、クロック発生回路８２の出力クロック周波数を低くする。
【００７８】
逆に、積算値がマイナスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅いと判断して、図６に示した制御データＤｃとして、クロック発生回路８２のＶＣＸＯの発振周波数を高くするような制御データを出力することによって、クロック発生回路８２の出力クロック周波数を高くする。
【００７９】
したがって、図８（Ａ）（Ｂ）の場合、時点ｔａにおいて、差分ｄの変化分Δｄの積算値がプラスで、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いと判断されることによって、復号側のクロック周波数が下げられる。
【００８０】
その結果、時点ｔａ以後の期間Ｐｂでは、図７とは逆に、ＳＴＣとＳＣＲとの差分ｄが時間の経過に伴ってマイナス方向に変化し、変化分Δｄがマイナスになる。
【００８１】
そして、時点ｔｂにおいて、差分ｄの変化分Δｄの積算値がマイナスで、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅いと判断されることによって、復号側のクロック周波数が上げられる。
【００８２】
このように、一定時間間隔で、差分ｄの変化分Δｄの積算値の正負から、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いか否かが判断され、その判断結果に応じて、復号側が符号化側に同期するように復号側のクロック周波数が制御される。
【００８３】
この場合、符号化側と復号側のデータ処理速度の差がゼロにならなくても、問題はない。符号化側と復号側との間でデータ処理速度が異なるまま処理を継続すると、いずれ、図６の受信バッファ７４および７５がオーバーフロー状態またはアンダーフロー状態となって破綻を来たすが、上述したようにタイミングを見計らって復号側のデータ処理速度を変化させることによって、受信バッファ７４および７５の破綻を未然に防止することができる。
【００８４】
復号側のクロック周波数、すなわちクロック発生回路８２の出力クロック周波数は、２７ＭＨｚを中心に、例えば、２６．９９９７ＭＨｚ〜２７．０００３ＭＨｚ程度の範囲で制御する。この程度の範囲であれば、映像および音声への影響は非常に少なく、クロック周波数の変化を視覚的または聴覚的に感知することはできない。
【００８５】
ＳＴＣとＳＣＲとの差分ｄの変化分Δｄを積算する時間、ないし、その時間内でのＳＴＣおよびＳＣＲのサンプリング数は、システムの条件に合わせて適宜設定することができ、例えば、時間としては１〜２秒、サンプリング数としては１０前後とする。
【００８６】
また、このようにＳＴＣとＳＣＲとの差分ｄの変化分Δｄを一定時間内で積算（平均化）して、差分ｄの時間変化の傾向を判断し、復号側のデータ処理速度が符号化側のデータ処理速度より速いか否かを判断するので、例えば、図７の時点ｔ６では、差分ｄとしてｄ６が算出されるべきところ、ジッタのために時点ｔ６ではＳＣＲが検出されず、時点ｔ６より時間Ｔｃだけ前の時点に検出されて制御部６０に保持されたＳＣＲが時点ｔ６のＳＣＲとされて、時点ｔ６の差分ｄとして、ｄ６に対してエラーを含むｄ６’が算出された場合でも、変化分Δｄの一定時間内の積算値（平均値）は、差分ｄの時間変化の傾向を正しく示すものとなる。
【００８７】
図９は、上述した実施形態で表示端末５０の制御部６０（ＣＰＵ６１）が実行するクロック周波数制御処理ルーチンの一例を示し、１タスク処理の場合である。
【００８８】
この例のクロック周波数制御処理ルーチン９０では、まずステップ９１で、初期値設定として、積算順位ｎおよび積算値（平均値）ａｖｇをゼロにする。
【００８９】
次に、ステップ９３に進んで、ＳＴＣおよびＳＣＲを取得して、両者の差分ｄの変化分Δｄを計算し、さらにステップ９４に進んで、その変化分Δｄを積算値ａｖｇに加算して新たな積算値とし、ｎを１だけインクリメントして、ステップ９５に進む。
【００９０】
ステップ９５では、ｎが最大値Ｎに達したか否かを判断する。最大値Ｎは、上述したように１０前後に設定される。
【００９１】
そして、ｎが最大値Ｎに達していないときには、ステップ９５からステップ９２に進んで、一定時間待った上で、ステップ９３に戻って、同じ積算期間での、差分ｄの変化分Δｄの計算および直前の積算値ａｖｇへの加算を繰り返す。
【００９２】
ｎが最大値Ｎに達したときには、ステップ９５からステップ９６に進んで、それまでの積算値ａｖｇがプラス（ゼロを含む）であるか否かを判断し、積算値ａｖｇがプラスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いものとして、ステップ９６からステップ９７に進んで、クロック発生回路８２の出力クロック周波数を下げ、逆に積算値ａｖｇがマイナスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅いものとして、ステップ９６からステップ９８に進んで、クロック発生回路８２の出力クロック周波数を上げる。
【００９３】
ステップ９７でクロック周波数を下げ、またはステップ９８でクロック周波数を上げたら、ステップ９９に進んで、積算順位ｎおよび積算値ａｖｇをゼロにし、さらにステップ１００に進んで、一定時間待った上で、ステップ９３に戻って、次の積算期間での、差分ｄの変化分Δｄの計算および直前の積算値ａｖｇへの加算を繰り返す。
【００９４】
ステップ９２および１００での待ち時間は、ステップ９３〜９５および９２のループ処理時間とステップ９３〜９６、９７または９８、９９および１００のループ処理時間とが等しくなるように設定することが望ましい。実際上、後者のループ処理時間の方が前者のループ処理時間より長くなるので、ステップ９２での待ち時間をステップ１００での待ち時間より長くする。
【００９５】
図１０は、表示端末５０の制御部６０（ＣＰＵ６１）が実行するクロック周波数制御処理ルーチンの他の例を示し、２タスク処理の場合である。
【００９６】
この例のクロック周波数制御処理ルーチン１１０では、メイン処理タスク１２０において、まずステップ１２１で、初期値設定として、積算順位ｎおよび積算値（平均値）ａｖｇをゼロにした上で、ステップ１２２に進んで、他タスク、すなわちサブ処理タスク１３０からのデータを待つ。
【００９７】
サブ処理タスク１３０では、まずステップ１３１で、ＳＴＣおよびＳＣＲを取得し、次にステップ１３２に進んで、タスク間通信によって、他タスク、すなわちメイン処理タスク１２０にデータを送信し、次にステップ１３３に進んで、一定時間待った上で、ステップ１３１に戻って、ＳＴＣおよびＳＣＲの取得、および他タスクへの送信を繰り返す。
【００９８】
メイン処理タスク１２０では、ステップ１２２からステップ１２３に進んで、タスク間通信によりサブ処理タスク１３０から取得したデータによってＳＴＣおよびＳＣＲを取得して、両者の差分ｄの変化分Δｄを計算し、さらにステップ１２４に進んで、その変化分Δｄを積算値ａｖｇに加算して新たな積算値とし、ｎを１だけインクリメントして、ステップ１２５に進む。
【００９９】
ステップ１２５では、ｎが最大値Ｎに達したか否かを判断し、ｎが最大値Ｎに達していないときには、ステップ１２５からステップ１２２に戻って、同じ積算期間での、差分ｄの変化分Δｄの計算および直前の積算値ａｖｇへの加算を繰り返す。
【０１００】
ｎが最大値Ｎに達したときには、ステップ１２５からステップ１２６に進んで、それまでの積算値ａｖｇがプラス（ゼロを含む）であるか否かを判断し、積算値ａｖｇがプラスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速いものとして、ステップ１２６からステップ１２７に進んで、クロック発生回路８２の出力クロック周波数を下げ、逆に積算値ａｖｇがマイナスである場合には、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅いものとして、ステップ１２６からステップ１２８に進んで、クロック発生回路８２の出力クロック周波数を上げる。
【０１０１】
ステップ１２７でクロック周波数を下げ、またはステップ１２８でクロック周波数を上げたら、ステップ１２９に進んで、積算順位ｎおよび積算値ａｖｇをゼロにした上で、ステップ１２２に戻って、次の積算期間での、差分ｄの変化分Δｄの計算および直前の積算値ａｖｇへの加算を繰り返す。
【０１０２】
この例では、ＳＴＣおよびＳＣＲの取得を別タスクとすることによって、一定時間ごとの精度を上げることができる。
【０１０３】
〔他の例または実施形態〕
上述した実施形態は、復号側のクロック周波数を制御する場合であるが、上述したように復号側において、復号側のデータ処理速度が符号化側のデータ処理速度より速いか否かを検出した上で、その検出結果を符号化側に送って、符号化側のクロック周波数を制御するようにシステムを構成してもよい。
【０１０４】
具体的に、図５および図６の実施形態では、上述したように表示端末５０の制御部６０において、復号側のデータ処理速度が符号化側のデータ処理速度より速いか否かを検出した上で、その検出結果を表示端末５０とベース装置１０との間の無線通信によってベース装置１０に送信し、その検出結果に応じてベース装置１０の制御部２０が、クロック発生回路４２の出力クロック周波数を制御する構成とする。
【０１０５】
この場合、符号化側のクロック周波数を制御するので、上述した例とは逆に、復号側のＳＴＣ（ＳＴＣカウンタ８３の出力値）と符号化ストリームから抽出されたＳＣＲとの差分ｄの変化分Δｄの積算値がプラスで、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より速い場合には、クロック発生回路４２の出力クロック周波数を高くし、差分ｄの変化分Δｄの積算値がマイナスで、相対的に復号側のデータ処理速度が符号化側のデータ処理速度より遅い場合には、クロック発生回路４２の出力クロック周波数を低くする。
【０１０６】
また、上述した例は、符号化ストリームがＭＰＥＧ２−ＰＳ、基準時刻情報がＳＣＲである場合であるが、符号化ストリームがＭＰＥＧ２−ＴＳ、基準時刻情報がＰＣＲである場合でも、全く同様である。
【０１０７】
また、上述した例は、ベース装置１０および表示端末５０からなるシステムにおいて、ベース装置１０の符号化処理部３１および表示端末５０の復号化処理部７１によって、ベース装置１０を符号化側とし、表示端末５０を復号側として、ベース装置１０から表示端末５０に符号化ストリームを送信する場合であるが、表示端末５０の符号化処理部７９およびベース装置１０の復号化処理部３９によって、表示端末５０を符号化側とし、ベース装置１０を復号側として、表示端末５０からベース装置１０に符号化ストリームを送信する場合についても、同様の方法によって符号化側と復号側を同期させることができる。
【０１０８】
さらに、上述した実施形態は、ベース装置１０から表示端末５０に、テレビの映像および音声のデータを送信できると同時に、表示端末５０において、インターネットに接続し、電子メールを送受信できる場合であるが、この発明は、例えば、ベース装置から表示端末に、テレビの映像および音声のデータを送信して、表示端末において、液晶ディスプレイやプラズマディスプレイなどのディスプレイ上に映像を表示し、スピーカから音声を出力する、単なるテレビシステムにも適用することができ、一般に、映像データや音声データなどのデータを、リアルタイムで符号化し、基準時刻情報を挿入してリアルタイムで伝送し、リアルタイムで復号するシステムに適用することができる。
【０１０９】
【発明の効果】
上述したように、この発明によれば、映像データや音声データなどのデータを、リアルタイムで符号化し、伝送し、復号するシステムにおいて、伝送路にジッタを生じる場合でも、符号化ビットレートの如何にかかわらず、システムのコストアップを来たすことなく、容易かつ確実に、符号化側と復号側を同期させることができる。
【図面の簡単な説明】
【図１】実施形態のシステムを構成するベース装置の外観構成を示す図である。
【図２】実施形態のシステムを構成する表示端末の外観構成を示す図である。
【図３】ベース装置の機能ブロック構成の一例を示す図である。
【図４】表示端末の機能ブロック構成の一例を示す図である。
【図５】ベース装置の符号化処理部およびクロック生成部の一例を示す図である。
【図６】表示端末の復号化処理部およびクロック生成部の一例を示す図である。
【図７】この発明の同期化方法の説明に供する図である。
【図８】この発明の同期化方法の説明に供する図である。
【図９】復号側の制御部が実行するクロック周波数制御処理ルーチンの一例を示す図である。
【図１０】復号側の制御部が実行するクロック周波数制御処理ルーチンの他の例を示す図である。
【図１１】ＭＰＥＧ２システムにおける同期化方法の説明に供する図である。
【図１２】伝送路にジッタを生じる場合の説明に供する図である。
【図１３】伝送路用のタイムスタンプを用いる場合の説明に供する図である。
【符号の説明】
主要部については図中に全て記述したので、ここでは省略する。
【図１】
2004104395.tif 000003
【図２】
2004104395.tif 000004
【図３】
2004104395.tif 000005
【図４】
2004104395.tif 000006
【図５】
2004104395.tif 000007
【図６】
2004104395.tif 000008
【図７】
2004104395.tif 000009
【図８】
2004104395.tif 000010
【図９】
2004104395.tif 000011
【図１０】
2004104395.tif 000012
【図１１】
2004104395.tif 000013
【図１２】
2004104395.tif 000014
【図１３】
2004104395.tif 000015