(57)【要約】【課題】  多重化データを復号する復号装置において、復号後の映像データに対して映像後処理を行うことにより映像データが遅延する場合であっても、映像データと音声データの同期を確立することができる復号装置を提供する。【解決手段】  多重化データ３ａは分離手段１１で分離される。分離された符号化映像データ１１ａは復号タイミングに従って映像復号データ１２ａに復号され、ＮＴＳＣエンコードが施されるとともに出力タイミングに一致するよう所定の時間だけ遅延され、映像データ１ａが表示装置４で表示される。遅延算出手段１４は映像復号データ１２ａと映像データ１ａのタイミング差に基づき遅延信号１４ａを作成する。一方、分離された符号化音声データ１１ｂは分離されたシステムタイミング信号１１ｃに基づき復号された後、遅延信号１４ａに基づき遅延されることで、映像データ１ａと同期した音声データ１ｂが表示装置４から出力される。【選択図】        図２
2006237829.tif 000002
【特許請求の範囲】
【請求項１】
多重化データを符号化映像データ、符号化音声データ及びタイミングデータに分離する分離手段と、前記符号化映像データを復号して映像復号データを作成する映像復号手段と、前記映像復号手段により作成された前記映像復号データを信号処理して映像データを作成し、信号処理時間を表す映像遅延信号を作成する映像後処理手段と、前記映像後処理手段により作成された前記映像遅延信号に基づき遅延情報を作成する遅延算出手段と、前記符号化音声データを復号して音声復号データを作成する音声復号手段と、前記遅延算出手段により作成された前記遅延情報に基づき、前記音声復号手段により作成された前記音声復号データを所定の時間だけ遅延させて音声データを作成する音声遅延手段とを備えたことを特徴とする復号装置。
【請求項２】
前記映像遅延信号は、映像蓄積量及び所定の固定遅延量により定まることを特徴とする、請求項１に記載の復号装置。
【請求項３】
多重化データを符号化映像データ、符号化音声データ及びタイミングデータに分離する分離手段と、前記符号化映像データを復号タイミングに従い復号して映像復号データを作成する映像復号手段と、前記映像復号手段により作成された前記映像復号データを信号処理して出力タイミングに同期した映像データを作成する映像後処理手段と、前記映像復号手段に復号タイミングを送り、前記映像後処理手段に出力タイミングを送るとともに前記映像後処理手段の信号処理時間に基づき遅延情報を作成するタイミング手段と、前記符号化音声データを復号して音声復号データを作成する音声復号手段と、前記タイミング手段により作成された前記遅延情報に基づき、前記音声復号手段により作成された前記音声復号データを所定の時間だけ遅延させて音声データを作成する音声遅延手段とを備えたことを特徴とする復号装置。
【請求項４】
外部同期信号から同期タイミング信号を作成する映像同期処理手段と、多重化データを符号化映像データ、符号化音声データ及びタイミングデータに分離する分離手段と、前記符号化映像データを復号タイミングに従い復号して映像復号データを作成する映像復号手段と、前記映像復号手段により作成された前記映像復号データを信号処理して前記同期タイミング信号に同期した映像データを作成する映像後処理手段と、前記映像復号手段に復号タイミングを送るとともに前記復号タイミングと前記同期タイミング信号とから算出した信号処理時間に基づき遅延情報を作成するタイミング手段と、前記符号化音声データを復号して音声復号データを作成する音声復号手段と、前記タイミング手段により作成された前記遅延情報に基づき、前記音声復号手段により作成された前記音声復号データを所定の時間だけ遅延させて音声データを作成する音声遅延手段とを備えたことを特徴とする復号装置。
【請求項５】
前記音声復号手段は、前記タイミングデータに基づき映像復号データと同期した音声復号データを作成することを特徴とする、請求項１ないし請求項４のいずれかに記載の復号装置。
【請求項６】
前記音声遅延手段は、音声復号データを前記タイミングデータに基づき時間的に制御するとともに前記遅延情報に基づき所定の時間だけ遅延させて音声データを作成することを特徴とする、請求項１ないし請求項４のいずれかに記載の復号装置。
【請求項７】
多重化データを符号化映像データ、符号化音声データ及びタイミングデータに分離するステップと、前記符号化映像データを復号して映像復号データを出力するステップと、前記映像復号データを信号処理して映像データを出力するステップと、前記信号処理の時間を表す映像遅延信号を出力するステップと、前記映像信号に基づき遅延情報を出力するステップと、前記符号化音声データを復号して音声復号データを出力するステップと、前記音声復号データを前記遅延情報に基づく所定の時間だけ遅延させて音声データを出力するステップとを備えたことを特徴とする復号方法。
【請求項８】
多重化データを符号化映像データ、符号化音声データ及びタイミングデータに分離するステップと、前記符号化映像データを復号タイミングに従い復号して映像復号データを出力するステップと、前記映像復号データを信号処理して出力タイミングに同期した映像データを出力するステップと、前記復号タイミング、前記出力タイミング、及び前記信号処理の時間に基づく遅延情報を出力するステップと、前記符号化音声データを復号して音声復号データを出力するステップと、前記音声復号データを前記遅延情報に基づく所定の時間だけ遅延させて音声データを出力するステップとを備えたことを特徴とする復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は符号化映像データ及び符号化音声データが多重化された多重化データを復号する復号装置において、出力される映像及び音声の同期を確立する技術に関する。
【背景技術】
【０００２】
例えばＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）規格に則り圧縮され、多重化されている映像信号及び音声信号の復号装置を例にとれば、ＭＰＥＧ規格で定義されているＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）やＴＲ（Ｔｅｍｐｏｒａｌ  Ｒｅｆｅｒｅｎｃｅ）等のシステムタイミング信号に基づいて、映像復号部及び音声復号部における復号タイミングを制御することで、映像データと音声データの同期を確立していた（例えば特許文献１）。
【０００３】
【特許文献１】特開２００１−３４６１６６（第８、９頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の復号装置では、ＭＰＥＧ規格で定義されているシステムタイミング信号に基づいて、映像復号部及び音声復号部における復号のタイミング（復号タイミング）を制御することにより映像データと音声データの同期を確立している。一方、復号装置から映像を出力するタイミング（出力タイミング）は、復号装置のタイミング制御方式に依存するため、常に復号タイミングと一致するとは限らない。復号タイミングと出力タイミングが不一致の場合、復号後の映像データを出力タイミングに一致させるために映像メモリ等を使用した処理（以下、映像後処理）が必要となる。具体的には、復号タイミングに従って復号された映像は、映像後処理部において一旦映像メモリに取り込まれた後、出力タイミングに合わせて出力される。この場合、従来の復号装置では映像後処理に起因して映像データのみに遅延が発生するため、映像データと音声データの同期が損なわれ、映像と音声がずれるという問題があった。
【０００５】
この問題は、映像後処理に起因する映像データの遅延量が常に一定値に保たれていれば、音声データも映像データの遅延量と等しく遅延させることで解決できる。しかしながら、復号タイミングと出力タイミングが不一致の場合、一般に映像データの遅延量は一定値とはならず、復号装置の起動毎、または復号装置を含むシステム全体の起動毎に変動する。この場合、復号タイミングと出力タイミングの時間差に依存して、映像後処理部において必要な映像メモリ量が変動する。すなわち、常に一定時間だけ音声信号を遅延させても、映像データと音声データの同期を確立して映像と音声のずれを解消することはできない。
【０００６】
またシステムの構成上、外部から入力される映像同期信号に同期して復号装置が映像を出力しなければならない場合には、映像同期信号が入力されるタイミング（同期タイミング）に依存して、上記と同様に映像データの遅延量が変動し、映像データと音声データとの同期を確立することができない。すなわち従来の復号装置では、映像を復号した後に行われる映像後処理に起因して発生する映像と音声の時間的なずれを補正できないという課題があった。
【課題を解決するための手段】
【０００７】
この発明に係る復号装置は、多重化データを符号化映像データ、符号化音声データ及びタイミングデータに分離する分離手段と、前記符号化映像データを復号して映像復号データを作成する映像復号手段と、前記映像復号手段により作成された前記映像復号データを信号処理して映像データを作成し、信号処理時間を表す映像遅延信号を作成する映像後処理手段と、前記映像後処理手段の信号処理時間に基づき遅延情報を作成する遅延算出手段と、前記符号化音声データを復号して音声復号データを作成する音声復号手段と、前記遅延算出手段により作成された前記遅延情報に基づき、前記音声復号手段により作成された前記音声復号データを所定の時間だけ遅延させて音声データを作成する音声遅延手段とを備えたものである。
【発明の効果】
【０００８】
この発明によれば、復号装置の遅延算出手段が映像後処理手段における信号処理に起因する映像データの遅延を求め、当該遅延と等しい時間だけ音声データを音声遅延手段により遅延させるので、映像データと音声データとの同期を確立することができる。
【０００９】
また、この発明によれば、復号装置のタイミング手段が復号タイミングと出力タイミングに基づき映像後処理手段における信号処理に起因する映像データの遅延を間接的に求め、当該遅延と等しい時間だけ音声データを音声遅延手段により遅延させるので、遅延算出手段を用いない場合であっても映像データと音声データとの同期を確立することができる。
【００１０】
また、この発明によれば、復号装置のタイミング手段が復号タイミングと同期タイミング信号に基づき映像後処理手段における信号処理に起因する映像データの遅延を求め、当該遅延と等しい時間だけ音声データを音声遅延手段により遅延させるので、外部から入力される外部同期信号に同期して映像データを出力しなければならない場合であっても映像データと音声データとの同期を確立することができる。
【発明を実施するための最良の形態】
【００１１】
以下この発明を、その実施の形態を示す図面に基づいて具体的に説明する。なお実施の形態では、この発明に係る復号装置をＳＮＧ（Ｓａｔｅｌｌｉｔｅ  Ｎｅｗｓ  Ｇａｔｈｅｒｉｎｇ）等の映像音声受信システムに適用して、ＭＰＥＧ規格に則り圧縮され、多重化されている映像信号及び音声信号を復号する場合を例にとり説明する。
実施の形態１．
図１は実施の形態１における復号装置１を適用した映像音声受信システム２を示すブロック図である。図１において、アンテナ等（図示せず）から映像音声受信システム２に渡された受信データ２ａは復調器３で復調され、符号化映像データと符号化音声データが多重化された多重化データ３ａが復号装置１に渡される。復号装置１は多重化データ３ａを分離して復号し、同期が確立した映像データ１ａと音声データ１ｂが表示装置４に渡される。表示装置４は、国内アナログカラーテレビ方式であるＮＴＳＣ方式に準拠したものとする。表示装置４では、映像データ１ａにより映像が表示されると共に、音声データ１ｂにより映像と同期した音声が出力される。
【００１２】
次に復号装置１について説明する。図２は復号装置１を示すブロック図である。復号装置１に渡された多重化データ３ａは分離手段である分離部１１に渡されて、符号化映像データ１１ａ、符号化音声データ１１ｂ及びタイミングデータであるシステムタイミング信号１１ｃに分離される。このうち符号化映像データ１１ａは映像復号手段である映像復号部１２に渡され、復号タイミングに従って復号されて、映像復号データ１２ａが映像後処理手段である映像後処理部１３に渡される。映像後処理部１３は、映像復号データ１２ａに対して信号処理であるＮＴＳＣエンコードを施す処理及び出力タイミングに一致させるための所定時間の遅延処理を施し、復号装置１の出力である映像データ１ａとして表示装置４に渡す。また映像後処理部１３は映像データ１ａを出力するとともに、信号処理時間である映像復号データ１２ａと映像データ１ａのタイミングの差を表す映像遅延信号であるタイミング差信号１３ａを、遅延算出手段である遅延算出部１４に渡す。遅延算出部１４はタイミング差信号１３ａに基づき遅延情報である遅延信号１４ａを作成して、音声遅延手段である音声遅延部１５に渡す。
【００１３】
一方、符号化音声データ１１ｂ及びシステムタイミング信号１１ｃは音声復号手段である音声復号部１６に渡される。音声復号部１６ではシステムタイミング信号１１ｃに基づき符号化音声データ１１ｂが復号され、音声復号データ１６ａが音声遅延部１５に渡される。音声遅延部１５では、遅延信号１４ａに基づき音声復号データ１６ａが遅延されて、映像データ１ａと同期した音声データ１ｂが表示装置４に渡される。
【００１４】
次に復号装置１の動作を説明する。図２において、復号装置１に入力された多重化データ３ａは、分離部１１に渡される。分離部１１は、多重化データ３ａを符号化映像データ１１ａ、符号化音声データ１１ｂ及びシステムタイミング信号１１ｃに分離する。図３に多重化データ３ａの構成例の模式図を示す。図３の（ａ）において、多重化データ３ａは右向きの矢印で示す時間軸に沿って復号装置１に入力される。すなわち、左側のデータから順に、復号装置１に入力される。多重化データ３ａはＭＰＥＧ規格に則り圧縮されており、図３の（ａ）に示すように複数のパック３ｂから構成される。それぞれのパック３ｂの先頭にはパックヘッダ３ｂ１が設けられている。パックヘッダ３ｂ１にはＰＴＳなどのシステムタイミング信号１１ｃが格納される。図３の（ｂ）にパック３ｂの拡大図を示す。図３の（ｂ）に示すように、１つのパック３ｂにはパックヘッダ３ｂ１の他に、Ｌ個（Ｌ：自然数）のパケットが含まれる。パケットには符号化映像データ１１ａを格納する映像パケット３ｂ２と、符号化音声データ１１ｂを格納する音声パケット３ｂ３の２種類がある。また、各パケットの先頭にはパケットヘッダ３ｃが設けられており、パケットヘッダ３ｃには、パケットの中身が符号化映像データ１１ａか符号化音声データ１１ｂのどちらであるかを特定するための情報が格納されている。
【００１５】
分離部１１は、多重化データ３ａが入力されるとパックヘッダ３ｂ１を検出する。そしてパックヘッダ３ｂ１を検出すると、分離部１１はパックヘッダ３ｂ１に格納されているシステムタイミング信号１１ｃを多重化データ３ａから抜き出して、音声復号部１６に渡す。なお多重化データ３ａがパック３ｂの途中から送られてきた場合、すなわち復調データがパック３ｂの先頭から開始していない場合には、最初にパックヘッダ３ｂ１を検出するまで、分離部１１は音声復号部１６に何も渡さない。
【００１６】
次に分離部１１は、多重化データ３ａを構成する各パケットのパケットヘッダ３ｃを参照し、パケットの中身が符号化映像データ１１ａであれば、すなわちパケットが映像パケット３ｂ２であれば、符号化映像データ１１ａを抜き出して映像復号部１２へ渡す。一方、パケットの中身が符号化音声データ１１ｂであれば、すなわちパケットが音声パケット３ｂ３であれば、符号化音声データ１１ｂを抜き出して音声復号部１６へ渡す。以上のように、分離部１１は多重化データ３ａを符号化映像データ１１ａ、符号化音声データ１１ｂ及びシステムタイミング信号１１ｃに分離する。そして分離された符号化映像データ１１ａは映像復号部１２へ渡され、符号化音声データ１１ｂ及びシステムタイミング信号１１ｃは音声復号部１６へ渡される。
【００１７】
符号化映像データ１１ａは映像復号部１２に渡され、復号タイミングに従って復号される。復号タイミングは復号装置１のタイミング制御方式に依存するが、特に制御を行わなければＭＰＥＧ規格に則って逐次復号される。そして映像復号部１２から映像後処理部１３に映像復号データ１２ａが渡される。
【００１８】
一方、分離部１１で分離された符号化音声データ１１ｂ及びシステムタイミング信号１１ｃは、それぞれ音声復号部１６に渡される。音声復号部１６は、システムタイミング信号１１ｃに基づき音声符号化データ１１ｂを復号する。一般に映像の復号に要する時間と比べて音声の復号に要する時間は短いため、何ら制御をしなければ復号した音声の方が先に出力されるという問題が発生する。この問題を解決するため、ＭＰＥＧ規格では映像と一致した音声を出力するための制御信号であるシステムタイミング信号１１ｃが用いられる。すなわちシステムタイミング信号１１ｃには、所定の音声復号データ１６ａを指定する情報と、指定した音声復号データ１６ａを映像に合わせて出力するための所定の時刻情報が含まれており、当該所定の音声復号データ１６ａが当該所定の時刻に音声復号部１６から出力されように制御される。
【００１９】
このように、システムタイミング信号１１ｃにより指定された時刻に、指定された音声復号データ１６ａを音声復号部１６が出力することで、映像復号部１２及び音声復号部１６のそれぞれの出力である映像復号データ１２ａと音声復号データ１６ａの同期を確立することが可能となる。映像復号データ１２ａと同期した音声復号データ１６ａは、音声復号部１６から音声遅延部１５に渡される。
【００２０】
次に映像復号部１２から映像後処理部１３に渡された映像復号データ１２ａは、表示装置４において映像を表示することができるようにＮＴＳＣエンコードが施される。さらに上述のように映像復号データ１２ａは、復号タイミングに従って映像復号部１２から映像後処理部１３に渡される一方、映像データ１ａは、出力タイミングに合わせて映像後処理部１３から表示装置４に渡される。このため、映像後処理部１３では、映像メモリを用いてＮＴＳＣエンコードした映像復号データ１２ａを遅延させ、出力タイミングに合わせる処理を行う。
【００２１】
図４は復号タイミングと出力タイミングの関係を説明するタイミングチャートであり、横軸は時間である。映像復号部１２は図４の復号タイミングチャートに従って動作し、チャートの立ち下がり毎に、映像復号データ１２ａの出力を開始する。すなわち映像後処理部１３には、復号タイミングチャートの立ち下がり時刻から、映像１フレーム分のデータが渡されはじめる。一方、映像後処理部１３は図４の出力タイミングチャートに従って、チャートの立ち下がり毎に、映像１フレームの表示装置４への出力を開始する。
【００２２】
これらのタイミングチャートから明らかなように、出力タイミングは復号タイミングから時間ｔだけ遅れる。ここでｔのうちｔ０は、ＮＴＳＣエンコードに起因する所定の固定遅延量である。すなわち映像後処理部１３は、ＮＴＳＣエンコードされた映像復号データ１２ａを一旦映像メモリに蓄え、映像蓄積量により定まるｔ−ｔ０に相当する時間ｔ１が経過した後、出力タイミングに合わせて映像データ１ａを出力する。また、タイミングの時間差ｔは最大で映像１フレーム分に相当する周期Ｔに達する。ＮＴＳＣ方式の場合、周期Ｔは約３３ミリ秒である。
【００２３】
なお実施の形態１では、図４に示すように復号タイミングと出力タイミングは不一致であるため、時間差ｔは多重化データ３ａが復号装置１に入力されるタイミングや、復号装置１のタイミング制御方式によって異なる。すなわちｔは通常、一定値ではないため、映像データを遅延させる時間ｔ１も、必ずしも一定値にはならない。
【００２４】
上述のように、映像後処理部１３はＮＴＳＣエンコードされた映像復号データ１２ａを映像メモリでｔ１だけ遅延させた後、映像データ１ａとして表示装置４へ渡すとともに、ＮＴＳＣエンコードに要した時間ｔ０及び遅延させた時間ｔ１に関する情報を、タイミング差信号１３ａとして遅延算出部１４へ渡す。具体的には、映像後処理部１３における信号処理に起因して、ある映像復号データ１２ａが映像後処理部１３に入力されてから映像データ１ａとして出力されるまでに時間ｔ＝ｔ０＋ｔ１だけ要した場合、タイミング差信号１３ａとして「ｔ」という値が渡される。
【００２５】
映像後処理部１３から遅延算出部１４に渡されたタイミング差信号１３ａに基づき、遅延算出部１４は、映像データ１ａが映像復号データ１２ａからどれだけの時間、遅れているのかを表す遅延信号１４ａを出力する。具体的には、タイミング差信号１３ａが「ｔ」という値であった場合、遅延算出部１４では時間ｔに相当する動作クロックの数Ｎを出力する。すなわち遅延信号１４ａとして、「Ｎ」という値が音声遅延部１５に渡される。
【００２６】
音声遅延部１５は、入力である音声復号データ１６ａに対して、他の入力である遅延信号１４ａに相当する量だけ、遅延処理を施す。すなわち例えば遅延信号１４ａとして「Ｎ」という値が入力された場合、音声遅延部１５は音声復号データ１６ａをＮ動作クロックだけ遅延させて、音声データ１ｂを表示装置４へ渡す。
【００２７】
以上述べたように、映像後処理部１３では、映像復号データ１２ａが時間ｔだけ遅延されて映像データ１ａとして表示装置４に渡される。一方、音声復号データ１６ａも、音声遅延部１５において遅延信号１４ａに基づき時間ｔに相当するＮ動作クロックだけ遅延され、音声データ１ｂとして表示装置４に渡される。すなわち、互いに同期した映像復号データ１２ａ及び音声復号データ１６ａから等量だけ遅延されているので、映像データ１ａと音声データ１ｂは、それぞれ互いに同期している。同期した映像データ１ａと音声データ１ｂとは、それぞれ表示装置４に渡され、映像が表示装置４に表示されるとともに、音声が表示装置４から出力される。
【００２８】
以上のように、実施の形態１では、映像後処理部１３における信号処理に起因する映像データ１ａの遅延量を、タイミング差信号１３ａに基づき遅延算出部１４で求め、遅延信号１４ａに基づき音声遅延部１５が音声復号データ１６ａを映像データ１ａと等しく遅延させて音声データ１ｂを出力することにより、映像データ１ａと音声データ１ｂとの同期を確立することができるという効果を奏する。
【００２９】
なお実施の形態１では、映像後処理部１３においてＮＴＳＣエンコードの後に映像メモリで遅延させる場合について説明したが、映像メモリで遅延させてからＮＴＳＣエンコードを行ってもよい。また実施の形態１では、タイミング差信号１３ａに基づき遅延算出部１４が遅延信号１４ａを作成して音声遅延部１５に渡すものとして説明したが、これは必ずしも必要ではない。例えばタイミング差信号１３ａに基づき、音声遅延部１５が直接、映像後処理部１３で映像データが遅延した動作クロックＮを求め、音声復号データ１６ａをＮ動作クロックだけ遅延させる構成とすることもできる。
【００３０】
実施の形態２．
実施の形態１では、音声復号部１６がシステムタイミング信号１１ｃに基づき音声符号化データ１１ｂを復号するものとして説明したが、これは必ずしも必要ではない。システムタイミング信号１１ｃを音声遅延部１５に渡し、実施の形態１において音声復号部１６で行った制御に相当する制御を、音声遅延部１５で行うものとしてもよい。
【００３１】
図５は実施の形態２における復号装置１のブロック図であり、実施の形態１の図２に相当する。図５では、図２と異なりシステムタイミング信号１１ｃが音声遅延部１５に渡される。なお復号装置１において図２と同一の部分については、同一の符号を付して説明を省略する。
【００３２】
次に実施の形態２における復号装置１の動作を説明する。復号装置１に入力された多重化データ３ａが分離部１１に渡され、符号化映像データ１１ａ、符号化音声データ１１ｂ及びシステムタイミング信号１１ｃに分離されるまでは、実施の形態１と同様である。また、分離された符号化映像データ１１ａが映像復号部１２へ渡された後の動作も実施の形態１と同様である。一方、分離部１１から音声復号部１６に渡された符号化音声データ１１ｂは、実施の形態１と異なり音声復号部１６では時間的な制御を受けずに復号され、音声復号データ１６ａが音声遅延部１５に渡される。すなわち実施の形態２では、音声復号データ１６ａは映像復号データ１２ａと必ずしも同期していない。
【００３３】
実施の形態２における音声遅延部１５では、まずシステムタイミング信号１１ｃに基づき、所定の時刻情報により定まる所定の時間だけ、所定の音声復号データ１６ａが遅延される。この音声復号データ１６ａを遅延させる動作が、実施の形態１で音声復号部１６により行われる制御に相当する。そして所定の時間だけ遅延された音声復号データ１６ａは、実施の形態１と同様に映像後処理部１３に起因する遅延量と等しい時間だけ遅延される。すなわち所定の時間だけ遅延された音声復号データ１６ａは、遅延信号１４ａに基づきさらに遅延されることで、映像データ１ａと同期した音声データ１ｂとして表示装置４へ渡される。
【００３４】
以上のように実施の形態２では、音声遅延部１５でシステムタイミング信号１１ｃに基づき音声復号データ１６ａを時間的に制御することで、映像復号部１２で遅延された映像に音声のタイミングを合わせる。さらに映像後処理部１３に起因する遅延については、遅延された音声復号データ１６ａを遅延信号１４ａに基づいて遅延させる。これにより、映像復号データ１２ａと音声復号データ１６ａとが同期していなくても、映像データ１ａと音声データ１ｂとの同期を確立することができる。なお実施の形態２では、音声を遅延させる回路を音声遅延部１５に備えるので、音声復号部１６には不要となる。従って、音声復号部１６の回路規模を削減することができるという効果を奏する。
【００３５】
実施の形態３．
実施の形態１では、遅延算出部１４が出力する遅延信号１４ａに基づき音声遅延部１５が音声復号データ１６ａを遅延させることにより、映像データ１ａと音声データ１ｂとの同期を確立する場合について説明した。これに対して実施の形態３では、タイミング手段であるタイミング制御部が生成する遅延タイミング信号に基づき音声遅延部１５が音声復号データ１６ａを遅延させる場合について説明する。
【００３６】
図６は実施の形態３における復号装置１のブロック図であり、実施の形態１の図２及び実施の形態２の図５に相当する。図６では、図２及び図５と異なり遅延算出部１４を備えない代わりにタイミング制御部１７を備えている。なお復号装置１において図２及び図５と同一の部分については、同一の符号を付して説明を省略する。
【００３７】
次に実施の形態３における復号装置１の動作を説明する。復号装置１に入力された多重化データ３ａが分離部１１に渡され、符号化映像データ１１ａ、符号化音声データ１１ｂ及びシステムタイミング信号１１ｃに分離されるまでは、実施の形態１と同様である。分離された符号化映像データ１１ａは、映像復号部１２へ渡されて、タイミング制御部１７から渡される復号タイミング信号１７ａに基づき復号される。タイミング制御部１７は内部に発振器等を備え、この発振器の出力を分周する等により、復号タイミング信号１７ａ及び出力タイミング信号１７ｂを作成する。また復号タイミング信号１７ａと出力タイミング信号１７ｂとの時間差と動作クロックから、遅延タイミング信号１７ｄを作成する。復号タイミング信号１７ａは、例えば実施の形態１の図４において復号タイミングチャートで示した信号である。すなわち映像復号部１２は、復号タイミング信号１７ａの立ち下がりから、符号化映像データ１１ａを復号して映像復号データ１２ａを映像後処理部１３へ渡すように制御される。
【００３８】
映像復号データ１２ａは、実施の形態１と同様に映像後処理部１３へ渡されてＮＴＳＣエンコードが施される。ＮＴＳＣエンコードに起因して、映像復号データ１２ａは所定の時間ｔ０だけ遅延される。ＮＴＳＣエンコードされた映像復号データ１２ａは、一旦映像メモリに蓄えられ、タイミング制御部１７から渡される出力タイミング信号１７ｂに合わせて映像データ１ａとして表示装置４へ渡される。出力タイミング信号１７ｂは、例えば実施の形態１の図４において出力タイミングチャートで示した信号である。すなわち映像後処理部１３は出力タイミング信号１７ｂの立ち下がりから、映像データ１ａを表示装置４へ渡すように制御される。なお、このとき図４における出力タイミングチャートの復号タイミングチャートからの遅れｔから、ＮＴＳＣエンコードに起因する時間ｔ０を差し引いた時間ｔ１＝ｔ−ｔ０だけ、ＮＴＳＣエンコードされた映像復号データ１２ａが映像後処理部１３の映像メモリによって遅延される。
【００３９】
一方、分離部１１から音声復号部１６に渡された符号化音声データ１１ｂが、システムタイミング信号１１ｃに基づき復号され、映像復号データ１２ａと同期した音声復号データ１６ａが音声遅延部１５に渡されるまでは、実施の形態１と同様である。音声復号データ１６ａは音声遅延部１５において、タイミング制御部１７から渡される遅延タイミング信号１７ｄに基づき遅延される。
【００４０】
遅延タイミング信号１７ｄは、例えば実施の形態１の図４における復号タイミングチャートと出力タイミングチャートの時間差ｔに相当する復号装置１の動作クロック数を表す信号である。具体的には、時間差ｔがＮ動作クロックに相当する場合、動作クロックの数である「Ｎ」が、遅延タイミング信号１７ｄとして音声遅延部１５に渡される。なお、以降の動作は実施の形態１と同様であるため、説明を省略する。
【００４１】
以上のように、実施の形態３では、タイミング制御部１７が映像後処理部１３における信号処理に起因する映像データ１ａの遅延量を求め、遅延タイミング信号１７ｄに基づき音声遅延部１５が音声復号データ１６ａを映像データ１ａと等しく遅延させて音声データ１ｂを出力することにより、映像データ１ａと音声データ１ｂとの同期を確立することができる。なお実施の形態３では、映像後処理部１３で生じる遅延を遅延算出部１４が直接求めるのではなく、映像復号部１２及び映像後処理部１３が動作するタイミングに基づきタイミング制御部１７が間接的に求めるので、遅延算出手段１４が不要となり、回路規模を削減することができるという効果を奏する。
【００４２】
実施の形態４．
実施の形態３では、映像復号部１２が動作する復号タイミングと、映像後処理部１３が動作する出力タイミングが、それぞれ復号タイミング信号１７ａと出力タイミング信号１７ｂに依存して不一致となる場合について説明した。これに対して実施の形態４では、復号装置１のタイミング制御方式にかかわらず、復号装置１の外部から入力される外部同期信号に同期して、映像データ１ａ及び音声データ１ｂを表示装置４へ渡す場合について説明する。
【００４３】
図７は実施の形態４における映像音声受信システム２を示すブロック図であり、実施の形態１の図１に相当する。なお映像音声受信システム２において図１と同一の部分については、同一の符号を付して説明を省略する。図７に示すように、実施の形態４では同期管理装置５が復号装置１及び表示装置４のタイミングを管理する。すなわち復号装置１は同期管理装置５から渡される外部同期信号５ａに合わせて映像データ１ａ及び音声データ１ｂを表示装置４に渡し、表示装置４は外部同期信号５ａに合わせてこれらを復号装置１から受け取って表示する。
【００４４】
図８は実施の形態４における復号装置１のブロック図であり、実施の形態１の図２、実施の形態２の図５、及び実施の形態３の図６に相当する。図８では図２及び図５と異なり遅延算出部１４を備えない一方、図６と同様にタイミング制御部１７を備えている。また新たに映像同期処理手段である映像同期処理部１８を備え、外部同期信号５ａは映像同期処理部１８に渡される。なお復号装置１において図２、図５又は図６と同一の部分については、同一の符号を付して説明を省略する。
【００４５】
次に実施の形態４における復号装置１の動作を説明する。同期管理装置５から復号装置１に渡された外部同期信号５ａは、映像同期処理部１８に渡されて同期タイミング信号１８ａが作成される。同期タイミング信号１８ａは、映像後処理部１３及びタイミング制御部１７へ渡される。
【００４６】
一方、実施の形態１と同様に、復号装置１に入力された多重化データ３ａは分離部１１に渡され、符号化映像データ１１ａ、符号化音声データ１１ｂ及びシステムタイミング信号１１ｃに分離されて、それぞれ映像復号部１２及び音声復号部１６に渡される。実施の形態３と同様に、映像復号部１２へ渡された符号化映像データ１１ａは、タイミング制御部１７から渡される復号タイミング信号１７ａに基づき復号され、映像復号データ１２ａは、映像後処理部１３へ渡されてＮＴＳＣエンコードが施される。ＮＴＳＣエンコードに起因して、映像復号データ１２ａは所定の時間ｔ０だけ遅延される。
【００４７】
図９は実施の形態４における動作のタイミングの関係を説明する図である。復号タイミング信号１７ａは、図９において復号タイミングチャートで示した信号であり、実施の形態１及び実施の形態３と同様である。ＮＴＳＣエンコードされた映像復号データ１２ａは、一旦映像メモリに蓄えられ、映像同期処理部１８から渡される同期タイミング信号１８ａに合わせて映像データ１ａとして表示装置４へ渡される。同期タイミング信号１８ａは、図９において同期タイミングチャートで示した信号である。すなわち映像後処理部１３は、同期タイミング信号１８ａの立ち下がりから、映像データ１ａを表示装置４へ渡すように制御される。なお、このとき図９における同期タイミング信号１８ａの復号タイミング信号１７ａからの遅れｔから、ＮＴＳＣエンコードに起因する時間ｔ０を差し引いた時間ｔ２＝ｔ−ｔ０だけ、ＮＴＳＣエンコードされた映像復号データ１２ａが映像後処理部１３の映像メモリによって遅延される。
【００４８】
同期タイミング信号１８ａはタイミング制御部１７へも渡される。タイミング制御部１７は復号タイミング信号１７ａと同期タイミング信号１８ａとの時間差と動作クロックから、遅延タイミング信号１７ｄを作成し、音声遅延部１５へ渡す。遅延タイミング信号１７ｄは、図９における復号タイミングチャートと同期タイミングチャートの時間差ｔに相当する復号装置１の動作クロック数を表す信号である。具体的には、時間差ｔがＭクロックに相当する場合、動作クロックの数である「Ｍ」が、遅延タイミング信号１７ｄとして音声遅延部１５に渡される。なお、以降の動作は実施の形態３と同様であるため、説明を省略する。
【００４９】
以上のように、実施の形態４では同期タイミング信号１８ａに合わせて映像後処理部１３が映像データ１ａを表示装置４へ渡し、同期タイミング信号１８ａと復号タイミング信号１７ａに基づきタイミング制御部１７が映像データ１ａの遅延量を求め、遅延タイミング信号１７ｄに基づき音声遅延部１５が音声復号データ１６ａを映像データ１ａと等しく遅延させて音声データ１ｂを出力する。これにより、復号装置１の外部から入力される外部同期信号５ａに同期して、映像データ１ａ及び音声データ１ｂを表示装置４へ渡す場合であっても、映像データ１ａと音声データ１ｂとの同期を確立することができるという効果を奏する。
【００５０】
なお、上記実施の形態では発明に係る復号装置をＳＮＧ等の映像音声受信システムに適用した場合を例に取り説明したが、必ずしも当該システムへの適用に限るものではない。例えばＳＮＧのような無線システムに限らず有線の受信システムであっても良いし、また受信システムに限らず、ＤＶＤ再生装置のような記憶媒体等から読み出したデータを復号する装置であっても良い。さらに、多重化データはＭＰＥＧ規格に則ったものとして説明したが、必ずしもＭＰＥＧ規格である必要はない。すなわち、映像と音声が多重化された多重化データを復号する装置であれば、どのようなものであっても適用できることは言うまでもない。
【００５１】
さらに、上記実施の形態では復号装置１の出力を表示装置４で表示するものとしたが、これは必ずしも必要ではない。例えば表示装置４の代わりに、ＤＶＤレコーダやＶＴＲ装置のような記憶装置に、映像データ１ａと音声データ１ｂを記憶する構成としても良い。
【図面の簡単な説明】
【００５２】
【図１】この発明の実施の形態１における映像音声受信システムを示すブロック図である。
【図２】この発明の実施の形態１に用いられる復号装置を示すブロック図である。
【図３】この発明の実施の形態１に用いられる多重化データの構成例を示す図である。
【図４】この発明の実施の形態１における復号タイミングと出力タイミングの関係を説明する図である。
【図５】この発明の実施の形態２に用いられる復号装置を示すブロック図である。
【図６】この発明の実施の形態３に用いられる復号装置を示すブロック図である。
【図７】この発明の実施の形態４における映像音声受信システムを示すブロック図である。
【図８】この発明の実施の形態４に用いられる復号装置を示すブロック図である。
【図９】この発明の実施の形態４におけるタイミングの関係を説明する図である。
【符号の説明】
【００５３】
１  復号装置
２  映像音声受信システム
３  復調器
４  表示装置
５  同期管理装置
１１  分離手段である分離部
１２  映像復号手段である映像復号部
１３  映像後処理手段である映像後処理部
１４  遅延算出手段である遅延算出部
１５  音声遅延手段である音声遅延部
１６  音声復号手段である音声復号部
１７  タイミング手段であるタイミング制御部
１８  映像同期処理手段である映像同期処理部
【図１】
2006237829.tif 000003
【図２】
2006237829.tif 000004
【図３】
2006237829.tif 000005
【図４】
2006237829.tif 000006
【図５】
2006237829.tif 000007
【図６】
2006237829.tif 000008
【図７】
2006237829.tif 000009
【図８】
2006237829.tif 000010
【図９】
2006237829.tif 000011