(57)【要約】【課題】  映像信号と音声信号とのＡＶ同期を正確にとることのできる符号化伝送システムを得る。【解決手段】  符号化装置１００は、映像信号処理部１０１および音声信号処理部１０２でＡＶ同期用の映像データと音声データを生成し、これらを符号化して、メディア多重化部１０６で多重化し、符号化多重データとして送出する。復号装置２００は、メディア分離部２０１で、符号化映像データと符号化音声データを分離し、これらを復号する。ＡＶ同期誤差検出部２０４は、ＡＶ同期用の映像データと音声データとの誤差を検出し、その値をＡＶ遅延制御部２０７に通知する。ＡＶ遅延制御部２０７は、映像と音声の出力タイミングが同期するようこれらの遅延量を制御する。【選択図】        図１
2006191463.tif 000002
【特許請求の範囲】
【請求項１】
任意のタイミングで、映像と音声の同期位置を示すためのＡＶ同期用の映像データを送出する映像信号処理部と、
前記映像信号処理部からの映像データを符号化する映像符号化部と、
前記ＡＶ同期用の映像データのタイミングと同じタイミングで、ＡＶ同期用の音声データを送出する音声信号処理部と、
前記音声信号処理部からの音声データを符号化する音声符号化部と、
前記映像符号化部で符号化された映像データと、前記音声符号化部で符号化された音声データとを多重化し、符号化多重データとして送出する多重化部とを備えた符号化装置。
【請求項２】
符号化映像データを復号する映像復号部と、
符号化音声データを復号する音声復号部と、
前記映像復号部で復号された映像データに含まれるＡＶ同期用の映像データと、前記音声復号部で復号された音声データに含まれるＡＶ同期用の音声データとに基づき、映像データと音声データの同期誤差を検出するＡＶ同期誤差検出部と、
前記ＡＶ同期誤差検出部で検出された同期誤差に基づいて、前記映像データと前記音声データの出力タイミングが同期するよう、これらの遅延量を制御するＡＶ遅延制御部とを備えた復号装置。
【請求項３】
任意のタイミングで、映像と音声の同期位置を示すためのＡＶ同期用の補助データを送出する補助データ送信部と、
前記ＡＶ同期用の補助データのタイミングと同じタイミングで、ＡＶ同期用の音声データを送出する音声信号処理部と、
前記音声信号処理部からの音声データを符号化する音声符号化部と、
前記補助データと、前記音声符号化部で符号化された音声データとを多重化し、符号化多重データとして送出する多重化部とを備えた符号化装置。
【請求項４】
多重化部は、補助データを映像のブランキング領域に重畳して映像データと音声データとを多重化することを特徴とする請求項３記載の符号化装置。
【請求項５】
符号化多重データに含まれる補助データを受信する補助データ受信部と、
符号化音声データを復号する音声復号部と、
前記補助データに含まれるＡＶ同期用のデータと、前記音声復号部で復号された音声データに含まれるＡＶ同期用の音声データとに基づき、映像データと音声データの同期誤差を検出するＡＶ同期誤差検出部と、
前記ＡＶ同期誤差検出部で検出された同期誤差に基づいて、前記映像データと前記音声データの出力タイミングが同期するよう、これらの遅延量を制御するＡＶ遅延制御部とを備えた復号装置。
【請求項６】
符号化映像データを復号する映像復号部と、
前記映像復号部で復号された映像データに対して、映像のブランキング領域に補助データを重畳する補助データ重畳部とを備え、
ＡＶ同期誤差検出部は、前記補助データ重畳部から出力されたＡＶ同期用のデータに基づいて映像データと音声データの同期誤差を検出することを特徴とする請求項５記載の復号装置。
【請求項７】
符号化装置と復号装置からなる符号化伝送システムであって、
前記符号化装置は、
任意のタイミングで、映像と音声の同期位置を示すためのＡＶ同期用の映像データを送出する映像信号処理部と、
前記映像信号処理部からの映像データを符号化する映像符号化部と、
前記ＡＶ同期用の映像データのタイミングと同じタイミングで、ＡＶ同期用の音声データを送出する音声信号処理部と、
前記音声信号処理部からの音声データを符号化する音声符号化部と、
前記映像符号化部で符号化された映像データと、前記音声符号化部で符号化された音声データとを多重化し、符号化多重データとして送出する多重化部とを備え、
前記復号装置は、
符号化映像データを復号する映像復号部と、
符号化音声データを復号する音声復号部と、
前記映像復号部で復号された映像データに含まれるＡＶ同期用の映像データと、前記音声復号部で復号された音声データに含まれるＡＶ同期用の音声データとに基づき、映像データと音声データの同期誤差を検出するＡＶ同期誤差検出部と、
前記ＡＶ同期誤差検出部で検出された同期誤差に基づいて、前記映像データと前記音声データの出力タイミングが同期するよう、これらの遅延量を制御するＡＶ遅延制御部とを備えた符号化伝送システム。
【請求項８】
符号化装置と復号装置からなる符号化伝送システムであって、
前記符号化装置は、
任意のタイミングで、映像と音声の同期位置を示すためのＡＶ同期用の補助データを送出する補助データ送信部と、
前記ＡＶ同期用の補助データのタイミングと同じタイミングで、ＡＶ同期用の音声データを送出する音声信号処理部と、
前記音声信号処理部からの音声データを符号化する音声符号化部と、
前記補助データと、前記音声符号化部で符号化された音声データとを多重化し、符号化多重データとして送出する多重化部とを備え、
前記復号装置は、
符号化多重データに含まれる補助データを受信する補助データ受信部と、
符号化音声データを復号する音声復号部と、
前記補助データに含まれるＡＶ同期用のデータと、前記音声復号部で復号された音声データに含まれるＡＶ同期用の音声データとに基づき、映像データと音声データの同期誤差を検出するＡＶ同期誤差検出部と、
前記ＡＶ同期誤差検出部で検出された同期誤差に基づいて、前記映像データと前記音声データの出力タイミングが同期するよう、これらの遅延量を制御するＡＶ遅延制御部とを備えた符号化伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デジタルの映像信号、音声信号をそれぞれ符号化装置で符号化し、伝送されたその符号化データを復号装置にて復号する符号化伝送システムにおいて、特に映像信号と音声信号の出力位相（ＡＶ同期誤差）を制御する装置に関するものである。
【背景技術】
【０００２】
従来の符号化伝送システムにおいては、本来伸張されて表示されるべきビデオ成分信号に関する理想フレーム数と、実際に伸張されて表示されたビデオ成分信号に関する実フレーム数を比較した結果の伸張処理の進捗状況に基づいて、ビデオ成分信号のフレームのコマ落とし等を実施している（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平１０−１３６３０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の符号化伝送システムでは、映像符号化部、音声符号化部および映像復号部、音声復号部の処理の制御精度不足等により映像、音声のタイムスタンプ値を正確に付加できない場合やタイムスタンプのタイミングで正確に再生出力できない場合、映像信号、音声信号とのＡＶ同期を正確にとることができないという問題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、符号化または復号処理の制御精度不足等により映像、音声のタイムスタンプ値を正確に付加できない場合やタイムスタンプのタイミングで正確に再生出力できない場合であっても自動でＡＶ同期が合った状態に調整することができる符号化装置及び復号装置並びに符号化伝送システムを得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る符号化装置は、任意のタイミングで、映像と音声の同期位置を示すためのＡＶ同期用の映像データを送出する映像信号処理部と、ＡＶ同期用の映像データのタイミングと同じタイミングで、ＡＶ同期用の音声データを送出する音声信号処理部と、符号化された映像データと、符号化された音声データとを多重化し、符号化多重データとして送出する多重化部とを備えたものである。
【発明の効果】
【０００７】
この発明の符号化装置は、映像データと音声データに、映像と音声の同期位置を示すためのＡＶ同期用のデータをそれぞれ含ませるようにしたので、このような符号化多重データを受信した場合に、自動でＡＶ同期が合った状態に調整することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、この発明の実施の形態１による符号化伝送システムを示す構成図である。
図において、符号化伝送システムは、符号化装置１００と復号装置２００とからなる。符号化装置１００は、映像信号と音声信号とを符号化して出力する装置であり、映像信号処理部１０１、音声信号処理部１０２、ＡＶ同期調整用トリガ発生部１０３、映像符号化部１０４、音声符号化部１０５、メディア多重化部１０６を備えている。
【０００９】
映像信号処理部１０１は、外部から入力された映像信号を符号化用のフォーマットに変換すると共に、ＡＶ同期調整用トリガ発生部１０３よりＡＶ同期調整用トリガが与えられた場合は、ＡＶ同期用の映像データを送出するよう構成されている。音声信号処理部１０２は、外部から入力された音声信号を符号化用のフォーマットに変換すると共に、ＡＶ同期調整用トリガ発生部１０３よりＡＶ同期調整用トリガが与えられた場合は、ＡＶ同期用の音声データを送出するよう構成されている。ＡＶ同期調整用トリガ発生部１０３は、オペレーションパネル等の外部からの制御による任意のタイミング、あるいは、符号化装置１００のパラメータ変更直後などの設定された自動のタイミングでＡＶ同期基準信号用の制御信号を映像信号処理部１０１および音声信号処理部１０２に送信する機能を有している。
【００１０】
映像符号化部１０４は、映像信号処理部１０１から出力された符号化用のフォーマットの映像データを符号化すると共に、ＡＶ同期用の映像データを符号化する機能を有している。音声符号化部１０５は、音声信号処理部１０２から出力された符号化用のフォーマットの音声データを符号化すると共に、ＡＶ同期用の音声データを符号化する機能を有している。メディア多重化部１０６は、映像符号化部１０４で符号化された映像データと、音声符号化部１０５で符号化された音声データと、ＡＶ同期基準信号を発生したことを通知するデータとを多重化して、例えば、ＭＰＥＧ−２のトランスポートストリームとして伝送するための機能部である。
【００１１】
復号装置２００は、符号化された映像信号と音声信号とを復号して映像信号と音声信号として出力する装置であり、メディア分離部２０１、映像復号部２０２、音声復号部２０３、ＡＶ同期誤差検出部２０４、映像遅延部２０５、音声遅延部２０６、ＡＶ遅延制御部２０７を備えている。メディア分離部２０１は、メディア多重化部１０６より伝送された符号化多重データ、例えばＭＰＥＧ−２トランスポートストリームを受信し、この受信した符号化多重データを、映像符号化データ、音声符号化データ等のメディア毎に分離し、分離した各データを映像復号部２０２、音声復号部２０３に送出する機能部である。また、メディア分離部２０１は、符号化多重データにＡＶ同期基準信号が発生したことを通知するデータが含まれていた場合は、これをＡＶ同期誤差検出部２０４に通知する機能を有している。
【００１２】
映像復号部２０２は、メディア分離部２０１より送信された映像符号化データを復号し、その復号後のデータを映像遅延部２０５とＡＶ同期誤差検出部２０４とに送信する機能を有している。音声復号部２０３は、メディア分離部２０１より送信された音声符号化データを復号し、その復号後のデータを音声遅延部２０６およびＡＶ同期誤差検出部２０４に送信する機能を有している。ＡＶ同期誤差検出部２０４は、映像復号部２０２から送信された映像データと、音声復号部２０３から送信された音声データに基づいてＡＶ同期の誤差を算出し、その算出誤差をＡＶ遅延制御部２０７に出力する機能を有している。映像遅延部２０５は、映像復号部２０２から出力された映像信号を一時的に保持し、ＡＶ遅延制御部２０７からの遅延制御信号に基づいてそのタイミングを制御し、映像信号として外部に出力する機能を有している。また、音声遅延部２０６は、音声復号部２０３から出力された音声信号を一時的に保持し、ＡＶ遅延制御部２０７からの遅延制御信号に基づいてそのタイミングを制御し、音声信号として外部に出力する機能を有している。ＡＶ遅延制御部２０７は、ＡＶ同期誤差検出部２０４より送信されたＡＶ同期の誤差の算出結果より、映像、音声のＡＶ同期が合うように映像遅延部２０５および音声遅延部２０６の遅延量を制御するための制御信号を送出する機能を有している。
【００１３】
尚、上記符号化装置１００および復号装置２００は、コンピュータで構成され、それぞれの構成要素は、それぞれの機能に対応するソフトウェアと、これを実行するためのＣＰＵやメモリ等のハードウェアから構成されている。
【００１４】
次に、実施の形態１の動作について説明する。
先ず、符号化伝送システムが動作している状態で、オペレーションパネル等の外部からの任意のタイミングによる制御、または、符号化装置１００のパラメータ変更直後などの設定された自動のタイミングによる制御にてＡＶ同期調整用トリガ発生部１０３より、映像信号処理部１０１、音声信号処理部１０２にＡＶ同期調整トリガ信号を同時に送信する。また、この際に、メディア多重化部１０６に対して、ＡＶ同期基準信号を発生したことを通知する。
【００１５】
図２は、ＡＶ同期基準信号を発生した時の映像データと音声データを示す説明図である。
以下、図２を参照してＡＶ同期基準信号を発生させたときの動作を説明する。
映像信号処理部１０１は、通常は外部から入力された映像信号を符号化用のデータフォーマットに変換して映像符号化部１０４に送信する。一方、ＡＶ同期調整用トリガ発生部１０３から送出されたＡＶ同期調整トリガ信号が入力されると、映像信号の基準位置検出用の映像データとして、図２（ａ）のように、先ずは黒画面の映像フレームデータを数フレーム間送信し、その後、カラーバーの映像フレームへ数フレーム間切り替わる映像データを映像入力信号に置き換えて映像符号化部１０４に送信する。この黒画面の映像フレームからカラーバーの映像フレームに切り替わった位置がＡＶ同期調整時における映像信号の基準位置となる。
【００１６】
音声信号処理部１０２は、通常は外部から入力された音声信号を符号化用のデータフォーマットに変換して音声符号化部１０５に送信する。一方、ＡＶ同期調整用トリガ発生部１０３より出力されたＡＶ同期調整トリガ信号が入力されると、音声信号の基準位置検出用の音声データとして、図２（ｂ）のように先ずは無音の音声フレームデータを数フレーム間送信し、その後、ＡＶ同期調整時における映像信号の基準位置に同期したタイミングで無音から正弦波へ切り替わる音声フレームデータを音声符号化部１０５に送信する。
【００１７】
映像符号化部１０４は、映像信号処理部１０１より送信されたＡＶ同期誤差検出用の映像データを通常動作と変わらず符号化し、その映像符号化データをメディア多重化部１０６に送信する。また、音声符号化部１０５も同様に、音声信号処理部１０２より送信されたＡＶ同期誤差検出用の音声データを通常動作と変わらず符号化し、その音声符号化データをメディア多重化部１０６に送信する。
メディア多重化部１０６は、映像符号化部１０４、音声符号化部１０５より送信された符号化データとＡＶ同期基準信号を発生したことを通知するデータを多重化し、衛星等の通信媒体を経由して復号装置２００へ符号化多重データ、例えばＭＰＥＧトランスポートストリームを伝送する。
【００１８】
復号装置２００は、メディア多重化部１０６より伝送された符号化データ、例えばＭＰＥＧトランスポートストリームを受信すると、先ず、この受信した符号化多重データをメディア分離部２０１にて、映像符号化データ、音声符号化データ等のメディア毎に分離し、分離した各データを映像復号部２０２、音声復号部２０３に送信する。また、この際にＡＶ同期基準信号が発生したことをＡＶ同期誤差検出部２０４へ通知する。
映像復号部２０２は、メディア分離部２０１より送信された映像符号化データを復号し、その復号後のデータを映像遅延部２０５およびＡＶ同期誤差検出部２０４に送信する。また、音声復号部２０３は、メディア分離部２０１より送信された音声符号化データを復号し、その復号後のデータを音声遅延部２０６およびＡＶ同期誤差検出部２０４に送信する。
【００１９】
ＡＶ同期誤差検出部２０４は、メディア分離部２０１よりＡＶ同期基準信号の発生通知を受信し、映像復号部２０２より送信された映像データ内から数フレーム間黒画面となる映像データを検出すると、ＡＶ同期調整時における映像信号の基準位置（カラーバーに切り替わるタイミング）待ち状態となる。また、音声データに関しても音声復号部２０３より送信された音声データ内から数フレーム間無音音声となる音声データを検出すると、ＡＶ同期調整時における音声信号の基準位置（正弦波に切り替わるタイミング）待ち状態となる。この基準位置待ちの状態よりどちらかのメディアのデータに基準位置への切り替わりが発生すると、その時点からもう片方のメディアが基準位置へ切り替わるまでの差を算出し、その算出結果をＡＶ遅延制御部２０７に送信する。
ＡＶ遅延制御部２０７は、ＡＶ同期誤差検出部２０４より送信されたＡＶ同期誤差の算出結果より、映像信号と音声信号のＡＶ同期が合うように、映像遅延部２０５、音声遅延部２０６の遅延量を制御する。
映像遅延部２０５および音声遅延部２０６は、映像復号部２０２および音声復号部２０３より送信された映像データおよび音声データを一時的に保持し、ＡＶ遅延制御部２０７より送出された制御信号に基づくタイミングで映像信号、音声信号を外部へ出力する。
【００２０】
以上の処理により、映像符号化部、音声符号化部および映像復号部、音声復号部の処理不足等により映像、音声のタイムスタンプ値を正確に付加できない場合やタイムスタンプ通りに正確に再生出力できない場合、あるいは、フレームシンクロナイザ機能を搭載するなどタイムスタンプ値とは異なるタイミングで映像信号、音声信号を出力する必要がある符号化伝送システムであっても、復号出力でＡＶ同期の合った符号化伝送を実現することができる。
【００２１】
尚、上記の実施の形態１では、映像信号の基準位置検出用の映像データとして黒画面からカラーバーへ切り替わるデータ、音声信号の基準位置検出用の音声データとして無音から正弦波に切り替わるデータで説明したが、これらのデータに限定されるものではなく、例えば、特定のパターンの映像、音声フレーム等、他の内容の信号であっても良い。
【００２２】
以上のように、実施の形態１の符号化装置によれば、任意のタイミングで、映像と音声の同期位置を示すためのＡＶ同期用の映像データを送出する映像信号処理部と、映像信号処理部からの映像データを符号化する映像符号化部と、ＡＶ同期用の映像データのタイミングと同じタイミングで、ＡＶ同期用の音声データを送出する音声信号処理部と、音声信号処理部からの音声データを符号化する音声符号化部と、映像符号化部で符号化された映像データと、音声符号化部で符号化された音声データとを多重化し、符号化多重データとして送出する多重化部とを備えたので、受信側において、自動でＡＶ同期が合った状態に調整することのできる符号化多重データを送出することができる。
【００２３】
また、実施の形態１の復号装置によれば、符号化映像データを復号する映像復号部と、符号化音声データを復号する音声復号部と、映像復号部で復号された映像データに含まれるＡＶ同期用の映像データと、音声復号部で復号された音声データに含まれるＡＶ同期用の音声データとに基づき、映像データと音声データの同期誤差を検出するＡＶ同期誤差検出部と、ＡＶ同期誤差検出部で検出された同期誤差に基づいて、映像データと音声データの出力タイミングが同期するよう、これらの遅延量を制御するＡＶ遅延制御部とを備えたので、映像、音声のタイムスタンプ値が正確に付加されていない場合等であっても、自動でＡＶ同期の合った状態に調整することができる。
【００２４】
また、実施の形態１の符号化伝送システムによれば、符号化装置と復号装置からなる符号化伝送システムであって、符号化装置は、任意のタイミングで、映像と音声の同期位置を示すためのＡＶ同期用の映像データを送出する映像信号処理部と、映像信号処理部からの映像データを符号化する映像符号化部と、ＡＶ同期用の映像データのタイミングと同じタイミングで、ＡＶ同期用の音声データを送出する音声信号処理部と、音声信号処理部からの音声データを符号化する音声符号化部と、映像符号化部で符号化された映像データと、音声符号化部で符号化された音声データとを多重化し、符号化多重データとして送出する多重化部とを備え、復号装置は、符号化映像データを復号する映像復号部と、符号化音声データを復号する音声復号部と、映像復号部で復号された映像データに含まれるＡＶ同期用の映像データと、音声復号部で復号された音声データに含まれるＡＶ同期用の音声データとに基づき、映像データと音声データの同期誤差を検出するＡＶ同期誤差検出部と、ＡＶ同期誤差検出部で検出された同期誤差に基づいて、映像データと音声データの出力タイミングが同期するよう、これらの遅延量を制御するＡＶ遅延制御部とを備えたので、符号化または復号処理の制御精度不足等により映像、音声のタイムスタンプ値を正確に付加できない場合やタイムスタンプのタイミングで正確に再生出力できない場合であっても自動でＡＶ同期が合った状態に調整することができる。
【００２５】
実施の形態２．
図３は、この発明の実施の形態２による符号化伝送システムを示す構成図である。
図において、符号化伝送システムは、符号化装置１００ａと復号装置２００ａとからなる。符号化装置１００ａは、映像信号処理部１０１、音声信号処理部１０２、ＡＶ同期調整用トリガ発生部１０３、映像符号化部１０４、音声符号化部１０５、メディア多重化部１０６、補助データ送信部１０７を備えている。ここで、映像信号処理部１０１〜音声符号化部１０５における基本的な機能は、図１に示した実施の形態１と同様の構成であるため、ここでの説明は省略する。尚、ＡＶ同期調整用トリガ発生部１０３は、発生させたＡＶ同期調整用トリガを、音声信号処理部１０２と補助データ送信部１０７に出力するよう構成されている。
【００２６】
補助データ送信部１０７は、ＡＶ同期調整用トリガ発生部１０３からＡＶ同期調整用トリガが送出された場合、映像のブランキング領域に重畳させるデータと映像に同期した再生情報を付加したもので構成されたパケットを生成し、そのデータをメディア多重化部１０６に送信する機能を有している。また、メディア多重化部１０６ａは、映像符号化部１０４から出力された映像符号化データと音声符号化部１０５から出力された音声符号化データとを多重化すると共に、補助データ送信部１０７から出力された補助データを映像のブランキング領域に重畳して多重化する機能を有している。
【００２７】
復号装置２００ａは、メディア分離部２０１ａ、映像復号部２０２、音声復号部２０３、ＡＶ同期誤差検出部２０４、映像遅延部２０５、音声遅延部２０６、ＡＶ遅延制御部２０７、補助データ受信部２０８、補助データ重畳部２０９を備えている。メディア分離部２０１ａは、メディア多重化部１０６ａより伝送された符号化データ、例えばＭＰＥＧ−２トランスポートストリームを受信し、この受信した符号化多重データを、映像符号化データ、音声符号化データ等のメディア毎に分離すると共に、映像のブランキング領域に重畳された補助データを分離し、これら分離したデータを映像復号部２０２、音声復号部２０３および補助データ受信部２０８に送出する機能部である。補助データ受信部２０８は、受信した補助データからブランキング領域に重畳されるデータを抽出し、そのデータを補助データ重畳部２０９に送信する機能を有している。
【００２８】
補助データ重畳部２０９は、補助データ受信部２０８より送信された補助データを映像復号部２０２より送信された映像データのブランキング領域に重畳し、この映像データをＡＶ同期誤差検出部２０４ａに送信する機能を有している。ＡＶ同期誤差検出部２０４ａは、補助データ重畳部２０９から出力された映像データに重畳された補助データと、音声復号部２０３から送信された音声データに基づいてＡＶ同期の誤差を検出するよう構成されている。これ以外の構成は、図１に示した実施の形態１と同様であるため、対応する部分に同一符号を付してその説明を省略する。
【００２９】
次に、実施の形態２の動作について説明する。
先ず、符号化伝送システムが動作している状態で、オペレーションパネル等の外部からの任意のタイミングによる制御、または、符号化装置１００のパラメータ変更直後などの設定された自動のタイミングによる制御にてＡＶ同期調整用トリガ発生部１０３より音声信号処理部１０２および補助データ送信部１０７にＡＶ同期調整トリガ信号を同時に送信する。また、ＡＶ同期調整用トリガ発生部１０３は、この際にメディア多重化部１０６ａにＡＶ同期基準信号を発生したことを通知する。
【００３０】
図４は、ＡＶ同期基準信号を発生した時の映像データ、音声データ、補助データを示す説明図である。
以下、図４を参照してＡＶ同期基準信号を発生させたときの動作を説明する。
補助データ送信部１０７は、通常は動作している必要はないが、ＡＶ同期調整用トリガ発生部１０３より出力されたＡＶ同期調整トリガ信号が入力されると、補助データの基準位置検出用のデータを送出する。このデータとしては、図４（ａ）に示すように、最初に映像のブランキング領域に重畳するデータを全て０とした固定のデータを送信し、次に、ＡＶ同期調整時における映像の基準位置となる映像フレームのタイミングでブランキング領域に重畳するデータを全て１とした固定データをメディア多重化部１０６ａへ送信する。
【００３１】
映像信号処理部１０１は、ＡＶ同期基準信号を発生させた時の動作に変化はなく、外部から入力された映像信号を符号化用のデータフォーマットに変換して映像符号化部１０４に送信する。音声信号処理部１０２は、通常は外部から入力された音声信号を符号化用のデータフォーマットに変換して音声符号化部１０５に送信する。一方、音声信号処理部１０２は、ＡＶ同期調整用トリガ発生部１０３よりＡＶ同期調整トリガ信号が入力されると、音声信号の基準位置検出用の音声として、図４（ｂ）に示すように、先ずは無音の音声フレームデータを数フレーム間送信し、その後、ＡＶ同期調整時における映像データの基準位置に同期したタイミングで無音から正弦波へ切り替わる音声フレームデータを音声符号化部１０５に送信する。
【００３２】
映像符号化部１０４は、通常動作と変わらず映像信号処理部１０１より送信された映像データを符号化し、その映像符号化データをメディア多重化部１０６ａに送信する。また、音声符号化部１０５は、実施の形態１と同様に、音声信号処理部１０２より送信されたＡＶ同期誤差検出用の音声データを符号化し、その音声符号化データをメディア多重化部１０６ａに送信する。メディア多重化部１０６ａは、補助データ送信部１０７より送信された補助データと、映像符号化部１０４、音声符号化部１０５より送信された符号化データとＡＶ同期基準信号を発生したことを通知するデータとを多重化し、衛星等の通信媒体を経由して復号装置２００ａへ符号化多重データ、例えばＭＰＥＧトランスポートストリームを伝送する。
【００３３】
復号装置２００ａは、メディア多重化部１０６ａより伝送された符号化データ、例えばＭＰＥＧトランスポートストリームを受信すると、先ず、受信した符号化多重データをメディア分離部２０１ａにて、映像符号化データ、音声符号化データ、補助データ等のメディア毎に分離し、分離した各データを映像復号部２０２、音声復号部２０３、補助データ受信部２０８にそれぞれ送信する。また、この際にＡＶ同期調整信号が発生されたことをＡＶ同期誤差検出部２０４ａへ通知する。
【００３４】
映像復号部２０２は、メディア分離部２０１ａより送信された映像符号化データを復号し、その復号後のデータを映像遅延部２０５および補助データ多重部２０９に送信する。音声復号部２０３は、メディア分離部２０１ａより送信された音声符号化データを復号し、その復号後のデータを音声遅延部２０６および補助データ重畳部２０９に送信する。
補助データ受信部２０８は、メディア分離部２０１ａより送信された補助データからブランキング領域に重畳されるデータを抽出し、そのデータを補助データ重畳部２０９に送信する。
補助データ重畳部２０９は、補助データ受信部２０８より送信された補助データを映像復号部２０２より送信された映像データの再生情報と一致する映像フレームのブランキング領域に重畳する。この補助データを重畳した映像データをＡＶ同期誤差検出部２０４ａに送信する。
【００３５】
ＡＶ同期誤差検出部２０４ａは、メディア分離部２０１ａよりＡＶ同期調整信号の発生通知を受信すると、補助データ重畳部２０９より送信された映像データ内のブランキング領域から数フレーム間補助データが０となる映像フレームを検出する。これにより、ＡＶ同期調整時における映像信号の基準位置（補助データが０から１に切り替わるタイミング）待ち状態となる。また、音声データに関しても、音声復号部２０３より送信された音声データ内から数フレーム間無音音声となる音声データを検出すると、ＡＶ同期調整時における音声信号の基準位置（正弦波に切り替わるタイミング）待ち状態となる。この基準位置待ちの状態よりどちらかのメディアのデータに基準位置への切り替わりが発生すると、その時点からもう片方のメディアが基準位置へ切り替わるまでの差を算出し、その算出結果をＡＶ遅延制御部２０７に送信する。
ＡＶ遅延制御部２０７は、ＡＶ同期誤差検出部２０４ａより送信されたＡＶ同期誤差の算出結果より、映像信号と音声信号のＡＶ同期が合うように映像遅延部２０５、音声遅延部２０６の遅延量を制御する。
【００３６】
映像遅延部２０５および音声遅延部２０６は、映像復号部２０２および音声復号部２０３より送信された映像データ、音声データを一時的に保持し、ＡＶ遅延制御部２０７より制御されたタイミングで映像信号、音声信号を外部へ出力する。
【００３７】
以上の処理により、映像符号化部、音声符号化部および映像復号部、音声復号部の処理不足等により映像、音声のタイムスタンプ値を正確に付加できない場合やタイムスタンプ通りに正確に再生出力できない場合でも、ＡＶ同期の合った符号化伝送を実現することができる。
【００３８】
尚、上記の実施の形態２では、補助データが０から１に切り替わるデータを映像のブランキング領域に重畳させ、また、音声信号の基準位置検出用の音声データとして無音から正弦波に切り替わるデータを用いたが、これらのデータに限定されるものではなく、補助データでＡＶ同期用の位置を示すものであれば、他の内容の信号であっても良い。
【００３９】
以上のように、実施の形態２の符号化装置によれば、任意のタイミングで、映像と音声の同期位置を示すためのＡＶ同期用の補助データを送出する補助データ送信部と、ＡＶ同期用の補助データのタイミングと同じタイミングで、ＡＶ同期用の音声データを送出する音声信号処理部と、音声信号処理部からの音声データを符号化する音声符号化部と、補助データと、音声符号化部で符号化された音声データとを多重化し、符号化多重データとして送出する多重化部とを備えたので、受信側において、自動でＡＶ同期が合った状態に調整することのできる符号化多重データを送出することができる。
【００４０】
また、実施の形態２の復号装置によれば、符号化多重データに含まれる補助データを受信する補助データ受信部と、符号化音声データを復号する音声復号部と、補助データに含まれるＡＶ同期用のデータと、音声復号部で復号された音声データに含まれるＡＶ同期用の音声データとに基づき、映像データと音声データの同期誤差を検出するＡＶ同期誤差検出部と、ＡＶ同期誤差検出部で検出された同期誤差に基づいて、映像データと音声データの出力タイミングが同期するよう、これらの遅延量を制御するＡＶ遅延制御部とを備えたので、映像、音声のタイムスタンプ値が正確に付加されていない場合等であっても、自動でＡＶ同期の合った状態に調整することができる。
【００４１】
また、実施の形態２の符号化装置によれば、多重化部において、補助データを映像のブランキング領域に重畳して映像データと音声データとを多重化するようにしたので、ＡＶ同期のための映像データを別途必要とせず、ＡＶ同期処理の自由度を向上させることができる。
【００４２】
また、実施の形態２の復号装置によれば、符号化映像データを復号する映像復号部と、映像復号部で復号された映像データに対して、映像のブランキング領域に補助データを重畳する補助データ重畳部とを備え、ＡＶ同期誤差検出部は、補助データ重畳部から出力されたＡＶ同期用のデータに基づいて映像データと音声データの同期誤差を検出するようにしたので、映像データの復号処理とＡＶ同期処理のための処理を別処理とすることができるため、ＡＶ同期処理の自由度を向上させることができる。
【００４３】
また、実施の形態２の符号化伝送システムによれば、符号化装置と復号装置からなる符号化伝送システムであって、符号化装置は、任意のタイミングで、映像と音声の同期位置を示すためのＡＶ同期用の補助データを送出する補助データ送信部と、ＡＶ同期用の補助データのタイミングと同じタイミングで、ＡＶ同期用の音声データを送出する音声信号処理部と、音声信号処理部からの音声データを符号化する音声符号化部と、補助データと、音声符号化部で符号化された音声データとを多重化し、符号化多重データとして送出する多重化部とを備え、復号装置は、符号化多重データに含まれる補助データを受信する補助データ受信部と、符号化音声データを復号する音声復号部と、補助データに含まれるＡＶ同期用のデータと、音声復号部で復号された音声データに含まれるＡＶ同期用の音声データとに基づき、映像データと音声データの同期誤差を検出するＡＶ同期誤差検出部と、ＡＶ同期誤差検出部で検出された同期誤差に基づいて、映像データと音声データの出力タイミングが同期するよう、これらの遅延量を制御するＡＶ遅延制御部とを備えたので、符号化または復号処理の制御精度不足等により映像、音声のタイムスタンプ値を正確に付加できない場合やタイムスタンプのタイミングで正確に再生出力できない場合であっても自動でＡＶ同期が合った状態に調整することができる。
【図面の簡単な説明】
【００４４】
【図１】この発明の実施の形態１による符号化伝送システムを示す構成図である。
【図２】この発明の実施の形態１による符号化伝送システムのＡＶ同期基準信号を発生した時の映像データと音声データを示す説明図である。
【図３】この発明の実施の形態２による符号化伝送システムを示す構成図である。
【図４】この発明の実施の形態２による符号化伝送システムのＡＶ同期基準信号を発生した時の映像データと補助データおよび音声データを示す説明図である。
【符号の説明】
【００４５】
１００、１００ａ  符号化装置、１０１  映像信号処理部、１０２  音声信号処理部、１０３  ＡＶ同期調整用トリガ発生部、１０４  映像符号化部、１０５  音声符号化部、１０６、１０６ａ  メディア多重化部、１０７  補助データ送信部、１０７、２００、２００ａ  復号装置、２０１、２０１ａ  メディア分離部、２０２  映像復号部、２０３  音声復号部、２０４、２０４ａ  ＡＶ同期誤差検出部、２０７  ＡＶ遅延制御部、２０８  補助データ受信部、２０９  補助データ重畳部。
【図１】
2006191463.tif 000003
【図２】
2006191463.tif 000004
【図３】
2006191463.tif 000005
【図４】
2006191463.tif 000006