(57)【要約】【課題】簡易な構成で映像と音声の出力時間を一致させて符号化を可能にする。【解決手段】映像と音声の位相合わせ基準信号を生成する基準信号生成部２６と、基準信号に応答して基準位置検出用の映像データを映像信号に置き換えて出力する映像収録部２１と、基準信号に応答して基準位置検出用の音声データを音声信号に置き換えて出力する音声収録部２２と、それぞれベースバンドの伝送路を経て入力される基準位置検出用の映像データと音声データとからそれぞれの基準位置を検出し、その基準位置から映像と音声信号の遅延差を算出する遅延検出部３４と、遅延差より映像遅延量、音声遅延量をそれぞれ算出する遅延制御部３５と、映像遅延量を基に映像信号を遅延して映像符号化部３１へ与える映像遅延部２９と、音声遅延量を基に音声信号を遅延して音声符号化部３２へ与える音声遅延部３０を備える。【選択図】図１
2010239228.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ独立して収録した映像信号と音声信号を関連付けて符号化し多重化する符号化・多重化システムにおいて、
映像と音声の位相合わせ用の基準信号を生成する基準信号生成部と、
収録した映像信号を出力する際、前記基準信号に応答して基準位置検出用の映像データを映像信号に置き換えて映像のベースバンドの伝送路へ出力する映像収録部と、
収録した音声信号を出力する際、前記基準信号に応答して基準位置検出用の音声データを音声信号に置き換えて音声のベースバンドの伝送路へ出力する音声収録部と、
それぞれのベースバンドの伝送路を経て入力される前記基準位置検出用の映像データと音声データからそれぞれの基準位置を検出し、その基準位置の差から映像信号と音声信号の遅延差を算出する遅延検出部と、
前記算出された遅延差より映像遅延量および音声遅延量をそれぞれ算出する遅延制御部と、
前記映像遅延量に基づいて映像信号を遅延して映像符号化部へ与える映像遅延部と、
前記音声遅延量に基づいて音声信号を遅延して音声符号化部へ与える音声遅延部を備えたことを特徴とする符号化・多重化システム。
【請求項２】
映像信号の基準位置検出用の映像データは、最初に数フレーム間送信する黒画面の映像フレームデータと、その後切り替える数フレーム間のカラーバーの映像フレームとから構成され、前記黒画面から前記カラーバーに切り替わった位置を同期調整時における映像信号の基準位置とし、
音声信号の基準位置検出用の音声データは、最初に数フレーム間送信する無音の音声フレームデータと、その後切り替える正弦波の音声フレームデータから構成され、前記無音から前記正弦波に切り替わった位置を同期調整時における音声信号の基準位置としたことを特徴とする請求項１記載の符号化・多重化システム。
【請求項３】
それぞれ独立して収録した映像信号と音声信号を関連付けて符号化し多重化する符号化・多重化システムにおいて、
タイムスタンプの時刻基準となるシステムタイムクロックを生成するＳＴＣ生成装置と、
収録した映像信号に前記システムタイムクロックを付加して映像のベースバンドの伝送路へ出力する映像収録部と、
収録した音声信号に前記システムタイムクロックを付加して音声のベースバンドの伝送路へ出力する音声収録部と、
それぞれのベースバンドの伝送路を経て入力される映像信号および音声信号から付加されたそれぞれのシステムタイムクロック値を分離し、その差分を算出する遅延検出部と、
前記算出されたシステムタイムクロック値の差分より映像表示時刻および音声表示時刻のオフセット値を算出する遅延制御部と、
映像信号を符号化すると共に、前記遅延制御部から入力される映像表示時刻のオフセット値を基に映像表示のタイムスタンプを付加し多重化部に与える映像符号化部と、
音声信号を符号化すると共に、前記遅延制御部から入力される音声表示時刻のオフセット値を基に音声表示のタイムスタンプを付加し前記多重化部に与える音声符号化部を備えたことを特徴とする符号化・多重化システム。
【請求項４】
映像のベースバンドの伝送路上にはフレーム・シンクロナイザを有したことを特徴とする請求項１から請求項３のうちのいずれか１項記載の符号化・多重化システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、関連する映像信号と音声信号の同期ズレを補正して符号化し多重化する符号化・多重化システムに関するものである。
【背景技術】
【０００２】
符号化・多重化システムの場合、符号化の前において映像信号に遅延が生じると、入力時に音声信号との同期が外れた状態で符号化、多重化されるため、再生時に、例えば映像上の人の口の動きとその話す音声の間で一致性が取れなくなる。このような問題を解決する従来の技術として、図５に示すような特許文献１に記載されたデジタル記録装置に適用の符号化・多重化装置がある。図５の符号化・多重化装置において、それぞれＡＤ変換された映像信号と音声信号が入力される。同期信号抽出回路１１は、入力されたＡＤ変換されたデジタル映像信号に重畳されている入力同期信号を抽出する。フレーム同期回路１３では、この抽出された入力同期信号を用いて入力映像信号を自回路内に設けられている記憶回路に書き込む。この記憶回路に取り込まれた映像信号は、装置内部の内部同期信号発生回路１２にて生成された内部同期信号によって、入力時の時間軸の変動の状態によらない一定のタイミングで読み出される。読み出された出力映像信号は次の映像符号化回路１４によって符号化され、多重化回路１８に出力される。一方、入力された音声信号は、音声符号化回路１５において独自にデジタル符号化され、多重化回路１８に出力される。
【０００３】
ところで、上記フレーム同期回路１３の動作において、ある１フレームの映像を取り込む際、その取り込みタイミングは、同期信号抽出回路１１により抽出分離された入力同期信号の垂直同期信号Ｔ１のタイミングにより決定される。また、その取り込まれた映像を読み出す際、その読み出しタイミングは、内部同期信号発生回路１２から出力される内部同期信号を形成している垂直同期信号Ｔ２により決定される。遅延値検出回路１６では、上記垂直同期信号Ｔ１とＴ２の時間差を測定し、その遅延値（時間差値）を処理判断ブロック１７に供給する。この処理判断ブロック１７では、供給された遅延値に対して、時間軸変動（ジッター）の推移の傾向、フレーム同期の推移状態、その他の画像、音声の品質等を全体的に把握考慮して最終判断を行って、最適な遅延値（時間差値）を決定して多重化回路１８に供給する。多重化回路１８では、処理判断ブロック１７にての最終判断に基づいて、音声、映像信号の符号化データを、タイムスタンプを付けて多重化する際、上記最適な遅延値だけ音声信号データを映像信号データに対して遅らせることにより、フレーム同期回路１３を経由したことにより起こる音声信号と映像信号のずれを最小限にするよう補正する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−７７８１３号公報（第５頁、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の符号化・多重化装置は、上述のような構成により、符号化に先立って映像信号を装置内部で生成している内部同期信号で一度成形する場合に生じる入力画像と出力画像の遅れ（通常０〜１．５フレーム）が音声信号との同期ずれを引き起こすのを補正しているが、これは入力映像信号から抽出した入力同期信号と内部同期信号の時間差に基づいて行っている補正である。そのため、符号化・多重化装置の前段に独立した映像および音声の収録経路を備えているような場合には、映像のベースバンドでの伝送路遅延やフレーム・シンクロナイザ（Frame Synchronizer）等を経由することに起因して装置の入力側で発生する映像と音声間の時間的なズレについては補正できない。したがって、このズレに対応するために従来は、符号化・多重化装置の前段に別途映像・音声の同期（以下、ＡＶ同期）調整用装置を接続する必要があった。
【０００６】
この発明は、このような課題を解決するためになされたもので、簡易な構成で映像と音声の出力時間を一致させて符号化可能にする符号化・多重化システムを得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る符号化・多重化システムは、それぞれ独立して収録した映像信号と音声信号を関連付けて符号化し多重化する符号化・多重化システムにおいて、映像と音声の位相合わせ用の基準信号を生成する基準信号生成部と、収録した映像信号を出力する際、基準信号に応答して基準位置検出用の映像データを映像信号に置き換えて映像のベースバンドの伝送路へ出力する映像収録部と、収録した音声信号を出力する際、基準信号に応答して基準位置検出用の音声データを音声信号に置き換えて音声のベースバンドの伝送路へ出力する音声収録部と、それぞれの伝送路を経て入力される基準位置検出用の映像データと音声データとからそれぞれの基準位置を検出し、その基準位置の差から映像信号と音声信号の遅延差を算出する遅延検出部と、算出された遅延差より映像遅延量および音声遅延量をそれぞれ算出する遅延制御部と、映像遅延量に基づいて映像信号を遅延して映像符号化部へ与える映像遅延部と、音声遅延量に基づいて音声信号を遅延して音声符号化部へ与える音声遅延部を備えたものである。
【発明の効果】
【０００８】
この発明によれば、映像と音声の位相合わせ用の基準信号を生成し、この基準信号に基づいて基準位置検出用の映像データと音声データを映像信号、音声信号に挿入して映像、音声それぞれのベースバンドの伝送路を経て伝送し、符号化・多重化装置内で映像データと音声データから基準位置を検出し、この基準位置の差から入力映像信号と入力音声信号の時間的なズレを検出して、そのズレを補正するようにしたので、ベースバンドの伝送路やフレーム・シンクロナイザなどを経由することにより遅延差が生じても映像と音声の出力時間を一致させることができる。結果、符号化・多重化装置の前段にＡＶ同期調整装置を接続する必要がなくなりシステム構成を簡易化することができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による符号化・多重化システムの機能構成を示すブロック図である。
【図２】この発明の実施の形態１で使用する符号化・多重化装置の詳細な構成を示すブロック図である。
【図３】この発明の実施の形態２による符号化・多重化システムの機能構成を示すブロック図である。
【図４】この発明の実施の形態２で使用する符号化・多重化装置の詳細な構成を示すブロック図である。
【図５】従来の符号化・多重化装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１による符号化・多重化システムの機能構成を示すブロック図である。また、図２は図１の符号化・多重化システムに使用される符号化・多重化装置の詳細な構成を示すブロック図である。
図１において、符号化・多重化装置２５の前段に独立した映像および音声の収録経路として、フレーム・シンクロナイザ２３を有する映像を扱うベースバンドの伝送路やミキサ・スイッチャ（Mixer Switcher）２４を有する音声を扱うベースバンドの伝送路を備えている。映像信号および音声信号はこれらの伝送路を経由することにより相互に遅延を生じ、この遅延が再生時に両信号間の時間的なズレとなって現れる。その対応策のため、この実施の形態１では、収録経路に映像収録部２１、音声収録部２２、これらに基準信号を与える基準信号生成部２６を備え、また符号化・多重化装置２５において、映像、音声の相互の遅延差を検出して取り除く手段を備えている。
【００１１】
後に互いに関連付けるＡＤ変換された映像信号と音声信号がそれぞれ独立して映像収録部２１と音声収録部２２に入力される。基準信号生成部２６は映像と音声の位相合わせを行うための基準位置を指定する基準信号を発生しており、この基準信号は映像収録部２１と音声収録部２２に対して与えられる。映像収録部２１では、基準信号が入力されると、映像信号の基準位置検出用の映像データとして、最初に黒画面の映像フレームデータを数フレーム間送信し、その後、カラーバーの映像フレームへ数フレーム間切り替わる映像データを、入力映像信号に置き替えて出力し、フレーム・シンクロナイザ２３を有する映像のベースバンドの伝送路を経て符号化・多重化装置２５へ与える。ここで、上記黒画面の映像フレームからカラーバーの映像フレームに切り替わった位置がＡＶ同期調整時における映像信号の基準位置となる。なお、フレーム・シンクロナイザ２３は、入力同期信号を装置の内部同期に置きかえるもので、例えば図５に示されている同期信号抽出回路１１、内部同期信号発生回路１２およびフレーム同期回路１３で構成されているものに相当する。
【００１２】
一方、基準信号が同じタイミングで入力された音声収録部２２では、音声信号の基準位置検出用の音声データとして、最初に無音の音声フレームデータを数フレーム間送信し、その後、映像信号の基準位置に同期したタイミングで無音から正弦波へ切り替わる音声フレームデータを音声信号に置き換えて出力し、ミキサ・スイッチャ２４を有する音声のベースバンドの伝送路を経て符号化・多重化装置２５へ与える。ここで、上記無音から正弦波に切り替わった位置がＡＶ同期調整時における音声信号の基準位置となる。
【００１３】
図２に示すように、符号化・多重化装置２５は、映像入力部２７、音声入力部２８、映像遅延部２９、音声遅延部３０、映像符号化部３１、音声符号化部３２、多重化部３３、遅延検出部３４および遅延制御部３５を備えている。
次に、符号化・多重化装置２５の動作について説明する。
フレーム・シンクロナイザ２３から入力される映像信号は映像入力部２７を経て遅延検出部３４と映像遅延部２９へ与えられる。また、ミキサ・スイッチャ２４から入力される音声信号は音声入力部２８を経て遅延検出部３４と音声遅延部３０へ与えられる。遅延検出部３４では、入力された映像信号と音声信号の遅延差を検出し遅延制御部３５に与える。この場合、遅延検出部３４は、映像収録部２１と音声収録部２２において、基準信号のタイミングで挿入されたＡＶ同期調整用の基準位置（映像信号は黒画面からカラーバーに切替ったタイミング、音声信号は無音から正弦波に切替ったタイミング）を検出し、その基準位置の差分より映像信号と音声信号の収録から符号化・多重化装置２５の入力までのベースバンドでの遅延差を算出する。
【００１４】
遅延制御部３５では、遅延検出部３４で検出された映像信号と音声信号の遅延差に基づいて信号相互の位相が合うようにするそれぞれの遅延量を算出し、これを制御量として映像遅延部２９と音声遅延部３０に通知する。映像遅延部２９、音声遅延部３０は、入力された映像信号、音声信号をそれぞれメモリに一定期間保持し、遅延制御部３５より通知された遅延量に基づいて位相が合うように相互の信号を遅延し、後段のそれぞれの対応する映像符号化部３１、音声符号化部３２へ出力する。
【００１５】
映像符号化部３１では、映像遅延部２９で遅延制御された映像信号を所定の方式に従って符号化し多重化部３３へ出力する。また、音声符号化部３２でも、音声遅延部３０で遅延制御された音声信号を所定の方式に従って符号化し多重化部３３へ出力する。多重化部３３では、それぞれ符号化された映像データと音声データを所定の方式に従って多重化してトランスポートストリーム（Transport Stream、以下ＴＳとする）に生成して後段へ出力する。
なお、以上の例では、ＡＶ同期基準位置検出用のデータとして、映像信号は黒画面からカラーバー、音声信号は無音から正弦波を使用したが、代わりに映像信号の補助データや音声信号のユーザー領域を使用してもよく、同様の効果を得ることができる。
【００１６】
以上のように、この実施の形態１によれば、映像と音声の位相合わせ用の基準信号を生成し、この基準信号に基づいて基準位置検出用の映像データと音声データを映像信号、音声信号に挿入して映像、音声それぞれのベースバンドの伝送路を経て伝送し、符号化・多重化装置内で映像データと音声データから基準位置を検出し、この基準位置の差から入力映像信号と入力音声信号の時間的なズレを検出して、そのズレを補正するようにしたので、フレーム・シンクロナイザなどを経由することによりベースバンドで遅延差が生じても映像と音声の出力時間を一致させることができる。結果、符号化・多重化装置の前段にＡＶ同期調整装置を接続する必要がなくなりシステム構成を簡易化することができる。
なお、映像信号と音声信号の同期を合わせる例について説明したが、その他にもデータ信号との同期にも適用でき、同等の効果を奏する。このことは、実施の形態２においても同様である。
【００１７】
実施の形態２．
図３は、この発明の実施の形態２による符号化・多重化システムの機能構成を示すブロック図である。図３において、図１に相当する部分には同一符号を付す。図３は、図１の基準信号生成部２６に代えて、ＳＴＣ（System Time Clock）生成部３６を備えた構成である。ＳＴＣ生成部３６は、ＰＴＳ（Presentation Time Stamp；表示時刻情報）の時刻基準となるシステムタイムクロックを生成する手段である。
図３において、ＳＴＣ生成部３６から映像収録部２１と音声収録部２２に対してタイムスタンプの基準となるＳＴＣが入力される。このＳＴＣを入力された映像収録部２１は、映像信号の補助データ領域にこのＳＴＣ値を付加して出力し、フレーム・シンクロナイザ２３を経て符号化・多重化装置２５へ与える。同様に、音声収録部２２は、ＳＴＣ生成部３６より入力されたＳＴＣ値を音声のユーザデータ領域に付加して出力し、ミキサ・スイッチャ２４を経て符号化・多重化装置２５へ与える。
【００１８】
図４は、図３の符号化・多重化システムに使用される符号化・多重化装置の詳細な構成を示すブロック図である。図４の符号化・多重化装置２５は、映像入力部２７、音声入力部２８、像符号化部３１、音声符号化部３２、多重化部３３、遅延検出部３４および遅延制御部３５を備えている。
次に動作について説明する。
フレーム・シンクロナイザ２３から入力される映像信号は映像入力部２７を経て遅延検出部３４と映像符号化部３１へ与えられる。また、ミキサ・スイッチャ２４から入力される音声信号は音声入力部２８を経て遅延検出部３４と音声符号化部３２へ与えられる。遅延検出部３４では、映像収録部２１で映像信号の補助データ領域に付加されたＳＴＣ値を分離する。また、遅延検出部３４は、同様に音声収録部２２で音声信号のユーザデータ領域に付加されたＳＴＣ値を分離する。そして、遅延検出部３４は、分離した相互のＳＴＣ値を比較してその差分を算出し、遅延制御部３５へ与える。
【００１９】
遅延制御部３５では、遅延検出部３４にて算出されたＳＴＣ値の差分に基づいて映像表示時刻（ＰＴＳ）および音声表示時刻（ＰＴＳ）に加算するオフセット値を算出し、それぞれのオフセット値を映像符号化部３１および音声符号化部３２へ通知する。映像符号化部３１では、映像入力部２７から与えられた映像信号を所定の方式に従って符号化すると共に、遅延制御部３５から入力される映像表示時刻のオフセット値を基に映像表示のＰＴＳを付加する。同様に音声符号化部３２も、音声入力部２８から与えられた音声信号を所定の方式に従って符号化すると共に、遅延制御部３５から入力される音声表示時刻のオフセット値を基に音声表示のＰＴＳを付加する。符号化された映像データおよび音声データは、後段の多重化部３３により多重化されてＴＳに生成され出力される。
【００２０】
以上のように、この実施の形態２によれば、ＡＶ同期調整用の時刻情報を映像信号と音声信号のユーザデータ領域に付加し、符号化・多重化装置内で入力映像信号と入力音声信号の時間的なズレを検出して、そのズレを補正するようにしたので、フレーム・シンクロナイザ機能などを経由することによりベースバンドで遅延差が生じても映像と音声の出力時間を一致させることができる。結果、符号化・多重化装置の前段にＡＶ同期調整装置を接続する必要がなくなりシステム構成を簡易化することができる。また、実施の形態１に比べ映像遅延部、音声遅延部を用いないので、その分、符号化・多重化装置の構成を簡易化できる。
【符号の説明】
【００２１】
２１  映像収録部、２２  音声収録部、２３  フレーム・シンクロナイザ、２４  ミキサ・スイッチャ、２５  符号化・多重化装置、２６  基準信号生成部、２７  映像入力部、２８  音声入力部、２９  映像遅延部、３０  音声遅延部、３１  映像符号化部、３２  音声符号化部、３３  多重化部、３４  遅延検出部、３５  遅延制御部、３６  ＳＴＣ生成部。
【図１】
2010239228.tif 000003
【図２】
2010239228.tif 000004
【図３】
2010239228.tif 000005
【図４】
2010239228.tif 000006
【図５】
2010239228.tif 000007