(57)【特許請求の範囲】
【請求項１】
受信手段が受信したデジタル放送から分離した音声ストリームと、前記デジタル放送から分離した音声ストリームと映像ストリームをデコードして得た同期のとれた音声信号及び映像信号を前記受信手段から供給されるリップシンク制御装置であって、
前記受信手段から供給される音声ストリームをデコードして出力するデコード手段と、
前記受信手段から供給される音声信号と、前記デコード手段から供給される音声信号との間の時間ずれ量を検出する時間ずれ検出手段と、
前記デコード手段から供給される音声信号と、前記受信手段から供給される映像信号との少なくともいずれか一方を、前記時間ずれ検出手段で検出した時間ずれ量だけ遅延して前記デコード手段から供給される音声信号と前記受信手段から供給される映像信号との同期をとって出力する遅延手段とを
有することを特徴とするリップシンク制御装置。
【請求項２】
請求項１記載のリップシンク制御装置において、
前記時間ずれ検出手段は、前記受信手段から供給される音声信号のサンプル群と前記デコード手段から供給される音声信号のサンプル群を同時に取り込み、一方のサンプル群で連続する所定数のサンプル列を他方のサンプル群に対して順次遅延させながら前記他方のサンプル群の連続する所定数のサンプル列との相関演算を行い、相関値が最小となる遅延量を一方のサンプル群に対する他方のサンプル群の時間ずれ量として検出することを特徴とするリップシンク制御装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、リップシンク制御装置に関し、映像と音声の同期をとるリップシンク制御装置に関するものである。
【０００２】
【従来の技術】
デジタル放送を受信するテレビ一体型の受像機やセットトップボックスでは、映像情報及び音声情報に含まれているタイムスタンプ情報等の時間情報をもとに映像情報と音声情報との同期をとるリップシンク制御が行われている。
【０００３】
しかし、近年の家庭等の視聴環境ではＡＶ（Ａｕｄｉｏ  Ｖｉｓｕａｌ）アンプ等の外部機器のデコーダを利用して音声が出力される場合が多い。外部機器のデコーダでは、タイムスタンプ情報等を用いて音声情報を映像情報に同期させるリップシンク制御機能は持っておらず、入力された音声情報を速やかにデコードして音声出力させている。
【０００４】
【発明が解決しようとする課題】
従来のＡＶアンプに含まれるＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）デコーダでは、タイムスタンプ情報を用いて音声情報を映像情報に同期させるリップシンク制御は行われてないため、外部機器でデコードにかかる時間分だけ音声が遅延してしまう。あるいは、セットトップボックスから音声情報を出力するタイミングはタイムスタンプ情報等で管理されているわけではないために、ＡＣＣデコーダへの音声情報の入力タイミングによっては映像の遅延が発生する。上記の音声または映像の遅延量は明確でないため、映像出力と音声出力には同期のずれが発生するという問題があった。
【０００５】
本発明は、上記の点に鑑みなされたもので、外部機器のデコーダを利用して音声が出力する際に、映像出力と音声出力とのリップシンクを合わすことのできるリップシンク制御装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の発明は、受信手段が受信したデジタル放送から分離した音声ストリームと、前記デジタル放送から分離した音声ストリームと映像ストリームをデコードして得た互いに同期のとれた音声信号及び映像信号を前記受信手段から供給されるリップシンク制御装置であって、
前記受信手段から供給される音声ストリームをデコードして出力するデコード手段と、
前記受信手段から供給される音声信号と、前記デコード手段から供給される音声信号との間の時間ずれ量を検出する時間ずれ検出手段と、
前記デコード手段から供給される音声信号と、前記受信手段から供給される映像信号との少なくともいずれか一方を、前記時間ずれ検出手段で検出した時間ずれ量だけ遅延して前記デコード手段から供給される音声信号と前記受信手段から供給される映像信号との同期をとって出力する遅延手段とを有することにより、
外部機器のデコーダを利用して音声を出力する際に、映像出力と音声出力とのリップシンクを合わすことができる。
【０００７】
請求項２に記載の発明は、請求項１記載のリップシンク制御装置において、
前記時間ずれ検出手段は、前記受信手段から供給される音声信号のサンプル群と前記デコード手段から供給される音声信号のサンプル群を同時に取り込み、一方のサンプル群で連続する所定数のサンプル列を他方のサンプル群に対して順次遅延させながら前記他方のサンプル群の連続する所定数のサンプル列との相関演算を行い、相関値が最小となる遅延量を一方のサンプル群に対する他方のサンプル群の時間ずれ量として検出することにより、
受信手段から供給される音声信号と、デコード手段から供給される音声信号との時間ずれ量を正確に検出することができる。
【０００８】
【発明の実施の形態】
図１は、本発明装置の第１実施例のブロック構成図を示す。同図中、セットトップボックス１０は、受信したデジタル放送から分離した音声ストリームをデコードして得たアナログまたはデジタルの音声信号を出力すると共に、受信したデジタル放送から分離したデコードされてない音声ストリームを出力し、更に、受信したデジタル放送から分離した映像ストリームをデコードして得たアナログまたはデジタルの映像信号を出力する。上記のアナログまたはデジタルの音声信号とアナログまたはデジタルの映像信号とは音声ストリームと映像ストリームそれぞれに含まれるタイムスタンプ情報を用いてリップシンクがとれている。なお、音声信号と映像信号と共に音声ストリームを出力するものであればセットトップボックス１０をテレビ一体型の受像機に代えても良い。
【０００９】
セットトップボックス１０の出力するアナログまたはデジタルの音声信号は外部機器２０に供給され、音声信号がアナログの場合は外部機器２０内のＡ／Ｄ変換部２２でデジタル化されて遅延量測定器２４に供給される。音声信号がデジタルの場合はＡ／Ｄ変換部２２をバイパスして直接、遅延量測定器２４に供給される。一方、デコードされてない音声ストリームは外部機器２０内の例えばＡＡＣデコーダ等のデコーダ２６に供給され、ここでデジタルの音声信号にデコードされて遅延量測定器２４及び音声遅延部２８に供給される。
【００１０】
遅延量測定器２４は、Ａ／Ｄ変換部２２からのデジタル音声信号とデコーダ２６からのデジタル音声信号とを同時に例えば１秒間分だけ取り込む。上記のＡ／Ｄ変換部２２から取り込んだデジタル音声信号を入力Ａサンプル群と呼び、デコーダ２６から取り込んだデジタル音声信号を入力Ｂサンプル群と呼ぶ。遅延量測定器２４は、入力Ａサンプル群の先頭から連続する所定数ｎ（ｎは例えば数１０サンプル）のサンプル列を、入力Ｂサンプル群に対して順次遅延させながら入力Ｂサンプル群の連続する所定数のサンプル列との相関演算を行う。
【００１１】
例えば図２に示す入力Ａサンプル群と、図３に示す入力Ｂサンプル群とが得られた場合について説明する。ｎ＝１１とした場合、まず、入力Ａサンプル群の第１〜第１１サンプルのサンプル列Ａ１〜Ａ１１と、遅延量ｋ＝０［サンプル周期］の入力Ｂサンプル群の第１〜第１１サンプルのサンプル列Ｂ１〜Ｂ１１との相関値Ｅ０を（１）式により求める。
【００１２】
【数１】
0004313522.tif 000002
また、入力Ａサンプル群の第１〜第１１サンプルのサンプル列Ａ１〜Ａ１１と、遅延量ｋ＝１の入力Ｂサンプル群の第１〜第１２サンプルのサンプル列Ｂ２〜Ｂ１２との相関値Ｅ１を（１）式により求め、同様にして相関値Ｅ２〜Ｅ９を（１）式により求める。この様子を図４に示す。図４では左端の２列の欄に入力Ａサンプル群と入力Ｂサンプル群との各サンプルの値を示し、その右方の欄に入力Ａサンプルと入力Ｂサンプルとの偏差の２乗を示すと共に、各欄の最下行には相関値Ｅ０〜Ｅ９を示している。
【００１３】
遅延量測定器２４は、上記の相関値Ｅ０〜Ｅ９のうち最小となる相関値がＥ７であることから、入力Ａサンプル群に対する入力Ｂサンプル群の遅延量が７サンプル周期であることを検出する。これにより、遅延量測定器２４はデコーダ２６からデジタルの音声信号を供給されている音声遅延部２８に対して遅延量７［サンプル周期］を指示し、セットトップボックス１０からアナログまたはデジタルの映像信号を供給されている映像遅延部３０に対して遅延量０［サンプル周期］を指示する。
【００１４】
この指示により、音声遅延部２８はデジタルの音声信号を７サンプル周期だけ遅延して端子３２より出力し、また、映像遅延部３０はアナログまたはデジタルの映像信号を０サンプル周期だけ遅延つまり遅延なしで端子３４より出力する。これによって、端子３２，３４から同期のとれた、つまりリップシンクの合ったデジタルの音声信号と映像信号とが出力される。
【００１５】
図５は、本発明装置の第２実施例のブロック構成図を示す。この実施例はデジタルの映像信号に対し音声ストリームが遅れることが予めわかっている場合に適応される。同図中、図１と同一部分には同一符号を付す。図５において、セットトップボックス１０は、受信したデジタル放送から分離した音声ストリームをデコードして得たアナログまたはデジタルの音声信号を出力すると共に、受信したデジタル放送から分離したデコードされてない音声ストリームを出力し、更に、受信したデジタル放送から分離した映像ストリームをデコードして得たアナログまたはデジタルの映像信号を出力する。上記のアナログまたはデジタルの音声信号とアナログまたはデジタルの映像信号とは音声ストリームと映像ストリームそれぞれに含まれるタイムスタンプ情報を用いてリップシンクがとれている。なお、音声信号と映像信号と共に音声ストリームを出力するものであればセットトップボックス１０をテレビ一体型の受像機に代えても良い。
【００１６】
セットトップボックス１０の出力するアナログまたはデジタルの音声信号は外部機器２０に供給され、音声信号がアナログの場合は外部機器２０内のＡ／Ｄ変換部２２でデジタル化されて遅延量測定器２４に供給される。音声信号がデジタルの場合はＡ／Ｄ変換部２２をバイパスして直接、遅延量測定器２４に供給される。一方、デコードされてない音声ストリームは外部機器２０内の例えばＡＡＣデコーダ等のデコーダ２６に供給され、ここでデジタルの音声信号にデコードされて遅延量測定器２４に供給されると共に端子３２に向けて出力される。
【００１７】
遅延量測定器２４は、Ａ／Ｄ変換部２２からのデジタル音声信号とデコーダ２６からのデジタル音声信号とを同時に例えば１秒間分だけ取り込む。上記のＡ／Ｄ変換部２２から取り込んだデジタル音声信号を入力Ａサンプル群と呼び、デコーダ２６から取り込んだデジタル音声信号を入力Ｂサンプル群と呼ぶ。遅延量測定器２４は、入力Ａサンプル群の先頭から連続する所定数（例えば数１０サンプル）のサンプル列と、入力Ｂサンプル群に対して順次遅延させながら入力Ｂサンプル群の連続する所定数のサンプル列との相関演算を行う。相関演算については、図２〜図４を用いた前述の説明と全く同一であるので省略する。
【００１８】
遅延量測定器２４は、得られた複数の相関値のうち最小となる相関値から入力Ａサンプル群に対する入力Ｂサンプル群の時間ずれ量を検出する。これにより、遅延量測定器２４は、セットトップボックス１０からアナログまたはデジタルの映像信号を供給されている映像遅延部３０に対して検出時間ずれ量だけの遅延を指示する。
【００１９】
この指示により、映像遅延部３０はデジタルの映像信号を検出時間ずれ量だけ遅延して端子３４より出力する。これによって、端子３２，３４から同期のとれた、つまりリップシンクの合ったデジタルの音声信号と映像信号とが出力される。
【００２０】
図６は、本発明装置の第３実施例のブロック構成図を示す。この実施例は音声ストリームに対しアナログまたはデジタルの映像信号が遅れることが予めわかっている場合に適応される。同図中、図１と同一部分には同一符号を付す。図６において、セットトップボックス１０は、受信したデジタル放送から分離した音声ストリームをデコードして得たアナログまたはデジタルの音声信号を出力すると共に、受信したデジタル放送から分離したデコードされてない音声ストリームを出力し、更に、受信したデジタル放送から分離した映像ストリームをデコードして得たアナログまたはデジタルの映像信号を出力する。上記のアナログまたはデジタルの音声信号とアナログまたはデジタルの映像信号とは音声ストリームと映像ストリームそれぞれに含まれるタイムスタンプ情報を用いてリップシンクがとれている。なお、音声信号と映像信号と共に音声ストリームを出力するものであればセットトップボックス１０をテレビ一体型の受像機に代えても良い。
【００２１】
セットトップボックス１０の出力するアナログまたはデジタルの音声信号は外部機器２０に供給され、音声信号がアナログの場合は外部機器２０内のＡ／Ｄ変換部２２でデジタル化されて遅延量測定器２４に供給される。音声信号がデジタルの場合はＡ／Ｄ変換部２２をバイパスして直接、遅延量測定器２４に供給される。一方、デコードされてない音声ストリームは外部機器２０内の例えばＡＡＣデコーダ等のデコーダ２６に供給され、ここでデジタルの音声信号にデコードされて遅延量測定器２４及び音声遅延部２８に供給される。
【００２２】
遅延量測定器２４は、Ａ／Ｄ変換部２２からのデジタル音声信号とデコーダ２６からのデジタル音声信号とを同時に例えば１秒間分だけ取り込む。上記のＡ／Ｄ変換部２２から取り込んだデジタル音声信号を入力Ａサンプル群と呼び、デコーダ２６から取り込んだデジタル音声信号を入力Ｂサンプル群と呼ぶ。遅延量測定器２４は、入力Ａサンプル群の先頭から連続する所定数（例えば数１０サンプル）のサンプル列と、入力Ｂサンプル群に対して順次遅延させながら入力Ｂサンプル群の連続する所定数のサンプル列との相関演算を行う。相関演算については、図２〜図４を用いた前述の説明を全く同一であるので省略する。
【００２３】
遅延量測定器２４は、得られた複数の相関値のうち最小となる相関値から入力Ｂサンプル群に対する入力Ａサンプル群の時間ずれ量を検出する。これにより、遅延量測定器２４は、デコーダ２６からデジタルの音声信号を供給されている音声遅延部２８に対して検出時間ずれ量だけの遅延を指示する。
【００２４】
この指示により、音声遅延部２８はデジタルの音声信号を検出時間ずれ量だけ遅延して端子３２より出力する。これによって、端子３２，３４から同期のとれた、つまりリップシンクの合ったデジタルの音声信号と映像信号とが出力される。
【００２５】
なお、セットトップボックス１０が請求項記載の受信手段に対応し、デコーダ２６がデコード手段に対応し、遅延量測定器２４が時間ずれ検出手段に対応し、音声遅延部２８，映像遅延部３０が遅延手段に対応する。
【００２６】
【発明の効果】
上述の如く、請求項１に記載の発明によれば、外部機器のデコーダを利用して音声が出力する際に、映像出力と音声出力とのリップシンクを合わすことができる。
【００２７】
また、請求項２に記載の発明によれば、受信手段が受信したデジタル放送からデコードした音声信号と、デコード手段から供給される音声信号との時間ずれ量を正確に検出することができる。
【図面の簡単な説明】
【図１】本発明装置の第１実施例のブロック構成図である。
【図２】入力Ａサンプル群を示す図である。
【図３】入力Ｂサンプル群を示す図である。
【図４】相関演算の様子を示す図である。
【図５】本発明装置の第２実施例のブロック構成図である。
【図６】本発明装置の第３実施例のブロック構成図である。
【符号の説明】
１０  セットトップボックス
２０  外部機器
２２  Ａ／Ｄ変換部
２４  遅延量測定器
２６  デコーダ
２８  音声遅延部
３０  映像遅延部
【図１】
0004313522.tif 000003
【図２】
0004313522.tif 000004
【図３】
0004313522.tif 000005
【図４】
0004313522.tif 000006
【図５】
0004313522.tif 000007
【図６】
0004313522.tif 000008