(57)【要約】【課題】  ＰＴＳの付随しないオーディオデータであってもビデオデータに同期した再生を行う。【解決手段】  ビデオデータ、オーディオデータを重畳した信号から映像信号、音声信号を出力する同期再生装置であって、ビデオデータを一時保持するビデオバッファと、オーディオデータを一時保持するオーディオバッファと、ビデオデータをデコードし、映像信号を出力するビデオデコーダと、オーディオデータをデコードし、音声信号を出力するオーディオデコーダと、ビデオバッファに蓄積されているビデオデータの量を取得し、蓄積量信号を出力するビデオバッファ蓄積量取得部と、ビデオデコーダがデコードするビデオデータのビットレートを取得し、ビットレート信号を出力するビットレート取得部と、蓄積量信号およびビットレート信号に基づいてオーディオデコーダの出力する音声信号のタイミングを決定する同期制御部とを有する同期再生装置。【選択図】  図１
2006340102.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータ、オーディオデータを重畳した信号から映像信号、音声信号をそれぞれ出力する同期再生装置であって、
前記ビデオデータ及びオーディオデータを分離するデータ分離部と、
前記データ分離部により分離されたビデオデータを一時保持するビデオバッファと、
前記データ分離部により分離されたオーディオデータを一時保持するオーディオバッファと、
前記ビデオバッファに一時保持されたビデオデータをデコードし、映像信号を出力するビデオデコーダと、
前記オーディオバッファに一時保持されたオーディオデータをデコードし、音声信号を出力するオーディオデコーダと、
前記ビデオバッファに蓄積されているビデオデータの量を取得し、蓄積量信号を出力するビデオバッファ蓄積量取得部と、
前記ビデオデコーダがデコードするビデオデータのビットレートを取得し、ビットレート信号を出力するビットレート取得部と、
前記蓄積量信号および前記ビットレート信号に基づいてオーディオデコーダの出力する音声信号のタイミングを決定する同期制御部とを有する同期再生装置。
【請求項２】
前記同期制御部は前記ビデオバッファに蓄積されているビデオデータの量と前記ビットレートから前記音声信号の遅延量を計算していることを特徴とする請求項１に記載の同期再生装置。
【請求項３】
前記同期再生装置は、さらに前記同期制御部の計算した遅延量に基づいて前記音声信号の出力を遅延させる出力遅延制御部を有していることを特徴とする請求項２に記載の同期再生装置。
【請求項４】
前記遅延量は、前記ビデオバッファに蓄積されているビデオデータの量を前記ビデオデコーダがデコードするビデオデータのビットレートで除することにより決定されることを特徴とする請求項２あるいは３に記載の同期再生装置。
【請求項５】
前記同期制御部は、前記オーディオデコーダの出力する音声信号の再同期を行うタイミングを決定することを特徴とする請求項１乃至４のいずれか１項に記載の同期再生装置。
【請求項６】
前記同期制御部は、前記オーディオデコーダの出力する第１のオーディオデータに基づいた音声信号の出力を一時停止し、第２のオーディオデータに基づいた音声信号を出力するタイミングを決定することを特徴とする請求項１乃至４のいずれか１項に記載の同期再生装置。
【請求項７】
ビデオデータ、オーディオデータを重畳した信号から映像信号、音声信号をそれぞれ再生する同期再生方法であって、
前記ビデオデータ及びオーディオデータを分離し、
前記分離されたビデオデータを一時保持し、
前記分離されたオーディオデータを一時保持し、
前記一時保持されているビデオデータの量を取得し、
前記ビデオデータをデコードするビットレートを取得し、
前記一時保持されているビデオデータの量および前記ビットレートに基づいてオーディオデータをデコードして音声信号を出力するタイミングを決定する同期再生方法。
【請求項８】
前記音声信号を出力するタイミングは、前記一時保持されているビデオデータの量と前記ビットレートに基づいて、前記音声信号を出力するまでの遅延時間を計算していることを特徴とする請求項７に記載の同期再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオデータ及びオーディオデータの同期再生装置及び同期再生方法に関し、特に複数のオーディオデータを含むデータのオーディオデータとビデオデータの同期再生に関する。
【背景技術】
【０００２】
ビデオデータおよびオーディオデータの符号化、およびこれらのデータの多重化に関する国際規格として、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）規格が広く知られている。ＭＰＥＧ規格に基づいて記録されたビデオデータ、オーディオデータにはＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）と呼ばれる時間同期を取るための情報が付加されている。例えば、ビデオデータに対応して複数のオーディオデータを持つようなストリームの場合、このＰＴＳにより映像を再生したまま音声のみを切り替えることが出来る。
【０００３】
ＭＰＥＧ方式により記録された映像／音声の再生装置の普及に伴い、映像／音声をＭＰＥＧ方式で記録する装置やパーソナルコンピュータを用いて記録を行うソフトウェアも普及している。しかしこれらの中にはＭＰＥＧの規格を独自に解釈したため、このＰＴＳを含まないＭＰＥＧストリームを作成するものがある。このＰＴＳを含まないＭＰＥＧストリームでは、映像と音声の同期を取るために映像と音声を共に停止した後に音声を切り替えて再生を再開しなければならない。
【０００４】
そこで、このようなＭＰＥＧストリームで同期を取る技術として特許文献１に記載された技術がある。特許文献１に記載の技術では、オーディオデータは常に一定間隔で挿入されることを前提としており、この前提と記録媒体であるＣＤの特性を利用してオーディオデータの仮想ＰＴＳを計算している。さらに、この仮想のＰＴＳとビデオデータに付随するＰＴＳの同期を取ることで、ビデオデータとオーディオデータの同期を行っている。
【特許文献１】特開平６-２７５０５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、オーディオデータの仮想のＰＴＳを求めるために記録媒体の特性を利用しなければならなかった。
【課題を解決するための手段】
【０００６】
本発明の実施態様に関わる同期再生装置は、ビデオデータ、オーディオデータを重畳した信号から映像信号、音声信号をそれぞれ出力する同期再生装置であって、ビデオデータ及びオーディオデータを分離するデータ分離部と、データ分離部により分離されたビデオデータを一時保持するビデオバッファと、データ分離部により分離されたオーディオデータを一時保持するオーディオバッファと、ビデオバッファに一時保持されたビデオデータをデコードし、映像信号を出力するビデオデコーダと、オーディオバッファに一時保持されたオーディオデータをデコードし、映像信号を出力するオーディオデコーダと、ビデオバッファに蓄積されているビデオデータの量を取得し、蓄積量信号を出力するビデオバッファ蓄積量取得部と、ビデオデコーダがデコードするビデオデータのビットレートを取得し、ビットレート信号を出力するビットレート取得部と、蓄積量信号およびビットレート信号に基づいてオーディオデコーダの出力する音声信号のタイミングを決定する同期制御部とを有する。
【０００７】
また、本発明の実施態様に関わる同期再生方法は、ビデオデータ、オーディオデータを重畳した信号から映像信号、音声信号をそれぞれ再生する同期再生方法であって、ビデオデータ及びオーディオデータを分離し、データ分離部により分離されたビデオデータを一時保持し、データ分離部により分離されたオーディオデータを一時保持し、一時保持されているビデオデータの量を取得し、ビデオデータをデコードするビットレートを取得し、一時保持されているビデオデータの量およびビットレートに基づいてオーディオデータをデコードして音声信号を出力するタイミングを決定する。
【発明の効果】
【０００８】
記録媒体によらず、ＰＴＳがオーディオデータに付随しないＭＰＥＧストリームであっても映像と音声を同期させた再生が可能である。
【発明を実施するための最良の形態】
【０００９】
図１は、本発明の実施の形態に関わる同期再生装置のブロック図を示す。この実施の形態の同期再生装置は、ＭＰＥＧ２などの規格に基づいたストリームを受け取り、その映像信号と音声信号を同期させて再生するものである。
【００１０】
図１に示す同期再生装置は、基本的な再生装置の構成としてデマルチプレクサ１０、ビデオバッファ１１、ビデオデコーダ１２、オーディオバッファ１３、オーディオデコーダ１４、システムデコーダ１５を有している。本実施の形態の同期再生装置はさらに、ビデオバッファ蓄積量取得部２１、ビットレート取得部２２、ＰＴＳ検出部２３、同期制御部２４、出力遅延制御部２５を有している。
【００１１】
デマルチプレクサ１０は、入力されるＭＰＥＧストリームを分離し、ビデオデータ、オーディオデータ、再生情報として出力する分離装置である。
【００１２】
ビデオバッファ１１は、デマルチプレクサから出力されたビデオデータを一時保持するバッファである。この実施の形態では、ビデオバッファ１１は、ＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）型である。
【００１３】
ビデオデコーダ１２は、ビデオバッファ１１から出力されたビデオデータをデコードし、映像信号を出力する。
【００１４】
オーディオバッファ１３は、デマルチプレクサから出力されたオーディオデータを一時保持するバッファである。この実施の形態では、オーディオバッファ１３は、ＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）型である。
【００１５】
オーディオデコーダ１４は、オーディオバッファ１３から出力されたオーディオデータをデコードし、音声信号を出力する。
【００１６】
システムデコーダ１５は、デマルチプレクサ１０から出力された再生情報からタイミングを制御するためのＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）が生成される。このＳＴＣは、ビデオデータとオーディオデータの出力のタイミングを制御する。
【００１７】
ビデオバッファ蓄積量取得部２１はビデオバッファ１１内にあるビデオデータの蓄積量を取得し、蓄積量に対応する蓄積量信号Ｓ１を出力している。
【００１８】
ビットレート取得部２２はビデオデコーダ１２が映像信号を出力する際のビットレートを取得し、ビットレート信号Ｓ２を出力している。
【００１９】
ＰＴＳ検出部２３は、オーディオバッファ１３を介してオーディオデコーダ１４に入力されたオーディオデータから、ＰＴＳが検出できるかどうかを判定し、ＰＴＳ検出信号Ｓ３を出力する。
【００２０】
同期制御部２４は、上記の蓄積量信号Ｓ１、ビットレート信号Ｓ２、ＰＴＳ検出信号Ｓ３を元に、音声信号と映像信号の同期を図るために、音声信号の出力タイミングを決定する。
【００２１】
出力遅延制御部２５は、同期制御部２４が決定した音声信号の出力タイミングに従ってオーディオデコータ１４が出力する音声信号の遅延制御を行う。
【００２２】
以上のように構成された同期再生装置の動作について以下に説明する。ここでは、１つのビデオデータに対して、例えば二ヶ国語音声のように複数のオーディオデータが入力され、その音声を切り替える場合を例にして説明する。図２は、例えばオーディオデータＡとオーディオデータＢが入力されていた場合に、そのオーディオデータを切り替える場合を例にした音声切り替えのフローチャートを示す。
【００２３】
音声切り替えが指示された場合、まず、ステップＳ２０１において、オーディオデータの入力が停止され、オーディオデータＡに基づいた音声出力が停止される。その後、ステップＳ２０２において、オーディオバッファ１３が初期化される。この時、オーディオバッファ１３内に保持されていたオーディオデータＡは、廃棄される。
【００２４】
ステップＳ２０３において、入力されるオーディオデータを、オーディオデータＢに切り替え、オーディオバッファ１３にオーディオデータＢが蓄積される。ステップＳ２０４において、オーディオデコーダ１４が、オーディオバッファ１３に蓄積されたオーディオデータＢのデコードを開始する。
【００２５】
ステップＳ２０５において、デコードしたオーディオデータからＰＴＳが付随されるかどうかの判定を行う。この判定はＰＴＳ検出手段２３によって行われる。オーディオデータにＰＴＳが付随していた場合は、ＰＴＳ検出部２３の出力するＰＴＳ検出信号Ｓ３がＰＴＳが付随していることを示す。同期再生装置は、ＰＴＳ検出信号Ｓ３がＰＴＳが含まれていることを示した場合には以下の動作を行う。
【００２６】
ステップＳ２０６において、オーディオデータＢに付随するＰＴＳをオーディオデコーダ１４が取得する。また、オーディオデコーダ１４は、システムデコーダ１５からＳＴＣを取得する（ステップＳ２０７）。オーディオデコーダ１４は、オーディオデータＢから取得したＰＴＳと、システムデコーダ１５から取得したＳＴＣを比較し（ステップＳ２０８）、オーディオデータの出力タイミングにあわせた音声データ出力を開始する。
【００２７】
ステップＳ２０５において、入力されるＭＰＥＧストリームのオーディオデータにＰＴＳが付随していない場合、ＰＴＳ検出部２３は、ＰＴＳが付随していないことを検出し、ＰＴＳがついていないことを示すＰＴＳ検出信号Ｓ３を出力する。本実施の形態の同期再生装置は、この信号に応じて以下のような動作を行う。
【００２８】
ステップＳ２１０においてビデオバッファ蓄積量取得部２１が、ビデオバッファ１１に蓄積されているビデオデータの量を取得する。また、ビットレート取得部２２は、ビデオデコーダ１２が出力する映像信号のビットレートを取得する（ステップＳ２１１）。
【００２９】
ステップＳ２１２において、ビデオバッファ１１内に蓄積されているデータの再生時間を以下の式により算出する。
ビデオバッファ１１に蓄積されているデータ量（ｂｉｔ）／ビットレート（ｂｉｔ／ｓ）
この式により、ビデオバッファ１１に蓄積されているビデオデータの再生時間を求めることが出来る。
【００３０】
ステップＳ２１３では、上記の式から切り替えたオーディオデータＢの遅延時間を決定する。この遅延時間とは、ＭＰＥＧストリームに含まれるビデオデータに対し、同時に出力すべきオーディオデータのタイミングを合わせるためにオーディオデータＢのデコードを遅延すべき時間である。つまり、オーディオデータをオーディオデータＡからオーディーデータＢに切り替えた瞬間にオーディオデータＢに基づいたデコード、音声出力を開始してしまうと、仮にビデオバッファに、未再生のビデオデータが蓄積されていた場合、映像出力と音声出力の再生がずれてしまう場合がある。そこで、本実施の形態では、映像出力と音声出力を出力する時刻を合わせるために、オーディオデータＢのデコードを遅延すべき時間が求められる。そこで、上記のビデオの再生時間を元に、再生を中止したオーディオデータＡの再生終了時点から、次に再生するオーディオデータの再生開始時点までの遅延時間を同期制御部２４が設定する。出力遅延制御部２５は、この同期制御部２４が設定した遅延時間を元に音声信号の出力を遅延させて出力し、音声切り替えを終了する。
【００３１】
以下に図３および図４を用いて本実施の形態の詳細な動作について説明する。図３は、オーディオデータにＰＴＳが付随している場合の同期再生の様子を示す模式図である。図３（ａ）は入力されるＭＰＥＧストリームを示している。図３（ｂ）は、ビデオバッファ１１、オーディオバッファ１３に蓄積されるデータを示し、図３（ｃ）は、出力される映像信号、音声信号を示しているとする。
【００３２】
図３（ｃ）で、ｔ１で示している時点でビデオバッファ１１およびオーディオバッファ１３にはすでにビデオデータ（ＶＤ）及びオーディオデータＡ（ＡＤ（Ａ））がすでにＰＴＳ３に示す部分まで蓄えられていたとする。ここで音声切り替えが発生した場合、オーディオバッファ１３にはＰＴＳ４に対応する部分からオーディオデータが蓄積される。ビデオバッファ１１内のビデオデータは特に影響を受けず連続的に映像信号として出力される。一方、音声切り替えによりＰＴＳ２、ＰＴＳ３のオーディオデータＡは不要となる。そのためＰＴＳ２とＰＴＳ３のオーディオデータＡは音声出力されない。そしてＳＴＣがＰＴＳ４に相当するタイミングに合わせて、ビデオデータのＰＴＳ４に相当する部分と、オーディオデータＢのＰＴＳ４に相当する部分をそれぞれ映像信号、音声信号として出力することで映像と音声の同期再生が行われ、音声切り替えを終了する。
【００３３】
図４は、オーディオデータにＰＴＳが付随していない場合の音声切り替えを説明するための図である。図４（ａ）は入力されるＭＰＥＧストリームを示している。図４（ｂ）は、ビデオバッファ１１、オーディオバッファ１３に蓄積されるデータを示し、図４（ｃ）は、出力される映像信号、音声信号を示しているとする。本実施の形態では音声信号をオーディオデータＢに対応する信号に切り替えて出力するタイミングを決定する方法がＰＴＳが付随している場合と異なっている。
【００３４】
図４（ｃ）で、ｔ２で示している時点でビデオバッファ１１およびオーディオバッファ１３にはすでにビデオデータ（ＶＤ）及びオーディオデータＡ（ＡＤ（Ａ））がすでにＰＴＳ３に示す部分まで蓄えられていたとする。
【００３５】
例えば、このｔ２のタイミングで音声切り替えが発生した場合、ＦＩＦＯ型のオーディオバッファ１３には、それまでに蓄積したオーディオデータＡよりも後にオーディーデータＢに対応するデータが蓄積されていく。ただし、ＰＴＳがない場合は、このオーディオデータＢに対応する音声出力をどのタイミングで出力してよいかが不明なため、以下のような制御を行う。
【００３６】
音声切り替え信号が外部より入力された場合、その時点でオーディオバッファ１３に蓄積されているデータは不要なデータとなるため、音声切り替え信号が入力された瞬間までのデータは音声出力をしないものとする。
【００３７】
その後、音声切り替え信号に基づいて、オーディオデータＢに対応するデータがオーディオバッファ１３に入力される。このオーディオデータＢに対応するデータがオーディオバッファ１３に入力されたときに、上記したビデオバッファ蓄積量取得部２１、ビットレート取得部２２により、オーディオデータＢに対応するデータが入力された時点でのビデオバッファ１１の蓄積量、ビットレートが同期制御部２４へと入力される。ここで言うビデオバッファ１１の蓄積量とは、上記したオーディオデータＡの出力が停止されオーディオデータＢに切り替えられたときにビデオバッファに蓄積されまだ出力されていない映像信号の量である。図４で、具体的に示せばＶＤ(ＰＴＳ２)＋ＶＤ(ＰＴＳ３)の容量に相当する。同期制御部２４では、この時の蓄積量信号Ｓ１、ビットレート信号Ｓ２から上述の式を用いて音声出力の遅延量を計算する。そして、出力遅延制御部２５は、この同期制御部２４が決定した遅延時間に基づいてオーディオデータＢに対応するデータのデコード、音声出力を開始する。
【００３８】
このように制御することで映像信号と音声信号の同期を図ることが可能となる。また、記録媒体などに依存する仮想のＰＴＳをオーディオデータに割り付けるものではなく、音声切り替えが行われた時点でのビデオバッファ蓄積量およびデコードのタイミングから映像出力と音声出力の同期を取るものであるため、仮にＭＰＥＧストリームがどのような媒体に記録されていたとしても、映像と音声の同期を図ることが可能となる。
【００３９】
また実施の形態においては音声切り替えの場合を例に説明したが、例えば再生速度の切り替えなどが行われた場合も本発明は適用可能である。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施の形態に関わる同期再生装置を示すブロック図である。
【図２】本発明の実施の形態の動作を示すフローチャートである。
【図３】本発明の実施の形態における入力ストリームと出力音声信号、出力信号を示す図である。
【図４】本発明の実施の形態における入力ストリームと出力音声信号、出力信号を示す図である。
【符号の説明】
【００４１】
１０    デマルチプレクサ
１１    ビデオバッファ
１２    ビデオデコーダ
１３    オーディオバッファ
１４    オーディオデコーダ
１５    システムデコーダ
２１    ビデオバッファ蓄積量取得部
２２    ビットレート取得部
２３    ＰＴＳ検出部
２４    同期制御部
２５    出力遅延制御部
Ｓ１    蓄積量信号
Ｓ２    ビットレート信号
Ｓ３    ＰＴＳ検出信号
【図１】
2006340102.tif 000003
【図２】
2006340102.tif 000004
【図３】
2006340102.tif 000005
【図４】
2006340102.tif 000006