(57)【要約】【課題】映像と音声を含むストリームの再生において、ストリームがシームレス接続されている場合に、データ再生動作における制御を簡略化する。【解決手段】音声デコード部１２はストリームから分離された音声フレームをデコードし、映像デコード部１３はストリームから分離された映像フレームをデコードする。デコードされた音声データおよび映像データは、同期部１８が時間同期をとりつつ、音声再生部１６および映像再生部１７によって再生される。ストリームが映像フレーム優先でシームレス接続されたシームレス境界を有する場合、音声デコード部１２は、音声フレームのうちシームレス境界の直後のｍ（ｍは１以上の整数）個のフレームを、デコードせずにスキップする。【選択図】図１
2009111608.tif 000002
【特許請求の範囲】
【請求項１】
映像と音声を含むストリームを再生する再生装置であって、
ストリームから分離された音声フレームをデコードする音声デコード部と、
ストリームから分離された映像フレームをデコードする映像デコード部と、
前記音声デコード部によってデコードされた音声データ、および、前記映像デコード部によってデコードされた映像データを、時間同期をとりつつ再生するデータ再生部とを備え、
前記音声デコード部は、
ストリームが、映像フレーム優先でシームレス接続されたシームレス境界を有する場合に、音声フレームのうち前記シームレス境界の直後のｍ（ｍは１以上の整数）個のフレームを、デコードせずにスキップする
ことを特徴とする再生装置。
【請求項２】
請求項１において、
前記ｍは、固定値である
ことを特徴とする再生装置。
【請求項３】
請求項２において、
前記ｍは、２である
ことを特徴とする再生装置。
【請求項４】
請求項１において、
前記音声デコード部は、
前記シームレス境界の前後における映像フレームおよび音声フレームの時刻情報を受け、この時刻情報から、前記ｍを算出する
ことを特徴とする再生装置。
【請求項５】
請求項４において、
前記シームレス境界の前の映像フレームおよび音声フレームの最終時刻をＴＶＥ，ＴＡＥ、前記シームレス境界の後の映像フレームおよび音声フレームの開始時刻をＴＶＳ，ＴＡＳとすると、
ｍ＝ＲＵＰ｛（（ＴＡＥ−ＴＶＥ）−（ＴＡＳ−ＴＶＳ））／フレーム長｝
（ＲＵＰ｛｝は切り上げ演算を示す記号）
である
ことを特徴とする再生装置。
【請求項６】
請求項５において、
前記ＴＶＥおよびＴＶＳは、ストリームとは別に、予め記憶されている
ことを特徴とする再生装置。
【請求項７】
請求項６において、
前記データ再生部は、
前記シームレス境界前の音声再生終了後に、予め記憶された前記ＴＶＥ，ＴＶＳと、前記ＴＡＥ，ＴＡＳとから算出した時間Ｇの間、音声出力を一時停止させるものである
ことを特徴とする再生装置。
【請求項８】
請求項７において、
Ｇ＝ｍ×フレーム長−｛（ＴＡＥ−ＴＶＥ）−（ＴＡＳ−ＴＶＳ）｝
である
ことを特徴とする再生装置。
【請求項９】
請求項４において、
前記音声デコード部は、前記時刻情報の少なくとも一部が欠落していたとき、前記ｍを所定の固定値に設定する
ことを特徴とする再生装置。
【請求項１０】
請求項１において、
前記データ再生部は、
前記シームレス境界の前のストリームにおける最終音声フレームからデコードされた音声データを再生するとき、徐々に音量を下げていく
ことを特徴とする再生装置。
【請求項１１】
請求項１において、
前記データ再生部は、
前記音声デコード部によってスキップされたフレームの次の音声フレームからデコードされた音声データを再生するとき、徐々に音量を上げていく
ことを特徴とする再生装置。
【請求項１２】
映像と音声を含むストリームを再生する再生方法であって、
ストリームから分離された音声フレームをデコードする音声デコードステップと、
ストリームから分離された映像フレームをデコードする映像デコードステップと、
デコードされた音声データおよび映像データを、時間同期をとりながら再生するデータ再生ステップとを備え、
前記音声デコードステップは、
ストリームが、映像フレーム優先でシームレス接続されたシームレス境界を有する場合に、音声フレームのうち前記シームレス境界の直後のｍ（ｍは１以上の整数）個のフレームをスキップするステップを有する
ことを特徴とする再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像と音声を含むストリームを再生する技術に関するものであり、特に、シームレス再生を行う技術に関する。
【背景技術】
【０００２】
ストリーム再生を行う再生装置として、従来から、異なるファイル間の任意フレームでのシームレス再生を行う画像再生装置が知られている（特許文献１を参照）。この画像再生装置では、デコーダを２系統設けて、前ファイルの最終ＧＯＰと後ファイルの先頭ＧＯＰの同時デコードを可能とし、前ファイルの規定フレームまでの再生に続いて後ファイルの規定フレームからの再生をシームレスに行うようにしている。
【特許文献１】特開２００１−９４９３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
例えばあるＢＤ（Blue-ray Disc）規格では、映像フレーム優先でシームレス接続を行った場合に、そのシームレス境界において音声フレームがずれ、シームレス境界前後の音声フレームが時間的にオーバーラップしてしまう、という問題がある。この場合、オーバーラップを考慮せずに音声フレームをそのままデコードし出力しようとした場合、音声と映像の再生時間が異なることにより、リップシンクがずれる問題が発生する。このためオーバーラップした分を重畳して出力する場合、リアルタイムの再生処理を実現するためには、特許文献１のように複数の音声デコーダを用意するか、または、通常の再生速度に必要な速度よりもより高速な音声デコーダの処理能力が必要となり、システムコストが増加する。さらに、映像と同期をとりつつ再生するためには、シームレス境界前後の音声フレームを事前に蓄積して重畳する必要があるため、制御が複雑化してしまい、好ましくない。
【０００４】
このような問題に対して、従来では、上述の背景技術を含めて何ら考慮されていない。
【０００５】
前記の問題に鑑み、本発明は、映像と音声を含むストリームの再生において、ストリームが映像フレーム優先でシームレス接続されている場合に、データ再生動作におけるシステムコストを増加させることなく、さらに制御を簡略化することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、映像と音声を含むストリームの再生において、ストリームから分離された音声フレームをデコードするともに、ストリームから分離された映像フレームをデコードし、デコードされた音声データおよび映像データを、時間同期をとりつつ再生する。そして、ストリームが映像フレーム優先でシームレス接続されたシームレス境界を有する場合に、音声フレームのうちシームレス境界の直後のｍ（ｍは１以上の整数）個のフレームを、デコードせずにスキップするものである。
【０００７】
本発明によると、ストリームが映像フレーム優先でシームレス接続されたシームレス境界を有する場合に、音声フレームのうちシームレス境界の直後のｍ個のフレームが、デコードされずにスキップされる。これにより、シームレス境界前後でオーバーラップしていた音声フレームの一方については、デコードが省かれる。したがって、シームレス境界における音声データのデコード処理量が通常の再生時を超えることがないため、余分なシステムコストが不要になり、かつ再生動作が複雑になることはなく、制御が簡略化される。
【発明の効果】
【０００８】
本発明によると、ストリームが映像フレーム優先でシームレス接続されている場合に、シームレス境界における音声データの再生動作が複雑にならず、データ再生動作における制御を簡略化することができる。また、リアルタイム処理のために複数のデコーダや高速なデコーダは不要になる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
【００１０】
図１は本発明の一実施形態に係る再生装置の構成を示すブロック図である。図１において、１１はストリームから音声フレームおよび映像フレームを分離する分離部、１２は分離部１１によってストリームから分離された音声フレームをデコードする音声デコード部、１３は分離部１１によってストリームから分離された映像フレームをデコードする映像デコード部、１４は音声デコード部１２から出力された音声データを蓄積するバッファメモリ、１５は映像デコード部１３から出力された映像データを蓄積するバッファメモリ、１６は音声データを再生する音声再生部、１７は映像データを再生する映像再生部、１８は音声再生部１６および映像再生部１７のデータ再生動作について時間同期をとるための同期部である。バッファメモリ１４，１５、音声再生部１６、映像再生部１７および同期部１８によって、データ再生部が構成されている。
【００１１】
２０はストリームを出力するとともに、上述した各構成要素を制御するための再生制御部である。再生制御部２０は例えばディスク３１から、映像と音声を含むストリームを再生する。また管理ファイル３２を参照して、読み出した管理情報を同期部１８などに与える。
【００１２】
図２はシームレス境界を含む映像フレームおよび音声フレームの一例を示す図である。図２では、本実施形態が従う規格の一例として、ＢＤ規格シームレス（ＣＣ＝５）を例にとって示している。横軸はＳＴＣ（System Time Clock）である。
【００１３】
図２に示すシームレス境界は、編集により、または、記録時の一時停止などによって発生する。ここでは、シームレス境界では、映像フレーム優先でシームレス接続がなされているものとする。この場合、シームレス境界の前後で音声フレームにずれが生じる。ＢＤ規格により、シームレス境界の前のトランスポートストリームの最終音声フレーム（Ａ（ｎ））、および、シームレス境界の後のトランスポートストリームの開始音声フレーム（Ａ（Ｎ））は、映像フレームのシームレス境界の時刻を含む。このため音声フレームは、シームレス境界において、最大で２フレームオーバーラップする。ただし、ギャップは発生しない。
【００１４】
図２に示すようなシームレス境界をストリームが有する場合、音声フレームをそのままデコードした場合には、データ再生において、同期制御等のために複雑な処理を必要とする。よって、本実施形態では、データ再生動作を簡略化するために、シームレス境界の直後の２個の音声フレームを、デコードせずにスキップするものとする。これにより、その後のデータ再生動作が複雑化することを未然に防止することができる。
【００１５】
図１の装置の動作について説明する。音声デコード部１２は、分離部１１によってストリームから分離された音声フレームをデコードし、映像デコード部１３は、分離部１１によってストリームから分離された映像フレームをデコードする。音声デコード部１２によってデコードされた音声データは、バッファメモリ１４に一旦蓄積された後、音声再生部１６によって再生される。映像デコード部１３によってデコードされた映像データは、バッファメモリ１５に一旦蓄積された後、映像再生部１７によって再生される。同期部１８はＳＴＣを発行することによって、音声再生部１６および映像再生部１７の再生動作の時間同期をとる。この時間同期には、音声データおよび映像データに含まれたＰＴＳ(Presentation Time Stamp)が用いられる。
【００１６】
ここで図３（ａ）に示すように、ストリームが、映像フレーム優先でシームレス接続されたシームレス境界を有する場合には、図１の装置は図３（ｂ）のように動作する。まず、音声再生部１６は、シームレス境界の前のトランスポートストリームＴＳ１の最終音声フレーム（Ａ（ｎ））からデコードされた音声データをミュートする（Ｓ１）。このとき、フェイドアウトを行う、すなわち徐々に音量を下げていくのが好ましい。シームレス境界前の音声データの最終時刻は、同期部１８が再生制御部２０から受けた管理情報を基にして予測することができる。音声再生部１８は、予測した最終時刻から、十分前もってミュートを開始する。
【００１７】
また、音声デコード部１２は、音声フレームとともに送られてくる境界情報から、シームレス境界を検出する。この境界情報は例えば、シームレス境界の前のトランスポートストリームの最終音声フレームに埋め込まれたフラグによって実現される。そして、検出したシームレス境界の直後の音声フレームを、２フレーム、デコードせずにスキップする（Ｓ２）。そして、３番目の音声フレームＡ（Ｎ＋２）をデコードし、デコードが完了すると、スキップ情報としてＮＡＰＴＳ（＝音声フレームＡ（Ｎ＋２）のＰＴＳ）を音声再生部１６に送る（Ｓ３）。
【００１８】
同期部１８は、シームレス境界において同期確立の制御を行う。音声再生部１８は、ＳＴＣがＮＡＰＴＳになるまで再生動作を開始するのを待つ。そして、ＳＴＣがＮＡＰＴＳになったとき、待ちを解除し、音声フレームＡ（Ｎ＋２）からデコードされた音声データについてデータ再生を再開する（Ｓ４）。このとき、フェイドインを行う、すなわち徐々に音量を上げていくのが好ましい。
【００１９】
このような動作によって、ストリームが、映像フレーム優先でシームレス接続されたシームレス境界を有する場合であっても、データ再生において複雑な制御が不要となる。なおここでは、スキップする音声フレームの個数は２としたが、本発明はこれに限られるものではない。例えば、シームレス境界においてオーバーラップする音声フレームが最大でｍ個（ｍは１以上の整数）の場合には、ｍ個の音声フレームをスキップするようにすればよい。
【００２０】
（変形例）
上述した実施形態では、スキップする音声フレームの個数ｍは固定値であるものとしたが、個数ｍを可変にすることも可能である。この場合について説明する。
【００２１】
例えば上述したＢＤ規格の場合、オーバーラップする音声フレームの個数は、図４（ａ）に示すように１個のときもあるし、図４（ｂ）に示すように２個の場合もある。スキップする音声フレームの個数を２に固定していた場合、図４（ａ）のときには、音声フレームをスキップし過ぎることになり、音声データが無駄に削除されてしまい、音声のミュート時間がいたずらに延びる可能性がある。
【００２２】
そこで本変形例では、スキップする音声フレームの個数をその都度算出するものとする。具体的には、シームレス境界の前後における映像フレームおよび音声フレームの時刻情報すなわち境界時刻情報を得て、この境界時刻情報から、スキップする音声フレームの個数ｍを算出する。例えば、シームレス境界の前のトランスポートストリームＴＳ１における映像フレームおよび音声フレームの最終時刻をＴＶＥ，ＴＡＥ、シームレス境界の後のトランスポートストリームＴＳ２における映像フレームおよび音声フレームの開始情報をＴＶＳ，ＴＡＳとすると、次式に従ってｍを算出する。
ｍ＝ＲＵＰ｛（（ＴＡＥ−ＴＶＥ）−（ＴＡＳ−ＴＶＳ））／フレーム長｝
（ただし、ＲＵＰ｛｝は切り上げ演算を示す記号）
【００２３】
このような計算によって、図４（ａ）の場合には、ｍ＝１となり、図４（ｂ）の場合にはｍ＝２となる。したがって、スキップする音声フレームの個数ｍが、音声フレームのオーバーラップ状態に応じて、適切な値に設定される。
【００２４】
この場合、図１の装置構成において、音声デコード部１２は例えば分離部１１から、境界時刻情報としてＴＶＥ，ＴＶＳ，ＴＡＥ，ＴＡＳを得る。なお、境界時刻情報は、必ずしも分離部１１から取得しなくてもよく、例えば再生制御部２０から直接取得してもよい。そして、例えば上の式に従って、スキップする音声フレームの個数ｍを求める。
【００２５】
さらに、特にリアルタイムでの再生処理を行う場合、音声のデコード処理が１つのプロセッサ上の複数のタスクの１つの上で動いているようなシステムにおいては、タスクスケジューリングによる応答遅れを吸収するため音声のデコード処理を事前に行って音声バッファに蓄積する方式がしばしば用いられる。このような場合、映像フレームのデコード・出力処理を待つことなく、音声のデコード処理を行い、スキップ数ｍを決定しなければならない場合がある。特にトランスポートストリーム上では同時刻の音声と映像が同じストリーム位置に符号化されていないため、音声デコード時に映像のデコード結果が得られる保証はない。
【００２６】
このため、再生制御部２０が、トランスポートストリームとは別に予め格納された情報を事前に取得して音声デコード部１２に指示するのが望ましい。その際には、音声デコード部１２は、上述したＴＡＥ，ＴＡＳの取得は可能なものとして、ＴＶＥ，ＴＶＳのみを事前に取得する形が好ましい。すなわち、映像のシームレス境界の時刻情報であるＴＶＥ，ＴＶＳは、ストリームとは別に、予め記憶されているのが好ましい。
【００２７】
さらに、音声再生部１６は、シームレス境界通過後に音声出力と映像出力のリップシンクを合わせるために、図３（ｂ）に示したように、シームレス境界前の音声再生終了後に、音声出力を一時停止させなければならない。この場合、システムの構成上音声再生部１６から映像再生部１７の再生状況が容易に得られないとき、または、再生状況の獲得時間が必要なため厳密なリップシンクの制御ができないとき、音声再生部１６がリップシンクの同期処理を行うことは困難である。そこで、音声再生部１６は予め、映像のシームレス境界の時刻情報であるＴＶＥ，ＴＶＳを再生制御部２０から取得しておき、例えば以下の計算式により、音声出力を一時停止させる時間Ｇを算出する。
Ｇ＝ｍ×フレーム長−｛（ＴＡＥ−ＴＶＥ）−（ＴＡＳ−ＴＶＳ）｝
これにより、音声再生部１６は、映像再生部１７との連携なしにシームレス境界前後でのリップシンクを維持することができる。
【００２８】
それ以外の動作は上述した実施形態と同様であり、ここでは省略する。
【００２９】
なおこの変形例の場合、境界時刻情報の一部または全部が欠落して取得できない場合があり得る。このような場合は、スキップする音声フレームの個数ｍを所定の固定値例えば２に設定して、動作を行うようにすればよい。
【００３０】
なお、上述の実施形態では、ストリームデータはトランスポートストリームからなるものとして説明したが、プログラムストリーム等他の形態のストリームデータでもよい。また、映像および音声がそれぞれ独立したストリームデータであり、それぞれをシームレスに接続して再生する場合にも同様の処理が適用できる。
【産業上の利用可能性】
【００３１】
本発明は、ストリームが映像フレーム優先でシームレス接続されている場合に、データ再生動作における制御を簡略化することができるので、例えば、シームレス再生が可能な再生装置を余分な資源追加なく簡易な構成によって実現するのに有用である。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に係る再生装置の構成を示すブロック図である。
【図２】シームレス境界を有するストリームを示す図である。
【図３】本発明の一実施形態において、シームレス境界を有するストリームを再生する動作を示す図である。
【図４】オーバーラップする音声フレームの個数が異なる場合を示す図である。
【符号の説明】
【００３３】
１２  音声デコード部
１３  映像デコード部
１４  バッファメモリ
１５  バッファメモリ
１６  音声再生部
１７  映像再生部
１８  同期部
【図１】
2009111608.tif 000003
【図２】
2009111608.tif 000004
【図３】
2009111608.tif 000005
【図４】
2009111608.tif 000006