(57)【要約】【課題】多重化デジタルビデオ・オーディオデータのストリームの先頭から話速変換処理できない場合に発生する頭切れを防止することが可能となる画像音声再生装置を提供する。【解決手段】話速変換処理開始前にビデオデータとオーディオデータがビデオ再生部とオーディオ再生部にて話速変換処理できるものであるか否かについて判定し、両方のデータが話速変換処理できると判定されるまでは通常再生を続行し、両方のデータが話速変換処理できると判定されたとき話速変換処理しながらの再生を開始する（ステップＳ２０５〜Ｓ２１０）。【選択図】    図２
2005027127.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータとオーディオデータを話速変換処理しながら再生する画像音声再生装置であって、
話速変換処理開始前にビデオデータとオーディオデータがビデオ再生処理手段とオーディオ再生処理手段にて話速変換処理できるものであるか否かについて判定する機能を有する手段と、
ビデオ再生処理手段とオーディオ再生処理手段を話速変換処理開始時に同期させる機能を有する手段とを備え、ビデオデータとオーディオデータの両方が話速変換処理できると判定されるまでは通常再生を続行し、両方のデータが話速変換処理できると判定されたとき話速変換処理しながらの再生を開始することを特徴とする画像音声再生装置。
【請求項２】
請求項１記載の画像音声再生装置であって、話速変換処理開始後にビデオ再生処理手段とオーディオ再生処理手段のいずれか一方で話速変換処理できなくなったときには、画像と音声が合致するようにその話速変換処理できなくなった再生処理手段にてスキップ処理を行う機能を有する手段を備えることを特徴とする画像音声再生装置。
【請求項３】
請求項１記載の画像音声再生装置であって、ビデオデータとオーディオデータのいずれか一方が欠落している通知を受けると、欠落していない方のデータが話速変換処理可能なデータであれば、そのデータの再生処理手段のみにて話速変換処理を実行する機能を有する手段を備えることを特徴とする画像音声再生装置。
【請求項４】
請求項１乃至３のいずれかに記載の画像音声再生装置であって、話速変換処理開始前にビデオデータとオーディオデータがビデオ再生処理手段とオーディオ再生処理手段にて話速変換処理できるものであるか否かについて判定する機能を有する手段は、ビデオ再生処理手段の制御手段とオーディオ再生処理手段の制御手段からなり、
ビデオ再生処理手段の制御手段は、ビデオデータがビデオ再生処理手段にて話速変換処理できるものであるか否か判定しその判定結果をオーディオ再生処理手段の制御手段へ通知し、
オーディオ再生処理手段の制御手段は、オーディオデータがオーディオ再生処理手段にて話速変換処理できるものであるか否か判定しその判定結果をビデオ再生処理手段の制御手段へ通知し、
ビデオ再生処理手段の制御手段およびオーディオ再生処理手段の制御手段は自らの判定結果と他方の制御手段から受けた判定結果に従って、ビデオ再生処理手段とオーディオ再生処理手段の同期を保つように話速変換処理しながらの再生を開始する、あるいは通常再生を続行することを特徴とする画像音声再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオデータとオーディオデータから画像と音声を再生する画像音声再生装置であって、再生する速度を変更する特殊再生を行う画像音声再生装置に関する。
【０００２】
【従来の技術】
記録媒体に記録された多重化デジタルビデオ・オーディオデータのストリームを再生する画像音声再生装置では、一般にビデオデータとオーディオデータを別々に処理しているため、画像と音声を合致させるための処理が必要になる。通常はストリームに記録された提示時間情報を基に画像と音声を合致させている（例えば、特許文献１参照。）。
【０００３】
画像と音声を合致させる処理は通常再生時に限らず、特殊再生時にも必要になる。特に、再生速度を変更して再生する話速変換再生のようにスムーズな再生が必要になる特殊再生時には、画像と音声が合致していなければ動画としての質は著しく低下する。
【０００４】
そのため、例えばＭＰＥＧ−２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ２）規格のストリームを再生する際にビデオ再生部がＢピクチャーをスキップすることにより話速変換処理を行う装置へＢピクチャーが存在しないストリームが入力された場合など、ビデオ再生部またはオーディオ再生部が話速変換処理を行えない状態に陥った場合には、他方の再生部の話速変換処理を即座に制御してビデオ再生部とオーディオ再生部の同期をとらなければならない。さもなくば、画像と音声がずれたり、音声にノイズがのるなどの問題が発生する。
【０００５】
図４は従来の画像音声再生装置のビデオ再生部とオーディオ再生部における話速変換処理を示すフローチャート図である。
図４に示すように、従来の画像音声再生装置では、ビデオ再生部とオーディオ再生部は、通常再生状態において話速変換処理が要求されると、それぞれ他方の再生部へ話速変換処理要求を受けたことを通知する（ステップＳ４０１〜Ｓ４０３）。
【０００６】
ビデオ再生部とオーディオ再生部は、他方の再生部が話速変換処理要求を受けたことを確認すると、話速変換処理しながらの再生を開始する（ステップＳ４０４〜Ｓ４０５）。なお、話速変換処理の要求を受けてから話速変換再生を開始するまでは、通常再生状態を続けている。
【０００７】
このように、従来の画像音声再生装置では、ビデオ再生部とオーディオ再生部は、話速変換処理の要求を受けかつ他方の再生部が話速変換処理の要求を受けたことを確認した後に話速変換再生を開始する。
【０００８】
話速変換再生を開始すると、ビデオ再生部とオーディオ再生部は、自らおよび他方の再生部が正しく話速変換処理を行っているかどうかを確認する（ステップＳ４０６〜Ｓ４０７）。
【０００９】
ビデオ再生部とオーディオ再生部は自らが正しく話速変換処理を行えなくなると、他方の再生部へそのことを通知し（ステップＳ４０８）、話速変換機能を無効にして自らを通常再生状態にする（ステップＳ４０９）。そして、通常再生を行い話速変換処理を正しく行える状況になったかどうかを確認する（ステップＳ４１０）。
【００１０】
話速変換処理を正しく行える状況になると、話速変換処理の機能を有効にして話速変換処理を再開するとともに、話速変換処理を正しく行える状況になったことを他方の再生部へ通知する（ステップＳ４１１）。
【００１１】
一方、ビデオ再生部とオーディオ再生部は他方の再生部が正しく話速変換処理を行えなくなると、すなわち他方の再生部から正しく話速変換処理を行えなくなったことを伝える通知を受けると、話速変換機能を無効にして自らを通常再生状態にする（ステップＳ４１２）。そして、他方の再生部が正しく話速変換処理を行えるようになると、すなわち、他方の再生部から正しく話速変換処理を行えるようになったことを伝える通知を受けると、話速変換処理の機能を有効にして話速変換処理を再開する（ステップＳ４１３〜Ｓ４１４）。
【００１２】
以上のように従来の画像音声再生装置では、ビデオ再生部およびオーディオ再生部は、自らが正しく話速変換処理を行えない状況になって初めてその情報を他方の再生部へ通知していた。そのため、ビデオ再生部およびオーディオ再生部では、他方の再生部が正しく話速変換処理を行えないことを検出した後に自らの話速変換処理を停止することになり、自らの話速変換処理を停止するときには他方の再生部よりも再生処理が進んでおり、同期ずれが発生する。
【００１３】
同期がずれた場合、従来は進んでいる側の再生処理を停止させていた。すなわち画像と音声の提示時間情報が一致するまで、いずれかの再生処理を停止させていた。その結果、画像と音声の提示時間情報が一致するまで画像が停止するか無音になり、再生品質が著しく低下するという問題があった。
【００１４】
多重化デジタルビデオ・オーディオデータのストリームの先頭から話速変換処理を実現できない場合は、話速変換再生開始直後に同期ずれが発生する。そのため、上述したように、画像と音声の提示時間情報が一致するまでの間片方の再処理生を停止する必要が生ずる。その結果、頭切れが発生する。
【００１５】
話速変換処理を行えない状況が断続的に発生すると、話速変換再生状態と停止状態の間を頻繁に遷移することになり、動画としての質が極めて悪くなる。そこで、従来は、図４に示すように、話速変換処理を行えない状況に陥るとビデオデータとオーディオデータの両方の話速変換処理を中止して通常再生の状態に戻し、話速変換処理を行えるようになると話速変換処理を再開していた。しかしながら、この従来の画像音声再生装置では、通常再生状態から話速変換処理へ復帰するたびに頭切れが発生するという問題があった。
【００１６】
さらに、別の問題として、ビデオ再生部とオーディオ再生部の同期を前提とした装置では、いずれか一方のデータが欠落した場合、ビデオ再生部とオーディオ再生部を同期させる処理はデッドロック状態に陥り話速変換機能が常に無効となる。これは、ビデオデータとオーディオデータのいずれか一方のデータが欠落していると、欠落している方の再生部は話速変換処理を行うことができない状態となり、そのことを他方の再生部へ通知し続けるために起こる。従って、この従来の画像音声再生装置をビデオのみのデータまたはオーディオのみのデータの話速変換再生に用いることはできないという問題があった。
【００１７】
【特許文献１】
特開平８−１４００５４号公報
【００１８】
【発明が解決しようとする課題】
本発明は、上記問題点に鑑み、話速変換処理開始前にビデオデータとオーディオデータがビデオ再生部とオーディオ再生部にて話速変換処理できるものであるか否かについて判定し、両方のデータが話速変換処理できると判定されるまでは通常再生を続行し、両方のデータが話速変換処理できると判定されたとき話速変換再生（話速変換処理しながらの再生）を開始することにより、データの先頭から話速変換処理できない場合に発生する頭切れを防止することが可能となる画像音声再生装置を提供することを目的とする。
【００１９】
また、話速変換処理開始後にビデオ再生部とオーディオ再生部のいずれか一方で話速変換処理できなくなったときには、画像と音声が合致するようにその話速変換処理できなくなった再生部にてスキップ処理を行うことにより、話速変換処理を行えない状況が断続的に発生する場合であっても、通常再生状態と話速変換再生状態との間を頻繁に遷移することなく話速変換再生を行うことができる画像音声再生装置を提供することを目的とする。
【００２０】
また、ビデオデータとオーディオデータのいずれか一方が欠落している通知を話速変換処理開始前に受けると、欠落していない方のデータが話速変換処理を可能なデータであれば、そのデータのみの話速変換処理を実行することにより、ビデオのみのデータまたはオーディオのみのデータの話速変換再生に用いることができる画像音声再生装置を提供することを目的とする。
【００２１】
【課題を解決するための手段】
本発明の請求項１記載の画像音声再生装置は、ビデオデータとオーディオデータを話速変換処理しながら再生する画像音声再生装置であって、話速変換処理開始前にビデオデータとオーディオデータがビデオ再生処理手段とオーディオ再生処理手段にて話速変換処理できるものであるか否かについて判定する機能を有する手段と、ビデオ再生処理手段とオーディオ再生処理手段を話速変換処理開始時に同期させる機能を有する手段とを備え、ビデオデータとオーディオデータの両方が話速変換処理できると判定されるまでは通常再生を続行し、両方のデータが話速変換処理できると判定されたとき話速変換処理しながらの再生を開始することを特徴とする。
【００２２】
本発明の請求項２記載の画像音声再生装置は、請求項１記載の画像音声再生装置であって、話速変換処理開始後にビデオ再生処理手段とオーディオ再生処理手段のいずれか一方で話速変換処理できなくなったときには、画像と音声が合致するようにその話速変換処理できなくなった再生処理手段にてスキップ処理を行う機能を有する手段を備えることを特徴とする。
【００２３】
本発明の請求項３記載の画像音声再生装置は、請求項１記載の画像音声再生装置であって、ビデオデータとオーディオデータのいずれか一方が欠落している通知を受けると、欠落していない方のデータが話速変換処理可能なデータであれば、そのデータの再生処理手段のみにて話速変換処理を実行する機能を有する手段を備えることを特徴とする。
【００２４】
本発明の請求項４記載の画像音声再生装置は、請求項１乃至３のいずれかに記載の画像音声再生装置であって、話速変換処理開始前にビデオデータとオーディオデータがビデオ再生処理手段とオーディオ再生処理手段にて話速変換処理できるものであるか否かについて判定する機能を有する手段は、ビデオ再生処理手段の制御手段とオーディオ再生処理手段の制御手段からなり、ビデオ再生処理手段の制御手段は、ビデオデータがビデオ再生処理手段にて話速変換処理できるものであるか否か判定しその判定結果をオーディオ再生処理手段の制御手段へ通知し、オーディオ再生処理手段の制御手段は、オーディオデータがオーディオ再生処理手段にて話速変換処理できるものであるか否か判定しその判定結果をビデオ再生処理手段の制御手段へ通知し、ビデオ再生処理手段の制御手段およびオーディオ再生処理手段の制御手段は自らの判定結果と他方の制御手段から受けた判定結果に従って、ビデオ再生処理手段とオーディオ再生処理手段の同期を保つように話速変換処理しながらの再生を開始する、あるいは通常再生を続行することを特徴とする。
【００２５】
本発明によれば、話速変換処理が不可能になる問題が発生した場合であっても、再生品質を著しく下げることなく画像音声再生を行うことができるようになる。
話速変換処理開始前にビデオデータとオーディオデータがビデオ再生処理手段とオーディオ再生処理手段にて話速変換処理できるものであるか否かについて判定し、両方のデータが話速変換処理できると判定されるまでは通常再生を続行し、両方のデータが話速変換処理できると判定されたとき話速変換再生を開始するので、データの先頭から話速変換処理できない場合に発生する頭切れを防止することができる。
【００２６】
また、話速変換処理開始後にビデオ再生処理手段とオーディオ再生処理手段のいずれか一方で話速変換処理できなくなったときには、画像と音声が合致するようにその話速変換処理できなくなった再生処理手段にてスキップ処理を行うので、話速変換処理を行えない状況が断続的に発生する場合であっても、通常再生状態と話速変換再生状態との間を頻繁に遷移することなく話速変換再生を行うことができる。そのため、従来のように通常再生状態と話速変換再生状態との間を遷移して頻繁に頭切れが発生することを回避することができる。
【００２７】
また、ビデオデータとオーディオデータのいずれか一方が欠落している通知を話速変換処理開始前に受けると、欠落していない方のデータが話速変換処理を可能なデータであれば、ビデオ再生処理手段とオーディオ再生処理手段を同期させることなく、そのデータのみの話速変換処理を実行するので、ビデオのみのデータまたはオーディオのみのデータの話速変換再生に用いることができる。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を交えて説明する。なお、ここで示す実施の形態はあくまでも一例であって、必ずしも以下の実施の形態に限定されるものではない。
【００２９】
図１は本実施の形態に係る画像音声再生装置の概略ブロック図である。
該画像音声再生装置は、多重化デジタルビデオ・オーディオデータ（多重化されたビデオ・オーディオストリーム）、あるいはビデオストリームもしくはオーディオストリームを入力とし、多重化デジタルビデオ・オーディオデータはビデオストリームとオーディオストリームへ分離して、それぞれのデコーダへ入力し、デコード処理されたそれぞれのデータをビデオ再生部とオーディオ再生部にて再生処理する。
【００３０】
ビデオ再生部およびオーディオ再生部は、ビデオ再生処理手段とその制御手段およびオーディオ再生処理手段とその制御手段を含み、両方の制御手段にて、話速変換処理開始前にビデオデータとオーディオデータがビデオ再生部（ビデオ再生処理手段）とオーディオ再生部（オーディオ再生処理手段）にて話速変換処理できるものであるか否かについて判定する機能を実現する。
【００３１】
つまり、ビデオ再生部は、ビデオデータが話速変換処理できるものであるか否か判定しその判定結果をオーディオ再生部へ通知し、オーディオ再生部は、オーディオデータが話速変換処理できるものであるか否か判定しその判定結果をビデオ再生部へ通知し、ビデオ再生部およびオーディオ再生部は自らの判定結果と他方の制御手段から受けた判定結果に従って、ビデオ再生部とオーディオ再生部の同期を保つように話速変換再生を開始する、あるいは通常再生を続行する。
【００３２】
なお、無論、話速変換処理開始前にビデオデータとオーディオデータがビデオ再生部（ビデオ再生処理手段）とオーディオ再生部（オーディオ再生処理手段）にて話速変換処理できるものであるか否かについて判定する機能を有する手段を、ビデオ再生部とオーディオ再生部の外部に設けてもよい。また、一つの制御手段で実現してもよい。
【００３３】
さらに、ビデオ再生部およびオーディオ再生部は、話速変換処理開始後にいずれか一方で話速変換処理できなくなったときには、画像と音声が合致するようにその話速変換処理できなくなった再生部にてスキップ処理を行う機能を有する。
【００３４】
また、ビデオ再生部およびオーディオ再生部は、ビデオデータとオーディオデータのいずれか一方が欠落している通知を受けると、欠落していない方のデータが話速変換処理を可能なデータであれば、そのデータの再生部のみにて話速変換処理を実行する機能を有する。
【００３５】
図２、３は本実施の形態に係る画像音声再生装置のビデオ再生部とオーディオ再生部における話速変換処理を示すフローチャート図である。
図２、３に示すように、この画像音声再生装置では、ビデオ再生部とオーディオ再生部は、通常再生状態において話速変換処理が要求されると、それぞれ他方の再生部へ話速変換処理要求を受けたことを通知する（ステップＳ２０１〜Ｓ２０３）。
【００３６】
ビデオ再生部とオーディオ再生部は、他方の再生部が話速変換処理要求を受けたことを確認した後、そのまま通常再生を続行し、話速変換処理を開始する前に、現在再生処理中のデータが話速変換処理を可能なデータか否かについて判定する（ステップＳ２０４〜Ｓ２０６）。
【００３７】
この判定処理は、例えばビデオ再生部がＢピクチャーをスキップすることにより話速変換処理を行っている場合であれば、話速変換処理要求を受けた後、通常再生を続行してデオデータにＢピクチャーが存在するか否かを判定するなど、再生処理するデータに応じて行う。
【００３８】
この判定処理を導入することにより、多重化デジタルビデオ・オーディオデータのストリームなどの入力されるデータの先頭から話速変換処理を実施できない場合に起こる頭切れを防ぐことができる。
【００３９】
判定の結果、話速変換処理できないデータである場合は通常再生を続行する。
話速変換処理を可能なデータである場合には、ビデオ再生部とオーディオ再生部は、他方のデータは存在しないとの通知がなされているか否かの確認を行う（ステップＳ２０７）。この通知は、図１に示す再生機構の外部よりなされる。
【００４０】
そして、他方のデータが存在しないときには、他方の再生部との同期処理を無効にして、単独で話速変換処理しながらの再生を開始する（ステップＳ２１０）。このようにすれば、ビデオデータとオーディオデータのいずれか一方のデータが欠落している場合であっても、つまり現在処理中のデータがビデオデータもしくはオーディオデータのみのデータであっても、話速変換再生を実施することが可能となる。
【００４１】
他方のデータが存在するときには、他方の再生部との同期処理を行う。すなわち、ビデオ再生部とオーディオ再生部は、現在処理中のデータが話速変換処理を可能なデータであったことを他方の再生部へ通知する（ステップＳ２０８）。ビデオ再生部とオーディオ再生部は、他方の再生部が正しく話速変換処理を行えることを確認すると話速変換処理しながらの再生を開始する（ステップＳ２０９〜Ｓ２１０）。正しく行えないときには通常再生を続行する。このようにすれば、話速変換処理開始時にビデオ再生部とオーディオ再生部の同期を確保することができる。
【００４２】
なお、以上のように、話速変換処理の要求を受けてから話速変換再生を開始するまでは、通常再生を続けることになる。
話速変換再生を開始すると、ビデオ再生部とオーディオ再生部は、自らおよび他方の再生部が正しく話速変換処理を行っているかどうかを確認する（ステップＳ２１１〜Ｓ２１２）。
【００４３】
ビデオ再生部とオーディオ再生部は自らが正しく話速変換処理を行えなくなると、スキップ再生によって画像と音声を合致させることができるか否かを確認する（ステップＳ２１３）。合致させることができる場合には、他方の再生部にて話速変換処理を実行したまま、話速変換処理を正しく行えるようになるまで話速変換機能を無効にしてスキップ再生処理を行う（ステップＳ２１４）。合致させることができない場合には、話速変換処理を正しく行えていないことを他方の再生部へ通知し、話速変換機能を無効にして自らを通常再生状態にする（ステップＳ２１５）。
【００４４】
一方、ビデオ再生部とオーディオ再生部は他方の再生部が正しく話速変換処理を行えなくなると、すなわち他方の再生部から正しく話速変換処理を行えなくなったことを伝える通知を受けると、話速変換機能を無効にして自らを通常再生状態にする（ステップＳ２１１）。
【００４５】
このように、本実施の形態では、話速変換処理を行えない状況が断続的に発生するデータ、例えばＢピクチャーを含むビデオデータとＢピクチャーを含まないビデオデータが混在するようなデータを再生する場合であっても、スキップ再生処理により画像と音声を合致させることができる場合には一方をスキップ再生し他方を話速変換再生するので、通常再生状態と話速変換再生状態との間を頻繁に遷移することなく話速変換再生を行うことができる。そのため、従来のように通常再生状態と話速変換再生状態との間を遷移して頻繁に頭切れが発生することを回避することができる。
【００４６】
なお、本実施の形態では、多重デジタルビデオ・オーディオデータのストリームをビデオストリームとオーディオストリームに分離した後、デコード処理して得たビデオデータとオーディオデータをビデオ再生部とオーディオ再生部へ入力したが、無論、ビデオデータとオーディオデータをビデオ再生部とオーディオ再生部へ直接入力する構成であってもよい。
【００４７】
【発明の効果】
以上のように、本発明によれば、話速変換処理が不可能になる問題が発生した場合であっても、再生品質を著しく下げることなく画像音声再生を行うことができるようになる。
【００４８】
話速変換処理開始前にビデオデータとオーディオデータがビデオ再生処理手段とオーディオ再生処理手段にて話速変換処理できるものであるか否かについて判定し、両方のデータが話速変換処理できると判定されるまでは通常再生を続行し、両方のデータが話速変換処理できると判定されたとき話速変換再生を開始するので、データの先頭から話速変換処理できない場合に発生する頭切れを防止することができる。
【００４９】
また、話速変換処理開始後にビデオ再生処理手段とオーディオ再生処理手段のいずれか一方で話速変換処理できなくなったときには、画像と音声が合致するようにその話速変換処理できなくなった再生処理手段にてスキップ処理を行うので、話速変換処理を行えない状況が断続的に発生する場合であっても、通常再生状態と話速変換再生状態との間を頻繁に遷移することなく話速変換再生を行うことができる。そのため、従来のように通常再生状態と話速変換再生状態との間を遷移して頻繁に頭切れが発生することを回避することができる。
【００５０】
また、ビデオデータとオーディオデータのいずれか一方が欠落している通知を話速変換処理開始前に受けると、欠落していない方のデータが話速変換処理を可能なデータであれば、ビデオ再生処理手段とオーディオ再生処理手段を同期させることなく、そのデータのみの話速変換処理を実行するので、ビデオのみのデータまたはオーディオのみのデータの話速変換再生に用いることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像音声再生装置の概略ブロック図
【図２】本発明の実施の形態に係る画像音声再生装置のビデオ再生部とオーディオ再生部における話速変換処理を示すフローチャート図
【図３】本発明の実施の形態に係る画像音声再生装置のビデオ再生部とオーディオ再生部における話速変換処理を示すフローチャート図
【図４】従来の画像音声再生装置のビデオ再生部とオーディオ再生部における話速変換処理を示すフローチャート図
【図１】
2005027127.tif 000003
【図２】
2005027127.tif 000004
【図３】
2005027127.tif 000005
【図４】
2005027127.tif 000006