(57)【特許請求の範囲】
【請求項１】
符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生装置であって、
前記ストリームを取得する信号取得部と、
取得した前記ストリームを分離して復号化することにより、映像データおよび音声データを生成し、第１のずれ判定時間における第１の映像および第１の音声を再生する復号再生部と、
前記第１のずれ判定時間における前記第１の映像と前記第１の音声との再生時のずれ量を判定するずれ判定部と、
前記第１のずれ判定時間の次の第２のずれ判定時間において再生される第２の映像の複雑さの度合いを示す映像重要度を算出する映像重要度算出部と、
前記第１のずれ判定時間の次の第２のずれ判定時間において再生される第２の音声の音量の特徴を示す音声重要度を算出する音声重要度算出部と、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像重要度、前記音声重要度に基づき決定された音声と映像のいずれかを優先して補正することで、前記映像と前記音声との再生時のずれを補正するよう前記第２の映像および前記第２の音声の再生を制御する自動補正部と、
を有することを特徴とする再生装置。
【請求項２】
前記映像重要度は、前記映像の符号化の際に付加される量子化係数、データ量、または動きベクトル長の総量のいずれか少なくとも１つに基づいて算出されることを特徴とする請求項１に記載の再生装置。
【請求項３】
前記音声重要度は、前記音声データの所定周波数範囲毎の音量の時間的変化量の平均値、または前記音声データの所定周波数範囲毎の音量の平均値のいずれか少なくとも１つに基づいて算出されることを特徴とする請求項１または請求項２に記載の再生装置。
【請求項４】
前記自動補正部は、さらに、復号前の前記第２の映像中に非参照ピクチャがあるか否かに基づき前記第２の映像と前記第２の音声との再生時のずれを補正することを特徴とする請求項１から請求項３のいずれか一項に記載の再生装置。
【請求項５】
前記自動補正部は、
前記音声データを操作する音声操作部と、
前記映像データを操作する映像操作部と、
を有し、
復号前の前記映像中に非参照ピクチャがあるか否か、および前記映像重要度と前記音声重要度との大小関係に基づき、前記再生時のずれを補正する際に音声操作部と映像操作部のいずれの操作を優先するかを決定することを特徴とする請求項４に記載の再生装置。
【請求項６】
前記自動補正部は、
前記映像重要度が前記音声重要度より大きいときには、前記音声操作部の操作を優先し、
前記音声重要度が前記映像重要度より大きいときには、前記映像操作部による操作を行うことにより前記映像と前記音声の再生時のずれを補正することを特徴とする請求項５に記載の再生装置。
【請求項７】
符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生方法であって、
前記ストリームを取得し、
第１のずれ判定時間、前記ストリームに基づき第１の映像および第１の音声を再生し、
第１のずれ判定時間、前記ストリームに基づき第１の映像および第１の音声を再生し、
前記第１のずれ判定時間における第１の映像と第１の音声との再生時のずれ量を判定し、
前記第１のずれ判定時間の次の第２のずれ判定時間において再生される第２の映像の複雑さの度合いを示す映像重要度を算出し、
前記第２のずれ判定時間において再生される第２の音声の音量の特徴を示す音声重要度を算出し、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像重要度、前記音声重要度に基づき決定された音声と映像のいずれかを優先して補正することで、前記映像と前記音声との再生時のずれを補正するよう前記第２のずれ判定時間における前記第２の映像および前記第２の音声の再生を制御することを特徴とする再生方法。
【請求項８】
符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する処理をコンピュータに実行させるためのプログラムであって、
前記ストリームを取得し、
第１のずれ判定時間、前記ストリームに基づき第１の映像および第１の音声を再生し、
前記第１のずれ判定時間における前記第１の映像と前記第１の音声との再生時のずれ量を判定し、
前記第１のずれ判定時間の次の第２のずれ判定時間において再生される第２の映像の複雑さの度合いを示す映像重要度を算出し、
前記第２のずれ判定時間において再生される第２の音声の音量の特徴を示す音声重要度を算出し、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像重要度、前記音声重要度に基づき決定された音声と映像のいずれかを優先して補正することで、前記映像と前記音声との再生時のずれを補正するよう前記第２のずれ判定時間における前記第２の映像および前記第２の音声の再生を制御する処理を前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生装置、再生方法およびプログラムに関する。
【背景技術】
【０００２】
動画のコンテンツにおいては、映像と音声が別々の切り離された情報であるため、映像と音声との同期をとる必要がある。しかし、例えばフレームレートが３０ｆｐｓのコンテンツで、１秒間あたり３０枚と決まっている映像に対し、音声は連続したストリームであり、映像１枚ごとに対応して区切られた音声があるわけではない。また、映像と音声はそれぞれのデータ量に差がある。特に、映像データと音声データのデータ量が大きく違ってくる理由として、映像のデータ量は、高画質になるにしたがって飛躍的に大きくなること、同じ動画内であっても、画面の精細度によって一定時間あたりのデータ量が大きく変化することなどがある。これに対し、音声データ量は大きく変化しない。
【０００３】
このように、映像データはフレームなどによる区切りがあるのに対し、音声データが区切りのないデータであること、音声データと映像データは、データ量に差があること等が、映像と音声のずれの原因となる。しかし、映像と音声との同期をとることは人手によるところが大きく、必ずしも正確とはいえないため、ずれの少ない同期を実行することが課題である。
【０００４】
このような課題に対応する例として、例えば、映像と音声とを別々のクロックで再生する再生装置がある。この再生装置では、動画データの再生に先立ち音声データを無音再生させ、その再生時間から音声データ用クロックと映像データ用クロックとの誤差を演算し、再生時のタイミングを調整する。また、映像データと音声データとの再生位置のずれを、音量レベルが特定値よりも低い区間の音声データの再生速度を変更することにより同期させる方法もある。さらに、音声データを一定時間周期で区切り、データを接続することにより再生速度を変更する例もある。再生速度の変更は、区切り位置近くの音声データの波形スタイルに応じて、切り出し開始および終了点を決めて波形を接続することにより行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−７１４０号公報
【特許文献２】特開２００６−０５０３６２号公報
【特許文献３】特開平０６−２５９０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のように、単に映像と音声とを再生速度を変えることにより同期させる方法では、同期する瞬間に音声または映像あるいはその両方が途切れてしまうことがあり、視聴者に違和感や不快感をもたらす。また、他の処理の割り込み等があってリアルタイム処理ができない状態が継続し、映像と音声の同期がずれてしまった場合には、そのずれを修正することが難しい。すなわち処理能力の不足のため、再生映像がコマ落ちしてしまう、音声が途切れてしまう、ずれがある一定間隔のまま修正されない、など、視聴者に違和感、不快感を与える問題がある。
【０００７】
そこで本発明は、違和感のない映像と音声との同期が可能な再生装置、再生方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
ひとつの態様である再生装置は、符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生装置である。この再生装置において、信号取得部は、前記ストリームを取得する。復号再生部は、取得した前記ストリームを分離して復号化することにより、映像データおよび音声データを生成し、第１のずれ判定時間における第１の映像および第１の音声を再生する。ずれ判定部は、前記第１のずれ判定時間における前記第１の映像と前記第１の音声との再生時のずれ量を判定する。映像重要度算出部は、前記第１のずれ判定時間の次の第２のずれ判定時間において再生される第２の映像の複雑さの度合いを示す映像重要度を算出する。音声重要度算出部は、前記第１のずれ判定時間の次の第２のずれ判定時間において再生される第２の音声の音量の特徴を示す音声重要度を算出する。自動補正部は、前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像と前記音声との再生時のずれを補正するよう前記第２の映像および前記第２の音声の再生を制御することを特徴としている。
【０００９】
別の態様である再生方法は、符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生方法である。この再生方法においては、前記ストリームを取得し、第１のずれ判定時間、前記ストリームに基づき第１の映像および第１の音声を再生し、前記第１のずれ判定時間における第１の映像と第１の音声との再生時のずれ量を判定する。また、前記第１のずれ判定時間の次の第２のずれ判定時間において再生される第２の映像の複雑さの度合いを示す映像重要度を算出し、前記第２のずれ判定時間において再生される第２の音声の音量の特徴を示す音声重要度を算出する。この再生方法では、前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像と前記音声との再生時のずれを補正するよう前記第２のずれ判定時間における前記第２の映像および前記第２の音声の再生を制御することを特徴としている。
【００１０】
なお、上述した本発明に係る方法をコンピュータに行わせるためのプログラムであっても、このプログラムを当該コンピュータによって実行させることにより、上述した本発明に係る方法と同様の作用・効果を奏するので、前述した課題が解決される。
【発明の効果】
【００１１】
上述した態様によれば、違和感のない映像と音声との同期が可能な再生装置、再生方法およびプログラムが提供される。
【図面の簡単な説明】
【００１２】
【図１】一実施の形態による再生装置の構成を示すブロック図である。
【図２Ａ】一実施の形態による再生装置の機能を示すブロック図である。
【図２Ｂ】一実施の形態による再生装置の機能を示すブロック図である。
【図３】一実施の形態による再生装置の動作を示すフローチャートである。
【図４Ａ】一実施の形態による再生装置の動作を示すフローチャートである。
【図４Ｂ】一実施の形態による再生装置の動作を示すフローチャートである。
【図４Ｃ】一実施の形態による再生装置の動作を示すフローチャートである。
【図５】一実施の形態による周波数領域毎の音量の算出方法を説明する図である。
【図６】標準的なコンピュータのハードウエア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して実施の形態を説明する。まず、図１および図２Ａ、図２Ｂを参照しながら、一実施の形態による再生装置１の構成について説明する。図１は、本実施の形態による再生装置の構成を示すブロック図、図２Ａ、図２Ｂは、本実施の形態による再生装置１の機能を示すブロック図である。本実施の形態による再生装置１は、ローカル環境において映像及び音声のコンテンツデータをデコードし再生する際に、音声および映像を同期させる機能を有する。再生装置１は、例えば、携帯情報端末（Ｐｅｒｓｏｎａｌ  Ｄａｔａ  Ａｓｓｉｓｔａｎｔｓ：ＰＤＡ）、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ：ＰＣ）、移動電話機などとして実現される。
【００１４】
図１に示すように、再生装置１は、入力再生部５、ずれ判定部７、音声重要度判定部９、映像重要度判定部１１、比較評価部１３、自動補正部１５、記憶部３５、タイマ３７を有し、互いにシステムバス１７で接続され、主制御部３により制御される。入力再生部５は、信号取得部１９、分離部２１、音声復号部２３、音声再生部２５、映像復号部２７、映像再生部２９を有している。自動補正部１５は、音声操作部３１、映像操作部３３を有している。
【００１５】
図１、図２Ａ、図２Ｂに示すように信号取得部１９は、符号化された映像データおよび符号化された音声データを含むストリーム５３を取得する。分離部２１は、信号取得部１９で取得されたストリーム５３を符号化された映像データの映像ストリーム５７と符号化された音声データの音声ストリーム５５とに分離する。
【００１６】
音声復号部２３は、音声ストリーム５５を復号化しつつ、自動補正部１５からの出力に応じた操作を行って、再生可能な音声データを生成する。音声再生部２５は、自動補正部１５からの再生開始箇所に関する情報と音声復号部２３からの音声データとに基づき、音声を再生する。映像復号部２７は、映像ストリーム５７を復号化し、自動補正部１５からの出力に応じた操作を行って、再生可能な映像データを生成する。映像再生部２９は、自動補正部１５からの再生開始箇所に関する情報と、映像復号部２７からの映像データとに基づき映像を再生する。
【００１７】
ずれ判定部７は、音声再生部２５で再生された音声と、映像再生部２９で再生された映像とのずれ量を判定する。音声重要度判定部９は、音声復号部２３で復号化された音声データに基づき音声重要度ＳＬを算出する。映像重要度判定部１１は、分離部２１で分離された映像ストリーム５７に基づき映像重要度ＩＬを算出する。比較評価部１３は、算出された音声重要度ＳＬと映像重要度ＩＬとを比較する。
【００１８】
自動補正部１５は、比較評価部１３における比較結果に基づき、コンテンツデータの再生状態を自動的に補正する装置であり、音声操作部３１においては音声データを操作し、映像操作部３３においては映像データを操作する。音声操作部３１においては、ずれ量および音声データに基づき、無音間引き操作６１、無音補間操作６３、または再生速度変更操作６５の少なくとも一つが行われる。映像操作部３３においては、ずれ量および映像データに基づき、フレーム間引き操作６７、またはフレーム補間操作６９が行われる。
【００１９】
記憶部３５は、Ｒａｍｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）等であり、上記操作を行うためのプログラムや、映像ストリーム５７、復号化された映像データ、音声ストリーム５５、復号化された音声データなどを格納する。主制御部３は、再生装置１の動作を制御するための演算処理装置である。
【００２０】
以下、図３から図５を参照しながら、本実施の形態による再生装置１の動作を説明する。図３、図４Ａ〜図４Ｃは、再生装置１の動作を示すフローチャートである。図３に示すように、信号取得部１９が動画コンテンツ等の符号化された音声データおよび映像データを含むストリームを取得し、ストリームは、分離部２１により映像ストリームと音声ストリームに分離される（Ｓ１００）。主制御部３は、ずれ判定部７により、閾値Ａの設定を行う（Ｓ１０１）。音声復号部２３は、音声ストリーム５５についてある程度のバッファ分デコードを行うが、このバッファ長が閾値Ａとされ、例えば１秒とすることができる。
【００２１】
続いて、主制御部３は、ずれ判定部７により、閾値Ｂを、閾値Ａに対応する動画のフレーム数として算出する（Ｓ１０１）。すなわち、ずれ判定部７は、ストリーム５３から、閾値Ａの時間に対応するフレーム数を算出し、これを閾値Ｂとする。例えば、閾値Ａ＝１秒のとき、動画のフレームレートから閾値Ｂ＝３０フレームと算出される。
【００２２】
入力再生部５は、動画および音声の再生を開始するとともに、図示せぬ音声タイマ、動画カウンタを起動する（Ｓ１０２）。音声タイマは、計時機能を有し、音声の再生済みサンプル数を計数することにより、再生済みの音声の時間を計測する。すなわち、音声タイマの値は、再生済み音声サンプル数を音声のサンプリングレートで割ったものである。動画カウンタは、計数機能を有し、表示した映像のフレーム数を計数する。
【００２３】
入力再生部５は、動画を１フレーム再生する（Ｓ１０３）。すなわち、音声復号部２３は、音声ストリーム５５を復号化して音声データを作成し、音声再生部２５は、音声データを再生する。また、映像復号部２７は、映像ストリーム５７を復号化し、映像データを作成し、映像再生部２９は、動画を再生する。
【００２４】
ずれ判定部７は、１フレーム再生された時点で、これまで再生された映像のフレーム数を示す動画カウンタの値（動画カウンタ値ＩＣｔ）と閾値Ｂとを比較する（Ｓ１０４）。ずれ判定部７は、動画カウンタ値ＩＣｔが閾値Ｂに満たないと判別すると（Ｓ１０４：Ｙｅｓ）、現在映像再生部２９が再生しているフレームが、映像ストリームのＧｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ（ＧＯＰ）端か否か判定する（Ｓ１０７）。現在再生しているフレームがＧＯＰ端でない場合には（Ｓ１０７：Ｎｏ）、処理はＳ１０３に戻り、追加で１フレーム再生を行う。
【００２５】
現在再生している部分がＧＯＰ端である場合には（Ｓ１０７：Ｙｅｓ）、音声と映像とは、ＧＯＰ長に含まれる数のフレームが再生された際のずれを判定されることになる。ここで、ずれを判定される区間をずれ判定区間ＪＡということにする。ここでは、ずれ判定区間ＪＡ＝ＧＯＰ長となる。
【００２６】
動画カウンタ値ＩＣｔが閾値Ｂ以上のときであって（Ｓ１０４：Ｎｏ）、動画カウンタ値ＩＣｔが閾値Ｂであれば（Ｓ１０５：Ｙｅｓ）、主制御部３は、Ｓ１０８に処理を進める。このとき、ずれ判定区間ＪＡ＝閾値Ｂとなる。動画カウンタ値ＩＣｔが閾値Ｂより大きければ（Ｓ１０５：Ｎｏ）、主制御部３はエラーを出力し（Ｓ１０６）、処理を終了する。
【００２７】
続いて、ずれ判定部７は、音声タイマの値（音声タイマ値ＳＴ）と、再生済み映像フレームに閾値Ａを掛けて閾値Ｂで割ったもの（再生済み映像フレームにあたる時間）との差を算出する。すなわち、ずれ判定部７は、ずれ量Ｌ１として、（音声タイマ値ＳＴ−閾値Ａ×（動画カウンタ値ＩＣｔ／閾値Ｂ））の値を算出する。ずれ判定部７は、算出した値が、所定のずれ許容時間ＡＴ未満か否かを判別する（Ｓ１０８）。所定のずれ許容時間ＡＴは、例えば１／３０秒とすることができる。
【００２８】
ずれ判定部７は、（音声タイマ値ＳＴ−閾値Ａ×（動画カウンタ値ＩＣｔ／閾値Ｂ））＜（ずれ許容時間ＡＴ）（Ｓ１０８：Ｙｅｓ）のときには、同期が取れているためずれを修正する必要なしと判別する。ずれ判定部７は、このとき、閾値Ａ＝音声タイマ値ＳＴ、閾値Ｂ＝動画カウンタ値ＩＣｔとした後、音声タイマ値ＳＴ＝０、動画カウンタ値ＩＣｔ＝０とリセットし（Ｓ１０９）、Ｓ１０３に戻る。
【００２９】
ずれ判定部７は、（音声タイマ値ＳＴ−閾値Ａ×（動画カウンタ値ＩＣｔ／閾値Ｂ）＜（ずれ許容時間ＡＴ）でない場合には、同期が取れていないと判別し（Ｓ１０８：Ｎｏ）、主制御部３は、処理を図４Ａのフローチャートの処理に進める。
【００３０】
図４Ａに示すように、主制御部３は、自動補正部１５により、（ずれ時間Ｌ１）＝（音声タイマ値ＳＴ―閾値Ａ×（動画カウンタ値ＩＣｔ／閾値Ｂ））と設定する（Ｓ１３１）。ずれ時間Ｌ１は、映像と音声のずれ時間を表し、再生済み音声時間から再生済み映像時間を引いた時間であり、音声が遅れているときは負の値、映像が遅れているときは正の値をとる。
【００３１】
主制御部３は、映像復号部２３により、映像ストリーム５７について次に再生する部分のＧＯＰ構造を判定し、Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  Ｐｒｅｄｉｃｔｅｄ  Ｆｒａｍｅ（Ｂフレーム）を含むか否か判別する（Ｓ１３１）。例えば、ＧＯＰ構造が「Ｉｎｔｅｒ  Ｖｉｄｅｏ  Ｂｉｔｒａｔｅ  Ｂａｌａｎｃｅ  Ｐｒｏｆｉｌｌｅ：ＩＢＢＰ」であるか否か判別される。
【００３２】
Ｂフレームを含まない場合には（Ｓ１３２：Ｎｏ）、音声を優先して操作するため、自動補正部１５は、処理を図４ＢのＳ１３５に進める。Ｂフレームを含む場合には（Ｓ１３２：Ｙｅｓ）、映像と音声のどちらを優先して操作する方が与える違和感が少ないかを、音声重要度ＳＬおよび映像重要度ＩＬをもとに判定する。
【００３３】
Ｓ１３３では、映像の重要さを示す映像重要度ＩＬおよび音声の重要さを示す音声重要度ＳＬを算出する。以下、Ｓ１３３の処理について説明する。映像重要度ＩＬは、映像の複雑さを示す値として算出される。音声重要度ＳＬは、音声の音量の特徴を示す値として算出される。
【００３４】
まず、映像重要度ＩＬの算出方法について説明する。映像重要度判定部１１は、映像のデコード処理を行う前に例えばＨ．２６４のパラメータ情報を解析し、（−１）×量子化係数（Ｑｕａｎｔｉｚａｔｉｏｎ  Ｐａｒａｍｅｔｅｒ：ＱＰ）、デコード前のフレームあたりデータ量、動きベクトル総量の各パラメータを正規化した後加算することで、映像重要度ＩＬを算出する。
【００３５】
映像そのものを再生しながら映像を解析するのは処理負荷的に厳しいため、映像重要度ＩＬは、映像を符号化した際に付加される量子化係数、フレーム（ピクチャ）サイズ、動きベクトル総量に基づき求める。ここで、量子化係数に基づく映像重要度を、量子化重要度ＩＬ１、フレームサイズに基づく映像重要度を、サイズ重要度ＩＬ２、動きベクトル総量に基づく映像重要度を、ベクトル重要度ＩＬ３とする。
【００３６】
以下、量子化重要度ＩＬ１の算出方法について説明する。量子化重要度ＩＬ１は、エンコード時にマクロブロック（Ｍａｃｒｏｂｌｏｃｋ：ＭＢ）毎に設定される量子化係数ＱＰに基づいて算出される。量子化係数ＱＰとは、映像データを圧縮する際に目標とするデータサイズになるように、映像の複雑さおよび劣化の解りにくさに応じて設定されるパラメータである。量子化係数ＱＰは、各ＭＢヘッダに直前ＭＢの量子化係数ＱＰとの差という形で設定されており、１ピクチャ当たり量子化値ＱＰｐは以下の式１により算出できる。
ＱＰｐ＝２６＋ＰＩＱＭ＋Σ（ＳＱＤ＋（ΣＭＱＤ／Ｍｂ））／（ＮＳＧＭ＋１）
・・・（式１）
【００３７】
ここで、一つ目の「Σ」は、各ピクチャに含まれる全スライス分の和を示し、二つ目の「Σ」は各スライスに含まれる全マクロブロック分の和を示す。また、各変数は以下の通りである。
【００３８】
式１において、ＰＩＱＭは、ｐｉｃ＿ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６を示し、Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ（ＰＰＳ）に定義される、ＱＰの初期値を設定する値であり、実際の初期値から２６引いた値が設定される。ＳＱＤは、ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａを示し、スライスヘッダに定義される値であり、スライス毎のＱＰの初期値を設定する値である。ＭＱＤは、ｍｂ＿ｑｐ＿ｄｅｌｔａを示し、マクロブロック毎に定義される値であり、当該マクロブロックと、直前のマクロブロックの量子化パラメータＱＰの差分値である。Ｍｂは、Ｍａｃｒｏｂｌｏｃｋｓを示し、スライスヘッダに定義される値であり、スライスに含まれるマクロブロック数である。ＮＳＧＭは、ｎｕｍ＿ｓｌｉｃｅ＿ｇｒｏｕｐｓ＿ｍｉｎｕｓ１を示し、ＰＰＳに定義される値であり、ピクチャに含まれるスライス数から１を減じた値を表す。
【００３９】
さらに、この１ピクチャ当たりの量子化値ＱＰｐを、ずれ判定区間ＪＡ分の数のピクチャについて足し合わせ、平均をとったものをピクチャ平均ＱＰａとすると、
ピクチャ平均ＱＰａ＝ΣＱＰｐ／ずれ判定区間ＪＡ      ・・・（式２）
と表される。ここで「Σ」は、ずれ判定区間ＪＡに含まれるピクチャ数（すなわち、ＧＯＰ長または閾値Ｂ）分の和を示す。
【００４０】
映像重要度判定部１１は、量子化重要度ＩＬ１を式３のように算出する。すなわち、
量子化重要度ＩＬ１=１０２−（２×ピクチャ平均ＱＰａ）      ・・・（式３）
とすることで、量子化重要度ＩＬ１は、１〜１００の範囲の値に正規化される。
【００４１】
以下、サイズ重要度ＩＬ２の算出方法について説明する。サイズ重要度ＩＬ２は、映像の重要度算出のパラメータの一つとして、ピクチャのデータサイズに基づき算出される。ピクチャのデータサイズは、Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ（ＮＡＬ）のうちｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに応じて計測される。データサイズは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが「１」、すなわち、Ｉｎｓｔａｎｔｅｎｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ（ＩＤＲ）ピクチャの場合、または、「５」、すなわち、ＩＤＲ以外のピクチャの場合、のもののバイナリサイズとして計測できる。これを、映像の大きさに対して正規化するため、ピクチャデータサイズはピクチャサイズ（１ピクチャの縦画素数×横画素数）で除される。さらに、映像重要度判定部１１は、ずれ判定区間ＪＡに含まれるピクチャデータサイズ合計を算出し、それを映像データ量ＤＶとする。すなわち、
映像データ量ＤＶ=Σ（ピクチャデータサイズ／ピクチャサイズ）    ・・・（式４）
【００４２】
ここで、「Σ」は、ずれ判定区間ＪＡに含まれるピクチャ分の和を表す。さらに、映像重要度判定部１１は、これまで再生した部分の映像データ量ＤＶの平均を算出しておき、それを（平均サイズ）とすると、サイズ重要度ＩＬ２は以下の式５のように表される。
サイズ重要度ＩＬ２
＝ｍａｘ（（（映像データ量ＤＶ）／（平均サイズ））×５０、１００）・・（式５）
式５により、サイズ重要度ＩＬ２は、１〜１００の範囲の値に正規化される。
【００４３】
以下、ピクチャの動きベクトル総量に基づくベクトル重要度ＩＬ３の算出方法について説明する。映像重要度判定部１１は、ベクトル重要度ＩＬ３の算出において、まず動きベクトル総量をフレーム毎の全マクロブロックについて足し合わせ、１マクロブロックあたりの平均をとる。ベクトル重要度ＩＬ３は、１マクロブロックあたりの平均動きベクトル総量を例えば１０倍し上限を１００で抑える。ベクトル重要度ＩＬ３の例として、以下の式６が挙げられる。
ベクトル重要度ＩＬ３＝ｍａｘ（（Σ（各マクロブロックの動きベクトル長）
／ピクチャのマクロブロック数×１０）、１００）      ・・（式６）
【００４４】
ここで「Σ」は、１ピクチャ内のマクロブロック数分の和を表す。式６により、ベクトル重要度ＩＬ３は、１〜１００の範囲の値に正規化される。
【００４５】
映像重要度判定部１１は、以上のように算出した量子化重要度ＩＬ１、サイズ重要度ＩＬ２およびベクトル重要度ＩＬ３に基づき映像重要度ＩＬを算出する。映像重要度ＩＬは、例えば量子化重要度ＩＬ１、サイズ重要度ＩＬ２およびベクトル重要度ＩＬ３の算術平均、すなわち、映像重要度ＩＬ＝（ＩＬ１＋ＩＬ２＋ＩＬ３）／３として算出される。
【００４６】
続いて、音声重要度ＳＬの算出について説明する。音声重要度判定部９は、例えば音声復号部２３により復号化された音声データの１フレーム分相当を周波数領域に転写する。音声重要度判定部９は、所定周波数範囲毎に振幅の積分を算出し、１フレーム分の時間における周波数毎の音量とする。
【００４７】
図５は、周波数領域毎の音量の算出方法を説明する図である。図５において、縦軸は、音量に応じた振幅ｘ（ｉ）を示し、横軸は周波数ｉを対数軸で示している。図５は、例えば１フレーム分の音声データを周波数領域の振幅に変換した結果を表している。横軸は、周波数１０ｋ〜１０ｋ＋１（ｋは整数）毎の周波数範囲に区切られている。このとき、この周波数範囲毎の振幅の積分が、周波数範囲毎の音量（以下、周波数毎の音量という）に相当する。フレームに時間的順序を表すフレーム番号ｊを付し、フレーム番号ｊにおける周波数毎の音量ＳＶａ（ｊ）を以下の式７で表す。
【数１】
0005696552.tif 000002
式７により、周波数毎の音量ＳＶａ（ｊ）は、０〜１００までの範囲に正規化される。
【００４８】
以下、上記音量ＳＶａ（ｊ）を用いた変動重要度ＳＬ１の算出方法について説明する。変動重要度ＳＬ１は、周波数帯毎の音声レベル変化量の平均である。すなわち、変動重要度ＳＬ１は、式７の周波数毎の音量ＳＶａ（ｊ）それぞれについて、前サンプル（ここでは、前フレーム）との差を取り、その差をＳ１０８における音声タイマ値ＳＴに対応するずれ判定時間、および全周波数に対応する周波数領域について足し合わせ、その平均を計算する。ずれ判定時間に含まれるフレーム数をフレーム数ＦＮ、全周波数領域を１００〜１０Ｎ（Ｎは自然数）とすると、変動重要度ＳＬ１は、以下の式８で表される。
変動重要度ＳＬ１＝１／ＮΣ（Σ｜ＳＶａ（ｊ）−ＳＶ（ｊ−１）｜）／ＦＮ  ・・・（式８）
【００４９】
ここで、一つ目の「Σ」は、全周波数領域分の和を表し、二つめの「Σ」は、ずれ判定時間におけるフレーム数分の和（ｊ＝１〜ＦＮ）を表す。なお、式８により音声重要度ＳＬ１は、０〜１００までの値として算出される。
【００５０】
次に、上記音量ＳＶａ（ｊ）を用いた音量重要度ＳＬ２の算出方法について説明する。音量重要度ＳＬ２は、音量レベル全体の総和であり、周波数毎の音量ＳＶａそれぞれについて、Ｓ１０８の音声タイマ値ＳＴに対応するずれ判定時間に含まれるフレーム、および全周波数に対応する周波数領域について足し合わせ、その平均を計算する。すなわち、以下の式９で表される。
音量重要度ＳＬ２＝１／ＮΣΣＳＶａ（ｊ）／ＦＮ      ・・・（式９）
【００５１】
ここで、一つ目の「Σ」は、全周波数領域分（１００〜１０Ｎ）の和を表し、二つめの「Σ」は、ずれ判定時間におけるフレーム数分の和（ｊ＝１〜ＦＮ）を表す。なお、音声重要度ＳＬ２は、０〜１００までの値として算出される。
【００５２】
音声重要度判定部９は、以上のように算出された変動重要度ＳＬ１および音量重要度ＳＬ２に基づき、音声重要度ＳＬを設定する。例えば、音声重要度ＳＬ＝（変動重要度ＳＬ１＋音量重要度ＳＬ２）／２と算出される。
【００５３】
図４ＡのＳ１３４では、比較評価部１３が、上記のように算出した映像重要度ＩＬと、音声重要度ＳＬとの大小を判別する。比較評価部１３は、映像重要度ＩＬの方が音声重要度ＳＬより大きい場合には（Ｓ１３４：Ｙｅｓ）、音声を優先的に操作するため、処理を図４ＢのＳ１３５に進ませる。比較評価部１３は、音声重要度ＳＬの方が映像重要度ＩＬより大きい場合には（Ｓ１３４：Ｎｏ）、映像を優先的に操作するため、処理を図４ＣのＳ１４５に進ませる。以下、比較評価部１３の判別結果に応じて、自動補正部１５は、映像と音声との同期を行う。
【００５４】
まず、音声を優先的に操作する場合について説明する。図４Ｂに示すように、Ｓ１３５において、自動補正部１５の音声操作部３１は、操作対象（これから再生するずれ判定時間分）の音声部分に無音に近い部分か、音声変化量が小さいと判断できる部分があるかどうかを判断する。無音に近いと判断するのは、例えば音量重要度ＳＬ２が、ホワイトノイズに対して予め算出された音声重要度ＳＬ以下である場合とすることができる。音声変化量が小さいと判断するのは、例えば変動重要度ＳＬ１が、ホワイトノイズに対して予め算出された変動重要度ＳＬ１以下とすることができる。
【００５５】
Ｓ１３５において、操作対象の音声部分に無音に近い部分か、音声変化量が小さいと判断できる部分（以下、無音に近い部分と音声変化量が小さいと判断できる部分を合わせて無音相当部分という）があると判別されると（Ｓ１３５：Ｙｅｓ）、音声操作部３１は、ずれ時間Ｌ１が正の数か否か判別する（Ｓ１３６）。ずれ時間Ｌ１が正の数である場合には（Ｓ１３６：Ｙｅｓ）、音声が進んでいるので、音声操作部３１は、ずれ時間Ｌ１分、無音に近い部分または音声変化量が小さいと判断できる部分を何回も再生して伸張することにより、同期処理を完了する（Ｓ１３７）。
【００５６】
Ｓ１３６において、ずれ時間Ｌ１が負の数であり、映像が遅れていると判別された場合には（Ｓ１３６：Ｎｏ）、音声操作部３１は、ずれ時間Ｌ１の絶対値が無音相当部分の時間（無音相当時間という）よりも大きいか否か判別する（Ｓ１３８）。ずれ時間Ｌ１の絶対値が無音相当時間よりも長い場合には（Ｓ１３８：Ｙｅｓ）、音声操作部３１は、無音相当部分を再生せずに削除し（Ｓ１３９）、ずれ時間Ｌ１＝ずれ時間Ｌ１＋無音相当時間とし（Ｓ１４０）、Ｓ１４２に処理を進める。ずれ時間Ｌ１の絶対値が無音相当時間以下の場合には（Ｓ１３８：Ｎｏ）、音声操作部３１は、ずれ時間Ｌ１分の無音相当部分の音声を削除して同期処理を完了し（Ｓ１４１）、Ｓ１５３に処理を進める。
【００５７】
Ｓ１３５において、無音相当部分がない場合には（Ｓ１３５：Ｎｏ）、音声操作部３１は、速度変更率ＶＣ＝（音声タイマ値ＳＴ／（音声タイマ値ＳＴ＋｜ずれ時間Ｌ１｜）が一定値以上か否かを判別する（Ｓ１４２）。判別に用いる一定値は、例えば０．８とすることができる。
【００５８】
速度変更率ＶＣが一定値未満の場合には（Ｓ１４２：Ｎｏ）、音声操作部３１は、処理をＳ１４５に進める。これは、音声再生速度を一定以上変化させると、音声の速度を変更することによる違和感の方が、映像を操作することによる違和感よりも大きいと判断されるためである。ここで、音声操作部３１は、音声の再生速度を上記一定値に応じた割合だけ変更した後、処理をＳ１４５に進めるようにしてもよい。
【００５９】
速度変更率ＶＣが一定値以上の場合には（Ｓ１４２：Ｎｏ）、音声操作部３１は、音声再生速度変更値＝（音声タイマ値ＳＴ＋ずれ時間Ｌ１）／音声タイマ値ＳＴとし（Ｓ１４３）、音声再生速度を音声再生速度変更値に応じて変更することにより、同期処理を完了する（Ｓ１４４）。
【００６０】
ここで、音声再生速度変更方法について説明する。ここで採用する音声再生速度変更方法は、デジタル音声データの一部を省略したり挿入したりすることにより、その音程を変えずにデジタル音声データの再生速度を変換する方法である。
【００６１】
音声操作部３１は、まず、操作対象、すなわちこれから再生するずれ判定区間ＪＡに相当する音声部分の音声データを、一定周期の区間に区切り、省略または伸張する割合を決める。例えば、１０％省略するのであれば、音声操作部３１は、区切られた音声データにおいて、１０区間毎に１区間を目安として省略すればよいし、１０％伸張するのであれば、１０区間毎に１区間を目安として挿入すればよい。次に、音声操作部３１は、省略または伸張する割合に応じて音声データを操作する。このような音声再生速度の変更は、例えば、特許文献３に記載の方法など、従来の様々な方法を適用することができる。
【００６２】
映像を処理する場合には、図４Ｃに示すように、まず、映像操作部３３は、ずれ時間Ｌ１の正負を判別する（Ｓ１４５）。映像操作部３３は、ずれ時間Ｌ１が正の場合には（Ｓ１４５：Ｙｅｓ）、音声に対し映像が遅れているので、フレーム間引き処理を行い、負の場合には（Ｓ１４５：ＮＯ）、音声に対し映像が進んでいるので、フレーム補間処理を行う。
【００６３】
フレーム間引き処理では、映像操作部３３は、まず、フレーム間引き枚数を算出する（Ｓ１４６）。すなわち、映像操作部３３は、フレーム間引き枚数＝ずれ時間Ｌ１／フレームレート（Ｆｒａｍｅ  ｐｅｒ  Ｓｅｃｏｎｄ：ＦＰＳ）を算出する。小数点以下については四捨五入する。
【００６４】
映像操作部３３は、操作対象（これから再生する、ずれ判定区間ＪＡ分）の映像に非参照ピクチャがある場合には、フレーム間引き枚数を超えない範囲で再生する映像データに含まないように間引く（Ｓ１４７）。非参照ピクチャの枚数がフレーム間引き枚数に至らない場合には、映像操作部３３は、その後、Ｐピクチャの後のＢピクチャのうち、量子化係数ＱＰの高いものから間引く（Ｓ１４８）。Ｓ１４８までの処理でフレーム間引き枚数に至らない場合には、映像操作部３３は、Ｉフレーム及びＰフレームのような参照ピクチャを間引く。このように参照ピクチャを間引く際には、次のフレームのためにピクチャをデコードする（Ｓ１４９）。
【００６５】
上記のように、フレームの間引きを行う際には、映像操作部３３は、後フレームへの影響を小さくするため、まず、非参照フレームを間引き、次に、ＩＢＢＰにおけるＢフレームを間引く。さらに、ＩＰＰＰにおける量子化係数ＱＰの大きいフレーム順でフレームを間引く。映像操作部３３は、フレームを間引いた場合には、非参照フレームを除き、後続のフレームの為デコードは行なう。以上により、同期処理を完了する。
【００６６】
ずれ時間Ｌ１が負の数の場合には（Ｓ１４５：Ｎｏ）、フレーム補間処理を行う。映像操作部３３は、フレーム補間枚数＝−ずれ時間Ｌ１／ＦＰＳを算出する（Ｓ１５０）。小数点以下については四捨五入する。
【００６７】
映像操作部３３は、補間するフレームとして、なるべく量子化係数ＱＰの高いものについてそのフレームと次フレームの平均フレームを作成する（Ｓ１５１）。例えば、フレーム補間する場合、映像操作部３３は、対象箇所の前後フレームについて各ピクセルの各画素値の平均値を求め、これを補間フレームとして前後フレームの間に挿入する。
【００６８】
フレーム補間の際、映像操作部３３は、閾値Ｂに対して、補間するフレームがなるべく均等に配置されるように、補間枚数分だけ補間処理を行う（Ｓ１５２）。補間すべきフレーム枚数分の間引きを完了した後、処理は、Ｓ１５３の初期化処理に進む。
【００６９】
Ｓ１５３の初期化処理として、主制御部３は、閾値Ａに再生済み音声時間（音声タイマ値ＳＴ）を代入、閾値Ｂに表示済み映像フレーム数（動画カウンタ値ＩＣｔ）を代入する。その後、主制御部３は、音声タイマ値ＳＴ＝０、動画カウンタ値ＩＣｔ＝０と初期化し、Ｓ１０３に戻って処理を繰り返す。
【００７０】
なお、本実施の形態の分離部２１、音声復号部２３、音声再生部２５、映像復号部２７、映像再生部２９は、本発明の復号再生部の一例である。音声重要度判定部９は、音声重要度算出部の一例であり、映像重要度判定部１１は、映像重要度算出部の一例である。
【００７１】
以上説明したように、本実施の形態による再生装置１においては、映像重要度ＩＬ、音声重要度ＳＬが算出される。映像重要度ＩＬは、映像の複雑さの度合いを示し、復号化前の映像ストリームに基づき算出される。音声重要度ＳＬは、音声の音量の特徴を示し、復号化した音声データに基づき算出される。また、再生装置１は、映像重要度ＩＬ、音声重要度ＳＬ、およびずれ判別区間ＪＡにおけるずれ時間Ｌ１に応じて、映像および音声のいずれを優先して操作するかを判別することにより同期を行う。
【００７２】
よって、本実施の形態による再生装置１において、映像重要度ＩＬ、音声重要度ＳＬの算出は、映像そのもの再生中に行われるわけではないので、再生に影響を与えないという効果がある。また、再生装置１によれば、同期処理による視聴者への影響が少ないと考えられる方法を用いて同期処理を行うことが可能となる。よって、処理能力の不足のため、再生映像がコマ落ちしてしまう、音声が途切れてしまう、ずれがある一定間隔のまま修正されない、など、視聴者に違和感、不快感を与えることが少なくなるという効果がある。
【００７３】
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、Ｓ１５３の初期化処理では、閾値Ａとして音声タイマ値ＳＴを設定し、閾値Ｂとして、動画カウンタ値ＩＣｔを設定したが、これに限定されない。例えば、Ｓ１５３が行われる度に音声タイマ値Ｓおよび動画カウンタ値ＩＣｔの値を記憶部３５に記憶しておき、それぞれの平均値を算出して、閾値Ａ、閾値Ｂの初期値として代入するようにしてもよい。
【００７４】
閾値Ａは、変動重要度ＳＬ１が大きい場合には小さくし、変動重要度ＳＬ１が小さい場合には、大きくするようにしてもよい。例えば、算出された変動重要度ＳＬ１を記憶部３５に記憶して、変動重要度ＳＬ１の統計分布を算出し、現在の変動重要度ＳＬ１が、確率分布で上位２０％の範囲に入るか否かで、音声の変化量が大きいか否かを判別する。音声の変化量が大きいと判別されたときには、閾値Ａ＝０．５秒、それ以外は閾値Ａ＝１秒などと逐次更新するようにしてもよい。変化量の大きい部分は視聴者がリップシンクずれを感じる機会が多いと考えられるためである。
【００７５】
映像重要度ＩＬは、量子化重要度ＩＬ１、サイズ重要度ＩＬ２、またはベクトル重要度ＩＬ３のいずれか少なくとも一つに基づき算出することができる。なお、サイズ重要度ＩＬ２は、（平均サイズ）が安定するであろう、再生開始３０秒以降などにサイズ重要度ＩＬ２を反映させるようにしてもよい。音声重要度ＳＬは、変動重要度ＳＬ１または音量重要度ＳＬ２のいずれか少なくとも一つに基づき算出することができる。
【００７６】
映像重要度ＩＬ、音声重要度ＳＬの算出は、別の算出方法を用いるものでもよい。例えば、動きが小さく量子化係数が大きい場合には、絵が細かいが動きが少ないパターンであると考えられる（音楽がメインで背景として映像が使われている場合など）ので音声の重要度に少し下駄をはかせるなどの調整を行うようにしてもよい。また、小さい音声の大小は人間にとって差に気づきやすい傾向がある為、音声重要度ＳＬの算出における式７の被積分関数ｘ（ｉ）を１０×（ｘ（ｉ））１／２に置き換えるようにしてもよい。これにより、同期のための操作を、人間が視聴した際に気になる度合いにより近づける効果がある。
【００７７】
本実施の形態による再生装置は、データの圧縮を伴い符号化されるＨ．２６４、ＭＰＥＧ２等によるデジタル動画像の再生装置として適用が可能である。
ここで、上記実施の形態による映像音声の再生方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図６は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図６に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。
【００７８】
ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。
【００７９】
外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。ＣＰＵ３０２は、可搬記録媒体３１６に記録された動画コンテンツを読み出して、再生させるようにすることもできる。記憶可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ  Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ（ＵＳＢ）メモリ等である。
【００８０】
ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。ＣＰＵ３０２は、ネットワーク接続装置３１８を介して外部の動画コンテンツを取得し、再生させるようにすることもできる。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００８１】
上記実施の形態による映像音声再生方法をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶させる。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、コンピュータ３００に映像音声再生の動作を行なわせる。このとき、まず、映像音声再生の処理をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。
ＣＰＵ３０２は、可搬記録媒体３１６に記録された動画コンテンツを読み出して、再生させるようにすることもできる。
【００８２】
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生装置であって、
前記ストリームを取得する信号取得部と、
取得した前記ストリームを分離して復号化することにより、映像データおよび音声データを生成し、第１のずれ判定時間における第１の映像および第１の音声を再生する復号再生部と、
前記第１のずれ判定時間における前記第１の映像と前記第１の音声との再生時のずれ量を判定するずれ判定部と、
前記第１のずれ判定時間の次の第２のずれ判定時間において再生される第２の映像の複雑さの度合いを示す映像重要度を算出する映像重要度算出部と、
前記第１のずれ判定時間の次の第２のずれ判定時間において再生される第２の音声の音量の特徴を示す音声重要度を算出する音声重要度算出部と、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像と前記音声との再生時のずれを補正するよう前記第２の映像および前記第２の音声の再生を制御する自動補正部と、
を有することを特徴とする再生装置。
（付記２）
前記映像重要度は、前記映像の符号化の際に付加される量子化係数、データ量、または動きベクトル長の総量のいずれか少なくとも１つに基づいて算出されることを特徴とする付記１に記載の再生装置。
（付記３）
前記音声重要度は、前記音声データの所定周波数範囲毎の音量の時間的変化量の平均値、または前記音声データの所定周波数範囲毎の音量の平均値のいずれか少なくとも１つに基づいて算出されることを特徴とする付記１または付記２に記載の再生装置。
（付記４）
前記自動補正部は、さらに、復号前の前記第２の映像中に非参照ピクチャがあるか否かに基づき前記第２の映像と前記第２の音声との再生時のずれを補正することを特徴とする付記１から付記３のいずれかに記載の再生装置。
（付記５）
前記自動補正部は、
前記音声データを操作する音声操作部と、
前記映像データを操作する映像操作部と、
を有し、
復号前の前記映像中に非参照ピクチャがあるか否か、および前記映像重要度と前記音声重要度との大小関係に基づき、前記再生時のずれを補正する際に音声操作部と映像操作部のいずれの操作を優先するかを決定することを特徴とする付記４に記載の再生装置。
（付記６）
前記自動補正部は、
前記映像重要度が前記音声重要度より大きいときには、前記音声操作部の操作を優先し、
前記音声重要度が前記映像重要度より大きいときには、前記映像操作部による操作を行うことにより前記映像と前記音声の再生時のずれを補正することを特徴とする付記５に記載の再生装置。
（付記７）
前記音声操作部は、
前記第２のずれ判定時間に対応する区間に、前記音声重要度が所定値以下の無音相当区間がある場合であって、
前記第１の音声の再生が前記第１の映像の再生よりも進んでいる場合には、前記無音相当区間を繰り返し再生し、
前記第１の映像の再生が、前記第１の音声の再生よりも進んでいる場合には、前記ずれ量に応じて前記無音相当区間を削除する操作、前記音声の再生速度を変更する操作、映像操作部での操作を行う操作のいずれか少なくとも一つの操作を行い、
前記音声重要度を算出する区間に、前記音声重要度が所定値以下の無音相当区間がない場合であって、
前記ずれ量が、前記第２のずれ判別時間に対し所定割合未満の場合には、前記音声の再生速度を変更し、
前記ずれ量が、前記第２のずれ判別時間に対し所定割合以上の場合には、前記映像操作部による操作を行うことを特徴とする付記５または付記６に記載の再生装置。
（付記８）
前記映像操作部は、
前記第１の音声の再生が前記第１の映像の再生よりも進んでいる場合には、少なくとも非参照ピクチャを再生しない処理を行い、
前記第１の映像の再生が、前記第１の音声の再生よりも進んでいる場合には、前後のフレームの画素値の平均を有するフレームを補間する処理を行うことを特徴とする付記５または付記６に記載の再生装置。
（付記９）
符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する再生方法であって、
前記ストリームを取得し、
第１のずれ判定時間、前記ストリームに基づき第１の映像および第１の音声を再生し、
前記第１のずれ判定時間における第１の映像と第１の音声との再生時のずれ量を判定し、
前記第１のずれ判定時間の次の第２のずれ判定時間において再生される第２の映像の複雑さの度合いを示す映像重要度を算出し、
前記第２のずれ判定時間において再生される第２の音声の音量の特徴を示す音声重要度を算出し、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像と前記音声との再生時のずれを補正するよう前記第２のずれ判定時間における前記第２の映像および前記第２の音声の再生を制御する、
ことを特徴とする再生方法。
（付記１０）
前記第１の映像および前記第１の音声を再生し、前記ずれ量を判定し、前記映像重要度を算出し、前記音声重要度を算出し、前記再生を制御することを繰り返し行うことを特徴とする付記９に記載の再生方法。
（付記１１）
符号化された映像および音声を含むストリームを取得し、前記映像および前記音声を再生する処理をコンピュータに実行させるためのプログラムであって、
前記ストリームを取得し、
第１のずれ判定時間、前記ストリームに基づき第１の映像および第１の音声を再生し、
前記第１のずれ判定時間における前記第１の映像と前記第１の音声との再生時のずれ量を判定し、
前記第１のずれ判定時間の次の第２のずれ判定時間において再生される第２の映像の複雑さの度合いを示す映像重要度を算出し、
前記第２のずれ判定時間において再生される第２の音声の音量の特徴を示す音声重要度を算出し、
前記映像重要度、前記音声重要度および前記ずれ量に基づき、前記映像と前記音声との再生時のずれを補正するよう前記第２のずれ判定時間における前記第２の映像および前記第２の音声の再生を制御する処理を前記コンピュータに実行させるためのプログラム。
（付記１２）
前記第１の映像および前記第１の音声を再生する処理、前記ずれ量を判定する処理、前記映像重要度を算出する処理、前記音声重要度を算出する処理、および前記再生を制御する処理を繰り返し前記コンピュータに実行させるための付記１１に記載のプログラム。
【符号の説明】
【００８３】
１      映像音声再生装置
３      主制御部
５      入力再生部
７      ずれ判定部
９      音声重要度判定部
１１      映像重要度判定部
１３      比較評価部
１５      自動補正部
１７      システムバス
１９      信号取得部
２１      分離部
２３      音声復号部
２５      音声再生部
２７      映像復号部
２９      映像再生部
３１      音声操作部
３３      映像操作部
【図１】
0005696552.tif 000003
【図２Ａ】
0005696552.tif 000004
【図２Ｂ】
0005696552.tif 000005
【図３】
0005696552.tif 000006
【図４Ａ】
0005696552.tif 000007
【図４Ｂ】
0005696552.tif 000008
【図４Ｃ】
0005696552.tif 000009
【図５】
0005696552.tif 000010
【図６】
0005696552.tif 000011