(57)【要約】【課題】  圧縮動画データを早送りでデコードする際の処理量を削減すること。【解決手段】  動画デコード装置は、実時間に対応した動画データがエンコードされた圧縮動画データが入力され、実時間を短縮して動画データを出力する短縮指示を受付けるユーザインターフェースと、圧縮動画データを解析する構造解析部１０１と、受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定し、決定された出力ピクチャを除くピクチャに対応する圧縮動画データ、または該出力ピクチャが参照ピクチャを有する場合には該出力ピクチャと該参照ピクチャとを除くピクチャに対応する圧縮動画データを削除するピクチャ削除部１０２とを備える。【選択図】        図４
2005192013.tif 000002
【特許請求の範囲】
【請求項１】
実時間に対応した動画データがエンコードされた圧縮動画データを入力する入力手段と、
前記実時間を短縮して前記動画データを出力する短縮指示を受付ける指示受付手段と、
前記圧縮動画データを解析して、前記受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定する出力ピクチャ決定手段と、
前記決定された出力ピクチャを除くピクチャに対応する圧縮動画データ、または該出力ピクチャが参照ピクチャを有する場合には該出力ピクチャと該参照ピクチャとを除くピクチャに対応する圧縮動画データを削除するピクチャ削除手段とを備えた、圧縮動画データデコード装置。
【請求項２】
前記ピクチャ削除手段により一部のピクチャが削除された圧縮動画像データをデコードするデコード手段と、
前記デコード手段の負荷を検出する負荷検出手段と、
前記予め定められたフレームレートにより定まるタイミングで、前記デコードされた出力ピクチャまたは参照ピクチャを出力する出力手段とをさらに備え、
前記ピクチャ削除手段は、前記負荷が第１のレベルを超えた場合に、前記出力ピクチャが参照ピクチャを有することを条件に、該出力ピクチャに対応する圧縮動画像データをさらに削除し、
前記出力手段は、前記ピクチャ削除手段により削除された出力ピクチャに代えて該出力ピクチャの参照ピクチャを出力する、請求項１に記載の圧縮動画データデコード装置。
【請求項３】
前記出力ピクチャ決定手段は、前記負荷が前記第１のレベルより大きい第２のレベルを超えた場合には、前記受付けられた短縮指示と前記予め定められたフレームレートよりも低いフレームレートに基づき前記出力ピクチャを決定する、請求項２に記載の圧縮動画データデコード装置。
【請求項４】
実時間に対応した動画データがエンコードされた圧縮動画データを入力する入力手段と、
前記圧縮動画データの一部を削除する削除手段と、
前記圧縮動画データをデコードするデコード手段と、
前記デコード手段の負荷を検出する負荷検出手段と、
前記検出された負荷に応じて前記削除手段により削除するデータ量を制御する制御部とを備えた、圧縮動画データデコード装置。
【請求項５】
前記削除手段は、解像度を低下させるために前記圧縮動画データの輝度ブロックの一部を削除する解像度変換手段を含み、
解像度変換手段は、前記デコード手段の負荷が大きいほど削除するデータ量を多くする解像度レベル変更手段を含む、請求項４に記載の圧縮動画データデコード装置。
【請求項６】
前記解像度変更手段は、前記圧縮動画データの解像度が高いほど削除可能なデータ量の限界を大きな限界量に決定する限界量決定手段を含む、請求項５に記載の圧縮動画データデコード装置。
【請求項７】
予め定められたフレームレートにより定まるタイミングで、前記デコードされた出力ピクチャまたは参照ピクチャを出力する出力手段をさらに備え、
前記削除手段は、前記圧縮動画データを解析して、予め定められたフレームレートに基づいて出力ピクチャを決定する出力ピクチャ決定手段と、
前記負荷が第１のレベルを超えたことを条件に、参照ピクチャを有する前記出力ピクチャに対応する圧縮動画像データを削除するピクチャ削除手段とをさらに含み、
前記出力手段は、前記ピクチャ削除手段により削除された出力ピクチャに代えて参照ピクチャを出力する、請求項６に記載の圧縮動画データデコード装置。
【請求項８】
前記出力ピクチャ決定手段は、前記解像度変換手段による削除可能なデータ量が限界量に達したことをさらに条件として、前記予め定められたフレームレートよりも低いフレームレートに基づき前記出力ピクチャを決定する、請求項７に記載の圧縮動画データデコード装置。
【請求項９】
前記実時間を短縮して前記動画データを出力する短縮指示を受付ける指示受付手段をさらに備え、
前記出力ピクチャ決定手段は、圧縮動画データを解析して、前記受付けられた短縮指示と前記予め定められたフレームレートとに基づいて出力ピクチャを決定する、請求項７に記載の圧縮動画データデコード装置。
【請求項１０】
前記削除手段は、前記圧縮動画データのうち処理対象ピクチャの色差ブロックを前記処理対象ピクチャと所定の時間的距離内にあるより前のピクチャの色差ブロックに置換える色ブロック置換手段を含み、
前記色ブロック置換手段は、前記デコード手段の負荷が大きいほど前記所定の時間的距離を長くするブロック置換レベル変更手段を含む、請求項４に記載の圧縮動画データデコード装置。
【請求項１１】
予め定められたフレームレートにより定まるタイミングで、前記デコードされた出力ピクチャまたは参照ピクチャを出力する出力手段をさらに備え、
前記削除手段は、前記圧縮動画データを解析して、予め定められたフレームレートに基づいて出力ピクチャを決定する出力ピクチャ決定手段と、
前記負荷が第１のレベルを超えたことを条件に、参照ピクチャを有する前記出力ピクチャに対応する圧縮動画像データを削除するピクチャ削除手段とをさらに含み、
前記出力手段は、前記ピクチャ削除手段により削除された出力ピクチャに代えて参照ピクチャを出力する、請求項１０に記載の圧縮動画データデコード装置。
【請求項１２】
前記実時間を短縮して前記動画データを出力する短縮指示を受付ける指示受付手段をさらに備え、
前記出力ピクチャ決定手段は、圧縮動画データを解析して、前記受付けられた短縮指示と前記予め定められたフレームレートとに基づいて出力ピクチャを決定する、請求項１１に記載の圧縮動画データデコード装置。
【請求項１３】
前記色ブロック置換手段は、前記指示受付手段により受付けられた短縮指示の短縮率が大きいほど前記所定の時間的距離の限界距離を長い値に決定する限界距離決定手段を含む、請求項１２に記載の圧縮動画データデコード装置。
【請求項１４】
前記出力ピクチャ決定手段は、前記ブロック置換レベル変更手段により前記所定の時間的距離が前記限界距離に達したことをさらに条件として、前記予め定められたフレームレートよりも低いフレームレートに基づき前記出力ピクチャを決定する、請求項１３に記載の圧縮動画データデコード装置。
【請求項１５】
前記削除手段により削除するデータの量を決定するためのパラメータを取得する取得手段をさらに備え、
前記制御手段は、前記取得されたパラメータを用いて前記削除手段により削除するデータ量を制御する、請求項４に記載の圧縮動画データデコード装置。
【請求項１６】
実時間に対応した動画データがエンコードされた圧縮動画データを入力するステップと、
前記実時間を短縮して前記動画データを出力する短縮指示を受付けるステップと、
前記圧縮動画データを解析して、前記受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定するステップと、
前記決定された出力ピクチャを除くピクチャに対応する圧縮動画データ、または、該出力ピクチャが参照ピクチャを有する場合には該出力ピクチャと該参照ピクチャとを除くピクチャに対応する圧縮動画データを削除するステップとをコンピュータに実行させる圧縮動画データデコードプログラム。
【請求項１７】
実時間に対応した動画データがエンコードされた圧縮動画データを入力するステップと、
前記圧縮動画データの一部を削除するステップと、
前記圧縮動画データをデコードするステップと、
前記デコードステップが実行されるコンピュータの負荷を検出するステップと、
前記検出された負荷に応じて前記削除ステップにより削除するデータ量を制御するステップとをコンピュータに実行させる、圧縮動画データデコードプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は圧縮動画データデコード装置および圧縮動画データデコードプログラムに関し、特に、デコード処理の負荷を調整可能な圧縮動画データデコード装置ならびに圧縮動画データデコードプログラムに関する。
【背景技術】
【０００２】
近年、デジタル化された動画データは多くの場合、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）（ＭＰＥＧ１、２、４等）形式で圧縮され、記録や伝送が行われている。これらの技術を利用してＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）プレーヤやハードディスクレコーダ等多様な機器が市販されている。これらデジタル化された録画再生機器においても、従来のアナログ型のＶＴＲ（Ｖｉｄｅｏ  Ｔａｐｅ  Ｒｅｃｏｒｄｅｒ）と同様に、早送り再生や高速巻き戻し再生といった特殊再生の機能が提供されている。
【０００３】
（第１の特殊再生技術）
第１の特殊再生技術は、デコーダの処理能力を高めてすべてのピクチャをデコードし、デコードされたピクチャから必要なピクチャだけ表示する技術である。特開平７−２７４１１２公報（特許文献１）には、ｍ倍速再生時、圧縮デジタル映像信号がｍ倍のビットレートで伸張処理し、伸張処理したｍ倍のフレーム周波数のデジタル映像信号を出力するデータ伸張手段と、ｍ倍のフレーム周波数のデジタル映像信号からフレーム周波数を１／ｍに変換するフレーム周波数変換手段とを備えたデジタル情報再生装置が記載されている。
【０００４】
（第２の特殊再生技術）
第２の再生技術は、圧縮された状態のままピクチャの間引き処理を行い、間引かれた圧縮データをデコードして表示する技術である。特許文献１には、ｍ倍再生時、ｍ倍のビットレートで再生される圧縮デジタル映像信号の中からフレーム相関の高いフレームの圧縮デジタル映像信号を削除し、圧縮デジタル映像信号中のフレーム数を１／ｍに変換する伝送レート変換手段と、伝送レートを変換した圧縮デジタル映像信号を伸張処理し、デジタル映像信号を出力するデータ伸張手段とを備えたデジタル情報再生装置が記載されている。
【０００５】
（第３の特殊再生技術）
第３の再生技術は、予め早送り再生に適した形式の圧縮動画データを生成しておき、早送り再生時にそれを利用する技術である。特開平６−３６５２１公報（特許文献２）には、あらかじめ、通常再生用の圧縮動画データとは別に、早送り再生に適した形式の圧縮動画データを生成して記録しておき、早送り再生時には早送り再生用の圧縮動画データを再生することによって早送り再生を実現する装置が開示されている。
【特許文献１】特開平７−２７４１１２号公報
【特許文献２】特開平６−３６５２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の第１の特殊再生技術は、デコーダ装置の処理能力を高める必要があり、そのためのコストアップがあるといった問題がある。
【０００７】
従来の第２の特殊再生技術は、映像信号が圧縮されたままの状態でピクチャを間引いてデータ量を減らしてデコードするので、デコーダ装置の処理能力を高める必要はない。しかしながら、間引きするピクチャは、一定間隔になるとは限られないため必ずしもフレームレートに対応したものとはならない。このため、早送り再生される画像はコマ送りで再生されたような見づらいものとなってしまうという問題点がある。
【０００８】
従来の第３の特殊再生技術は、早送りのための圧縮動画データの記録領域を用意しなければならず、そのためのメモリコストがかさむといった問題がある。また、ＤＶＤ等の記録媒体は、記憶容量に限界があり、圧縮動画データを記録する領域に加えて早送り用の圧縮動画データを記録する領域を確保できない場合があるといった問題がある。さらに、大量に流通している読出し専用のＤＶＤに適用できないといった問題もある。
【０００９】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、圧縮動画データを早送りでデコードする際の処理量を削減することが可能な圧縮動画データデコード装置および圧縮動画データデコードプログラムを提供することである。
【００１０】
この発明の他の目的は、圧縮動画データを早送りでデコードしても動きが滑らかな動画を出力することが可能な圧縮動画データデコード装置および圧縮動画データデコードプログラムを提供することである。
【００１１】
この発明のさらに他の目的は、データ量の多い圧縮動画データを実時間に合せてデコードすることが可能な圧縮動画データデコード装置および圧縮動画データデコードプログラムを提供することである。
【課題を解決するための手段】
【００１２】
上述した目的を達成するためにこの発明のある局面によれば、圧縮動画データデコード装置は、実時間に対応した動画データがエンコードされた圧縮動画データを入力する入力手段と、実時間を短縮して動画データを出力する短縮指示を受付ける指示受付手段と、圧縮動画データを解析して、受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定する出力ピクチャ決定手段と、決定された出力ピクチャを除くピクチャに対応する圧縮動画データ、または該出力ピクチャが参照ピクチャを有する場合には該出力ピクチャと該参照ピクチャとを除くピクチャに対応する圧縮動画データを削除するピクチャ削除手段とを備える。
【００１３】
この発明に従えば、実時間に対応した動画データがエンコードされた圧縮動画データが入力され、実時間を短縮して動画データを出力する短縮指示が受付けられると、圧縮動画データを解析して、受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定し、決定された出力ピクチャを除くピクチャに対応する圧縮動画データ、または該出力ピクチャが参照ピクチャを有する場合には該出力ピクチャと該参照ピクチャとを除くピクチャに対応する圧縮動画データを削除する。短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャと、その出力ピクチャが参照ピクチャを有する場合にはその参照ピクチャとを除くピクチャの圧縮動画データがデコードされない。このため、圧縮動画データを通常の速度でデコードするのとほぼ同等の負荷で早送りでデコードすることができる。その結果、圧縮動画データを早送りでデコードする際の処理量を削減することが可能な圧縮動画データデコード装置を提供することができる。また、早送りでデコードされたピクチャは、短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャなので、動きが滑らかな動画が再生される。このため、圧縮動画データを早送りでデコードしても動きが滑らかな動画を出力することが可能な圧縮動画データデコード装置を提供することができる。
【００１４】
好ましくは、ピクチャ削除手段により一部のピクチャが削除された圧縮動画像データをデコードするデコード手段と、デコード手段の負荷を検出する負荷検出手段と、予め定められたフレームレートにより定まるタイミングで、デコードされた出力ピクチャまたは参照ピクチャを出力する出力手段とをさらに備え、ピクチャ削除手段は、負荷が第１のレベルを超えた場合に、出力ピクチャが参照ピクチャを有することを条件に、該出力ピクチャに対応する圧縮動画像データをさらに削除し、出力手段は、ピクチャ削除手段により削除された出力ピクチャに代えて該出力ピクチャの参照ピクチャを出力する。
【００１５】
この発明に従えば、デコード手段の負荷が第１のレベルを超えた場合に、出力ピクチャが参照ピクチャを有することを条件に、その出力ピクチャに対応する圧縮動画データをデコードすることなく参照ピクチャに対応する圧縮動画データをデコードする。参照ピクチャは出力ピクチャに類似するので、出力ピクチャに代えて参照ピクチャを用いても画像の揺らぎは少ない。また、出力ピクチャをデコードしないので、デコード処理の負荷を低減することができる。このため、画像の揺らぎを抑えつつ、デコード処理の負荷を低減することができる。
【００１６】
好ましくは、出力ピクチャ決定手段は、負荷が第１のレベルより大きい第２のレベルを超えた場合には、受付けられた短縮指示と予め定められたフレームレートよりも低いフレームレートに基づき出力ピクチャを決定する。
【００１７】
この発明に従えば、負荷が第１のレベルより大きい第２のレベルを超えた場合には、短縮指示と予め定められたフレームレートよりも低いフレームレートとに基づき出力ピクチャを決定する。このため、フレームレートが低くなるので出力ピクチャの数が少なくなる。その結果、デコードする圧縮動画データのデータ量が少なくなるので、デコード処理の負荷をさらに低減することができる。
【００１８】
この発明の他の局面によれば、圧縮動画データデコード装置は、実時間に対応した動画データがエンコードされた圧縮動画データを入力する入力手段と、圧縮動画データの一部を削除する削除手段と、圧縮動画データをデコードするデコード手段と、デコード手段の負荷を検出する負荷検出手段と、検出された負荷に応じて削除手段により削除するデータ量を制御する制御部とを備える。
【００１９】
この発明に従えば、実時間に対応した動画データがエンコードされた圧縮動画データが入力され、圧縮動画データの一部を削除し、圧縮動画データをデコードする。デコード手段の負荷に応じて削除手段により削除するデータ量を制御する。このため、デコード手段の処理能力に合せて負荷が調整されるので、データ量の多い圧縮動画データを実時間に合せてデコードすることが可能な圧縮動画データデコード装置を提供することができる。
【００２０】
好ましくは、削除手段は、解像度を低下させるために圧縮動画データの輝度ブロックの一部を削除する解像度変換手段を含み、解像度変換手段は、デコード手段の負荷が大きいほど削除するデータ量を多くする解像度レベル変更手段を含む。
【００２１】
この発明に従えば、デコード手段の負荷が大きいほど削除するデータ量を多くするので、デコード手段の処理能力に合せて圧縮動画データのデータ量を調整することができる。
【００２２】
好ましくは、解像度変更手段は、圧縮動画データの解像度が高いほど削除可能なデータ量の限界を大きな限界量に決定する限界量決定手段を含む。
【００２３】
この発明に従えば、圧縮動画データの解像度が低い場合には限界量を低くするので、解像度をある値に維持することができ、画質が低下するのを防止することができる。
【００２４】
好ましくは、予め定められたフレームレートにより定まるタイミングで、デコードされた出力ピクチャまたは参照ピクチャを出力する出力手段をさらに備え、削除手段は、圧縮動画データを解析して、予め定められたフレームレートに基づいて出力ピクチャを決定する出力ピクチャ決定手段と、負荷が第１のレベルを超えたことを条件に、参照ピクチャを有する出力ピクチャに対応する圧縮動画像データを削除するピクチャ削除手段とをさらに含み、出力手段は、ピクチャ削除手段により削除された出力ピクチャに代えて参照ピクチャを出力する。
【００２５】
この発明に従えば、参照ピクチャは出力ピクチャに類似するので、出力ピクチャに代えて参照ピクチャを用いても画像の揺らぎは少ない。また、出力ピクチャをデコードしないので、デコード処理の負荷を低減することができる。このため、画像の揺らぎを抑えつつ、デコード処理の負荷を低減することができる。
【００２６】
好ましくは、出力ピクチャ決定手段は、解像度変換手段による削除可能なデータ量が限界量に達したことをさらに条件として、予め定められたフレームレートよりも低いフレームレートに基づき出力ピクチャを決定する。
【００２７】
この発明に従えば、フレームレートが低くなるので出力ピクチャの数が少なくなる。その結果、デコードする圧縮動画データのデータ量が少なくなるので、デコード処理の負荷をさらに低減することができる。
【００２８】
好ましくは、実時間を短縮して動画データを出力する短縮指示を受付ける指示受付手段をさらに備え、出力ピクチャ決定手段は、圧縮動画データを解析して、受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定する。
【００２９】
この発明に従えば、短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャと、その出力ピクチャが参照ピクチャを有する場合にはその参照ピクチャとを除くピクチャの圧縮動画データがデコードされない。このため、圧縮動画データを通常の速度でデコードするのとほぼ同等の負荷で早送りでデコードすることができる。また、早送りでデコードされたピクチャは、短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャなので、動きが滑らかな動画が再生可能となる。
【００３０】
好ましくは、削除手段は、圧縮動画データのうち処理対象ピクチャの色差ブロックを処理対象ピクチャと所定の時間的距離内にあるより前のピクチャの色差ブロックに置換える色ブロック置換手段を含み、色ブロック置換手段は、デコード手段の負荷が大きいほど所定の時間的距離を長くするブロック置換レベル変更手段を含む。
【００３１】
この発明に従えば、圧縮動画データのうち処理対象ピクチャの色差ブロックを処理対象ピクチャと所定の時間的距離内にあるより前のピクチャの色差ブロックに置換える。デコード手段の負荷が大きいほど所定の時間的距離を長くする。このため、置換えられた色ブロックに対応する圧縮動画データをデコードしないので、デコード処理の負荷を低減することができる。また、色差ブロックは、類似する色差ブロックに置換えられるので、再生される画像に与える影響を小さくすることができる。
【００３２】
好ましくは、予め定められたフレームレートにより定まるタイミングで、デコードされた出力ピクチャまたは参照ピクチャを出力する出力手段をさらに備え、削除手段は、圧縮動画データを解析して、予め定められたフレームレートに基づいて出力ピクチャを決定する出力ピクチャ決定手段と、負荷が第１のレベルを超えたことを条件に、参照ピクチャを有する出力ピクチャに対応する圧縮動画像データを削除するピクチャ削除手段とをさらに含み、出力手段は、ピクチャ削除手段により削除された出力ピクチャに代えて参照ピクチャを出力する。
【００３３】
この発明に従えば、参照ピクチャは出力ピクチャに類似するので、出力ピクチャに代えて参照ピクチャを用いることで画像の揺らぎは少なくすることができる。また、出力ピクチャをデコードしないので、デコード処理の負荷を低減することができる。このため、画像の揺らぎを抑えつつ、デコード処理の負荷を低減することができる。
【００３４】
好ましくは、実時間を短縮して動画データを出力する短縮指示を受付ける指示受付手段をさらに備え、出力ピクチャ決定手段は、圧縮動画データを解析して、受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定する。
【００３５】
この発明に従えば、短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャと、その出力ピクチャが参照ピクチャを有する場合にはその参照ピクチャとを除くピクチャの圧縮動画データがデコードされない。このため、圧縮動画データを通常の速度でデコードするのとほぼ同等の負荷で早送りでデコードすることができる。また、早送りでデコードされたピクチャは、短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャなので、動きが滑らかな動画が再生可能となる。
【００３６】
好ましくは、色ブロック置換手段は、指示受付手段により受付けられた短縮指示の短縮率が大きいほど所定の時間的距離の限界距離を長い値に決定する限界距離決定手段を含む。
【００３７】
この発明に従えば、実時間を短縮して動画データを出力する短縮指示の短縮率が大きいほど所定の時間的距離の限界距離を長い値に決定するので、デコードしない色ブロックの数が増える。このため、デコード処理の負荷をより低減することができる。
【００３８】
好ましくは、出力ピクチャ決定手段は、ブロック置換レベル変更手段により所定の時間的距離が限界距離に達したことをさらに条件として、予め定められたフレームレートよりも低いフレームレートに基づき出力ピクチャを決定する。
【００３９】
この発明に従えば、フレームレートが低くなるので出力ピクチャの数が少なくなる。その結果、デコードする圧縮動画データのデータ量が少なくなるので、デコード処理の負荷をさらに低減することができる。
【００４０】
好ましくは、削除手段により削除するデータの量を決定するためのパラメータを取得する取得手段をさらに備え、制御手段は、取得されたパラメータを用いて削除手段により削除するデータ量を制御する。
【００４１】
この発明に従えば、取得されたパラメータを用いて削除するデータ量が制御されるので、パラメータを変更すことにより削除するデータ量を変更することができる。このため、圧縮動画像によって削除するデータ量を異ならせることができる。
【００４２】
この発明のさらに他の局面によれば、圧縮動画データデコードプログラムは、実時間に対応した動画データがエンコードされた圧縮動画データを入力するステップと、実時間を短縮して動画データを出力する短縮指示を受付けるステップと、圧縮動画データを解析して、受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定するステップと、決定された出力ピクチャを除くピクチャに対応する圧縮動画データ、または、該出力ピクチャが参照ピクチャを有する場合には該出力ピクチャと該参照ピクチャとを除くピクチャに対応する圧縮動画データを削除するステップとをコンピュータに実行させる。
【００４３】
この発明に従えば、圧縮動画データを通常の速度でデコードするのとほぼ同等の負荷で早送りでデコードすることができる。その結果、圧縮動画データを早送りでデコードする際の処理量を削減することが可能な圧縮動画データデコードプログラムを提供することができる。また、早送りでデコードされたピクチャは、短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャなので、動きが滑らかな動画が再生される。このため、圧縮動画データを早送りでデコードしても動きが滑らかな動画を出力することが可能な圧縮動画データデコードプログラムを提供することができる。
【００４４】
この発明のさらに他の局面によれば、圧縮動画データデコードプログラムは、実時間に対応した動画データがエンコードされた圧縮動画データを入力するステップと、圧縮動画データの一部を削除するステップと、圧縮動画データをデコードするステップと、デコードステップが実行されるコンピュータの負荷を検出するステップと、検出された負荷に応じて削除ステップにより削除するデータ量を制御するステップとをコンピュータに実行させる。
【００４５】
この発明に従えば、デコードを実行するコンピュータの負荷に応じて削除するデータ量を制御する。このため、コンピュータの処理能力に合せて負荷が調整されるので、データ量の多い圧縮動画データを実時間に合せてコンピュータにデコードさせることが可能な圧縮動画データデコードプログラムを提供することができる。
【発明を実施するための最良の形態】
【００４６】
以下、本発明の実施の形態について図面を用いて説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。本実施の形態における動画再生装置は、ＭＰＥＧ２で符号化された圧縮動画データをデコードする例を説明するが、圧縮方式はこれに限定されることなくＭＰＥＧ２以外の圧縮方式を用いるようにしてもよい。
【００４７】
＜第1の実施の形態＞
図１は、本発明の第１の実施の形態における動画再生装置の概略構成を示すブロック図である。図１を参照して、動画再生装置１は、ＭＰＥＧ形式で圧縮された動画データを記録するハードディスク装置１０と、ハードディスク装置１０を制御して適切なビットレートで圧縮動画データを読み出すための読出制御装置１１と、圧縮動画データをデコードして展開された画像に変換する動画デコード装置１２と、展開された画像を適切な信号形式に変換して表示装置２に送出するビデオ信号発生装置１３と、ユーザが動画再生装置１を操作するためのキーボードなどのユーザインタフェース１４とを含む。
【００４８】
ユーザインタフェース１４からは、ユーザによる再生速度の指示の入力が受付けられる。再生速度の指示とは、実時間を短縮して動画データを出力する指示である。再生速度がｍ倍速再生とは、ｍ個のピクチャ間隔でピクチャを取出して再生することをいう。
【００４９】
ビデオ信号発生装置１３は、展開された画像を表示装置２に適した解像度に拡大または縮小する処理を行うこともある。
【００５０】
本実施の形態における動画再生装置１において、平均ビットレートＲ（ビット／秒）の圧縮動画データを通常再生（１倍速再生）する場合の処理の流れを説明する。読出制御装置１１は、通常速度での再生時にハードディスク装置１０からビットレートＲで圧縮動画データを読出すように動画デコード装置１２を制御する。動画デコード装置１２は読出したビットレートＲの圧縮動画データをデコードし、フレームレートＦ（フレーム／秒）で後述するメモリ部１０８（図４参照）に画像を展開する。
【００５１】
ビデオ信号発生装置１３は、メモリ装置に展開された画像を液晶やブラウン管といった表示装置２に適した信号形式に変換して出力する。通常、表示装置２の表示は一定のリフレッシュレートｆで更新されるため、フレームレートＦの画像は、リフレッシュレートｆになるよう、間引きもしくは補完が行われる。一般的には、フレームレートＦとリフレッシュレートｆの値は同じかあるいは近い値であるためハードディスク装置１０から読出された圧縮動画データはほぼすべてが表示装置２から出力される。
【００５２】
なお、動画再生装置１は、入力されたビデオ信号をＭＰＥＧ形式で圧縮するための動画エンコード装置、再生状況をはじめとする各種情報を表示するための情報表示装置等を備えるが、これらは周知であるのでここでは説明を繰り返さない。
【００５３】
ここで、ＭＰＥＧ２方式で圧縮された圧縮動画データの構造を説明する。圧縮動画像データは、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）、ピクチャ、スライス、マクロブロック、ブロックに階層化された構造を有する。図２は、ＭＰＥＧ２方式で圧縮された圧縮動画データのピクチャの並びを示す図である。図２を参照して、弓状の矢印はピクチャの依存関係を示している。ピクチャ内符号化画面（以下「Ｉピクチャ」という）はそれ自身で完結している。ピクチャ間予測符号化画面（以下「Ｐピクチャ」という）は先行するＩピクチャとの差分情報を持っており、Ｉピクチャを元にして画面が復元される。この元になるＩピクチャは参照ピクチャと呼ぶ。双方向予測符号化画面（以下「Ｂピクチャ」という）は前後のＩもしくはＰピクチャとの差分情報を持っており、これら前後の画面を元にして画面が復元される。これら元になるＩもしくはＰピクチャを参照ピクチャと呼ぶ。
【００５４】
これらＩ，Ｐ，Ｂピクチャの出現割合は必ずしも固定されておらず、画面の動きによりエンコード時に調整されることもありうる。また、情報量としてはＩピクチャが最も多く、Ｐピクチャ、Ｂピクチャの順で少なくなり、デコード時の演算量もこの順序に従う。
【００５５】
デコードに必要な演算量は、Ｂピクチャに比べてＩピクチャ、Ｐピクチャの方が大きいため、例えば、Ｂピクチャだけを削除してピクチャ数を１／ｎにしたとしても演算量が１／ｎにはならない。このため、通常再生時に近い演算量でｍ倍速再生を実現するためには、表示されるピクチャの数を１／ｍよりも小さくする必要があり、この場合にはコマ送り様の表示となってしまう。
【００５６】
図３は、ピクチャ、スライス、マクロブロック、ブロックの階層構造を説明するための図である。図３を参照して、ピクチャは、複数のスライスからなる。スライスは、複数のマクロブロックからなる。さらに、マクロブロックは、４つの輝度ブロック（Ｙ１〜Ｙ４）と、２つの色差ブロック（Ｃｂ，Ｃｒ）からなる。
【００５７】
図４は、本実施の形態における動画デコード装置１２の概略構成を示すブロック図である。動画デコード装置１２は、連続した圧縮動画データの構造を解析する構造解析部１０１と、重要度の低いピクチャを選択して削除するピクチャ削除部１０２と、重要度の低いブロックを選択して削除するブロック削除部１０３と、各ピクチャの可変長符号の展開と逆量子化とを行ってＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）係数を出力する可変長符号展開部１０４と、重要度の低いＤＣＴ係数を選択して削除するＤＣＴ係数削除部１０５と、逆ＤＣＴ演算を行ってブロックを出力する逆ＤＣＴ演算部１０６と、動き保証処理を行って最終的なデコード結果である画像を出力する動き保証部１０７と、デコード処理中およびその前後のピクチャの画像を格納するメモリ部１０８と、デコード処理の負荷状態に適した削除レベルを決定し、それぞれの削除部に指示する負荷制御部１０９と、パラメータを記憶するパラメータ記憶部１２０と、パラメータ記憶部に記憶されたパラメータを選択するパラメータ選択部１２１とを含む。
【００５８】
パラメータ記憶部１２０は、ピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５において削除するデータを決定するために用いられるパラメータを記憶する。このパラメータについては後で詳細に説明する。パラメータ記憶部１２０は、複数の組のパラメータを記憶することが可能である。複数の組は、動画データの特性、たとえば動きの速い動画と動きの遅い動画とで異なるパラメータを記憶する。
【００５９】
パラメータ選択部１２１は、ユーザからの指示に基づいて、パラメータ記憶部１２０に記憶されているパラメータの組から所望のパラメータを選択し、負荷制御部１０９に出力する。なお、ここでは、負荷制御部１０９に入力されるパラメータは、パラメータ記憶部１２０に記憶されている例を示すが、パラメータが圧縮動画データの一部に含まれる場合にはそのパラメータを抽出して負荷制御部１０９に入力されるようにしてもよいし、圧縮動画データとは別のそれと関連付けられたメタデータに含まれる場合にはそのパラメータが負荷制御部１０９に入力されるようにしてもよい。同様に、パラメータの選択もユーザの指示以外に、動画データの一部に含まれているデータやメタデータに基づいて行ってもよい。
【００６０】
パラメータ記憶部１２０に記憶されるパラメータは圧縮動画データの一部に含まれるパラメータを更新するための所定のデータにより更新される。また、パラメータは、圧縮動画データとともに受信されるメタデータに含まれる。さらに、パラメータ記憶部１２０は、複数の組のパラメータを記憶しており、パラメータ選択部１２１は、複数の組のパラメータのいずれか１つを選択する。このパラメータ選択部１２１は、入力された圧縮動画データの種類に応じて複数の組のパラメータの中から選択する。
【００６１】
構造解析部１０１は、圧縮動画像データが入力され、入力された圧縮動画像データの構造を解析する。デコード処理において、構造解析部１０１は後述する削除処理が行われる以前に圧縮動画像データを処理するので、再生速度が高速なほど処理量が増加する。このため、構造解析部１０１は十分な処理能力を有することが望ましい。また、構造解析部１０１は、入力される圧縮動画データが書込み可能な記録媒体、たとえばハードディスク装置１０に記録されている場合には、デコード処理が実行される以前に予め圧縮動画データを解析をしておき、解析結果を圧縮動画データとは別の領域に記録するようにするようにしてもよい。この場合には構造解析部は、通常の再生速度に対応できる処理能力があれば十分である。また、解析結果を格納するためにハードディスク装置１０内に確保される追加の記録領域は、早送り専用の圧縮動画データを予め生成して記憶しておく場合に必要とされる記憶領域と比較して記録量が非常に小さくてよい。
【００６２】
圧縮動画データのデコード処理においては、逆ＤＣＴ演算部１０６での処理量が最も大きい。そのため、逆ＤＣＴ演算部１０６に送込まれるＤＣＴ係数の削減が動画デコード処理全体の演算量を削減するのに効果的である。本実施の形態においては、逆ＤＣＴ演算部１０６に送込まれるＤＣＴ係数を削減するために、ピクチャ削除部１０２によるピクチャの削除、ブロック削除部１０３によるブロックの削除、ＤＣＴ係数削除部１０５によるＤＣＴ係数削除の３つの処理を実行する。
【００６３】
ピクチャ削除部１０２は、ユーザから指示された再生速度の指示と予め定められたフレームレートとに基づいて出力ピクチャを決定する。そして、決定した出力ピクチャと、その出力ピクチャが参照ピクチャを有する場合にはその参照ピクチャとに対応する圧縮動画データとを除く圧縮動画データを削除する。なお、ここでは、圧縮動画像データを削除する例を示すが、データ自体を削除することなく、後段の処理において削除するピクチャに対応する圧縮動画データを処理対象から除外するように上述したデータ構造を変更するようにしてもよい。
【００６４】
また、ピクチャ削除部１０２は、出力ピクチャが参照ピクチャを有することを条件に、その出力ピクチャに対応する圧縮動画データを削除して、参照ピクチャに対応する圧縮動画データを削除した圧縮動画データの代わりのピクチャとする。なお、圧縮画像データそのものを変更することなく、データ構造を変更するようにしてもよい。
【００６５】
さらに、ピクチャ削除部１０２は、ユーザから指示された再生速度の指示と予め定められたフレームレートよりも低いフレームレートとに基づき出力ピクチャを決定する。
【００６６】
ブロック削除部１０３は、圧縮動画データのうち処理対象ピクチャの色差ブロックを削除し、削除した色差ブロックを処理対象ピクチャと所定の時間的距離内にあるより前のピクチャの色差ブロックに置換える。
【００６７】
可変長符号展開部１０４では、可変長符号を展開し、さらに逆量子化を行って各ブロックあたり６４個（＝８×８）のＤＣＴ係数を出力する。エンコード時には、図５に示すように、画像データはＤＣＴによりＤＣＴ係数の行列に変換された後、ジグザグスキャンで１次元の係数列に変換される。デコードの処理において可変長符号展開部１０４から出力されるのは、ジグザグスキャンの順序に従って２次元の行列に再展開されたＤＣＴ係数行列である。
【００６８】
ＤＣＴ係数削除部１０５は、解像度を低下させるために圧縮動画データの輝度ブロックの一部を削除する。
【００６９】
逆ＤＣＴ演算部１０６ではＤＣＴ係数行列に逆ＤＣＴ処理を行いブロックの画像データを出力する。
【００７０】
動き保証部１０７ではブロックをピクチャの形に配置し、さらに、Ｐピクチャについては時間的に前のＩピクチャをもとに、Ｂピクチャについては時間的に前後のＩピクチャあるいはＰピクチャをもとに動き保証を行ってデコードされた画像を得る。得られた画像は、ビデオ信号発生装置１３に伝えるため、メモリ部１０８に書き込まれる。また、動き保証の処理を行うために動き保証部１０７から参照される可能性がある間はメモリ部１０８に書き込まれた画像を保存する必要がある。
【００７１】
次に、入力された圧縮動画データのデコードの流れに従って、ピクチャ削除部１０２と、ブロック削除部１０３と、ＤＣＴ係数削除部１０５との働きについて詳細に説明する。ここでは説明のために、ユーザからの再生速度の指示が４倍速再生の場合を例に説明する。図６は、４倍速再生の場合に選択されるピクチャを説明するための図である。図６を参照して、斜線でハッチングを付したピクチャが選択されたピクチャを示す。このピクチャの選択は、ピクチャ削除部１０２において行われる。選択されたピクチャが出力ピクチャに相当する。
【００７２】
選択されたピクチャが参照ピクチャを有する場合には、選択されたピクチャをデコードするのに参照ピクチャをデコードしなければならない。図では、依存関係が矢印で示され、参照ピクチャは格子のハッチングで示される。図においてハッチングが付されていない無地のピクチャはデコードする必要がない。このため、ピクチャ削除部１０２は、ｍ倍速再生の再生速度の指示と表示装置２のリフレッシュレートから定まるフレームレートとに基づき、出力ピクチャとその出力ピクチャと依存関係のある参照ピクチャ以外のピクチャをデコードの必要のないピクチャとして選択して削除する。
【００７３】
次に、ブロック削除部１０３で実行されるブロック削除処理について説明する。図３に示したように、ピクチャは１６×１６ペル（ピクセル）のマクロブロックに分割され、さらに、輝度成分を表す４つの輝度ブロックと、色差成分を表す２つの色差ブロックに分けられる。４つの輝度ブロックと、２つの色差ブロックそれぞれは８×８の大きさである。
【００７４】
一般に人の視覚は輝度の変化には敏感であるが、色の変化には鈍感であるという性質がある。１つのマクロブロックが４つの輝度ブロックに変換されるにもかかわらず、色差ブロックについては２つの色差ブロックにしか変換されないという分割アルゴリズムもこの人の視覚の性質に基づいている。
【００７５】
ブロック削除部１０３は、色差ブロックを削除する。より具体的には、例えば、Ｂピクチャについてはその元となるＩピクチャまたはＰピクチャの色差成分を流用し、Ｂピクチャ自身の色差ブロックを削除する。Ｂピクチャは時間的に前のピクチャと後のピクチャの両方に依存し、色差成分の流用元となるピクチャはそのいずれのピクチャから選択してもよいが、一般的に時間的に前のピクチャを選択する方が処理や必要なバッファ量の削減につながるために好ましい。もちろん、前後のピクチャの色差成分の単純平均、加重平均などを用いるようにしてもよい。さらに色差ブロックの削除は、Ｐピクチャの色差成分を削除するようにしてもよい。この場合、Ｉピクチャの色差成分のみがデコードされ、ＧＯＰを通じてその色差成分が流用される。
【００７６】
色差成分の削除はピクチャの削除に比べれば再生画像への影響が少ないが、輝度と色とのずれがあまり目立たないよう、次に説明するＤＣＴ係数削除と適切に組み合わせて行う必要がある。
【００７７】
次に、ＤＣＴ係数削除部１０５によるＤＣＴ係数削除処理について説明する。図７は、ＤＣＴ係数削除処理を説明するための図である。図７（ａ）を参照して、ＤＣＴ係数削除部１０５は、可変長符号展開部１０４から出力されたＤＣＴ係数行列について、左上の４×４の係数を除く斜線部分を削除し、さらに残った係数値すべてに１／２を掛ける処理を行う。この処理によって、逆ＤＣＴ後の解像度は半分（画素数は１／４）になるが、ＤＣＴの係数の数は１／４になり、逆ＤＣＴ処理の演算量を削減することができる。
【００７８】
図７（ｂ）を参照して、ＤＣＴ係数削除部１０５は、左上の２×２の係数だけを除いて削除し、さらに、残りの係数値すべてに１／４を掛ける処理を行う。この場合、得られる画像の解像度は１／４となる。さらに、図７（ｃ）を参照して、ＤＣＴ係数削除部１０５は、左上のひとつの係数だけを除いて削除し、さらに、残りの係数値すべてに１／８を掛ける処理を行う。この場合、得られる画像の解像度は１／８となる。係数を１つだけにした場合は、逆ＤＣＴ演算部１０６における逆ＤＣＴ処理そのものが不要になるという利点があるが、解像度は相当に低下するため元のピクチャの解像度が十分に高い場合以外は避けることが望ましい。
【００７９】
次に、負荷制御部１０９による制御と、ピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５の動作についてより詳細に説明する。デコード処理を行う可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７は、それぞれの負荷状態を負荷制御部１０９に伝える。
【００８０】
負荷制御部１０９は、伝えられた負荷からデコード処理を行う可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７の負荷を検出する。そして、負荷制御部１０９は、検出した負荷状態を基に、ピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５に削除の指示を伝える。
【００８１】
可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれが出力する負荷は、可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれに設けられている入力バッファに記憶されているデータ量またはその変化量である。負荷が過多になり処理が間に合わなくなると可変長符号展開部１０４、逆ＤＣＴ演算部１０６および動き保証部１０７それぞれの入力バッファに記憶されるデータ量が増加し、逆に負荷が軽くなると入力バッファに記憶されるデータ量が減少するからである。本実施の形態においては、負荷を負荷レベルで分類している。
【００８２】
図８は、負荷レベルの一例を示す図である。図８を参照して、負荷レベル３は入力バッファがあふれる直前の状態を示し、警告となる値である。例えば、バッファ量がバッファの８割以上となった場合に出力される。負荷レベル２は、入力バッファに記憶されるデータ量が増加傾向にある場合に出力される。負荷レベル１は、入力バッファに記憶されるデータ量が減少傾向にある場合に出力される。負荷レベル０は、入力バッファに記憶されるデータ量が一定量以下、たとえばバッファの１割以下の場合に出力される。負荷レベル０もしくは３の条件は負荷レベル１もしくは２の条件に優先する。つまり、バッファ量が減少傾向でもバッファが限界を超えていれば負荷レベルは３となる。
【００８３】
図９は、ピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５それぞれに対する削除レベルとそのレベルに応じた削除処理との関係の一例を示す図である。ここで、ｍは表示されるべきピクチャの間隔を示している。一般的には早送りの再生速度の通常再生速度に対する倍数である。ここで各削除部について削除レベル０を定義しているが、これは、再生画像に対して一切の品位低下をもたらさない状態を示している。
【００８４】
ピクチャ削除部１０２の削除レベル（「ピクチャ削除レベル」ともいう）は、削除レベル０では必要なピクチャをすべて残すように処理される。このため、表示されるピクチャは、表示のタイミングから期待されるピクチャに完全に一致する。削除レベル１、２では表示するピクチャの時間的揺らぎを許すことでピクチャの削減を図っている。表示されるピクチャの枚数（フレームレート）は保持されるが、一部のピクチャについては、本来表示すべきピクチャよりも前のピクチャで代替される。削除レベル３ではピクチャの時間的揺らぎに加えてフレームレートを下げることでピクチャの削減を図る。このため、ひとつのピクチャが複数回表示されることになる。
【００８５】
ブロック削除部１０３に対する削除レベル（「ブロック削除レベル」ともいう）は、削除レベル０ではすべてのブロックを残し、削除レベル１では通常再生で約０．１３秒に相当する色変化の遅れを許し、削除レベル２では通常再生で約０．２秒に相当する色変化の遅れを許し、削除レベル３では通常再生で約０．２７秒に相当する色変化の遅れを許している。色変化の遅れがあまりにも大きくなると、輝度情報によって表現される被写体の輪郭と色差情報によって表現される被写体の色のずれが大きくなりすぎ、違和感を生じるため図９に示す関係とした。なお、ここでは圧縮動画データのフレームレートを３０フレーム／秒として遅れ時間を計算している。
【００８６】
ＤＣＴ係数削除部に対する削除レベル（「ＤＣＴ係数削除レベル」ともいう）は、削除レベル０ではすべてのＤＣＴ係数を残し、削除レベル１ではブロックあたりＤＣＴ係数が１６になるようにＤＣＴ係数を削除するレベルであり、削除レベル２ではブロックあたりＤＣＴ係数が４になるようにＤＣＴ係数を削除するレベルであり、削除レベル３ではブロックあたりＤＣＴ係数が１になるようにＤＣＴ係数を削除するレベルである。
【００８７】
ユーザによる再生速度の指示が変化したり、負荷レベルが変化したために、削除レベルが変化した場合に再生画像が一瞬止まったり、あるいは間のフレームが抜けたりしないようピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５は、削除レベルが変わった場合でも処理時間が変化しないよう構成されるか、あるいは、各処理部は十分なバッファを持つべきである。
【００８８】
図１０は、ピクチャ削除部１０２について、ｍ＝４（４倍速再生）の場合に図９の関係を適応した際のピクチャ削除部１０２による削除結果を説明する図である。ここで、各レベルの第１行はどのピクチャがデコードされるかを示しており、丸は表示されるピクチャ、三角は表示されないがピクチャの依存関係からデコードが必要なピクチャ、左向きの矢印は代替の結果利用されないため削除されるピクチャ、空欄は利用されないため削除されるピクチャを示している。丸と三角がデコードされるピクチャであり、左向きの矢印と空欄がデコードされないピクチャである。各レベルの第２行は、デコードされたピクチャがどのように表示されるかを示しており、表示のためデコードされた丸印のピクチャは下向きまたは右下向きの矢印の矢のタイミングで表示される。
【００８９】
ピクチャ削除レベル０では必要なピクチャをすべて残すように処理されるので、ピクチャ４枚ごとに１枚のピクチャが選択され、そのピクチャが依存するピクチャも残される。表示されるピクチャは、表示のタイミングから期待されるピクチャに完全に一致するのがわかる。
【００９０】
ピクチャ削除レベル１、２では、表示されるピクチャの枚数（フレームレート）は保持されるが、一部のピクチャについては、本来表示すべきピクチャよりも前のピクチャで代替される。
【００９１】
ピクチャ削除レベル３では、ピクチャの時間的揺らぎに加えてフレームレートを下げることでピクチャの削減を図るため、ひとつのピクチャが複数回表示されることになる。図１０ではひとつの丸印のピクチャに複数（２もしくは３）の矢印がつけられている。
【００９２】
図１１は、ピクチャ削除部１０２で実行されるピクチャ削除処理により残されるピクチャの数の一例を削除レベル別に示す図である。図１１を参照して、削除レベルが上がるに従い、デコード対象となるピクチャの数が減少する。
【００９３】
なお、削除レベル３は早送り再生の滑らかさを損なうため、可能な限り避ける必要がある。また、高速な早送り再生であれば、多少の時間的な揺らぎは目立たないため、削除レベル１、削除レベル２、削除レベル３における揺らぎの許容量はｍに比例するようになっている。
【００９４】
負荷制御部１０９には、入力として可変長符号展開部１０４の負荷、逆ＤＣＴ演算部１０６負荷、動き保証部１０７の負荷と、早送りレベル（以下「ＦＦＬ」ともいう）と、解像度レベル（以下「ＭＰＲＬ」ともいう）が入力される。そして、負荷制御部１０９は、ピクチャ削除レベル（以下「ＰＤＬ」ともいう）と、ブロック削除レベル（以下「ＢＤＬ」ともいう）と、ＤＣＴ係数削除レベル（以下「ＤＦＤＬ」ともいう）とを出力する。ＰＤＬはピクチャ削除部１０２に出力され、ＢＤＬはブロック削除部１０３に出力され、ＤＦＤＬはＤＣＴ係数削除部１０５に出力される。
【００９５】
ＦＦＬは、通常速度の何倍で再生するかを示し、ユーザインタフェース１４からユーザにより入力される再生速度の指示により定められる。図１２は、早送りレベルの一例を示す図である。図１２を参照して、再生速度の指示が「通常再生」の場合にＦＦＬは「０」が対応付けられ、再生速度の指示が「２倍速」の場合にＦＦＬは「１」が対応付けられ、再生速度の指示が「３倍速」の場合にＦＦＬは「２」が対応付けられ、再生速度の指示が「３２倍速」の場合にＦＦＬは「３」が対応付けられる。なお、ＦＦＬは、入力される圧縮動画データのビットレートから定めるようにしてもよい。ＦＦＬを入力される圧縮動画データのビットレートから定める場合は、図１３に示すビットレートとＦＦＬとの関係を用いればよい。
【００９６】
ＭＰＲＬは、構造解析部１０１により入力された圧縮動画データの解像度を示し、入力された圧縮動画データから抽出される。図１４は、縦解像度範囲とＭＰＲＬとの関係の一例を示す図である。図１４を参照して、解像度の範囲は、１つのピクチャの縦方向の画素数を示す。解像度の範囲が「１〜２８８」に対してＭＰＲＬは「０」が対応付けられ、解像度の範囲が「２８９〜５７６」に対してＭＰＲＬは「１」が対応付けられ、解像度の範囲が「５７７〜１１５２」に対してＭＰＲＬは「２」が対応付けられ、解像度の範囲が「１１５３〜」に対してＭＰＲＬは「３」が対応付けられる。なお、ＭＰＲＬを、横方向の解像度や画面の総ブロック数から定めるようにしてもよい。ＭＰＲＬを横方向の解像度から定める場合には図１５に示す横解像度範囲とＭＰＲＬとの関係を用いればよい。なお、図１５における横解像度範囲は、ピクチャの横方向の画素数を示す。ＭＰＲＬを画面の総ブロック数から定める場合には図１６に示すブロック数の範囲とＭＰＲＬとの関係を用いればよい。
【００９７】
本実施の形態における動画デコード装置１２は、解像度低下、色のずれ、再生画像の時間的な揺らぎをある程度犠牲にする一方、ピクチャをできるだけ保存することで滑らかな早送り再生画像を得ようとするものである。このため、負荷制御部１０９は、次のポリシーに従った制御を行う。
【００９８】
（１）  可能な限りピクチャ削除レベルは低く抑える（ポリシー１）。
【００９９】
（２）  高速早送りの場合は、色のずれを許容して、すなわちブロック削除レベルを上げて負荷を軽減する（ポリシー２）。
【０１００】
（３）  元画像の解像度が高い場合は解像度を落として、すなわちＤＴＣ係数削除レベルを上げて負荷を軽減する（ポリシー３）。
【０１０１】
（４）  ブロック削除レベル、ＤＴＣ係数削除レベルを上げても負荷が高い場合は、フレームレートを下げて、すなわちピクチャ削除レベルを上げて負荷を軽減する（ポリシー４）
負荷制御部１０９の入出力の関係について説明する。負荷制御部１０９は、最初にＦＦＬとＭＰＲＬから、ピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５それぞれで基本となる削除レベルを決定する。これを基礎削除レベルと呼ぶ。このようにして決定された基礎削除レベルに対して各負荷レベルによる補正を加えて削除レベルを得る。さらに、負荷レベルによる補正により再生品位が下がりすぎないよう、ＦＦＬとＭＰＲＬから各削除レベルの上限を決定する。これを限界削除レベルと呼ぶ。
【０１０２】
完全に独立した設計になっているわけではないが、基本的には、ポリシー２、ポリシー３については基礎削除レベルを決定するテーブルの設計に、ポリシー１、ポリシー４については、基礎削除レベルに補正を加える処理の設計にそれぞれ反映されている。
【０１０３】
図１７は、ピクチャ削除部１０２に与えられるピクチャ削除レベル（ＰＤＬ）の基礎削除レベルと限界削除レベルとの関係を定義するテーブルの一例を示す図である。図１８は、図１７に示すピクチャ削除レベル（ＰＤＬ）の基礎削除レベルを３次元グラフで示した図である。図１９は、図１７に示すピクチャ削除レベル（ＰＤＬ）の限界削除レベルを３次元グラフで示した図である。
【０１０４】
図２０は、ブロック削除部１０３に与えられるブロック削除レベル（ＢＤＬ）の基礎削除レベルと限界削除レベルとの関係を定義するテーブルの一例を示す図である。図２１は、図２０に示すブロック削除レベル（ＢＤＬ）の基礎削除レベルを３次元グラフで示した図である。図２２は、図２０に示すブロック削除レベル（ＢＤＬ）の限界削除レベルを３次元グラフで示した図である。
【０１０５】
図２３は、ＤＣＴ係数削除部１０５に与えられるＤＣＴ係数削除レベル（ＤＦＤＬ）の基礎削除レベルと限界削除レベルとの関係を定義するテーブルの一例を示す図である。図２４は、図２３に示すＤＣＴ係数削除レベル（ＤＦＤＬ）の基礎削除レベルを３次元グラフで示した図である。図２５は、図２３に示すＤＣＴ係数削除レベル（ＤＦＤＬ）の限界削除レベルを３次元グラフで示した図である。
【０１０６】
図１８、図２１および図２４から明らかなように、ピクチャ削除レベル、ブロック削除レベルおよびＤＣＴ係数削除レベルのいずれの基礎削除レベルも、左手前方向から右奥方向に向かって値が大きくなっている。これにより、デコード負荷が軽く、かつ削除による劣化が目立つ状態である、低速度・低解像度入力の状態ではできるだけ削除を行わない制御が実現される。また、デコード負荷が高く、かつ削除による劣化が目立たない状態である、高速度・高解像度入力の状態では積極的に削除を行うという制御を実現している。なお、前述のポリシー１を実現するため、早送りレベルが０、１の場合のピクチャ削除レベルの基礎削除レベルは、同じく早送りレベルが０、１の場合のブロック削除レベルやＤＣＴ係数削除レベルの基礎削除レベルよりも低く設定されている。また、通常再生（早送りレベル０）時に過負荷になるとは考えにくいため、いずれの基礎削除レベルについても０となるよう設定されている。
【０１０７】
ブロック削除レベル、ＤＣＴ係数削除レベルを上げても負荷が吸収しきれない場合には、ポリシー４に従ってデコード処理の一番上流でのピクチャ削除レベルを上げて対処する必要があるため、図２０に示すようにピクチャ削除レベルの限界削除レベルはすべて最大値である「３」となっている。ブロック削除レベルの限界削除レベルは、ポリシー２を実現するために図２２に示すように右上がりの値になっている。これにより、色のずれが目立たない高速早送り状態では、ブロック削除が行われやすくなる。
【０１０８】
ＤＣＴ係数削除レベルの限界削除レベルは、ポリシー３を実現するために図２５のようにグラフの奥で大きな値になっている。これにより、解像度の低下が目立たない高解像度入力状態では、ＤＣＴ係数削除が行われやすくなる。
【０１０９】
＜削除レベルの決定＞
負荷制御部１０９は、ブロック削除部１０３のブロック削除レベルを次式（１）に従って決定する。ブロック削除レベルは可変長符号展開部１０４の負荷レベルに基づいて決定される。
【０１１０】
（ブロック削除レベル）＝ＭＩＮ（０，ＭＡＸ（（ブロック限界削除レベル），  （ブロック基礎削除レベル）−１．５＋（可変長符号展開部負荷レベル）））  …  （１）
ここで、ＭＩＮは２つの引数から小さい値を選択する関数であり、ＭＡＸは２つの引数から大きい値を選択する関数である。これらの関数は、削除レベルが０以上、かつ、限界削除レベル以下になるよう調節するために用いている。
【０１１１】
また、負荷制御部１０９は、ＤＣＴ係数削除部１０５のＤＣＴ係数削除レベルを次式（２）に従って決定する。ＤＣＴ係数削除レベルは逆ＤＣＴ演算部１０６と動き保証部１０７の負荷レベルで決定される。
【０１１２】
（ＤＣＴ係数削除レベル）＝ＭＩＮ（０，ＭＡＸ（（ＤＣＴ係数限界削除レベル），（ＤＣＴ係数基礎削除レベル）−１．５＋ＭＡＸ（（逆ＤＣＴ演算部負荷レベル），（動き保証部負荷レベル））））  …  （２）
さらに、負荷制御部１０９は、ピクチャ削除部１０２のピクチャ削除レベルを次の論理式（３）が真の場合に「３」とし、偽の場合に基礎削除レベルとする。ピクチャ削除レベルは、ブロック削除部１０３あるいはＤＣＴ係数削除部１０５で負荷が吸収されない場合にのみ「３」とし、それ以外は基礎削除レベルとすることでポリシー１とポリシー４とが実現される。
【０１１３】
（（ブロック削除レベル）＝３  ＡＮＤ  （可変長符号展開部負荷レベル）＝３）  ＯＲ（（ＤＣＴ係数削除レベル）＝３  ＡＮＤ  （（逆ＤＣＴ演算部負荷レベル）＝３  ＯＲ  （動き保証部負荷レベル）＝３）  …  （３）
上述したように負荷制御部１０９によるピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５の制御は、図１７、図２０および図２３に示したピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５それぞれの基礎削除レベルおよび限界削除レベルを定義するテーブルを用いて達成される。これらの基礎削除レベルおよび限界削除レベルを定義するテーブルは、パラメータとしてパラメータ記憶部１２０に記憶される。また、このパラメータは、圧縮動画データの特徴に応じてこれらの変化させれば、それぞれの圧縮動画データに適した制御が行える。
【０１１４】
また、圧縮動画データの一部にパラメータを更新するための所定のデータを埋め込んでおき、構造解析部１０１で圧縮動画データを解析すると同時にこの所定のデータを取出し、パラメータを更新するようにしてもよい。また、圧縮動画データが放送番組として受信される場合には、受信した圧縮動画データをハードディスク装置１０に記録する際に、圧縮動画データと共に放送番組のメタデータとして送られてきたパラメータを同時に記録しておき、圧縮動画データの再生開始とともにパラメータを読出すようにしてもよい。
【０１１５】
図１７、図２０および図２３に示したパラメータを含む負荷制御部１０９をハードウェア的、あるいはソフトウェア的に実装する場合、メモリ上に展開されたパラメータが用いられるが、このメモリを書込み可能なＲＡＭ（ランダムアクセスメモリ）で構成することで、パラメータの更新を容易に実現することができる。このように圧縮動画データの種類によって負荷制御部１０９内のパラメータを変化させることにより、例えば、動きの大きいスポーツの動画であれば、解像度よりも時間的な正確さを優先し、動きの少ないニュース番組の動画であれば、時間的な正確さよりも解像度を優先するといった最適化が可能になる。
【０１１６】
なお、パラメータを更新する場合には、圧縮動画データが切替わった際に標準値に戻されるようにしてもよい。
【０１１７】
次に動画デコード装置１２で実行される処理について説明する。図２６は、本実施の形態における動画デコード装置１２で実行される処理の流れを示すフローチャートである。図２６を参照して、動画デコード装置では、ハードディスク装置１０から読出された圧縮データが入力される（ステップＳ０１）。そして、その入力された圧縮動画データに対応するパラメータが取得される（ステップＳ０２）。
【０１１８】
次のステップＳ０３では、ユーザにより入力される短縮指示、すなわち再生速度に従って、早送りレベルが決定される（ステップＳ０３）。
【０１１９】
ステップＳ０４では、ステップＳ０１で入力された圧縮動画データの構造が解析される。つぎにピクチャ削除部１０２により出力ピクチャが決定される（ステップＳ０５）。この出力ピクチャは、短縮指示にしたがって圧縮動画データを、表示装置２のリフレッシュレートにより定まるフレームレートで出力するために必要とされるピクチャが出力ピクチャとされる。そして、出力ピクチャとその出力ピクチャが参照ピクチャを有する場合にはその参照ピクチャとを除く圧縮動画データを削除する（ステップＳ０６）。これにより、ユーザが指定した再生速度で再生する場合に、表示装置２のリフレッシュレートにより定まるフレームレートで出力するピクチャのみとなる。このため、圧縮動画データのデータ量が削減される。
【０１２０】
次に、圧縮動画データのデコードが開始される（ステップＳ０７）。デコードは、可変長符号展開部１０４と、逆ＤＣＴ演算部１０６と、動き保証部１０７とで実行される。この際、ブロック削除部１０３のブロック削除レベルおよびＤＣＴ係数削除部１０５のＤＣＴ係数削除レベルは、ステップＳ０２で取得されたパラメータに基づいて、基礎削除レベルに設定される。
【０１２１】
そして、可変長符号展開部１０４、逆ＤＣＴ演算部１０６および動き保証部１０７それぞれの負荷が検出され、検出された負荷に応じて負荷レベルが決定される（ステップＳ０８）。
【０１２２】
次のステップＳ０９では、可変長符号展開部１０４の負荷レベルに基づいて、ブロック削除部１０３のブロック削除レベルが決定される。ブロック削除レベルは、上記（１）式に基づいて定められる。そして、次のステップＳ１０において、ブロック削除レベルがステップＳ０１で取得されたパラメータで定義されたブロック限界削除レベルを超えるか否かが判断される。こえる場合にはブロック削除レベルをブロック限界削除レベルに設定する（ステップＳ１１）。ステップＳ１２では、ステップＳ０９で決定されたブロック削除レベルまたはステップＳ１１で設定されたブロック限界削除レベルに設定されたブロック削除レベルがブロック削除部１０３に出力され、ブロック削除部１０３においてブロック削除レベルに従って色ブロックの削除が実行される。これにより、削除された色ブロックをデコードする必要がなくなるので、以降のデコード処理の負荷を軽減することができる。
【０１２３】
次のステップＳ１３では、逆ＤＣＴ演算部１０６の負荷レベルに基づいて、ＤＣＴ係数削除部１０５のＤＣＴ係数削除レベルが決定される。ＤＣＴ係数削除レベルは、上記（２）式に基づいて定められる。そして、次のステップＳ１４において、ＤＣＴ係数削除レベルがステップＳ０１で取得されたパラメータで定義されたＤＣＴ係数限界削除レベルを超えるか否かが判断される。超える場合にはＤＣＴ係数削除レベルをＤＣＴ係数限界削除レベルに設定する（ステップＳ１５）。ステップＳ１６では、ステップＳ１３で決定されたＤＣＴ係数削除レベルまたはステップＳ１５で設定されたＤＣＴ係数限界削除レベルに設定されたブロック削除レベルがＤＣＴ係数削除部１０５に出力され、ＤＣＴ係数削除部１０５においてＤＣＴ係数削除レベルに従ってＤＣＴ係数の削除が実行される。これにより、削除されたＤＣＴ係数をデコードする必要がなくなるので、以降のデコード処理の負荷を軽減することができる。
【０１２４】
ステップＳ１７およびステップＳ１８では、上記論理式（３）の真偽が判定される。真と判定された場合にはステップＳ１９に進み、偽と判定された場合にはステップＳ２０に進む。ステップＳ１９では、ピクチャ削除レベルがピクチャ限界削除レベルに設定される。ステップＳ２０では、ピクチャ削除レベルがピクチャ基礎削除レベルに設定される。そして、ステップＳ２１では、ピクチャ削除部１０２で設定されたピクチャ削除レベルに従ってピクチャが削除される。
【０１２５】
そして、デコードが終了したか否かが判断され（ステップＳ２２）、デコードが終了した場合には処理を終了し、終了していない場合にはデコードを継続するためにステップＳ０７に戻る。その後のステップＳ１２におけるブロック削除は、ステップＳ０９またはステップＳ１１で設定されたブロック削除レベルが用いられ、ステップＳ１２におけるブロック削除は、ステップＳ０９またはステップＳ１１で設定されたブロック削除レベルが用いられ、ステップＳ２１におけるピクチャ削除は、ステップＳ１９またはステップＳ２０で設定されたピクチャ削除レベルが用いられる。
【０１２６】
＜負荷制御部の変形例＞
上述した負荷制御部１０９は、式（１）を用いてブロック削除レベルを決定し、式（２）を用いてＤＣＴ係数削除レベルを決定した。そして、論理式（３）を用いてピクチャ削除レベルを決定した。変形されて負荷制御部１０９は、より動的にブロック削除レベル、ＤＣＴ係数削除レベルおよびピクチャ削除レベルを決定する。
【０１２７】
図２７は、可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれの負荷レベルとピクチャ削除レベルを求めるための補正値とを定義したテーブルの一例を示す図である。図２８は、図２７に示す補正値をグラフで示す図である。図２９は、可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれの負荷レベルとブロック削除レベルを求めるための補正値とを定義したテーブルの一例を示す図である。図３０は、図２９に示す補正値をグラフで示す図である。図３１は、可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれの負荷レベルとＤＣＴ係数削除レベルを求めるための補正値とを定義したテーブルの一例を示す図である。図３２は、図３１に示す補正値をグラフで示す図である。
【０１２８】
図２７、図２９および図３１に示す補正値を得るための関数をＡ（）、Ｂ（）、Ｃ（）とし、次式（４）を用いてブロック削除レベル、ＤＣＴ係数削除レベルおよびＤＣＴ係数削除レベルがそれぞれ求められる。
【０１２９】
（削除レベル）＝ＭＡＸ（０，ＭＩＮ（（限界削除レベル），（基礎削除レベル）＋Ａ（可変長符号展開部負荷レベル）＋Ｂ（逆ＤＣＴ演算部負荷レベル）＋Ｃ（動き保証部負荷レベル）））  …  （４）
ここで、ＭＩＮは２つの引数から小さい値を選択する関数であり、ＭＡＸは２つの引数から大きい値を選択する関数である。これらの関数は、削除レベルが０以上、かつ、限界削除レベル以下になるよう調節するために用いている。
【０１３０】
たとえば、ピクチャ削除レベルを求める場合を例に説明する。解像度レベルが「２」で、早送りレベルが「２」とすると、図１７よりピクチャ削除レベルの基礎削除レベルは「２」で限界削除レベルは「３」となる。また、可変長符号展開部１０４の負荷レベルが「１」、逆ＤＣＴ演算部１０６の負荷レベルが「２」、動き保証部１０７の負荷レベルが「３」とすると、図２７から、関数Ａ（１）は「−０．５」となり、関数Ｂ（２）は「０．２５」となり、関数Ｃ（３）は「２」となる。これらの値を式（１）に代入してピクチャ削除レベルを求めると次のようになる。
【０１３１】
（ピクチャ削除レベル）＝ＭＡＸ（０，ＭＩＮ（（３），（２）＋（−０．５）＋（０．２５）＋（２）））＝ＭＡＸ（０，ＭＩＮ（３，３．２５）＝３
図２８からもわかるように、負荷レベルが０〜２の範囲のピクチャ削除レベルの補正値は、可変長符号展開部負荷レベルとの相関が他の負荷レベルとの相関に比べて強くなっており、可変長符号展開部１０４の負荷が上昇するとピクチャ削除レベルの補正値が大きくなる。その結果、ピクチャ削除レベルが上昇する。だだし、この範囲での補正値は図３０に示すブロック削除レベルの補正値や図３２に示すＤＣＴ係数削除レベルの補正値に比べて全体的に小さくなっており、ポリシー１が実現される。また、負荷が非常に大きい場合、すなわち負荷レベル３の場合は、いずれの負荷に対してもピクチャ削除レベルの補正値は大きくなるためポリシー４が実現される。
【０１３２】
図３０を参照して、逆ＤＣＴ演算部１０６の負荷とブロック削除レベルとが強い相関を持つようなテーブルとなっており、逆ＤＣＴ演算部１０６の負荷が高くなるとブロック削除レベルを上げて負荷を軽減するようになっている。同様に、図３２を参照して、可変長符号展開部負荷レベルと逆ＤＣＴ演算部負荷レベルとのグラフは重なっている。このように、動き保証部１０７の負荷とＤＣＴ係数削除レベルとが強い相関を持つようなテーブルとなっており、動き保証部１０７の負荷が高くなるとＤＣＴ係数削除レベルを上げて負荷を軽減するようになっている。このため、ポリシー３が実現される。
【０１３３】
パラメータ記憶部１２０に記憶されるパラメータには、削除レベルの補正値を定義するテーブルが含まれる。
【０１３４】
図３３は、本実施の形態における負荷制御部を変形した動画デコード装置で実行される処理の流れを示すフローチャートである。図３３を参照して、図２６に示した処理の流れと異なるところは、ステップＳ０９およびステップＳ１３それぞれを、ステップＳ０９ＡおよびステップＳ１３Ａに変更した点、ステップＳ１７〜ステップＳ２０をステップＳ３１に変更した点である。その他の処理は同様なのでここでは説明を繰り返さない。
【０１３５】
ステップＳ０２で受信されるパラメータには、図２７、図２９，図３１に示した各削除レベルの補正値が含まれる。
【０１３６】
ステップＳ０９Ａでは、上記（４）式に従ってブロック削除レベルが決定される。また、ステップＳ１３Ａでは、上記（４）式に従ってＤＣＴ係数削除レベルが決定される。さらにステップＳ３１では、上記（４）式に従ってピクチャ削除レベルが決定される。そして、次のステップＳ３２において、ブロック削除レベルがステップＳ０１で取得されたパラメータで定義されたピクチャ限界削除レベルを超えるか否かが判断される。超える場合にはピクチャ削除レベルをピクチャ限界削除レベルに設定する（ステップＳ３３）。
【０１３７】
以上、説明したように、第１の実施の形態における動画再生装置１は、早送り再生によって短時間で動画の内容を把握する目的に適した滑らかな再生画像を出力することができる。本実施の形態では、ＭＰＥＧ２を例として説明したが、Ｉピクチャ、Ｐピクチャ、Ｂピクチャといったピクチャの構成とこれを利用した動き保証の仕組みや、輝度信号と色信号を分けて圧縮する仕組み、ＤＣＴやウェーブレット変換による基底変換の仕組みはほとんどの動画圧縮技術に共通する要素である。よって、本実施の形態における動画再生装置１は、ＭＰＥＧ１、ＭＰＥＧ４はもとよりＨ．２６４やＷｉｎｄｏｗｓ（Ｒ）  Ｍｅｄｉａ（Ｒ）フォーマット等、様々な動画圧縮技術に広く適用可能である。さらに、本実施の形態では、順方向の早送り再生を例に説明したが、逆方向の巻き戻し再生についても、再生方向が異なるのみであり、本質的に変わるところが無く適用できる。加えて、近い将来提案されるであろう３次元画像の圧縮データについても、動き保証、輝度信号と色信号の分離、基底変換すべてあるいは一部を用いていれば適応可能である。
【０１３８】
なお、第１の実施の形態における動画デコード装置１２は、ピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５を備えるが、ブロック削除部１０３およびＤＣＴ係数削除部１０５それぞれを単独で備えるようにしてもよいし、ブロック削除部１０３とピクチャ削除部１０２とを備えてもよいし、ＤＣＴ係数削除部１０５とピクチャ削除部１０２とを備えるようにしてもよい。
【０１３９】
＜第２の実施の形態＞
上述した第１の実施の形態における動画再生装置１は、ブロック削除部１０３およびＤＣＴ係数削除部１０５を備えたが、第２の実施の形態における動画再生装置は、ブロック削除部１０３およびＤＣＴ係数削除部１０５を備えない。その他の点は、上述した動画再生装置１と同様である。
【０１４０】
第２の実施の形態における動画再生装置は、デコード処理の負荷に基づきピクチャ削除レベルを決定してピクチャを削除する。デコード処理は、可変長符号展開部１０４、逆ＤＣＴ演算部１０６および動き保証部１０７で実行される。デコード処理の負荷は、たとえば、可変長符号展開部１０４、逆ＤＣＴ演算部１０６および動き保証部１０７のいずれかの負荷レベルを用いればよい。好ましくは、最も負荷の大きいことが予想される逆ＤＣＴ演算部１０６の負荷を用いることが好ましい。また、可変長符号展開部１０４、逆ＤＣＴ演算部１０６および動き保証部１０７それぞれの負荷レベルの最大値、または、可変長符号展開部１０４、逆ＤＣＴ演算部１０６および動き保証部１０７のうちから選ばれた２つ以上の平均値などを用いることができる。
【０１４１】
第２の実施の形態における動画再生装置は、デコード処理の負荷レベルが「０」のときにピクチャ削除レベルを「０」とし、デコード処理の負荷レベルが「１」のときにピクチャ削除レベルを「１」とし、デコード処理の負荷レベルが「２」のときにピクチャ削除レベルを「２」とし、デコード処理の負荷レベルが「３」のときにピクチャ削除レベルを「３」とする。
【０１４２】
第２の実施の形態おける動画再生装置は、デコード処理の負荷レベルが「０」のときに、ユーザが入力した早送りレベルとフレームレートとに従って出力するべき出力ピクチャを決定する。そして、出力ピクチャとそれを参照する参照ピクチャを除く利用されないピクチャを削除する。これにより、デコード処理するデータ量が削減されるのでデコード処理の負荷を軽減することができる。
【０１４３】
また、第２の実施の形態おける動画再生装置は、デコード処理の負荷レベルが「１」または「２」のときに、出力ピクチャがｍ／４枚前またはｍ／２枚前までに参照ピクチャを有する場合にはその出力ピクチャを削除する。その参照ピクチャが出力ピクチャに代えてデコードされる。出力ピクチャが参照ピクチャを有する場合には、出力ピクチャをデコードするためには参照ピクチャをデコードする必要がある。第２の実施の形態おける動画再生装置は出力ピクチャに代えて参照ピクチャをデコードすればよいのでデータ量が削減される。その結果デコード処理の負荷を軽減することができる。
【０１４４】
さらに、第２の実施の形態おける動画再生装置は、デコード処理の負荷レベルが「３」のときに、ユーザが入力した早送りレベルとフレームレートより低いフレームレートとに従って出力するべき出力ピクチャを決定することにより、出力ピクチャを削除する。出力ピクチャが間引かれるためデータ量が削減される。その結果デコード処理の負荷を軽減することができる。
【０１４５】
＜第３の実施の形態＞
第１または第２の実施の形態における動画再生装置１は、動画の内容を容易に把握できるような滑らかな早送り再生が可能な動画再生装置を実現する。各削除部によって情報が削除された動画データは情報量が減少するため、より伝送が容易になるという性質も併せ持つ。第３の実施の形態における動画再生システムは、第１または第２の実施の形態における動画再生装置１を動画送信装置と動画受信装置とに分割して構成される。
【０１４６】
図３４は、第３の実施形態における動画再生システムの概略構成を示すブロック図である。動画再生システムは、動画送信装置３と、動画受信装置４とを含み、それらが伝送路５によって接続されている。動画受信装置４の出力は表示装置２に接続されている。伝送路５は双方向の伝送が可能であれば有線であっても、無線であってもよい。
【０１４７】
動画送信装置３は、ハードディスク装置１０からＭＰＥＧ形式で圧縮された動画データを読出して、動画受信装置４に伝送路５を介して動画データを伝送する。動画受信装置４は、受信した動画データを表示装置２に出力する。
【０１４８】
動画送信装置３は、ＭＰＥＧ形式で圧縮された動画データを記録するハードディスク装置１０と、ハードディスク装置１０を制御して適切なビットレートで圧縮動画データを読み出すための読出制御装置１１と、圧縮動画データを伝送に適した変換済み動画データに変換する動画変換装置２２と、伝送路５への信号入出力を行う送信装置２３と、伝送路の状態によって最適な送信信号のレベルやビットレート、伝送誤りを生じたデータの再送を送信装置２３に指示する送信側再送制御装置２４とを含む。
【０１４９】
動画受信装置４は、送信側再送制御装置２４と対になってエラーの検出や伝送誤りの補正およびデータの再送制御を行う受信側再送制御装置２５と、伝送路５からの信号入出力を行う受信装置２６と、変換済み動画データをデコードして展開された画像に変換する変換済み動画デコード装置２７と、展開された画像を適切な信号形式に変換して表示装置２に送出するビデオ信号発生装置１３とを含む。ビデオ信号発生装置１３は展開された画像を表示装置２に適した解像度に拡大または縮小する処理を行うこともある。
【０１５０】
図３４において、変換済み動画デコード装置２７から送信装置２３ならびに伝送路５、受信装置２６を介して動画変換装置２２にいたる経路は後述する受信側負荷情報の伝送経路を、送信装置２３から受信装置２６への経路は変換済み動画データの伝送経路を、送信側再送制御装置２４と受信側再送制御装置２５とを結ぶ経路は、伝送のための制御情報（フローコントロール、再送要求等）の伝送経路をそれぞれ示している。
【０１５１】
なお、動画送信装置３および動画受信装置４は、入力されたビデオ信号をＭＰＥＧ形式で圧縮された動画データに変換するための動画エンコード装置、ユーザが動画再生装置を操作するためのユーザインタフェース、再生状況をはじめとする各種情報を表示するための情報表示装置などを備える。また、送信装置２３、受信装置２６、送信側再送制御装置２４、受信側再送制御装置２５の詳細については、各種の有線・無線ローカルエリアネットワーク装置等、一般的な伝送技術として既知であるためここでは説明を繰り返さない。
【０１５２】
変換済み動画データはリアルタイム性を要求するデータであるため、ここで用いられる伝送技術はＱｏＳ（Ｑｕａｌｉｔｙ  ｏｆ  Ｓｅｒｖｉｃｅ）を保証していることが望ましい。
【０１５３】
図３５は、動画送信装置３の動画変換装置２２の機能の概要を示す機能ブロック図である。動画変換装置２２は連続した圧縮動画データの構造解析を行う構造解析部１０１と、重要度の低いピクチャを選択して削除するピクチャ削除部１０２と、重要度の低いブロックを選択して削除するブロック削除部１０３と、ピクチャとブロックが削除された動画情報を再び構造化して伝送可能にする変換済み動画構造化部１１１と、動画受信装置４からの負荷情報に基づいてピクチャ削除部１０２とブロック削除部１０３の削除レベルを決定する送信側負荷制御部１１０とを含む。
【０１５４】
図３６は、動画受信装置４の変換済み動画デコード装置２７の機能の概要を示す機能ブロック図である。変換済み動画デコード装置２７は、変換済み動画構造化部で構造化された動画データについて、再びＧＯＰ、ピクチャ、スライス、ブロック、ブロックに階層化された構造を解析する変換済み動画構造解析部１１３と、各ピクチャの可変長符号の展開と逆量子化を行ってＤＣＴ係数を出力する可変長符号展開部１０４と、重要度の低いＤＣＴ係数を選択して削除するＤＣＴ係数削除部１０５と、逆ＤＣＴ演算を行ってブロックを出力する逆ＤＣＴ演算部１０６と、動き保証処理を行って最終的なデコード結果である画像を出力する動き保証部１０７と、デコード処理中およびその前後のピクチャの画像を格納するメモリ部１０８と、デコード処理の負荷状態に適した削除レベルを決定し、送信側負荷制御部１１０とＤＣＴ係数削除部１０５に指示する受信側負荷制御部１１２とを含む。
【０１５５】
構造解析部１０１、ピクチャ削除部１０２、ブロック削除部１０３、可変長符号展開部１０４、ＤＣＴ係数削除部１０５、逆ＤＣＴ演算部、動き保証部１０７、メモリ部１０８については第１の実施の形態におけるそれらと同様であるため説明は繰り返さない。
【０１５６】
変換済み動画構造化部１１１と変換済み動画構造解析部１１３とは対になっている。変換済み動画構造化部１１１は、ＧＯＰ、ピクチャ、スライス、ブロック、ブロックの構造を持つ動画情報を伝送路で伝送可能な連続的な変換済み動画データに変換する。変換済み動画構造解析部１１３は、伝送路で伝送された連続的な変換済み動画データから再びＧＯＰ、ピクチャ、スライス、ブロック、ブロックの構造の構造を取出す。
【０１５７】
動画変換装置２２と変換済み動画デコード装置２７は、第１の実施の形態における動画デコード装置１２を処理の流れに沿って前半部分と後半部分に分離した構成となっている。送信側負荷制御部１１０と受信側負荷制御部１１２とは、第１の実施の形態における負荷制御部１０９の機能を分割したものであり、一体となって負荷制御部１０９と同じ機能を実現する。受信側負荷制御部１１２では、可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７の負荷レベルが検出され、検出された負荷レベルが可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７に伝送路５を介して伝えられる。
【０１５８】
第３の実施の形態における動画変換装置２２と変換済み動画デコード装置２７との役割分担は一例であり、例えば、可変長符号展開部１０４を動画変換装置２２のピクチャ削除部１０２と変換済み動画構造化部１１１の間に配置することも考えられる。可変長符号展開部１０４の出力はその入力に比べてデータ量が増大するため、伝送という観点からはあまり望ましくない構成ではあるが、ピクチャ削除部とブロック削除部によるデータ量の削減は有効である。
【０１５９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１６０】
【図１】本発明の第１の実施の形態における動画再生装置の概略構成を示すブロック図である。
【図２】ＭＰＥＧ２方式で圧縮された圧縮動画データのピクチャの並びを示す図である。
【図３】ピクチャ、スライス、マクロブロック、ブロックの階層構造を説明するための図である。
【図４】第１の実施の形態における動画デコード装置の概略構成を示すブロック図である。
【図５】ブロックをＤＣＴ係数列に変換する手順を示す図である。
【図６】４倍速再生の場合に選択されるピクチャを説明するための図である。
【図７】ＤＣＴ係数削除処理を説明するための図である。
【図８】負荷レベルの一例を示す図である。
【図９】ピクチャ削除部、ブロック削除部およびＤＣＴ係数削除部それぞれに対する削除レベルとそのレベルに応じた削除処理との関係の一例を示す図である。
【図１０】ピクチャ削除部１０２について、ｍ＝４（４倍速再生）の場合に図９の関係を適応した際のピクチャ削除部による削除結果を説明する図である。
【図１１】ピクチャ削除部１０２で実行されるピクチャ削除処理により残されるピクチャの数の一例を削除レベル別に示す図である。
【図１２】早送りレベルの一例を示す図である。
【図１３】ビットレートとＦＦＬとの関係を示す図である。
【図１４】縦解像度範囲とＭＰＲＬとの関係の一例を示す図である。
【図１５】横解像度範囲とＭＰＲＬとの関係の一例を示す図である。
【図１６】ブロック数の範囲とＭＰＲＬとの関係の一例を示す図である。
【図１７】ピクチャ削除部に与えられるピクチャ削除レベル（ＰＤＬ）の基礎削除レベルと限界削除レベルとの関係を定義するテーブルの一例を示す図である。
【図１８】図１７に示すピクチャ削除レベル（ＰＤＬ）の基礎削除レベルを３次元グラフで示した図である。
【図１９】図１７に示すピクチャ削除レベル（ＰＤＬ）の限界削除レベルを３次元グラフで示した図である。
【図２０】ブロック削除部に与えられるブロック削除レベル（ＢＤＬ）の基礎削除レベルと限界削除レベルとの関係を定義するテーブルの一例を示す図である。
【図２１】図２０に示すブロック削除レベル（ＢＤＬ）の基礎削除レベルを３次元グラフで示した図である。
【図２２】図２０に示すブロック削除レベル（ＢＤＬ）の限界削除レベルを３次元グラフで示した図である。
【図２３】ＤＣＴ係数削除部に与えられるＤＣＴ係数削除レベル（ＤＦＤＬ）の基礎削除レベルと限界削除レベルとの関係を定義するテーブルの一例を示す図である。
【図２４】図２３に示すＤＣＴ係数削除レベル（ＤＦＤＬ）の基礎削除レベルを３次元グラフで示した図である。
【図２５】図２３に示すＤＣＴ係数削除レベル（ＤＦＤＬ）の限界削除レベルを３次元グラフで示した図である。
【図２６】第１の実施の形態における動画デコード装置で実行される処理の流れを示すフローチャートである。
【図２７】可変長符号展開部、逆ＤＣＴ演算部、動き保証部それぞれの負荷レベルとピクチャ削除レベルを求めるための補正値とを定義したテーブルの一例を示す図である。
【図２８】図２７に示す補正値をグラフで示す図である。
【図２９】可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれの負荷レベルとブロック削除レベルを求めるための補正値とを定義したテーブルの一例を示す図である。
【図３０】図２９に示す補正値をグラフで示す図である。
【図３１】可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれの負荷レベルとＤＣＴ係数削除レベルを求めるための補正値とを定義したテーブルの一例を示す図である。
【図３２】図３１に示す補正値をグラフで示す図である。
【図３３】第１の実施の形態における負荷制御部を変形した動画デコード装置で実行される処理の流れを示すフローチャートである。
【図３４】第３の実施形態における動画再生システムの概略構成を示すブロック図である。
【図３５】動画送信装置の動画変換装置の機能の概要を示す機能ブロック図である。
【図３６】動画受信装置の変換済み動画デコード装置の機能の概要を示す機能ブロック図である。
【符号の説明】
【０１６１】
１  動画再生装置、２  表示装置、３  動画送信装置、４  動画受信装置、５  伝送路、１０  ハードディスク装置、１１  読出制御装置、１２  動画デコード装置、１３  ビデオ信号発生装置、１４  ユーザインタフェース、２２  動画変換装置、２３  送信装置、２４  送信側再送制御装置、２５  受信側再送制御装置、２６  受信装置、２７  動画デコード装置、１０１  構造解析部、１０２  ピクチャ削除部、１０３  ブロック削除部、１０４  可変長符号展開部、１０５  ＤＣＴ係数削除部、１０６  ＤＣＴ演算部、１０７  動き保証部、１０８  メモリ部、１０９  負荷制御部、１１０  送信側負荷制御部、１１１  動画構造化部、１１２  受信側負荷制御部、１１３  変更済み動画構造解析部、１２０  パラメータ記憶部、１２１  パラメータ選択部。
【図１】
2005192013.tif 000003
【図２】
2005192013.tif 000004
【図３】
2005192013.tif 000005
【図４】
2005192013.tif 000006
【図５】
2005192013.tif 000007
【図６】
2005192013.tif 000008
【図７】
2005192013.tif 000009
【図８】
2005192013.tif 000010
【図９】
2005192013.tif 000011
【図１０】
2005192013.tif 000012
【図１１】
2005192013.tif 000013
【図１２】
2005192013.tif 000014
【図１３】
2005192013.tif 000015
【図１４】
2005192013.tif 000016
【図１５】
2005192013.tif 000017
【図１６】
2005192013.tif 000018
【図１７】
2005192013.tif 000019
【図１８】
2005192013.tif 000020
【図１９】
2005192013.tif 000021
【図２０】
2005192013.tif 000022
【図２１】
2005192013.tif 000023
【図２２】
2005192013.tif 000024
【図２３】
2005192013.tif 000025
【図２４】
2005192013.tif 000026
【図２５】
2005192013.tif 000027
【図２６】
2005192013.tif 000028
【図２７】
2005192013.tif 000029
【図２８】
2005192013.tif 000030
【図２９】
2005192013.tif 000031
【図３０】
2005192013.tif 000032
【図３１】
2005192013.tif 000033
【図３２】
2005192013.tif 000034
【図３３】
2005192013.tif 000035
【図３４】
2005192013.tif 000036
【図３５】
2005192013.tif 000037
【図３６】
2005192013.tif 000038