(57)【要約】【課題】  画質低下の少ない高速再生を可能にする。【解決手段】  第１または第２の画像復号部１０２ａ・１０２ｂは、それぞれ８×８の直交変換ブロックまたはその４×４の低周波成分の係数に対して逆直交変換するもので、互いに異なる復号化速度を有している。復号速度取得部１０４は、指示された再生速度とＩＰピクチャ間隔検出部１０１によって検出されたＩＰピクチャ間隔とに基づいて必要復号速度を求める。制御部１０５は解像度取得部１０３によって求められた解像度データに基づいて、第１または第２の画像復号部１０２ａ・１０２ｂによる可能復号速度を求めるとともに、その可能復号速度データと、上記必要復号速度データとに基づいて、第１または第２の画像復号部１０２ａ・１０２ｂを選択的に動作させる。【選択図】  図１
2006135668.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内符号化データとフレーム間符号化データとを含む入力画像データに基づいて、指定された指定再生速度で動画像を再生する動画像再生装置であって、
再生画像の画素規模を検出する画素規模検出手段と、
フレーム内符号化データとフレーム間符号化データとの順序パターンを検出する順序パターン検出手段と、
互いに復号化速度が異なる複数種類の復号化処理が可能な復号化手段と、
上記画素規模、順序パターン、および指定再生速度に応じて、上記復号化手段による復号化処理の種類を制御する復号化制御手段と、
を備えたことを特徴とする動画像再生装置。
【請求項２】
請求項１の動画像再生装置であって、
上記画素規模検出手段は、各フレームを構成する画素数に応じた値を上記画素規模として求めるように構成されていることを特徴とする動画像再生装置。
【請求項３】
請求項１の動画像再生装置であって、
上記順序パターン検出手段は、各フレーム内符号化データの間に介在するフレーム間符号化データの数を求めるように構成されていることを特徴とする動画像再生装置。
【請求項４】
請求項１の動画像再生装置であって、
上記入力画像データは、直交変換された画像データであり、
上記復号化手段は、上記入力画像データにおける高周波成分に対する処理が行われるかどうかによって、上記復号化速度が異なる複数種類の復号化処理が可能なことを特徴とする動画像再生装置。
【請求項５】
請求項１の動画像再生装置であって、上記復号化制御手段は、
上記画素規模に基づいて、上記復号化手段による復号化が可能な可能復号化速度を検出する可能復号化速度検出手段と、
上記順序パターン、および指定再生速度に基づいて、必要な必要復号化速度を検出する必要復号化速度検出手段と、
を備え、
上記復号化手段における上記複数種類の復号化処理のうち、可能復号化速度が必要復号化速度よりも速い復号化処理が行われるように、復号化手段を制御するように構成されていることを特徴とする動画像再生装置。
【請求項６】
請求項５の動画像再生装置であって、
上記復号化制御手段は、
第１の種類の復号化処理による可能復号化速度が、必要復号化速度よりも遅い場合に、
上記第１の復号化処理よりも可能復号化速度が速い第２の種類の復号化処理による可能復号化速度が、必要復号化速度よりも速いかどうかを判定し、
可能復号化速度の方が速い場合には、上記復号化手段に上記第２の種類の復号化処理を行わせるように構成されていることを特徴とする動画像再生装置。
【請求項７】
請求項６の動画像再生装置であって、
上記復号化制御手段は、
上記第２の種類の復号化処理による可能復号化速度が、必要復号化速度よりも遅い場合には、上記指定再生速度での再生が不可能なことを示す信号を出力するように構成されていることを特徴とする動画像再生装置。
【請求項８】
請求項５の動画像再生装置であって、
上記復号化制御手段は、復号化手段に、少なくとも一部の入力画像データに対して、他の入力画像データよりも復号化速度が速い種類の復号化処理を行わせることにより、可能復号化速度が必要復号化速度よりも速くなるように、復号化手段を制御するように構成されていることを特徴とする動画像再生装置。
【請求項９】
請求項８の動画像再生装置であって、
上記復号化制御手段は、上記一部の入力画像データに対して他の入力画像データよりも復号化速度が速い種類の復号化処理が行われる場合の可能復号化速度が、必要復号化速度よりも遅い場合に、復号化手段に、入力画像データにおける上記他の入力画像データにおける少なくとも一部に対しても、上記復号化速度が速い種類の復号化処理を行わせるように構成されていることを特徴とする動画像再生装置。
【請求項１０】
請求項８の動画像再生装置であって、
上記復号化制御手段が、復号化手段に、復号化速度が速い種類の復号化処理を行わせる上記一部の入力画像データは、フレーム間符号化データであることを特徴とする動画像再生装置。
【請求項１１】
請求項８の動画像再生装置であって、
上記復号化制御手段が、復号化手段に、復号化速度が速い種類の復号化処理を行わせる上記一部の入力画像データは、他のフレーム間符号化データの復号化のために参照されない非被参照フレーム間符号化データであることを特徴とする動画像再生装置。
【請求項１２】
フレーム内符号化データとフレーム間符号化データとを含む入力画像データに基づいて、指定された指定再生速度で動画像を再生する動画像再生装置であって、
入力画像データの復号化処理を行う復号化手段と、
再生画像の画素規模を検出する画素規模検出手段と、
上記画素規模に基づいて、上記復号化手段による復号化が可能な可能復号化速度を検出する可能復号化速度検出手段と、
フレーム内符号化データとフレーム間符号化データとの順序パターンを検出する順序パターン検出手段と、
上記順序パターン、および指定再生速度に基づいて、必要な必要復号化速度を検出する必要復号化速度検出手段と、
可能復号化速度が必要復号化速度よりも速い場合に、上記復号化手段に復号化処理を行わせる一方、
可能復号化速度の方が遅い場合には、上記指定再生速度での再生が不可能なことを示す信号を出力する復号化制御手段と、
を備えたことを特徴とする動画像再生装置。
【請求項１３】
請求項１２の動画像再生装置であって、
上記必要復号化速度検出手段は、可能復号化速度が必要復号化速度よりも遅い場合に、上記指定再生速度を増減させた再生速度、および上記順序パターンに基づいて、必要な必要復号化速度を検出するように構成されていることを特徴とする動画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、ＭＰＥＧ（Moving Picture Image Coding Experts Group ）方式などの画像間相関を利用した圧縮方式によって符号化された圧縮画像データ等を、光ディスクやハードディスクなどの記録手段や通信手段から取得し、その画像データを復号化して出力する動画像再生装置に関する。
【背景技術】
【０００２】
例えばＭＰＥＧ方式などの動画像圧縮方式は、画像内の画素ブロックを別の画像（以下参照画像）の画素ブロックから予測し、参照画像の画素ブロックとの差分に対して、離散コサイン変換（以下ＤＣＴ）などの変換を行うことにより、動画像データ量を圧縮している。ここで、ＭＰＥＧでは、符号化タイプについて、
時間軸上の過去の参照画像だけを用いて圧縮される画像をＰピクチャ、
時間軸上の過去の参照画像と未来の参照画像を用いて圧縮される画像をＢピクチャ、
参照画像を用いずに画像内で圧縮された画像をＩピクチャと呼んでいる。上記ＩピクチャとＰピクチャは参照画像として利用されるが、Ｂピクチャは参照画像としては利用されない。
【０００３】
従来の動画像再生装置では、１倍速より高速な再生時には、ある時点で表示中の画像を基点として時間間隔が一定になるように出力（表示）画像の候補を決定している。具体的には、例えば図１６のフローチャートに示すような復号化方法を用いた処理が行われる（例えば、特許文献１参照。）。
【０００４】
まず、次の画像の符号化タイプの解析処理が行われ（ステップＳ１０００）、出力画像に該当するかどうかが判定される（ステップＳ１００１）。ここで、出力画像とは、再生速度がＮ倍速（Ｎ＝１、２，３，４．．．）とすると、１倍速再生出力画像のある時点の画像を基点として、表示時間軸上の未来方向にＮ番目ごとの画像のことである。
【０００５】
出力画像に該当すると判定されれば、次に符号化タイプが判定され（ステップＳ１００２）、ＩピクチャまたはＰピクチャであれば、その画像について表示予約される（ステップＳ１００３）。次にその画像が復号化（ステップＳ１００４）され、表示設定処理（ステップＳ１００５）が行われる。すなわち、復号化済みの画像のうち、表示予約されている表示すべき画像について、適切な順序にて表示する処理が行われる。
【０００６】
また、上記（ステップＳ１００２）で、Ｂピクチャであると判定されれば、復号化時間に余裕があるかが判定され（ステップＳ１００８）、余裕があれば、やはり、その画像について表示予約、復号化が行われた後、表示設定処理が行われる（ステップＳ１００３〜Ｓ１００５）。
【０００７】
一方、上記（ステップＳ１００８）で、Ｂピクチャの復号化時間に余裕がないと判定された場合は、後処理が行われた後（ステップＳ１００９）、表示設定処理が行われる（ステップＳ１００５）。ここで、上記後処理（ステップＳ１００９）は、Ｂピクチャ以外の画像に出会うまで圧縮画像データを読み捨てる処理である。
【０００８】
また、上記（ステップＳ１００１）で、出力画像に該当しないと判定された場合は、符号化タイプが判定される（ステップＳ１００６）。そして、Ｂピクチャであれば、その画像の圧縮画像データが読み捨てられた後に、表示設定処理が行われる（ステップＳ１００７、Ｓ１００５）一方、ＩピクチャまたはＰピクチャであれば、復号化が行われた後に、表示設定処理が行われる（ステップＳ１００４、Ｓ１００５）。
【０００９】
以上のような処理が、以降の画像について順次繰り返される。
【００１０】
上記のように、符号化タイプがＩピクチャまたはＰピクチャの場合には、出力画像であるかどうかに係わらず、（ステップＳ１００４）で復号化がなされる。これは、これらの画像は、他の画像が復号化される際に参照される可能性があるためである。
【００１１】
一方、出力画像であっても、符号化タイプがＢピクチャであって、復号化時間に余裕がない場合には、復号化されることなく、（ステップＳ１００９）で、次のＢピクチャ以外の画像まで読み捨てが行われる。これは、再生画像の画質の低下を小さく抑えるためである。すなわち、Ｂピクチャは、画像が復号化、表示されないことによる画質の劣化は生じても、他の画像の復号化には使用されないために、他の画像も表示されないことによる画質の劣化が生じることはないためである。
【００１２】
また、上記のように、復号化の有無を復号化時間に余裕があるかどうかによって決定しているのは、近年の圧縮画像データでは画像サイズやＩ，Ｐ，Ｂピクチャなどの構成が多様化しているため、処理時間に余裕があるかどうかは、実際に復号化処理をしてみなければ判別が困難だからである。
【特許文献１】特開２０００−３２３９５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記従来の動画像再生装置では、動画像再生装置の性能に対して、再生速度や画像のサイズに応じて必要な性能があまりに高いと、頻繁に圧縮画像データを読み捨てる処理が発生し、画質が大幅に低下するという問題点を有していた。
【００１４】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、復号化処理が間に合わないために圧縮画像データが読み捨てられるのを防止または低減し、指定された再生速度で、かつ、高画質な画像の再生を可能にすることにある。
【課題を解決するための手段】
【００１５】
上記の課題を解決するため、請求項１の発明は、
フレーム内符号化データとフレーム間符号化データとを含む入力画像データに基づいて、指定された指定再生速度で動画像を再生する動画像再生装置であって、
再生画像の画素規模を検出する画素規模検出手段と、
フレーム内符号化データとフレーム間符号化データとの順序パターンを検出する順序パターン検出手段と、
互いに復号化速度が異なる複数種類の復号化処理が可能な復号化手段と、
上記画素規模、順序パターン、および指定再生速度に応じて、上記復号化手段による復号化処理の種類を制御する復号化制御手段と、
を備えたことを特徴とする。
【００１６】
また、請求項２の発明は、
請求項１の動画像再生装置であって、
上記画素規模検出手段は、各フレームを構成する画素数に応じた値を上記画素規模として求めるように構成されていることを特徴とする。
【００１７】
また、請求項３の発明は、
請求項１の動画像再生装置であって、
上記順序パターン検出手段は、各フレーム内符号化データの間に介在するフレーム間符号化データの数を求めるように構成されていることを特徴とする。
【００１８】
また、請求項４の発明は、
請求項１の動画像再生装置であって、
上記入力画像データは、直交変換された画像データであり、
上記復号化手段は、上記入力画像データにおける高周波成分に対する処理が行われるかどうかによって、上記復号化速度が異なる複数種類の復号化処理が可能なことを特徴とする。
【００１９】
また、請求項５の発明は、
請求項１の動画像再生装置であって、上記復号化制御手段は、
上記画素規模に基づいて、上記復号化手段による復号化が可能な可能復号化速度を検出する可能復号化速度検出手段と、
上記順序パターン、および指定再生速度に基づいて、必要な必要復号化速度を検出する必要復号化速度検出手段と、
を備え、
上記復号化手段における上記複数種類の復号化処理のうち、可能復号化速度が必要復号化速度よりも速い復号化処理が行われるように、復号化手段を制御するように構成されていることを特徴とする。
【００２０】
また、請求項６の発明は、
請求項５の動画像再生装置であって、
上記復号化制御手段は、
第１の種類の復号化処理による可能復号化速度が、必要復号化速度よりも遅い場合に、
上記第１の復号化処理よりも可能復号化速度が速い第２の種類の復号化処理による可能復号化速度が、必要復号化速度よりも速いかどうかを判定し、
可能復号化速度の方が速い場合には、上記復号化手段に上記第２の種類の復号化処理を行わせるように構成されていることを特徴とする。
【００２１】
また、請求項７の発明は、
請求項６の動画像再生装置であって、
上記復号化制御手段は、
上記第２の種類の復号化処理による可能復号化速度が、必要復号化速度よりも遅い場合には、上記指定再生速度での再生が不可能なことを示す信号を出力するように構成されていることを特徴とする。
【００２２】
これらにより、例えば通常の再生速度の場合と同じ復号化速度で高速再生が困難な場合でも、復号化制御手段の制御により、画素規模、順序パターン、および指定再生速度に応じた適切な速度で復号化を行わせることができるので、画質の大幅な低下を招くことなく、高速再生を行わせることができる。
【００２３】
また、請求項８の発明は、
請求項５の動画像再生装置であって、
上記復号化制御手段は、復号化手段に、少なくとも一部の入力画像データに対して、他の入力画像データよりも復号化速度が速い種類の復号化処理を行わせることにより、可能復号化速度が必要復号化速度よりも速くなるように、復号化手段を制御するように構成されていることを特徴とする。
【００２４】
また、請求項９の発明は、
請求項８の動画像再生装置であって、
上記復号化制御手段は、上記一部の入力画像データに対して他の入力画像データよりも復号化速度が速い種類の復号化処理が行われる場合の可能復号化速度が、必要復号化速度よりも遅い場合に、復号化手段に、入力画像データにおける上記他の入力画像データにおける少なくとも一部に対しても、上記復号化速度が速い種類の復号化処理を行わせるように構成されていることを特徴とする。
【００２５】
また、請求項１０の発明は、
請求項８の動画像再生装置であって、
上記復号化制御手段が、復号化手段に、復号化速度が速い種類の復号化処理を行わせる上記一部の入力画像データは、フレーム間符号化データであることを特徴とする。
【００２６】
また、請求項１１の発明は、
請求項８の動画像再生装置であって、
上記復号化制御手段が、復号化手段に、復号化速度が速い種類の復号化処理を行わせる上記一部の入力画像データは、他のフレーム間符号化データの復号化のために参照されない非被参照フレーム間符号化データであることを特徴とする。
【００２７】
これらにより、一部の入力画像データごとに、段階的に復号化速度を異ならせることにより、画質の低下と高速再生との両立を容易に図ることができる。
【００２８】
また、請求項１２の発明は、
フレーム内符号化データとフレーム間符号化データとを含む入力画像データに基づいて、指定された指定再生速度で動画像を再生する動画像再生装置であって、
入力画像データの復号化処理を行う復号化手段と、
再生画像の画素規模を検出する画素規模検出手段と、
上記画素規模に基づいて、上記復号化手段による復号化が可能な可能復号化速度を検出する可能復号化速度検出手段と、
フレーム内符号化データとフレーム間符号化データとの順序パターンを検出する順序パターン検出手段と、
上記順序パターン、および指定再生速度に基づいて、必要な必要復号化速度を検出する必要復号化速度検出手段と、
可能復号化速度が必要復号化速度よりも速い場合に、上記復号化手段に復号化処理を行わせる一方、
可能復号化速度の方が遅い場合には、上記指定再生速度での再生が不可能なことを示す信号を出力する復号化制御手段と、
を備えたことを特徴とする。
【００２９】
これにより、高速再生が開始されてから、復号化処理が間に合わなくなって画像が乱れたりすることが容易に防止できる。
【００３０】
また、請求項１３の発明は、
請求項１２の動画像再生装置であって、
上記必要復号化速度検出手段は、可能復号化速度が必要復号化速度よりも遅い場合に、上記指定再生速度を増減させた再生速度、および上記順序パターンに基づいて、必要な必要復号化速度を検出するように構成されていることを特徴とする。
【００３１】
これにより、画質の大幅な低下を招くことなく、かつ、指定されたのに近い再生速度で高速再生を行わせることができる。
【発明の効果】
【００３２】
復号化処理が間に合わないために圧縮画像データが読み捨てられるのを防止または低減し、指定された再生速度で、かつ、高画質な画像の再生が可能になる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の各実施形態において、他の実施形態と同様の機能を有する構成要素等については同一の符号を付して説明を省略する。
【００３４】
《発明の実施形態１》
ＩＰピクチャ間隔検出部１０１は、入力画像データに基づいて、ＩピクチャまたはＰピクチャと、次のＩピクチャまたはＰピクチャとの間隔（間のＢピクチャの数、Ｉ、Ｐピクチャの周期など）を検出（計測）し、ＩＰピクチャ間隔データを出力するようになっている。
【００３５】
画像復号部１０２は、第１の画像復号部１０２ａと、第２の画像復号部１０２ｂとを備え、例えばＭＰＥＧ方式により圧縮された圧縮画像データである入力画像データを復号化するようになっている。
【００３６】
より詳しくは、上記第１の画像復号部１０２ａは、例えば図２に示すようにＩＤＣＴ処理部１０６を備え、８×８の直交変換ブロックを逆離散コサイン変換（ＩＤＣＴ）により逆直交変換することによって、画素ブロックを復号するようになっている。
【００３７】
また、第２の画像復号部１０２ｂは、例えば図３に示すようにＩＤＣＴ処理部１０７、および拡大部１０８を備えている。上記ＩＤＣＴ処理部１０７は、８×８の直交変換ブロックにおける４×４の低周波成分の係数に対して、逆離散コサイン変換（ＩＤＣＴ）により逆直交変換することによって、画素ブロックを復号するようになっている。また、拡大部１０８は、復号された４×４の画素ブロックを８×８の画素ブロックに拡大するようになっている。
【００３８】
解像度取得部１０３は、入力画像データに基づいて、解像度データを出力するようになっている。上記解像度データとしては、例えば画像の垂直×水平サイズ（画素数）を示すデータが用いられるが、これに限らず、再生画像が所定の大きさの画面に表示される場合の単位長さあたりの画素数を示すデータや、所定の解像度で表示される場合の画面の大きさ、全画素数、縦×横または全ての画素ブロック（マクロブロック）の数など、再生画像の規模、すなわち復号化演算の演算量に対応するデータであればよい。
【００３９】
復号速度取得部１０４は、視聴者の操作などに応じて入力される再生速度データ、およびＩＰピクチャ間隔検出部１０１によって検出されたＩＰピクチャ間隔データに基づいて、後述する制御部１０５から復号部指定データによって指定される第１または第２の画像復号部１０２ａ・１０２ｂで入力画像データが復号化される場合に必要とされる復号速度（例えば１出画時間あたりの復号画像数）を示す必要復号速度データを出力するようになっている。ここで、特に限定はされないが、本実施形態の例では、復号部指定データによって第２の画像復号部１０２ｂが指定された場合には、もし第２の画像復号部１０２ｂが第１の画像復号部１０２ａと同じ処理能力（可能復号速度）を有していたとした場合に必要とされる復号速度に換算された必要復号速度データが出力されるようになっている。
【００４０】
制御部１０５は、上記解像度データに基づいて、第１または第２の画像復号部１０２ａ・１０２ｂによる可能復号速度を求めるとともに、その可能復号速度データと、上記復号速度取得部１０４によって求められた必要復号速度データとに基づいて、第１または第２の画像復号部１０２ａ・１０２ｂを選択的に動作させるとともに、再生速度データに応じた再生速度になるように、出力画像データを出力させるようになっている。具体的には、再生速度がＮ倍速であれば、Ｎ画像ごとに１画像の出力画像データが出力される。また、指定された再生速度での再生が不可能場合には、再生不可信号を出力するようになっている。
【００４１】
ここで、上記ＩＤＣＴ処理部１０６・１０７で行われる８係数または４係数のＩＤＣＴ処理は、具体的には、例えばＷ．Ｈ．Ｃｈｅｎ、Ｃ．Ｈ．Ｓｍｉｔｈ、Ｓ．Ｃ．Ｆｒａｌｉｃｈ”Ａ  ｆａｓｔ  ｃｏｍｐｕｔａｔｉｏｎａｌ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｈｅ  ｄｅｓｃｒｅｔｅ  ｃｏｓｎｅ  ｔｒａｎｓｆｏｒｍ″ＩＥＥＥ  Ｔｒａｎｓ．  Ｃｏｍｍｕｎ．、ｖｏｌ．２５、ｎｏ．９ｍ、ｐｐ．１００４−１００９（１９７７）などにより示された処理を適用することができる。より具体的には、例えば図４、図５に示すような演算が行われる。同図において、Ｘ（０）〜Ｘ（７）はＤＣＴ係数、ｘ（０）〜ｘ（７）はＩＤＣＴ処理後のデータ、Ｍ１〜Ｍ７は図６に示す行列演算を示している。また、拡大部１０８では、例えば４×４の画素ブロックにおける各画素の値を、８×８の画素ブロックにおける２×２画素ごとの値とする処理が行われる。
【００４２】
上記のような処理について、本実施の形態では、第１の画像復号部１０２ａのＩＤＣＴ処理部１０６の演算処理に比べ、第２の画像復号部１０２ｂのＩＤＣＴ処理部１０７での演算処理量は１／４であり、ＩＤＣＴ処理時間も１／４として説明する。また、１画像を復号する時間はＩＤＣＴ処理の時間に律速され、第２の画像復号部１０２ｂは第１の画像復号部１０２ａの１／４の時間で１画像を復号することが可能だとして説明する。
【００４３】
次に図７のフローチャートを用いて制御部１０５等の動作を説明する。
【００４４】
（ステップＳ１０１）  制御部１０５は、解像度取得部１０３によって求められた解像度データを取得し、垂直サイズと水平サイズからマクロブロック数を求め、例えば図８に示すようなマクロブロック数と復号可能な可能復号速度との対応を示すテーブルに基づいて、可能復号速度を求める。ここで、本実施形態の例では、第２の画像復号部１０２ｂは、図８に併せて示すように第１の画像復号部１０２ａの４倍の可能復号加速度を有しているが、復号速度取得部１０４によって求められる必要復号速度として前記のような換算値を用いることにより、可能復号速度としては、第１または第２の画像復号部１０２ａ・１０２ｂの何れが用いられる場合にも同じ値が用いられるようになっている。
【００４５】
（ステップＳ１０２）  制御部１０５は、第１の画像復号部１０２ａを指定する復号部指定データを復号速度取得部１０４に出力する。
【００４６】
（ステップＳ１０３）  そこで、復号速度取得部１０４は、視聴者の操作などに応じて入力される再生速度データ、およびＩＰピクチャ間隔検出部１０１によって検出されたＩＰピクチャ間隔データに基づいて、第１の画像復号部１０２ａで入力画像データが復号化される場合に必要とされる復号速度を示す必要復号速度データを出力する。すなわち、例えば、図９に示すように再生速度データとＩＰピクチャ間隔データとに応じた必要復号速度データが求められる。具体的には、例えば、ＩＰピクチャ間隔が２画面（周期が３画面）で、再生速度が２倍速である場合、１画像表示時間内に平均１．３の画像を復号する性能が必要と求められる。
【００４７】
上記のような必要復号速度データは、例えば次のようにして求められる。例えば再生速度が２〜１２倍速の場合、図１０（ＩＰピクチャ間隔が２画面の場合の例）の「出力される画像」欄に○印で示すように、Ｉピクチャを基点として２〜１２画面ごとに１画面の画像を表示させる必要がある。そして、そのためには、表示させる画像に加えて、図１０の「復号される画像」欄に●印で示すように、表示させる画像を生成するために参照される画像も復号化される必要がある。それゆえ、例えば再生速度が２倍速であれば、６画面分の入力画像データに対して３画面の画像を表示するために、４画面分の復号が行われるので、上記のように１画像表示時間内に平均１．３の画像を復号する性能が必要と求められる。
【００４８】
（ステップＳ１０４）  制御部１０５は、上記可能復号速度と必要復号速度とを比較する。
【００４９】
（ステップＳ１０５）  そして、可能復号速度が必要復号速度以上であれば、制御部１０５は第１の画像復号部１０２ａに復号化動作を行わせる。
【００５０】
（ステップＳ１０６）  一方、可能復号速度が必要復号速度より遅い場合には、制御部１０５は、第２の画像復号部１０２ｂを指定する復号部指定データを復号速度取得部１０４に出力する。
【００５１】
（ステップＳ１０７）  そこで、復号速度取得部１０４は、視聴者の操作などに応じて入力される再生速度データ、およびＩＰピクチャ間隔検出部１０１によって検出されたＩＰピクチャ間隔データに基づいて、図１１に示すように、第２の画像復号部１０２ｂで入力画像データが復号化される場合に必要とされる復号速度（厳密には、第１の画像復号部１０２ａで復号化されるとした場合の換算速度）を示す必要復号速度データを出力する。具体的には、例えば、ＩＰピクチャ間隔が２で、再生速度が２倍速である場合、１画像表示時間内に平均０．３３の画像を復号する性能が必要と求められる。
【００５２】
（ステップＳ１０８）  制御部１０５は、上記可能復号速度と必要復号速度とを比較する。
【００５３】
（ステップＳ１０９）  そして、可能復号速度が必要復号速度以上であれば、制御部１０５は第２の画像復号部１０２ｂに復号化動作を行わせる。
【００５４】
（ステップＳ１１０）  一方、可能復号速度が必要復号速度より遅い場合には、制御部１０５は、再生不可信号を出力する。
【００５５】
上記のように、復号が必要な画像数が第１の画像復号部１０２ａの復号可能な画像数より多い場合、直交変換ブロックの低周波成分の係数に対して逆直交変換する第２の画像復号部１０２ｂにより復号することによって、第１の画像復号部１０２ａより短時間で復号処理を完了させることができるので、復号化されるべき入力画像データが読み捨てられる頻度を減らすことができる。
【００５６】
また、実際に入力された画像データ等に基づいて高速再生の可否が判定されるので、画像サイズやＩＰピクチャ間隔などのフォーマットが多様な画像データを復号化する場合でも、画像復号部１０２の制御を確実に行うことが容易にできる一方、上記のような判定は復号化処理が間に合わなくなるよりも前に行うことができるので、高速再生が開始されてから、復号化処理が間に合わなくなって画像が乱れたりすることも容易に防止できる。
【００５７】
なお、上記の例では、第１の画像復号部１０２ａと第２の画像復号部１０２ｂとがそれぞれ独立して設けられている例を示したが、ＩＤＣＴ処理部１０６・１０７および拡大部１０８以外の構成要素（可変長復号部や、逆量子化部、動き保証予測部、フレームメモリ、フォーマット変換部等）を共通に用いたり、さらに、ＩＤＣＴ処理部１０６・１０７に代えて８×８のＩＤＣＴ処理と４×４のＩＤＣＴ処理とを選択的に行える処理部を共通に用いるようにしたりして、回路規模を小さく抑えられるようにしてもよい。
【００５８】
《発明の実施形態２》
実施形態１の動画像再生装置のように、全ての入力画像データについて、２つの画像復号部の一方で復号化させるのに限らず、一部の入力画像データについてだけ、高速な画像復号部に復号化させることによって、画質の低下をより小さく抑えることができる。
【００５９】
すなわち、本実施形態２の動画像再生装置は、実施形態１の動画像再生装置（図１）と同様の構成を有しているが、制御部１０５は、入力画像データの符号化タイプに応じて、第１または第２の画像復号部１０２ａ・１０２ｂを選択するようになっている。また、復号速度取得部１０４は、制御部１０５から出力される復号部指定データに応じて、上記第１または第２の画像復号部１０２ａ・１０２ｂの選択に応じた必要復号速度データを出力し得るようになっている。
【００６０】
具体的には、制御部１０５等では、図１２に示すような動作が行われる。
【００６１】
（ステップＳ１０１〜Ｓ１０５）  実施形態１の動画像再生装置と同様に（図７）、可能復号速度の取得（ステップＳ１０１）、全符号化タイプの入力画像データの復号処理に対して第１の画像復号部１０２ａを指定する復号部指定データの出力（ステップＳ１０２）、必要復号速度データ（図９）の出力（ステップＳ１０３）、可能復号速度と必要復号速度との比較（ステップＳ１０４）、および可能復号速度が必要復号速度以上である場合の第１の画像復号部１０２ａによる復号化（ステップＳ１０５）が行われる。
【００６２】
（ステップＳ２０６）  ところが、可能復号速度が必要復号速度より遅い場合には、制御部１０５は、ＩピクチャおよびＰピクチャの復号化には第１の画像復号部１０２ａが指定され、Ｂピクチャの復号化には第２の画像復号部１０２ｂが指定されることを示す復号部指定データを復号速度取得部１０４に出力する。
【００６３】
（ステップＳ２０７）  そこで、復号速度取得部１０４は、視聴者の操作などに応じて入力される再生速度データ、およびＩＰピクチャ間隔検出部１０１によって検出されたＩＰピクチャ間隔データに基づいて、上記復号部指定データに応じた第１または第２の画像復号部１０２ａ・１０２ｂで復号化がなされる場合に必要とされる復号速度（厳密には、全て第１の画像復号部１０２ａで復号化されるとした場合の換算速度）を示す必要復号速度データを出力する。具体的には、図１３に示すように、例えば、ＩＰピクチャ間隔が２で、再生速度が２倍速である場合、１画像表示時間内に平均０．８３の画像を復号する性能が必要と求められる。
【００６４】
（ステップＳ２０８）  制御部１０５は、上記可能復号速度と必要復号速度とを比較する。
【００６５】
（ステップＳ２０９〜Ｓ２１１）  そして、可能復号速度が必要復号速度以上であれば、入力画像データの符号化タイプを判別し、Ｂピクチャに対する復号化動作は第２の画像復号部１０２ｂに行わせる一方、ＩピクチャおよびＰピクチャに対する復号動作は第１の画像復号部１０２ａに行わせる。
【００６６】
（ステップＳ１０６〜Ｓ１１０）  一方、上記（Ｓ２０８）で、可能復号速度が必要復号速度より遅いと判定された場合には、やはり実施形態１の動画像再生装置と同様に（図７）、全ての入力画像データに対して第２の画像復号部１０２ｂを指定する復号部指定データの出力（ステップＳ１０６）、必要復号速度データ（図１１）の出力（ステップＳ１０７）、可能復号速度と必要復号速度との比較（ステップＳ１０８）が行われ、可能復号速度が必要復号速度以上であれば、第２の画像復号部１０２ｂに復号化動作を行わせる（ステップＳ１０９）一方、可能復号速度が必要復号速度より遅い場合には、再生不可信号が出力される（ステップＳ１１０）。
【００６７】
上記のように、一部の入力画像データについてだけ、高速な画像復号部に復号化させることによって、画質の低下をより小さく抑えることができる。特に、上記一部の入力画像データとしてＢピクチャが選択されるようにする場合には、Ｂピクチャは他の画像の復号化のために参照されないので、累積的に画質が劣化することはなく、したがって、画質の低下を確実に小さく抑えることができる。
【００６８】
《発明の実施形態３》
入力画像データが復号化される場合に必要とされる必要復号速度は、上記のように視聴者の操作などによって指定される再生速度と、ＩＰピクチャ間隔とに基づいて定まるが、前記図１０等から判るように、必ずしも指定される再生速度が早いほど必要復号速度も早くなるとは限らない。これは、表示される画像の符号化タイプによって、表示されなくても復号化が必要な画像の数が異なるからである。そこで、可能復号速度が必要復号速度よりも遅い場合に、再生速度を指定再生速度とは異ならせることによって、やはり高速な再生が行われるようにしてもよい。
【００６９】
本実施形態３の動画像再生装置は、例えば図１４に示すように、前記実施形態１の動画像再生装置（図１）に比べて、画像復号部１０２、復号速度取得部１０４、および制御部１０５に代えて、画像復号部３０２、復号速度取得部３０４、および制御部３０５を備えている。また、さらに、視聴者の操作などによって指定される再生速度データを保持する再生速度保持部３１０を備えている。
【００７０】
画像復号部３０２は、画像復号部１０２と同様の第１の画像復号部１０２ａだけを備えて構成されている。
【００７１】
復号速度取得部３０４は、復号速度取得部１０４と同様の機能を有しているが、再生速度保持部３１０に保持された再生速度データに応じて、第１の画像復号部１０２ａで復号化がなされる場合に必要とされる必要復号速度を出力するようになっている。
【００７２】
制御部３０５は、制御部１０５と同様の機能を有しているが、可能復号速度が必要復号速度よりも遅い場合に、再生速度保持部３１０に保持されている再生速度データの値をあらかじめ設定された再生速度上限値の範囲内で増加（および／または減少）させるようになっている。また、上記再生速度上限値（および／または下限値）の範囲内で再生を行えない場合には再生不可信号を出力するとともに、再生を行える場合には、実際の再生速度を示す実再生速度データを出力するようになっている。この実再生速度データは、必ずしも出力されるようにしなくてもよいが、例えば視聴者に対する表示や、動画像再生装置の外部の装置の制御などのために用いることができる。
【００７３】
次に図１５のフローチャートを用いて制御部３０５等の動作を説明する。
【００７４】
（ステップＳ１０１、Ｓ１０３）  実施形態１の動画像再生装置と同様に（図７）、可能復号速度の取得（ステップＳ１０１）、必要復号速度データの出力（ステップＳ１０３）、および可能復号速度と必要復号速度との比較（ステップＳ１０４）が行われる。
【００７５】
（ステップＳ３０１）  可能復号速度が必要復号速度以上である場合には、その必要復号速度を示す実再生速度データが出力される。
【００７６】
（ステップＳ１０５）  また、第１の画像復号部１０２ａによる復号化が行われる。
【００７７】
（ステップＳ３０２）  一方、上記（Ｓ２０８）で、可能復号速度が必要復号速度より遅いと判定された場合には、再生速度保持部３１０に保持されている再生速度データの値を例えば１だけ増加させる。
【００７８】
（ステップＳ３０３）  上記再生速度データが再生速度上限値に達したかどうかが判定され、達していなければ、上記（ステップＳ１０１）以降が繰り返される。
【００７９】
（ステップＳ１１０）  また、上記再生速度データが再生速度上限値に達すれば、すなわち、再生速度データを増加させても可能復号速度が必要復号速度よりも速くならないような場合には、再生不可信号が出力される。
【００８０】
上記のように、入力された再生速度で再生するために画像復号部の復号性能より高い復号性能が必要な場合、再生速度を変更して再生することにより、やはり、復号化処理が間に合わないために圧縮画像データが読み捨てられる頻度を減らすことができる。
【００８１】
なお、上記各実施の形態で説明した構成要素は、論理的に可能な範囲で種々組み合わせてもよい。具体的には、例えば実施形態３のように再生速度を可変にする構成を実施形態１、２の構成に適用したりしてもよい。
【００８２】
また、上記実施の形態１、２では、第２の画像復号部１０２ｂが低周波成分の係数に対して逆直交変換することにより、高速な複合化が行われる例を示したが、これに限らず、例えば演算精度を低減するなど、画質の低下程度と高速化程度との関係に応じて種々の復号化が用いられるようにすればよい。
【００８３】
また、可能復号速度は２段階に限らず、やはり画質の低下程度との関係などに応じて複数段階に順次切り換えられるようにしてもよい。
【００８４】
また、復号化可否の判定は、上記のような可能復号速度と必要復号速度との比較によるものに限らず、所定時間内の復号化の可否が判定できればよい。すなわち、例えば必要復号速度として、画像復号部１０２ａ・１０２ｂの選択に係わらず実際に必要な復号速度を求める一方、可能復号速度として、画像復号部１０２ａ・１０２ｂの選択に応じた実際に処理可能な復号速度を求めるなどしてもよいし、また、これらに対応する種々の換算値などが用いられるようにしたりしてもよい。
【００８５】
さらに、上記のような復号速度の比較を行うのに限らず、あらかじめ設定されたテーブルによって何れの画像復号部１０２ａ・１０２ｂが選択されるかを直接求めるようにするなどしてもよい。
【００８６】
また、ＩＰピクチャ間隔は、文字通りのＩＰピクチャの間隔を検出するようにしてもよいが、例えば入力画像データの管理情報や属性情報などとしてＩＰピクチャ間隔を示すデータが含まれている場合などには、それらの情報を参照するようにしてもよい。
【００８７】
また、画像復号部１０２ａ・１０２ｂの選択は、高速再生の開始時に行われるようにしてもよいし、高速再生中にも適宜動的に行われるようにするなどしてもよい。
【００８８】
また、実施形態２では、全ての入力画像データに対する第１の画像復号部１０２ａによる復号化、および全ての入力画像データに対する第２の画像復号部１０２ｂによる復号化に加えて、Ｉ、Ｐピクチャが第１の画像復号部１０２ａでＢピクチャが第２の画像復号部１０２ｂによる復号化が行われる例を示したが、これに限らず、Ｉピクチャ（フレーム内符号化データ）が第１の画像復号部１０２ａで復号化され、Ｐ、Ｂピクチャ（フレーム間符号化データ）が第２の画像復号部１０２ｂで復号化されるようにしてもよい。さらに、各符号化タイプごとに、または符号化タイプに係わらず、所定の割合の画像データに対して、異なる速度の復号化が行われるようにしてもよいし、マクロブロック単位で復号化速度を異ならせるようにしたりするなど、入力画像データの一部に対する復号化速度を異ならせれば、全体として細かな復号化速度の調整をすることができる。
【産業上の利用可能性】
【００８９】
本発明にかかる動画像再生装置は、復号化処理が間に合わないために圧縮画像データが読み捨てられるのを防止または低減し、指定された再生速度で、かつ、高画質な画像の再生が可能になる効果を有し、例えば、ＭＰＥＧ（Moving Picture Image Coding Experts Group ）方式などの画像間相関を利用した圧縮方式により符号化された圧縮画像データ等を、光ディスクやハードディスクなどの記録手段や通信手段から取得し、その画像データを復号化し出力する動画像再生装置等として有用である。
【図面の簡単な説明】
【００９０】
【図１】実施形態１の動画像再生装置の構成を示すブロック図である。
【図２】同、第１の画像復号部１０２ａの構成を示すブロック図である。
【図３】同、第２の画像復号部１０２ｂの構成を示すブロック図である。
【図４】同、８×８ＩＤＣＴ処理を示す説明図である。
【図５】同、４×４ＩＤＣＴ処理を示す説明図である。
【図６】同、ＩＤＣＴ処理で行われる行列演算を示す説明図である。
【図７】同、動画像再生装置の動作を示すフローチャートである。
【図８】同、マクロブロック数と可能復号速度との関係を示すグラフである。
【図９】同、第１の画像復号部１０２ａが用いられる場合のＩＰピクチャ間隔、再生速度と必要復号速度との関係を示す表である。
【図１０】同、高速再生時に出力または復号される画像の例を示す説明図である。
【図１１】同、第２の画像復号部１０２ｂが用いられる場合のＩＰピクチャ間隔、再生速度と必要復号速度との関係を示す表である。
【図１２】実施形態２の動画像再生装置の動作を示すフローチャートである。
【図１３】同、画像復号部１０２ａ・１０２ｂが用いられる場合のＩＰピクチャ間隔、再生速度と必要復号速度との関係を示す表である。
【図１４】実施形態３の動画像再生装置の構成を示すブロック図である。
【図１５】同、動画像再生装置の動作を示すフローチャートである。
【図１６】従来の動画像再生装置の動作を示すフローチャートである。
【符号の説明】
【００９１】
１０１      ＩＰピクチャ間隔検出部
１０２      画像復号部
１０２ａ    第１の画像復号部
１０２ｂ    第２の画像復号部
１０３      解像度取得部
１０４      復号速度取得部
１０５      制御部
１０６      ＩＤＣＴ処理部
１０７      ＩＤＣＴ処理部
１０８      拡大部
３０２      画像復号部
３０４      復号速度取得部
３０５      制御部
３１０      再生速度保持部
【図１】
2006135668.tif 000003
【図２】
2006135668.tif 000004
【図３】
2006135668.tif 000005
【図４】
2006135668.tif 000006
【図５】
2006135668.tif 000007
【図６】
2006135668.tif 000008
【図７】
2006135668.tif 000009
【図８】
2006135668.tif 000010
【図９】
2006135668.tif 000011
【図１０】
2006135668.tif 000012
【図１１】
2006135668.tif 000013
【図１２】
2006135668.tif 000014
【図１３】
2006135668.tif 000015
【図１４】
2006135668.tif 000016
【図１５】
2006135668.tif 000017
【図１６】
2006135668.tif 000018