(57)【要約】【課題】  フレーム内符号化のみで圧縮された画像の出現頻度が極端に低い場合でも、良好な早送り、巻き戻し、飛び越し再生を実現する。【解決手段】  早送り、巻き戻し、飛び越し再生時に、対象とする動画像データ内において目的とするフレーム近傍にフレーム内符号化のみで圧縮されたフレーム（Ｉｎｔｒａフレーム）がない場合、再生制御部４５は、フレームデコード部４２を制御して、目的とするフレーム近傍に存在する、フレーム間符号化された領域とフレーム内符号化された領域とが１フレーム内で混在する複数のフレーム（Ｉｎｔｅｒフレーム）を連続してデコードさせることにより、目的とするフレーム近傍の近似画像を得ることができる。連続してデコードするフレーム数は、画像の動きの激しさ、およびフレーム内のフレーム間符号化された領域とフレーム内符号化された領域との割合から求められる。【選択図】  図１
2005142686.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレーム間符号化マクロブロックおよび複数のフレーム内符号化マクロブロックからなる複数のフレーム画像が連続した動画像データを再生可能とする動画像再生装置であって、該連続した複数のフレーム画像の途中における所定のフレーム画像近傍において所定フレーム数のフレーム画像を連続してデコードして、該所定のフレーム画像近傍の近似画像を生成する近似画像生成処理を行う動画像デコード手段を有した動画像再生装置。
【請求項２】
前記動画像デコード手段は、
前記フレーム画像を順次デコードして動画像を生成可能とするフレームデコード部と、
該フレームデコード部を制御して、前記所定のフレーム画像近傍における所定フレーム数のフレーム画像を連続してデコードさせて、該所定のフレーム画像近傍の近似画像を生成させるように制御する再生制御部とを有する請求項１に記載の動画像再生装置。
【請求項３】
前記再生制御部は、前記所定のフレーム画像から所定フレーム数だけフレーム画像を遡り、遡ったフレーム画像から該所定のフレーム画像まで、前記フレームデコード部に各フレーム画像を連続してデコードさせるように制御する請求項２記載の動画像再生装置。
【請求項４】
前記再生制御部は、前記所定のフレーム画像以降、所定フレーム数のフレーム画像を連続して前記フレームデコード部にデコードさせるように制御する請求項２に記載の動画像再生装置。
【請求項５】
前記所定フレーム数は、前記フレーム画像内に含まれるフレーム間符号化マクロブロックとフレーム内符号化マクロブロックとの割合から算出されている請求項２〜４のいずれかに記載の動画像再生装置。
【請求項６】
前記所定フレーム数は、前記フレーム画像内に含まれるフレーム間符号化マクロブロックの画面上の位置と、該フレーム間符号化マクロブロックのデータをデコードする際に参照されるフレーム領域の画面上での位置とのずれの大きさに基づいて算出されている請求項２〜４のいずれかに記載の動画像再生装置。
【請求項７】
前記近似画像の生成中は、表示部への画像表示を停止させることと、該表示部に以前に表示されている画像を引き続き表示させることとのいずれかに制御する表示制御部を更に有する請求項１または２に記載の動画像再生装置。
【請求項８】
前記近似画像の生成中に、任意のフレームでフレーム内符号化マクロブロックのデータをデコードして既に画像データが生成された領域が、その後のフレームで、まだフレーム内符号化マクロブロックのデータをデコードして画像が生成されていない領域を参照してデコードされるフレーム間符号化マクロブロックになっている場合に、
前記再生制御部は、当該領域においてフレーム間符号化マクロブロックのデータのデコードを行わず、前フレームにおける同じ位置の画像データをコピーするように前記フレームデコード部を制御する請求項２記載の動画像再生装置。
【請求項９】
前記近似画像の生成中に、フレームの任意の領域がフレーム間符号化マクロブロックになっている場合に、
前記再生制御部は、該フレーム間符号化マクロブロックのデータのデコードを行わず、前フレームにおける同じ位置の画像データをコピーするように前記フレームデコード部を制御する請求項２記載の動画像再生装置。
【請求項１０】
前記動画像データは、複数のフレーム内符号化マクロブロックのみからなるフレーム画像が、前記複数のフレーム画像に対して所定フレーム数毎に挿入されている請求項１に記載の動画再生装置。
【請求項１１】
請求項１〜１０のいずれかに記載の動画像再生装置を用いて、前記複数のフレーム画像を順次デコードして動画像を再生する動画像再生方法において、
該複数のフレーム画像の途中の所定のフレーム画像近傍において所定フレーム数のフレーム画像を連続してデコードすることにより、該所定のフレーム画像近傍の近似画像を生成する近似画像生成ステップと、
該生成された近似画像を表示する表示ステップとを有する動画像再生方法。
【請求項１２】
前記近似画像生成ステップは、
前記所定のフレーム画像近傍における所定フレーム数のうち１フレーム分のフレーム画像を読み込む読込ステップと、
読み込んだフレーム画像をデコードするデコードステップと、
該デコードしたフレーム画像が該所定フレーム数に達しているかどうかを判定するステップと、
該デコードしたフレーム画像が該所定フレーム数に達するまで、該読込ステップおよびデコードステップを繰り返して行うステップと、
該デコードしたフレーム画像が該所定フレーム数に達した場合、全デコード結果を前記近似画像として生成する生成ステップとを有する請求項１１に記載の動画像再生方法。
【請求項１３】
前記デコードしたフレーム画像が、複数のフレーム内符号化マクロブロックからなるフレーム画像である場合には当該フレーム画像のデコード結果を前記近似画像として生成するステップを有する請求項１２に記載の動画像再生方法。
【請求項１４】
請求項１１〜１３のいずれかに記載の動画像再生方法の各ステップをコンピュータに実行させるための制御プログラム。
【請求項１５】
請求項１４に記載の制御プログラムが記録されたコンピュータ読み込み可能な可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像圧縮方式の国際標準規格であるＭＰＥＧ、ＩＴＵ−Ｔ  Ｈ．２６３などの各種符号化方式により高能率に符号化された動画像を再生する動画像再生装置、動画像再生方法、これを実行するための制御プログラムおよびこれを記録したコンピュータ読み取り可能な可読記録媒体に関する。
【背景技術】
【０００２】
動画像圧縮方式の国際標準規格であるＭＰＥＧ、ＩＴＵ−Ｔ  Ｈ．２６３などの動画圧縮方式において、空間的な相関を利用したフレーム内符号化および時間的な相関を利用したフレーム間符号化という２種類の符号化方式が用いられている。
【０００３】
これらの符号化方式では、１フレームのフレーム画像は、マクロブロック（ＭＢ）と言われる矩形の領域に分割され、個々のＭＢ毎に圧縮処理が行われている。このマクロブロック（ＭＢ）は、画像を圧縮するための最小単位であり、一般に、１６ｐｉｘｅｌ×１６ｐｉｘｅｌの大きさを有する正方形の領域などである。
【０００４】
このＭＢは、フレーム内符号化方式であるＩｎｔｒａ方式とフレーム間符号化方式であるＩｎｔｅｒ方式という２種類の圧縮方式によって圧縮される。Ｉｎｔｒａ方式で圧縮されたＭＢはＩｎｔｒａＭＢ、Ｉｎｔｅｒ方式で圧縮されたＭＢはＩｎｔｅｒＭＢと言われている。
【０００５】
このＩｎｔｒａＭＢは、以下のような圧縮手順（１）〜（３）でデータ圧縮される。
【０００６】
（１）画像情報であるピクセル値がＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）によって空間周波数に変換され、ＤＣＴ係数が求められる。
【０００７】
（２）ＤＣＴ係数が量子化される。高周波成分ほど、画像の概観に影響を与えにくいため、一般に、高周波成分ほど量子化幅が大きくされる。
【０００８】
（３）量子化されたＤＣＴ係数がＨｕｆｆｍａｎなどの可変長符号化方式によってエントロピー符号化される。
【０００９】
次に、ＩｎｔｅｒＭＢは、以下のような圧縮手順（１）〜（３）でデータ圧縮される。
【００１０】
所定のフレームにおける画像のＭＢと、その所定のフレームに対して時間的に前方向に存在するフレームにおける画像の領域との間、または、所定のフレームにおける画像のＭＢと、その所定のフレームに対して時間的に後ろ方向に存在するフレームにおける画像の領域との間で差分が取られる。この差分が、ＩｎｔｒａＭＢと同様に、（１）ＤＣＴ係数、（２）量子化および（３）エントロピー符号化される。
【００１１】
ＩｎｔｅｒＭＢでは、所定のフレームにおける画像のＭＢと、他のフレームにおける画像の領域との間で差分が取られるが、この際に、圧縮中のＭＢによって差分を取るために参照される領域は、必ずしも、圧縮中のＭＢと画面上で同一位置の領域ではない。これは、画像に動きがあるため、画面上で同一位置の領域ではなく、同一位置からずらした領域から差分を取った方が、差分を小さくすることができる場合があるためである。このように参照される領域をずらす量は動きベクトルと言われ、ＩｎｔｅｒＭＢでは差分と共に動きベクトルもエントロピー符号化される。
【００１２】
ＩｎｔｅｒＭＢから画像を得るためには、差分の元となった時間的に前方向または後ろ方向に存在するフレームの画像が必要であり、ＩｎｔｅｒＭＢのみをデコードしただけでは画像を得ることはできない。一方、ＩｎｔｒａＭＢは差分による圧縮が行われないので、ＩｎｔｒａＭＢをデコードしただけで画像を得ることが可能である。一般に、ＩｎｔｒａＭＢの方がＩｎｔｅｒＭＢよりもデータ量が多い。
【００１３】
１フレームのフレーム画像は、複数のＭＢにより構成されており、１フレームを構成するＭＢの種類によって、各フレームはＩｎｔｒａフレームとＩｎｔｅｒフレームとに分けられる。ＩｎｔｒａフレームとはＩｎｔｒａＭＢのみで構成されたフレームである。このＩｎｔｒａフレームは、フレーム内符号化のみで構成されているため、そのフレームをデコードしただけで、１フレーム分の画像を得ることが可能である。また、ＩｎｔｅｒフレームとはＩｎｔｒａＭＢとＩｎｔｅｒＭＢとが混在するフレームである。
【００１４】
一般に、ＩｎｔｒａＭＢの方がＩｎｔｅｒＭＢよりもデータ量が多いため、ＩｎｔｒａＭＢのみで構成されるＩｎｔｒａフレームのデータ量は、非常に大きい。
【００１５】
しかしながら、以下のような理由（１）〜（３）により、動画像データ内にはＩｎｔｒａフレームが挿入される。
【００１６】
（１）動画の１フレーム目では差分を取る対象となる画像がないので、Ｉｎｔｒａフレームによって画像が記録される。
【００１７】
（２）後述する早送り再生、巻き戻し再生、飛び越し再生を行うためには、動画像データの中で定期的にＩｎｔｒａフレームが出現するようにしておく必要がある。
【００１８】
（３）データのビット化け対策のためにＩｎｔｒａフレームが挿入される。データの伝送路やデータを蓄積しておくメディアに問題が発生し、データにビット化けが起こってしまった場合に、動画像を正常にデコードすることができず、画像が乱れてしまう。このように画像が乱れてから以降、Ｉｎｔｅｒフレームが続くと、乱れた画像を参照して画像が生成されるため、画像の乱れが後のフレームへと伝搬され、画像が乱れたままになる。このような場合に、Ｉｎｔｒａフレームが挿入されていると、乱れの伝搬はこのＩｎｔｒａフレームの部分で止まり、それ以降、画像の乱れが収まる。
【００１９】
また、Ｉｎｔｅｒフレームにおいて、ＩｎｔｒａＭＢが混在している理由は、以下の（１）〜（３）の通りである。
【００２０】
（１）シーンチェンジや動きが非常に大きい画像などのように、フレーム間の相関が少ない場合、フレーム間符号化を行うよりもフレーム内符号化を行う方がデータ量が小さくなる場合がある。
【００２１】
（２）上述のようなビット化けが発生した場合、ＩｎｔｒａＭＢが定期的に配置されていれば、ＩｎｔｒａＭＢの部分だけはＩｎｔｒａフレームまで待たなくても画像乱れが収まることになるため、ビット化けによる画像乱れからの回復が早くなる。
【００２２】
（３）装置の設計によっては、使用される符号化器や復号化器に計算誤差が出てしまうことがある。このような計算誤差が存在する環境でＩｎｔｅｒＭＢが続くと、誤差が累積され、意図する画像とは異なる画像が生成されるおそれがある。このような場合に、定期的にＩｎｔｒａＭＢが配置されていると、誤差の累積を防ぐことができる。このような理由から、Ｉｎｔｅｒフレームであっても、ＩｎｔｒａＭＢが挿入される。なお、ＩｎｔｒａＭＢの位置は、常に同じ位置ではなく、フレーム毎に異なる位置に配置される。
【００２３】
動画像データは、ＩｎｔｒａフレームとＩｎｔｅｒフレームとの組み合わせによって構成されている。このような動画像データを早送り再生する場合、従来、例えば特許文献１に開示されているように、Ｉｎｔｒａフレームのみを選択して再生することにより、高速再生が行われている。
【００２４】
図１３（ａ）は、特許文献１に開示されている従来の動画像再生方法によって動画像データの早送り再生を行う際に処理されるフレームを示す図である。なお、図１３（ａ）では、斜線による網掛け（最濃色）で示すＩｎｔｒａフレーム２０２、２０３、２０４、２０５および２０６が、８枚（白色）のＩｎｔｅｒフレーム毎に挿入されている。また、ドット（中間色）で示すフレーム２０１までは、通常に再生が行われているものとする。
【００２５】
このフレーム２０１で早送り再生が指示された場合、従来の動画像再生方法では、フレーム２０１の次のＩｎｔｒａフレームが検索され、見つかったフレーム２０２がデコードされて表示される。さらに、次のＩｎｔｒａフレームが検索され、見つかったフレーム２０３がデコードされて表示される。以後、順に、フレーム２０４、フレーム２０５、フレーム２０６、・・・とＩｎｔｒａフレームが順次選択されてデコードされ、これが表示画面上に表示されることによって早送り再生が行われる。
【００２６】
さらに高速に再生する場合には、Ｉｎｔｒａフレームが間引かれてデコードされ、これが表示される。例えば図１３（ａ）では、フレーム２０２、フレーム２０４、フレーム２０６が選択されてデコードされ、これらが順次再生が行われる。
【００２７】
また、巻き戻し再生は、画像データを遡りながらＩｎｔｒａフレームが再生されることにより実現される。さらに高速な巻き戻し再生が必要とされる場合には、早送り再生と同様に、Ｉｎｔｒａフレームが間引かれ、データを遡りながら再生が行われる。
【００２８】
また、飛び越し再生として、任意の位置から動画像の再生を行いたい場合には、再生を開始したいフレームの付近に存在するＩｎｔｒａフレームが検索され、見つかったＩｎｔｒａフレームから再生が開始される。
【００２９】
例えば特許文献２には、Ｉｎｔｒａフレームを間引いて高速再生を行う場合に、間引かれたフレームの情報が欠落して再生画像の動きが滑らかでなくなることを防ぐために、ＭＢを水平方向一列に並べ、並べたスライスによってＩｎｔｒａフレームが複数個のスライスに分割され、Ｉｎｔｒａフレームを再生する際に、所定数のスライスが、所定数のスライスずつずらして復号化されることによって再生が行われる動画像再生方法が開示されている。この方法によれば、Ｉｎｔｒａフレームの一部が復号化再生されるため、Ｉｎｔｒａフレームを間引くことなく処理量を少なくして、より滑らかで高速な画像再生を行うことができる。
【特許文献１】特開昭６３−３１０２９３号公報
【特許文献２】特開平７−１６２８５１号公報
【発明の開示】
【発明が解決しようとする課題】
【００３０】
上記特許文献１，２に開示されている従来の画像再生方法によって滑らかな早送り再生および巻き戻し再生、並びに通常再生に移るまでの時間を短くしてレスポンスが良好な飛び越し再生を行うためには、Ｉｎｔｒａフレームが適切な間隔で動画像データ内に挿入されていることが必要である。
【００３１】
しかしながら、Ｉｎｔｒａフレームは、ＩｎｔｒａＭＢのみで構成されており、Ｉｎｔｅｒフレームに対してデータ量が多いため、Ｉｎｔｒａフレームの出現頻度を高くすると、動画像自体のデータ量が多くなってしまうという問題がある。
【００３２】
例えば、無線によるＴＶ電話システムなどのように狭帯域での伝送が必要とされるシステムでは、Ｉｎｔｒａフレームの出現頻度を抑えることによりデータ量を削減させている。このため、ＴＶ電話中の動画像データを記憶装置に蓄積しておき、後で再生しようとした場合、Ｉｎｔｒａフレームの出現頻度が低いため、このようなデータを用いて早送り再生、巻き戻し再生および飛び越し再生を行うことは困難である。また、このようなＴＶ電話システム以外にも、データ量削減のためにＩｎｔｒａフレームの出現頻度を低く設定している動画像データについても、同様の問題が発生する。
【００３３】
図１３（ｂ）は、Ｉｎｔｒａフレームの出現率が低い動画像データに対して早送り再生を行った時に処理されるフレームを示す図である。図１３（ｂ）に示すように、フレーム２０７まで再生したときに、早送り再生が指示されると、次に表示されるフレームはＩｎｔｒａフレーム２０８となる。このように、図１３（ａ）に示すＩｎｔｒａフレームの出現率が高い動画像データに比べて、図１３（ｂ）では、早送り再生時に表示されるフレームが極端に減ってしまう。
【００３４】
さらに、図１３（ｃ）に示すように、Ｉｎｔｒａフレームが先頭の１フレームにのみ存在している場合には、早送り再生が指示されたフレーム２０９以降、１フレームも表示されず、早送り再生自体を行うことができなくなる。
【００３５】
本発明は、上記従来の問題を解決するもので、早送り再生、巻き戻し再生および飛び越し再生方式では対応しきれないＩｎｔｒａフレームの出現頻度が低い動画像データにおいても、良好な早送り再生、巻き戻し再生および飛び越し再生を行うことができる動画像再生装置、動画像再生方法、これを実行するための制御プログラムおよびこれを記録したコンピュータ読み取り可能な可読記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００３６】
本発明の動画像再生装置は、複数のフレーム間符号化マクロブロックおよび複数のフレーム内符号化マクロブロックからなる複数のフレーム画像が連続した動画像データを再生可能とする動画像再生装置であって、該連続した複数のフレーム画像の途中における所定のフレーム画像近傍において所定フレーム数のフレーム画像を連続してデコードして、該所定のフレーム画像近傍の近似画像を生成する近似画像生成処理を行う動画像デコード手段を有しており、そのことにより上記目的が達成される。
【００３７】
また、好ましくは、本発明の動画像再生装置における動画像デコード手段は、前記フレーム画像を順次デコードして動画像を生成可能とするフレームデコード部と、該フレームデコード部を制御して、前記所定のフレーム画像近傍における所定フレーム数のフレーム画像を連続してデコードさせて、該所定のフレーム画像近傍の近似画像を生成させるように制御する再生制御部とを有する。
【００３８】
さらに、好ましくは、本発明の動画像再生装置における再生制御部は、前記所定のフレーム画像から所定フレーム数だけフレーム画像を遡り、遡ったフレーム画像から該所定のフレーム画像まで、前記フレームデコード部に各フレーム画像を連続してデコードさせるように制御する。
【００３９】
さらに、好ましくは、本発明の動画像再生装置における再生制御部は、前記所定のフレーム画像以降、所定フレーム数のフレーム画像を連続して前記フレームデコード部にデコードさせるように制御する。
【００４０】
さらに、好ましくは、本発明の動画像再生装置における所定フレーム数は、前記フレーム画像内に含まれるフレーム間符号化マクロブロックとフレーム内符号化マクロブロックとの割合から算出されている。
【００４１】
さらに、好ましくは、本発明の動画像再生装置における所定フレーム数は、前記フレーム画像内に含まれるフレーム間符号化マクロブロックの画面上の位置と、該フレーム間符号化マクロブロックのデータをデコードする際に参照されるフレーム領域の画面上での位置とのずれの大きさに基づいて算出されている。
【００４２】
さらに、好ましくは、本発明の動画像再生装置における近似画像の生成中は、表示部への画像表示を停止させることと、該表示部に以前に表示されている画像を引き続き表示させることとのいずれかに制御する表示制御部を更に有する。
【００４３】
さらに、好ましくは、本発明の動画像再生装置における近似画像の生成中に、任意のフレームでフレーム内符号化マクロブロックのデータをデコードして既に画像が生成された領域が、その後のフレームで、まだフレーム内符号化マクロブロックのデータをデコードして画像が生成されていない領域を参照してデコードされるフレーム間符号化マクロブロックになっている場合に、前記再生制御部は、当該領域においてフレーム間符号化マクロブロックのデータのデコードを行わず、前フレームにおける同じ位置の画像データをコピーするように前記フレームデコード部を制御する。
【００４４】
さらに、好ましくは、本発明の動画像再生装置における近似画像の生成中に、フレームの任意の領域がフレーム間符号化マクロブロックになっている場合に、前記再生制御部は、該フレーム間符号化マクロブロックのデータのデコードを行わず、前フレームにおける同じ位置の画像データをコピーするように前記フレームデコード部を制御する。
【００４５】
さらに、好ましくは、本発明の動画像再生装置における動画像データは、複数のフレーム内符号化マクロブロックのみからなるフレーム画像が、前記複数のフレーム画像に対して所定フレーム数毎に挿入されている。
【００４６】
本発明の動画像再生方法は、上記動画像再生装置を用いて、前記複数のフレーム画像を順次デコードして動画像を再生する動画像再生方法において、該複数のフレーム画像の途中の所定のフレーム画像近傍において所定フレーム数のフレーム画像を連続してデコードすることにより、該所定のフレーム画像近傍の近似画像を生成する近似画像生成ステップと、該生成された近似画像を表示する表示ステップとを有するものであり、そのことにより上記目的が達成される。
【００４７】
また、好ましくは、本発明の動画像再生方法における近似画像生成ステップは、前記所定のフレーム画像近傍における所定フレーム数のうち１フレーム分のフレーム画像を読み込む読込ステップと、読み込んだフレーム画像をデコードするデコードステップと、該デコードしたフレーム画像が該所定フレーム数に達しているかどうかを判定するステップと、該デコードしたフレーム画像が該所定フレーム数に達するまで、該読込ステップおよびデコードステップを繰り返して行うステップと、該デコードしたフレーム画像が該所定フレーム数に達した場合、全デコード結果を前記近似画像として生成する生成ステップとを有する。
【００４８】
さらに、好ましくは、本発明の動画像再生方法におけるデコードしたフレーム画像が、複数のフレーム内符号化マクロブロックからなるフレーム画像である場合には当該フレーム画像のデコード結果を表示する表示ステップを実行する。
【００４９】
本発明の制御プログラムは、上記動画像再生方法の各ステップをコンピュータに実行させるためのものであり、そのことにより上記目的が達成される。
【００５０】
本発明の可読記録媒体は、上記制御プログラムが記録されたコンピュータ読み込み可能なものであり、そのことにより上記目的が達成される。
【００５１】
上記構成により、以下に、本発明の作用について説明する。
【００５２】
Ｉｎｔｅｒフレーム（第１フレーム画像）には、ＩｎｔｅｒＭＢ（フレーム間符号化ＭＢ）のみではなく、ＩｎｔｒａＭＢ（フレーム内符号化ＭＢ）も存在している。このため、Ｉｎｔｅｒフレームを連続してデコードすることにより、その中に含まれているＩｎｔｒａＭＢにより、フレーム全域を描画して近似画像を生成することが可能である。
【００５３】
したがって、Ｉｎｔｒａフレーム（第２フレーム画像）の出現頻度が低い動画像データであっても、所定のＩｎｔｅｒフレームから複数枚のフレームを連続してデコードすることにより、所定のＩｎｔｅｒフレーム近傍の近似画像を得ることが可能であり、これにより早送り再生、巻き戻し再生および飛び越し再生が可能になる。
【００５４】
例えば、目的とするフレームから画像データを遡り、遡ったフレームから目的とするフレームまで、連続してデコードすることにより、目的とするフレーム近傍の近似画像を得ることが可能になる。また、目的とするフレーム以降、所定数のフレームを連続してデコードすることにより、得られる画像は目的とするフレームから時間的に後方にずれるものの、少ない処理量で近似画像を生成することが可能になる。
【００５５】
近似画像生成処理において、連続してデコードされるＩｎｔｅｒフレームの数によって、近似精度は変化する。近似精度を有する画像を得るためには、ＩｎｔｒａＭＢによって画面全体が描画される必要がある。ＩｎｔｒａＭＢによって画面全体を描画させるために要するフレーム数は、ＩｎｔｅｒフレームにおけるＩｎｔｒａＭＢの出現率によって求められる。よって、連続してデコードされるＩｎｔｅｒフレームの数は、Ｉｎｔｅｒフレーム内に含まれるＩｎｔｅｒＭＢとＩｎｔｒａＭＢとの割合から算出することが好ましい。
【００５６】
また、動きの激しい画像では、ＩｎｔｒａＭＢによって画像が生成されたＭＢが、その後のフレームでＩｎｔｅｒＭＢとなり、未だＩｎｔｒａＭＢによって画像が生成されてないＭＢが参照されてフレーム間復号されるという問題が発生しやすくなって、画像の近似精度が低下する。このような画像の場合には、連続してデコードされるＩｎｔｅｒフレームの数は、ＩｎｔｅｒＭＢの画面上での位置と、そのＩｎｔｅｒＭＢによって参照されるフレームの領域の画面上での位置とのずれ（動きベクトル）の大きさから算出することが好ましい。
【００５７】
近似画像生成処理中は、画像の近似精度が非常に低いため、ユーザに見せるべきではない。このため、近似画像生成処理中は、画像表示を停止するか、または直前まで表示されていた画像をそのまま表示させることが好ましい。
【００５８】
また、近似画像生成処理中に、ＩｎｔｒａＭＢによって画像が生成されたＭＢが、その後のフレームでＩｎｔｅｒＭＢとなり、未だＩｎｔｒａＭＢによって画面が生成されていない領域が参照されてフレーム間復号がされると、近似精度が低下してしまうという問題がある。このような場合に、ＩｎｔｒａＭＢによって画像が生成されていない領域からフレーム間復号をしようとした場合に、そのＩｎｔｅｒＭＢのデコード処理を行わず、前フレームにおける同一位置の画像をそのまま現フレームにコピーさせることによって、近似精度の低下を抑えることができる。または、ＩｎｔｅｒＭＢのデコード自体を禁止することによっても、近似精度の低下を抑えることができる。
【発明の効果】
【００５９】
以上により、本発明によれば、画像が必要とされるフレーム付近において、フレーム間符号化領域とフレーム内符号化領域とが混在するＩｎｔｅｒフレームを連続してデコードすることにより、必要とされるフレーム近傍の近似画像を生成することが可能となる。また、近似画像の生成に際して、デコードされるフレーム位置を指定する方法、デコードされるフレームの枚数、表示方法、ＩｎｔｅｒＭＢのデコード方法など、詳細な手法についても示している。これにより、従来ではデコードを行うことが困難であったフレームであっても、近似画像を生成することが可能となり、早送り再生、巻き戻し再生および飛び越し再生時に利用することが可能なフレームが増える。これによって、フレーム内符号化のみで圧縮されたＩｎｔｒａフレームの出現頻度が低い動画像データであっても、滑らかな早送り再生および巻き戻し再生、並びにレスポンスのよい飛び越し再生ができる。
【発明を実施するための最良の形態】
【００６０】
以下に、本発明の動画像再生装置の実施形態について説明する前に、本発明の動画像再生装置の基本原理について図１〜図４を用いて説明する。
【００６１】
図１は本発明の動画像再生装置の基本原理を示すブロック図である。
【００６２】
図１において、動画像再生装置１０は、ＣＰＵ（中央演算処理装置）が可読記録媒体としての記憶部５内の制御プログラムに基づいて、所定のＩｎｔｅｒフレーム画像近傍において所定数のＩｎｔｅｒフレーム画像を連続してデコードすることにより、所定のＩｎｔｅｒフレーム画像近傍の近似画像を生成する近似画像生成処理を行うように制御する動画像デコード手段としての動画像デコード装置４を有しており、複数のフレーム間符号化ＭＢおよび複数のフレーム内符号化ＭＢからなるＩｎｔｅｒフレーム画像を連続して複数有する動画像データに対して、フレーム画像を順次デコードして動画像を再生する。所定数のＩｎｔｅｒフレーム画像毎に、複数のＩｎｔｒａＭＢのみからなるＩｎｔｒａフレーム画像が挿入されて配置されている。
【００６３】
ここで、本発明の動画像再生装置の基本原理である近似画像生成処理について詳細に説明する。
【００６４】
Ｉｎｔｅｒフレーム（第１フレーム画像）には、ＩｎｔｅｒＭＢ（フレーム間符号化ＭＢ）のみでなく、ＩｎｔｒａＭＢ（フレーム内符号化ＭＢ）も存在している。このため、Ｉｎｔｅｒフレームを連続してデコードすることにより、その中に含まれているＩｎｔｒａＭＢにより、フレーム全域を描画して近似画像を生成することが可能となる。以後、この処理を近似画像生成処理という。
【００６５】
図２は、図１の動画像デコード装置４による近似画像生成処理の一例を示す図である。
【００６６】
図２において、フレーム１０１〜１０６はそれぞれＩｎｔｅｒフレームを表し、図の下方向が時間軸となっている。それぞれのフレームにおいて、黒く塗りつぶされている部分が複数のＩｎｔｒａＭＢであり、白い部分は複数のＩｎｔｅｒＭＢである。このフレーム１０１〜１０６を見れば明らかなように、ＩｎｔｒａＭＢはフレームの中にまばらに存在しており、その位置は固定されていない。
【００６７】
一方、フレーム１１１〜１１６は、画面上において、それぞれＩｎｔｅｒフレーム（１０１〜１０６）のＩｎｔｒａＭＢによって描画された領域を示している。時間が進むにつれて、ＩｎｔｒａＭＢによって描画された領域が大きくなり、フレーム１１６では全画面がＩｎｔｒａＭＢによって描画される。
【００６８】
但し、ＩｎｔｒａＭＢによって画面全領域の画像が得られるといっても、ＩｎｔｒａＭＢにより得られる各領域の画像は、時間的にずれている。ＩｎｔｒａＭＢによって既に画像が生成されたＭＢであっても、その後のフレームでそのＭＢがＩｎｔｅｒＭＢとなり、さらに、動きベクトルが未だＩｎｔｒａＭＢによって画像が生成されていないＭＢを指している場合には、そのＭＢの画像は乱れてしまう。
【００６９】
このような場合の一例を図３に示す。
【００７０】
図３は、図２のフレーム１０１、１０２とフレーム１１１および１１２を取り出した図である。
【００７１】
図３において、フレーム１０２でＩｎｔｅｒＭＢ１０７に注目する。このＩｎｔｅｒＭＢ１０７は、フレーム１０１ではＩｎｔｒａＭＢ１０７ａになっている。このＩｎｔｅｒＭＢ１０７の動きベクトルが、前のフレーム１０１の同一位置を指している場合、即ち、フレーム１１１のフレーム１０７ｂに示すような領域を指している場合には、この領域は既にＩｎｔｒａＭＢ１０７ｂによって画像が生成された領域であるので、画像の乱れは生じない。
【００７２】
しかしながら、ＩｎｔｅｒＭＢ１０７の動きベクトルが、フレーム１１１で括弧で囲まれた領域１０８を指している場合、この領域１０８の右下以外の領域は未だＩｎｔｒａＭＢによって画像が生成されていない領域であるため、この画像に差分を加えても、正常な画像が生成されず、画像が崩れてしまう。
【００７３】
このため、Ｉｎｔｅｒフレームから完全な画像を得ることはできないが、全てのＭＢでこのような問題が発生するわけではないため、通常のデコード手段によって得られるような近似画像を得ることが可能である。早送り再生、巻き戻し再生および飛び越し再生においては、画像の精細さよりもユーザによって動画像の現在位置を認識できるようにすることが重要であり、近似画像の精度が低くても、画像の特徴から画像の認識ができれば、実用上は問題ない。
【００７４】
したがって、Ｉｎｔｒａフレームの出現頻度が低い動画像であっても、所定のＩｎｔｅｒフレームから複数枚のＩｎｔｅｒフレームを連続してデコードすることにより、目的とするフレーム近傍の近似画像を得ることが可能であり、これによって、良好な早送り再生、巻き戻し再生および飛び越し再生が可能になる。
【００７５】
図４に、従来手法との比較を示す。図４（ａ）は、従来の動画像再生方法において、早送り時に再生されるフレームを示しており、図４（ｂ）は、本発明の動画像再生方法において、早送り時に再生されるフレームを示している。
【００７６】
まず、図４（ａ）に示すように、従来の動画像再生方法では、早送り時に再生時に、Ｉｎｔｒａフレームの再生のみが行われるため、Ｉｎｔｒａフレーム１２１の次に、多数のＩｎｔｅｒフレームを超えてＩｎｔｒａフレーム１２２が画像再生され、フレームの間隔が大きく開いてしまう。
【００７７】
これに対して、本発明では、図４（ｂ）に示すように、Ｉｎｔｒａフレーム１２３の次は、所定のフレーム１２４〜１２５が連続してデコードされて近似画像フレーム１２６が生成され、その後、Ｉｎｔｒａフレーム１２７がデコードされる。これによって、表示されるフレーム数が、従来の方法に比べて多くなることが分かる。これにより、Ｉｎｔｒａフレームの間隔が空いている場合でも、良好な早送り再生を行うことができる。
【００７８】
例えば、目的とするフレームから画像データを所定分だけ遡り、遡ったフレームから目的とするフレームまで連続してデコードすることにより、目的とするフレーム近傍の近似画像を得ることが可能になる。また、目的とするフレーム以降のフレームを連続してデコードすることにより、得られる画像は目的とするフレームから時間的に後方にずれるものの、少ない処理量で近似画像生成処理を行うことが可能になる。
【００７９】
この近似画像生成処理において、Ｉｎｔｅｒフレームを連続してデコードする枚数によって、近似精度は変化する。以下、このフレームの枚数を近似画像生成フレーム数という。例えば、図４（ｂ）では、フレーム１２４〜１２５までの６枚が相当する。
【００８０】
最低限の近似精度を有する画像を得るためには、ＩｎｔｒａＭＢによって画面全体を更新する必要がある。ＩｎｔｒａＭＢによって画面全体を更新するために要するフレーム数は、ＩｎｔｅｒフレームにおけるＩｎｔｒａＭＢの出現率によって求めることができる。よって、近似画像生成フレーム数は、ＩｎｔｅｒフレームにおけるＩｎｔｅｒＭＢとＩｎｔｒａＭＢとの割合によって算出することができる。
【００８１】
また、動きが激しい動画像であれば、ＩｎｔｒａＭＢによって画像が生成されたＭＢがその後のフレームでＩｎｔｅｒＭＢとなり、未だＩｎｔｒａＭＢによって画像が生成されていない領域を参照してフレーム間復号が行われるという問題が発生しやすくなり、画像の近似精度が下がる。このような画像の場合には、近似画像生成フレーム数を多めに設定する必要がある。
【００８２】
例えば、動きベクトルによって画像の動きの激しさを計測することが可能であるため、近似画像生成フレーム数を動きベクトルによって算出することが好ましい。動きベクトルが大きい場合には、近似画像生成フレーム数を多くすることにより、動きの激しい画像でも、近似精度を確保することができるようになる。
【００８３】
このように、再生されるデータによって近似画像生成処理の内容を変化させることにより、再生されるデータを特別な符号化方法で符号化させる必要がなくなる。
【００８４】
なお、近似画像生成処理中のデコード画像は、画像の近似精度が非常に低いため、ユーザに見せるべきではない。このため、近似画像生成処理中は、画像表示を停止させるか、または直前まで表示されていた画像をそのまま表示させることにより、近似精度が低い画像をユーザに見せないようにすることが好ましい。
【００８５】
近似画像生成処理中に、ＩｎｔｒａＭＢによって画像が生成されたＭＢが、その後のフレームでＩｎｔｅｒＭＢとなり、未だＩｎｔｒａＭＢによって画像が生成されていない領域を参照してフレーム間復号がされると、近似精度が低下してしまうという問題が生じる。このような場合に、ＩｎｔｒａＭＢによって画像が生成されていない領域を覚えておき、この領域を参照してフレーム間復号が行われるＩｎｔｅｒＭＢにはデコード処理を行わず、前フレームにおける同一位置のＭＢの画像をそのまま現フレームにコピーさせることによって、近似精度の低下を抑えることができる。また、ＩｎｔｅｒＭＢのデコード自体を禁止することによっても、近似精度の低下を抑えることができる。
【００８６】
以下に、本発明の実施形態１，２について、図面を参照しながら具体的に説明する。
【００８７】
（実施形態１）
図５は、本発明の動画像再生装置の実施形態１における要部構成を示すブロック図である。なお、図５では、点線矢印は制御信号の流れを示し、実線矢印は画像データの流れを示している。
【００８８】
図５において、動画像再生装置１０Ａは、記憶装置１、ユーザーインターフェース２、表示装置３および動画像デコード装置４Ａを有している。
【００８９】
記録装置１は、圧縮された動画像データである動画像ストリームが記録されている。
【００９０】
ユーザーインターフェース２は、ユーザの操作により、再生、停止および早送りなどの各種指示を動画像デコード装置４Ａに入力することができる。
【００９１】
表示装置３は、記録装置１の動画像ストリームがデコードされて再生出力された画像を表示画面上に表示する。
【００９２】
動画像デコード装置４Ａは、データ取得部４１、フレームデコード部４２、表示制御部４３、データ取得位置調整部４４および再生制御部４５を有し、所定のＩｎｔｅｒフレーム画像近傍において所定数のＩｎｔｅｒフレーム画像を連続してデコードすることにより、所定のＩｎｔｅｒフレーム画像近傍の近似画像を生成する近似画像生成処理を行う。
【００９３】
データ取得部４１では記憶装置１からデータが取得される。
【００９４】
フレームデコード部４２では、データ取得部４１から供給された動画像ストリーム（フレーム画像）を順次デコードして画像を生成する。
【００９５】
表示制御部４３は、フレームデコード部４２によってデコードされて生成された画像を表示装置３の表示画面上に表示させるように制御する。
【００９６】
データ取得位置調整部４４では、再生状態に応じて、記憶装置１からデータ取得部４１によってデータを読み込む位置が調整される。
【００９７】
再生制御部４５は、ユーザからの入力指示に応じて、フレームデコード部４２、データ取得位置調整部４４および表示制御部４３に対して各種の制御信号を出力して、各部の動作が制御される。特に、再生制御部４５は、フレームデコード部４２を制御して、所定のＩｎｔｅｒフレーム画像から所定数のＩｎｔｅｒフレーム画像を連続してデコードさせて、所定のＩｎｔｅｒフレーム画像近傍の近似画像を生成させる近似画像生成処理を行う。なお、再生制御部４５内に記憶部５が設けられていてもよく、制御プログラムに基づいてフレームデコード部４２、データ取得位置調整部４４および表示制御部４３の各部を制御するものであってもよい。
【００９８】
上記構成により、以下に、上記動画像再生装置１０Ａの動作について説明する。
【００９９】
まず、通常の動画像再生を行う場合の処理について説明する。
【０１００】
通常再生時には、まず、再生制御部４５によって、１フレーム分の画像をデコードするように制御信号がフレームデコード部４２に出力される。フレームデコード部４２では、データ取得部４１を通して記録装置１から１フレーム分の動画像ストリームが読み込まれ、読み込まれたデータがデコードされて画像が生成される。画像が生成されると、再生制御部４５によって、表示制御部４３に制御信号が出力され、生成された画像信号が表示装置３に出力されて表示装置３の表示画面上に表示される。その後、再生制御部４５では、データ取得位置調整部４４に対して次のフレームに進むように制御信号が出力され、１フレームの再生が終了する。以後、同様の動作を繰り返すことにより、通常の動画像再生が行われる。
【０１０１】
次に、早送り再生、巻き戻し再生および飛び越し再生などのために、任意のフレームの近傍における近似画像を生成したい場合に行われる本実施形態１の近似画像生成処理について説明する。
【０１０２】
図６は、図５の動画像再生装置１０Ａによる近似画像生成処理を説明するためのフローチャートである。なお、ここでは、記録装置１から動画像ストリームを読み込む位置が、近似画像を生成したい目的のフレーム近傍になっている場合について説明する。
【０１０３】
図６に示すように、まず、ステップＳ１において、再生制御部４５から、フレームデコード部４２に対して、デコードを要求する制御信号が出力される。要求を受けたフレームデコード部４２では、データ取得部４１を通して記録装置１から１フレーム分の動画像ストリームが読み込まれる。
【０１０４】
次に、ステップＳ２において、フレームデコード部４２では、１フレーム分の画像がデコードされて、この画像が生成される。デコードされた結果は、再生制御部４５に通知される。
【０１０５】
さらに、ステップＳ３で、再生制御部４５は、デコードされたフレーム画像の種類が判別され、画像の種類によって処理が切り換えられる。例えばデコードされたフレームがＩｎｔｒａフレームである場合（ＹＥＳ）には、この時点で完全な画像が得られており、連続デコード処理を続ける必要がないため、ステップＳ６の処理に移行する。また、ステップＳ３において、デコードされたフレームがＩｎｔｒａフレームではない場合（ＮＯ）には、次のステップＳ４の処理に移行する。
【０１０６】
ステップＳ４では、再生制御部４５によって、デコードされたフレーム数が近似画像生成フレーム数（連続デコードフレーム数）に達したか否かがチェックされる。近似画像生成フレーム数に達している場合（ＹＥＳ）には、既に充分な精度の近似画像が得られており、これ以上、近似画像生成処理を続ける必要がないため、ステップＳ６の処理に移行する。また、ステップＳ４において、近似画像生成フレーム数に達していない場合（ＮＯ）には、次のステップＳ５の処理に移行する。
【０１０７】
ステップＳ５では、再生制御部４５によって、データ取得位置調整部４４およびフレームデコード部４２に制御信号が出力される。データ取得位置が次のフレームの位置へ移動され、記録装置１から次のフレームの動画像ストリームがデータ取得部４１を通してフレームデコード部４２に読み込まれる。ステップＳ２に戻って処理が続けられる。
【０１０８】
ステップＳ６では、再生制御部４５によって、生成された画像を表示するように制御信号が表示制御部４３に出力され、表示装置３の表示画面上に画像が表示される。これにより、近似画像が表示装置３の表示画面上に表示されて、処理が終了する。
【０１０９】
なお、上記近似画像生成フレーム数は、動画像の特徴に応じて、フレームデコード部４２および再生制御部４５によって求められる。近似画像生成処理中、フレームデコード部４２によってフレームがデコードされる度に、ＩｎｔｒａＭＢの出現回数（１フレーム中のＩｎｔｒａＭＢの占める割合）とＩｎｔｅｒＭＢの動きベクトルの大きさが再生制御部４５に通知される。再生制御部４５では、ＩｎｔｒａＭＢの出現回数とＩｎｔｅｒＢＭの動きベクトルの大きさとが累積され、これらの値から近似画像生成フレーム数が求められる。
【０１１０】
このＩｎｔｒａＭＢの出現回数によって、ＩｎｔｒａＭＢによって画面全体を埋めるために必要なフレーム数を求めることが可能であるため、近似画像生成フレーム数はこの値から算出される。例えば、ＩｎｔｒａＭＢの出現割合が１２％であれば、９フレーム分の画像データをデコードをすることによって１０８％となるので、近似画像生成フレーム数を９フレームとすることができる。
【０１１１】
但し、ＩｎｔｒａＭＢによって生成されたＭＢが、その後のフレームでＩｎｔｅｒＭＢとなり、画像が未生成である領域からフレーム間復号がされると画像が乱れるという問題がある。このため、動きベクトルの大きさを累積した値に応じて、近似画像生成フレーム数を増加させることが好ましい。この動きベクトルには、Ｘ方向およびＹ方向があり、それぞれ正負の値を有する。このため、Ｘ方向およびＹ方向の両ベクトルで絶対値を求め、累積値を求める。この値が小さい値であれば、画像の未生成な領域からフレーム間復号される問題が発生しにくいと考えられるので、近似画像生成フレーム数は増やさない。しかしながら、この値が大きい場合には、問題が発生しやすい状態と考えられるので、近似画像生成フレーム数を増やすようにする。
【０１１２】
また、近似画像生成処理中には、フレームデコード部４２のデコード動作は通常の再生時とは異なるものになる。フレームデコード部４２では、ＩｎｔｒａＭＢによって画像が生成されたＭＢを記憶させておくようにする。近似画像生成処理中のデコード時にＩｎｔｅｒＭＢによりフレーム間復号を行う場合に、そのＭＢが既にＩｎｔｒａＭＢによって画像が生成されており、かつ、フレーム間復号の参照元が未だＩｎｔｒａＭＢによって画像が生成されていない領域であった場合に、そのＭＢのデコード処理を行わないようにする。ＭＢの画像を以前のフレームと同一にするために、以前のフレームの同一位置の画像をコピーするようにする。
【０１１３】
以上の近似画像生成処理を用いて、飛び越し再生を行う場合の処理について、以下に説明する。
【０１１４】
図７は、図５の動画像再生装置１０Ａにより飛び越し再生を行う際にデコードされるフレームおよび表示されるフレームを示す図である。なお、図７、以下の図８、図９および図１２において、白色で表されているフレームが処理を飛ばすフレームであり、薄いドットで示されているフレームがデコードされるフレームであり、濃いドットで示されているフレームがデコードおよび表示されるフレームである。
【０１１５】
図７に示すように、動画像ストリームの通常再生が行われており、フレーム１１まで再生されているものとする。
【０１１６】
この時点で、フレーム１２付近への飛び越し再生が指示された場合、再生制御部４５からデータ取得位置調整部４４およびフレームデコード部４２に制御信号が出力される。これにより、動画像ストリームの読み込み位置がフレーム１２まで進められて、フレーム１３まで近似画像生成処理が行われる。この処理中は、表示制御部４３によって表示装置３における画面の更新が停止され、表示されているフレームは１１のままである。フレーム１３のデコードが完了した時点で、デコード結果の画像（近似画像）が表示装置３に表示され、以後、フレーム１３以降のフレームが通常再生される。
【０１１７】
次に、近似画像生成処理を用いて、早送り再生を行う場合の処理について説明する。
【０１１８】
図８は、図５の動画像再生装置１０Ａにより早送り再生を行う際にデコードされるフレームおよび表示されるフレームを示す図である。
【０１１９】
図８に示すように、動画像ストリームの通常再生が行われており、フレーム２１まで再生されているものとする。
【０１２０】
この時点で、早送り再生が指示された場合、再生制御部４５からデータ取得位置調整部４４およびフレームデコード部４２に制御信号が出力される。これにより、動画像ストリームの読み込み位置がフレーム２２まで進められて、フレーム２３まで近似画像生成処理が行われる。この処理中は、表示制御部４３によって、デコードされて生成された画像は表示装置３の表示画面上に表示されず、フレーム２３のデコードが完了した時点で、そのデコード結果の画像（近似画像）が表示装置３の表示画面上に表示される。
【０１２１】
再生制御部４５からデータ取得位置調整部４４およびフレームデコード部４２に制御信号が出力され、動画像ストリームの読み込み位置がフレーム２４まで進められて、フレーム２５まで上記と同様に近似画像生成処理が行われる。以後、同様に読み込み位置を進める処理および近似画像生成処理が繰り返されて、早送り再生が行われる。
【０１２２】
このフレーム２６からフレーム２７までの近似画像生成処理中に、早送り再生から通常再生への復帰が指示された場合には、フレーム２７までの近似画像生成処理が行われ、フレーム２７以降のフレームが通常再生される。
【０１２３】
次に、近似画像生成処理を用いて、巻き戻し再生を行う場合の処理について説明する。
【０１２４】
図９は、図５の動画像再生装置１０Ａにより巻き戻し再生を行う際にデコードされるフレームおよび表示されるフレームを示す図である。
【０１２５】
図９に示すように、動画像ストリームの通常再生が行われており、フレーム３１まで再生されているものとする。
【０１２６】
この時点で、ユーザーインターフェイス２を介して巻き戻し再生が指示された場合、再生制御部４５からデータ取得位置調整部４４およびフレームデコード部４２に制御信号が出力される。これにより、動画像ストリームの読み込み位置がフレーム３１からフレーム３２まで戻され、フレーム３３まで近似画像生成処理が行われる。この処理中は、表示制御部４３によって、デコードされて生成された画像は表示装置３に表示されず、フレーム３３のデコードが完了した時点で、デコード結果の画像（近似画像）が表示装置３に表示される。
【０１２７】
その後、再生制御部４５からデータ取得位置調整部４４およびフレームデコード部４２に制御信号が出力され、動画像ストリームの読み込み位置がフレーム３３からフレーム３４まで更に戻されて、フレーム３４からフレーム３５まで上記と同様に近似画像生成処理が行われる。以後、同様に読み込み位置を戻す処理および近似画像生成処理が繰り返されて、巻き戻し再生が行われる。
【０１２８】
さらに、フレーム３６からフレーム３７までの近似画像生成処理中に、巻き戻し再生から通常再生への復帰が指示された場合には、フレーム３７までの近似画像生成処理が行われた後に、フレーム３７以降のフレームが通常再生される。
【０１２９】
このようにして、所望のＩｎｔｅｒフレームから複数枚のＩｎｔｅｒフレームをデコードすることによって、Ｉｎｔｒａフレームの出現頻度が低くても、所望のフレーム近傍の近似画像を生成して、早送り再生、巻き戻し再生および飛び越し再生を良好に行うことができる。
【０１３０】
（実施形態２）
上記実施形態１では、所定のＩｎｔｅｒフレーム以降の所定数のフレーム画像を連続してデコードすることによって近似画像を生成するように構成した場合について説明したが、本実施形態２では、所定のＩｎｔｅｒフレームから所定フレーム数のフレーム画像を遡り、遡ったフレーム画像から所定数のＩｎｔｅｒフレーム画像までを連続してデコードすることによって近似画像を生成する場合について説明する。
【０１３１】
近似画像生成処理中にＩｎｔｅｒＭＢによりフレーム間復号を行う場合に、そのＭＢが既にＩｎｔｒａＭＢによって画像が生成されており、かつ、フレーム間復号の参照元が未だＩｎｔｒａＭＢによって画像が生成されていない領域であった場合に、フレームデコード部４２によってそのＭＢ自体のデコード処理を行わないようにする。なお、本実施形態２において、動画像再生装置１０Ｂの構成および通常再生処理については、上記実施形態１の場合と同様であるため、ここではその説明を省略する。
【０１３２】
近似画像生成処理は、上記実施形態１の場合とは異なり、近似画像生成処理を行う前の段階で、動画像が通常に再生されているときに、予め近似画像生成フレーム数が算出される。このために、フレームデコード部４２によって１フレームのデコードが行われる毎に、再生制御部４５にＩｎｔｒａＭＢおよびＩｎｔｅｒＭＢの出現個数を通知させ、再生制御部４５によってこれらの割合から近似画像生成フレーム数を算出させるようにする。
【０１３３】
近似画像生成処理は、画像データの遡り処理と画像生成処理とに分かれる。あるフレームの近似画像が必要な場合に、まず、画像データを遡る処理が行われ、次に画像生成処理が行われる。
【０１３４】
まず、動画像再生装置１０Ｂによる画像データの遡り処理について説明する。
【０１３５】
図１０は、図５の動画像再生装置１０Ｂによる画像データの遡り処理を説明するためのフローチャートである。なお、図１０では、記録装置１から動画像ストリームを読み込む位置が、近似画像を生成したい目的のフレーム近傍になっている場合について説明する。
【０１３６】
図１０に示すように、まず、ステップＳ６１において、再生制御部４５から、データ取得位置調整部４４に制御信号が出力され、データ取得位置制御部４４では、１フレーム分、データの読み出し位置を遡らせる。
【０１３７】
ステップＳ６２で、フレームデコード部４２によって、フレームのヘッダ部分のみがデータ取得部４１を通じて取得されてデコードされ、遡ったフレームがＩｎｔｒａフレームであるか否かが判別される。さらに、その判別結果がフレームデコード部４２から再生制御部４５に通知される。再生制御部４５では、受け取ったフレームの種類によって処理が切り換えられる。受け取ったフレームがＩｎｔｒａフレームである場合（ＹＥＳ）には、この時点で画面全体を描画することが可能になっているため、ここで画像データの遡り処理が打ち切られる。また、Ｉｎｔｒａフレームではない場合（ＮＯ）には、次のステップＳ６３の処理に移行する。
【０１３８】
ステップＳ６３では、予め求められた近似画像生成フレーム数まで達したか否かが再生制御部４５によって判定され、連続デコードフレーム数に達している場合（ＹＥＳ）には画像データの遡り処理が打ち切られる。また、連続デコードフレーム数に達していない場合（ＮＯ）には、ステップＳ６１に戻り、さらに画像データの遡り処理が続けられる。
【０１３９】
次に、動画像再生装置１０Ｂによる画像データの遡り処理が終了すると、動画像再生装置１０Ｂによって更に画像生成処理が行われる。
【０１４０】
ここで、遡ったフレームがＩｎｔｒａフレームである場合には、遡ったＩｎｔｒａフレームから画像を通常の方法でデコードすることによって目的のフレームの画像（所定のフレーム画像）を得ることができる。この場合には、近似ではなく、目的となるフレームの正確な画像（フレーム画像）を得ることができる。
【０１４１】
一方、遡ったフレームがＩｎｔｒａフレームでない場合には、以下のようにして、近似画像を生成するための近似画像生成処理が行われる。
【０１４２】
図１１は、図５の動画像再生装置１０Ｂによる画像生成処理を説明するためのフローチャートである。
【０１４３】
図１１に示すように、まず、ステップＳ７１で、フレームデコード部４２によって、データ取得部１１を通して動画像ストリームが１フレーム分読み込まれる。
【０１４４】
ステップＳ７２で、フレームデコード部４２によって、読み込まれた動画像ストリームがデコードされ、画像が生成される。
【０１４５】
ステップＳ７３で、再生制御部４５によって、デコードされたフレーム画像が必要とされるフレーム（近似画像生成フレーム数）に達したか否かが判定される。デコードされたフレーム画像が近似画像生成フレーム数に達している場合（ＹＥＳ）には、画像生成処理を終了させるため、このデコード結果を表示するステップＳ７５を実行する。また、ステップＳ７３で近似画像生成フレーム数に達していない場合（ＮＯ）には、ステップＳ７４の処理に移行する。
【０１４６】
ステップＳ７４では、再生制御部４５によって、データ取得位置調整部４４に対してデータ読み出し位置を１フレーム分進めるように制御信号が出力され、フレームデコード部４２によってデータ取得部４１を通して動画像ストリームが１フレーム分、読み込まれる。
【０１４７】
さらに、ステップＳ７２の処理に戻って画像生成処理が続けられる。
【０１４８】
ステップＳ７５では、フレームデコード部４２によって生成された近似画像が、表示制御部４３によって表示装置３に表示され、処理が終了される。
【０１４９】
なお、近似画像生成処理中は、再生制御部４５からフレームデコード部４２に制御信号が出力されており、フレームデコード部４２のデコード動作は、通常再生時とは異なるものになる。フレームデコード部４２では、ＩｎｔｒａＭＢのみがデコードされ、ＩｎｔｅｒＭＢはデコードされない。そのＭＢの画像として、前のフレームの同一位置の画像をコピーするようにする。これによって、未だ、ＩｎｔｒａＭＢによって画像が生成されていない領域からフレーム間復号されることによる近似精度の低下を抑制することができる。
【０１５０】
以上の近似画像生成処理を用いて、飛び越し再生を行う場合の処理について、以下に説明する。
【０１５１】
図１２は、図５の動画像再生装置１０Ｂにより飛び越し再生を行う際にデコードされるフレームおよび表示されるフレームを示す図である。
【０１５２】
図１２に示すように、動画像ストリームの通常再生が行われており、フレーム８１まで再生されているものとする。この時点で、フレーム８３付近への飛び越し再生が指示された場合、再生制御部４５からデータ取得位置調整部４４およびフレームデコード部４２に制御信号が出力される。これにより、動画像ストリームの読み込み位置がフレーム８３まで進められる。
【０１５３】
次に、近似画像生成フレーム数分の画像データ遡り処理が行われ、フレーム８３から２フレーム８２まで遡る。遡ったフレーム８２からフレーム８３まで、近似画像生成処理が行われる。この処理中は、表示制御部４３によって表示装置３における画面の更新が停止され、表示されているフレームは８１のままである。フレーム８３のデコードが完了した時点で、デコード結果の画像（近似画像）が表示装置３に表示され、以後、フレーム８３以降のフレームが通常再生される。
【０１５４】
本実施形態２において、飛び越し再生処理は、画像データの遡り処理が含まれる以外は、上記実施形態１の場合と同様である。また、早送り再生処理および巻き戻し再生処理についても、画像データの遡り処理が含まれる以外は、上記実施形態１の場合と同様であるため、早送り再生処理および巻き戻し再生処理については、ここではその説明を省略する。
【０１５５】
このようにして、所望のＩｎｔｅｒフレームから画像データを遡り、遡ったフレームから複数枚のＩｎｔｅｒフレームをデコードすることによって、Ｉｎｔｒａフレームの出現頻度が低くても、所望のフレーム近傍の近似画像を生成して、早送り再生、巻き戻し再生および飛び越し再生を良好に行うことができる。
【０１５６】
以上により、本実施形態１，２によれば、早送り、巻き戻し、飛び越し再生時に、対象とする動画像データ内において目的とするフレーム近傍にフレーム内符号化のみで圧縮されたフレーム（Ｉｎｔｒａフレーム）がない場合、再生制御部４５は、フレームデコード部４２を制御して、目的とするフレーム近傍に存在する、フレーム間符号化された領域とフレーム内符号化された領域とが１フレーム内で混在する複数のフレーム（Ｉｎｔｅｒフレーム）を連続してデコードさせることにより、目的とするフレーム近傍の近似画像を得ることができる。連続してデコードするフレーム数は、画像の動きの激しさ、およびフレーム内のフレーム間符号化された領域とフレーム内符号化された領域との割合から求められる。これによって、フレーム間符号化およびフレーム内符号化によってデータ圧縮された動画像において、フレーム内符号化のみで圧縮された画像の出現頻度が極端に低い場合であっても、良好な早送り、巻き戻し、飛び越し再生を実現することができる。
【０１５７】
なお、上記実施形態１，２では、本発明の近似画像生成処理において、所定のフレーム画像から所定フレーム数だけフレーム画像を遡ったフレーム画像から所定のフレーム画像まで連続してデコードさせたり、また、所定のフレーム画像以降、所定フレーム数のフレーム画像を連続してデコードさせたりしたが、これに限らず、全体として所定フレーム数になるように、所定のフレーム画像を連続デコードの途中に含むようにしてもよい。
【０１５８】
なお、以上のように、本発明の好ましい実施形態１，２を用いて本発明を例示してきたが、本発明は、この実施形態１，２に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１，２の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【０１５９】
動画像圧縮方式の国際標準規格であるＭＰＥＧ、ＩＴＵ−Ｔ  Ｈ．２６３などの符号化方式により高能率符号化された動画像情報を再生する動画像再生装置および動画像再生方法の分野において、従来、早送り再生、巻き戻し再生および飛び越し再生時に、フレーム内符号化のみで圧縮されたＩｎｔｒａフレームが利用されていた。このため、Ｉｎｔｒａフレームの出現頻度が低い動画像データでは、滑らかな早送り再生および巻き戻し再生、並びにレスポンスのよい飛び越し再生が困難であった。
【０１６０】
これに対して、本発明では、画像が必要とされるフレーム付近のフレーム間符号化領域とフレーム内符号化領域とが混在するＩｎｔｅｒフレームを連続してデコードすることによって、必要とされるフレーム近傍の近似画像を生成することができる。よって、早送り再生、巻き戻し再生および飛び越し再生時に利用することが可能なフレームが増え、例えば、無線によるＴＶ電話システムなどのように、狭帯域での伝送が必要とされるためにＩｎｔｒａフレームの出現頻度が抑えられているシステムや、データ量削減のためにＩｎｔｒａフレームの出現頻度が低く設定されている動画像データについても、滑らかな早送り再生および巻き戻し再生、並びにレスポンスのよい飛び越し再生が可能となる。
【図面の簡単な説明】
【０１６１】
【図１】本発明の動画像再生装置の基本構成を示すブロック図である。
【図２】ＩｎｔｒａＭＢおよびＩｎｔｅｒＭＢの配置例と、ＩｎｔｒａＭＢによって描画された領域を示す図である。
【図３】ＩｎｔｅｒＭＢにおいて、ＩｎｔｒａＭＢによって画像が生成されていない領域を参照してフレーム間復号されたときに生じる問題を説明するための図である。
【図４】（ａ）は従来の動画像再生方法によって早送り再生時に再生されるフレームを示す図、（ｂ）は本発明の動画像再生方法によって早送り再生時に再生されるフレームを示す図である。
【図５】本発明の動画像再生装置の実施形態１における要部構成を示すブロック図である。
【図６】図５の動画像再生装置による近似画像生成処理を説明するためのフローチャートである。
【図７】図５の動画像再生装置により飛び越し再生を行う際にデコードされるフレームおよび表示されるフレームを示す図である。
【図８】図５の動画像再生装置により早送り再生を行う際にデコードされるフレームおよび表示されるフレームを示す図である。
【図９】図５の動画像再生装置により巻き戻し再生を行う際にデコードされるフレームおよび表示されるフレームを示す図である。
【図１０】図５の動画像再生装置における他の例（実施形態２）による画像データの遡り処理について説明するためのフローチャートである。
【図１１】図５の動画像再生装置における他の例（実施形態２）による画像生成処理について説明するためのフローチャートである。
【図１２】図５の動画像再生装置における他の例（実施形態２）により飛び越し再生時に処理される各フレームを示す図である。
【図１３】（ａ）は、特許文献１に開示されている従来の動画像再生方法によって動画像データの早送り再生を行う際に処理されるフレームを示す図、（ｂ）は、Ｉｎｔｒａフレームの出現率が低い動画像データに対して早送り再生を行った時に処理されるフレームを示す図、（ｃ）は、Ｉｎｔｒａフレームが先頭の１フレームにのみ存在している動画像データに対して早送り再生を行った時に処理されるフレームを示す図である。
【符号の説明】
【０１６２】
１  記憶装置
２  ユーザーインターフェース
３  表示装置
４  動画像デコード装置
４１  データ取得部
４２  フレームデコード部
４３  表示制御部
４４  データ取得位置調整部
４５  再生制御部
１０，１０Ａ，１０Ｂ  動画像再生装置
【図１】
2005142686.tif 000003
【図２】
2005142686.tif 000004
【図３】
2005142686.tif 000005
【図４】
2005142686.tif 000006
【図５】
2005142686.tif 000007
【図６】
2005142686.tif 000008
【図７】
2005142686.tif 000009
【図８】
2005142686.tif 000010
【図９】
2005142686.tif 000011
【図１０】
2005142686.tif 000012
【図１１】
2005142686.tif 000013
【図１２】
2005142686.tif 000014
【図１３】
2005142686.tif 000015