(57)【要約】【課題】小さな回路規模、少ない消費電力でＭＰＥＧ−２とＭＰＥＧ‐４を同時に生成する。【解決手段】ベクトル探索回路１１、フレームメモリ１２、順方向予測回路１３、双方向予測回路１４、予測選択回路１５、フレーム内符号化回路１７、局所復号回路１８からなる入力動画を符号化するＭＰＥＧ−２符号化手段と、所定のＭＰＥＧ−２フレームを抜き出すフレーム抜き出し回路１９、該フレームを符号化する符号化変換回路２０からなるＭＰＥＧ‐４符号化手段と、ＭＰＥＧ‐４予測に用いる動き補償ベクトルをＭＰＥＧ−２予測に用いる動き補償ベクトルから算出する動きベクトル算出手段２１と、ＭＰＥＧ−２予測モードがＭＰＥＧ‐４予測モードと一致するようにＭＰＥＧ−２符号化手段の予測モードを制御する予測モード制御手段１６とを備えた、動き補償フレーム間予測を用いて動画の符号化を行う動画符号化装置１。【選択図】図２
2008061270.tif 000002
【特許請求の範囲】
【請求項１】
動き補償フレーム間予測を用いて動画の符号化を行う動画符号化装置において、
該動画を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、
該動画を第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化手段と、
該第１の符号化手段の予測モードと該第２の符号化手段の予測モードとが一致するように制御する予測モード制御手段と、
該第１の符号化手段で用いる第１の動き補償ベクトルから該第２の符号化手段で用いる動き補償ベクトルを算出する動きベクトル算出手段と、
を備えることを特徴とする動画符号化装置。
【請求項２】
動き補償フレーム間予測を用いて動画の符号化を行う動画符号化装置において、
該動画を、少なくとも動き補償およびＤＣＴ変換することにより、第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、
該第１の符号化手段における、該動き補償後のデータまたはＤＣＴ変換後のデータを抜き出し、第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化手段と、
該第１の符号化手段の予測モードと該第２の符号化手段の予測モードとが一致するように制御する予測モード制御手段と、
該第１の符号化手段で用いる第１の動き補償ベクトルから該第２の符号化手段で用いる動き補償ベクトルを算出する動きベクトル算出手段と、
を備えることを特徴とする動画符号化装置。
【請求項３】
動き補償フレーム間予測を用いて動画の符号化を行う動画符号化装置において、
入力動画像を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、
第１の符号化手段における符号化処理中の画像データを抜き出して、第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化手段と、
第１の符号化手段の予測モードが第２の符号化手段の予測モードと一致するように第１の符号化手段の予測モードを制御する予測モード制御手段と、
第２の符号化手段の予測に用いる動き補償ベクトルを第１の符号化手段の予測に用いる動き補償ベクトルから算出する動きベクトル算出手段と、
を備えることを特徴とする動画符号化装置。
【請求項４】
前記予測モード制御手段は、第２の符号化手段の予測モードが過去のフレームからの予測のみを用いる順方向予測フレームであるフレームの第１の符号化手段の予測モードを順方向予測フレームとすることを特徴とする請求項３に記載の動画符号化装置。
【請求項５】
前記予測モード制御手段は、第２の符号化手段の予測モードが過去のフレームからの予測のみを用いる順方向予測フレームであるフレームの第１の符号化手段の部分画像毎の予測モードを、同一フレーム内の全ての部分画像において予測値との差分を符号化する、または、同一フレーム内の全ての部分画像において予測を用いずにそのまま符号化する、ように制御することを特徴とする請求項３に記載の動画符号化装置。
【請求項６】
前記第１の符号化手段が同一フレーム内の全ての部分画像において予測値との差分を符号化したフレームの画質が劣化したことを検出する画質劣化検出手段を備え、
前記予測モード制御手段は、画質劣化検出手段により画質劣化が検出された場合には、次の第２の符号化手段の予測モードが過去のフレームからの予測のみを用いる順方向予測フレームであるフレームの第１の符号化手段の部分画像毎の予測モードを同一フレーム内の全ての部分画像において予測を用いずにそのまま符号化するように制御することを特徴とする請求項５に記載の動画符号化装置。
【請求項７】
前記動きベクトル算出手段は、第２の符号化手段の１つの部分画像に対応する第１の符号化手段の複数の部分画像毎に与えられる複数の動きベクトルから１つの動きベクトルを算出するものであって、
第２の符号化手段による符号化の際に、第１の符号化手段の動きベクトルが動きベクトル算出手段により算出された動きベクトルと大きく異なる場合には、該動きベクトルを持った第１の符号化手段の部分画像に対応する第２の符号化手段における差分値を０にして符号化するようにする差分値無効化手段を備えることを特徴とする請求項３に記載の動画符号化装置。
【請求項８】
動き補償フレーム間予測を用いて動画の符号化を行って記録媒体に記録し、また上記により記録された符号化データを記録媒体から再生して復号する動画記録再生装置において、
入力動画を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、
第１の符号化手段で符号化された符号化データを復号する復号手段と、
復号手段で復号されたフレームから抜き出した所定のフレームを第１のフレームレートより小さい第２のフレームレートかつ第１の画像サイズより小さい第２の画像サイズで再符号化する再符号化手段と、
第１の符号化手段の予測モードが再符号化手段の予測モードと一致するように第１の符号化手段の予測モードを制御する予測モード制御手段と、
再符号化手段の予測に用いる動き補償ベクトルを復号手段により復号された動き補償ベクトルから算出する動きベクトル算出手段と、
を備えることを特徴とする動画記録再生装置。
【請求項９】
記録媒体に記録された動き補償フレーム間予測を用いて動画の符号化を行った符号化データを記録媒体から再生して復号する動画再生装置において、
記録媒体から再生した符号化データを復号する復号手段と、
復号手段で復号されたフレームの予測モードを検出する予測モード検出手段と、
再符号化手段の予測に用いる動き補償ベクトルを復号手段により復号された動き補償ベクトルから算出する動きベクトル算出手段と、
復号手段で復号された動画を前記記録された第１のフレームレートより小さい第２のフレームレートかつ第１の画像サイズより小さい第２の画像サイズで再符号化する再符号化手段と、
を備えることを特徴とする動画再生装置。
【請求項１０】
動き補償フレーム間予測を用いて動画の符号化を行って記録媒体に記録する動画記録装置において、
入力動画を所定のフレームレートかつ所定の画像サイズで符号化する符号化手段と、
符号化手段の予測モードを制御する予測モード制御手段と、
過去のフレームからの予測のみを用いる順方向予測フレームまたは過去のフレームと未来のフレームからの予測を用いる双方向予測フレームもしくは予測を用いないフレームのいずれかを選択する予測選択手段とを備え、
予測選択手段は、予測モード制御手段からの予測モードに基づいていずれかのフレームを選択することを特徴とする動画記録装置。
【請求項１１】
動き補償フレーム間予測を用いて動画の符号化を行う動画符号化方法において、
該動画を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化処理と、
該動画を第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化処理と、
該第１の符号化処理の予測モードと該第２の符号化処理の予測モードとが一致するように制御する予測モード制御処理と、
該第１の符号化処理で用いる第１の動き補償ベクトルから該第２の符号化処理で用いる動き補償ベクトルを算出する動きベクトル算出処理と、
からなることを特徴とする動画符号化方法。
【請求項１２】
動き補償フレーム間予測を用いて動画の符号化を行う動画符号化方法において、
該動画を、少なくとも動き補償およびＤＣＴ変換することにより、第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化処理と、
該第１の符号化処理における、該動き補償後のデータまたはＤＣＴ変換後のデータを抜き出し、第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化処理と、
該第１の符号化処理の予測モードと該第２の符号化処理の予測モードとが一致するように制御する予測モード制御処理と、
該第１の符号化処理で用いる第１の動き補償ベクトルから該第２の符号化処理で用いる動き補償ベクトルを算出する動きベクトル算出処理と、
からなることを特徴とする動画符号化方法。
【請求項１３】
動き補償フレーム間予測を用いて動画の符号化を行う動画符号化方法において、
入力動画像を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化処理と、
第１の符号化処理における符号化処理中の画像データを抜き出して、第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化処理と、
第１の符号化処理の予測モードが第２の符号化処理の予測モードと一致するように第１の符号化処理の予測モードを制御する予測モード制御処理と、
第２の符号化処理の予測に用いる動き補償ベクトルを第１の符号化処理の予測に用いる動き補償ベクトルから算出する動きベクトル算出処理と、
からなることを特徴とする動画符号化方法。
【請求項１４】
動き補償フレーム間予測を用いて動画の符号化を行って記録媒体に記録し、また上記により記録された符号化データを記録媒体から再生して復号する動画記録再生方法において、
入力動画を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化処理と、
第１の符号化処理で符号化された符号化データを復号する復号処理と、
復号処理で復号されたフレームから抜き出した所定のフレームを第１のフレームレートより小さい第２のフレームレートかつ第１の画像サイズより小さい第２の画像サイズで再符号化する再符号化処理と、
第１の符号化処理の予測モードが再符号化処理の予測モードと一致するように第１の符号化処理の予測モードを制御する予測モード制御処理と、
再符号化処理の予測に用いる動き補償ベクトルを復号処理により復号された動き補償ベクトルから算出する動きベクトル算出処理と、
からなることを特徴とする動画記録再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償フレーム間予測を用いて動画の符号化を行う動画符号化装置、または符号化されたデータを記録および再生する動画記録再生装置に関する。
【背景技術】
【０００２】
ＭＰＥＧ−２で符号化されたデータをＭＰＥＧ−４など、異なるフレームレートおよび画像サイズの符号化データに変換する技術は、IEEE TRANSACTIONS ON MULTIMEDIA,Vol.2,No.2,JUNE2000,１０１〜１１０頁に紹介されている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術は、ＭＰＥＧ−２を一旦デコードしてからＭＰＥＧ−４でエンコードするといった方式を採っており、演算処理量が多くなり、実用に供した場合、回路規模が増大する、あるいは、回路の消費電力が増大するという問題があった。
【０００４】
上記従来技術には、フレームレートおよび画像サイズの異なる符号化データに変換することが開示されるが、演算量を減らし、小さな回路規模あるいは少ない消費電力で変換を可能にすることが示されていない。また、フレームレートおよび画像サイズの異なる符号化データを同時に生成することについても示されていない。
【０００５】
本発明の目的は、少ない演算量、すなわち小さな回路規模あるいは少ない消費電力でフレームレートおよび画像サイズの異なる符号化データを同時変換、または同時生成する動画符号化装置または動画記録再生装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の動画符号化装置は、動画符号化装置において、該動画を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、該動画を第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化手段と、該第１の符号化手段の予測モードと該第２の符号化手段の予測モードとが一致するように制御する予測モード制御手段と、該第１の符号化手段で用いる第１の動き補償ベクトルから該第２の符号化手段で用いる動き補償ベクトルを算出する動きベクトル算出手段と、を備えて動き補償フレーム間予測を用いて動画の符号化を行う。
【発明の効果】
【０００７】
本発明によれば、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができ、また、高精細符号化データから低精細符号化データへ変換することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明にかかる動画符号化装置の実施の形態を、図面を用いて説明する。図１は、本発明による動画符号化装置の構成の概要を説明するブロック図である。図２は、図１におけるＭＰＥＧ−２とＭＰＥＧ−４の重複部分を共有する構成に改良した動画符号化装置の構成の概要を説明するブロック図である。図３は、本発明による動画符号化装置により同時に生成されるフレームレートおよび画像サイズの異なる符号化データを示した概念図である。
【０００９】
図１に示した動画符号化装置の構成を説明する。動画符号化装置１は、ベクトル探索回路１１と、フレームメモリ１２−１と、順方向予測回路１３−１と、双方向予測回路１４−１と、予測選択回路１５−１と、予測モード制御回路１６と、フレーム内符号化回路１７−１と、局所復号回路１８−１とからなる第１の符号化部（ＭＰＥＧ−２）と、ベクトル算出回路２１と、フレームメモリ１２−２と、順方向予測回路１３−２と、双方向予測回路１４−２と、予測選択回路１５−２と、予測モード制御回路１６と、フレーム内符号化回路１７−２と、局所復号回路１８−２と、サイズ変換回路２５とからなる第２の符号化部（ＭＰＥＧ−４）と、動画入力端子Ｔ１と、高精細符号化データ（ＭＰＥＧ−２）出力端子Ｔ２と、低精細符号化データ（ＭＰＥＧ−４）出力端子Ｔ３とを有して構成される。予測モード制御回路１６は、第１の符号化部と、第２の符号化部に共通して用いられる。
【００１０】
ベクトル探索回路１１は、動画入力端子Ｔ１に入来する動画データＦと、フレームメモリ１２−１内に蓄えられた過去または未来の参照フレームＦｒとの間でブロックマッチングを行うことにより、順方向または双方向の動き補償ベクトルを求める手段である。
【００１１】
フレームメモリ１２−１は、過去または未来の参照フレームＦｒを蓄積する手段である。
【００１２】
順方向予測回路１３−１は、動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して順方向の予測を行い、差分データΔｐを作成する手段である。
【００１３】
双方向予測回路１４−１は、ベクトル探索回路１１が求めた動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して双方向の予測を行い、差分データΔＢを作成する手段である。
【００１４】
予測選択回路１５−１は、予測モード制御回路１６の指示に基づき、入来する動画データＦそのものと、順方向予測した差分データΔＰと、双方向予測した差分データΔＢの中から１つのデータを選択する手段である。
【００１５】
予測モード制御回路１６は、第１の符号化部の符号化予測モードが第２の符号化部の符号化予測モードと一致するように予測選択回路１５−１の予測モードを制御する手段である。
【００１６】
フレーム内符号化回路１７−１は、予測選択回路１５−１で選択されたデータをＤＣＴ（Discrete Fourier Transform：離散コサイン変換）などの画面内相関を利用した圧縮方式で符号化して高精細符号化データ（ＭＰＥＧ−２）を出力する手段である。
【００１７】
局所復号回路１８−１は、符号化データ中のＩフレームまたはＰフレームを復号して、次の予測に用いる参照フレームＦｒを作成する手段である。
【００１８】
フレームメモリ１２−２は、過去または未来の参照フレームＦｒ´を蓄積する手段である。
【００１９】
順方向予測回路１３−２は、ベクトル算出回路２１が算出した動き補償ベクトルに基づき、サイズ変換回路２５の出力Ｆ´と参照フレームＦｒ´との間の動きを補償して順方向の予測を行い、差分データΔｐ´を作成する手段である。
【００２０】
双方向予測回路１４−２は、ベクトル算出回路２１算出した動き補償ベクトルに基づき、サイズ変換回路埜出力Ｆ´と参照フレームＦｒ´との間の動きを補償して双方向の予測を行い、差分データΔＢ´を作成する手段である。
【００２１】
予測選択回路１５−２は、予測モード制御回路１６の指示に基づき、入来する動画データＦ´そのものと、順方向予測した差分データΔＰ´と、双方向予測した差分データΔＢ´の中から１つのデータを選択する手段である。
【００２２】
予測モード制御回路１６は、第１の符号化部の符号化予測モードが第２の符号化部の符号化予測モードと一致するように予測選択回路１５−２の予測モードを制御する手段である。
【００２３】
フレーム内符号化回路１７−２は、予測選択回路１５−２で選択されたデータをＤＣＴなどの画面内相関を利用した圧縮方式で符号化して低精細符号化データ（ＭＰＥＧ−４）を出力する手段である。
【００２４】
局所復号回路１８−２は、符号化データ中のＩフレームまたはＰフレームを復号して、次の予測に用いる参照フレームＦｒ´を作成する手段である。
【００２５】
ベクトル算出回路２１は、ベクトル探索回路１１が求めた順方向予測用の動き補償ベクトルを用いて、第２の符号化手段における変換後の動き補償ベクトルを算出する手段である。
【００２６】
サイズ変換回路２５は、動画入力端子Ｔ１から入来した動画データＦのサイズをＭＰＥＧ−４に適したサイズに縮小する手段である。
【００２７】
動画入力端子Ｔ１は、動画データＦが入力される端子である。
【００２８】
高精細符号化データ出力端子Ｔ２は、フレーム内符号化回路１７−１が変換した高精細符号化データ（ＭＰＥＧ−２）を出力する手段である。
【００２９】
低精細符号化データ出力端子Ｔ３は、フレーム内符号化回路１７−２が変換した低精細符号化データ（ＭＰＥＧ−４）を出力する手段である。
【００３０】
第１の符号化手段がＭＰＥＧ−２のエンコーダを構成し、第２の符号化手段がＭＰＥＧ−４のエンコーダを構成する。ＭＰＥＧ−４のエンコーダには、サイズ変換回路が設けられている。この実施例では、両者の予測モードを一致するように予測モードを制御している点、ＭＰＥＧ−２で探索した動きベクトルからＭＰＥＧ―４の動きベクトルを算出する点に特徴を有している。
【００３１】
第１の符号化部と第２の符号化部における予測モードを一致させることで、ＭＰＥＧ−２で探索した動きベクトルをＭＰＥＧ−４のエンコードで使用することができるようになる。これにより、ＭＰＥＧ−４のエンコードで再度動き探索する必要がないので、演算量を大幅に減少させることができるという効果を奏することができる。
【００３２】
上記動画符号化回路１における第１の符号化部および第２の符号化部に共通する回路を共用する構成とした図２に示した動画符号化装置の構成および動作を説明する。動画符号化装置１は、ベクトル探索回路１１と、フレームメモリ１２と、順方向予測回路１３と、双方向予測回路１４と、予測選択回路１５と、予測モード制御回路１６と、フレーム内符号化回路１７と、局所復号回路１８と、フレーム抜き出し回路１９と、符号化変換回路２０と、ベクトル算出回路２１と、動画入力端子Ｔ１と、高精細符号化データ（ＭＰＥＧ−２）出力端子Ｔ２と、低精細符号化データ（ＭＰＥＧ−４）出力端子Ｔ３とを有して構成される。
【００３３】
ベクトル探索回路１１は、動画入力端子Ｔ１に入来する動画データＦと、フレームメモリ１２内に蓄えられた過去または未来の参照フレームＦｒとの間でブロックマッチングを行うことにより、順方向または双方向の動き補償ベクトルを求める手段である。
【００３４】
フレームメモリ１２は、過去または未来の参照フレームＦｒを蓄積する手段である。
【００３５】
順方向予測回路１３は、動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して順方向の予測を行い、差分データΔｐを作成する手段である。
【００３６】
双方向予測回路１４は、ベクトル探索回路１１が求めた動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して双方向の予測を行い、差分データΔＢを作成する手段である。
【００３７】
予測選択回路１５は、予測モード制御回路１６の指示に基づき、入来する動画データＦそのものと、順方向予測した差分データΔＰと、双方向予測した差分データΔＢの中から１つのデータを選択する手段である。すなわち、予測選択回路１５は、動き補償後の画像データを出力する手段である。
【００３８】
予測モード制御回路１６は、第１の符号化手段の予測モードが第２の符号化手段の予測モードと一致するように予測選択回路１５とフレーム抜き出し回路１９の予測モードを制御する手段である。
【００３９】
フレーム内符号化回路１７は、予測選択回路１５で選択されたデータをＤＣＴ（Discrete Fourier Transform：離散コサイン変換）などの画面内相関を利用した圧縮方式で符号化して符号化データ（ＭＰＥＧ−２）を出力する手段である。
【００４０】
局所復号回路１８は、符号化データ中のＩフレームまたはＰフレームを復号して、次の予測に用いる参照フレームＦｒを作成する手段である。
【００４１】
フレーム抜き出し回路１９は、予測モード制御回路１６からの制御信号を用いて、図３の下段に示すように、符号化中の高精細符号化データの中からＩフレームおよびＰフレームの画像データもしくはＤＣＴ係数データを抜き出す手段である。
【００４２】
符号化変換回路２０は、ＩフレームおよびＰフレームの符号化データを、ベクトル算出回路２１が算出した動き補償ベクトルを用いて画像サイズの小さい符号化データに変換する、すなわち解像度を変換する手段である。すなわち、符号化変換回路２０は、動き補償後の画像データを解像度変換してＤＣＴなどの画面内相関を利用した圧縮方式で符号化する手法と、ＤＣＴ変換した後の係数データを直接解像度変換後の係数データに変換して符号化する手法がある。
【００４３】
ベクトル算出回路２１は、ベクトル探索回路１１が求めた順方向予測用の動き補償ベクトルを用いて、符号化変換回路２０における変換後の動き補償ベクトルを算出する手段である。
【００４４】
動画入力端子Ｔ１は、動画データＦが入力される端子である。
【００４５】
高精細符号化データ出力端子Ｔ２は、フレーム内符号化回路１７が変換した高精細符号化データ（ＭＰＥＧ−２）を出力する手段である。
【００４６】
低精細符号化データ出力端子Ｔ３は、符号化変換回路２０が変換した低精細符号化データ（ＭＰＥＧ−４）を出力する手段である。
【００４７】
以下、この発明にかかる動画符号化装置１の働きを説明する。ベクトル探索回路１１は、動画入力端子Ｔ１に入来する動画データＦとフレームメモリ１２内に蓄えられた過去または未来の参照フレームＦｒとの間でブロックマッチングを行うことにより、順方向または双方向の動き補償ベクトルを求め、順方向予測回路１３および双方向予測回路１４へ送出する。
【００４８】
順方向予測回路１３は、動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して順方向の予測を行い、差分データΔＰを作成する。双方向予測回路１４は、動き補償ベクトルに基づき入来した動画データＦと参照フレームＦｒとの間の動きを補償して双方向の予測を行い、差分データΔＢを作成する。
【００４９】
予測選択回路１５は、予測モード制御回路１６の指示に基づき、入来する動画データＦそのものと、順方向予測した差分ΔＰと、双方向予測した差分ΔＢの中から１つを選択してフレーム内符号化回路１７へ送る。フレーム内符号化回路１７は、選択されたデータをＤＣＴなどの画面内相関を利用した圧縮方式で高精細符号化した符号化データ（ＭＰＥＧ−２）を、高精細符号化データ出力端子Ｔ２へ出力する。
【００５０】
ここで、本発明における符号化予測モード（予測モード）の制御とは、符号化する各フレームをＩ／Ｐ／Ｂフレームのうちのいずれを選択するかを制御するフレームタイプの選択制御と、マクロブロックごとにイントラ／インターのいずれを選択するかを制御するマクロブロックモードの選択制御の、両者を含んでいる。また、本発明においては、入力端子Ｔ１から予測選択回路１５までの処理を動き補償という。
【００５１】
符号化予測モードの制御は、図３の中段に示すようなパターンになるように制御を行う。図３中の１枚の四角は動画の１フレームを表しており、横軸は時刻をイメージしている。Ｉで示したフレームは入来する動画データそのものを符号化したＩフレームを表し、Ｐで示したフレームは順方向予測を行って符号化したＰフレームを表し、Ｂで示したフレームは双方向予測を行って符号化したＢフレームを表す。図３を用いて、ＭＰＥＧ−２およびＭＰＥＧ−４による符号化処理の概念の例を説明する。図３において、上段は、入力画像のフレームを示し、添え字がフレーム番号を示している。中段は、ＭＰＥＧ−２における符号化処理後の画像データを示し、添え字が対応するフレームの番号を示している。下段は、ＭＰＥＧ―４における符号化処理後の画像データを示し、添え字が対応するフレームの番号を示している。画像入力端子Ｔ１に入力される入力画像Ｆ０〜Ｆ１１は、事前に中段に示すフレーム番号順、すなわちＦ２、Ｆ０、Ｆ１、Ｆ５、Ｆ３，Ｆ４，Ｆ８，Ｆ６，Ｆ７，Ｆ１１，Ｆ９，Ｆ１０の順に並べ替えられて入力されているものとする。
【００５２】
(1)Ｉ２フレームは、フレームＦ２のみを用いて符号化される。(2)Ｂ０フレームは、フレームＦ０とＩ２フレームを復号した参照フレーム（以下、参照フレームを波線で示す）Ｆｒ２を用いて符号化される。(3)Ｂ１フレームは、フレームＦ１とＩ２フレームを復号した参照フレームＦｒ２を用いて符号化される。(4)Ｐ５フレームは、フレームＦ５とＩ２フレームを復号した参照フレームＦｒ２を用いて符号化される。(5)Ｂ３フレームは、フレームＦ３とＩ２フレームおよびＰ５フレームを復号した参照フレームＦｒ２、Ｆｒ５を用いて符号化される。(6)Ｂ４フレームは、フレームＦ４とＩ２フレームおよびＰ５フレームを復号した参照フレームＦｒ２、Ｆｒ５を用いて符号化される。(7)Ｐ８フレームは、フレームＦ８とＰ５フレームを復号した参照フレームＦｒ５を用いて符号化される。(8)Ｂ６フレームは、フレームＦ６とＰ５フレームおよびＰ８フレームを復号した参照フレームＦｒ５、Ｆｒ８を用いて符号化される。(9)Ｂ７フレームは、フレームＦ７とＰ５フレームおよびＰ８フレームを復号した参照フレームＦｒ５、Ｆｒ８を用いて符号化される。(10)Ｐ１１フレームは、フレームＦ１１とＰ８フレームを復号した参照フレームＦｒ８を用いて符号化される。(11)Ｂ９フレームは、フレームＦ９とＰ８フレームおよびＰ１１フレームを復号した参照フレームＦｒ８、Ｆｒ１１を用いて符号化される。(12)Ｂ１０フレームはフレームＦ１１とＰ８フレームおよびＰ１１フレームを復号した参照フレームＦｒ８、Ｆｒ１１を用いて符号化される。以下同様に、順方向予測および双方向予測を行なって符号化を実行する。
【００５３】
局所復号回路１８は、符号化中のＩフレームおよびＰフレームを復号して、次の予測に用いる参照フレームＦｒとしてフレームメモリ１２に蓄える。
【００５４】
次に、低精細符号化の動作について説明する。フレーム抜き出し回路１９は、予測モード制御回路１６からの制御信号を用いて、図３の下段に示すように、符号化中の高精細符号化データの中からＩフレームおよびＰフレームのデータを抜き出し、符号化変換回路２０へ送る。
【００５５】
符号化変換回路２０は、ＩフレームおよびＰフレームの符号化データを画像サイズの小さい符号化データ（ＭＰＥＧ−４）に変換して低精細符号化データ出力端子Ｔ３から出力する。この時、変換後の動き補償ベクトルは、ベクトル探索回路１１が求めた順方向予測用の動き補償ベクトルを用いてベクトル算出回路２１が算出する。
【００５６】
以上により、高精細符号化と低精細符号化の予測モードを合わせることによって低精細符号化用のベクトル探索を行わずに済むので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００５７】
次に、予測選択回路１５におけるマクロブロックモードの制御について、予測選択回路１５の中の詳細ブロック図である図４を用いて説明する。予測選択回路１５は、フレームモード選択回路１５１と、イントラ／インター判定回路１５２と、マクロブロックモード選択回路１５３を有している。
【００５８】
フレームモード選択回路１５１は、選択するフレームがＩ／Ｐ／Ｂのいずれであるかに応じて入力データＦ、ΔＰ、ΔＢｍのいずれかを選択する。選択するフレームがＩフレームの場合は、入力データＦを選択する。選択するフレームがＰフレームの場合は、順方向予測による差分ΔＰを選択する。
【００５９】
Ｂフレームの場合には、イントラ／インター判定回路１５２が、符号化単位であるマクロブロック毎に入来する動画データＦそのものと双方向予測差分ΔＢのどちらを符号化した方が効率的か判定する。判定結果に基づいてマクロブロック毎に効率的な方をマクロブロックモード選択回路１５３が選択してマクロブロック単位に選択した差分データΔＢｍを出力する。Ｐフレームについてはこのマクロブロック毎の判定は行わない。
【００６０】
図５を用いて、各フレームにおける符号化変換前後のマクロブロックのイントラ（動画データそのものを符号化）／インター（予測差分を符号化）の様子の例を説明する。図５の例は、画像サイズを縦横４分の１サイズの符号化データに変換する場合を示しており、それぞれのブロックがマクロブロックを示している。Ｉフレームにおいては、イントラマクロブロックを得、全てのマクロブロックがイントラマクロブロックとなるＩフレームを得ている。Ｐフレームにおいては、インターマクロブロックを得、全てのマクロブロックがインターマクロブロックとなるＰフレームを得ている。Ｂフレームにおいては、イントラマクロブロックとインターマクロブロックが混在しているが、符号化変換を行わないので問題はない。このように、符号化変換する複数のマクロブロックのモードを同一にでき、予測のやり直しによるイントラ／インター変換を行う必要がないので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００６１】
ところで、Ｐフレームのマクロブロックモードをインターだけで行うと、シーンチェンジなどの急激な画像変動が起きた時に、符号化効率が落ちて画質が劣化してしまう懸念がある。
【００６２】
次に、これに対策を講じた実施の形態を、図６のブロック図を用いて説明する。図示しない部分は図２に示した実施例と同じ構成である。この実施例では、フレーム内符号化回路１７の出力を監視して画像の劣化を検出する画質劣化検出回路２２を追加するとともに、予測選択回路１５を、フレームモード選択回路１５１と、イントラ／インター判定回路１５２と、マクロブロックモード選択回路１５３と、フレーム単位マクロブロックモード選択回路１５４とから構成している。
【００６３】
画質劣化検出回路２２は、画質と相関の高い量子化の粗さなどの情報をフレーム内符号化回路１７から受け取り、これを監視することによって、シーンチェンジなどによりＰフレームの画質が劣化したことを検出し、次のＰフレームでフレーム単位マクロブロックモード選択回路１５４へ指令を出す。
【００６４】
フレーム単位マクロブロックモード選択回路１５４は、指令を受けたフレームの間は順方向予測された差分データΔＰの代わりに入来する動画データＦそのものを選択する（イントラ）。これにより、シーンチェンジで画質が劣化しても、次のＰフレームでイントラとなって効率が改善するので、画質が回復する。
【００６５】
本実施の形態による符号化変換前後におけるＰフレームのイントラ／インターマクロブロックを選択する様子を図７に示す。画質劣化直後のＰフレームでは、フレーム単位マクロブロックモード選択回路１５４は、順方向予測回路１３からの差分ΔＰであるインターマクロブロックを選択せず入力画像Ｆのイントラマクロブロックを選択してイントラマクロブロックに符号化する。その他のＰフレームでは、差分ΔＰのインターマクロブロックを選択してインタマークロブロックに符号化する。この実施例においても、符号化変換する複数のマクロブロックのモードを同一にでき、予測のやり直しによるイントラ／インター変換を行う必要がないので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００６６】
次に、ベクトル探索回路１１と符号化変換回路２０においてさらに演算量を削減する実施例について図８を用いて説明する。図８は本実施例にかかる低精細符号化処理部分の概要を説明するブロック図である。図示しない部分は図２に示した実施例と同じ構成である。この実施例では、差分値無効化回路２３とベクトル比較回路２４を追加するとともに、ベクトル算出回路２１を、ベクトル選択回路２１１と、ベクトルスケーリング１４２とから構成した。ベクトル算出回路２１の中では、ベクトル探索回路１１から送られてくる複数のベクトルの中からベクトル選択回路２１１が最適なベクトルを選択し、それを、ベクトルスケーリング回路２１２が符号化変換後の画像サイズに合うようにスケール変換する。
【００６７】
ベクトル比較回路２４は、複数のベクトルと選択されたベクトルを比較し、差が大きい時には差分値無効化回路２３に指令を出す。指令を受けた差分値無効化回路２３は、当該ベクトルに対応する差分値成分を０に置きかえる。この置き換えの様子を図９に示す。ベクトル選択回路２１１は、フレーム内のブロックのベクトルを監視して最も多いベクトルを選択する。ベクトルスケーリング回路２１２は、選択されたベクトルを用いてベクトルをスケーリングする。ベクトル比較回路２４は、ベクトル探索回路１１からの動き補償ベクトルがベクトル選択回路２１１で選択したベクトルと異なるときには、差分値無効化回路２３へ指令を出して、差分値を０に置換える。この画像を符号化変換回路２０で縮小することによって、結果的に０で置き換えた部分の変換後の画像は、周りの部分と同じベクトルで動き補償された参照画像データで埋められる。
【００６８】
したがって、原画と比べて画像のずれが出るものの、差分の食い違いによる大きなノイズのような劣化は出ない。これにより、ベクトルが食い違う部分についても、動き補償予測のやり直しを行わなくて良いので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【００６９】
図１０のブロック図を用いて、本発明の第２の実施の形態にかかる動画記録再生装置の構成の概要およびその動作を説明する。この動画記録再生装置は、入力された動画像を高精細符号化データ(ＭＰＥＧ-２)として記録し、再生時には、ＭＰＥＧ-２再生画像と、低精細符号化データ（ＭＰＥＧ‐４）の双方を出力することができる装置として構成される。ベクトル探索回路１１から局所復号回路１８で構成される記録装置の構成は、図２に示した実施例と同じであり、動作も同じであるので説明を省略する。高精細符号化データは、記録回路１００を介して図示を省略した記録媒体に記録される。
【００７０】
再生装置は、再生回路１０１と、フレームメモリ５２と、順方向予測回路５３と、双方向予測回路５４と、予測選択回路５５と、予測モード検出回路５６と、フレーム内復号回路５７と、フレーム抜き出し回路１９と、符号化変換回路２０と、ベクトル算出回路２１と、低精細符号化データ出力端子Ｔ３と、動画データ出力端子Ｔ４とを有して構成される。
【００７１】
再生回路１０１は、図示を省略した記録媒体から高精細符号化(ＭＰＥＧ−２)データを再生する手段である。
【００７２】
フレームメモリ５２は、予測選択回路５５が選択したデータ(Ｉ／Ｐ／Ｂフレーム)を、次の参照フレームＦｒとして蓄える手段である。
【００７３】
順方向予測回路５３は、フレーム内復号回路５７が複合したデータに含まれる動き補償ベクトルに基づき参照フレームＦｒからの動きを補償して順方向の予測を行い、差分値ΔＰと加算してオリジナルのデータ(Ｐフレーム)を復元する手段である。
【００７４】
双方向予測回路５４は、フレーム内復号回路５７が復号した動き補償ベクトルに基づき参照フレームＦｒからの動きを補償して双方向の予測を行い、差分値ΔＢと加算してオリジナルのデータ(Ｂフレーム)を復元する手段である。
【００７５】
予測選択回路５５は、Ｉ／Ｐ／Ｂの情報に基づき、復号された動画データ(Ｉフレーム)そのものと、順方向予測で復元されたデータ(Ｐフレーム)と、双方向予測で復元されたデータ(Ｂフレーム)の中から１つを選択する手段である。
【００７６】
予測モード検出回路５６は、フレーム内復号回路５７が復号した予測モード情報に基づいてＩ／Ｐ／Ｂの情報を検出する手段である。
【００７７】
フレーム内復号回路５７は、再生回路１０１が再生した高精細符号化データをを復号して動画データ(Ｉフレーム)そのものまたは予測差分値ΔＰ、ΔＢを生成する手段である。フレーム内復号回路５７は、Ｉ／Ｐ／Ｂの予測モード情報および動き補償ベクトルの値も合わせて復号する。
【００７８】
フレーム抜き出し回路１９は、予測モード検出回路５６からの制御信号を用いて、図１１の下段に示すように、復号中の高精細符号化データの中からＩフレームおよびＰフレームのデータを抜き出す手段である。
【００７９】
符号化変換回路２０は、ＩフレームおよびＰフレームの符号化データを画像サイズの小さい低精細符号化データ(ＭＰＥＧ‐４)に変換する手段である。
【００８０】
ベクトル算出回路２１は、順方向予測用の動き補償ベクトルを用いて変換後の動き補償ベクトルを算出する手段である。
【００８１】
低精細符号化データ出力端子Ｔ３は、低精細符号化(ＭＰＥＧ‐４)データを出力する。
【００８２】
動画データ出力端子Ｔ４は、予測選択回路５５が選択したデータ(Ｉ／Ｐ／Ｂフレーム)を出力する端子である。
【００８３】
次に再生の動作を説明する。フレーム内復号回路５７は、再生回路１０１が記録媒体から再生した高精細符号化(ＭＰＥＧ−２)データを復号して、動画データ（Ｉフレーム）そのものまたは予測差分値ΔＰ、ΔＢを生成する。この時、フレーム内復号回路５７は、Ｉ／Ｐ／Ｂの予測モード情報および動き補償ベクトルの値も合わせて復号する。
【００８４】
順方向予測回路５３は、動き補償ベクトルに基づき参照フレームＦｒからの動きを補償して順方向の予測を行い、差分値ΔＰと加算してオリジナルのデータ(Ｐフレーム)を復元する。双方向予測回路５４は、動き補償ベクトルに基づき参照フレームＦｒからの動きを補償して双方向の予測を行い、差分値ΔＢと加算してオリジナルのデータ(Ｂフレーム)を復元する。
【００８５】
予測選択回路５５は、予測モード検出回路５６が検出したＩ／Ｐ／Ｂの情報に基づき、復号された動画データ(Ｉフレーム)そのものと、順方向予測で復元されたデータ(Ｐフレーム)と、双方向予測で復元されたデータ(Ｂフレーム)の中から１つを選択する。選択されたデータは動画データ出力端子Ｔ４から出力されるとともに、次の参照フレームとしてフレームメモリ５２に蓄えられる。
【００８６】
次に、低精細符号化データへの変換を、図１１を用いて説明する。図１１は、本発明による動画記録再生装置により変換されるフレームレートおよび画像サイズの異なる符号化データを示した概念図である。フレーム抜き出し回路１９は、予測モード検出回路５６からの制御信号を用いて、図１１の下段に示すように、復号中の高精細符号化データの中からＩフレームおよびＰフレームのデータを抜き出し、符号化変換回路２０へ送る。符号化変換回路２０は、ＩフレームおよびＰフレームの符号化データを、ベクトル算出回路２１からの変換後の動き補償ベクトルを用いて画像サイズの小さい符号化データ(ＭＰＥＧ‐４)に変換して低精細符号化データ出力端子Ｔ３から出力する。この時、変換後の動き補償ベクトルは、順方向予測用の動き補償ベクトルを用いてベクトル算出回路２１が算出する。
【００８７】
以上により、高精細符号化と低精細符号化の予測モードを合わせることによって低精細符号化用のベクトル探索を行わずに済むので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データから低精細符号化データへ変換することができる。
【００８８】
次に、図１０に示した再生装置側の予測選択回路５５の中の詳細ブロック図である図１２を用いて、再生時におけるマクロブロックモードの制御について説明する。予測選択回路５５は、フレーモード選択回路５５１と、マクロブロックモード選択回路５５２と、マクロブロックモード選択回路５５３とを有して構成される。
【００８９】
フレームモード選択回路５５１は、Ｉ／Ｐ／Ｂに応じてデータを選択する手段である。
【００９０】
マクロブロックモード選択回路５５２、５５３は、フレーム内復号回路５７が復号したＩフレーム情報と順方向予測データΔＰまたは双方向予測データΔＢを、マクロブロック毎の属性情報であるイントラ／インターの情報に基づいて選択する。マクロブロックモード選択回路５５２から出力されるデータをＰｍで表わし、マクロブロックモード選択回路５５３から出力されるデータをＢｍで表わしている。
【００９１】
フレームモード選択回路５５１は、Ｉ／Ｐ／Ｂに応じてデータを選択する。マクロブロック毎のイントラ／インターの情報は、フレーム内復号回路５７が復号し、マクロブロックモード選択回路５５２、５５３がその情報に基づいて選択する。
【００９２】
記録装置側の予測選択回路１５の詳細ブロック図は、図４と同じである。結果、復号されるマクロブロックのイントラ／インターの様子も図５のようになる。このように、符号化変換する複数のマクロブロックのモードが同一にでき、予測のやり直しによるイントラ／インター変換を行う必要がないので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データから低精細符号化データへ変換することができる。
【００９３】
図１０において、記録装置側予測選択回路１５の部分の回路を図６に示した予測選択回路１５のブロック図のように変えても良い。こうすると、符号化装置の場合と同様に、シーンチェンジで画質が劣化しても、次のＰフレームでイントラとなって効率が改善するので、画質が回復する。その場合、Ｐフレームにおけるマクロブロックのイントラ／インターの選択の様子は、図７に示したようになる。この実施例においても、符号化変換する複数のマクロブロックのモードが同一にでき、予測のやり直しによるイントラ／インター変換を行う必要がないので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データから低精細符号化データへ変換することができる。
【００９４】
次に、ベクトル探索回路１１と符号化変換回路２０においてさらに演算量を削減する実施例について図１３を用いて説明する。図１３において、図示しない部分は図１０に示した実施例と同じ構成である。符号化装置の場合と同様に差分値無効化回路２３とベクトル比較回路２４を追加する。ベクトル算出回路２１の中では、順方向予測回路５３からの複数のベクトルの中からベクトル選択回路２１１が最適なベクトルを選択し、それをベクトルスケーリング回路２１２が符号化変換後の画像サイズに合うようにスケール変換する。
【００９５】
ベクトル比較回路２４は、複数のベクトルと選択されたベクトルを比較し、差が大きい時には差分値無効化回路２３に指令を出す。指令を受けた差分値無効化回路２３は、当該ベクトルに対応する差分値成分を０に置きかえる。この置き換えの様子は図９に示したようになる。
【００９６】
結果的に０で置き換えた部分の変換後の画像は、周りの部分と同じベクトルで動き補償された参照画像データで埋められる。したがって、原画と比べて画像のずれが出るものの、差分の食い違いによる大きなノイズのような劣化は出ない。これにより、ベクトルが食い違う部分についても、動き補償予測のやり直しを行わなくて良いので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。
【図面の簡単な説明】
【００９７】
【図１】本発明に係る動画符号化装置の一実施形態を示すブロック図。
【図２】図１におけるＭＰＥＧ−２とＭＰＥＧ−４の重複部分を共有する構成に改良した動画符号化装置の一実施形態を示すブロック図。
【図３】本発明に係る動画符号化装置により同時に生成されるフレームレートおよび画像サイズの異なる符号化データを示した概念図。
【図４】本発明に係る動画符号化装置の予測選択部分の詳細ブロック図。
【図５】図４の実施例の符号化変換前後のマクロブロックのイントラ／インターの様子の例を示した図。
【図６】本発明に係る動画符号化装置の第２の実施形態の予測選択部分の詳細ブロック図。
【図７】図６の実施例の符号化変換前後のマクロブロックのイントラ／インターの様子の例を示した図。
【図８】本発明に係る動画符号化装置の第３の実施形態の符号変換部分の詳細ブロック図。
【図９】図８の実施例のベクトル変換と差分値置き換えの様子の例を示した図。
【図１０】本発明に係る動画記録再生装置の一実施形態を示すブロック図。
【図１１】本発明に係る動画記録再生装置により変換されるフレームレートおよび画像サイズの異なる符号化データを示した概念図。
【図１２】本発明に係る動画記録再生装置の再生側予測選択部分の詳細ブロック図。
【図１３】本発明に係る動画記録再生装置の別実施形態の符号変換部分の詳細ブロック図。
【符号の説明】
【００９８】
１１  ベクトル探索回路
１２  フレームメモリ
１３  順方向予測回路
１４  双方向予測回路
１５  予測選択回路
１５１  フレームモード選択回路
１５２  イントラ／インター判定回路
１５３  マクロブロックモード選択回路
１５４  フレーム単位マクロブロックモード選択回路
１６  予測モード制御回路
１７  フレーム内符号化回路
１８  局所復号回路
１９  フレーム抜き出し回路
２０  符号化変換回路
２１  ベクトル算出回路
２１１  ベクトル選択回路
２１２  ベクトルスケーリング回路
２２  画質劣化検出回路
２３  差分値無効化回路
２４  ベクトル比較回路
２５  サイズ変換回路
５２  フレームメモリ
５３  順方向予測回路
５４  双方向予測回路
５５  予測選択回路
５５１  フレームモード選択回路
５５２、５５３  マクロブロックモード選択回路
５６  予測モード検出回路
５７  フレーム内復号回路
１００  記録回路
１０１  再生回路
Ｔ１  動画データ入力端子
Ｔ２  高精細符号化データ出力端子
Ｔ３  低精細符号化データ出力端子
Ｔ４  動画データ出力端子
【図１】
2008061270.tif 000003
【図２】
2008061270.tif 000004
【図３】
2008061270.tif 000005
【図４】
2008061270.tif 000006
【図５】
2008061270.tif 000007
【図６】
2008061270.tif 000008
【図７】
2008061270.tif 000009
【図８】
2008061270.tif 000010
【図９】
2008061270.tif 000011
【図１０】
2008061270.tif 000012
【図１１】
2008061270.tif 000013
【図１２】
2008061270.tif 000014
【図１３】
2008061270.tif 000015
【手続補正書】
【提出日】平成19年10月30日(2007.10.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動き補償フレーム間予測を用いて動画の符号化を行う動画符号化装置において、
該動画を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、
該動画を第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化手段と、
該第１の符号化手段の予測モードと該第２の符号化手段の予測モードとが一致するように制御する予測モード制御手段と、
該第１の符号化手段で用いる第１の動き補償ベクトルから該第２の符号化手段で用いる動き補償ベクトルを算出する動きベクトル算出手段と、
を備えることを特徴とする動画符号化装置。
【請求項２】
動き補償フレーム間予測を用いて動画の符号化を行う動画符号化装置において、
該動画を、少なくとも動き補償およびＤＣＴ変換することにより、第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、
該第１の符号化手段における、該動き補償後のデータまたはＤＣＴ変換後のデータを抜き出し、第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化手段と、
該第１の符号化手段の予測モードと該第２の符号化手段の予測モードとが一致するように制御する予測モード制御手段と、
該第１の符号化手段で用いる第１の動き補償ベクトルから該第２の符号化手段で用いる動き補償ベクトルを算出する動きベクトル算出手段と、
を備えることを特徴とする動画符号化装置。
【請求項３】
動き補償フレーム間予測を用いて動画の符号化を行う動画符号化装置において、
入力動画像を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、
第１の符号化手段における符号化処理中の画像データを抜き出して、第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化手段と、
第１の符号化手段の予測モードが第２の符号化手段の予測モードと一致するように第１の符号化手段の予測モードを制御する予測モード制御手段と、
第２の符号化手段の予測に用いる動き補償ベクトルを第１の符号化手段の予測に用いる動き補償ベクトルから算出する動きベクトル算出手段と、
を備えることを特徴とする動画符号化装置。
【請求項４】
前記予測モード制御手段は、第２の符号化手段の予測モードが過去のフレームからの予測のみを用いる順方向予測フレームであるフレームの第１の符号化手段の予測モードを順方向予測フレームとすることを特徴とする請求項３に記載の動画符号化装置。
【請求項５】
前記予測モード制御手段は、第２の符号化手段の予測モードが過去のフレームからの予測のみを用いる順方向予測フレームであるフレームの第１の符号化手段の部分画像毎の予測モードを、同一フレーム内の全ての部分画像において予測値との差分を符号化する、または、同一フレーム内の全ての部分画像において予測を用いずにそのまま符号化する、ように制御することを特徴とする請求項３に記載の動画符号化装置。
【請求項６】
前記第１の符号化手段が同一フレーム内の全ての部分画像において予測値との差分を符号化したフレームの画質が劣化したことを検出する画質劣化検出手段を備え、
前記予測モード制御手段は、画質劣化検出手段により画質劣化が検出された場合には、次の第２の符号化手段の予測モードが過去のフレームからの予測のみを用いる順方向予測フレームであるフレームの第１の符号化手段の部分画像毎の予測モードを同一フレーム内の全ての部分画像において予測を用いずにそのまま符号化するように制御することを特徴とする請求項５に記載の動画符号化装置。
【請求項７】
動き補償フレーム間予測を用いて動画の符号化を行って記録媒体に記録し、また上記により記録された符号化データを記録媒体から再生して復号する動画記録再生装置において、
入力動画を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化手段と、
第１の符号化手段で符号化された符号化データを復号する復号手段と、
復号手段で復号されたフレームから抜き出した所定のフレームを第１のフレームレートより小さい第２のフレームレートかつ第１の画像サイズより小さい第２の画像サイズで再符号化する再符号化手段と、
第１の符号化手段の予測モードが再符号化手段の予測モードと一致するように第１の符号化手段の予測モードを制御する予測モード制御手段と、
再符号化手段の予測に用いる動き補償ベクトルを復号手段により復号された動き補償ベクトルから算出する動きベクトル算出手段と、
を備えることを特徴とする動画記録再生装置。
【請求項８】
記録媒体に記録された動き補償フレーム間予測を用いて動画の符号化を行った符号化データを記録媒体から再生して復号する動画再生装置において、
記録媒体から再生した符号化データを復号する復号手段と、
復号手段で復号されたフレームの予測モードを検出する予測モード検出手段と、
再符号化手段の予測に用いる動き補償ベクトルを復号手段により復号された動き補償ベクトルから算出する動きベクトル算出手段と、
復号手段で復号された動画を前記記録された第１のフレームレートより小さい第２のフレームレートかつ第１の画像サイズより小さい第２の画像サイズで再符号化する再符号化手段と、
を備えることを特徴とする動画再生装置。
【請求項９】
動き補償フレーム間予測を用いて動画の符号化を行って記録媒体に記録する動画記録装置において、
入力動画を所定のフレームレートかつ所定の画像サイズで符号化する符号化手段と、
符号化手段の予測モードを制御する予測モード制御手段と、
過去のフレームからの予測のみを用いる順方向予測フレームまたは過去のフレームと未来のフレームからの予測を用いる双方向予測フレームもしくは予測を用いないフレームのいずれかを選択する予測選択手段とを備え、
予測選択手段は、予測モード制御手段からの予測モードに基づいていずれかのフレームを選択することを特徴とする動画記録装置。
【請求項１０】
動き補償フレーム間予測を用いて動画の符号化を行う動画符号化方法において、
該動画を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化処理と、
該動画を第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化処理と、
該第１の符号化処理の予測モードと該第２の符号化処理の予測モードとが一致するように制御する予測モード制御処理と、
該第１の符号化処理で用いる第１の動き補償ベクトルから該第２の符号化処理で用いる動き補償ベクトルを算出する動きベクトル算出処理と、
からなることを特徴とする動画符号化方法。
【請求項１１】
動き補償フレーム間予測を用いて動画の符号化を行う動画符号化方法において、
該動画を、少なくとも動き補償およびＤＣＴ変換することにより、第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化処理と、
該第１の符号化処理における、該動き補償後のデータまたはＤＣＴ変換後のデータを抜き出し、第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化処理と、
該第１の符号化処理の予測モードと該第２の符号化処理の予測モードとが一致するように制御する予測モード制御処理と、
該第１の符号化処理で用いる第１の動き補償ベクトルから該第２の符号化処理で用いる動き補償ベクトルを算出する動きベクトル算出処理と、
からなることを特徴とする動画符号化方法。
【請求項１２】
動き補償フレーム間予測を用いて動画の符号化を行う動画符号化方法において、
入力動画像を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化処理と、
第１の符号化処理における符号化処理中の画像データを抜き出して、第２のフレームレートかつ第２の画像サイズで符号化する第２の符号化処理と、
第１の符号化処理の予測モードが第２の符号化処理の予測モードと一致するように第１の符号化処理の予測モードを制御する予測モード制御処理と、
第２の符号化処理の予測に用いる動き補償ベクトルを第１の符号化処理の予測に用いる動き補償ベクトルから算出する動きベクトル算出処理と、
からなることを特徴とする動画符号化方法。
【請求項１３】
動き補償フレーム間予測を用いて動画の符号化を行って記録媒体に記録し、また上記により記録された符号化データを記録媒体から再生して復号する動画記録再生方法において、
入力動画を第１のフレームレートかつ第１の画像サイズで符号化する第１の符号化処理と、
第１の符号化処理で符号化された符号化データを復号する復号処理と、
復号処理で復号されたフレームから抜き出した所定のフレームを第１のフレームレートより小さい第２のフレームレートかつ第１の画像サイズより小さい第２の画像サイズで再符号化する再符号化処理と、
第１の符号化処理の予測モードが再符号化処理の予測モードと一致するように第１の符号化処理の予測モードを制御する予測モード制御処理と、
再符号化処理の予測に用いる動き補償ベクトルを復号処理により復号された動き補償ベクトルから算出する動きベクトル算出処理と、
からなることを特徴とする動画記録再生方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
双方向予測回路１４−２は、ベクトル算出回路２１算出した動き補償ベクトルに基づき、サイズ変換回路の出力Ｆ´と参照フレームＦｒ´との間の動きを補償して双方向の予測を行い、差分データΔＢ´を作成する手段である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
本実施の形態による符号化変換前後におけるＰフレームのイントラ／インターマクロブロックを選択する様子を図７に示す。画質劣化直後のＰフレームでは、フレーム単位マクロブロックモード選択回路１５４は、順方向予測回路１３からの差分ΔＰであるインターマクロブロックを選択せず入力画像Ｆのイントラマクロブロックを選択してイントラマクロブロックに符号化する。その他のＰフレームでは、差分ΔＰのインターマクロブロックを選択してインターマクロブロックに符号化する。この実施例においても、符号化変換する複数のマクロブロックのモードを同一にでき、予測のやり直しによるイントラ／インター変換を行う必要がないので、演算量を減らすことができ、小さな回路規模、少ない消費電力で高精細符号化データと低精細符号化データを同時に生成することができる。