(57)【特許請求の範囲】
【請求項１】
第１の符号化単位ごとに、フレームを分割した複数のブロックのそれぞれを、フレームを基準として符号化するフレーム符号化モードまたはフィールドを基準として符号化するフィールド符号化モードを切り替えて符号化した符号化済み動画像データを、該第１の符号化単位よりも大きい第２の符号化単位ごとに、フレーム符号化モードまたはフィールド符号化モードの何れかで前記複数のブロックを再符号化する動画像再符号化装置であって、
前記符号化済み動画像データを復号する復号部と、
前記符号化済み動画像データの前記第２の符号化単位ごとに、フレーム符号化されたブロックの数に関する第１の統計量とフィールド符号化されたブロックの数に関する第２の統計量とを求めるか、または、フレーム符号化されたブロックに写っている物体の動きの度合いに関する第１の統計量とフィールド符号化されたブロックに写っている物体の動きの度合いに関する第２の統計量とを求め、前記第１の統計量と前記第２の統計量とを比較することにより、当該第２の符号化単位ごとに、フレーム符号化モードとフィールド符号化モードのうちで適用する符号化モードを判定する符号化モード判定部と、
前記第２の符号化単位ごとに、当該第２の符号化単位に含まれるブロックのうち、当該ブロックが属するフレームと異なるフレームを参照して符号化されるブロックを、フレーム符号化モードとフィールド符号化モードのうちの適用すると判定された符号化モードで再符号化する再符号化部と、
を有する動画像再符号化装置。
【請求項２】
前記符号化済み動画像データは、ブロックごとにフレーム符号化されているかフィールド符号化されているかを表す符号化モード情報を含み、
前記復号部は、前記符号化済み動画像データから前記符号化モード情報を抽出し、
前記符号化モード判定部は、前記抽出された符号化モード情報に基づいて前記第２の符号化単位ごとに、フレーム符号化されているブロックの数を前記第１の統計量として求め、かつ、フィールド符号化されているブロックの数を前記第２の統計量として求め、該フレーム符号化されているブロックの数と該フィールド符号化されているブロックの数の合計に対する該フィールド符号化されているブロックの数の比が所定の閾値以上であれば、フィールド符号化モードを適用する符号化モードと判定する、請求項１に記載の動画像再符号化装置。
【請求項３】
前記復号部は、前記符号化済み動画像データから、フレーム符号化されているブロックごとの発生情報量とフィールド符号化されているブロックごとの発生情報量を求め、
前記符号化モード判定部は、前記第２の符号化単位ごとに、フレーム符号化されているブロックの発生情報量の累積値を前記第１の統計量として求め、かつ、フィールド符号化されているブロックの発生情報量の累積値を前記第２の統計量として求め、前記第１の統計量に対する前記第２の統計量の比が所定の閾値以上であれば、フィールド符号化モードを適用する符号化モードと判定する、請求項１に記載の動画像再符号化装置。
【請求項４】
前記復号部は、前記符号化済み動画像データから、フレーム符号化されているブロックごとの動きベクトルとフィールド符号化されているブロックごとの動きベクトルを抽出し、
前記符号化モード判定部は、前記第２の符号化単位ごとに、フレーム符号化されているブロックについての動きベクトルのバラツキ度合いを表す統計量を前記第１の統計量として求め、かつ、フィールド符号化されているブロックについての動きベクトルのバラツキ度合いを表す統計量を前記第２の統計量として求め、前記第１の統計量に対する前記第２の統計量の比が所定の閾値以上であれば、フィールド符号化モードを適用する符号化モードと判定する、請求項１に記載の動画像再符号化装置。
【請求項５】
第１の符号化単位ごとに、フレームを分割した複数のブロックのそれぞれを、フレームを基準として符号化するフレーム符号化モードまたはフィールドを基準として符号化するフィールド符号化モードを切り替えて符号化した符号化済み動画像データを、該第１の符号化単位よりも大きい第２の符号化単位ごとに、フレーム符号化モードまたはフィールド符号化モードの何れかで前記複数のブロックを再符号化する動画像再符号化方法であって、
前記符号化済み動画像データを復号し、
前記符号化済み動画像データの前記第２の符号化単位ごとに、フレーム符号化されたブロックの数に関する第１の統計量とフィールド符号化されたブロックの数に関する第２の統計量とを求めるか、または、フレーム符号化されたブロックに写っている物体の動きの度合いに関する第１の統計量とフィールド符号化されたブロックに写っている物体の動きの度合いに関する第２の統計量とを求め、前記第１の統計量と前記第２の統計量とを比較することにより、当該第２の符号化単位ごとに、フレーム符号化モードとフィールド符号化モードのうちで適用する符号化モードを判定し、
前記第２の符号化単位ごとに、当該第２の符号化単位に含まれるブロックのうち、当該ブロックが属するフレームと異なるフレームを参照して符号化されるブロックを、フレーム符号化モードとフィールド符号化モードのうちの適用すると判定された符号化モードで再符号化する、
ことを含む動画像再符号化方法。
【請求項６】
第１の符号化単位ごとに、フレームを分割した複数のブロックのそれぞれを、フレームを基準として符号化するフレーム符号化モードまたはフィールドを基準として符号化するフィールド符号化モードを切り替えて符号化した符号化済み動画像データを、該第１の符号化単位よりも大きい第２の符号化単位ごとに、フレーム符号化モードまたはフィールド符号化モードの何れかで前記複数のブロックを再符号化することをコンピュータに実行させる動画像再符号化用コンピュータプログラムであって、
前記符号化済み動画像データを復号し、
前記符号化済み動画像データの前記第２の符号化単位ごとに、フレーム符号化されたブロックの数に関する第１の統計量とフィールド符号化されたブロックの数に関する第２の統計量とを求めるか、または、フレーム符号化されたブロックに写っている物体の動きの度合いに関する第１の統計量とフィールド符号化されたブロックに写っている物体の動きの度合いに関する第２の統計量とを求め、前記第１の統計量と前記第２の統計量とを比較することにより、当該第２の符号化単位ごとに、フレーム符号化モードとフィールド符号化モードのうちで適用する符号化モードを判定し、
前記第２の符号化単位ごとに、当該第２の符号化単位に含まれるブロックのうち、当該ブロックが属するフレームと異なるフレームを参照して符号化されるブロックを、フレーム符号化モードとフィールド符号化モードのうちの適用すると判定された符号化モードで再符号化する、
ことをコンピュータに実行させる動画像再符号化用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、第１の符号化方式に従って符号化された動画像データを復号してから第２の符号化方式に従ってその動画像データを再度符号化する動画像再符号化装置、動画像再符号化方法及び動画像再符号化用コンピュータプログラムに関する。
【背景技術】
【０００２】
動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化方式として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding（H.264 MPEG-4 AVC）が利用されている。
【０００３】
複数の符号化方式のそれぞれごとに、サポートされている符号化技術が異なるために、利用する符号化方式によって符号化効率も異なる。そのため、一旦所定の動画像符号化方式にしたがって符号化された動画像データのサイズをより小さくしたいというニーズがある。
また、複数の符号化方式のそれぞれごとに、符号化処理または復号処理の演算量も符号化方式によって異なる。そのため、ハードウェアリソースが限られている装置、例えば、携帯電話または携帯情報端末では、相対的に演算量が少ない符号化方式しかサポートされないことがある。このような、相対的に演算量が少ない符号化方式しかサポートしない装置で、他の装置により符号化された動画像データを扱えるようにするために、その符号化された動画像データを他の符号化方式に従って再度符号化したいというニーズもある。
【０００４】
そこで、何れかの動画像符号化方式により一旦符号化された動画像データを復号し、他の符号化方式に従って、その復号された動画像データを再度符号化する動画像再符号化装置（トランスコーダとも呼ばれる）が開発されている。
【０００５】
例えば、H.264 MPEG-4 AVC及びMPEG-2では、インターレース映像に対して、動き予測をフィールド単位で行うフィールド符号化モードと、動き予測をフレーム単位で行うフレーム符号化モードの両方が採用されている。フィールド符号化モードでは、マクロブロック内のトップフィールド成分とボトムフィールド成分とに、動き補償するための動きベクトルが別個に割り当てられる。一方、フレーム符号化モードでは、トップフィールド成分とボトムフィールド成分の両方を含むマクロブロックに対して動きベクトルが割り当てられる。そこで、MPEG-2に従って符号化された動画像データをH.264 MPEG-4 AVCに従って再符号化する際に、フィールド符号化モードとフレーム符号化モードとを切り替えられるトランスコーダが提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２１２６０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ピクチャ単位、あるいはスライス単位で、フィールド符号化モードとフレーム符号化モードとが切り替え可能な符号化方式はPicture Adaptive Frame Field(PAFF)と呼ばれる。一方、H.264 MPEG-4 AVCで採用されているような、上下方向に隣接した二つのマクロブロックを含むマクロブロックペア単位でフィールド符号化モードとフレーム符号化モードとが切り替え可能な符号化方式は、MacroBlock Adaptive Frame Field(MBAFF)と呼ばれる。特許文献１に開示されたトランスコーダでは、一旦符号化されたインターレース映像について、マクロブロックペアに含まれる各マクロブロックの符号化モードの組み合わせにより、再符号化の際に適用される符号化モードがマクロブロックペア単位で決定される。
【０００８】
一方、MBAFF方式で符号化されているインターレース映像をPAFF符号化方式に従って再符号化するニーズがある。このような再符号化は、例えば、ハードウェアリソースが限られているために、演算量が相対的に多いMBAFF方式をサポートしていない符号化器を持つ動画像再符号化装置が動画像データを再符号化するために行われる。このような再符号化を行うためには、動画像再符号化装置は、PAFFに準拠した再符号化単位ごとに、フィールド符号化モード及びフレーム符号化モードのうち、符号化効率の良い方を選択することが好ましい。再符号化の際に適切な予測方式が適用されなければ、動きベクトルを用いて動き補償することにより生成された予測画像とマクロブロック間の差が大きくなって符号化効率が低下してしまうおそれがあるためである。しかしながら、特許文献１に開示されたトランスコーダは、MBAFF方式に従って符号化されたピクチャを、PAFF方式に従って再符号化するものではない。そのため、MBAFF方式で符号化されている動画像データをPAFF方式に従って再符号化する際に、フィールド符号化モード及びフレーム符号化モードのうちで適用する符号化モードを適切に決定できる技術が求められている。
【０００９】
そこで、本明細書は、所定単位でフレーム符号化、フィールド符号化を切り替えて符号化されている動画像データを、その所定単位よりも大きい単位でフレーム符号化、フィールド符号化を切り替えて再符号化する動画像再符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
一つの実施形態によれば、第１の符号化単位ごとに、フレームを分割した複数のブロックのそれぞれを、フレームを基準として符号化するフレーム符号化モードまたはフィールドを基準として符号化するフィールド符号化モードを切り替えて符号化した符号化済み動画像データを、第１の符号化単位よりも大きい第２の符号化単位ごとに、フレーム符号化モードまたはフィールド符号化モードの何れかで複数のブロックを再符号化する動画像再符号化装置が提供される。この動画像再符号化装置は、符号化済み動画像データを復号する復号部と、符号化済み動画像データの第２の符号化単位ごとに、フレーム符号化されたブロックの数またはブロックに写っている物体の動きの度合いに関する第１の統計量とフィールド符号化されたブロックの数またはブロックに写っている物体の動きの度合いに関する第２の統計量とを求め、第１の統計量と第２の統計量とを比較することにより、第２の符号化単位ごとに、フレーム符号化モードとフィールド符号化モードのうちで適用する符号化モードを判定する符号化モード判定部と、第２の符号化単位ごとに、第２の符号化単位に含まれるブロックのうち、ブロックが属するフレームと異なるフレームを参照して符号化されるブロックを、フレーム符号化モードとフィールド符号化モードのうちの適用すると判定された符号化モードで再符号化する再符号化部とを有する。
【００１１】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１２】
本明細書に開示された動画像再符号化装置は、所定単位でフレーム符号化、フィールド符号化を切り替えて符号化されている動画像データを、その所定単位よりも大きい単位でフレーム符号化、フィールド符号化を切り替えて再符号化する際に、フィールド符号化モードとフレーム符号化モードのうちの何れを適用するかを適切に決定できる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係る動画像再符号化装置の概略構成図である。
【図２】MBAFF方式に従ってインターレース映像をフレーム符号化またはフィールド符号化する場合のフレームの模式図である。
【図３】PAFF方式に従ってインターレース映像をフレーム符号化またはフィールド符号化する場合のフレームの模式図である。
【図４】フレームの一例を示す図である。
【図５】第１の実施形態による動画像再符号化処理の動作フローチャートである。
【図６】第２の実施形態による動画像再符号化装置の概略構成図である。
【図７】第２の実施形態による動画像再符号化処理の動作フローチャートである。
【図８】第３の実施形態による動画像再符号化装置の概略構成図である。
【図９】第３の実施形態による動画像再符号化処理の動作フローチャートである。
【図１０】何れかの実施形態または変形例による動画像再符号化処理を実行可能なコンピュータの構成図である。
【発明を実施するための形態】
【００１４】
以下、図を参照しつつ、様々な実施形態による動画像再符号化装置について説明する。動画像再符号化装置は、MBAFF方式に従ってマクロブロックペア単位（第１の符号化単位）でフレーム符号化またはフィールド符号化された動画像データを、PAFF方式に準拠した再符号化単位（第２の符号化単位）でフレーム符号化またはフィールド符号化を切り替えつつ再符号化する。その際、この動画像再符号化装置は、再符号化単位で、フィールド符号化されたマクロブロック及びフレーム符号化されたマクロブロックのそれぞれについて、そのマクロブロックの数またはマクロブロックに写っている物体の動きの度合いに関する統計量を求める。そしてこの動画像再符号化装置は、フィールド符号化モードで符号化されたマクロブロックに関するその統計量とフレーム符号化モードで符号化されたマクロブロックに関するその統計量との比較結果に基づいて、再符号化の際に適用する符号化モードを決定する。
【００１５】
なお、後述する各実施形態における動画像データは、フレーム中の奇数行のデータのみを含むトップフィールドと偶数行のデータのみを含むボトムフィールドとが交互に含まれるインターレース映像である。また本明細書において、ピクチャという用語は、フレームまたはフィールドの何れであってもよい場合に用いられる。
【００１６】
最初に、第１の実施形態による動画像再符号化装置について説明する。
この動画像再符号化装置は、MBAFF方式に従って符号化された動画像データについて、再符号化単位で、フィールド符号化されたマクロブロックの数を、フィールド符号化されたマクロブロックに関する統計量として求める。同様に、この動画像再符号化装置は、フレーム符号化されたマクロブロックの数を、フレーム符号化されたマクロブロックに関する統計量として求める。
【００１７】
図１は、第１の実施形態による動画像再符号化装置の概略構成図である。動画像再符号化装置１は、符号化部１０と、符号化モード判定部２０と、再符号化部３０とを有する。動画像再符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像再符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像再符号化装置１に実装されてもよい。さらに、動画像再符号化装置１が有するこれらの各部は、動画像再符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
【００１８】
動画像再符号化装置１は、符号化された動画像データを含むデータストリームを、例えば、通信ネットワーク及び動画像再符号化装置１を通信ネットワークに接続するためのインターフェース回路を介して取得する。そして動画像再符号化装置１は、そのデータストリームを、図示しないバッファメモリに記憶させる。動画像再符号化装置１は、符号化された動画像データを、符号化されたピクチャの順序に従ってバッファメモリから読み出してそのピクチャを復号部１０へ入力する。復号部１０は、符号化されたピクチャを復号し、復号されたピクチャを再符号化部３０へ渡す。また復号部１０は、マクロブロック単位でフレーム符号化されているかフィールド符号化されているかの情報を符号化モード判定部２０に渡す。なお、マクロブロックは、例えば、16×16画素のサイズを持つ。しかし、マクロブロックのサイズは、16×16画素のサイズよりも大きくてもよく、あるいは小さくてもよい。
【００１９】
符号化モード判定部２０は、PAFF方式に準拠した再符号化単位ごとに、フレーム符号化モード及びフィールド符号化モードの中から再符号化の際に適用される符号化モードを選択する。
【００２０】
再符号化部３０は、復号されたピクチャを再符号化する。その際、インター符号化されるマクロブロックについては、適用すると判定された符号化モードに従う。
以下、動画像再符号化装置１の各部について詳細に説明する。
【００２１】
復号部１０は、可変長復号部１１と、逆量子化・逆直交変換部１２と、加算器１３と、参照画像記憶部１４と、予測画像生成部１５とを有する。
【００２２】
可変長復号部１１は、マクロブロック単位で可変長符号化されている動画像データを可変長復号する。なお、可変長符号化方式は、例えば、Context-based Adaptive Variable Length Coding(CAVLC)といったハフマン符号化方式、あるいは、Context-based Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化方式とすることができる。そして可変長復号部１１は、量子化された予測誤差信号である量子化信号を再生する。また可変長復号部１１は、着目するマクロブロックがインター符号化されていれば、そのマクロブロックについての動きベクトルを可変長復号する。なお、インター符号化とは、着目するピクチャと、その前後のピクチャ間の相関性を利用して着目するピクチャを符号化する符号化方式を表す。そして可変長復号部１１は、再生した動きベクトルを予測画像生成部１５へ渡す。また可変長復号部１１は、量子化信号を逆量子化・逆直交変換部１２へ渡す。
【００２３】
さらに、可変長復号部１１は、符号化されている動画像データに含まれるヘッダ情報から復号に必要な各種の情報、例えば、イントラ予測符号化またはインター予測符号化されているマクロブロックに対して適用された予測モードを表す情報などを抽出する。そして可変長復号部１１は、その予測モードを予測画像生成部１５に通知する。
【００２４】
その際、可変長復号部１１は、マクロブロックペアごとに、フレーム符号化されているか、またはフィールド符号化されているかを表す符号化モード情報を取得する。入力された動画像データがH.264 MPEG-4 AVCに従ってMBAFF方式により符号化されている場合、可変長復号部１１は、スライスごとに規定されるスライスシンタックスに含まれる、マクロブロックペアごとに規定されるmbFieldDecodingFlagというフラグを符号化モード情報として参照する。これにより、可変長復号部１１は、マクロブロックペアの符号化モードを特定できる。mbFieldDecodingFlagが'1'であれば、対応するマクロブロックペアはフィールド符号化されており、一方、mbFieldDecodingFlagが'0'であれば、対応するマクロブロックペアはフレーム符号化されている。
【００２５】
なお、着目するマクロブロックペアのmbFieldDecodingFlagが省略されていることがある。この場合、可変長復号部１１は、着目するマクロブロックペアがその左側または上側に隣接するマクロブロックペアと同一スライス内にであれば、着目するマクロブロックペアはその隣接マクロブロックペアと同一の符号化モードにより符号化されていると判定する。また、着目するマクロブロックペアが属するスライスと、左側または上側に隣接するマクロブロックペアが属するスライスが異なっていれば、可変長復号部１１は、着目するマクロブロックペアはフレーム符号化モードで符号化されていると判定する。
【００２６】
また、入力された動画像データがMPEG-2に従って符号化されている場合、可変長復号部１１は、frameMotionType、fieldMotionTypeまたはdctTypeという３種類のフラグを符号化モード情報として参照することで、符号化モードを特定できる。例えば、可変長復号部１１は、fieldMotionTypeが規定されているマクロブロックはフィールド符号化されていると判定する。また、可変長復号部１１は、frameMotionTypeのコード値が'10'であれば、そのframeMotionTypeに対応するマクロブロックはフレーム符号化されていると判定する。一方、frameMotionTypeのコード値がその他の値であれば、可変長復号部１１は、そのframeMotionTypeに対応するマクロブロックはフィールド符号化されていると判定する。また、可変長復号部１１は、dctTypeの値が'1'であれば、そのdctTypeに対応するマクロブロックはフィールド符号化されていると判定し、dctTypeの値が'0'であれば、そのdctTypeに対応するマクロブロックはフレーム符号化されていると判定する。
【００２７】
可変長復号部１１は、マクロブロックペアごとに、フレーム符号化されているかフィールド符号化されているかを表すフラグを符号化モード判定部２０へ出力する。さらに可変長復号部１１は、再符号化単位の区切りとなる、スライスヘッダ、ピクチャヘッダを抽出すると、符号化モード判定部２０へ再符号化単位の区切りが検出されたことを通知してもよい。
【００２８】
逆量子化・逆直交変換部１２は、可変長復号部１１から受け取った量子化信号に、符号化された動画像データに含まれるヘッダ情報から取得した量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。この逆量子化により、着目するマクロブロックの周波数信号が復元される。周波数信号は、例えば、入力された動画像データを符号化した動画像符号化装置がマクロブロックに対して実行した直交変換処理により得られる、周波数成分ごとの強度を表す係数の組である。例えば、直交変換処理として離散コサイン変換(Discrete cosine transform, DCT)が用いられている場合、量子化信号を逆量子化することによってDCT係数の組が得られる。また直交変換処理としてアダマール変換が用いられている場合、量子化信号を逆量子化することによってアダマール係数の組が復元される。その後、逆量子化・逆直交変換部１２は、周波数信号を逆直交変換処理する。この逆直交変換処理は、マクロブロックに対して実行された直交変換処理の逆変換である。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより予測誤差信号が再生される。逆量子化・逆直交変換部１２は、マクロブロックごとに再生された予測誤差信号を加算器１３へ出力する。
【００２９】
加算器１３は、マクロブロックごとに、予測画像生成部１６から受け取った予測画像の各画素値に、その画素に対応する再生された予測誤差信号を加算することで、マクロブロックを再生する。そして加算器１３は、再生されたマクロブロックをその符号化順序に従って結合することにより、ピクチャを再生する。加算器１３は、再生されたピクチャを参照画像記憶部１４に記憶させる。
【００３０】
参照画像記憶部１４は、例えば、フレームメモリを有する。そして参照画像記憶部１４は、加算器１３から受け取ったピクチャを一時的に記憶する。そして参照画像記憶部１４は、予測画像生成部１５にそのピクチャを参照画像として供給する。また参照画像記憶部１４に記憶された各ピクチャは、例えば、時間順に再配置された後に読み出されて、再符号化部３０へ出力される。なお、入力された動画像データにおける各ピクチャの符号化順序が、再符号化の各ピクチャの符号化順序と同一でよければ、復号部１０は、再生された順序に従って各ピクチャを出力してもよい。
なお、参照画像記憶部１４は、予め定められた所定枚数分のピクチャを記憶し、記憶されているデータ量がその所定枚数に相当する量を超えると、符号化順序が古いピクチャから順に破棄する。
【００３１】
予測画像生成部１５は、予測符号化されたマクロブロックごとに、ヘッダ情報から抽出された予測モードに従って、予測画像を生成する。
予測画像生成部１５は、参照画像記憶部１４から、着目するマクロブロックを符号化する際に用いられた参照画像を読み込む。そして適用された予測モードが前方向予測モードまたは後方向予測モードなど、インター符号化用の予測モードの何れかであれば、予測画像生成部１５は動きベクトルを用いてその参照画像を動き補償することにより予測画像を生成する。動きベクトルは、着目するマクロブロックと、そのマクロブロックに最も類似する参照画像との空間的な移動量を表す。また、動き補償は、動きベクトルで表された、マクロブロックとそれに対して最も類似する参照画像上のブロックの位置ずれ量を相殺するように、その最も類似する参照画像上のブロックの位置を移動する処理である。
【００３２】
着目するマクロブロックがフレーム符号化されていれば、予測画像生成部１５は、フレームに対して設定されたマクロブロックに対して求められた動きベクトルを用いて参照画像を動き補償する。一方、着目するマクロブロックがフィールド符号化されていれば、予測画像生成部１５は、トップフィールドに対して求められた動きベクトルとボトムフィールドに対して求められた動きベクトルとをそれぞれ用いて、フィールドごとに参照画像を動き補償する。
【００３３】
また、適用された予測モードが、ピクチャ内の既に符号化されたマクロブロックを参照先とするイントラ符号化用の予測モードであれば、予測画像生成部１５は、そのイントラ符号化モードのうちの適用された予測モードに従って参照画像から予測画像を生成する。
予測画像生成部１５は、生成した予測画像を加算器１３へ渡す。
【００３４】
符号化モード判定部２０は、再符号化の際に、PAFF方式に準拠した再符号化単位ごとにマクロブロックに対して適用される符号化モードをフレーム符号化モードとフィールド符号化モードのうちで選択する。なお、再符号化単位は、例えば、フレームを、複数のスライスに分割した個々のスライス単位、フレーム単位、またはGroupOfPictures(GOP)単位とすることができる。なお、個々のスライスは、複数のマクロブロックを含むように設定される。例えば、フレームは、フレームの上半分を含むスライスとフレームの下半分を含むスライスとに分割される。あるいは、再符号化単位は、インター符号化される際に順序が入れ替えられるフレームの組に相当するリオーダ単位とすることができる。
【００３５】
図２は、MBAFF方式に従ってインターレース映像をフレーム符号化またはフィールド符号化する場合のフレームの模式図である。フレーム２００のうち、マクロブロックペア２１０はフレーム符号化されるマクロブロックペアの一例であり、一方、マクロブロックペア２２０はフィールド符号化されるマクロブロックペアの一例である。
【００３６】
フレーム符号化されるマクロブロックペア２１０は、トップフィールド成分２３０とボトムフィールド成分２３１とを上下方向について交互に含む、16×16画素の二つのマクロブロック２１１と２１２とを含み、各マクロブロックがそれぞれ別個に動き補償される。
これに対し、フィールド符号化されるマクロブロックペア２２０は、16×16画素のトップフィールド成分のみを含むマクロブロック２２１と、16×16画素のボトムフィールド成分のみを含むマクロブロック２２２とを含む。そしてマクロブロック２２１と２２２がそれぞれ別個に動き補償される。
【００３７】
図３は、PAFF方式に従ってインターレース映像をフレーム符号化またはフィールド符号化する場合のフレームの模式図である。フレーム３００がフレーム符号化される場合、フレーム３００は、その全体にわたってトップフィールド成分３３０とボトムフィールド成分３３１とを上下方向について交互に含む。そして、フレーム３００に対して設定された16×16画素のサイズを持つマクロブロックごとに動き補償される。
【００３８】
一方、フレーム３００がフィールド符号化される場合、フレーム３００は、トップフィールド成分３３０のみを含むトップフィールド３２１と、ボトムフィールド成分３３１のみを含むボトムフィールド３２１とに分離される。なお、トップフィールド３２１及びボトムフィールド３２２の垂直方向の画素数はフレーム３００の垂直方向の画素数の1/2となる。そしてトップフィールド３２１と、ボトムフィールド３２２とに、それぞれ、別個に16×16画素のサイズを持つマクロブロックが設定され、各マクロブロックが動き補償される。
【００３９】
符号化された動画像データにおいて、フレーム符号化モードで符号化されたマクロブロックの数がフィールド符号化モードで符号化されたマクロブロックの数よりも多いフレームについては、フレーム符号化モードの方が符号化効率が良いと推定される。逆に、フィールド符号化モードで符号化されたマクロブロックの数がフレーム符号化モードで符号化されたマクロブロックの数よりも多いフレームについては、フィールド符号化モードの方が符号化効率が良いと推定される。これは、その動画像データを符号化する際に、符号化された動画像データのデータ量を極力減らすために、フレーム符号化モードとフィールド符号化モードの中から、符号化効率が良い方が選択されていると仮定できるためである。
【００４０】
また、フレームによっては、フレーム全体をフレーム符号化するよりもフィールド符号化することによって符号化効率が向上するにもかかわらず、MBAFF方式では、フレーム符号化されているマクロブロックの数の方がフィールド符号化されているマクロブロックの数よりも多いことがある。
【００４１】
図４は、フレームの一例を示す図である。例えば、フレーム４００内の局所的な領域４１０には、シャワーによる複数の水流がそれぞれ移動物体として写っている。一方、領域４１０以外に写っている物体はほぼ静止している。このようなフレームについては、フレーム符号化されているマクロブロックの数の方がフィールド符号化されているマクロブロックの数よりも多くなり得る。これは、静止物体が写っている領域に含まれるマクロブロックについては、マクロブロックに対して一つの動きベクトルを用いて動き補償することで、予測誤差を十分に小さくできるためである。
【００４２】
しかし、領域４１０内のマクロブロックのように、移動物体が写っているマクロブロックについては、インターレース映像ではボトムフィールドとトップフィールドとで予測誤差を最小化できる動きベクトルが異なることがある。このようなマクロブロックについては、フレーム符号化モードよりもフィールド符号化モードを適用することで符号化効率が向上する。そのため、移動物体が写っているマクロブロックに対してフィールド符号化モードが適用された場合の発生情報量が、フレーム符号化モードが適用された場合の発生情報量よりも著しく小さくなることがある。その結果、フレーム４００のように、局所的な領域に移動物体が含まれ、他の領域に写っている物体は静止しているフレームについては、フレーム符号化モードを適用するよりもフィールド符号化モードを適用する方が全体として発生情報量が少なくて済むことがある。
【００４３】
そこで、符号化モード判定部２０は、再符号化単位毎に、フレーム符号化されたマクロブロックの数とフィールド符号化されたマクロブロックの数をそれぞれ計数する。なお、再符号化単位に含まれる、インター符号化されるマクロブロックの数が通知される場合には、符号化モード判定部２０は、フレーム符号化されたマクロブロックの数とフィールド符号化されたマクロブロックの数の何れかのみを計数してもよい。
【００４４】
符号化モード判定部２０は、再符号化単位ごとに、フレーム符号化されたマクロブロックの数とフィールド符号化されたマクロブロックの数との合計Totalに対するフィールド符号化されたマクロブロックの数FieldNumの比(FieldNum/Total)を求める。そして符号化モード判定部２０は、その比(FieldNum/Total)が所定の閾値Th1以上であれば、その再符号化単位に対してフィールド符号化モードを適用すると判定する。一方、その比(FieldNum/Total)が閾値Th1未満であれば、符号化モード判定部２０は、その再符号化単位に対してフレーム符号化モードを適用すると判定する。なお、閾値Th1は、再符号化の際に、フレーム符号化よりもフィールド符号化が適用され易くなるように、例えば、0.3以上0.5以下の何れかの値に設定される。
【００４５】
符号化モード判定部２０は、再符号化単位ごとに、フレーム符号化モードとフィールド符号化モードのうちの適用される符号化モードを再符号化部３０へ通知する。
【００４６】
再符号化部３０は、復号された動画像データをPAFF方式に従って再符号化する。そのために、再符号化部３０は、動きベクトル計算部３１と、予測モード判定部３２と、予測画像生成部３３と、予測誤差信号生成部３４と、直交変換・量子化部３５と、逆直交変換・逆量子化部３６と、加算器３７と、参照画像記憶部３８と、可変長符号化部３９とを有する。
【００４７】
動きベクトル計算部３１は、インター符号化用の予測画像を生成するために、入力されたマクロブロックと参照画像とを用いて、動きベクトルを求める。
【００４８】
ここで、動きベクトル計算部３１は、符号化モード判定部２０からフレーム符号化モードを適用することが通知されていると、フレームから生成したマクロブロックごとに動きベクトルを算出する。一方、動きベクトル計算部３１は、符号化モード判定部２０からフィールド符号化モードを適用することが通知されていると、トップフィールドから生成したマクロブロックごと、及びボトムフィールドから生成したマクロブロックごとに動きベクトルを算出する。
【００４９】
動きベクトル計算部３１は、入力されたマクロブロックと、参照画像とのブロックマッチングを実行することにより、入力されたマクロブロックと最も一致する参照画像及びその参照画像が含まれるピクチャ上での位置を決定する。そして動きベクトル計算部３１は、入力されたマクロブロックのピクチャ上の位置と、そのマクロブロックに最も一致する参照画像との水平方向及び垂直方向の移動量と、その参照画像が属するピクチャを表す識別情報を、それぞれ要素とするベクトルを動きベクトルとする。
なお、動きベクトル計算部３１は、マクロブロックを複数のブロックに分割し、個々のブロックごとに動きベクトルが求めてもよい。例えば、動きベクトル計算部３１は、16×16画素を持つマクロブロックを、8×8画素を持つ4個のブロックに分割し、個々のブロックについて動きベクトルを求めてもよい。
動きベクトル計算部３１は、求めた動きベクトルを、予測モード判定部３２、予測画像生成部３３及び可変長符号化部３９へ渡す。
【００５０】
予測モード判定部３２は、入力されたマクロブロックに対する予測画像の生成方法を規定する予測モードを決定する。予測モード判定部３２は、例えば、復号部１０から取得した、入力されたマクロブロックが含まれる符号化対象のピクチャのタイプを示す情報に基づいて、そのマクロブロックの予測モードを決定する。符号化対象のピクチャのタイプがIピクチャであれば、予測モード判定部３２は適用される予測モードとしてイントラ符号化モードを選択する。
【００５１】
また、符号化対象のピクチャのタイプがPピクチャであれば、予測モード判定部３２は、例えば、適用される予測モードとして、インター符号化モード及びイントラ符号化モードの何れかを選択する。なお、インター符号化モードとして、時間的に前のピクチャを参照する前方向予測モードか、時間的に後のピクチャを参照する後方向予測モードかは、符号化対象のピクチャのGOP内の位置を示す情報に基づいて決定される。
さらに、符号化対象のピクチャのタイプがBピクチャであれば、予測モード判定部３２は、適用される予測モードを、イントラ符号化モード、前方向予測モード、後方向予測モード、及び双方向予測モードの中から選択する。
【００５２】
予測モード判定部３２は、複数の予測モードの中から一つの予測モードを選択する場合、各予測モードについてのマクロブロックの符号化されたデータ量の評価値であるコストをそれぞれ算出する。そして予測モード判定部３２は、コストが最小となる予測モードを、入力されたマクロブロックに対して適用される予測モードとする。
各予測モードに対するコストは、例えば、次のように計算される。
【数１】
0005760950.tif 000002
ここで、costf、costb、costbi、costiは、それぞれ、前方向予測モード、後方向予測モード、双方向予測モード及びイントラ符号化モードに対応するコストである。orgi,jは、入力されたマクロブロックに含まれる水平方向座標i、垂直方向座標jの画素の値を表す。またrefi,jは、予測画像に含まれる水平方向座標i、垂直方向座標jの画素の値を表す。なお、予測モード判定部３２は、予測画像生成部３３と同様の方法によって参照画像から予測画像を生成する。またmv1、mv2は、入力されたマクロブロックに対する動きベクトルを表し、premv1、premv2は、直前に符号化されたマクロブロックの動きベクトルを表す。さらに、Table[a,b]は、ベクトルaとベクトルbの差分ベクトルに対応する推定符号量を出力する。例えば、Table[a,b]は、様々な差分ベクトルに対する推定符号量を示した参照テーブルであってもよい。またλは重み定数であり、例えば、1に設定される。AveMBは、入力されたマクロブロックに含まれる画素値の平均値である。また、動き予測に関して、注目するピクチャのマクロブロックの動きベクトルを、その前後のピクチャの動きベクトルから予測するダイレクトモードが適用可能な場合には、予測モード判定部３２は、ダイレクトモードについてもコストを計算してもよい。
上記のように、マクロブロックが複数のブロックに分割され、個々のブロックごとに動きベクトルが求められることがある。この場合、予測モード判定部３２は、前方向予測モード、後方向予測モード及び双方向予測モードに関しては、個々のブロックごとに（１）式の計算を行い、ブロックごとに得られたコストの総和をそのモードのコストとする。
【００５３】
予測モード判定部３２は、（１）式に従って、選択対象となる予測モードのそれぞれについてコストを算出する。そして予測モード判定部３２は、コストが最小となる予測モードを、入力されたマクロブロックに対して適用される予測モードとして選択する。
予測モード判定部３２は、選択した予測モードを予測画像生成部３３に通知する。
【００５４】
予測画像生成部３３は、予測モード判定部３２によって選択された予測モードに従って予測画像を生成する。予測画像生成部３３は、入力されたマクロブロックが前方向予測モード、後方向予測モードによってインター符号化される場合、参照画像記憶部３８から得た参照画像を、動きベクトル計算部３１から提供される動きベクトルに基づいて動き補償する。そして予測画像生成部３３は、動き補償されたマクロブロック単位のインター符号化用の予測画像を生成する。
なお、マクロブロックがフレーム符号化モードで符号化される場合、参照画像はフレームから作成され、一方、マクロブロックがフィールド符号化モードで符号化される場合、参照画像はトップフィールドまたはボトムフィールドから作成される。
【００５５】
また、入力されたマクロブロックが双方向予測モードによってインター符号化される場合、予測画像生成部３３は、二つの動きベクトルのそれぞれによって特定された参照画像を、その対応する動きベクトルで動き補償する。そして予測画像生成部３３は、動き補償により得られた二つの補償画像の対応する画素間で画素値を平均することにより予測画像を生成する。
【００５６】
予測画像生成部３３は、入力されたマクロブロックがイントラ予測符号化される場合、入力されたマクロブロックに隣接するマクロブロックから予測画像を生成する。その際、予測画像生成部３３は、例えば、H.264 MPEG-4 AVCに規定されている水平モード、ＤＣモード、プレーンモードなどに従って予測画像を生成する。
予測画像生成部３３は、生成された予測画像を予測誤差信号生成部３４へ渡す。
【００５７】
予測誤差信号生成部３４は、入力されたマクロブロックと、予測画像生成部３３により生成された予測画像との差分演算を実行する。そして予測誤差信号生成部３４は、その差分演算により得られたマクロブロック内の各画素に対応する差分値を、予測誤差信号とする。なお、フレーム符号化モードが適用される場合、各マクロブロックはフレームを分割することにより得られる。一方、フィールド符号化モードが適用される場合、各マクロブロックはトップフィールドまたはボトムフィールドを分割することにより得られる。したがって、この場合には、予測誤差信号も、トップフィールドとボトムフィールドのそれぞれについて作成される。
予測誤差信号生成部３４は、予測誤差信号を直交変換・量子化部３５へ渡す。
【００５８】
直交変換・量子化部３５は、入力されたマクロブロックの予測誤差信号を直交変換することにより、予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す周波数信号を求める。例えば、直交変換・量子化部３５は、直交変換処理として、DCTを予測誤差信号に対して実行することにより、周波数信号として、マクロブロックごとのDCT係数の組を得る。あるいは、直交変換・量子化部３５は、直交変換処理として、アダマール変換を予測誤差信号に対して実行することにより、周波数信号として、マクロブロックごとのアダマール係数の組を求めてもよい。
【００５９】
次に、直交変換・量子化部３５は、周波数信号を量子化する。この量子化処理は、一定区間に含まれる信号値を一つの信号値で表す処理である。そしてその一定区間は、量子化幅と呼ばれる。例えば、直交変換・量子化部３５は、周波数信号から、量子化幅に相当する所定数の下位ビットを切り捨てることにより、その周波数信号を量子化する。量子化幅は、量子化パラメータによって決定される。例えば、直交変換・量子化部３５は、量子化パラメータの値に対する量子化幅の値を表す関数にしたがって、使用される量子化幅を決定する。またその関数は、量子化パラメータの値に対する単調増加関数とすることができ、予め設定される。
【００６０】
あるいは、水平方向及び垂直方向の周波数成分のそれぞれに対応する量子化幅を規定する量子化マトリクスが、予め複数準備され、直交変換・量子化部３５が有するメモリに記憶される。そして直交変換・量子化部３５は、量子化パラメータにしたがって、それら量子化マトリクスのうちの特定の量子化マトリクスを選択する。そして直交変換・量子化部３５は、選択された量子化マトリクスを参照して、周波数信号の各周波数成分に対する量子化幅を決定してもよい。
【００６１】
また直交変換・量子化部３５は、MPEG-2、MPEG-4、H.264 MPEG-4 AVCなどの動画像符号化規格に対応した様々な量子化パラメータ決定方法の何れかに従って量子化パラメータを決定すればよい。直交変換・量子化部３５は、例えば、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法を用いることができる。なお、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法に関しては、例えば、http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlで特定されるURLを参照されたい。
直交変換・量子化部３５は、量子化処理を実行することにより、周波数信号の各周波数成分を表すために使用されるビットの数を削減できるので、入力されたマクロブロックに含まれる情報量を低減できる。直交変換・量子化部３５は、量子化信号を可変長符号化部３９及び逆量子化・逆直交変換部３６に供給する。
【００６２】
逆量子化・逆直交変換部３６及び加算器３７は、一旦符号化されたマクロブロックを再生することによって、ピクチャ内の後続するマクロブロックまたはそのマクロブロックが含まれるピクチャに後続するピクチャを符号化するために参照される参照画像を生成する。
そのために、逆量子化・逆直交変換部３６は、直交変換・量子化部３５から受け取った量子化信号に、量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。この逆量子化により、入力されたマクロブロックの周波数信号、例えば、DCT係数の組が復元される。その後、逆量子化・逆直交変換部３６は、周波数信号を逆直交変換処理する。例えば、直交変換・量子化部３５においてDCT処理が行われる場合、逆量子化・逆直交変換部３６は、逆量子化信号に対して逆DCT処理を実行する。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号が再生される。そして逆量子化・逆直交変換部３６は、再生されたマクロブロックごとの予測誤差信号を加算器３７へ出力する。
【００６３】
加算器３７は、マクロブロックごとに、予測画像の各画素値に、その画素に対応する再生された予測誤差信号を加算することで、そのマクロブロックを再生する。そして加算器３７は、再生されたマクロブロックをその符号化順序に従って結合することにより、参照画像を生成する。加算器３７は、参照画像を参照画像記憶部３８に記憶させる。
【００６４】
参照画像記憶部３８は、例えば、フレームメモリを有する。そして参照画像記憶部３８は、加算器３７から受け取った参照画像を一時的に記憶する。そして参照画像記憶部３８は、動きベクトル計算部３１、予測モード判定部３２及び予測画像生成部３３にその参照画像を供給する。なお、参照画像記憶部３８は、予め定められた所定枚数分の参照画像を記憶し、参照画像の枚数がその所定枚数を超えると、符号化順序が古い参照画像から順に破棄する。
【００６５】
可変長符号化部３９は、直交変換・量子化部３５から受け取った量子化された周波数信号及び動きベクトル計算部３１から受け取った動きベクトルを可変長符号化することにより、データ量が圧縮された符号化信号を生成する。そのために、可変長符号化部３９は、例えば、その量子化された周波数信号に対して、CAVLCといったハフマン符号化処理あるいはCABACといった算術符号化処理を用いることができる。
【００６６】
可変長符号化部３９により生成された符号化信号に対して、動画像再符号化装置１は、マクロブロックごとの予測モードなどを含む所定の情報をヘッダ情報として付加することにより、符号化された動画像データを含むデータストリームを生成する。動画像再符号化装置１は、そのデータストリームを磁気記録媒体、光記録媒体あるいは半導体メモリなどを有する記憶部（図示せず）に記憶するか、あるいはそのデータストリームを他の機器へ出力する。
【００６７】
図５は、第１の実施形態による動画像再符号化装置１により実行される動画像再符号化処理の動作フローチャートである。動画像再符号化装置１は、再符号化単位ごとに、この動画像再符号化処理を実行する。
復号部１０は、符号化された動画像データに含まれるピクチャ内の各マクロブロックを可変長復号することにより抽出できる符号化モードを表すフラグを参照してマクロブロックごとの符号化モードを特定する（ステップＳ１０１）。そして復号部１０は、各マクロブロックの符号化モードを表す情報を符号化モード判定部２０へ通知する。また復号部１０は、符号化された動画像データに含まれる各ピクチャを復号する（ステップＳ１０２）。そして復号部１０は、復号した各ピクチャを再符号化部３０へ出力する。
【００６８】
符号化モード判定部２０は、再符号化単位ごとに、フレーム符号化されたマクロブロックの数とフィールド符号化されたマクロブロックの数を計数する（ステップＳ１０３）。そして符号化モード判定部２０は、復号部１０から、再符号化単位の区切りの通知を受け取ったか否か判定する（ステップＳ１０４）。例えば、再符号化単位がGOP単位であれば、復号部１０がIピクチャを復号する度に、符号化モード判定部２０は再符号化単位の区切りの通知を受け取ることになる。また、再符号化単位がフレーム単位またはスライス単位であれば、復号部１０が符号化された動画像データからフレームまたはスライスのヘッダ情報を抽出する度に、符号化モード判定部２０は再符号化単位の区切りの通知を受け取ることになる。さらに、再符号化単位がリオーダ単位であれば、復号部１０がIピクチャまたはPピクチャを復号する度に、符号化モード判定部２０は再符号化単位の区切りの通知を受け取ることになる。
【００６９】
符号化モード判定部２０が再符号化単位の区切りの通知を受け取っていなければ（ステップＳ１０４−Ｎｏ）、動画像再符号化装置１は、ステップＳ１０１以降の処理を繰り返す。一方、符号化モード判定部２０が再符号化単位の区切りの通知を受け取っていれば（ステップＳ１０４−Ｙｅｓ）、符号化モード判定部２０は、インター符号化されたマクロブロックの総数Totalを求める。そして符号化モード判定部２０は、インター符号化されたマクロブロックの総数Totalに対する、フィールド符号化されたマクロブロックの数FieldNumの比(FieldNum/Total)が所定の閾値Th1以上であるか否か判定する（ステップＳ１０５）。
【００７０】
比(FieldNum/Total)が閾値Th1以上であれば（ステップＳ１０５−Ｙｅｓ）、符号化モード判定部２０は、その再符号化単位に対して適用する符号化モードをフィールド符号化モードと判定し、その旨を再符号化部３０へ通知する（ステップＳ１０６）。一方、比(FieldNum/Total)が閾値Th1未満であれば（ステップＳ１０５−Ｎｏ）、符号化モード判定部２０は、その再符号化単位に対して適用する符号化モードをフレーム符号化モードと判定し、その旨を再符号化部３０へ通知する（ステップＳ１０７）。
【００７１】
再符号化部３０は、復号部１０から受け取った各ピクチャを再符号化する。その際、再符号化部３０は、インター符号化される各マクロブロックを、符号化モード判定部２０から通知された符号化モードに従って符号化する（ステップＳ１０８）。そして再符号化部３０は、再符号化された動画像データを出力し、再符号化処理を終了する。
【００７２】
以上に説明してきたように、この動画像再符号化装置は、MBAFF方式に従って符号化されていた動画像データをPAFF方式に従って再符号化できる。その際、この動画像再符号化装置は、元の符号化された動画像データのうち、フィールド符号化モードが適用されていたマクロブロックの数が多い部分に、再符号化の際にもフィールド符号化モードを適用する。これにより、この動画像再符号化装置は、復号された動画像データを一旦フィールド符号化モードとフレーム符号化モードの両方でそれぞれ再符号化しなくても、フィールド符号化モードとフレーム符号化モードのうちで符号化効率が良い方を適切に選択できる。また、再符号化単位をスライス単位に設定することで、この動画像再符号化装置は、フレーム中の局所的な領域のみに移動物体が写っている場合、その移動物体が写っている領域を含むスライスにフィールド符号化モードを適用し、他の領域にフレーム符号化モードを適用できる。そのため、この動画像再符号化装置は、符号化効率を向上できる。
【００７３】
次に、第２の実施形態による動画像再符号化装置について説明する。この動画像再符号化装置は、符号化された動画像データにおける再符号化単位ごとに、フレーム符号化されたマクロブロックの発生情報量の累積値を、フレーム符号化されたマクロブロックに写っている物体の動き度合いに関する統計量として求める。同様に、この動画像再符号化装置は、フィールド符号化されたマクロブロックの発生情報量の累積値を、フィールド符号化されたマクロブロックに写っている物体の動き度合いに関する統計量として求める。そしてこの動画像再符号化装置は、各符号化モードごとの発生情報量の累積値の比較結果に基づいて、再符号化の際に適用される符号化モードを決定する。
【００７４】
図６は、第２の実施形態による動画像再符号化装置２の概略構成図である。動画像再符号化装置２は、第１の実施形態による動画像再符号化装置１と同様に、符号化部１０と、符号化モード判定部２１と、復号部３０とを有する。なお、図６において、動画像再符号化装置２の各構成要素には、図１に示した動画像再符号化装置１の対応する構成要素に付した参照番号と同一の参照番号を付した。
【００７５】
動画像再符号化装置２は、動画像再符号化装置１と比較して、符号化モード判定部２１により実行される処理が異なる。そこで以下では、動画像再符号化装置２の構成要素のうち、符号化モード判定部２１及び符号化モード判定部２１に関連する部分について説明する。動画像再符号化装置２の他の構成要素については、第１の実施形態による動画像再符号化装置の対応する構成要素についての説明を参照されたい。
【００７６】
復号部１０の可変長復号部１１は、インター符号化されている各マクロブロックについて、可変長復号した後に、そのマクロブロックの発生情報量を、そのマクロブロックに適用されている符号化モードとともに符号化モード判定部２１へ通知する。なお、発生情報量は、例えば、そのマクロブロックについての量子化信号を表すビット列及び動きベクトルを表すビット列の合計ビット長により表される。
【００７７】
符号化モード判定部２１は、発生情報量累積部２１１と、判定部２１２とを有する。
発生情報量累積部２１１は、再符号化単位ごとに、フレーム符号化モードで符号化されたマクロブロックの発生情報量と、フィールド符号化モードで符号化されたマクロブロックの発生情報量とをそれぞれ累積する。そして発生情報量累積部２１１は、再符号化単位ごとに算出した、フレーム符号化モードで符号化されたマクロブロックの発生情報量の累積値FrameInfoと、フィールド符号化モードで符号化されたマクロブロックの発生情報量の累積値FieldInfoとを判定部２１２へ渡す。なお、再符号化単位は、第１の実施形態と同様にPAFFに準拠しており、スライス単位、ピクチャ単位、GOP単位あるいはリオーダ単位とすることができる。
【００７８】
判定部２１２は、発生情報量の累積値FrameInfo、FieldInfoに基づいて、再符号化単位ごとに再符号化の際に適用される符号化モードを、フレーム符号化モードとフィールド符号化モードの中から選択する。
【００７９】
再度図４を参照すると、MBAFF方式では、フレーム４００内で領域４１０以外の静止物体が写っている領域内のマクロブロックについては、前後のフレームとの相関性が高いので、フレーム符号化モードが適用される可能性が高く、かつ、発生情報量は比較的少ない。一方、フレーム４００内で移動物体が写っている領域４１０に含まれるマクロブロックには、フィールド符号化モードが適用される可能性が高い。特に、多数の小さな移動物体が写っており、それら移動物体が互いに対して異なる動きをしていれば、フィールド符号化モードが適用されていてもマクロブロックと予測画像間の相関性が低いためにそのマクロブロックについての発生情報量が多くなる。同様に、時間が経過するにつれて変形する物体が写っている領域に含まれるマクロブロックについても、そのマクロブロックと予測画像間の相関性が低いためにそのマクロブロックについての発生情報量が多くなる。このように、マクロブロックごとの発生情報量が、そのマクロブロックに写っている物体の動き度合いと関連していることが分かる。
また、上記のような移動物体が写っているマクロブロックをフレーム符号化モードでインター符号化しようとすると、マクロブロックと予測画像間の相関性がさらに低下するので、符号化効率が低下する。そこで本実施形態では、判定部２１２は、フィールド符号化モードで符号化されたマクロブロックの発生情報量が多ければ、フィールド符号化モードを適用すると判定する。
【００８０】
例えば、判定部２１２は、FrameInfoに対するFieldInfoの比(FieldInfo/FrameInfo)が所定の閾値Th2以上であれば、その再符号化単位に対して適用される符号化モードをフィールド符号化モードとする。逆に、その比(FieldInfo/FrameInfo)が閾値Th2未満であれば、判定部２１２は、その再符号化単位に対して適用される符号化モードをフレーム符号化モードとする。
なお、閾値Th2は、例えば、1に設定される。この場合、元の符号化された動画像データにおいて、フィールド符号化されたマクロブロックについての発生情報量の方がフレーム符号化されたマクロブロックについての発生情報量以上である場合にフィールド符号化モードが適用されることになる。あるいは、フレーム符号化モードよりもフィールド符号化モードの方が適用され易くするために、閾値Th2を1未満の所定値、例えば、0.8以上1未満の何れかの値に設定してもよい。
判定部２１２は、再符号化単位ごとに、フレーム符号化モードとフィールド符号化モードのうちの適用される符号化モードを再符号化部３０へ通知する。
【００８１】
図７は、第２の実施形態による動画像再符号化装置２により実行される動画像再符号化処理の動作フローチャートである。
復号部１０は、符号化された動画像データに含まれるピクチャ内の各マクロブロックを可変長復号することによりマクロブロックごとの発生情報量を計数する（ステップＳ２０１）。そして復号部１０は、マクロブロックの発生情報量を、そのマクロブロックの符号化モードを表す情報とともに符号化モード判定部２１へ通知する。また復号部１０は、符号化された動画像データに含まれる各ピクチャを復号する（ステップＳ２０２）。そして復号部１０は、復号した各ピクチャを再符号化部３０へ出力する。
【００８２】
符号化モード判定部２１の発生情報累積部２１１は、再符号化単位ごとに、フレーム符号化されたマクロブロックについての発生情報の累積値FrameInfoとフィールド符号化されたマクロブロックについての発生情報の累積値FieldInfoとを算出する（ステップＳ２０３）。そして発生情報累積部２１１は、復号部１０から再符号化単位の区切りの通知を受け取ったか否か判定する（ステップＳ２０４）。発生情報累積部２１１が再符号化単位の区切りの通知を受け取っていなければ（ステップＳ２０４−Ｎｏ）、動画像再符号化装置２は、ステップＳ２０１以降の処理を繰り返す。
【００８３】
一方、発生情報累積部２１１が再符号化単位の区切りの通知を受け取っていれば（ステップＳ２０４−Ｙｅｓ）、各累積値を符号化モード判定部２１の判定部２１２へ出力する。判定部２１２は、フレーム符号化されたマクロブロックについての発生情報の累積値FrameInfoに対する、フィールド符号化されたマクロブロックについての発生情報量の累積値FieldInfoの比(FieldInfo/FrameInfo)が閾値Th2以上か否か判定する（ステップＳ２０５）。
【００８４】
比(FieldInfo/FrameInfo)が閾値Th2以上である場合（ステップＳ２０５−Ｙｅｓ）、判定部２１２は、その再符号化単位に対して適用する符号化モードをフィールド符号化モードと判定し、その旨を再符号化部３０へ通知する（ステップＳ２０６）。一方、比(FieldInfo/FrameInfo)が閾値Th2未満である場合（ステップＳ２０５−Ｎｏ）、判定部２１２は、その再符号化単位に対して適用する符号化モードをフレーム符号化モードと判定し、その旨を再符号化部３０へ通知する（ステップＳ２０７）。
【００８５】
再符号化部３０は、復号部１０から受け取った各ピクチャを再符号化する。その際、再符号化部３０は、インター符号化される各マクロブロックを、符号化モード判定部２１から通知された符号化モードに従って符号化する（ステップＳ２０８）。そして再符号化部３０は、再符号化された動画像データを出力し、再符号化処理を終了する。
【００８６】
以上に説明してきたように、第２の実施形態による動画像再符号化装置は、入力された符号化された動画像データにおいて、フィールド符号化されたマクロブロックの発生情報量が多いと、再符号化の際に、フィールド符号化モードを適用する。これにより、例えば、動画像中で移動物体が含まれる割合の多い部分に対してフィールド符号化モードが適用されるので、PAFF方式での再符号化による符号化効率の低下を抑制できる。
【００８７】
次に、第３の実施形態による動画像再符号化装置について説明する。この動画像再符号化装置は、元の符号化された動画像データにおいて再符号化単位ごとにフレーム符号化モードにより符号化されたマクロブロックの動きベクトルのバラツキ度合いを表す統計量を、フレーム符号化されたマクロブロックに関する統計量として求める。同様に、この動画像再符号化装置は、再符号化単位ごとにフィールド符号化モードにより符号化されたマクロブロックの動きベクトルのバラツキ度合いを表す統計量を、フィールド符号化されたマクロブロックに関する統計量として求める。そしてこの動画像再符号化装置は、各符号化モードごとの動きベクトルのバラツキ度合いを表す統計量の比較結果に基づいて、再符号化の際に適用される符号化モードを決定する。
【００８８】
図８は、第３の実施形態による動画像再符号化装置３の概略構成図である。動画像再符号化装置３は、第１の実施形態による動画像再符号化装置１と同様に、符号化部１０と、符号化モード判定部２２と、復号部３０とを有する。なお、図８において、動画像再符号化装置２の各構成要素には、図１に示した動画像再符号化装置１の対応する構成要素に付した参照番号と同一の参照番号を付した。
【００８９】
動画像再符号化装置３は、動画像再符号化装置１と比較して、符号化モード判定部２２により実行される処理が異なる。そこで以下では、動画像再符号化装置３の構成要素のうち、符号化モード判定部２２及び符号化モード判定部２２に関連する部分について説明する。動画像再符号化装置３の他の構成要素については、第１の実施形態による動画像再符号化装置の対応する構成要素についての説明を参照されたい。
【００９０】
復号部１０の可変長復号部１１は、インター符号化されている各マクロブロックの動きベクトルを可変長復号した後に、その動きベクトルを、そのマクロブロックに適用されている符号化モードとともに符号化モード判定部２２へ通知する。
【００９１】
符号化モード判定部２２は、動き統計量算出部２２１と、判定部２２２とを有する。
動き統計量算出部２２１は、再符号化単位ごとに、フレーム符号化モードで符号化されたマクロブロックの動きベクトルのバラツキ度合いを表す統計量と、フィールド符号化モードで符号化されたマクロブロックの動きベクトルのバラツキ度合いを表す統計量とを求める。
【００９２】
上記のように、フレーム中で静止物体が写っている領域については、連続するフレーム間の相関性は高いので、そのような領域に対してはフレーム符号化モードが適用される方が符号化効率がよい。そして、この場合、その領域に含まれる各マクロブロックについての動きベクトルはほぼ等しいので、動きベクトルのバラツキは小さくなる。また、フレーム中に移動物体が写っている場合でも、写っている移動物体の数が例えば、1〜2個と少なく、かつその移動物体が剛体である場合も、連続するフレーム間の相関性は比較的高い。そしてフレームに含まれる各マクロブロックの動きベクトルのバラツキは比較的小さい。
【００９３】
一方、再度図４を参照すると、フレーム４００中の領域４１０のように、多数の小さな移動物体が写っており、それら移動物体が互いに対して異なる動きをしているとマクロブロックごとに動きベクトルの方向及び大きさも変わるので、動きベクトルのバラツキは大きくなる。そしてこのような領域については、連続するフレーム間の相関性は低いので、MBAFF方式では、フレーム符号化モードが適用されるマクロブロックよりもフィールド符号化モードが適用されるマクロブロックの方が多くなる。同様に、フレームに、時間が経過するにつれて変形する物体が写っている場合にも、フィールド符号化モードが適用されるマクロブロックが多く、動きベクトルのバラツキは大きくなる。このように、動きベクトルのバラツキ度合いと、符号化モードごとの符号化効率に関連性が認められるので、動きベクトルのバラツキ度合いを表す統計量は符号化モードを決定するための有用な情報となる。
【００９４】
そこで動き統計量算出部２２１は、動きベクトルのバラツキ度合いを表す統計量として、動きベクトルの大きさの分散を、次式に従って算出する。
【数２】
0005760950.tif 000003
ここで、VFieldMVは、フィールド符号化されたマクロブロックについての動きベクトルの大きさの分散であり、VFrameMVは、フレーム符号化されたマクロブロックについての動きベクトルの大きさの分散である。またAveFieldMVは、フィールド符号化されたマクロブロックについての動きベクトルの大きさの平均値であり、AveFrameMVは、フレーム符号化されたマクロブロックについての動きベクトルの大きさの平均値である。そしてFieldMVk(k=1,2,...,FieldNum)、FrameMVj(j=1,2,...,FrameNum)は、それぞれ、フィールド符号化された動きベクトルの大きさ及びフレーム符号化された動きベクトルの大きさを表す。また、FieldNum、FrameNumは、それぞれ、再符号化単位ごとの、フィールド符号化されたマクロブロックの総数及びフレーム符号化されたマクロブロックの総数を表す。なお、再符号化単位は、第１の実施形態と同様に、スライス単位、ピクチャ単位、GOP単位あるいはリオーダ単位とすることができる。
【００９５】
動き統計量算出部２２１は、再符号化単位ごとにVFrameMVとVFieldMVとを判定部２２２へ渡す。
【００９６】
なお、動き統計量算出部２２１は、それぞれの符号化モードについて、動きベクトルの大きさの分散の代わりに、水平方向成分または垂直方向成分についての分散を求めてもよい。あるいは、動き統計量算出部２２１は、それぞれの符号化モードについて、動きベクトルの方向の分散を求めてもよい。この場合、動きベクトルの方向は、例えば、動きベクトルとフレームの水平方向とのなす角度で表される。また、動き統計量算出部２２１は、それぞれの符号化モードについて、動きベクトルの大きさの分散の代わりに、動きベクトルの大きさの四分位数範囲を求めてもよい。
【００９７】
判定部２２２は、動きベクトルの分散VFrameMV、VFieldMVに基づいて、再符号化単位ごとに再符号化の際に適用される符号化モードを、フレーム符号化モードとフィールド符号化モードの中から選択する。
【００９８】
例えば、判定部２２２は、VFrameMVに対するVFieldMVの比(VFieldMV/VFrameMV)が所定の閾値Th3以上であれば、その再符号化単位に対して適用される符号化モードをフィールド符号化モードとする。逆に、その比(VFieldMV/VFrameMV)が閾値Th3未満であれば、判定部２２２は、その再符号化単位に対して適用される符号化モードをフレーム符号化モードとする。
なお、閾値Th3は、例えば、1に設定される。この場合、元の符号化された動画像データにおいて、フィールド符号化されたマクロブロックについての動きベクトルのバラツキ度合いがフレーム符号化されたマクロブロックについての動きベクトルのバラツキ度合い以上である場合にフィールド符号化モードが適用されることになる。あるいは、フレーム符号化モードよりもフィールド符号化モードの方が適用され易くするために、閾値Th3を1未満の所定値、例えば、0.8以上1未満の何れかの値に設定してもよい。
判定部２２２は、再符号化単位ごとに、フレーム符号化モードとフィールド符号化モードのうちの適用される符号化モードを再符号化部３０へ通知する。
【００９９】
図９は、第３の実施形態による動画像再符号化装置３により実行される動画像再符号化処理の動作フローチャートである。
復号部１０は、符号化された動画像データに含まれるピクチャ内の各マクロブロックの動きベクトルを可変長復号する（ステップＳ３０１）。そして復号部１０は、マクロブロックの動きベクトルを、そのマクロブロックの符号化モードを表す情報とともに符号化モード判定部２２へ通知する。また復号部１０は、符号化された動画像データに含まれる各ピクチャを復号する（ステップＳ３０２）。そして復号部１０は、復号した各ピクチャを再符号化部３０へ出力する。
【０１００】
符号化モード判定部２２の動き統計量算出部２２１は、再符号化単位の区切りの通知を受け取ったか否か判定する（ステップＳ３０３）。動き統計量算出部２２１が再符号化単位の区切りの通知を受け取っていなければ（ステップＳ３０３−Ｎｏ）、動画像再符号化装置３は、ステップＳ３０１以降の処理を繰り返す。
一方、動き統計量算出部２２１が再符号化単位の区切りの通知を受け取っていれば（ステップＳ３０３−Ｙｅｓ）、動き統計量算出部２２１は、再符号化単位ごとに、フレーム符号化されたマクロブロックについての動きベクトルの分散VFrameMVとフィールド符号化されたマクロブロックについての動きベクトルの分散VFieldMVとを算出する（ステップＳ３０４）。そして符号化モード判定部２１の判定部２２２は、フレーム符号化されたマクロブロックについての動きベクトルの分散VFrameMVに対する、フィールド符号化されたマクロブロックについての動きベクトルの分散VFieldMVの比(VFieldMV/VFrameMV)が所定の閾値Th3以上か否か判定する（ステップＳ３０５）。
【０１０１】
比(VFieldMV/VFrameMV)が閾値Th3以上である場合（ステップＳ３０５−Ｙｅｓ）、判定部２２２は、その再符号化単位に対して適用する符号化モードをフィールド符号化モードと判定し、その旨を再符号化部３０へ通知する（ステップＳ３０６）。一方、比(VFieldMV/VFrameMV)が閾値Th3未満である場合（ステップＳ３０５−Ｎｏ）、判定部２２２は、その再符号化単位に対して適用する符号化モードをフレーム符号化モードと判定し、その旨を再符号化部３０へ通知する（ステップＳ３０７）。
【０１０２】
再符号化部３０は、復号部１０から受け取った各ピクチャを再符号化する。その際、再符号化部３０は、インター符号化される各マクロブロックを、符号化モード判定部２２から通知された符号化モードに従って符号化する（ステップＳ３０８）。そして再符号化部３０は、再符号化された動画像データを出力し、再符号化処理を終了する。
【０１０３】
以上に説明してきたように、第３の実施形態による動画像再符号化装置は、入力された符号化された動画像データにおいて、フィールド符号化されたマクロブロックについての動きベクトルの分散が相対的に大きいと、再符号化の際に、フィールド符号化モードを適用する。これにより、例えば、動画像中で移動物体が含まれる割合の多い部分に対してフィールド符号化モードが適用されるので、PAFF方式での再符号化による符号化効率の低下を抑制できる。
【０１０４】
なお、変形例によれば、符号化モード判定部は、上記の各実施形態による判定基準のうちの何れか二つまたは三つ全てを組み合わせて、再符号化の際に適用される符号化モードを決定してもよい。例えば、符号化モード判定部は、動きベクトルの分散についての比(VFieldMV/VFrameMV)と閾値Th3との比較結果に応じて、フィールド符号化されたマクロブロックの数についての比(FieldNum/Total)に対する閾値Th1を調整してもよい。例えば、動きベクトルの分散についての比(VFieldMV/VFrameMV)が閾値Th3未満であれば、閾値Th1を0.5とし、一方、その比(VFieldMV/VFrameMV)が閾値Th3以上である場合、閾値Th1を0.5よりも小さくしてもよい。そして閾値Th1は、比(VFieldMV/VFrameMV)が大きいほど小さくなるように決定されてもよい。この変形例では、符号化モード判定部は、比(FieldNum/Total)が調整された閾値Th1以上であれば、フィールド符号化モードを適用すると判定し、そうでなければ、フレーム符号化モードを適用すると判定する。
【０１０５】
同様に、符号化モード判定部は、動きベクトルの分散についての比(VFieldMV/VFrameMV)が大きいほど、発生情報量についての比(FieldInfo/FrameInfo)に対する閾値Th2をより小さな値としてもよい。そして符号化モード判定部は、発生情報量についての比(FieldInfo/FrameInfo)が閾値Th2以上であれば、フィールド符号化モードを適用すると判定してもよい。あるいは、符号化モード判定部は、発生情報量についての比(FieldInfo/FrameInfo)が大きいほど、フィールド符号化されたマクロブロックの数についての比(FieldNum/Total)に対する閾値Th1をより小さな値としてもよい。そして符号化モード判定部は、フィールド符号化されたマクロブロックの数についての比(FieldNum/Total)が閾値Th1以上であれば、フィールド符号化モードを適用すると判定してもよい。
【０１０６】
さらにまた、符号化判定部は、動きベクトルの分散についての比(VFieldMV/VFrameMV)が閾値Th3以上であり、かつ、発生情報量についての比(FieldInfo/FrameInfo)が閾値Th2以上であれば、閾値Th1を0.5より小さな値、例えば、0.4に設定してもよい。一方、符号化判定部は、比(VFieldMV/VFrameMV)が閾値Th3未満であるか、または、比(FieldInfo/FrameInfo)が閾値Th2未満であれば、閾値Th1を0.5としてもよい。
【０１０７】
また他の変形例によれば、動画像再符号化装置に入力される、符号化された動画像データは、スライス単位でフィールド符号化モードまたはフレーム符号化モードが切り替えられてもよい。この場合も、動画像再符号化装置は、再符号化の際に、スライス単位よりも大きい再符号化単位、例えば、ピクチャ単位またはGOP単位で適用される符号化モードをフィールド符号化モードとフレーム符号化モードのうちで選択してもよい。
【０１０８】
なお、上記の各実施形態またはその変形例による動画像再符号化装置の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。
【０１０９】
図１０は、上記の各実施形態またはその変形例による動画像再符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像再符号化装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
【０１１０】
ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、表示装置上に表示された符号化された動画像データを選択するといったユーザの操作に応じて、動画像再符号化処理を開始させる操作信号をプロセッサ１０５へ出力する。
【０１１１】
通信インターフェース部１０２は、コンピュータ１００を、ビデオカメラなどの動画像入力装置（図示せず）と接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース部１０２は、画像入力装置または通信ネットワークに接続された他の機器から、符号化された動画像データを含むデータストリームを取得し、そのデータストリームをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、再符号化された動画像データを通信ネットワークを介して他の機器へ出力してもよい。
【０１１２】
記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像再符号化処理を実行するためのコンピュータプログラム、符号化された動画像データ、またはプロセッサ１０５により再符号化された動画像データなどを記憶する。
【０１１３】
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像再符号化処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。また記憶媒体アクセス装置１０４は、プロセッサ１０５により再符号化された動画像データを記憶媒体１０６に書き込んでもよい。
【０１１４】
プロセッサ１０５は、上記の各実施形態の何れかまたは変形例による動画像再符号化処理用コンピュータプログラムを実行することにより、符号化された動画像データを再符号化する。そしてプロセッサ１０５は、再符号化された動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。
【０１１５】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【０１１６】
１、２、３    動画像再符号化装置
１０    復号部
１１    可変長復号部
１２    逆量子化・逆直交変換部
１３    加算器
１４    参照画像記憶部
１５    予測画像生成部
２０、２１、２２    符号化モード判定部
２１１    発生情報量累積部
２２１    動き統計量算出部
２１２、２２２    判定部
３０    再符号化部
３１    動きベクトル計算部
３２    予測モード判定部
３３    予測画像生成部
３４    予測誤差信号生成部
３５    直交変換・量子化部
３６    逆量子化・逆直交変換部
３７    加算器
３８    参照画像記憶部
３９    可変長符号化部
【図１】
0005760950.tif 000004
【図２】
0005760950.tif 000005
【図３】
0005760950.tif 000006
【図４】
0005760950.tif 000007
【図５】
0005760950.tif 000008
【図６】
0005760950.tif 000009
【図７】
0005760950.tif 000010
【図８】
0005760950.tif 000011
【図９】
0005760950.tif 000012
【図１０】
0005760950.tif 000013