(57)【要約】【課題】  飛び越し走査方式の信号を符号化した動画像符号列の再符号化の際の符号化効率低下を抑え、変換に要する計算量を軽減する。【解決手段】  復号化部において、第１動画像符号列から復号画像と符号化パラメータを生成する。符号化パラメータ変換部では、まず上下マクロブロックの組に対する符号化構造を、対応するマクロブロックの符号化構造に基づいて設定し、その符号化構造に基づいて動きベクトルなど残りのパラメータを変換する。符号化パラメータ生成部で、フレーム内符号化用のパラメータなどの符号化パラメータを生成し、符号化パラメータ選択部で最適なパラメータを選び、符号化部で再符号化処理を行う。【選択図】  図１
2006217569.tif 000002
【特許請求の範囲】
【請求項１】
飛び越し順序走査方式の映像信号をマクロブロック単位で圧縮符号化して得られる第１符号列を、マクロブロック単位で圧縮符号化される符号化方式に基づく第２符号列に変換する装置であって、
入力された第１符号列を復号化して復号画像および第１符号化パラメータを得る復号化部と、
前記復号画像上で垂直方向に隣接する前記第２符号列に関するマクロブロックの組の各々について、前記画像上で前記各組に対応する前記第１符号列に関する複数の対応マクロブロックの各々の前記第１符号化パラメータを変換して変換符号化パラメータを求める符号化パラメータ変換部と、
前記組の各マクロブロックの第２符号化パラメータとして、前記組に関して求められた前記変換符号化パラメータを選択する符号化パラメータ選択部と、
前記符号化パラメータ選択部で選択された前記第２符号化パラメータを用いて前記復号画像を圧縮符号化して、前記第２符号列を生成する符号化部と、
を備える画像符号列変換装置。
【請求項２】
請求項１に記載の画像符号列変換装置は、さらに、
復号画像若しくは既に生成された前記第２符号列を用いて符号化パラメータ候補を生成する符号化パラメータ生成部を有し、
前記符号化パラメータ選択部は、前記符号化パラメータ候補および前記変換符号化パラメータの中から、前記組の各マクロブロックの第２符号化パラメータを選択する、
請求項１に記載の画像符号列変換装置。
【請求項３】
前記第１符号化パラメータは
マクロブロックの符号化構造がフィールド構造とフレーム構造とのいずれであるかを示す符号化構造情報、
マクロブロックの予測タイプを示す予測タイプ情報、および、
マクロブロックのＤＣＴタイプを示すＤＣＴタイプ情報、
うちの少なくとも一つを含み、
前記第２符号化パラメータおよび前記変換符号化パラメータは、
マクロブロックのＤＣＴタイプを示すＤＣＴタイプ情報、
を含み、
前記符号化パラメータ変換部は、
前記対応マクロブロックの符号化構造情報、
前記対応マクロブロックの予測タイプ情報、および、
前記対応マクロブロックのＤＣＴタイプ情報、
のうちの少なくとも一つに基づいて、前記変換符号化パラメータの符号化構造情報を設定する、
請求項１または２のいずれか一項に記載の画像符号列変換装置。
【請求項４】
前記符号化パラメータ変換部は、
前記各組に対応する前記対応マクロブロックの各々の第１符号化パラメータの符号化構造情報を抽出する抽出部と、
前記抽出部によって抽出された前記各組の符号化構造情報について、フィールド構造を示す値を有する対応マクロブロックの数とフレーム構造を示す値を有する対応マクロブロックの数とを比較する比較部と、
前記比較部による比較の結果が同数である前記組の各マクロブロックの符号化構造情報にはフィールド構造を示す値を設定し、フィールド構造の対応マクロブロックの数が多い前記組の各マクロブロックの符号化構造情報にはフィールド構造を示す値を設定し、フレーム構造の対応マクロブロックの数が多い前記組の各マクロブロックの符号化構造情報にはフレーム構造を示す値を設定する設定部と、
を備える、請求項３に記載の画像符号列変換装置。
【請求項５】
前記符号化パラメータ変換部は、
前記各組に対応する前記対応マクロブロックの各々の第１符号化パラメータの符号化構造情報を抽出する抽出部と、
前記抽出部によって抽出された前記各組の符号化構造情報について、フィールド構造を示す値を有する対応マクロブロックが存在するか否かを判定する判定部と、
前記判定部による判定の結果、一つでもフィールド構造を示す値を有する対応マクロブロックが存在すればフィールド構造を示す値を設定し、すべての対応マクロブロックがフレーム構造を示す値を有する場合はフレーム構造を示す値を設定する設定部と、
を備える、請求項３に記載の画像符号列変換装置。
【請求項６】
前記符号化パラメータ変換部は、
前記各組に対応する前記対応マクロブロックの各々の第１符号化パラメータの符号化構造情報を抽出する抽出部と、
前記各組に対応する前記対応マクロブロックを第１符号化パラメータの符号化構造情報の値で分類し、前記分類ごとの評価値を前記分類に属する前記対応マクロブロックの第１符号化パラメータを用いて求める評価値算出部と、
前記評価値の大きさに応じて、前記組の各マクロブロックの符号化構造情報を設定する設定部と、
を備える、請求項３に記載の画像符号列変換装置。
【請求項７】
前記符号化パラメータ変換部は、さらに、
前記抽出部によって抽出された前記各組の符号化構造情報について、フィールド構造を示す値を有する対応マクロブロックの数とフレーム構造を示す値を有する対応マクロブロックの数とを比較する比較部、
を備え、
前記符号化パラメータ変換部の前記設定部は、
前記比較部による比較の結果が同数である前記組の各マクロブロックの符号化構造情報にはフィールド構造を示す値を設定し、数が異なる前記組の各マクロブロックの符号化構造情報には前記評価値が高い方の符号化構造を示す値を設定する、
請求項６に記載の画像符号列変換装置。
【請求項８】
前記符号化パラメータ変換部における評価値算出部は、
フィールド構造を示す値を有する対応マクロブロック群と、フレーム構造を示す値を有する対応マクロブロック群の各々について第2符号列に関するマクロブロックの組が対応する面積を算出し、
その対応面積の値に基づいて、フィールド構造およびフレーム構造の各々に対する評価値を算出することを特徴とする、
請求項６に記載の画像符号列変換装置。
【請求項９】
前記符号化パラメータ変換部における、組のマクロブロックに対する符号化構造の設定部は、
フィールド構造の評価値がフレーム構造の評価値以上であれば組のマクロブロックの符号化構造をフィールド構造とし、それ以外の場合はフレーム構造とすることを特徴とする
請求項６に記載の画像符号列変換装置。
【請求項１０】
前記符号化パラメータ変換部における、組のマクロブロックに対する符号化構造の設定部は、
フィールド構造の評価値を重み係数により調整を施した値が、フレーム構造の評価値以上であれば組のマクロブロックの符号化構造をフィールド構造とし、それ以外の場合はフレーム構造とすることを特徴とする、
請求項６に記載の画像符号列変換装置。
【請求項１１】
前記符号化パラメータ変換部の前記設定部は、変換元の第１符号列に含まれる符号化情報と変換後の符号列についての符号化情報との関係に基づいて、前記重み係数を一意に又は適応的に調整することを特徴とする、
請求項１０に記載の画像符号列変換装置。
【請求項１２】
前記第１符号化パラメータ、前記第２符号化パラメータおよび前記変換符号化パラメータは、マクロブロックの符号化構造がフィールド構造とフレーム構造とのいずれであるかを示す符号化構造情報を含み、
前記符号化パラメータ変換部は、
前記組の各マクロブロックの符号化構造情報と前記対応マクロブロックの各々の符号化構造情報とを比較する符号化構造情報比較部と、
符号化構造情報が異なる前記組に関する前記対応マクロブロックに含まれる第１符号化パラメータを前記組の各々の符号化構造に合わせて変換する符号化構造情報変換部と、
を備える、請求項１または２のいずれか一項に記載の画像符号列変換装置。
【請求項１３】
前記符号化構造情報変換部は、符号化構造情報が異なる前記組に関する前記対応マクロブロックに含まれる動きベクトルを時間軸に合わせてスケーリングする変換を行う、
請求項１２に記載の画像符号列変換装置。
【請求項１４】
前記符号化パラメータ生成部は、
フレーム内符号化に関する情報、
マクロブロックスキップに関する情報、および、
ダイレクト予測符号化に関する情報、
を含む符号化パラメータ候補を生成する、
請求項２に記載の画像符号列変換装置。
【請求項１５】
前記第１符号化パラメータは、前記第１符号列において、前記対応マクロブロックの各々がフレーム間符号化されているか或いはフレーム内符号化されているかを示す予測タイプ情報を含み、
前記符号化パラメータ生成部は、
前記対応マクロブロックのうちフレーム内符号化されたものについて、前記第２符号列の当該マクロブロックの周囲にある、すでに圧縮符号化済みの前記第２符号列のマクロブロックの動きベクトル情報から、当該マクロブロックに対する動きベクトル予測値を計算する手段と、
前記対応マクロブロックのうちフレーム内符号化されたものについて、前記計算された動きベクトル予測値を、当該マクロブロックの符号化パラメータ候補として設定する手段と、
を備える、請求項２に記載の画像符号列変換装置。
【請求項１６】
前記符号化パラメータ選択部は、
符号化パラメータ候補と変換符号化パラメータとの各々を用いて生成された予測誤差信号の差分絶対値和に基づいて選択する、
請求項２に記載の画像符号列変換装置。
【請求項１７】
前記符号化パラメータ選択部は、
符号化パラメータ候補と変換符号化パラメータとの各々を用いて圧縮符号化した場合のレート歪み特性に基づいて選択する、
請求項２に記載の画像符号列変換装置。
【請求項１８】
前記符号化パラメータ選択部は、
符号化パラメータ候補と変換符号化パラメータとの各々を用いて圧縮符号化した場合の発生符号量に基づいて選択する、
請求項２に記載の画像符号列変換装置。
【請求項１９】
解像度変換部をさらに備えることを特徴とする、
請求項１から請求項１８のいずれか１項に記載の画像符号列変換装置。
【請求項２０】
飛び越し順序走査方式の映像信号をマクロブロック単位で圧縮符号化して得られる第１符号列を、マクロブロック単位で圧縮符号化される符号化方式に基づく第２符号列に変換する方法であって、
入力された第１符号列を復号化して復号画像および第１符号化パラメータを得る復号化ステップと、
前記復号画像上で垂直方向に隣接する前記第２符号列のマクロブロックの組に関して、前記画像上で前記組に対応する前記第１符号列の複数の対応マクロブロックの各々の前記第１符号化パラメータを変換して変換符号化パラメータを求める符号化パラメータ変換ステップと、
前記組の各マクロブロックの第２符号化パラメータとして、前記組に関して求められた前記変換符号化パラメータを選択する符号化パラメータ選択ステップと、
前記符号化パラメータ選択部で選択された前記第２符号化パラメータを用いて前記復号画像を圧縮符号化して、前記第２符号列を生成する符号化ステップと、
を備える画像符号列変換方法。
【請求項２１】
復号画像若しくは既に生成された前記第２符号列を用いて符号化パラメータ候補を生成する符号化パラメータ生成ステップをさらに有し、
前記符号化パラメータ選択ステップでは、前記符号化パラメータ候補および前記変換符号化パラメータの中から、前記組の各マクロブロックの第２符号化パラメータを選択する、
請求項２０に記載の画像符号列変換方法。
【請求項２２】
飛び越し順序走査方式の映像信号をマクロブロック単位で圧縮符号化して得られる第１符号列を、マクロブロック単位で圧縮符号化される符号化方式に基づく第２符号列に変換する処理をコンピュータに実行させるプログラムであって、
入力された第１符号列を復号化して復号画像および第１符号化パラメータを得る復号化ステップと、
前記復号画像上で垂直方向に隣接する前記第２符号列のマクロブロックの組に関して、前記画像上で前記組に対応する前記第１符号列の複数の対応マクロブロックの各々の前記第１符号化パラメータを変換して変換符号化パラメータを求める符号化パラメータ変換ステップと、
前記組の各マクロブロックの第２符号化パラメータとして、前記組に関して求められた前記変換符号化パラメータを選択する符号化パラメータ選択ステップと、
前記符号化パラメータ選択部で選択された前記第２符号化パラメータを用いて前記復号画像を圧縮符号化して、前記第２符号列を生成する符号化ステップと、
を実行させる画像符号列変換プログラム。
【請求項２３】
復号画像若しくは既に生成された前記第２符号列を用いて符号化パラメータ候補を生成する符号化パラメータ生成ステップをさらに有し、
前記符号化パラメータ選択ステップでは、前記符号化パラメータ候補および前記変換符号化パラメータの中から、前記組の各マクロブロックの第２符号化パラメータを選択する、
請求項２２に記載の画像符号列変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号列変換装置、画像符号列変換方法および画像符号列変換プログラムに関する。
【背景技術】
【０００２】
（従来技術）
従来の動画像符号列変換装置では、特許文献1に開示されているように、入力された第1動画像符号列を、ビットレートや符号化方式などの異なる第2動画像符号列へと変換する際に、第1動画像符号列に含まれる符号化パラメータを抽出し、第2動画像符号列への再符号化に適した符号化パラメータを適応的に選択して利用することで、再符号化に要する計算量の削減を行うものがあった。
【０００３】
（問題点）
動画像の圧縮符号化に用いられる符号化方式としては、MPEG-2（Moving Picture Experts Group Phase 2）ビデオ方式や、MPEG-4ビジュアル方式、ITU-T(International Telecommunication Union-Telecommunication Standardization Sector)にて国際標準になっているH.264方式などが存在する。これらの符号化方式では、一つのピクチャについて、サイズの定義されたマクロブロックと呼ばれる処理単位に分割され、その各々のマクロブロックについて、動きベクトルや符号化モードといった符号化パラメータが設定されている。
【０００４】
上記の符号化方式で飛び越し走査方式の入力信号を符号化する際、符号化方式毎にその取り扱い方が異なることがある。例えば、MPEG-2ビデオ方式では、ピクチャ毎、もしくはマクロブロック一つ一つ毎に、フィールド構造とフレーム構造を切り替えて符号化することができる。
【０００５】
一方、H.264方式では、ピクチャ単位で符号化構造を切り替える場合にはMPEG-2と同様であるが、マクロブロック単位で符号化構造を切り替える場合、MB-AFF ( Macroblock-Adaptive Frame-Field Coding) と呼ばれる符号化方法を用いる。
【０００６】
このMB-AFFという符号化方法では、垂直方向上下に並んだ二つのマクロブロックをまとめてマクロブロックペアと呼ばれる処理単位で管理を行い、このマクロブロックペア単位でフィールド構造とフレーム構造の切替が行われる。このため、マクロブロックペアに含まれる上下のマクロブロックには、符号化構造が一致しなければならない、トップフィールドとボトムフィールドの符号化パラメータを上下のマクロブロックで分けて管理しなければいけないといった、いくつかの制約条件が発生する。
【０００７】
このため、飛び越し走査方式である入力信号をMPEG-2で圧縮符号化された動画像符号列から、H.264の符号化形式の動画像符号列へと変換するような場合、従来の技術ではマクロブロックの符号化パラメータを個別に設定するために、マクロブロックペアにおける上記制約条件を満たしながら、効率よくマクロブロックペアの符号化パラメータを設定することができなかった。
【特許文献１】特開2003-9158公報（第７頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述したように、従来技術には、第2の動画像符号列におけるマクロブロックペアに対する符号化パラメータを、第1の動画像符号列におけるマクロブロックの符号化パラメータから効率よく変換できないという問題があった。
【０００９】
本発明は、上記従来技術の問題点を解決するためになされたものであって、第2動画像符号列における各マクロブロックペアの符号化パラメータを決定する際に、上記マクロブロックペアに対応する、第1動画像符号列における複数のマクロブロックを検出し、対応マクロブロックの符号化パラメータを用いて、一度にマクロブロックペアの符号化パラメータを設定することにより、第1動画像符号列の情報をより効率よく第2動画像符号列の符号化に応用して高い符号化効率の実現を可能とする動画像符号列変換装置、動画像符号列変換方法および動画像符号列変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明の一側面の画像符号列変換装置は、
飛び越し順序走査方式の映像信号をマクロブロック単位で圧縮符号化して得られる第１符号列を、マクロブロック単位で圧縮符号化される符号化方式に基づく第２符号列に変換する装置であって、
入力された第１符号列を復号化して復号画像および第１符号化パラメータを得る復号化部と、
前記復号画像上で垂直方向に隣接する前記第２符号列に関するマクロブロックの組の各々について、前記画像上で前記各組に対応する前記第１符号列に関する複数の対応マクロブロックの各々の前記第１符号化パラメータを変換して変換符号化パラメータを求める符号化パラメータ変換部と、
前記組の各マクロブロックの第２符号化パラメータとして、前記組に関して求められた前記変換符号化パラメータを選択する符号化パラメータ選択部と、
前記符号化パラメータ選択部で選択された前記第２符号化パラメータを用いて前記復号画像を圧縮符号化して、前記第２符号列を生成する符号化部と、
を備える。
【発明の効果】
【００１１】
本発明によれば、第2動画像符号列におけるマクロブロックペアに対する符号化パラメータを、第1動画像符号列における対応マクロブロックの符号化パラメータに基づいてまとめて設定することにより、マクロブロックペアにおける符号化パラメータの制約条件を満たしながら、効率よく符号化パラメータを再利用することができ、符号化効率の向上および画質劣化の抑制が可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について説明する。
【００１３】
（第１の実施形態）
図１は、本発明の第1の実施形態に関わる動画像符号列変換装置を示すブロック図である。
【００１４】
この第1の実施形態に関わる動画像符号列変換装置は、
入力である第1動画像符号列100を復号化し、復号画像101の生成と符号化パラメータ102の抽出を行う復号化部110と、
符号化パラメータ102を分析し、第2の動画像符号列の符号化形式にあわせて符号化パラメータを変換する符号化パラメータ変換部111と、
復号画像101と既に符号化済みの第2動画像符号列103を用いて符号化パラメータ候補104を生成する符号化パラメータ生成部113と、
符号化パラメータ変換部111で変換された符号化パラメータ105と符号化パラメータ生成部で生成された符号化パラメータ104とから最終的に符号化に用いるパラメータ106を選択する符号化パラメータ選択部112と、
符号化パラメータ選択部112で選択された符号化パラメータ106を用いて第2動画像符号列の生成を行う符号化部114
とを備えている。
【００１５】
本実施例では、特に第1の動画像符号列について、飛び越し走査の動画像信号を符号化方式MPEG-2を用いて符号化したものを用いる。また、第2の動画像符号化信号として、MPEG-4 AVCを用いる場合について説明する。
【００１６】
次に図１および図２を用いて、本発明の第１の実施形態に係わる動画像符号列変換装置の動作について説明する。図２は、本発明の第１の実施形態に係わる動画像符号列変換装置の動作を示すフローチャートである。
【００１７】
第1動画像符号列100を復号化部110に入力する(ステップS100)。
【００１８】
復号化部110において、第1の動画像符号化列100を復号化し、符号化パラメータ102と復号画像101を生成する(ステップS101)。
【００１９】
符号化パラメータ変換部111において、第1動画像符号列100の符号化パラメータ102を第2の符号化パラメータ105に変換する(ステップS102)。
【００２０】
符号化パラメータ生成部113で第1動画像符号列の復号画像101と既に符号化済みの第2動画像符号列103を用いて符号化パラメータ104を生成しておく(ステップS103)。
【００２１】
符号パラメータ選択部112で、符号化パラメータ変換部で変換されたパラメータ105と、符号化パラメータ生成部で生成されたパラメータ104とを評価し、最終的に符号化に用いるパラメータ106を選択する(ステップS104)。
【００２２】
符号化パラメータ選択部で選択されたパラメータ106を用いて、符号化部114で第1動画像符号列の復号画像を第2動画像符号列103に符号化し(ステップS105)、第2動画像符号列103を出力する(ステップS106)。
【００２３】
なお、符号化パラメータ生成部113に、第1の動画像符号化列100から抽出した符号化パラメータを符号化パラメータ変換部111で変換する際に得られる符号化情報107を入力し、符号化パラメータ生成のための参照データとして用いる構成としてもよい。
【００２４】
以下、図１における各処理部の詳細を説明する。
【００２５】
（復号化部）
復号化部110では、入力動画像符号列100を復号化し、復号画像101と第1動画像符号列に含まれる符号パラメータ102を抽出する。
【００２６】
ここで抽出する符号化パラメータ102は、第1動画像符号列100がMPEG-2の場合には、下記の情報を含む。
【００２７】
符号列に含まれる復号画像の縦横の大きさを表す解像度情報、
符号列全体が順次走査方式であるか否かを示すプログレッシブ情報、
ピクチャのピクチャタイプ（フレーム内符号化（Iピクチャ）、フレーム間符号化（Pピクチャ、Bピクチャ））、
ピクチャの符号化構造（フレーム、フィールド）、
マクロブロックの符号化モード（フレーム内符号化、フレーム間符号化）、
マクロブロックの動き予測における参照先を示す動きベクトル、
マクロブロックの動き補償時のブロック形状、
マクロブロックがフレーム内符号化の場合に存在するDCTタイプ、
マクロブロックがフレーム間符号化の場合に存在する予測タイプ、
マクロブロックの動きベクトルがいずれのフィールドを参照しているかを表すフィールドセレクト、
本実施形態の復号化部１１０はこれらの情報を符号化パラメータ102として抽出する。
【００２８】
（符号化パラメータ変換部）
符号化パラメータ変換部111の処理の流れを、図３に示す。
【００２９】
マクロブロックペアに対応するマクロブロックを求める(ステップS110)。
【００３０】
対応マクロブロックに基づき、マクロブロック及びマクロブロックペアの符号化構造、すなわち、フレーム構造での符号化かフィールド構造での符号化かを決定する(ステップS111およびS112)。
【００３１】
決定されたマクロブロックペアと、対応マクロブロックの各々の符号化構造とを比較し(ステップS113)、矛盾するパラメータや足りないパラメータが存在する場合は変換もしくは生成する(ステップS114)。
【００３２】
対応マクロブロックの符号化パラメータを、第2動画像符号列の符号化方式にあわせて変換を行い(ステップS115)、第2動画像符号列生成の際の符号化パラメータ候補として出力する。
【００３３】
以下、図３の各処理を具体的に説明する。
【００３４】
（Ｓ１１０：対応マクロブロックの検出）
マクロブロックペアに対応するマクロブロックを求める。本実施形態では解像度変換処理を含まず、第1の動画像符号列と第2の動画像符号列と解像度が一緒であり、マクロブロックの大きさも両方の符号化方式で一致することから、図４のように、第2の動画像符号列における変換先のマクロブロックペア200に対して第1の動画像符号列の変換元の2個のマクロブロック201および202が対応することとなる。
【００３５】
（Ｓ１１１：対応マクロブロックの符号化構造の設定）
対応マクロブロックの各々について、符号化構造を求める。本発明において、符号化構造とは、フィールド構造、もしくはフレーム構造のいずれかとして定義される。
【００３６】
符号化構造の具体的な判定方法を図５に示す。まず、マクロブロックの符号化モードを分析し(ステップS120)、フレーム内符号化（Intra）であるか、フレーム間符号化（NonIntra）であるかを判定する(ステップS121)。
【００３７】
フレーム間符号化の場合には、同じくマクロブロックに含まれる予測タイプの情報を分析(ステップS123およびS125)、予測タイプがフィールド予測であればフィールド構造(ステップS127)、フレーム予測であればフレーム構造とする(ステップS126)。
【００３８】
マクロブロックの符号化モードがフレーム内符号化だった場合には、マクロブロックのDCTタイプの情報を分析し(ステップS122およびS124)、DCTタイプがフィールドDCTであればフィールド構造(ステップS127)、フレームDCTであればフレーム構造(ステップS126)とする。
【００３９】
（Ｓ１１２：マクロブロックペアの符号化構造決定）
各マクロブロックの符号化構造の判定が完了した後、対応マクロブロックの符号化構造に基づいて、マクロブロックペアの符号化構造を決定する。
【００４０】
具体的な処理の流れを図６に示す。
【００４１】
対応する2つのマクロブロックの符号化構造を比較する(ステップS130およびS131)。
【００４２】
2つのマクロブロックの符号化構造が等しい場合(ステップS131がYesの場合)には、その符号化構造をそのままマクロブロックペアの符号化構造とする。すなわち、両方のマクロブロックの符号化構造がフィールド構造であればフィールド構造(ステップS133)に、フレーム構造であればフレーム構造とする(ステップS134)。
【００４３】
一方がフレーム構造、もう一方がフィールド構造の場合には(ステップS131がNoの場合)、マクロブロックペアの符号化構造はフィールド構造とする(ステップS133)。
【００４４】
変換元のピクチャのピクチャタイプがフレーム内符号化であった場合には、マクロブロックペアの符号化モードをフレーム内符号化として、符号化パラメータの変換処理を終了する。変換元のピクチャの符号化モードがフレーム間符号化の場合は、予測符号化に用いられる符号化パラメータを下記のように変換する。
【００４５】
（Ｓ１１４：マクロブロックペアの符号化構造にあわせた、対応マクロブロックのパラメータの変換）
マクロブロックペアと対応する各々のマクロブロックの符号化パラメータを、マクロブロックペアの符号化構造と合致するよう、第1動画像符号列の符号化方式に則って変換を行う。
【００４６】
（フレーム内符号化からフレーム間符号化への変換）
具体的な処理の流れを図７に示す。まず、対応マクロブロックの各々ついて、マクロブロックの符号化モードがフレーム内符号化である場合には(ステップS141がYesの場合)、フレーム間符号化モードへと変換し、本来存在しない動きベクトルや予測タイプも、マクロブロックの符号化構造に基づいて生成する(ステップS142)。
【００４７】
具体的には、フレーム内符号化のDCTタイプがフィールド構造のときは予測タイプをフィールド予測に、DCTタイプがフレーム構造のときはフレーム予測に設定する。動きベクトルは、符号化部側で動きベクトル予測による動きベクトル生成を行うよう、フラグを設定しておく。これらの対応は、本実施形態における符号化パラメータ変換では、変換対象のピクチャのピクチャタイプがフレーム間符号化の場合、変換結果として出力する符号化パラメータは全てフレーム間符号化用とするためである。
【００４８】
（符号化構造の変更に伴う動きベクトルの変換）
次に、対応マクロブロックの各々の符号化構造と、変換先のマクロブロックペアの符号化構造を比較する(ステップS143)。符号化構造が異なる場合には(ステップS143がYesの場合)、マクロブロックペアの構造にあわせて、対応マクロブロックの符号化構造、動きベクトル、および予測タイプの変換を行う(ステップS144)。
【００４９】
具体的には、対応マクロブロック８００の符号化構造がフレーム構造、マクロブロックペア８０１の符号化構造がフィールド構造であった場合には、図８に示すように対応マクロブロック８００の予測タイプをフィールドとし、フレーム予測動きベクトルをフィールド予測動きベクトルに変換する。このとき、フレーム予測動きベクトルMV2の垂直成分を半分として、同じ値を持つ二つのフィールド予測MV2'（topMV2'およびbottomMV2'）を生成する。
【００５０】
また、対応マクロブロックの符号化構造がフィールド構造、マクロブロックペアの符号化構造がフレーム構造だった場合には、対応マクロブロックに含まれるフィールド予測動きベクトルからフレーム予測動きブロックを生成する。以上の変換処理を、対応マクロブロックの符号化構造が全てマクロブロックペアの符号化構造と一致するまで繰り返す(ステップS145)。
【００５１】
（符号化形式変換）
対応マクロブロックとマクロブロックの符号化構造の対応がとれたら、最後に動きベクトルおよび動き補償ブロック形状の変換を行う。
【００５２】
具体的な変換方法を図９および図10に示す。
【００５３】
図９はマクロブロックペアの符号化構造がフレーム構造の場合の動き補償ブロック９００および９０１の形状を示す。マクロブロックペアの符号化構造がフレーム構造の場合、図９に示すように動き補償ブロック形状は上下共に16x16とし、動きベクトルは、フレーム予測動きベクトルとして、画素精度を考慮した上で同じ参照位置を指す動きベクトルへと変換する。
【００５４】
図１０はマクロブロックペアの符号化構造がフィールド構造の場合の動き補償ブロック１０００、１００１、１００２および１００３の形状と動きベクトルの割り当てとを示す。
【００５５】
一方、マクロブロックペアの符号化構造がフィールド構造の場合、図１０に示すように動き補償ブロック形状は16x8とする。また、動きベクトルについては、トップフィールドに関する2つの動きベクトルtopMV1およびtopMV2をマクロブロックペアの上のマクロブロックに割り当て、ボトムフィールドに関する2つの動きベクトルbottomMV1およびbottomMV2をマクロブロックペアの下のマクロブロックに割り当てる。
【００５６】
なお、動きブロック形状については、上記のように設定されたブロック形状の他のブロック形状に関するパラメータを設定しても良い。
【００５７】
例えば、フィールド構造の場合、16x8のブロック形状2つから、16x16のブロック形状を設定しても良い。この場合、動きベクトルは2つの16x8ブロック形状用のもののうち、残差信号の大きさなどの評価値を用いていずれか一方の動きベクトルを選択する。
【００５８】
そのほか、16x16のブロック形状1つから、16x8ブロック形状を2つ生成しても良い。この場合、動きベクトルは2つのブロック形状に対して共に16x16ブロック形状用の動きベクトルを割り当てても良いし、動きベクトル予測を用いると設定しておき、後段の符号化パラメータ生成部で動きベクトルを算出させても良い。
【００５９】
（符号化パラメータ生成部）
符号化パラメータ変換部111が、第1動画像符号列100の符号化パラメータ102から、第2動画像符号列用の符号化パラメータ105を生成するのに対して、符号化パラメータ生成部113では、第1動画像符号列の復号画像101と既に符号化済みの第2動画像符号列103を用いて第2動画像符号列用の符号化パラメータを生成する。
【００６０】
例えば第1動画像符号列のピクチャタイプがフレーム間符号化である場合、符号化パラメータ部は主にフレーム間符号化用の符号化パラメータを生成することから、符号化パラメータ生成部では、符号化パラメータ変換部により生成されないフレーム内符号化用パラメータ、スキップ、ダイレクト予測用のデータを生成する。
【００６１】
また、フレーム間符号化パラメータについても、符号化パラメータ変換部で予測動きベクトルを用いるとしてフラグを設定された箇所については、符号化パラメータ生成部で動きベクトル予測を行い、動きベクトルを生成する。
【００６２】
（符号化パラメータ選択部）
符号化パラメータ選択部の処理の流れを、図11に示す。
【００６３】
符号化パラメータ変換部111と符号化パラメータ生成部113とから、変換に用いる変換パラメータ候補105および104を取得する。具体的には、符号化パラメータ変換部111で生成されたフレーム間予測用符号化パラメータ105と、符号化パラメータ生成部113部で生成された、フレーム内予測用符号化パラメータおよびその他の符号化パラメータ104を取得する。
【００６４】
各符号化パラメータの候補について、符号化効率の評価を行う。具体的には、動きベクトルの評価であれば差分絶対和（SAD : Sum of Absolute Difference）やレート歪み特性（R-D : Rate-Distortion）などを用いることができる。
【００６５】
最後に、もっとも符号化効率の良い符号化パラメータを、実際の符号化に用いるパラメータとして選択する。
【００６６】
（符号化部）
符号化部では、符号化パラメータ選択部で選択したパラメータを用いて、復号画像を符号化処理し、第2動画像符号列を生成して出力する。
【００６７】
このように、第１の実施形態に係わる動画像符号列変換装置によれば、マクロブロックペアに対する符号化パラメータを、対応するマクロブロックの符号化パラメータに基づいてまとめて設定することにより、マクロブロックペアにおける符号化パラメータの制約条件を満たしながら、効率よく符号化パラメータを再利用することができ、符号化効率の向上および画質劣化の抑制が可能となる。
【００６８】
（第２の実施形態）
図12は、本発明の第２の実施形態に関わる動画像符号列変換装置を示すブロック図である。
【００６９】
第1の実施形態における図１と比較して、解像度変換部120が復号化部110に後置され、復号化画像101を解像度変換した上で再符号化している点が異なる。
【００７０】
本実施形態において、解像度変換部は、入力信号の解像度よりも低い解像度へ変換するものとする。
【００７１】
第２の実施形態における符号化パラメータ変換部111では、一つのマクロブロックペアに対応する対応マクロブロックの数は2より多い数になる。具体的に対応マクロブロックとの関係を示した例を図13に示す。図１３の例では、マクロブロックペア３００に、復号化画像１０１の２４個分のマクロブロックを占める対応マクロブロック３０１および３０２が対応している。
【００７２】
なお、マクロブロックペアの符号化構造としてより積極的にフィールド構造を用いるため、対応マクロブロックにフィールド構造のものが一つでも含まれる（MNUM1>0）場合に、マクロブロックペアの符号化構造をフィールド構造としてもよい。
【００７３】
（マクロブロックペアの符号化構造決定）
は、第1の実施形態における図６の処理とは異なり、対応する複数マクロブロックの符号化構造の数に基づいて決定される。具体的な処理の流れを図14に示す。
【００７４】
まず、図13に示すような、第2動画像符号列の各マクロブロックペア300に対応する、第1動画像符号列の複数のマクロブロック(301および302で示した領域に含まれる複数の対応マクロブロック)を抽出し、その中の各マクロブロックの符号化構造を把握する(ステップS170)。
【００７５】
次に、複数の対応マクロブロックの符号化構造について、フィールド構造のマクロブロック数MNUM1とフレーム構造のマクロブロック数MNUM2を算出する(ステップS171)。
【００７６】
次に、フィールド構造のマクロブロック数MNUM1とフレーム構造のマクロブロック数MNUM2とを比較する(ステップS172)。この比較の結果、フレーム構造のマクロブロック数MNUM2がフィールド構造 のマクロブロック数MNUM1より多い場合は、フレーム構造を用いたい再符号化により第2動画像符号列を生成し(ステップS173)、フレーム構造のマクロブロック数MNUM2がフィールド構造のマクロブロック数MNUM1より少ない場合は、フィールド構造を用いた再符号化により第2動画像符号列を生成する(ステップS174)。
【００７７】
MNUM1とMNUM2を比較し、同数の場合にはフィールド構造を用いた再符号化により第2動画像符号列を生成する(ステップS174)。
【００７８】
また、MNUM1とMNUM2の数が同数の場合に、各マクロブロックについて符号化パラメータに基づいた評価値を設定し、各符号化構造の評価値の和を用いて符号化構造を決定しても良い。評価値としては、マクロブロックの符号量や符号量と量子化値との積などがある。
【００７９】
以上では、フィールド構造のマクロブロック数NUM1とフレーム構造のマクロブロック数NUM2のみを単純に比較することで第2動画像符号列を生成する際の符号化構造を決定する手法について説明した。
【００８０】
しかしながら、例えば、第2動画像符号列のマクロブロックペアに対応する各々の符号化構造を持つマクロブロックの対応面積を求め、対応面積の比率に応じて評価値を設定し、マクロブロックペアの符号化構造を判定することにより符号化構造を決定するとしてもよい。以下では、このような決定手法を適用するに場合について説明する。
【００８１】
ここでは、特に水平方向の解像度を変換する場合について説明する。
【００８２】
まず、1つのマクロブロックペアに対して、図18に示すようにa:bの比率で4つのマクロブロックが対応しているものとする。
【００８３】
このとき、フィールド構造に関する評価値Vfieldとフレーム構造に関する評価値Vframeとを以下の式１及び式２を用いて求める。ここで、VfieldとVframeとの値の比が、マクロブロックペアがフレーム構造のマクロブロックに対応する面積と、フィールド構造のマクロブロックに対応する面積との比を表している。
【数１】
2006217569.tif 000003
【数２】
2006217569.tif 000004
【００８４】
ただし、式１及び式２中のMB0、MB1、MB2、MB3は、それぞれ図１８に示す４つのマクロブロックの面積を表す。また、式１及び式２中のTfield及びTframeは、それぞれ対象マクロブロックの符号化構造がフィールド構造であるかフレーム構造であるかを定義する関数であり、以下に示す式３及び式４で定義される。
【数３】
2006217569.tif 000005
【数４】
2006217569.tif 000006
【００８５】
本手法に基づく具体的な処理の流れを図19に示す。
【００８６】
まず、第2動画像符号列の各マクロブロックペアに対応する、第1動画像符号列の複数のマクロブロックを抽出し、その中の各マクロブロックの符号化構造を把握する(ステップS180)。
【００８７】
次に、式１及び式２を用いて、フィールド構造に関する評価値Vfieldとフレーム構造に関する評価値Vframeとを算出する(ステップS181)。
【００８８】
次に、式１及び式２によって算出されたVfieldとVframeの値を比較する(ステップS182)。この比較の結果、Vfield < Vframeである場合には、フレーム構造を用いた再符号化により第2動画像符号列を生成する(ステップS183)。また、Vfield ≧Vframeである場合には、フィールド構造を用いた再符号化により第2動画像符号列を生成する(ステップS184)。
【００８９】
このとき、Vfieldの値に重み付けを施し、フィールド構造を優先的に選択するようにしてもよい。本手法に基づく具体的な処理の流れを図20に示す。
【００９０】
まず、第2動画像符号列の各マクロブロックペアに対応する、第1動画像符号列の複数のマクロブロックを抽出し、その中の各マクロブロックの符号化構造を把握する(ステップS190)。
【００９１】
次に、式１及び式２を用いて、フィールド構造に関する評価値Vfieldとフレーム構造に関する評価値Vframeとを算出する(ステップS191)。
【００９２】
次に、重み係数wの値を設定し(ステップS192)、Vfieldの値に重み付けを施した値とVframeの値とを比較する(ステップS193)。この比較の結果、Vframe > w × Vfieldである場合にはフレーム構造を選択し(ステップS194)、Vframe ≦ w × Vfieldである場合にはフィールド構造を選択する(ステップS195)。
【００９３】
（重み係数の適応的調整）
上記の重み係数wは、変換する動画像符号列ごとに設定する。重み係数wの値は、動画像符号列毎に一意に決定してもよいし、動画像符号列内で適応的に決定してもよい。
【００９４】
重み係数wの適応的な設定方法としては、例えば、解像度の変換比率に基づいて決定する方法、第1動画像符号列のビットレートと第2動画像符号列のビットレートの比に基づいて決定する方法などを適用することができる。また、重み係数wの値は、解像度変換時の倍率に応じて動画像符号列毎に一意に決定してもよいし、対応マクロブロックの情報（動きベクトルの大きさ、分散、符号量など）、ピクチャの情報（ピクチャタイプ、符号量など）などに応じて、適応的に変化させてもよい。
【００９５】
（重み係数の設定方法：常に一定の値を利用）
以下に、重み係数wの設定方法についての具体例について説明する。
【００９６】
マクロブロックペアに対応するフィールド構造のマクロブロックの面積比率がある一定の割合α（0≦α≦1)を超えたときに、常にフィールド構造になるよう重み係数wを設定する場合には、重み係数wは以下の式５により算出することができる。
【数５】
2006217569.tif 000007
【００９７】
上記の式５で定めた重み係数wを用いることで、つねに一定の割合α以上フィールド構造のマクロブロックが含まれるときに、マクロブロックペアの符号化構造をフィールド構造と判定することができる。
【００９８】
（重み係数の設定方法：動きベクトルの距離を利用）
つぎに、重み係数wの別の設定方法として、フィールド予測の動きベクトルにおけるトップフィールドに対応するベクトルと、ボトムフィールドに対応するベクトルとの差分に基づく設定方法を以下に示す。
【００９９】
マクロブロックペアに対応するマクロブロックの中にフィールド構造のマクロブロックが存在する場合について考える。
【０１００】
フィールド予測であるマクロブロックの場合、トップフィールドに対応するベクトルと、ボトムフィールドに対応するベクトルとが存在する。このとき、マクロブロックに含まれる2つの動きベクトル同士の距離が大きい場合には、対応マクロブロック内に、位相の異なる2つのフィールドが存在する可能性が大きいと考えられる。この時のベクトル間の距離としては、ユークリッド距離などを用いる。
【０１０１】
そこで、この1つの対応マクロブロックに含まれる2つのフィールド予測動きベクトルの距離に応じて、重み係数wを適応的に変化させることで、変換元のMPEG-2の状態に合わせた符号化構造の決定が可能となる。
【０１０２】
このとき、ピクチャ全体の各フィールド構造であるマクロブロックについて同様にフィールド予測動きベクトル間の距離を算出し、その統計量に基づいてピクチャ単位で重み係数wの値を変化させてもよい。
【０１０３】
（重み係数の設定方法：ビットレートの利用）
MPEG-2のフレーム予測と、フィールド予測とを比較した場合、16x16ブロック形状によるフレーム予測は、16x8フィールド予測2つでほぼ同様の動き補償を実現できる。動きベクトルが増加する分符号量は増加するが、変換後のビットレートが動きベクトル符号量の増分を無視できる程度の大きさであれば、フィールド構造を優先した方が、変換元のMPEG-2の動きベクトルを有効に活用できる場合が多い。
【０１０４】
一方で、変換後のビットレートが小さく、符号にしめるマクロブロックヘッダ部分の符号量の比率が大きい場合には、動きベクトルの符号量が全体の画質に大きく影響することがある。このため、変換元の第1動画像符号列のビットレートに対する変換後の第2動画像符号列のビットレートの比率に応じて、フィールド構造に対する重み係数wの値を変化させることで、画質向上が可能となる。
【０１０５】
このビットレートの比率に応じた重み係数wの値は、ストリームに対して一意に決定してもよい。また、可変ビットレートのストリームに対しては、GOP(Group of Picture)毎、ピクチャ毎の符号量などに基づき、より細かな精度で動的に変化させてもよい。
【０１０６】
（重み係数の設定方法：アクティビティの利用）
次に、動画像符号列のアクティビティに基づいて重み係数wの値を調整する場合について説明する。
【０１０７】
ここで、アクティビティとは、符号化する動画像のもつ情報量を表す数値である。動画像変換処理では、次のようにしてアクティビティ算出する。
【０１０８】
マクロブロック単位でのアクティビティは、各マクロブロック毎の符号量と量子化ステップ幅の値の乗算で求まる。ピクチャ単位の場合、ピクチャの平均量子化ステップ幅とピクチャ符号量の乗算で求まる。
【０１０９】
上記のように算出したアクティビティを用いて、実際に重み係数wの値の動的変更を行う。たとえば、フィールド構造およびフレーム構造のマクロブロックの各々のアクティビティの値を、評価値Vfield、Vframeと同様にして面積比に併せて足しあわせ、その比を用いて重み係数wの値を調整することが可能である。また、VfieldとVframeの値が近い場合に、各々の符号化構造のアクティビティの大小に基づいて最終的なマクロブロックペアの符号化構造を決定してもよい。そのほか、ピクチャ単位でのアクティビティに基づき、ピクチャ単位で適応的に重み係数wの値を調節してもよい。
【０１１０】
（重み係数の設定方法：複数手法組み合わせの許可）
上述した重み係数の調整方法について、各々単独で用いてもよいし、複数の調整法を組み合わせて使用してもよい。
【０１１１】
（重み係数をオフセット値として利用）
また、重み係数wとVfieldを線形結合するのではなく、オフセット値として足し合わせてもよい。具体的にはVframe > w ＋ Vfieldであればフレーム構造、Vframe ≦ w ＋ Vfieldであればフィールド構造とする。この場合も、上記と同様の方法を用いて、重み係数wの値を変動させることができる。図21に処理の流れを示す。
【０１１２】
まず、第2動画像符号列の各マクロブロックペアに対応する、第1動画像符号列の複数のマクロブロックを抽出し、その中の各マクロブロックの符号化構造を把握する(ステップS200)。
【０１１３】
次に、式１及び式２を用いて、フィールド構造に関する評価値Vfieldとフレーム構造に関する評価値Vframeとを算出する(ステップS201)。
【０１１４】
次に、重み係数wの値を設定し(ステップS202)、Vfieldの値に重み付けを施した値とVframeの値とを比較する(ステップS203)。この比較の結果、Vframe > w ＋ Vfieldである場合にはフレーム構造を選択し(ステップS204)、Vframe ≦ w ＋ Vfieldである場合にはフィールド構造を選択する(ステップS205)。なお、重み係数wは上述と同様の方法を用いて一意に、または適応的に調整することが可能である。
【０１１５】
（垂直方向、４つ以上のマクロブロックへの対応）
以上の説明では、特に水平方向について解像度変換を行う場合に限定し、１つのマクロブロックペアに４つのマクロブロックが対応する場合について説明したが、垂直方向の解像度変換を行う場合、水平・垂直の両方向の解像度変換を行う場合、或いは１つのマクロブロックペアに４つより多くのマクロブロックが対応する場合には、上述の説明と同様にしてマクロブロックごとに対応比率を求め、その対応比率に従って式１及び式２を拡張することで、上述の説明と同様にして第2動画像符号列を生成する際の符号化構造を決定することが可能である。
【０１１６】
（動きベクトルの変換）
動きベクトルの変換の際、解像度変換を伴う変換では、動きベクトルの候補として複数存在することから、いずれの動きベクトルが適しているかを評価値を用いて比較し、最適な動きベクトルを選択する。
【０１１７】
評価値としては、例えば、マクロブロックの予測残差符号量、量子化値、動きベクトルの大きさ、予測残差と符号量の乗算値などを用いることができる。
【０１１８】
また、解像度変換の比率にあわせて動きベクトルのスケーリングを行う。なお、動きベクトルのスケーリング時には、第2動画像符号列の符号化方式でサポートされている精度で端数処理を行う。具体的には、MPEG-2であれば動きベクトルの精度は1/2画素精度であるが、H.264では1/4画素精度であるため、スケーリング時は1/4画素精度で値を求める。
【０１１９】
（動き補償ブロック形状の変換）
動き補償ブロック形状についても、実施形態1と異なり、1対1で対応づけて変換できない場合が存在する。また、解像度変換に伴い、マクロブロックペアに対応する第1動画像符号列のマクロブロックの大きさが相対的に小さくなることから、対応マクロブロックのいずれか一つのブロック形状を用いても、ブロック形状が小さくなりすぎて符号化効率が低下する事態が起こりうる。
【０１２０】
そこで、こうした場合には、あらかじめマクロブロックペアの符号化構造に基づいて動き補償ブロック形状を決めておく。具体的にはフレーム構造であれば16x16、フィールド構造であれば16x8のブロック形状を用いることにする。
【０１２１】
なお、第１の実施形態の場合と同様にして、生成するブロック形状については一つに限る必要はない。例えば、フレーム構造で16x8のブロック形状を生成しても構わないし、フィールド構造で16x16のブロック形状を生成しても構わない。
【０１２２】
最終的な変換では、第１の実施形態と同様に、対応マクロブロックの各々について、マクロブロックペア構造にあわせて図２に示したようにパラメータを生成し、第2動画像符号列用の符号化パラメータへと変換する。
【０１２３】
復号化部、符号化パラメータ選択部、符号化部の処理は第１の実施形態と同様に行う。
【０１２４】
このように、第2の実施形態に係る動画像符号列変換装置によれば、解像度変換を伴う変換においても、マクロブロックペアに対する符号化パラメータを、対応する複数のマクロブロックの符号化パラメータに基づいてまとめて設定することにより、マクロブロックペアにおける符号化パラメータの制約条件を満たしながら、効率よく符号化パラメータを再利用することができ、さらなる符号量減少が期待できる。
【０１２５】
（第３の実施形態）
図15乃至図17を用いて、本発明の第３の実施形態の構成と動作について説明する。図15は、本発明の第３の実施形態に係る動画像符号列変換装置のブロック図である。
【０１２６】
本発明の第３の実施形態は、MPEG2方式で符号化された第１動画像符号列500を入力し、H.264方式で再符号化された第２の動画像符号列503を出力するものである。
【０１２７】
第１動画像符号列500は、MPEG2デコーダ510により復号化処理が行われ、デコード画像501を出力するとともに、ピクチャタイプ（Iピクチャ、Pピクチャ、Bピクチャの何れか）、符号化シーケンスがプログレッシブ画像のみを符号化したものか（以下、プログレッシブシーケンス）或いはインターレース画像を含む符号化データかを示すフラグ、ピクチャ構造（プログレッシブフレームピクチャ、インターレースフレームピクチャ、フィールドピクチャ）などの、符号化ピクチャ単位の符号化パラメータ（502の上段）を出力し、ピクチャタイプ設定部522により、H.264再符号化時のピクチャレベルの符号化構造が決定される。
【０１２８】
図16は、本発明の第3の実施形態に係るピクチャタイプ設定部522での動作例を示す。MPEG2符号化データがプログレッシブシーケンスとして符号化されている場合は、H.264において、対応する各フレームをプログレッシブフレームピクチャとして再符号化する。
【０１２９】
また、MPEG2符号化データが、非プログレッシブシーケンスである場合は、MPEG2のフレームピクチャは、H.264のMB-AFFフレームピクチャとして、また、MPEG2のフィールドピクチャは、H.264のフィールドピクチャとしてそれぞれ再符号化する。また、MPEG2における符号化ピクチャのタイプがIピクチャであるピクチャは、H.264でIスライスのみで構成される参照ピクチャとして再符号化し、MPEG2のBピクチャは、H.264のBスライスのみで構成される非参照ピクチャとして再符号化する。
【０１３０】
さらに、MPEG2のPピクチャについては、MPEG2で規定されるdual-prime予測(前方の２フィールドの参照ピクチャからそれぞれ予測画像ブロックを切り出し、それらの平均値を予測画像としてピクチャ間予測符号化を行うモード)を含むものは、H.264のBスライスのみで構成される参照ピクチャとして再符号化する。
【０１３１】
また、dual-prime予測を含まないMPEG2のPピクチャについては、H.264のPスライスのみで構成される参照ピクチャとして再符号化する。上記のようなピクチャレベルの対応を持たせることで、マクロブロック単位のフレーム間予測構造のMPEG2とH.264との対応付けが容易になり、マクロブロック単位の動きベクトルや予測モードなどの再利用性が向上し、H.264再符号化時の演算コスト（演算量またはハードウエアコスト）を大幅に削減することが可能となる。
【０１３２】
図17は、ピクチャタイプ設定部522の別の実施形態である。図16の構成との違いは、dual-prime予測の有無によらずMPEG2のPピクチャは、H.264のPスライスのみで構成される参照ピクチャとして再符号化することである。MPEG2のPピクチャでは、該Pピクチャとその参照ピクチャとの間に再生順序でBピクチャが含まれていない場合にのみdual-prime予測が利用可能であり、かつピクチャ内のすべてのマクロブロックの予測モードを調べなければ、dual-prime予測の有無は判断できない。
【０１３３】
したがって、MPEG2からH.264への再符号化において、少なくとも１フレームの遅延が必要となり、遅延に必要なバッファメモリの増加や、再符号化に伴う時間的な遅れが発生することになる。
【０１３４】
一方、dual-prime予測は、過去2フィールドの平均予測を行うため、H.264のPスライスでは、同様のピクチャ間予測を行うことが不可能となる。また、MPEG2のすべてのPピクチャをH.264のBスライスとして再符号化すると、H.264のBスライスの予測ブロック単位の予測モードを示す符号化データ等のオーバーヘッドが増加し、符号化効率の低下を招いてしまう。
【０１３５】
これらの問題を解決するため、MPEG2のdual-prime予測を用いるマクロブロックでは、過去2フィールドの参照ピクチャのうち、符号化対象ピクチャに時間的に近い方の参照フィールドのみを用いた単一予測として、H.264で再符号化することで、MPEG2のPピクチャのすべてのマクロブロックを、その動きベクトルの情報を再利用してH.264のPスライスで再符号化を行うことが可能となる。これにより、上記再符号化時の遅延の問題と予測構造の再利用性の問題を合わせて解決し、かつH.264再符号化時の演算コストの増加を抑え、さらに再符号化における符号化効率の低下も防ぐことが可能となる。
【０１３６】
次に、図15におけるマクロブロック単位の個々の動作について説明する。
【０１３７】
第１動画像符号列500におけるマクロブロック単位の符号化パラメータのうち、量子化スケール値とマクロブロック単位の符号量（502の中段）が抽出され、レート制御部523に入力され、H.264再符号化のマクロブロック単位の発生符号量もまた、レート制御部523にフィードバックされて、H.264再符号化時の符号量制御に用いられる。
【０１３８】
再符号化時の符号量制御に、上記第１動画像符号列500における符号化情報を入力することは必須ではないが、これらのMPEG2符号化データの情報を用いることで、マクロブロック単位の符号化特性を事前に把握し、画質劣化の少ない効率的なレート制御を実現することが可能となる。
【０１３９】
また、第１動画像符号列500におけるマクロブロック単位の符号化パラメータのうち、動きベクトルやMPEG2規格で定められる動き補償モード（フレーム予測、フィールド予測、dual-prime予測など）、DCTタイプ（frame DCTかfield DCTか）などの情報を抽出し、符号化パラメータ変換部520へ入力し、該符号化パラメータが、H.264に直接対応可能な場合は、そのまま再符号化時に再利用する。
【０１４０】
例えば、MPEG2がプログレッシブシーケンスとして符号化されている場合、H.264の動き補償ブロックサイズを16x16画素とすることで、MPEG2の動きベクトルをそのまま利用することが出来る。
【０１４１】
また、MPEG2でフィールドピクチャとして符号化されている場合、MPEG2の16x16フィールド予測モードは、H.264の16x16予測として、また、MPEG2の16x8フィールド予測モードは、H.264においても16x8サイズのピクチャ間予測として、動きベクトルをそのまま利用可能である。
【０１４２】
MPEG2のdual-prime予測の場合は、上述したようにH.264のBスライスとして再符号化する場合は、その動きベクトルはそのまま再利用可能であり、H.264のPスライスとして再符号化する場合は、符号化対象ピクチャに近い参照フィールドのみからの単一予測とすることで、動きベクトルを再利用することが可能となる。
【０１４３】
また、MB-AFFのペアタイプなどで、MPEG2の符号化パラメータがH.264に直接対応不可能な場合は、本発明の第1あるいは第2の実施形態で説明したように、MPEG2の符号化パラメータに対して符号化パラメータ変換部520で適切な変換を施し、さらにH.264再符号化時のマクロブロックペア単位の符号化構造がframe構造かfield構造かをframe/field設定部521で設定し、H.264再符号化で再利用する。
【０１４４】
より具体的には、MPEG2におけるIピクチャについては、H.264のIスライスのみで構成されるピクチャとして再符号化し、MPEG2のIピクチャにおいて、frame DCTとfield DCTが混在する場合は、MB-AFFフレームとして再符号化する。
【０１４５】
H.264のマクロブロックペアに相当するMPEG2のマクロブックの組が、それぞれ同一のDCTタイプで符号化されている場合、該タイプにしたがって、マクロブロックペアのタイプ(frameペアまたはfieldペア)を決定し、frame DCTとfield DCTが混在するペアについては、fieldペアとする。
【０１４６】
上記決定されたマクロブロックペアのタイプで、イントラ予測符号化部525により複数のイントラ予測モード（Intra4x4予測(最大9モード), Intra8x8予測(最大9モード), Intra16x16予測(最大4モード)）の中から、最適な予測モードの組をマクロブロック毎に決定して再符号化を行う。
【０１４７】
最適な予測モードは、予測誤差信号の差分絶対値和などの評価値を用いた判定や、各モードでの発生符号量またはその推定値と、符号化歪またはその推定値を用いた、レート−歪最適化手法によるモード判定により、決定することが可能である。
【０１４８】
上記のようにMB-AFFのペアタイプをMPEG2の符号化情報のみから事前に決定することで、H.264再符号化において最適なペアタイプを改めて決定する処理が不要となり、再符号化時の演算コスト（演算量またはハードウエアコスト）を大幅に削減することが可能となる。
【０１４９】
また、MPEG2におけるPピクチャあるいはBピクチャについては、ピクチャ間予測符号化が用いられているマクロブロックについては、MPEG2の符号化データから抽出され、必要に応じて適切に変換された動きベクトルを中心として、動きベクトル再探索部524により微小領域での動きベクトルの再探索を必要に応じて行う。
【０１５０】
MPEG2は通常1/2画素精度の動きベクトルが用いられ、H.264は通常1/4画素精度の動きベクトルが用いられる。よって、本実施形態では、上記動きベクトルの再探索は、少なくとも探索中心の近傍±0.25を探索する構成とする。
【０１５１】
また、再符号化時の符号化効率を高めるためには、1/2画素精度の探索中心を整数画素位置に丸めて、その近傍±1.75の範囲を探索することで、より適切な動きベクトルを決定することが可能となる。
【０１５２】
これは、MPEG2の小数画素位置予測のための補間フィルタとH.264の小数画素補間フィルタの特性が異なるため、MPEG2の1/2画素精度の動きベクトルから得られる探索中心が必ずしも最適ではないためである。整数画素位置に丸めた動きベクトル探索中心は、整数精度動きベクトルの最適値に対して±１画素の誤差を持ち、さらに補間フィルタの効果が±0.75画素の範囲で変動するため、整数画素位置に丸めた探索中心から±1.75画素の範囲を探索することで、適正な動きベクトルを求めることが可能となる。これにより、±1.75画素という微小な領域の再探索で、高い符号化効率を与えるH.264再符号化のための動きベクトル検出を行うことが可能となり、再符号化のコストの低減と符号化効率の向上を両立することが可能となる。
【０１５３】
さらに、上記動きベクトルの再探索結果と、イントラ予測符号化部525で複数のイントラ予測モード（Intra4x4予測(最大9モード), Intra8x8予測(最大9モード), Intra16x16予測(最大4モード)）の中から、最適な予測モードの組をマクロブロック毎に決定し、また動きベクトルの符号化を必要とせず符号化効率の高いH.264のピクチャ間予測モードである、PスライスではH.264におけるP_Skipモード、BスライスではH.264におけるダイレクトモードでの予測符号化をSkip/Direct符号化部526で行い、これらの中から最も符号化効率の高い符号化モードをマクロブロック毎にマクロブロック符号化モード判定部512で選択する。
【０１５４】
ここで、MPEG2におけるPピクチャあるいはBピクチャにおけるイントラ符号化マクロブロックについては、H.264で規定される動きベクトル予測符号化における予測ベクトル、若しくは予測ベクトルを探索中心として再探索した動きベクトルを用いて、ピクチャ間予測部527により予測符号化行い、その出力をピクチャ間符号化モードの候補とする。
【０１５５】
上記の構成とすることで、MPEG2におけるPピクチャあるいはBピクチャにおいて、マクロブロックの符号化モードがイントラ符号化かピクチャ間予測符号化かによらず、多数の予測モードをもつ符号化効率の高いH.264のイントラ符号化と、符号化効率の高いピクチャ間予測であるP_Skipあるいはダイレクト予測と、MPEG2の動きベクトルを流用した適正な範囲の動きベクトル最探索結果の中から、最適なモードを選択することで、演算コストを抑えつつ、再符号化時の符号化効率を大幅に向上させることが可能となる。
【０１５６】
ここで、符号化モード判定の処理コストを低減するため、複数のH.264イントラ予測モードからの最適なモードの選択や動きベクトル再探索時は、予測残差信号の絶対値和等の演算量の少ない評価値によりモード判定を行い、最終段階でのマクロブロックレベルのモード判定時は、発生符号量および符号化歪に基づくレート−歪最適化コスト、若しくは推定発生符号量あるいは推定符号化歪に基づく符号化コストを評価値とする高精度なモード判定を行うことで、演算量の増加を抑えつつ、好適な符号化モードを選択し、符号化効率を向上させることが可能となる。
【０１５７】
最後に、選択された符号化モードでH.264のCABAC(Context Adaptive Binary Arithmetic Coding)符号化部528により、H.264の符号例が生成される。
【０１５８】
なお、この動画像符号列変換装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。
【０１５９】
すなわち、復号化部、符号化パラメータ変換部、符号化パラメータ選択部、および符号化部は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、動画像符号列変換装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、ＢおよびＣは、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【０１６０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１６１】
また、本発明の一側面の動画像符号列変換方法およびプログラムは、以下に例示する構成または特徴のいずれかを有するものとして説明されることができる。
【０１６２】
（１）飛び越し順序方式の入力信号を圧縮符号化した第1の動画像符号列を、第2の動画像符号列に変換する方法であって、
入力である第1動画像符号列を復号化し、復号画像の生成と符号化パラメータの抽出を行う復号化ステップと、
第2動画像符号列における垂直方向に上下に並んだマクロブロックの組に対する符号化パラメータを、第1動画像符号列おいて対応する複数マクロブロックの各々の符号化パラメータから決定し、決定された符号化パラメータに基づいて、第1の動画像符号列に含まれる符号化パラメータを第2の動画像符号化列用の符号化パラメータへ変換する符号化パラメータ変換ステップと、
符号化パラメータ変換ステップで選択された符号化パラメータを用いて第2動画像符号列の生成を行う符号化ステップ
とを備えることを特徴とする動画像符号列変換方法。
【０１６３】
（２）飛び越し順序方式の入力信号を圧縮符号化した第1の動画像符号列を、第2の動画像符号列に変換する方法であって、
入力である第1動画像符号列を復号化し、復号画像の生成と符号化パラメータの抽出を行う復号化ステップと、
第2動画像符号列における垂直方向に上下に並んだマクロブロックの組に対する符号化パラメータの一部を、第1動画像符号列おいて対応する複数マクロブロックの各々の符号化パラメータから決定し、決定された符号化パラメータに基づいて、第1の動画像符号列に含まれる符号化パラメータを第2の動画像符号化列用の符号化パラメータへ変換する符号化パラメータ変換ステップと、
復号画像若しくは変換済みの第2の動画像符号化列から符号化パラメータ候補を生成する符号化パラメータ生成ステップと、
符号化パラメータ変換ステップで変換された符号化パラメータと符号化パラメータ生成ステップで生成された符号化パラメータとから最終的に符号化に用いるパラメータを選択する符号化パラメータ選択ステップと、
符号化パラメータ選択ステップで選択された符号化パラメータを用いて第2動画像符号列の生成を行う符号化ステップ
とを備えることを特徴とする動画像符号列変換方法。
【０１６４】
（３）前記符号化パラメータ変換ステップにおいて、
第1動画像符号列におけるマクロブロックの符号化構造を、マクロブロックの予測タイプもしくはDCTタイプの値に基づいてフィールド構造もしくはフレーム構造に設定することを特徴とする（１）または（２）に記載の動画像符号列変換方法。
【０１６５】
（４）前記符号化パラメータ変換ステップにおいて、
第2動画像符号列における上下のマクロブロックの組に対する符号化構造を、対応する第1動画像符号列におけるマクロブロックの符号化構造に基づき、フレーム構造とフィールド構造のマクロブロック数が同数の場合はフィールド構造とし、フレーム構造の数とフィールド構造のマクロブロック数が異なる場合には、数の多い方の符号化構造を上下のマクロブロックの組の符号化構造に設定すること
を特徴とする（１）または（２）に記載の動画像符号列変換方法。
【０１６６】
（５）前記符号化パラメータ変換ステップにおいて、
第2動画像符号列における上下のマクロブロックの組に対する符号化構造を、対応する第1動画像符号列におけるマクロブロックの符号化構造に基づき、フレーム構造とフィールド構造のマクロブロック数が同数の場合はフィールド構造とし、フレーム構造の数とフィールド構造のマクロブロック数が異なる場合には、マクロブロック内の符号化パラメータに基づいて設定された評価値を用いて、評価値の高い方の符号化構造を上下のマクロブロックの組の符号化構造に設定すること
を特徴とする（１）または（２）に記載の動画像符号列変換方法。
【０１６７】
（６）前記符号化パラメータ変換ステップにおいて、
第2動画像符号列における上下のマクロブロックの組の符号化構造と、第1動画像符号列における対応マクロブロックの符号化構造とを比較し、符号化構造が異なる場合には、第1動画像符号列における対応マクロブロックに含まれる符号化パラメータを第2動画像符号列における上下のマクロブロックの組の符号化構造にあわせて変換および生成を行うこと
を特徴とする（１）または（２）に記載の動画像符号列変換方法。
【０１６８】
（７）前記符号化パラメータ生成ステップにおいて、
フレーム内符号化に関する符号化パラメータ、
マクロブロックスキップに関する符号化パラメータ、
時間ダイレクト予測符号化に関する符号化パラメータ
を生成することを特徴とする（２）に記載の動画像符号列変換方法。
【０１６９】
（８）前記符号化パラメータ生成ステップにおいて、
前記符号化パラメータ変換ステップから取得したフレーム間符号化に関する符号化パラメータについて、動きベクトルが設定されていない場合には周辺動きベクトルからの予測により動きベクトルを算出し、フレーム間符号化に関する符号化パラメータとする
ことを特徴とする（２）に記載の動画像符号列変換方法。
【０１７０】
（９）前記符号化パラメータ選択ステップにおいて、
最適なパラメータ選択の際に、予測誤差信号を算出し、前記予測誤差信号の差分絶対値和を用いて評価を行う
ことを特徴とする（２）に記載の動画像符号列変換方法。
【０１７１】
（１０）前記符号化パラメータ選択ステップにおいて、
最適なパラメータ選択の際に、レート歪み特性を用いて評価する
ことを特徴とする（２）に記載の動画像符号列変換方法。
【０１７２】
（１１）前記符号化パラメータ選択ステップにおいて、
最適なパラメータ選択の際に、発生符号量を用いて評価する
ことを特徴とする（２）に記載の動画像符号列変換方法。
【０１７３】
（１２）解像度変換部をさらに備えることを特徴とする、（１）から（１１）までのいずれか１項に記載の動画像符号列変換方法。
【０１７４】
（１３）コンピュータまたは信号処理プロセッサを用いて、飛び越し順序方式の入力信号を圧縮符号化した第1の動画像符号列を、第2の動画像符号列に変換するためのプログラムであって、
入力である第1動画像符号列を復号化し、復号画像の生成と符号化パラメータの抽出を行う復号化機能と、
第2動画像符号列における垂直方向に上下に並んだマクロブロックの組に対する符号化パラメータを、第1動画像符号列おいて対応する複数マクロブロックの各々の符号化パラメータから決定し、決定された符号化パラメータに基づいて、第1の動画像符号列に含まれる符号化パラメータを第2の動画像符号化列用の符号化パラメータへ変換する符号化パラメータ変換機能と、
符号化パラメータ変換機能で選択された符号化パラメータを用いて第2動画像符号列の生成を行う符号化機能
とを備えることを特徴とする動画像符号列変換プログラム。
【０１７５】
（１４）コンピュータまたは信号処理プロセッサを用いて、飛び越し順序方式の入力信号を圧縮符号化した第1の動画像符号列を、第2の動画像符号列に変換するためのプログラムであって、
入力である第1動画像符号列を復号化し、復号画像の生成と符号化パラメータの抽出を行う復号化機能と、
第2動画像符号列における垂直方向に上下に並んだマクロブロックの組に対する符号化パラメータの一部を、第1動画像符号列おいて対応する複数マクロブロックの各々の符号化パラメータから決定し、決定された符号化パラメータに基づいて、第1の動画像符号列に含まれる符号化パラメータを第2の動画像符号化列用の符号化パラメータへ変換する符号化パラメータ変換機能と、
復号画像若しくは変換済みの第2の動画像符号化列から符号化パラメータ候補を生成する符号化パラメータ生成機能と、
符号化パラメータ変換機能で変換された符号化パラメータと符号化パラメータ生成機能で生成された符号化パラメータとから最終的に符号化に用いるパラメータを選択する符号化パラメータ選択機能と、
符号化パラメータ選択機能で選択された符号化パラメータを用いて第2動画像符号列の生成を行う符号化機能
とを備えることを特徴とする動画像符号列変換プログラム。
【図面の簡単な説明】
【０１７６】
【図１】本発明の第１の実施形態に係わる動画像符号列変換装置のブロック図。
【図２】本発明の第１の実施形態の動画像符号列変換装置の動作のフローチャート。
【図３】本発明の第１の実施形態における符号化パラメータ変換部の処理のフローチャート。
【図４】本発明の第１の実施形態におけるマクロブロックペアと対応するマクロブロックの関係を示す図。
【図５】本発明の第１の実施形態におけるマクロブロックの符号化構造設定処理のフローチャート。
【図６】本発明の第１の実施形態におけるマクロブロックペアの符号化構造の設定処理のフローチャート。
【図７】本発明の第１の実施形態における対応マクロブロックのパラメータの変換処理のフローチャート。
【図８】本発明の第１の実施形態において、マクロブロックとマクロブロックペアの符号化構造が異なるときの変換例を示した図（フレーム構造→フィールド構造）。
【図９】本発明の第１の実施形態におけるフレーム構造の場合の動きベクトル、および動き補償ブロック形状の変換を示した図。
【図１０】本発明の第１の実施形態におけるフィールド構造の場合の動きベクトル、および動き補償ブロック形状の変換を示した図。
【図１１】本発明の第１の実施形態における符号化パラメータ選択部の処理の流れを示した図。
【図１２】本発明の第2の実施形態に係わる動画像符号列変換装置のブロック図。
【図１３】本発明の第2の実施形態におけるマクロブロックペアと対応するマクロブロックの関係を示す図。
【図１４】本発明の第2の実施形態におけるマクロブロックペアの符号化構造の設定処理の流れを示す図。
【図１５】本発明の第３の実施形態に係わる動画像符号列変換装置のブロック図。
【図１６】本発明の第３の実施形態に係わるピクチャ符号化タイプの変換例を示す図。
【図１７】本発明の第３の実施形態に係わるピクチャ符号化タイプの変換例を示す図。
【図１８】本発明の第２の実施形態におけるマクロブロックペアと対応するマクロブロックの対応比率の例を示す図。
【図１９】本発明の第２の実施形態におけるマクロブロックペアの処理の流れを示すフロー。
【図２０】本発明の第２の実施形態におけるマクロブロックペアの処理の流れを示すフロー。
【図２１】本発明の第２の実施形態におけるマクロブロックペアの処理の流れを示すフロー。
【符号の説明】
【０１７７】
100・・・第１動画符号列
101・・・復号画像信号
102・・・第１動画符号列における符号化パラメータ
103・・・第２動画符号列
104・・・符号化パラメータ候補
105・・・変換された符号化パラメータ
106・・・決定された好適な符号化パラメータ
107・・・第１動画符号列の符号化情報
110・・・第１動画符号列の復号化部
111・・・符号化パラメータ変換部
112・・・符号化パラメータ選択部
113・・・符号化パラメータ生成部
114・・・第２動画符号列の符号化部
120・・・解像度変換部
【図１】
2006217569.tif 000008
【図２】
2006217569.tif 000009
【図３】
2006217569.tif 000010
【図４】
2006217569.tif 000011
【図５】
2006217569.tif 000012
【図６】
2006217569.tif 000013
【図７】
2006217569.tif 000014
【図８】
2006217569.tif 000015
【図９】
2006217569.tif 000016
【図１０】
2006217569.tif 000017
【図１１】
2006217569.tif 000018
【図１２】
2006217569.tif 000019
【図１３】
2006217569.tif 000020
【図１４】
2006217569.tif 000021
【図１５】
2006217569.tif 000022
【図１６】
2006217569.tif 000023
【図１７】
2006217569.tif 000024
【図１８】
2006217569.tif 000025
【図１９】
2006217569.tif 000026
【図２０】
2006217569.tif 000027
【図２１】
2006217569.tif 000028