(57)【特許請求の範囲】
【請求項１】
フィールド予測とフレーム予測を利用可能な動画像符号化方式の符号化データについて、インタレース構造を有する符号化データに対し、元の符号化フレームを間引いて再符号化して符号化ビットレートを変更する符号化ビットレート変更方法であって、
元の符号化フレームを間引くことで参照関係が変化する際、元の符号化データの動きベクトルを、元の符号化対象画像と元の参照画像の間隔である画像間距離により補正するステップと、
補正後の動きのベクトルにより再符号化対象小ブロックの新たな動きベクトルを推定するステップと、
を有する符号化ビットレート変更方法。
【請求項２】
元の符号化データの動きベクトルを、元の符号化対象画像と元の参照画像の間隔である画像間距離により補正するステップが、元の符号化データに含まれる動きベクトルをフレーム予測の表現に変換するステップと、画像間距離ｔに応じて、フレーム予測の表現に変換した動きベクトル（ｘｏ，ｙｏ）を（２＊ｘｏ／ｔ，２＊ｙｏ／ｔ）と補正するステップを含む、請求項１記載の符号化ビットレート変更方法。
【請求項３】
請求項１または２に記載の符号化ビットレート変更方法をコンピュータに実行させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像符号化の符号化データの符号化ビットレート変更方法に関する。
【０００２】
【従来の技術】
あるビットレートにて符号化された符号化データから、異なるビットレートの符号化データを生成する方法として、符号化データを再符号化する方法がある。図５にそのシステム図を示す。
【０００３】
再符号化方法では、一旦、元の符号化データの一部または全部を復号し、復号画像を目的の再符号化ビットレートで符号化することで、符号化ビットレートを変更する。復号画像だけを用いて符号化データを再符号化する場合は、通常の符号化処理と同様の処理を行う。
【０００４】
再符号化方法では、元の符号化データの情報を利用することで、演算量を削減できる。本出願人が先に出願した「復号信号の符号化方法」（特開平１０−１１２８６５）は、小ブロック単位に動き補償予測符号化を行った符号化データの再符号化方法であり、符号化フレームレートの変更に伴う再符号化対象小ブロックにおいて、動きベクトルの再探索を行わず、元の符号化データの動きベクトル情報から再符号化対象小ブロックの動きベクトルを推定している。この方法では、動きベクトルの再探索を行わないため、再符号化時の演算量を削減できる。
【０００５】
ＩＳＯ／ＩＥＣ１３８１８−２（ＭＰＥＧ−２）では、インタレース信号を符号化するため、動き補償予測方法として、フィールド予測とフレーム予測の２種類の方法を利用できる。フィールド信号とフレーム信号の関係を図６に示す。フレーム信号は２つのフィールド信号からなり、両フィールド信号が交互に並んだものである。ＭＰＥＧ−２では、フレーム単位の符号化であっても動き補償予測方法をフレーム予測とフィールド予測の切り替えができる。
【０００６】
ＭＰＥＧ−２の符号化データのように、フィールド予測とフレーム予測が混在する符号化データを再符号化する場合、フィールド予測の動きベクトルとフレーム予測の動きベクトルを相互に変換する必要がある。フィールド予測の動きベクトルをフレーム予測の動きベクトルに変換する場合、垂直成分を２倍し、フレーム予測の動きベクトルをフィールド予測の動きベクトルに変換する場合、垂直成分を１／２倍する。このように動きベクトルを変換し、「復号信号の符号化方法」と同様の方法で動きベクトルを推定することで、ＭＰＥＧ−２のようにフィールド予測とフレーム予測が混在する符号化データの符号化ビットレートの変更ができる。
【０００７】
【発明が解決しようとする課題】
動画像の動き補償予測において、動きベクトルは、符号化対象画像と参照画像の間で移動した距離を示している。今、符号化対象画像と参照画像の間隔（画像間距離）をｔ［ｓｅｃ］、動きベクトルの大きさをｍｖ［ｐｅｌ］とすると、移動速度ｖ［ｐｅｌ／ｓｅｃ］は、次式から求まる。
【０００８】
ｖ＝ｍｖ／ｔ                                          （１）
物体が等速度運動をしているとき、画像間距離がΔｔだけ長くなると、動きベクトルｍｖ′は、
ｍｖ′＝ｍｖ＋ｖ・Δｔ                                （２）
となる。画像間距離が大きい場合、動きベクトルが長くなる。逆に、画像間距離が小さい場合、小さい動きベクトルになる。従来の方法では、動きベクトルを推定する際、もとの符号化データの参照画像と符号化対象画像の画像間距離を考慮していないため、画像間距離が一定でない場合、正しい動きベクトルが推定できない問題があった。
【０００９】
次に、フィールド予測の画像間距離について述べる。フィールド信号とフレーム信号の時間関係を図７に示す。各信号の画像間の間隔は、フレーム信号が約３０［フレーム／ｓｅｃ］（ＮＴＳＣの場合）、フィールド信号は、約６０［フィールド／ｓｅｃ］（ＮＴＳＣの場合）となる。
【００１０】
ここで、例としてＭＰＥＧ−２のフレーム構造符号化時のフレーム予測とフィールド予測の参照関係を図８に示す。このフィールド予測の参照関係Ａ〜Ｄの画像間距離を表１に示す。
【００１１】
【表１】
0003930176.tif 000002
このように、フィールド予測の動きベクトルであっても参照関係によって画像間距離が異なる。このため、もとの符号化データから抽出した動きベクトルを、画像間距離を考慮せずに動きベクトル推定に用いた場合、正しい動きベクトルが推定できない。例えば、参照関係Ｃの動きベクトルをフレーム予測の動きベクトルに変換する場合を考える。この動きベクトルの画像間距離は３フィールド、フレーム単位にすると１．５フレームである。このため、単純に垂直成分を２倍しただけでは、画像間距離が１．５フレームの動きベクトルとなり、０．５フレーム分長い動きベクトルになる。このベクトルを、フレーム予測の動きベクトル推定に用いた場合、正しい動きベクトルが算出されない。
【００１２】
このように、参照関係による画像間距離を無視して、動きベクトル推定を行った場合、新たな動きベクトルが正しく推定できない問題があった。
【００１３】
本発明の目的は、新たな動きベクトルを正しく推定できる符号化ビットレート変更方法を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明の符号化ビットレートの変更方法は、フィールド予測とフレーム予測を利用可能な動画像符号化方式の符号化データについて、インタレース構造を有する符号化データに対し、元の符号化フレームを間引いて再符号化して符号化ビットレートを変更する符号化ビットレート変更方法であって、
元の符号化フレームを間引くことで参照関係が変化する際、元の符号化データの動きベクトルを、元の符号化対象画像と元の参照画像の間隔である画像間距離により補正するステップと、
補正後の動きのベクトルにより再符号化対象小ブロックの新たな動きベクトルを推定するステップと、
を有する。
【００１５】
例として、フレーム／フィールド予測を併用した符号化データの場合について述べる。元の符号化データでの各符号化フレームの参照関係を図３に示す。図３では、符号化フレームｆn+1は、符号化フレームｆn+2の参照フレームとなっている。よって、符号化フレームｆn+1を間引く場合、符号化フレームｆn+2は、符号化フレームｆnを参照フレームとするように変更する必要がある。前記「復号信号の符号化方法」では、符号化フレームｆn+2およびｆn+1の動きベクトルから新たな動きベクトルを推定し、参照フレームを変更する。
【００１６】
本発明では、新たな動きベクトルを推定する際、もとの動きベクトルの画像間距離を、推定する動きベクトルの画像間距離に補正する。参照関係変更の詳細を図４に示す。例として、ｆn+1−ｆn+2間のフレーム予測の動きベクトル
【００１７】
【外１】
0003930176.tif 000003
と、ｆｏn−ｆｅn+1間のフィールド予測の動きベクトル
【００１８】
【外２】
0003930176.tif 000004
から、ｆn−ｆn+2のフレーム予測の動きベクトル
【００１９】
【外３】
0003930176.tif 000005
を推定する場合を述べる。ｆn+1−ｆn+2間の画像間距離は２フィールド、ｆｏn−ｆｅn+1間の画像間距離は３フィールド、ｆn−ｆn+2間の画像間距離は４フィールドである。したがって、画像間距離により動きベクトルを補正して、新たな動きベクトルを次式より算出する。
【００２０】
【数１】
0003930176.tif 000006
また、動きベクトル
【００２１】
【外４】
0003930176.tif 000007
の代わりに、ｆｅn−ｆｏn+1間のフィールド予測の動きベクトル
【００２２】
【外５】
0003930176.tif 000008
を用いた場合、ｆｅn−ｆｏn+1間の画像間距離は１フィールドなので、次式より算出する。
【００２３】
【数２】
0003930176.tif 000009
このように、本発明では、もとの符号化データに含まれる動きベクトルを、その動きベクトルの画像間距離により補正した後、再符号化対象小ブロックの動きベクトルを推定し、推定された動きベクトルを利用して再符号化処理を行う。
【００２４】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。本例では、フレーム予測とフィールド予測をもつ動画像符号化方式において、全ての動きベクトルをフレーム予測の動きベクトルとして推定する方法を示す。動きベクトル推定方法は、「復号信号の符号化方法」と同様の方法で行う。本実施形態のフローチャートを図１に示す。
【００２５】
１．動きベクトルの抽出（ステップ１１）
もとの符号化データから動きベクトルを抽出する。
【００２６】
２．動きベクトル表現の変換（ステップ１２）
フィールド予測の動きベクトルの場合、垂直成分を２倍する。
【００２７】
３．フィールド間距離による補正（ステップ１３）
フィールド間距離がｔ［フィールド］の時、動きベクトル（ｘ0，ｙ0）は、次式により補正する。
【００２８】
【数３】
0003930176.tif 000010
ここで、（ｘC，ｙC）は、補正後の動きベクトルを示す。
【００２９】
４．動きベクトルの推定（ステップ１４）
補正後の動きベクトルを用い、再符号化対象小ブロックの動きベクトルを推定する。
【００３０】
５．再符号化処理（ステップ１５）
求めた動きベクトルを用いて、再符号化対象小ブロックをフレーム間予測符号化方法で再符号化する。
【００３１】
これにより、画像間距離を考慮した動きベクトルの補正が可能となる。
【００３２】
本実施形態では、全ての動きベクトルをフレーム予測の動きベクトルとして補正を行っているが、これは、再符号化対象小ブロックを全てフレーム間予測符号化で再符号化しているためである。動きベクトルの変換および補正は、再符号化対象小ブロックの予測方法により異なる。また、推定方法を「復号信号の符号化方法」（特開平１０−１１２８６５）としているが、これに限定されるものではない。もとの符号化データから動きベクトルを抽出して再利用する再符号化方法では、本発明を利用できる。
【００３３】
図２は図１に示した符号化ビットレート変更方法を実施する装置のブロック図である。この装置は入力装置２１と記憶装置２２，２３と出力装置２４と記録媒体２５とデータ処理装置２６で構成されている。入力装置２１からは元の符号化データが入力される。記憶装置２２はハードディスクである。記憶装置２３には途中の演算結果が格納される。出力装置２４には再符号化された符号化データが出力される。記録媒体２５は以上説明した処理からなる符号化ビットレート変更プログラムを記録した、フロッピィ・ディスク（ＦＤ）、ＣＤ−ＲＯＭ、光磁気ディスク（ＭＯ）などの記録媒体である。データ処理装置２６は記録媒体２５からの符号化ビットレート変更プログラムを記憶装置２２に読み込んで、これを実行するＣＰＵである。
【００３４】
【発明の効果】
以上説明したように、本発明によれば、再符号化時に、画像間距離を考慮して動きベクトル推定を行うことにより、再符号化による符号化効率の低下を抑えた符号化ビットレート変更が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態の符号化ビットレート変更方法を示すフローチャートである。
【図２】図１に示した符号化ビットレート変更方法を実施する装置のブロック図である。
【図３】元の符号化データでの各符号化フレームの参照関係を示す図である。
【図４】本発明で、元の動きベクトルの画像間距離を、推定する動きベクトルの画像間距離に補正する場合の参照関係変更の詳細を示す図である。
【図５】再符号化のシステム図である。
【図６】フィールド信号とフレーム信号の関係を示す図である。
【図７】フィールド信号とフレーム信号の時間関係を示す図である。
【図８】ＭＰＥＧ−２のフレーム構造符号化時のフレーム予測とフィールド予測の参照関係を示す図である。
【符号の説明】
１１〜１５    ステップ
２１    入力装置
２２，２３    記憶装置
２４    出力装置
２５    記録媒体
２６    データ処理装置
【図１】
0003930176.tif 000011
【図２】
0003930176.tif 000012
【図３】
0003930176.tif 000013
【図４】
0003930176.tif 000014
【図５】
0003930176.tif 000015
【図６】
0003930176.tif 000016
【図７】
0003930176.tif 000017
【図８】
0003930176.tif 000018