(57)【要約】【課題】入力映像に対して，動き探索精度が高く，動き補償単位が小さな探索を行う動画像符号化を低コストで実現する。【解決手段】画像拡大部１０によって入力映像を水平方向にＭ倍，垂直方向にＮ倍に拡大する。その結果得られる拡大画像を，前処理符号化部１１によって符号化する。メインエンコーダ１３は，前処理符号化部１１において得られる動きベクトル情報を受けて，動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，入力映像に対して得られたベクトルを用いて動き補償を行ないながら入力映像の符号化を行う。【選択図】        図１
2004349756.tif 000002
【特許請求の範囲】
【請求項１】
動き補償を用いる動画像符号化装置において，
入力画像を水平方向にＭ倍（Ｍ≧１），垂直方向にＮ倍（Ｎ≧１，Ｍ×Ｎ＞１）に拡大する画像拡大手段と，
その結果得られる画像を符号化する前処理符号化手段と，
上記前処理符号化手段において得られる動きベクトル情報を受けて，動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，入力画像に対して得られたベクトルを用いて動き補償を行なう動き補償部を有する符号化手段とを備える
ことを特徴とする動画像符号化装置。
【請求項２】
請求項１記載の動画像符号化装置において，
上記符号化手段は，上記前処理符号化手段において得られる動きベクトル情報を受けて，動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，拡大時に生じる位置ずれを補正する成分を動きベクトルに加える
ことを特徴とする動画像符号化装置。
【請求項３】
動き補償を用いる動画像符号化装置において，
入力画像をフレーム単位で水平方向にＭ倍（Ｍ≧１），垂直方向にＮ倍（Ｎ≧１，Ｍ×Ｎ＞１）に拡大するフレーム画像拡大手段と，
入力画像をフィールド単位で水平方向にＭ倍，垂直方向にＮ倍に拡大するフィールド画像拡大手段と，
上記フレーム画像拡大手段から得られる拡大画像をフレーム予測を用いて符号化するフレームの前処理符号化手段と，
上記フィールド画像拡大手段から得られる拡大画像をフィールド予測を用いて符号化するフィールドの前処理符号化手段と，
上記フレームの前処理符号化手段および上記フィールドの前処理符号化手段から得られる動きベクトルを，水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，得られたベクトルのどちらかを用いて動き補償を行ないながら入力画像の符号化を行なう符号化手段とを備える
ことを特徴とする動画像符号化装置。
【請求項４】
請求項１記載の動画像符号化装置において，
上記画像拡大手段は，複数の異なる拡大率を持つ画像拡大部からなり，
上記前処理符号化手段は，上記各画像拡大部から得られる拡大画像をそれぞれ符号化する複数の前処理符号化部からなり，
上記符号化手段は，上記各前処理符号化部から得られる動きベクトルをそれぞれの拡大率に従って縮小し，得られたベクトルのどれかを用いて動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載の動画像符号化装置において，
上記符号化手段は，上記前処理符号化手段において得られる動きベクトル情報を受けて，動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，入力画像に対して得られたベクトルの周辺の動き探索を行ない動きベクトルを決定し，動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化装置。
【請求項６】
請求項１から請求項４までのいずれか１項に記載の動画像符号化装置において，
上記前処理符号化手段から出力されるストリームから動きベクトル情報を抽出する動きベクトル情報抽出手段を備え，
上記符号化手段は，上記動きベクトル情報抽出手段から得られるベクトル情報を受けて，動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，得られたベクトルを用いて動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化装置。
【請求項７】
動き補償を用いる動画像符号化方法において，
入力画像を水平方向にＭ倍（Ｍ≧１），垂直方向にＮ倍（Ｎ≧１，Ｍ×Ｎ＞１）に拡大する画像拡大ステップと，
その結果得られる拡大画像を符号化する前処理符号化ステップと，
上記前処理符号化ステップにおいて得られる動きベクトル情報を受けて，動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，入力画像に対して得られたベクトルを用いて動き補償を行ないながら入力画像の符号化を行なう符号化ステップとを有する
ことを特徴とする動画像符号化方法。
【請求項８】
請求項７記載の動画像符号化方法において，
上記符号化ステップでは，上記拡大画像の符号化によって得られる動きベクトル情報を受けて，動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，拡大時に生じた位置ずれを補正する成分を動きベクトルに加える
ことを特徴とする動画像符号化方法。
【請求項９】
動き補償を用いる動画像符号化方法において，
入力画像をフレーム単位で水平方向にＭ倍（Ｍ≧１），垂直方向にＮ倍（Ｎ≧１，Ｍ×Ｎ＞１）に拡大するフレーム画像拡大ステップと，
入力画像をフィールド単位で水平方向にＭ倍，垂直方向にＮ倍に拡大するフィールド画像拡大ステップと，
上記フレーム画像拡大ステップにより得られる拡大画像をフレーム予測を用いて符号化するフレームの前処理符号化ステップと，
上記フィールド画像拡大ステップにより得られる拡大画像をフィールド予測を用いて符号化するフィールドの前処理符号化ステップと，
上記フレームの前処理符号化ステップおよび上記フィールドの前処理符号化ステップにより得られる動きベクトルを，水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，得られたベクトルのどちらかを用いて動き補償を行ないながら入力画像の符号化を行なう符号化ステップとを有する
ことを特徴とする動画像符号化方法。
【請求項１０】
請求項７記載の動画像符号化方法において，
上記画像拡大ステップでは，入力画像を複数の異なる拡大率に拡大し，
上記符号化ステップでは，それぞれの拡大画像を符号化した結果得られる各動きベクトルをそれぞれの拡大率に従って縮小し，得られたベクトルのどれかを用いて動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化方法。
【請求項１１】
請求項７から請求項１０までのいずれか１項に記載の動画像符号化方法において，
上記符号化ステップでは，拡大画像の符号化によって得られる，動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，入力画像に対して得られたベクトルの周辺の動き探索を行ない動きベクトルを決定し，動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化方法。
【請求項１２】
請求項７から請求項１０までのいずれか１項に記載の動画像符号化方法において，
上記拡大画像の符号化によって出力されるストリームから動きベクトル情報を抽出するステップを有し，
上記符号化ステップでは，その動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，得られたベクトルを用いて動き補償を行ないながら入力画像の符号化を行なう
ことを特徴とする動画像符号化方法。
【請求項１３】
請求項７から請求項１２までのいずれか１項に記載の動画像符号化方法を，コンピュータに実行させるための動画像符号化プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，符号化器前段で入力映像を拡大し，その拡大映像に対して動きベクトル探索または動きベクトル探索を伴う符号化を行ない，その結果から得られる動きベクトルを利用して，入力画像に対してより細密なブロック単位での，より高画素精度の動き補償を行なう動画像符号化装置に関するものである。
【０００２】
【従来の技術】
多くの動画像符号化においては，ブロック単位の動き補償によってフレーム間の冗長性を排し，情報を圧縮している。例えば，動画像符号化の国際標準であるＭＰＥＧ−１，  ＭＰＥＧ−２などでは，動き補償は１６×１６画素の矩形領域であるマクロブロックごとに行なわれており，エンコーダは各マクロブロックごとに動き探索を行なって，対象マクロブロックと一致度の高いブロックを参照画像の探索範囲内から探し出し，その位置を指し示すベクトルを動きベクトルとして符号化する。
【０００３】
動きベクトルの指し示す１６×１６画素の矩形領域画像は，予測画像として用いられ，予測画像と原画像との差分画像である予測誤差画像にＤＣＴが施され，その係数が量子化され符号化される。また，これらの国際標準では，この動きベクトルの精度は  ０．５画素精度である。１画素以下の位置の参照画像は，整数画素位置のデータの補間によって生成され，生成された参照画像と対象マクロブロックとの画素差分がとられる。
【０００４】
一方，より新しい符号化手法では，映像の内容に応じて，より細密なブロックを単位として，動き補償を行なうことで，符号化効率を向上させる。より新しい国際標準であるＨ．２６４などでは，動き補償は１６×１６画素以外にも，１６×８画素，８×８画素，８×４画素，４×４画素の矩形領域単位で行なうことができ，１６×１６画素のマクロブロックごとに，より細かいブロックで動き補償を行なった方が効率がよくなる場合には，より細かいブロック単位で動き補償をしながら符号化を行なうことにより，符号化効率を上げることができる。また，動きベクトルの精度も０．２５画素精度など，従来より細かくなってきている。
【０００５】
一方，これらの動画像符号化方式のエンコーダの実装技術に着目すると，ＭＰＥＧ−１やＭＰＥＧ−２などの符号化方式に対応したエンコーダＬＳＩがすでに広く普及しており，非常に小型でリアルタイム処理が可能なハードウェアモジュールを比較的安価に使用することができる。また，画像サイズについても通常ＴＶサイズより大きいＨＤＴＶサイズのエンコードが可能なハードウェアモジュールも存在する。
【０００６】
一方，より新しいＨ．２６４などの符号化方式に対応したエンコーダは，ＬＳＩ化がまだ進んでいない。一般に，動き補償を用いる動画像符号化方式において，動きベクトル探索や動き補償に必要な計算処理量は非常に多いが，これらの符号化方式では，従来の方式に比べ動きベクトル探索や動き補償がさらに高度化しているため，必要な計算処理量が飛躍的に多くなっており，リアルタイム符号化可能なエンコーダを実装することが難しい。
【０００７】
なお，ＭＰＥＧ−１の符号化に関する参考文献として，下記の非特許文献１がある。また，ＭＰＥＧ−２の符号化に関する参考文献として，下記の非特許文献２がある。Ｈ．２６４の符号化に関する参考文献として，下記の非特許文献３がある。
【０００８】
【非特許文献１】
ＩＳＯ／ＩＥＣ  １１１７２，  ”Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ  −  Ｃｏｄｉｎｇ  ｏｆ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ａｓｓｏｃｉａｔｅｄ  Ａｕｄｉｏ  ｆｏｒ  Ｄｉｇｉｔａｌ  Ｓｔｏｒａｇｅ  Ｍｅｄｉａ  ａｔ  Ｕｐ  ｔｏ  ａｂｏｕｔ  １．５Ｍｂｉｔ／ｓ”（１９９２）
【非特許文献２】
ＩＴＵ−Ｔ  Ｒｅｃ．Ｈ．２６２／ＩＳＯ／ＩＥＣ  １３８１８−２  ＭＰＥＧ−２  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ：  Ｖｉｄｅｏ  ｐａｒｔ
【非特許文献３】
ＩＴＵ−Ｔ  Ｒｅｃ．Ｈ．２６４／ＩＳＯ／ＩＥＣ  １１４９６−１０，  ”Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ”，  Ｆｉｎａｌ  Ｃｏｍｍｉｔｔｅｅ  Ｄｒａｆｔ，  Ｄｏｃｕｍｅｎｔ  ＪＶＴ−Ｅ０２２，  Ｓｅｐｔｅｍｂｅｒ  ２００２
【０００９】
【発明が解決しようとする課題】
以上述べたように，従来の符号化方式で用いられたサイズのブロックよりもより細かいサイズのブロックを単位として動き補償を行なったり，従来の符号化方式で用いられた精度よりもより細かい画素精度の動き補償を行なう符号化方式において，リアルタイム符号化を行なうエンコーダを実現しようとすると，動き探索に必要な計算量は膨大であり，このような処理を行なうハードウェアを開発するのはコストが高いという問題がある。
【００１０】
本発明は，上記問題点の解決を図り，動き探索精度が高く，動き補償単位が小さな探索を用いた動画像符号化を，低コストで実現することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は，上記課題を解決するため，従来からある動画像符号化の国際標準であるＭＰＥＧ−１，  ＭＰＥＧ−２などのために作られた，画素精度が低く，動き補償単位の大きい動き探索モジュールまたは符号化モジュールを用いて，入力映像の拡大映像に対して，動き探索または動き探索を伴う符号化を行ない，その結果得られる動きベクトルを縮小したベクトルに基づいて，メインエンコーダが入力画像に対して動き補償を伴う符号化を行なうことをもっとも主要な特徴とする。
【００１２】
上記手段により，入力画像の拡大率の分だけ，動き探索精度が高く，動き補償単位の小さな動きベクトル情報を得ることができるため，このベクトル情報を利用した動き補償を行なったり，そのベクトル情報を利用して動き探索の計算量を削減することなどができる。これにより，従来からある，より動き探索精度が低く，動き補償単位が大きな探索を行なうモジュールを用いて，より動き探索精度が高く，動き補償単位が小さな探索を用いた動画像符号化を，従来より低いコストで行なうことができる。
【００１３】
【発明の実施の形態】
〔実施の形態１〕
本発明の実施の形態１の装置構成図を，図１に示す。図２は，実施の形態１における入力画像の拡大方法の説明図，図３は，実施の形態１（後述する実施の形態４，５も同様）における入力映像（プログレッシブ映像）の垂直方向２倍拡大方法の説明図である。図４は，実施の形態１の処理フローチャートである。
【００１４】
本実施の形態１における入力映像は，プログレッシブ映像であるものとする。画像拡大部１０において，図２のようにフレーム単位で入力映像を水平方向に２倍，垂直方向に２倍に拡大する（図４のＳ１）。なお，図２（Ａ）は入力映像の１フレームの画素群，図２（Ｂ）は入力映像を拡大した拡大画像の画素群を表している。ここで，垂直方向には，図３に示すように各ラインの中間位置にフレーム内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には，各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００１５】
前処理符号化部１１では，画像拡大部１０において生成された拡大画像を，ＭＰＥＧ−２で符号化を行なう（図４のＳ２）。前処理符号化部１１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを  ０．５画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ１３に伝達される。
【００１６】
遅延バッファ１２は，入力映像に対する画像拡大部１０および前処理符号化部１１による処理の間，メインエンコーダ１３に供給する入力映像のデータを一時的に保持するメモリである。
【００１７】
メインエンコーダ１３では，動き補償部１４において前処理符号化部１１から得た動きベクトルの水平垂直成分を１／２に縮小し（図４のＳ３），０．２５画素精度のベクトルを得，このベクトルを用いて８×８画素ブロックごとのフレーム予測を行なう。このベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和を比較して前者が小さければ，ノンイントラ符号化ブロックとして，そのベクトルおよび予測誤差成分のＤＣＴ係数を符号化する。後者が小さければイントラ符号化ブロックとして，原画像のＤＣＴ係数を符号化する。このようにして，符号化を行なうことにより０．２５画素精度，８×８画素ブロックのフレーム予測による動き補償を実現することができる（図４のＳ４）。
【００１８】
〔実施の形態２〕
本発明の実施の形態２の装置構成図は，図１に示す実施の形態１と同様である。図５は，実施の形態２における入力映像（インタレース映像）の垂直方向２倍拡大方法の説明図，図６は，実施の形態２における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。また，図７は，実施の形態２の処理フローチャートである。
【００１９】
本実施の形態２における入力映像は，インタレース映像であるものとする。画像拡大部１０において，入力映像をフィールド単位で水平方向に２倍，垂直方向に２倍に拡大する（図７のＳ１０）。ここで，垂直方向の拡大では，図５に示すように，第１フィールドについては各ラインの中間位置に，同フィールド内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，第２フィールドについては，各ラインの４分の１と４分の３の内分点の位置に，同フィールド内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成する。また，水平方向については，それぞれ各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００２０】
前処理符号化部１１では，画像拡大部１０において生成された拡大画像をＭＰＥＧ−２で符号化を行なう。前処理符号化部１１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルおよびフィールド予測ベクトルを  ０．５画素精度で求める（図７のＳ１１）。また，符号化はこれらのベクトルを用いてフレームフィールド適応予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルと予測モードはメインエンコーダ１３に伝達される。
【００２１】
メインエンコーダ１３においては，得られた動きベクトルの水平垂直成分を１／２に縮小し，０．２５画素精度のベクトルを得る。ただし，予測モードがフィールド予測であり，パリティの異なるフィールド間の予測の場合には，ベクトルの垂直成分に０．２５を足す（図７のＳ１２）。
【００２２】
上記の画像拡大部１０で生成された第１フィールド拡大画像と第２フィールド拡大画像をラインごとに交互に組み合わせて生成したインタレースのフレーム映像は，画像内容の相対位置は正確であり，前処理符号化部１１においては，通常のフレーム予測ベクトルを得ることができる。また，同パリティのフィールド間での予測においても，同パリティのフィールド間では画像内容の相対位置は正確であり，通常のフィールド予測ベクトルを得ることができる。
【００２３】
しかし，異なるパリティのフィールド間での予測においては，フィールド予測が選ばれた場合，図６に示すように異なるパリティのフィールド間の予測ベクトルが  ０．５画素分ずれるので補正が必要となる。例えば，第１フィールドがトップフィールドであり，第２フィールドが第１フィールドを参照する場合，フレーム画像で１ライン上の位置を指す動きベクトルの垂直成分が０となる。そのため，垂直２倍拡大画像において垂直成分０となったベクトルは，拡大前の入力画像において，フレーム画像で１／２ライン上の位置を指す動きベクトルに相当する。フィールド予測において，フレーム画像で１／２ライン上の位置を指す動きベクトルの垂直成分は０．２５であるので，このため，前処理符号化部１１から得られる異なるパリティのフィールド間での予測ベクトルは水平垂直成分を１／２に縮小したのちに，垂直成分に０．２５を足して補正する必要がある。
【００２４】
メインエンコーダ１３は，このようにして得たベクトルおよび予測モードに従って，８×８画素ブロックごとのフレーム予測を行なう。このベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和とを比較して，前者が小さければ，ノンイントラ符号化ブロックとして，そのベクトルおよび予測誤差成分のＤＣＴ係数を符号化する。後者が小さければ，イントラ符号化ブロックとして，原画像のＤＣＴ係数を符号化する。
【００２５】
このようにして，符号化を行なうことにより０．２５画素精度，８×８画素ブロックのフレーム予測による動き補償を実現することができる（図７のＳ１３）。
【００２６】
〔実施の形態３〕
本発明の実施の形態３の装置構成図を，図８に示す。図９は，実施の形態３におけるフレーム画像単位の垂直方向２倍拡大方法の画像内容位置を示す図，図１０は，実施の形態３におけるフィールド画像単位の垂直方向２倍拡大説明図である。図１１は，実施の形態３における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。また，図１２は，実施の形態３の処理フローチャートである。
【００２７】
本実施の形態３における入力映像は，インタレース映像であるものとする。フレーム画像拡大部２０において，入力映像をフレーム単位で水平方向に２倍，垂直方向に２倍に拡大する（図１２のＳ２０）。すなわち，垂直方向には，図９のようにフレームの各ラインの中間位置に同フレーム内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には，各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。ここで，このようにして拡大された映像は，静止領域においては画像内容が正しく拡大されるが，動領域においては，時間的に異なる２つのフィールドの画像内容が平均化され正しく拡大画像が生成されないことに留意されたい。
【００２８】
フレーム前処理符号化部２１では，フレーム画像拡大部２０において生成された拡大画像を，ＭＰＥＧ−２で符号化を行なう（図１２のＳ２１）。フレーム前処理符号化部２１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを  ０．５画素精度で求める。符号化は，このベクトルを用いたフレーム予測を行ない，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ２５に伝達される。
【００２９】
同時に，フィールド画像拡大部２２において，入力映像をフィールド単位で水平方向に２倍，垂直方向に２倍に拡大する（図１２のＳ２２）。すなわち，図５のように，第１フィールドと第２フィールドとでそれぞれ独立に，垂直方向にはフィールドの各ラインの中間位置に同フィールド内の上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００３０】
フィールド前処理符号化部２３では，フィールド画像拡大部２２において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１２のＳ２３）。フィールド前処理符号化部２３では，動き探索によって１６×１６画素のマクロブロックごとにフィールド予測動きベクトルを  ０．５画素精度で求める。符号化は，このベクトルを用いたフィールド予測を用い，また量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ２５に伝達される。
【００３１】
遅延バッファ２４は，入力映像に対するフレーム画像拡大部２０およびフレーム前処理符号化部２１による処理およびフィールド画像拡大部２２およびフィールド前処理符号化部２３による処理の間，メインエンコーダ２５に供給する入力映像のデータを一時的に保持する。
【００３２】
上記のようにフィールド画像拡大部２２で生成された第１フィールド拡大画像と第２フィールド拡大画像とをラインごとに交互に組み合わせて生成したインタレース映像のフレーム画像は，画像内容の位置が本来の位置とずれていることに留意されたい。しかし，同パリティのフィールド間での画素内容の相対位置はずれることはないので，同パリティのフィールド間のフィールド動きベクトルの成分がずれることはない。また，異なるパリティ間の動きベクトルにはずれが存在するが，図１１に示すとおり，メインエンコーダ２５における異なるパリティ間のフィールド動きベクトルの位置ずれの関係と一致しているため，動きベクトルのずれが問題となることはない。すなわち，メインエンコーダ２５においては，第２フィールドが第１フィールドを参照する場合，動きベクトルの垂直成分が０の場合，フレームとして画像を見た場合，１ラインずれた位置を指すことになるが，拡大された２つのフィールドについても同様の関係が成り立っているためである。
【００３３】
メインエンコーダ２５においては，フレーム前処理符号化部２１から得られたフレーム動きベクトルの水平垂直成分を１／２に縮小し，０．２５画素精度のベクトルを得る（図１２のＳ２４）。また同時に，フィールド前処理符号化部２３から得られたフィールド動きベクトルの水平垂直成分を１／２に縮小し，０．２５画素精度のベクトルを得る。動き補償部２６は，これらのベクトルのどちらかを用いて８×８画素ブロックごとの動き補償を行なう。フィールドベクトルを用いて生成した予測誤差画像とフレームベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和とを比較してその値の最も小さいモードで符号化を行なう。
【００３４】
このようにして，符号化を行なうことにより，０．２５画素精度，８×８画素ブロックのフレーム予測による動き補償を実現することができる（図１２のＳ２５）。
【００３５】
〔実施の形態４〕
本発明の実施の形態４の装置構成図を，図１３に示す。図１４は，実施の形態４の処理フローチャートである。
【００３６】
本実施の形態４における入力映像は，プログレッシブ映像であるものとする。画像拡大部Ａ３０において，入力映像をフレーム単位で水平方向に２倍，垂直方向に２倍に拡大する（図１４のＳ３０）。すなわち，垂直方向には，フレームの各ラインの中間位置に上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には，各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００３７】
前処理符号化部Ａ３１では，画像拡大部Ａ３０において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１４のＳ３１）。前処理符号化部Ａ３１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを  ０．５画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ３７に伝達される。メインエンコーダ３７においては，得られた動きベクトルの水平垂直成分を１／２に縮小し（図１４のＳ３６），８×８画素単位の水平垂直０．２５画素精度のベクトルを得る。
【００３８】
画像拡大部Ｂ３２において，入力映像をフレーム単位で水平方向に２倍，垂直方向に１倍に拡大する（図１４のＳ３２）。すなわち，水平方向に各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００３９】
前処理符号化部Ｂ３３では，画像拡大部Ｂ３２において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１４のＳ３３）。前処理符号化部Ｂ３３では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを  ０．５画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ３７に伝達される。メインエンコーダ３７においては，得られた動きベクトルの水平成分を１／２に縮小し（図１４のＳ３６），８×１６画素単位の水平０．２５画素精度，垂直  ０．５画素精度のベクトルを得る。
【００４０】
画像拡大部Ｃ３４において，入力映像をフレーム単位で水平方向に１倍，垂直方向に２倍に拡大する（図１４のＳ３４）。すなわち，垂直方向には，フレームの各ラインの中間位置に上下数画素（ライン）分の画素値の線形和による補間によってラインを生成する。
【００４１】
前処理符号化部Ｃ３５では，画像拡大部Ｃ３４において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１４のＳ３５）。前処理符号化部Ｃ３５では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを  ０．５画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。求められた各マクロブロックごとの動きベクトルはメインエンコーダ３７に伝達される。メインエンコーダ３７においては，得られた動きベクトルの垂直成分を１／２に縮小し（図１４のＳ３６），１６×８画素単位の水平  ０．５画素精度，垂直０．２５画素精度のベクトルを得る。
【００４２】
遅延バッファ３６は，以上の入力映像に対する画像の拡大，前処理符号化の処理の間，メインエンコーダ３７に供給する入力映像のデータを一時的に保持する。
【００４３】
メインエンコーダ３７では，これらのベクトルの近傍について，それぞれに対応するブロックサイズでメインエンコーダ３７内の局所復号画像を参照画像として動き探索を行なう（図１４のＳ３７）。すなわち，前処理符号化部Ａ３１から得たベクトル近傍について８×８画素ブロックサイズで，前処理符号化部Ｂ３３から得たベクトル近傍について８×１６画素ブロックサイズで，前処理符号化部Ｃ３５から得たベクトル近傍について１６×８画素ブロックサイズで，それぞれ水平垂直０．２５画素精度で動き探索を行なう。また，これとは別にメインエンコーダ３７では，内部の動き補償部３８において，メインエンコーダ３７内の局所復号画像を参照画像として，１６×１６画素のフレーム動きベクトル探索を行なう。
【００４４】
メインエンコーダ３７において，各１６×１６画素のブロックについて，同位置のブロックサイズの異なる上記ベクトルを用いて生成した予測誤差画像と同じ１６×１６画素ブロックの原画像の差分絶対値和を比較する。このとき，８×８画素ブロックサイズについては４つ分，１６×８画素，８×１６画素ブロックについては２つ分，１６×１６画素ブロックは１つ分の予測誤差画像の絶対値和をそれぞれ比較する。
【００４５】
この中で最も差分絶対値和が小さいモードを選択する。すなわち，８×８画素ブロック４つ分の予測誤差画像の絶対値和が小さければ，４つの８×８画素ブロックサイズの動きベクトルを用いてその１６×１６画素ブロックのノンイントラ符号化を行なう。１６×８画素ブロック２つ分の予測誤差画像の絶対値和が小さければ，２つの１６×８画素ブロックサイズの動きベクトルを用いてその１６×１６画素ブロックのノンイントラ符号化を行なう。８×１６画素ブロック２つ分の予測誤差画像の絶対値和が小さければ，２つの８×１６画素ブロックサイズの動きベクトルを用いてその１６×１６画素ブロックのノンイントラ符号化を行なう。１６×１６画素ブロックの予測誤差画像の絶対値和が小さければ，１６×１６画素ブロックサイズの動きベクトルを用いてその１６×１６画素ブロックのノンイントラ符号化を行なう。１６×１６画素ブロックの原画像の絶対値和が小さければ，その１６×１６画素ブロックのイントラ符号化を行なう。
【００４６】
このようにして，符号化を行なうことにより０．２５画素精度，８×８画素ブロック，８×１６画素ブロック，１６×８画素ブロック，１６×１６画素ブロックの適応フレーム予測による動き補償を実現することができる（図１４のＳ３８）。
【００４７】
〔実施の形態５〕
本発明の実施の形態５の装置構成図を，図１５に示す。図１６は，実施の形態５の処理フローチャートである。実施の形態５の入力映像はプログレッシブ映像であるものとする。
【００４８】
画像拡大部４０において，入力映像をフレーム単位で水平方向に２倍，垂直方向に２倍に拡大する（図１６のＳ４０）。すなわち，垂直方向には，フレームの各ラインの中間位置に上下数画素（ライン）分の画素値の線形和による補間によってラインを生成し，水平方向には，各画素の中間位置に左右数画素分の画素値の線形和の補間によって画素を生成する。
【００４９】
前処理符号化部４１では，画像拡大部４０において生成された拡大画像をＭＰＥＧ−２で符号化を行なう（図１６のＳ４１）。前処理符号化部４１では，動き探索によって１６×１６画素のマクロブロックごとにフレーム予測動きベクトルを  ０．５画素精度で求める。また，符号化は，このベクトルを用いたフレーム予測を行なう。また，量子化パラメータは，５以下の小さい値に固定して行ない，参照画像の符号化歪によるベクトルのずれが起きにくいようにする。このようにして符号化された符号化ストリームが，前処理符号化部４１から出力され（図１６のＳ４２），動きベクトル情報抽出部４２に入力される。
【００５０】
動きベクトル情報抽出部４２においては，各マクロブロックごとの動きベクトル情報が抽出され（図１６のＳ４４），メインエンコーダ４４に伝達される。
【００５１】
遅延バッファ４３は，入力映像に対する画像拡大部４０，前処理符号化部４１，動きベクトル情報抽出部４２の処理の間，メインエンコーダ４４に供給する入力映像のデータを一時的に保持する。
【００５２】
メインエンコーダ４４においては，得られた動きベクトルの水平垂直成分を１／２に縮小する（図１６のＳ４５）。このベクトルの近傍の８×８画素ブロックの動き探索をメインエンコーダ４４の局所復号画像を参照画像として行ない，フレームベクトルを得る（図１６のＳ４６）。このベクトルを用いて生成した予測誤差画像と同ブロックの原画像の差分絶対値和を比較して前者が小さければ，ノンイントラ符号化ブロックとして，そのベクトルおよび予測誤差成分のＤＣＴ係数を符号化する。後者が小さければイントラ符号化ブロックとして，原画像のＤＣＴ係数を符号化する。このようにして，符号化を行なうことにより０．２５画素精度，８×８画素ブロックのフレーム予測による動き補償を実現することができる（図１６のＳ４７）。
【００５３】
本実施の形態５においては，前処理符号化部４１が動きベクトル情報を特別に出力せず，エンコーダとしての通常動作どおりのストリームを出力するだけであるため，前処理符号化部４１の実装が容易であるという利点がある。
【００５４】
本発明は，上記各実施の形態を組み合わせて実施することも可能である。また，上記各実施の形態における全体の制御に関する処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【００５５】
【発明の効果】
以上説明したように，本発明によれば，入力映像を拡大し，安価なエンコーダを用いて，動き探索または動き探索を伴う符号化を行ない，その結果得られる動きベクトルを縮小したベクトルに基づいて，メインエンコーダが入力画像に対して動き補償を伴う符号化を行なうので，より動き探索精度が高く，動き補償単位が小さな探索を用いた動画像符号化を，従来より低いコストで実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１，  ２の装置構成図である。
【図２】実施の形態１における入力画像の拡大方法の説明図である。
【図３】実施の形態１，４，５における入力映像（プログレッシブ映像）の垂直方向２倍拡大方法の説明図である。
【図４】実施の形態１の処理フローチャートである。
【図５】実施の形態２における入力映像（インタレース映像）の垂直方向２倍拡大方法の説明図である。
【図６】実施の形態２における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。
【図７】実施の形態２の処理フローチャートである。
【図８】本発明の実施の形態３の装置構成図である。
【図９】実施の形態３におけるフレーム画像単位の垂直方向２倍拡大方法の画像内容位置を示す図である。
【図１０】実施の形態３におけるフィールド画像単位の垂直方向２倍拡大説明図である。
【図１１】実施の形態３における異なるパリティのフィールド間のベクトル垂直成分のずれの変化を示す図である。
【図１２】実施の形態３の処理フローチャートである。
【図１３】本発明の実施の形態４の装置構成図である。
【図１４】実施の形態４の処理フローチャートである。
【図１５】本発明の実施の形態５の装置構成図である。
【図１６】実施の形態５の処理フローチャートである。
【符号の説明】
１０，３０，３２，３４，４０  画像拡大部
１１，３１，３３，３５，４１  前処理符号化部
１２，２４，３６，４３  遅延バッファ
１３，２５，３７，４４  メインエンコーダ
１４，２６，３８，４５  動き補償部
２０  フレーム画像拡大部
２１  フレーム前処理符号化部
２２  フィールド画像拡大部
２３  フィールド前処理符号化部
【図１】
2004349756.tif 000003
【図２】
2004349756.tif 000004
【図３】
2004349756.tif 000005
【図４】
2004349756.tif 000006
【図５】
2004349756.tif 000007
【図６】
2004349756.tif 000008
【図７】
2004349756.tif 000009
【図８】
2004349756.tif 000010
【図９】
2004349756.tif 000011
【図１０】
2004349756.tif 000012
【図１１】
2004349756.tif 000013
【図１２】
2004349756.tif 000014
【図１３】
2004349756.tif 000015
【図１４】
2004349756.tif 000016
【図１５】
2004349756.tif 000017
【図１６】
2004349756.tif 000018