(57)【特許請求の範囲】
【請求項１】
２フレーム間動き補償予測を利用した入力符号化動画像データＡと入力符号化動画像データＢから、ディゾルブ効果を利用した圧縮符号化動画像データＥを作成するディゾルブ画像の符号化装置において、
前記入力符号化動画像データＡと入力符号化動画像データＢを復号する動画像復号部と、
該動画像復号部から出力された動き補償情報からディゾルブ区間の動き補償情報を決定する動き補償情報決定部と、
該第１、第２の動画像復号部から出力された復号画像情報をディゾルブ区間において合成する画像合成部と、
該画像合成部から出力された合成画像を再符号化する動画像再符号化部とを具備し、
前記動き補償情報決定部は、ディゾルブ区間における前記入力符号化動画像データＡおよびＢの画像の画像内分散値、画像内平均値との絶対誤差和、およびＤＣＴ係数の絶対値和の少なくとも一つからなる画像の模様情報のうちの大きい方の動き補償情報をディゾルブ区間の動き補償情報とし、前記動画像再符号化部は、動き探索を行わず、前記動き補償情報決定部で決定された動き補償情報を用いて再符号化することを特徴とするディゾルブ画像の符号化装置。
【請求項２】
２フレーム間動き補償予測を利用した入力符号化動画像データＡと入力符号化動画像データＢから、ディゾルブ効果を利用した圧縮符号化動画像データＥを作成するディゾルブ画像の符号化装置において、
前記入力符号化動画像データＡと入力符号化動画像データＢを復号する動画像復号部と、
該動画像復号部から出力された動き補償情報からディゾルブ区間の動き補償情報を決定する動き補償情報決定部と、
該第１、第２の動画像復号部から出力された復号画像情報をディゾルブ区間において合成する画像合成部と、
該画像合成部から出力された合成画像を再符号化する動画像再符号化部とを具備し、
前記動き補償情報決定部は、ディゾルブ区間における前記入力符号化動画像データＡおよびＢの画像の画像内分散値、画像内平均値との絶対誤差和、およびＤＣＴ係数の絶対値和の少なくとも一つからなる画像の模様情報のうちの大きい方の動き補償情報をディゾルブ区間の動き補償情報とし、前記動画像再符号化部は、前記動き補償情報決定部で決定された動き補償情報を動き探索の起点として、その周辺の小領域のみで動き探索処理を行い、その結果を用いて再符号化することを特徴とするディゾルブ画像の符号化装置。
【請求項３】
前記動き補償情報決定部は、さらに前記画像合成部で合成される入力符号化動画像データＡおよびＢの入力比率を反映させた値を用いて、ディゾルブ区間の動き補償情報を決定することを特徴とする請求項１または２に記載のディゾルブ画像の符号化装置。
【請求項４】
前記動画像再符号化部は、前記入力符号化動画像データＡおよびＢの入力比率の差が小さいディゾルブ区間の中央付近において、再符号化の際の符号化モードを画面内符号化モードとすることを特徴とする請求項３に記載のディゾルブ画像の符号化装置。
【請求項５】
前記動画像再符号化部は、前記ディゾルブ区間における各フレームの符号化方式を、動き補償情報を参照する画像の符号化方式と同一とすることを特徴とする請求項１〜４のいずれかに記載のディゾルブ画像の符号化装置。
【請求項６】
前記動画像再符号化部は、前記動き補償情報を参照する画像を切替える時間的位置を、前記模様情報を用いた演算により求められた位置から前後に隣接する１または複数枚の双方向予測フレームの合計数が少なくなる近隣位置へと変更させることを特徴とする請求項１〜５のいずれかに記載のディゾルブ画像の符号化装置。
【請求項７】
前記入力符号化動画像データＡおよびＢを画素領域まで復号した後、ディゾルブ画像の合成作業を行い、その後、決定した動き補償情報を元に、画素領域での動き補償処理を利用して再符号化することを特徴とする請求項１〜６のいずれかに記載のディゾルブ画像の符号化装置。
【請求項８】
前記入力符号化動画像データＡおよびＢを変換領域まで復号した後、ディゾルブ画像の合成作業を行い、その後、決定した動き補償情報を元に、変換領域での動き補償処理を利用して再符号化することを特徴とする請求項１〜６のいずれかに記載のディゾルブ画像の符号化装置。
【請求項９】
前記動画像再符号化部は、動き補償情報を参照する画像と再符号化する画像との間で予測フレーム間隔が異なる場合、対象となる動き補償情報を予測フレーム間隔の比に応じてスケーリングすることを特徴とする請求項１〜６のいずれかに記載のディゾルブ画像の符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はディゾルブ画像の符号化装置に関し、特にフレーム間動き補償予測符号化を用いたディゾルブ画像の符号化装置に関する。
【０００２】
【従来の技術】
動画像のシーンチェンジ時に挿入する特殊効果の一つとして、シーンチェンジに時間的遷移区間を設けて、図１に示されているように、その遷移区間内で徐々にシーンチェンジ前の画像（動画像Ａとする）からシーンチェンジ後の画像（動画像Ｂとする）へと変化させる“ディゾルブ”がある。ディゾルブでは、遷移区間内の映像、２つ入力画像の合成画像となる。
【０００３】
ディジタル動画像は、連続的なディジタル静止画像の連続で表現される。また、ディジタル静止画像は空間的に等間隔に配置された画素の集合により表現される。ディジタル動画像において“ディゾルブ”を用いた場合には、合成画像の各画素値は下記の式(1) で表される（図２参照）。
【０００４】
Ｄt （ｙ，ｘ）＝｛（ｔout −ｔ）／（ｔout −ｔin）｝・Ａt （ｙ，ｘ）＋｛（ｔ−ｔin）／（ｔout −ｔin）｝・Ｂt （ｙ，ｘ）  …(1)
【０００５】
ここに、Ｄt （ｙ，ｘ）は時刻ｔの合成画像内の座標（ｙ，ｘ）の画素値、Ａt （ｙ，ｘ）は時刻ｔの切替わり前の画像内の座標（ｙ，ｘ）の画素値、Ｂt（ｙ，ｘ）は時刻ｔの切替わり後の画像内の座標（ｙ，ｘ）の画素値、ｔinは遷移区間開始時刻、ｔout は遷移区間終了時刻である。
【０００６】
しかし、動画像情報は、その情報量の多さから画像情報の圧縮符号化が盛んに利用されている。特に、圧縮効率を高めるためには時間的に近隣する画像の情報からの動き補償予測情報を利用するフレーム間予測符号化が利用される。ＭＰＥＧビデオ符号化などがこの方式を利用している。
【０００７】
このようなフレーム間予測符号化を用いた圧縮符号化を施された動画像から、遷移区間にディゾルブ効果を用いた合成画像を作成するためには、例えば図１７に示されているような動作をさせる必要がある。はじめに対象となる符号化動画像Ａ６１を第１の動画像復号部６３において復号再生し、また符号化動画像Ｂ６２を第２の動画像復号部６４において復号再生する。該復号再生された画像情報Ａ，Ｂは画像合成部６５へと送られる。画像合成部６５においてディゾルブ区間の合成画像作成処理が行われ、作成された合成画像Ｄは動画像再符号化部６６へ送られる。動画像再符号化部６６においては、入力された合成画像Ｄからフレーム間予測を利用した動画像の再符号化が行われ、符号化動画像Ｅ６７が出力される。
【０００８】
図１８は、図１７内の動画像再符号化部６６の詳細を説明したブロック図である。入力された合成画像Ｄから、動き探索部７１により、画像蓄積部７２に蓄積されている既に処理された画像との間で動き探索処理を行い、合成画像の再符号化時に利用される動き補償情報ａを決定する。次に、得られた動き補償情報ａと画像蓄積部７２に蓄積されている画像ｂを用いて、動き補償部７３において動き補償画像ｃの作成を行う。
【０００９】
フレーム内／フレーム間符号化決定部７４では、該動き補償画像ｃおよび入力合成画像Ｄの特徴から、フレーム内符号化を行うか、フレーム間符号化を行うかを決定する。該決定結果により、切替えスイッチＳを操作し、フレーム内符号化の場合には入力合成画像Ｄそのものを、フレーム間符号化の場合には、入力合成画像Ｄから動き補償画像ｃを減算した画像を動き補償予測誤差情報ｄとして出力する。該動き補償予測誤差情報ｄは、変換部７５において離散コサイン変換等を用いて変換され変換領域情報ｅとなり、該変換領域情報ｅは符号化部７６において符号化され、符号化動画像Ｅとして出力される。
【００１０】
一方、変換部７５から出力された変換領域情報ｅは、逆変換部７７で元の動き補償予測誤差量に戻され、動き補償画像と加算されることにより復号再生画像ｆとなり画像蓄積部７２に蓄積され、以降の画像符号化の際に参照画像として利用される。
【００１１】
【発明が解決しようとする課題】
しかしながら、前記した従来方式ではディゾルブ画像の合成後の動画像再符号化部６６に動き探索部７１を含む。該動き探索部７１で行う動き探索処理は、対象画像または対象画像内の小ブロックの画像が、参照する画像内のどの部分の画像と類似しているかを探索する処理であり、非常に多くの演算量を必要とする。そのため従来方式では合成画像の再符号化に処理時間がかかるという問題があった。また、動き探索部７１を持たない構成では、動画像の再符号化を行うことができないという問題もある。
【００１２】
本発明の目的は、前記した従来技術の問題点を解決し、圧縮符号化動画像を入力として遷移区間にディゾルブを実現した圧縮符号化動画像を作成する際に、動き探索処理を行わずに、あるいは該動き探索処理の演算量を大幅に低減して、高速に動画像圧縮符号化処理を行うことのできるディゾルブ画像の符号化装置を提供することにある。
【００１３】
【問題を解決するための手段】
前記目的を達成するために、本発明は、合成画像の再符号化時の動き補償情報を動き探索処理を行わず、合成画像の入力である２つの符号化動画像からそれぞれの動き補償情報を抽出し、その抽出された動き補償情報と、処理対象としている合成画像の時間的位置情報から、合成画像における動き補償情報を決定する手段を具備した点に第１の特徴がある。
【００１４】
また、本発明は、決定された動き補償情報の示す位置を起点とし、周辺の小領域動き探索を行うことにより、符号化効率を向上させる手段を具備した点に第２の特徴がある。
【００１５】
また、本発明は、各合成画像における２つの入力画像の入力比率の高い画像の持つ動き補償情報を利用する手段を具備した点に第３の特徴がある。
【００１６】
また、本発明は、２つの入力画像の動き補償情報の選択の基準となる入力比率に、各入力画像の特徴量を反映させ、その結果を元に動き補償情報を利用する入力画像を決定する手段を具備した点に第４の特徴がある。
【００１７】
また、本発明は、入力画像の特徴量として、模様情報を利用する手段を具備した点、画像内分散量や画像内平均値との絶対誤差和を利用する手段を具備した点に第５の特徴がある。
【００１８】
また、本発明は、ディゾルブ区間の中央付近において、２つの入力画像の入力比率の差が小さい場合には、画面内符号化方式を選択する手段を具備した点に第６の特徴がある。
【００１９】
また、本発明は、合成画像の再符号化じに、動き補償情報を参照する画像の符号化方式と同一とする手段を具備した点に第７の特徴がある。
【００２０】
また、演算により求めらてた動き補償情報参照画像の切替え時刻を、近隣するフレームの符号化方式により変更する手段を具備した点に第８の特徴がある。
【００２１】
また、本発明は、符号化ディゾルブ画像を作成する際に、入力符号化画像データを画素領域情報まで復号して合成作業の後に再符号化する方式と、入力画像データを変換領域情報まで復号して合成作業の後に再符号化を行う方式を選択できる手段を具備した点に第９の特徴がある。
【００２２】
また、本発明は、動き補償情報を参照する画像と、再符号化する画像との間で予測フレーム間隔が異なる場合には、動き補償情報を予測フレーム間隔の比に応じてスケーリングする手段を具備した点に第１０の特徴がある。
【００２３】
前記した特徴によれば、従来の方式で行われていた演算量が非常にかかる動き探索処理を用いずに再符号化処理を行うことが可能となるため、従来の問題を解消することができる。
【００２４】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図３は本発明の符号化装置の一実施形態を示すブロック図である。
【００２５】
ディゾルブ効果により結合する前の符号化動画像情報を符号化動画像Ａおよび符号化動画像Ｂとする。第１，第２の動画像復号部１，２は、それぞれ、入力される符号化動画像Ａ，Ｂを復号する。該動画像復号部１，２は、それぞれ、順次入力されてくる符号化画像情報から、動きベクトル情報や予測フレーム間隔情報等の動き補償情報ｐ，ｑを抽出し、動き補償情報決定部３に送信する。この動き補償情報ｐ，ｑとは、対象画像の空間的な一部分または全体が、どの参照画像のどの部分を参照しているかを示すものである。
【００２６】
動き補償情報決定部３においては、２つの符号化動画像Ａ，Ｂから抽出された動き補償情報ｐ，ｑから、ディゾルブ区間における動き補償情報ｒを決定する。また、決定した動き補償情報ｒは動画像再符号化部５に送られる。一方、画像合成部４は、ディゾルブ区間において、復号再生画像Ａ１，Ｂ１を合成し、合成画像Ｄ１を生成する。
【００２７】
動画像再符号化部５では、入力される合成画像Ｄ１を、動き補償情報決定部３から入力される動き補償情報ｒを利用して動き補償、符号化を行い、生成された符号化動画像Ｅを出力する。
【００２８】
図４は図３の動画像復号部１の詳細を説明したブロック図である。入力される符号化画像Ａは、復号部１１で復号される。該復号された情報のうち、変換領域情報ｐ1 は逆変換部１２へと送られ、該逆変換部１２において逆離散コサイン変換等の直交変換を施され、動き補償予測誤差情報ｐ2 が再生される。一方、復号部１１で復号された動き補償情報ｐは動き補償部１４と動き補償情報決定部３へと送られる。
【００２９】
動き補償部１４は、動き補償情報ｐおよび画像蓄積部１３に蓄積されている既に復号された画像データから動き補償処理を行い、該処理で得られた画像ｐ3 と動き補償予測誤差情報ｐ2 との和により画像を再生し、復号再生画像Ａ１として出力する。図３の動画像復号部２も、符号化動画像Ｂについて動画像復号部１と同様の処理を行い、復号再生画像Ｂ１を出力する。
【００３０】
図５は、図３の動画像再符号化部５の詳細を説明したブロック図である。該動画像再符号化部５は、フレーム内／フレーム間符号化判定部２１、変換部２２、符号化部２３、逆変換部２４、画像蓄積部２５および動き補償部２６からなり、図１８に示した従来装置の動画像再符号化部６６とは、動き探索部７１の存在の有無が異なる。従来装置では、動き補償情報は画像蓄積部７２に蓄積されている画像と合成画像Ｄとの間での動き探索処理により求められる。これに対し、本発明の実施形態においては、図５に示すように動き探索処理を行わず、動き補償情報決定部３から入力される動き補償情報ｒを利用して、動き補償部２６が動き補償処理を行う。
【００３１】
図６は、前記動き補償情報決定部３が行うディゾルブ区間における動き補償情報の決定方法の一具体例を説明する図である。以下に、ディゾルブ画像の符号化処理について説明する。
【００３２】
入力符号化動画像Ａから入力符号化動画像Ｂへと変わる画像の遷移域にディゾルブを利用したシーンの切替えを行い、新しい符号化動画像Ｅを作成する。時刻ｔinをディゾルブ先頭時刻、時刻ｔout をディゾルブ終端時刻とすると、ｔin〜ｔout 間がディゾルブ区間となる。
【００３３】
符号化動画像Ｅにおけるフレーム番号１〜３番は、ディゾルブ区間前の画像となるため、入力符号化動画像Ａの情報と同じとなる。フレーム番号４〜７番は、ディゾルブ区間内に存在するフレームである。また、図には、各フレームにおける入力符号化動画像Ａおよび入力符号化動画像Ｂの入力比率（％）を記してある。入力符号化動画像Ａおよび入力符号化動画像Ｂをそれぞれ復号し、各フレームの入力比率に従って合成画像Ｄ１を作成する。その後、該合成画像を再符号化して符号化動画像Ｅを作成する。
【００３４】
これらのフレームの中で、フレーム番号４、５番は入力符号化動画像Ａの入力比率が入力符号化動画像Ｂの入力比率より高い。したがって、これらの合成画像の再符号化の際には入力符号化動画像Ａの動き補償情報を利用する。一方フレーム番号６，７番は、入力符号化動画像Ｂの入力比率が入力符号化動画像Ａの入力比率より高い。したがって、これらの合成画像の再符号化の際には入力符号化動画像Ｂの動き補償情報を利用する。合成画像Ｄ１におけるフレーム番号８〜１０番は、ディゾルブ区間後の画像となるため、入力符号化動画像Ｂの情報と同じとなる。
【００３５】
図６において、動き補償情報を利用する入力符号化画像が、フレーム番号５番と６番の間で切替わる。この切替わりの時刻をｔc とすると、ｔc は下記の式(2-1) で表すことができ、また、合成された符号化動画像Ｅの動き補償情報ｒ（＝ＭＶ）Eは下記の式(2-2) で表すことができる。ここでＭＶA ，ＭＶB は、それぞれ符号化入力動画像Ａ，符号化入力動画像Ｂの動き補償情報を表す。
ｔc ＝ｔin＋（ｔout −ｔin）／２  …(2-1)
if  ｔ≦ｔc ，ＭＶE ＝ＭＶA 、else  ＭＶE ＝ＭＶB   …(2-2)
【００３６】
また、上式におけるｔc を、入力比率からではなく２つの入力画像の特徴量に応じて設定する方式も可能である。入力画像特徴に応じて参照画像を切替える時刻を決定する場合には、下記の式(3) により求めることが可能である。ここで、ＦA ，ＦB は、それぞれ、ディゾルブ区間内の符号化入力画像Ａおよび符号化入力画像Ｂの特徴量を表す。
ｔc ＝ｔin＋ＦA （ｔout −ｔin）／（ＦA ＋ＦB ）  …(3)
【００３７】
上式における特徴量には、各入力符号化画像の模様情報を反映させた値を利用することが可能である。この模様情報を反映させる値として、各符号化入力画像の符号化ブロック毎のブロック内画素分散値や、ブロック内の平均値との絶対誤差和、ＤＣＴ等の変換領域データでの係数の絶対値和といった値を反映させることが可能である。
【００３８】
図７は、本発明の第２の実施形態を示す。図７において、図３と同一の符号は、同一または同等物を示す。
【００３９】
この実施形態は、動き補償情報決定部３が、動き補償情報ｒの決定に、入力画像の動き補償情報ｐ，ｑだけでなく、入力画像の画像特徴情報ｓを利用するようにした点に特徴がある。本実施形態では、動画像復号部１および動画像復号部２から出力される復号再生画像Ａ１，Ｂ１を画像特徴解析部７にも送信し、該画像特徴解析部７において、復号された画像の特徴量の算出、例えば模様情報の算出を行い、算出結果である画像特徴情報ｓを動き補償情報決定部３へと送信する。
【００４０】
さらに、動き補償情報を利用する符号化入力画像をディゾルブ区間の１箇所のみで切り替えるのではなく、以下の式のように入力比率と特徴量の積によって動き補償情報を利用する符号化入力画像を選択する方式も可能である。
if  ＦA ×ＲA ＞ＦB ×ＲB ，ＭＶD ＝ＭＶA 、else  ＭＶD ＝ＭＶB
上式において、ＲA ，ＲB は、それぞれ、ディゾルブ区間内の同時刻における入力画像Ａおよび入力画像Ｂの入力比率を表す。
【００４１】
次に、ディゾルブ区間内の各画像の符号化方式について説明する。フレーム間予測符号化を行う動画像符号化方式においては、高能率符号化と復号再生の利便性から、以下の３種類の画像符号化方式を組み合わせて利用されている。
【００４２】
Ｐフレーム：片方向予測フレーム。フレーム間予測フレームのひとつ。過去に符号化された画像からフレーム間動き補償予測符号化により符号化される。この予測は順方向予測となる。該画像は復号再生され、次のＰフレーム符号化のための参照画像となる。参照される画像と参照する画像の類似性が高い場合には符号化効率が向上する。
【００４３】
Ｂフレーム：双方向予測フレーム。フレーム間予測ピクチャのひとつ。過去に符号化された時間的前後２枚の画像からフレーム間動き補償予測により符号化される。該フレームは参照画像として利用されることはない。
【００４４】
Ｉフレーム：フレーム内符号化フレーム。画像間の動きと相関は利用せず、１枚の画像を独立して符号化する。したがって独立したフレームの復号が可能である。
【００４５】
本発明においては、ディゾルブ区間内の各フレームの符号化方式は、動き補償情報を参照する画像の符号化方式と同一とさせることを特徴とする。これにより、再符号化時の画質の劣化を低減することが可能となる。さらに、ディゾルブ区間中の動き補償情報を参照する画像を切替えるタイミングｔc を、ｔc 前後に隣接する連続するＢフレームの枚数の合計が少なくなる位置ｔ'cへ変更することを特徴とする。これにより、後述する動き補償情報のスケーリング処理の回数を減らすことができ、画質の劣化の低減、および演算回数の低減が可能となる。
【００４６】
図８に上記の説明図を示す。同図(a) では、ディゾルブ区間に含まれる画像１０フレームのうち、ｔc がその中央となっている場合を示す。したがって、前半５フレームは入力符号化動画像Ａの各フレームの符号化方式および動き補償情報を利用し、後半５フレームは入力符号化動画像Ｂの各フレームの符号化方式および動き補償情報を利用する。この場合には、線ｘで囲まれた５枚の画像における動き補償情報は、予測フレーム間隔が変化するために、後述する動き補償情報のスケーリングを行う必要が生じる。
【００４７】
一方、同図(b) はｔc の位置を、同図(a) から１フレーム後方のｔ'cに遅らせた例である。この例では、動き補償情報のスケーリングを必要とするフレーム数が２枚となるため、例▲１▼と比較して、画質の劣化の低減、および処理速度の向上が可能である。
【００４８】
次に、入力画像と再符号化画像における予測フレーム間隔が異なる場合の処理である、動きベクトル情報のスケーリングについて述べる。動き補償情報は、動きベクトル情報と予測フレーム間隔情報により表現され、上述のように、入力符号化画像における予測フレーム間隔は、ディゾルブ合成画像の再符号化における予測フレーム間隔と異なる場合もある。
【００４９】
このような場合には、予測フレーム間隔の比に応じた動きベクトル情報のスケーリングを行う。図９に予測フレーム間隔の比に応じた動きベクトルのスケーリングを説明する。同図(a) は予測フレーム間隔が３フレームの入力画像から予測フレーム間隔が２フレームでの符号化を行う場合を示したものである。この場合には動きベクトル情報に対して２／３のスケーリングを施す。
【００５０】
また予測方向が順方向予測と逆方向予測のように異なる場合には、マイナス値を掛けることによってベクトルを反転させることで対処可能である。図９の同図(b) では逆方向予測でフレーム間隔が２フレームである動きベクトルから予測フレーム間隔が１フレームの動きベクトル情報を生成するものを示している。そのため、動きベクトル情報に対して−１／２のスケーリングを施す。
【００５１】
さらに、画像のブロック毎の符号化では、フレーム間での動き補償予測を行う動き補償予測符号化以外に、動き補償予測を行わなずに符号化するフレーム内符号化方式がある。この場合には、対象となる領域は動き補償情報を持たない。本発明では、参照した符号化入力画像の対象位置に動き補償情報が存在しない場合には、動きベクトル情報をゼロベクトルに設定し、これを動き補償情報とする。
【００５２】
次に、本発明の第３実施形態を図１０を参照して説明する。図１０において、図３と同一の符号は、同一または同等物を示す。
【００５３】
符号化動画像Ａは、第１の動画像復号部３１において復号され、復号変換領域情報Ａ２として出力される。この復号変換領域情報Ａ２は、動き補償情報と、動き補償予測誤差の変換領域情報とから、変換領域での動き補償を用いて得られた変換領域情報である。例えばＭＰＥＧ符号化方式においてはＤＣＴ係数で表される。また、第２の動画像復号部３２において、符号化動画像Ｂが復号され、復号変換領域情報Ｂ２として出力される。また、動き補償情報ｐ，ｑは，動き補償情報決定部３へと送られる。
【００５４】
次に、動画像復号部３１および動画像復号部３２より出力された復号変換領域情報Ａ２および復号変換領域情報Ｂ２から、変換領域画像合成部３３においてディゾルブ区間の合成画像である変換領域合成画像情報Ｄ２を作成する。動画像再符号化部３４は、動き補償情報決定部３から送られてくる動き補償情報を利用して、変換領域合成画像情報Ｄ２を再符号化する。そして、該再符号化された情報を符号化動画像情報Ｅとして出力する。
【００５５】
図１１に、図１０における動画像復号部３１の詳細を説明したブロック図を示す。符号化動画像Ａはまず復号部４１において復号され、動き補償情報ｐは動き補償情報決定部３および変換領域動き補償部４２へと送られる。また、復号部４１からは動き補償予測誤差変換領域情報ｕが出力される。
【００５６】
変換領域動き補償部４２は、動き補償情報ｐを用いて、変換領域情報蓄積部４３に蓄積されている既に復号された画像情報の変換領域情報に変換領域での動き補償処理を行う。該動き補償処理で得られた変換領域動き補償情報ｖは、復号部４１から出力される動き補償予測誤差変換領域情報ｕと加算され、復号変換領域情報Ａ２として出力される。図１０における第２の動画像復号部３２は、符号化画像Ｂに対して第１の動画像復号部３１と同じ処理を行い、復号変換領域情報Ｂ２を出力する。
【００５７】
図１２は、図１０の動画像再符号化部３４の詳細を説明した図である。動き補償情報決定部３から送られてくる動き補償情報ｒは、変換領域動き補償部５１へと入力され、該変換領域動き補償部５１において、既に処理されて変換領域画像情報蓄積部５２に蓄積されている復号変換領域画像情報を、該動き補償情報ｒにより変換領域上での動き補償を行い、該補償結果を変換領域動き補償画像情報ｙとしてフレーム内／フレーム間符号化判定部５３へと送る。
【００５８】
フレーム内／フレーム間符号化判定部５３は、入力された変換領域動き補償画像情報ｙと、画像変換領域情報とから、フレーム内符号化、フレーム間符号化のどちらの符号化効率が高くなるか予測を行い、その結果をフレーム内／フレーム間符号化切替え部Ｓへと送る。該切替え部Ｓでは、フレーム内符号化を行う場合には画像変換領域情報を、フレーム間符号化を行う場合には画像変換領域情報と変換領域動き補償画像情報ｙとの差ｗを符号化部５４へと出力する。符号化部５４では、可変長符号化処理を行い、結果を符号化動画像情報Ｅとして出力する。
【００５９】
また、符号化部５４へ入力される動き補償予測誤差変換領域情報ｗは、変換領域動き補償部５１から出力される変換領域動き補償情報ｙと加算され、復号変換領域画像情報ｚとして変換領域画像情報蓄積部５２に蓄積される。本実施形態においては、直交変換、および逆直交変換を行う処理が存在しないので演算量を大幅に削減でき、高速処理が可能になる。
【００６０】
図１３は、本発明の第４の実施形態を示すブロック図である。この実施形態は、ディゾルブ区間内の時間的中央付近の画像については、符号化入力画像Ａと符号化入力画像Ｂの入力比率の差が小さく、どちらの入力符号化画像とも相関が低くなることから、どちらの符号化情報も使用せずに、合成画像における各ブロックの符号化方式を強制的にフレーム内符号化方式とする点に特徴がある。
【００６１】
図示されているように、動き補償情報決定部３は、ディゾルブ区間内の時間的中央付近の画像については、フレーム内符号化制御信号ｒ1 を動画像再符号化部５に出力し、ディゾルブ区間内の時間的中央付近以外の画像については、前記第１〜３実施形態で決定された動き補償情報を用いる。なお、図１３中の図３、図７および図１０と同一の符号は、同一または同等物を示す。
【００６２】
図１４は、図１３の動画像再符号化部５の詳細を示すブロック図である。合成画像Ｄ１の再符号化時に、フレーム内／フレーム間符号化判定部２１において、フレーム内符号化を行うかフレーム間符号化を行うかを決定する処理を行うが、動き補償情報決定部３からフレーム内符号化制御信号ｒ1 が送られてきた場合には、強制的にフレーム内符号化方式を選択し、切替えスイッチＳをフレーム内符号化方式の側に切替える。
【００６３】
次に、本発明の第５の実施形態を図１５に示す。この実施形態では、動き補償情報決定部３から送られる動き補償情報ｒは、小領域動き探索部２７へ入力される。いま、動き補償情報決定部３から送られてきた動き補償情報が、図１６に示されている動き補償情報ｘm であったとすると、小領域動き探索部２７では、該動き補償情報ｘm を中心とした小領域ｘ'mで動き探索処理を行い、その中の最適な位置を新たな動き補償情報ｒ2 として、動き補償部２６へと送信する。この実施形態によれば、従来の図１８における動き探索部７１の探索領域が例えばｘsであったのに対して小領域ｘ'mでよく、動き補償の精度を落とすことなく、動き探索に要する演算量を大幅に低減することができる。
【００６４】
なお、前記第１〜第４実施形態の全ての処理、例えば動き補償情報決定部３等の処理は、該第５の実施形態に適用することができるが、その説明は省略する。
【００６５】
【発明の効果】
以上の説明から明らかなように、本発明によれば、２つの符号化動画像情報からディゾルブ効果を挿入した符号化動画像を作成する処理をする際に、動画像再符号化部が動き探索部を持たなくても、前記処理が可能となる。また、たとえ、動き探索を施したとしても、演算処理量の小さい動き探索処理をすればよいので高速処理を実現することができるようになる。
【図面の簡単な説明】
【図１】  ディゾルブの概要を示す図である。
【図２】  ディゾルブ区間の遷移状態を説明する図である。
【図３】  本発明のディゾルブ画像符号化装置の第１実施形態を示すブロック図である。
【図４】  図３の動画像復号部の詳細を示すブロック図である。
【図５】  図３の動画像再符号化部の詳細を示すブロック図である。
【図６】  本発明における動き補償情報の決定方法を示す説明図である。
【図７】  本発明の第２実施形態の構成を示すブロック図である。
【図８】  本発明の動き補償情報参照画像切替え時刻の変更を説明する図である。
【図９】  本発明の動き補償情報のスケーリングを示す図である。
【図１０】  本発明の第３実施形態の構成を示すブロック図である。
【図１１】  図１０の動画像復号部の詳細を示すブロック図である。
【図１２】  図１０の動画像再符号化部の詳細を示すブロック図である。
【図１３】  本発明の第４実施形態の構成を示すブロック図である。
【図１４】  図１３の動画像再符号化部の詳細を示すブロック図である。
【図１５】  本発明の第５実施形態の動画像再符号化部の構成を示すブロック図である。
【図１６】  本発明における小領域動き探索方式を説明する図である。
【図１７】  従来装置の構成を示すブロック図である。
【図１８】  従来装置の再符号化部の詳細を示すブロック図である。
【符号の説明】
１、２…第１、第２の動画像復号部、３…動き補償情報決定部、４…画像合成部、５…動画像再符号化部、７…画像特徴解析部、１１…復号部、１４…動き補償部、２１…フレーム内／フレーム間符号化判定部、２６…動き補償部、２７…小領域動き探索部、３１、３２…第１、第２の動画像復号部、３３…変換領域画像合成部、３４…動画像再符号化部。
【図１】
0003830013.tif 000002
【図２】
0003830013.tif 000003
【図３】
0003830013.tif 000004
【図４】
0003830013.tif 000005
【図５】
0003830013.tif 000006
【図６】
0003830013.tif 000007
【図７】
0003830013.tif 000008
【図８】
0003830013.tif 000009
【図９】
0003830013.tif 000010
【図１０】
0003830013.tif 000011
【図１１】
0003830013.tif 000012
【図１２】
0003830013.tif 000013
【図１３】
0003830013.tif 000014
【図１４】
0003830013.tif 000015
【図１５】
0003830013.tif 000016
【図１６】
0003830013.tif 000017
【図１７】
0003830013.tif 000018
【図１８】
0003830013.tif 000019