(57)【特許請求の範囲】
【請求項１】
符号化画像信号と通常再生のための参照画像信号とから通常再生用の動きベクトルを検出し、前記動きベクトルを用いて動き補償予測を行ない、前記符号化画像信号と参照画像信号との残差信号と前記動きベクトルを符号化し、通常再生用符号化信号を生成する画像符号化装置において、
前記符号化画像信号と倍速再生である特殊再生のための参照画像信号とから特殊再生用動きベクトルを検出する手段と、
前記特殊再生用動きベクトルを符号化して特殊再生用符号化信号を生成する手段と、
前記通常再生用符号化信号と特殊再生用符号化信号を多重化する手段とを有する構成としたことを特徴とする画像符号化装置。
【請求項２】
符号化画像信号と通常再生のための参照画像信号とから通常再生用の動きベクトルを検出し、前記動きベクトルを用いて動き補償予測を行ない、前記符号化画像信号と参照画像信号との残差信号と前記動きベクトルを符号化し、通常再生用符号化信号を生成する画像符号化装置において、
前記符号化画像信号と倍速再生である特殊再生のための参照画像信号とから特殊再生用動きベクトルを検出する手段と、
前記特殊再生用動きベクトルから動き補償予測を行ない、特殊再生用残差信号を得る手段と、
前記特殊再生用動きベクトルと特殊再生用残差信号を符号化し特殊再生用符号化信号を生成する手段と、
前記通常再生用符号化信号と特殊再生用符号化信号を多重化する手段とを有する構成としたことを特徴とする画像符号化装置。
【請求項３】
前記請求項１または請求項２に記載の画像符号化装置において
前記通常再生用符号化信号はＭＰＥＧ信号としたことを特徴とする画像符号化装置。
【請求項４】
符号化信号から動きベクトルと残差信号を復号化し、前記動きベクトルと残差信号から動き補償予測を行ない、復号化信号を生成する画像復号化装置において、
前記符号化信号から通常再生用符号化信号と倍速再生に用いる特殊再生用符号化信号とに分離する手段と、
前記分離された通常再生用符号化信号と特殊再生用符号化信号のうちどちらを復号化するのかを選択する手段とを有する構成としたことを特徴とする画像復号化装置。
【請求項５】
前記請求項４に記載の画像復号化装置において
前記通常再生用符号化信号はＭＰＥＧ信号としたことを特徴とする画像復号化装置。
【請求項６】
符号化画像信号と通常再生のための参照画像信号とから通常再生用の動きベクトルを検出し、前記動きベクトルを用いて動き補償予測を行ない、前記符号化画像信号と参照画像信号との残差信号と前記動きベクトルを符号化し、符号化信号を生成する画像符号化方法において、
前記符号化画像信号と倍速再生である特殊再生のための参照画像信号とから特殊再生用動きベクトルを検出し、前記特殊再生用動きベクトルを符号化して特殊再生用符号化信号を生成し、前記通常再生用符号化信号と特殊再生用符号化信号を多重化するようにしたことを特徴とする画像符号化方法。
【請求項７】
符号化信号から動きベクトルと残差信号を復号化し、前記動きベクトルと残差信号から動き補償予測を行ない、復号化信号を生成する画像復号化方法において、
前記符号化信号から通常再生用符号化信号と倍速再生に用いる特殊再生用符号化信号とに分離し、前記通常再生用符号化信号と特殊再生用符号化信号を選択するようにしたことを特徴とする画像復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
動画像情報の記録あるいは再生を行なう装置において、高速サーチ、スチル、スロー、逆転再生、倍速再生等に対応した画像符号化装置及び画像復号化装置に関する。
【０００２】
【従来の技術】
ディジタル動画像の高能率符号化方式として動き補償画像間予測符号化方式がある。
この手法は動きベクトル検出器により複数画素で構成されるブロック単位で動きベクトルを検出し、画像間の相関を用いてデータの情報量を削減する方法である。
【０００３】
＜画像符号化装置＞
従来例の画像符号化装置のブロック図を図４に示す。
符号化信号４１と通常再生用参照信号４２から動きベクトル検出器４３を用いて画素で構成されるブロック単位で両信号間のマッチング信号を算出する。
この際の通常再生用参照信号４２は、符号化信号を符号化し局部復号化することによって得られる信号である。
【０００４】
マッチング信号を算出する方法は様々なものがあるが画素間の絶対値差分や画素間の2 乗差分の和をとるのが一般的である。
このマッチング信号をもとにして通常再生用動きベクトル４４を算出する。このときの検出方法はマッチング信号の最も小さいときの動き量を動きベクトルとするのが一般的であるが、場合により重み付けを行なうこともある。
【０００５】
この通常再生用動きベクトル４４をもとにして通常再生用参照信号４２からブロック単位で動き補償予測器４５により動き補償予測を行ない、動き補償画像信号を求める。この動き補償画像信号と符号化画像信号４１の差分を求め、通常再生用残差信号４６を得る。
【０００６】
符号化器４７を用いて動きベクトル４４や残差信号４６の冗長性を削減し、通常再生用符号化信号４８を生成する。この通常再生用符号化信号４８は、例えばＭＰＥＧ信号などである。
この符号化器４７ではＤＣＴ、量子化ゼロ・ランレングス符号化、可変長符号化等を行なう。
【０００７】
＜画像復号化装置＞
従来の画像復号化装置のブロック図を図５に示す。
符号化信号４８から復号化器５３を用いて動きベクトル５４や残差信号５５を得る。
この復号化器５３では可変長復号化、ゼロ・ランレングス復号化、逆量子化、逆ＤＣＴ等を行なうことが多い。
【０００８】
さらに、動き補償予測器５７により参照画像信号５６から動きベクトル５４を用いてブロック単位で動き補償画像信号を求める。
この動き補償画像信号に復号化された残差信号５５を付加して、復号化画像信号５８を得る。
ここで、復号化画像信号５８が画像メモリ５９に蓄えられ、参照画像信号５６となる。
【０００９】
＜画像復号化装置により復号化された画像の出力例＞
ここで、例えばＭＰＥＧ（Moving Picture Experts Group）規格に準拠した信号（ＭＰＥＧ信号）である、画面内で符号化される画面内符号化画像（Ｉピクチャ）と画面間予測符号化される片方向予測符号化画像（Ｐピクチャ）を多重化して記録したときの画面表示データ列を図６に示す。
【００１０】
普通の再生は１、２、３、…、の順序で再生することが出来る。一方、特殊再生では連続して画像を復号化することが出来ないので、参照画像が復号化されていない片方向予測符号化画像は再生することが出来ず、画面内符号化画像しか再生することが出来ない。よって、例えば高速サーチの場合、１、１６、３１、…、の順序でＩピクチャのみＩ1 、Ｉ16、Ｉ31、…を再生することになる。
なお、逆転再生の場合は、１６、１、…、とＩ16、Ｉ1 、…を再生することになる。
【００１１】
【発明が解決しようとする課題】
従来の画像処理装置は画面間の予測を用いるので符号化効率がよいが、特殊再生は画面内符号化画像だけしか再生出来ないので、再生出来る画像が少なく、高速サーチの速度が限定されたり、コマ落としで動きが不自然な画像になったりする。
【００１２】
【課題を解決するための手段】
本発明は、上記課題を解決するために、以下１）〜７）に記載の手段よりなる。
すなわち、
１）符号化画像信号と通常再生のための参照画像信号とから通常再生用の動きベクトルを検出し、前記動きベクトルを用いて動き補償予測を行ない、前記符号化画像信号と参照画像信号との残差信号と前記動きベクトルを符号化し、通常再生用符号化信号を生成する画像符号化装置において、
前記符号化画像信号と倍速再生である特殊再生のための参照画像信号とから特殊再生用動きベクトルを検出する手段と、
前記特殊再生用動きベクトルを符号化して特殊再生用符号化信号を生成する手段と、
前記通常再生用符号化信号と特殊再生用符号化信号を多重化する手段とを有する構成としたことを特徴とする画像符号化装置。
２）符号化画像信号と通常再生のための参照画像信号とから通常再生用の動きベクトルを検出し、前記動きベクトルを用いて動き補償予測を行ない、前記符号化画像信号と参照画像信号との残差信号と前記動きベクトルを符号化し、通常再生用符号化信号を生成する画像符号化装置において、
前記符号化画像信号と倍速再生である特殊再生のための参照画像信号とから特殊再生用動きベクトルを検出する手段と、
前記特殊再生用動きベクトルから動き補償予測を行ない、特殊再生用残差信号を得る手段と、
前記特殊再生用動きベクトルと特殊再生用残差信号を符号化し特殊再生用符号化信号を生成する手段と、
前記通常再生用符号化信号と特殊再生用符号化信号を多重化する手段とを有する構成としたことを特徴とする画像符号化装置。
３）前記１）または２）に記載の画像符号化装置において
前記通常再生用符号化信号はＭＰＥＧ信号としたことを特徴とする画像符号化装置。
４）符号化信号から動きベクトルと残差信号を復号化し、前記動きベクトルと残差信号から動き補償予測を行ない、復号化信号を生成する画像復号化装置において、
前記符号化信号から通常再生用符号化信号と倍速再生に用いる特殊再生用符号化信号とに分離する手段と、
前記分離された通常再生用符号化信号と特殊再生用符号化信号のうちどちらを復号化するのかを選択する手段とを有する構成としたことを特徴とする画像復号化装置。
５）前記４）に記載の画像復号化装置において
前記通常再生用符号化信号はＭＰＥＧ信号としたことを特徴とする画像復号化装置。
６）符号化画像信号と通常再生のための参照画像信号とから通常再生用の動きベクトルを検出し、前記動きベクトルを用いて動き補償予測を行ない、前記符号化画像信号と参照画像信号との残差信号と前記動きベクトルを符号化し、符号化信号を生成する画像符号化方法において、
前記符号化画像信号と倍速再生である特殊再生のための参照画像信号とから特殊再生用動きベクトルを検出し、前記特殊再生用動きベクトルを符号化して特殊再生用符号化信号を生成し、前記通常再生用符号化信号と特殊再生用符号化信号を多重化するようにしたことを特徴とする画像符号化方法。
７）符号化信号から動きベクトルと残差信号を復号化し、前記動きベクトルと残差信号から動き補償予測を行ない、復号化信号を生成する画像復号化方法において、
前記符号化信号から通常再生用符号化信号と倍速再生に用いる特殊再生用符号化信号とに分離し、前記通常再生用符号化信号と特殊再生用符号化信号を選択するようにしたことを特徴とする画像復号化方法。
【００１３】
（  作  用  ）
予め特殊再生用の情報を通常の符号化信号に多重化し記録することにより、通常の符号化信号だけでは復号することの出来ない特殊再生を可能にするものである。
【００１４】
【発明の実施の形態】
本発明の画像符号化装置及び復号化装置の実施例について、図と共に以下に順次説明する。
【００１５】
＜第１の画像符号化装置＞
図１に本発明の第１の画像符号化装置の一実施例のブロック図を示す。
図４の従来例の画像符号化装置のブロック図とは、特殊再生のための動きベクトルを検出するための動きベクトル検出器１０が追加されている点と、特殊再生のための動きベクトルを符号化するための符号化器１５が追加されている点と、通常再生のための符号化信号と特殊再生のための符号化信号とを多重化するための多重化器１７が追加されている点が異なる。
【００１６】
符号化画像信号１と通常再生用参照画像信号２とを用いて動きベクトル検出器３により通常再生用動きベクトル４を求め、この通常再生用動きベクトル４をもとにして動き補償予測器５により動き補償を行ない、動きベクトル４と残差信号６とを符号化器７に供給して符号化して通常再生用の符号化信号８を得るところまでは従来例と同様である。この通常再生用符号化信号８は、例えばＭＰＥＧ信号などである。
【００１７】
本発明の画像符号化装置の一実施例において、例えばＭＰＥＧ（Moving Picture Experts Group）規格に準拠した信号（ＭＰＥＧ信号）であるＩピクチャとＰピクチャとを多重化して記録したときの画面表示データ列を図６に示す。
特殊再生で、例えば５倍速再生（サーチ）を行なう場合は、１、６、１１、…、と再生することになる。
【００１８】
画面内符号化画像であるＩ１は画面内処理で再生を行なうことが出来る。
しかし、従来の方法では片方向予測符号化画像であるＰ６はＰ５から予測されるため、再生することが出来ない。
【００１９】
そこで、Ｐ６を符号化する際に通常再生のためにＰ５から予測した動きベクトル４に加えて、特殊再生、この場合は５倍速再生のためにＩ１から予測した動きベクトル１１も符号化する。
また、Ｐ11を符号化する際には通常再生のためにＰ10から予測した動きベクトル４に加えて、Ｐ６から予測した動きベクトル１１も符号化する。
【００２０】
ただし、この方式では特殊再生の時に動き補償予測の残差信号を符号化しないので、複雑な動きのある画像等では特殊再生用参照画像信号は画面内で符号化される画面内符号化画像であるＩ１を用い、Ｉ１から予測した動きベクトル１１を符号化する方が望ましいこともある。
【００２１】
符号化画像信号１と特殊再生用参照信号９から動きベクトル検出器１０を用いて画素で構成されるブロック単位で両信号間のマッチング信号を算出する。
この場合の特殊再生用参照信号９は５倍速再生（サーチ）でＰ６の符号化を行なう場合、Ｉ１を符号化し、さらに復号化した局部復号画像信号をメモリに蓄えておく。または、符号化画像信号Ｉ１をそのまま用いることもある。
このマッチング信号をもとにして特殊再生用動きベクトル１１を算出する。
【００２２】
さらに、符号化器１５を用いて動きベクトル１３の冗長性を削減し、特殊再生用符号化信号１６を生成する。この符号化器１５では可変長符号化等を行なう。また、参照画像の情報、次の再生画像の情報等を特殊再生用符号化器１５に多重化することもある。
さらに、通常再生用の符号化信号８と特殊再生用符号化信号１６とを多重化器１７で多重化し、最終的な符号化信号１８とする。
【００２３】
図６において、逆転再生は１６、１５、１４、…、と再生するがこのときも従来の方法では画面内符号化画像であるＩ16は再生することが出来るが、Ｐ14から予測される片方向予測符号化画像であるＰ15は再生することが出来ない。
そこで、Ｉ16の参照画像信号９とＰ15の符号化画像信号１から動きベクトル検出器１０を用いて特殊再生用動きベクトル１１を検出し、符号化する。Ｐ14、Ｐ13、…、も同様に特殊再生用動きベクトル１１を検出し、符号化する。
【００２４】
＜第２の画像符号化装置＞
図２に本発明の第２の画像符号化装置の一実施例のブロック図を示す。
図１の本発明の第１の画像符号化装置のブロック図とは、特殊再生のための動きベクトルを検出するための動きベクトル検出器１０により求められた特殊再生用動きベクトル１１が動き補償予測器１２に入力されている点と動き補償により得られた特殊再生のための残差信号１３が符号化器２５に入力されているが異なる。
【００２５】
符号化画像信号１と通常再生用参照画像信号２とを用いて動きベクトル検出器３により通常再生用動きベクトル４を求め、この通常再生用動きベクトル４をもとにして動き補償予測器５により動き補償を行ない、動きベクトル４と残差信号６とを符号化器７に供給して符号化して通常再生用の符号化信号８を得るところまでは従来例と同様である。
【００２６】
さらに、特殊再生用参照画像信号９と符号化画像信号１を用いて動きベクトル検出器１０により特殊再生のための動きベクトル１１を求めるところまでは本発明の第１の画像符号化装置と同様である。
【００２７】
本発明の第２の画像符号化装置では検出された特殊再生のための動きベクトル１１をもとにしてブロック単位で動き補償予測器１２により動き補償予測を行ない、動き補償画像信号を求める。この動き補償画像信号と符号化信号１の差分を求め、特殊再生用残差信号１３を得る。
【００２８】
さらに、符号化器２５を用いて動きベクトル１１や残差信号１３の冗長性を削減し、特殊再生用符号化信号２６を生成する。
この符号化器２５では通常再生の場合と同様にＤＣＴ、量子化、ゼロ・ランレングス、可変長符号化等を行なう。
【００２９】
その後、本発明の第１の画像符号化装置と同様に通常再生用の符号化信号８と特殊再生用の符号化信号２６とを多重化器２７で多重化し、最終的な符号化信号２８を得る。
【００３０】
＜画像復号化装置＞
本発明の第１の画像復号化装置は本発明の第１又は第２の画像符号化装置で得られた符号化信号１８，２８を復号化する装置である。
図３に本発明の画像復号化装置の一実施例のブロック図を示す。
図５の従来例の画像復号化装置のブロック図とは、符号化信号を通常再生のための符号化信号２９と特殊再生のための符号化信号３０に分離するための分離化器３９が追加されている点と、通常再生のための符号化信号２９と特殊再生のための符号化信号３０のどちらを復号化するかを切り替える制御用セレクタ３２が追加されている点が異なる。
【００３１】
まず、本発明の装置では多重化された符号化信号を分離化器３９により通常再生のための符号化信号２９と特殊再生のための符号化信号３０とに分離する。
さらに、再生用制御信号３１により通常再生用符号化信号２９と特殊再生用符号化信号３０のどちらを復号化するかを制御用セレクタ３２により切り替える。
【００３２】
このとき、画面内符号化画像を復号化する場合は特殊再生の際にも通常再生用符号化信号２９を復号化する。
選択された符号化信号から復号化器３３を用いて動きベクトル３４や残差信号３５を得る。
ここで、本発明の第１の画像符号化装置で符号化された符号を復号化するときは特殊再生の符号には残差信号３５が含まれていないので値を０とする。
【００３３】
さらに、従来例と同様に動き補償予測器３７により参照画像３６から動きベクトル３４を用いてブロック単位で動き補償画像信号を求める。
この動き補償画像信号に復号化された残差信号３５を付加し、復号化画像信号４０を得る。
【００３４】
ここで、復号化画像信号４０が画像メモリ３８に蓄えられ、参照画像信号３６となる。
本発明の画像符号化装置は、ビデオＣＤ、ＤＶＤ等のＭＰＥＧ信号を用いたストレージメディア等に有効であるが、それ以外のディジタル信号による符号化方式全般にも有効である。
【００３５】
【発明の効果】
特殊再生用の動きベクトルの情報を通常再生用の情報と共に符号化する本発明では、特殊再生用動きベクトルの情報を算出して符号化し、通常再生用符号に付加するので、動き補償を用いた少ない情報量でも本発明の復号化を用いて通常再生用の符号だけでは再生することが出来ない特殊再生を可能にする。
【００３６】
さらに、特殊再生用の残差成分の情報も加えて通常再生用の情報と共に符号化する本発明の第２の画像符号化では特殊再生のための動きベクトルに加えて特殊再生のための残差信号を付加することにより、本発明の第１の画像符号化で符号化した場合に比べて、高画質な特殊再生を可能にする。
【図面の簡単な説明】
【図１】本発明の画像符号化装置の第１の実施例のブロック構成を示す図である。
【図２】本発明の画像符号化装置の第２の実施例のブロック構成を示す図である。
【図３】本発明の画像復号化装置の実施例のブロック構成を示す図である。
【図４】従来例の画像符号化装置のブロック構成を示す図である。
【図５】従来例の画像復号化装置のブロック構成を示す図である。
【図６】本発明の一実施例の画像表示データ列を示す図である。
【符号の説明】
１  符号化画像信号
２  通常再生用参照画像信号
３，１０，４３  動きベクトル検出器
４  通常再生用動きベクトル
５，１２，３７，４５，５７  動き補償予測器
６  通常再生用残差信号
７，１５，２５，４７  符号化器
８，２９  通常再生用符号化信号
９  特殊再生用参照画像信号
１１  特殊再生用動きベクトル
１３  特殊再生用残差信号
１６，２６，３０  特殊再生用符号化信号
１７，２７  多重化器
１８，２８  符号化信号
３１  再生用制御信号
３２  制御用セレクタ
３３，５３  復号化器
３６  参照画像信号
３８，５９  画像メモリ
３９  分離化器
４０，５８  復号化画像信号
【図１】
0003669536.tif 000002
【図２】
0003669536.tif 000003
【図３】
0003669536.tif 000004
【図４】
0003669536.tif 000005
【図５】
0003669536.tif 000006
【図６】
0003669536.tif 000007