(57)【特許請求の範囲】
【請求項１】
フレーム画面内を走査する奇数ラインと偶数ラインにより構成されると共に互いに重なり合う部分を有して前記画面内に設けられる複数の参照領域について、これらの参照領域のうち前記画面内で上下および左右に隣接して設けられる何れか２つの参照画面の一方は奇数ラインより構成されると共に他方は偶数ラインより構成され、前記複数の参照領域の重なり合う部分の中心点である探索基準位置からほぼ等距離の位置に各参照領域のそれぞれの中心点が位置するように前記複数の参照領域をそれぞれシフトさせて設定する第１の参照領域設定手段と、
前記画面における符号化マクロブロックの奇数ラインに対して前記奇数ラインから構成された参照領域および前記偶数ラインから構成された参照領域のそれぞれから求められた第１、第２の動きベクトル及び前記画面における符号化マクロブロックの偶数ラインに対して前記奇数ラインから構成された参照領域および前記偶数ラインから構成された参照領域のそれぞれから求められた第３、第４の動きベクトルの中から最小の予測誤差を与える動きベクトルを奇数ラインと偶数ラインで構成される前記符号化マクロブロックに対するフレーム動きベクトルとして検出する第１のフレーム動きベクトル検出手段とを含む第１の検出手段を少なくとも備えることを特徴とする動きベクトル検出装置。
【請求項２】
前記参照領域の端縁部の近辺の探索に当たり、前記参照領域が前記画面よりはみ出さないように各参照領域個別のシフト量を変更して設定するシフト量変更手段をさらに備える請求項１に記載の動きベクトル検出装置。
【請求項３】
探索範囲内の検出精度が不均一な第１のフレーム動きベクトル検出を行なう前記第１の検出手段と、この第１の検出手段の検出結果の精度に応じて検出精度を切り換えて前記第１のフレーム動きベクトルに基づいて更に高い検出精度の第２のフレーム動きベクトルを再探索する第２の検出手段を更に含む請求項１に記載の動きベクトル検出装置。
【請求項４】
前記第２の検出手段は、前記入力画像の奇数ラインと偶数ラインで構成される前記符号化マクロブロックに対する前記第２のフレーム動きベクトルを検出する第２の動きベクトル検出手段と、この第２の動きベクトル検出手段に対して、前記第１の動きベクトルの検出結果の精度に応じて１画素精度から１／２画素精度の前記第２のフレーム動きベクトルの検出へと切換えて再探索するように参照領域を設定する第２の参照領域設定手段と、を備える請求項３に記載の動きベクトル検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の記録・通信・伝送および放送等における動画像信号の符号化装置に係り、特に符号化済み画面のどの領域から入力画像が動いたものかを表わす動きベクトル情報とその動きベクトル情報により示される参照領域との差分を符号化する動き補償予測符号化のための動きベクトル検出装置に関する。
【０００２】
【従来の技術】
多階調の画像信号の情報量は膨大であり、通常のディジタル信号で画像の伝送や記録を行なうためには、広帯域の伝送路や大容量の記録媒体を必要とする。そのため、テレビ電話・テレビ会議システム・ＣＡＴＶおよび画像ファイル装置等では、画像信号を少ないデータ量に圧縮して符号化する技術が必要となる。このような動画像符号化方式の１つとして、動き補償予測符号化方式が知られている。この符号化方式では、入力画面の部分領域に対して、符号化済み画面から最も相関の高い部分領域を検出して、入力画面の部分領域が符号化済み画面のどの位置から動いたものかを表わす動きベクトル情報と、入力画面の部分領域とその動きベクトル情報により示される符号化済み画面の部分領域との差分を符号化する。
【０００３】
従来、フレーム内で動きの存在するインタレース画像でも、フレーム内で動きの存在するノンインタレース画像でも、同一の広範囲な探索を同一の検出精度で行なっており、多くの探索演算量を必要とするという問題点があった。
【０００４】
また、探索密度が不均一な特開平４−１５０２８４や探索間隔が一定で無い特開平５−１３０５８９は、参照画像の読み出しを効率的に行なうためには、各候補点で共通して利用できる参照画素を一時記憶するレジスタとそのレジスタ出力を切り替えるセレクタが膨大になり、複雑な参照画像の読み出し制御と大規模な周辺回路とが問題となっていた。さらに、参照画面の周辺の探索の場合には、画面からはみ出して使用できない探索結果が存在し、所有する探索演算機能を有効利用できなかった。
【０００５】
つまり、予め均一な探索密度で検出した１画素精度の動きベクトルの近傍について、１／２画素精度の動きベクトル探索を行なっていた。この場合、１画素精度の探索候補点が多く、演算量が膨大であり、１／２画素精度の動きベクトルが無効な部分についても、１／２画素精度の動きベクトル探索を行なっていた。さらに、有効な１画素精度の動きベクトル検出や１／２画素精度の動きベクトル検出は行なわれていなかった。あるいは、有効な１画素精度の動きベクトル検出や１／２画素精度の動きベクトル検出を行なうためには、演算量の削減が充分になされなかった。
【０００６】
従来、第１の動きベクトル検出手段で、例えば図２に示すように探索範囲内の検出精度が不均一な動きベクトル検出を行ない、第２の動きベクトル検出手段で、第１の動きベクトル検出手段で検出した動きベクトルの近傍について、該ベクトルの検出精度に応じて、例えば図２０（ａ）ないし（ｈ）に示すように検出精度を切り替えて再探索していた。すなわち、第１の動きベクトル検出手段で検出された動きベクトルの検出精度が２画素精度の場合は１画素精度で、第１の動きベクトル検出手段で検出された動きベクトルの検出精度が１画素精度の場合は１／２画素精度で再探索していた。従って、常に１／２画素精度の動きベクトルを検出できるわけではなく、符号化性能が低下する場合があった。
【０００７】
先に記したように、従来の方式では、第１の動きベクトル検出手段で探索範囲内の検出精度が不均一な動きベクトル検出を行ない、その検出結果に応じて第２の動きベクトル検出手段での検出精度を１画素精度１／２画素精度を切り替えて再探索しており、細かい検出精度での動きベクトル検出の補充が適切に行なわれず、符号化性能が低下する場合があるという問題点があった。
【０００８】
【発明が解決しようとする課題】
本発明は、入力される画像信号の複数画素で構成されるマクロブロックに対して、過去に符号化された画面のどの領域から動いたものかを表わす動きベクトルを検出する動きベクトル検出装置において、複数の参照領域について重なり合う部分の中心点である探索基準位置からほぼ等距離の位置にその中心点が位置するように設定することにより、探索基準位置の近傍の動きベクトルを短い探索間隔で検出することを可能にするようにして、前述のような多くの探索演算量を必要とする問題、参照画像の読出し制御が複雑になる問題、所有する探索演算機能を有効利用できないと言う問題を解決し、探索間隔の変更を容易にし、所有する探索演算機能の有効利用を可能にすることを目的とする。
【０００９】
また、本発明は、不均一な探索により１画素精度の検出候補点数を削減し、検出された候補点が１画素精度の場合に１／２画素精度の検出を補充し、検出された候補点が２画素精度の場合に１画素精度の検出を補充することにより、有効な画素精度の動きベクトルの利用を可能にすると共に、演算量を大幅に削減することを目的とする。
【００１０】
さらに、本発明は、不均一な検出精度で第１の動きベクトル探索を行なう第１の動きベクトル検出手段で検出された動きベクトルの検出精度や予測誤差情報に応じて、第２の動きベクトル検出手段による再探索を行なうときの基準ベクトルの個数、あるいは再探索を行なうときの検出段階数、あるいはこれらの双方を切り替えることにより、所定演算量で細かい検出精度での動きベクトル検出の補充を適切に行ない、高精度な動きベクトル検出を保証し、符号化性能の低下を防ぐことを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、この発明に係る動きベクトル検出装置は、フレーム画面内を走査する奇数ラインと偶数ラインにより構成されると共に互いに重なり合う部分を有して前記画面内に設けられる複数の参照領域について、これらの参照領域のうち前記画面内で上下および左右に隣接して設けられる何れか２つの参照画面の一方は奇数ラインより構成されると共に他方は偶数ラインより構成され、前記複数の参照領域の重なり合う部分の中心点である探索基準位置からほぼ等距離の位置に各参照領域のそれぞれの中心点が位置するように前記複数の参照領域をそれぞれシフトさせて設定する第１の参照領域設定手段と、前記画面における符号化マクロブロックの奇数ラインに対して前記奇数ラインから構成された参照領域および前記偶数ラインから構成された参照領域のそれぞれから求められた第１、第２の動きベクトル及び前記画面における符号化マクロブロックの偶数ラインに対して前記奇数ラインから構成された参照領域および前記偶数ラインから構成された参照領域のそれぞれから求められた第３、第４の動きベクトルの中から最小の予測誤差を与える動きベクトルを奇数ラインと偶数ラインで構成される前記符号化マクロブロックに対するフレーム動きベクトルとして検出する第１のフレーム動きベクトル検出手段とを含む第１の検出手段を少なくとも備えることを特徴とする。
【００１２】
また、符号化画面の奇数ラインと偶数ラインに対する参照領域を探索基準位置からほぼ等距離の位置にシフトして設定し、符号化マクロブロックの奇数ラインと偶数ラインに対する動きベクトルを検出する手段を含んでいる。
【００１３】
さらに、参照画面端近傍の探索において、前記参照領域が画面からはみ出さないように個別に参照領域の位置を設定する手段を含んでいる。
【００１４】
また、前記シフト量を変更する手段を含み、このシフト量変更手段が、入力画像がインタレース画像の場合に前記シフト量を小さくし、入力画像がノンインタレース画像の場合に前記シフト量を大きくするように動作している。このシフト量変更手段は、画像の動き量の大きさに応じて前記シフト量を変更させるようにしても良い。
【００１５】
さらに、探索範囲内の検出精度が不均一な第１の動きベクトルの検出を行なう第１の検出手段と、その検出手段に応じて第１の動きベクトルの検出精度と異なる高精度の第２の動きベクトルの検出に切り替えて再探索する第２の検出手段による。特に、１画素精度の動きベクトル検出と１／２画素精度の動きベクトル検出を切り替えて再探索する前記第２の検出手段を備えるようにしても良い。
【００１６】
探索範囲内の検出精度が不均一な動きベクトル検出を行なう第１の動きベクトル検出手段と、その第１の動きベクトルの近傍に基づいて高精度で再探索する第２の動きベクトル検出手段を含む動きベクトル検出装置において、基準動きベクトル候補とその検出精度情報を出力する前記第１の動きベクトル検出手段と、前記基準動きベクトル候補の検出精度情報に応じて、検出段階数を切り替えて高精度な動きベクトルを検出する前記第２の動きベクトル検出手段による。
【００１７】
探索範囲内の検出精度が不均一な動きベクトル検出を行なう第１の動きベクトル検出手段と、その第１の動きベクトルの近傍に基づいて高精度で再探索する第２の動きベクトル検出手段を含む動きベクトル検出装置において、基準動きベクトル候補とその検出精度情報と予測誤差情報を出力する前記第１の動きベクトル検出手段と、前記基準動きベクトル候補の検出精度情報と予測誤差情報の組み合わせに応じて、基準動きベクトルの個数を切り替えて高精度な動きベクトルを検出する前記第２の動きベクトル検出手段による。
【００１８】
また、前記基準動きベクトル候補の検出精度情報と予測誤差情報の組み合わせに応じて、基準動きベクトルの個数と検出段階数を切り替えて高精度な動きベクトルを検出する前記第２の動きベクトル検出手段による。
【００１９】
参照画面の奇数ラインと偶数ラインの参照領域を探索基準位置からほぼ等距離の位置にシフトして設定する手段や、符号化画面の奇数ラインと偶数ラインに対する参照領域を探索基準位置からほぼ等距離の位置にシフトして設定する手段により、探索基準位置近傍以外の探索密度を粗にして、高い検出精度の不要な探索基準位置から遠い動きベクトルの探索演算量を削減する。
【００２０】
また、参照画面端近傍の探索において、前記参照領域が画面からはみ出さないように個別に各参照領域の位置を設定する手段により、所有する全ての探索演算機能の有効利用を可能にする。
【００２１】
また、前記シフト量を変更する手段により、探索密度の粗な範囲が制御され、全て均一な探索を行うことも容易となる。
【００２２】
探索範囲内の検出精度が不均一な動きベクトル検出を行う第１の検出手段により、１画素精度の検出候補点数を削減し、第１の検出手段により検出された動きベクトル候補の検出精度に応じて、第２の検出手段により１画素精度の動きベクトル検出または１／２画素精度の動きベクトル検出を補充することにより、演算量を大幅に削減して、有効な画素精度の動きベクトルの利用を可能にする。
【００２３】
【発明の実施の形態】
以下に図面を用いて本発明の好適な実施の形態を説明する。実施の形態を説明する前に、この発明の基本的な概念について図１及び図２を用いて説明する。
【００２４】
この発明に係る動きベクトル検出装置は、図１に示すように、少なくとも第１の検出手段１０を備えている。第１の検出手段１０は、入力画像上の動きベクトルを検出する動きベクトル検出手段１１と、入力画像と制御信号とに基づいて画面上に複数設定される参照領域のシフト量を設定する参照領域設定手段１２とを備えており、参照領域設定手段１２は更にメモリ１３とアドレス発生器１４と、を含んで構成されている。
【００２５】
また、１画素精度の検出と１／２画素精度の検出とを切換えて行なうために、第２の検出手段２０を設けるようにしても良い。この第２の検出手段２０は、入力画像の動きベクトルを検出する動きベクトル検出手段２１と、制御信号と動きベクトル検出手段１１の出力（又は入力画像或いは動きベクトル検出手段２１の出力の何れか）に基づいて参照領域のシフト量を設定する参照領域設定手段２２と、を備えており、この参照領域設定手段２２もメモリ２３とアドレス発生器２４と、を含んで構成されている。
【００２６】
図２は、図１に示される動きベクトル検出装置の動作を説明するためのもので、画面３０には所定の大きさの参照領域３１，３２，３３，３４が設けられている。図中斜線で示した領域は、参照領域３１〜３４の重なり合う部分を示し、交差斜線部分は４つの領域の全てが重なり合う部分であり、この中心が探索基準位置３５となっている。各参照領域３１ないし３４の中心点３６〜３９は前記探索基準位置３５からほぼ等しい距離となっている。従って図中
【００２７】
【数１】
0003585628.tif 000002
の関係が成立するように参照領域３１〜３４のシフト量が設定される。
【００２８】
図３は、本発明の全体を示す第１の実施の形態のブロック図である。第１の参照画面記憶部１０２は、入力端子１０１から入力される画像信号を記憶し、動きベクトル検出部１０３は、入力端子１０１から入力される画像信号の複数画素で構成されるマクロブロックに対して、第１の参照画面記憶部１０２に記憶されている過去に入力された画面からの動きベクトルを検出して出力する。予測信号発生部１０４は、動きベクトル検出部１０３から受け取る動きベクトルに従って、局部再生して第２の参照画面記憶部に記憶された過去の画面から予測信号を生成し、その予測モードと動きベクトル情報と共に出力する。減算回路１０７は、予測信号発生部１０４から出力される予測信号と、遅延回路１０６を介して入力される画像信号との差分信号を算出して出力する。減算回路１０７から出力される差分信号は、複数の差分信号毎に直交変換部１０８により周波数成分に変換され、量子化部１０９により再量子化処理が施される。可変長符号化部１１４は、量子化部１０９から出力される再量子化信号を、予測信号発生部１０４から出力される予測モードと動きベクトル情報と共に可変長符号化して出力端子１１５に出力する。また、量子化部１０９から出力される再量子化信号は、逆量子化部１１０により逆量子化処理が施され、さらに逆直交変換部１１１により差分信号に逆変換される。加算回路１１３は、逆直交変換部１１１から出力される差分信号と遅延回路１１２を介して入力される予測信号との加算により局部再生信号を生成して、次の入力画面の予測信号生成に使用する為に第２の参照画面記憶部１０５に記憶される。
【００２９】
図４は、本発明の第２の実施の形態を示す図である。第１の参照フィールドメモリ２０８および第３の参照フィールドメモリ２１０は、入力端子２０１から入力された画像信号のうち奇数フィールドを記憶し、第２の参照フィールドメモリ２０９および第４の参照フィールドメモリ２１１は、入力端子２０１から入力される画像信号のうち偶数フィールドの画像を記憶する。また、第１のバッファメモリ２０２は、入力端子２０１から入力される画像信号の複数画素で構成されるマクロブロックの奇数ラインの画素を一時記憶し、第２のバッファメモリ２０３は、入力端子２０１から入力される画像信号の複数画素で構成されるマクロブロックの偶数ラインの画素を一時記憶する。
【００３０】
第１の動きベクトル検出回路２０４は、第１のアドレス発生回路２１４に従って第１の参照フィールドメモリ２０８から読み出される過去に入力された奇数フィールド画面から、第１のバッファメモリ２０２から入力されるマクロブロックの奇数ラインの複数画素で構成されるブロックに対する予測信号として適した部分領域を示す第１の動きベクトルとその予測差を検出して出力する。第２の動きベクトル検出回路２０５は、第１のアドレス発生回路２１４に従って第２の参照フィールドメモリ２０９から読み出される過去に入力された偶数フィールド画面から、第１のバッファメモリ２０２から入力されるマクロブロックの奇数ラインの複数画素で構成されるブロックに対する予測信号として適した部分領域を示す第２の動きベクトルとその予測誤差を検出して出力する。第３の動きベクトル検出回路２０６は、第２のアドレス発生回路２１５に従って第３の参照フィールドメモリ２１０から読み出される過去に入力された奇数フィールド画面から、第２のバッファメモリ２０３から入力されるマクロブロックの偶数ラインの複数画素で構成されるブロックに対する予測信号として適した部分領域を示す第３の動きベクトルとその予測誤差を検出して出力する。第４の動きベクトル検出回路２０７は、第２のアドレス発生回路２１５に従って第４の参照フィールドメモリ２１１から読み出される過去に入力された偶数フィールド画面から、第２のバッファメモリ２０３から入力されるマクロブロックの偶数ラインの複数画素で構成されるブロックに対する予測信号として適した部分領域を示す第４の動きベクトルとその予測誤差を検出して出力する。
【００３１】
動きベクトル判定部２１２は、前記予測誤差に基づいて、第１または第２の動きベクトルをマクロブロックの奇数ラインの複数画素で構成されるブロックに対する第１のフィールド動きベクトルとし、第３または第４の動きベクトルをマクロブロックの偶数ラインの複数画素で構成されるブロックに対する第２のフィールド動きベクトルとして出力する。また、前記予測誤差に基づいて、マクロブロックの奇数ラインおよび偶数ラインに対する予測信号として１つの動きベクトルで参照部分領域を指し示すフレーム動きベクトルとして、前記第１のフィールド動きベクトルと第２のフィールド動きベクトルの何れを使用するかを示すフレームフラグを出力する。
【００３２】
入力画像信号がインタレース画像の場合は、制御信号入力端子２１６より入力される検出モードにより、第１のアドレス発生回路２１４は、遅延回路２３１を介して入力される１つ前のフレーム画面に対して検出された前記第２のフィールド動きベクトルを基準にして探索基準位置を設定し、前記第１の参照フィールドメモリ２０８と前記第２の参照フィールドメモリ２０９の読み出し制御を行い、第２のアドレス発生回路２１５は、同一フレーム画面に対して検出された前記第１のフィールド動きベクトルを基準して探索基準位置を設定し、前記第３の参照フィールドメモリ２１０と前記第４の参照フィールドメモリ２１１を読み出し制御を行う。図５は、前記第１のアドレス発生回路２１４および第２のアドレス発生回路２１５のこの場合の読み出し制御の一例を説明する為の図で、図中◎は探索基準位置であり、◎および○は探索基準位置の存在するフィールドから動きベクトルを検出する為の画面上での探索点を示し、●は他方のフィールドから動きベクトルを検出する為の画面上での探索点を示す。この様に、この読み出し制御は、探索基準位置がそれぞれフィールドの探索範囲のほぼ中心になる様に行われる。
【００３３】
入力画像信号がノンインタレース画像の場合は、制御信号入力端子２１６により入力される検出モードにより、第１のアドレス発生回路２１４および第２のアドレス発生回路２１５は、遅延回路２１３を介して入力される１つ前のフレーム画面に対して検出された前記フレームフラグで指定されるフィールド動きベクトルを基準にして探索基準位置を設定して、前記４つの参照フィールドメモリ２０８，２１０，２０９および２１１の読み出し制御を行う。図６および図７は、前記第１のアドレス発生回路２１４および第２のアドレス発生回路２１５のこの場合の読み出し制御の一例を説明する為の図で、図中◎は探索基準位置であり、◎・○・□は探索基準位置の存在する参照フィールドからマクロブロックの奇数ラインに対する動きベクトルを検出する為の画面上での探索点を示し、◎・□・◇は探索基準位置の存在する参照フィールドからマクロブロックの偶数ラインに対する動きベクトルを検出する為の画面上での探索点を示し、●・黒塗りした四角は他方の参照フィールドからマクロブロックの奇数ラインに対する動きベクトルを検出する為の画面上での探索点を示し、黒塗りした四角・黒塗りした菱形は他方の参照フィールドからマクロブロックの偶数ラインに対する動きベクトルを検出する為の画面上での探索点を示す。この様に読み出し制御は、それぞれフィールドの探索範囲の中心位置がほぼ探索基準位置から等距離になる様に行われ、探索基準点近傍については動き量の小さな場合に必要な検出密度が確保されるとともに、探索基準点からはなれたところについては適当な検出密度で動き量の大きな場合に必要な探索範囲も確保される。また、シーケンス全体あるいは参照領域近傍や符号化領域近傍の動きの大きさに応じて、制御信号入力端子２１６から入力されるシフト量データにより前記シフト量を変更することで、画像毎の必要に応じた探索範囲と検出密度を使用できる。さらに、探索基準位置が画面端近傍に存在する場合は、図８に示す様に、参照領域が画面外に出ない様に一部の参照フィールドの読み出しを制御する事により、所有する演算機能が検出密度の高い範囲の拡大に使用され、探索点の検出基準点からの最大変位を画面全体について同程度に制限することができる。これにより、殆ど発生しない画面周辺の大きな動きベクトルの為に大きな符号表を使用することによる符号化効率の低下を防止できる。
【００３４】
図９は、さらに探索演算量を削減する為の本発明の第３の実施の形態を示す図であるが、図４に示した第２の実施の形態と異なる部分のみ説明する。フィルタ処理回路３１８は、入力端子２０１から入力される画像に対して水平方向の空間フィルタ処理を施して出力する。第１の参照フィールドメモリ３０８は、フィルタ処理回路３１８から入力される画像信号のうち奇数フィールドで水平画素位置が奇数番目の画素を記憶し、第３の参照フィールドメモリ３１０は、フィルタ処理回路３１８から入力される画像信号のうち奇数フィールドで水平画素位置が偶数番目の画素を記憶し、第２の参照フィールドメモリ３０９は、フィルタ処理回路３１８から入力される画像信号のうち偶数フィールドで水平画素位置が奇数番目の画素を記憶し、第４の参照フィールドメモリ３１１は、フィルタ処理回路３１８から入力される画像信号のうち偶数フィールドで水平画素位置が偶数番目の画素を記憶する。また、第１のバッファメモリ３０２は、フィルタ処理回路３１８から入力される画像信号の複数画素で構成されるマクロブロックの奇数ラインで水平画素位置が奇数番目の画素を一時記憶し、第２のバッファメモリ３０３は、フィルタ処理回路３１８から入力される画像信号の複数画素で構成されるマクロブロックの偶数ラインで水平画素位置が奇数番目の画素を一時記憶する。
【００３５】
図１０は、入力画像信号がインタレース画像の場合の前記第１のアドレス発生回路２１４および第２のアドレス発生回路２１５の読み出し制御の一例を説明する為の図で、図中◎は探索基準位置であり、◎および○は探索基準位置の存在するフィールドから動きベクトルを検出する為の画面上での探索点を示し、●は他方のフィールドから動きベクトルを検出する為の画面上での探索点を示す。この読み出し制御は、探索基準位置がそれぞれフィールドの探索範囲のほぼ中心になる様に行われ、水平垂直ともにほぼ同一検出精度となる。
【００３６】
図１１は、入力画像信号がノンインタレース画像の場合の前記第１のアドレス発生回路２１４および第２のアドレス発生回路２１５の読み出し制御の一例を説明する為の図で、図中◎は探索基準位置であり、◎・○・□は探索基準位置の存在する参照フィールドからマクロブロックの奇数ラインに対する動きベクトルを検出するための画面上での探索点を示し、◎・□・◇は探索基準位置の存在する参照フィールドからマクロブロックの偶数ラインに対する動きベクトルを検出する為の画面上での探索点を示し、●・黒塗りした四角は他方の参照フィールドからマクロブロックの奇数ラインに対する動きベクトルを検出する為の画面上での探索点を示し、黒塗りした四角・黒塗りした菱形は他方の参照フィールドからマクロブロックの偶数ラインに対する動きベクトルを検出する為の画面上での探索点を示す。この読み出し制御は、それぞれのフィールドの探索範囲の中心位置がほぼ探索基準位置から等距離になる様に行われ、探索基準点近傍については動き量の小さな場合に必要な検出密度が水平方向・垂直方向ともに確保されるとともに、探索基準点から離れたところについては水平方向・垂直方向ともに適当な検出密度で動き量の大きな場合に必要な探索範囲も確保される。
【００３７】
図１２は、本発明の実施の形態全体ブロック図であり、図３に付した符号と同一のものは同一構成要素を示している。第１の参照画面記憶部１０２は、入力端子１０１から入力される画像信号を記憶する。第１の動きベクトル検出部１０３は、入力端子１０１から入力される画像信号の複数画素で構成されるマクロブロックに対して、第１の参照画面記憶部１０２に記憶されている過去に入力された画面からの動きベクトルを不均一な探索により検出し、その検出動きベクトルと検出精度情報を出力する。第２の動きベクトル検出部１０４は、前記第１の動きベクトル検出部１０３から受け取る動きベクトルに基づいて検出基準位置を設定し、前記第１の動きベクトル検出部１０３から受け取る検出精度情報に基づいて検出精度を切り替えて、局部再生して第２の参照画面記憶部１０５に記憶された過去の画面から１画素精度または１／２画素精度の動きベクトルを検出すると共にその動きベクトルに従った予測信号を生成し、その予測信号と予測モードと動きベクトル情報を出力する。減算回路１０７は、第２の動きベクトル検出部１０４から出力される予測信号と、遅延回路１０６を介して入力される画像信号との差分信号を算出して出力する。減算回路１０７から出力される差分信号は、複数の差分信号毎に直交変換部１０８により周波数成分に変換され、量子化部１０９により再量子化処理が施される。可変長符号化部１１４は、量子化部１０９から出力される再量子化信号を、前記第２の動きベクトル検出部１０４から出力される予測モードと動きベクトル情報と共に可変長符号化して出力端子１１５に出力する。また、量子化部１０９から出力される再量子化信号は、逆量子化部１１０により逆量子化処理が施され、さらに逆直交変換部１１１により差分信号に逆変換される。加算回路１１３は、逆直交変換部１１１から出力される差分信号と遅延回路１１２を介して入力される予測信号との加算により局部再生信号を生成して、次の入力画面の予測信号生成に使用する為に第２の参照画面記憶部に記憶される。
【００３８】
図１３は、前記第１の動きベクトル検出部１０３の不均一な探索の一例を示す図であり、○および◎は探索点を示し、特に◎は探索の基準位置を示すものである。
【００３９】
図１４は、前記第１の動きベクトル検出部１０３による検出結果に応じて、前記第２の動きベクトル検出部１０４の探索精度を切り替える例を示す図である。図中で、◇は前記第１の動きベクトル検出部１０３による検出点、○は前記第１の動きベクトル検出部により探索された点、黒塗りした菱形および●は前記第２の動きベクトル検出部１０４による探索点を示し、特に黒塗りした菱形は前記第１の動きベクトル検出部１０３による検出点◇と同じ位置に相当する点を示している。
【００４０】
以下に図面を用いて本発明の第４ないし第６の実施の形態を説明する。
【００４１】
図１５は、本発明の第４ないし第６の実施の形態の全体ブロック図である。第１の参照画面記憶部１０２は、入力端子１０１から入力される画像信号を記憶する。第１の動きベクトル検出部１０３は、入力端子１０１から入力される画像信号の複数画素で構成されるマクロブロックに対して、第１の参照画面記憶部１０２に記憶されている過去に入力された画面からの動きベクトル候補を、図２に示すような不均一な探索精度で検出し、その動きベクトル候補を第２の動きベクトル検出部１０４に出力し、また、その動きベクトル候補の検出精度情報と予想誤差情報をコントローラ１１６に出力する。なお、図１９において、○および◎は探索点を示し、特に◎は探索の基準位置を示すものである。コントローラ１１６は、その動きベクトル候補の検出精度情報と予測誤差情報に基づいて、第２の動きベクトル検出部１０４に対する制御情報を生成する。第２の動きベクトル検出部１０４は、局部再生して第２の参照画面記憶部１０５に記憶された過去の画面を参照して、コントローラ１１６の制御情報に応じて、前記第１の動きベクトル検出部１０３から受け取る動きベクトル候補の近傍を高精度で再探索し、１／２画素精度の動きベクトルを検出すると共にその動きベクトルに従った予測信号を生成し、その予測信号と予測モードと動きベクトル情報を出力する。減算回路１０７は、第２の動きベクトル検出部１０４から出力される予測信号と、遅延回路１０６を介して入力される画像信号との差分信号を算出して出力する。減算回路１０７から出力される差分信号は、複数の差分信号毎に直交変換部１０８により周波数成分に変換され、量子化部１０９により再量子化処理が施される。可変長符号化部１１４は、量子化部１０９から出力される再量子化信号を前記第２の動きベクトル検出部１０４から出力される予測モードと動きベクトルと動きベクトル情報と共に可変長符号化して出力端子１１５に出力する。また、量子化部１０９から出力される再量子化信号は、逆量子化部１１０により逆量子化処理が施されて、さらに逆直交変換部１１１により差分信号に逆変換される。加算回路１１３は、逆直交変換部１１１から出力される差分信号と遅延回路１１２を介して入力される予測信号との加算により局部再生信号を生成して、次の入力画面の予測信号生成に使用する為に第２の参照画面記憶部１０５に記憶される。
【００４２】
次に本発明の第４の実施の形態について説明する。この実施の形態では、コントローラ１１６は前記第１の動きベクトル検出部１０３から受け取る検出精度情報に基づいて、第２の動きベクトル検出部１０４での検出段階数を、該検出精度が高い場合は少なくし、該検出精度が低い場合には検出段階数を多くする制御とともに、その探索パターンの制御を行なう。そして、第２の動きベクトル検出部１０４は、前記第１の動きベクトル検出部１０３から受け取る動きベクトル候補に基づいて検出基準位置を設定し、前記制御に基づいて検出段階数と探索パターンを切り替え、局部再生して第２の参照画面記憶部１０５に記憶された過去の画面から１／２画素精度の動きベクトルを検出すると共に、その動きベクトルに従った予測信号を生成し、その予測信号と予測モードと動きベクトル情報を出力する。
【００４３】
図１６は、前記第１の動きベクトル検出部１０３による検出結果に応じて、前記第２の動きベクトル検出部１０４の検出段階数を切り替えて再探索を行なう例を示す図である。図中で、◇は前記第１の動きベクトル検出部１０３による検出点、○は前記第１の動きベクトル検出部１０３により探索された点、黒塗りした菱形および●は前記第２の動きベクトル検出部１０４による探索点を示し、特に黒塗りした菱形は前記第１の動きベクトル検出部１０３による検出点◇と同じ位置に相当する点を示す。図１６に示した例で、（ａ），（ｂ），（ｃ），（ｄ），（ｅ）では、まず前記第１の動きベクトル検出部１０３による検出点と同じ位置に相当する点黒塗りした菱形の周囲でｓｔｅｐ１に示すような高精度の再探索を行ない、続いてこの再探索による検出点◎の周囲でｓｔｅｐ２に示すような高精度の再探索を行なう。尚、（ａ）の場合には、（ｂ）と同様のパターンで再探索しても良い。また、図１６に示した例で、（ｆ），（ｇ），（ｈ）では、検出段階数を切り替えずに、前記第１の動きベクトル検出部１０３による検出点と同じ位置に相当する点黒塗りした菱形の周囲で図中に示すような高精度の探索を行なう。
【００４４】
この第４の実施の形態では、再探索の為の基準ベクトルの個数を一定にでき、一定の参照画素数を有効に利用することができる。
【００４５】
本発明の第５の実施の形態では、コントローラ１１６は前記第１の動きベクトル検出部１０３から受け取る検出精度情報および予測誤差情報に基づいて、第２の動きベクトル検出部１０４での検出の為の基準動きベクトルの個数を切り替える制御を行なう。具体的には最小予測誤差の動きベクトル候補の検出精度が高いときには再探索する候補ベクトルを多くし、検出精度の高い動きベクトル候補についてはその動きベクトル候補の近傍の再探索範囲を狭くし、最小予測誤差の動きベクトル候補の検出精度が低いときは再探索する候補ベクトルを少なくし、その動きベクトル候補の近傍の再探索範囲を少く広げる制御を行なう。第２の動きベクトル検出部１０４は、前記制御によって選択された、前記第１の動きベクトル検出部１０３から受け取る動きベクトル候補に基づいて検出基準位置を設定し、局部再生して第２の参照画面記憶部１０５に記憶された過去の画面から１／２画素精度の動きベクトルを検出すると共にその動きベクトルに従った予測信号を生成し、その予測信号と予測モードと動きベクトル情報を出力する。
【００４６】
図１７は、請求項６に記した手段により、前記第１の動きベクトル検出部１０３による検出結果に応じて、基準ベクトルの個数を切り替えて前記第２の動きベクトル検出部１０４で再探索を行なう例を示す図である。図中で、◇は前記第１の動きベクトル検出部１０３による検出点、○は前記第１の動きベクトル検出部１０３により探索された点、黒塗りした菱形および●は前記第２の動きベクトル検出部１０４による探索点を示し、特に黒塗りした菱形は前記第１の動きベクトル検出部１０３による検出点◇と同じ位置に相当する点を示す。ここでは、前記第１の動きベクトル検出部１０３により検出された予測誤差の最小となる基準動きベクトル候補の検出精度に応じて、図１７に示した例のように高精度の再探索を行なう。また、他の動きベクトル候補の近傍についても高精度な再探索が可能な演算量の余裕がある場合には、他の動きベクトル候補の近傍についてもその検出精度に応じて同様な高精度の再探索を行ない、他の動きベクトル候補の近傍についても高精度な再探索が可能な演算量の余裕が充分でない場合は従来のような可変検出精度により他の動きベクトル候補の近傍についても再探索し、可変検出精度による再探索の余裕もない場合は、他の動きベクトル候補の近傍の再探索を行なわない。尚、（ｇ）の場合には、（ｆ），（ｈ）と同様のパターンで再探索することもできる。
【００４７】
この第５の実施の形態では、再探索の為の検出段階数を少なくでき、少ない遅延メモリで構成することができる。また、所定の参照画素数で複数の探索基準点の近傍について再探索できる。
【００４８】
本発明の第６の実施の形態においては、コントローラ１１６は前記第１の動きベクトル検出部１０３から受け取った検出精度情報および予測誤差情報に基づいて、第２の動きベクトル検出部１０４での検出の為の基準ベクトルの個数および検出段階数を切り替える制御を行なう。具体的には、最小予測誤差の動きベクトル候補の検出精度が高い場合には、再探索する候補ベクトルを少なくし、検出精度の高い動きベクトル候補についてはその動きベクトル候補の近傍の再探索範囲を狭くし、最小限予測誤差の動きベクトル候補の検出精度が低い場合には、再探索する候補ベクトルを多くし、その動きベクトル候補の近傍を再探索する段階数を多くする制御を行なう。第２の動きベクトルの検出部１０４は、前記制御によって選択された、前記第１の動きベクトル検出部１０３から受け取る動きベクトル候補に基づいて検出基準位置を設定し、前記制御に基づいて検出段階数を切り替え、局部再生して第２の参照画面記憶部１０５に記憶された過去の画面から１／２画素精度の動きベクトルを検出すると共にその動きベクトルに従った予測信号を生成し、その予測信号と予測モードと動きベクトル情報を出力する。
【００４９】
図１８は、前記第１の動きベクトル検出部１０３による検出結果に応じて、基準ベクトルの個数および検出段階数を切り替えて前記第２の動きベクトル検出部１０４で再探索を行なう例を示す図である。図中で、◇は前記第１の動きベクトル検出部１０３による検出点、○は前記第１の動きベクトル検出部１０３により探索された点、黒塗りした菱形および●は前記第２の動きベクトル検出部１０４による探索点を示し、特に黒塗りした菱形は前記第１の動きベクトル検出部１０３による検出点◇と同じ位置に相当する点を示す。（ａ）では、まず複数の基準ベクトルの近傍でｓｔｅｐ１に示すような再探索を行ない、次いでその再探索で検出された予測誤差量が最小となる基準ベクトルの予測誤差量が最小となる検出点◎の周囲でｓｔｅｐ２に示すような再探索を行ない、更にその再探索で検出された検出点の周囲でｓｔｅｐ３に示すような再探索を行なう。尚、図１８（ａ）では、ｓｔｅｐ１で垂直方向３点探索を行なってｓｔｅｐ２で水平方向に長い菱形の探索を行なう例を示したが、これはｓｔｅｐ１で水平方向３点を行なってｓｔｅｐ２で垂直方向に長い菱形の探索を行なうパターンであってもよい。（ｂ）では、まず複数の基準ベクトルの近傍でｓｔｅｐ１に示すような再探索を行ない、次いでその再探索で検出された予測誤差量が最小となる基準ベクトルの予測誤差量が最小となる検出点◎の周囲でｓｔｅｐ２に示すような再探索を行なう。（ｃ），（ｄ），（ｅ）では複数の基準ベクトルの近傍でｓｔｅｐ１に示すような再探索を行ない、その探索で検出された検出点◎の周囲でｓｔｅｐ２に示すような再探索を行なう。（ｆ），（ｇ），（ｈ）では、前記第１の動きベクトル検出部１０３による検出点と同じ位置に相当する点黒塗りした菱形の周囲で図中に示すような高精度の探索を行なう。
【００５０】
この実施の形態では、検出精度が低い場合はより多くの基準ベクトルの近傍について再探索するために局所最適に留まる可能性が低減され、所定の演算量を最大限利用して最適な動きベクトルを検出できる可能性が高くなる。
【００５１】
以上、本発明に関する幾つかの実施の形態を示してきたが、本発明は前記の実施の形態にとらわれることなく、本発明の趣旨を逸脱しない範囲で様々な手段を取り得ることはもちろんである。
【００５２】
【発明の効果】
本発明によれば、均一な密度の探索の組み合わせにより効率的な参照画像の読み出しを可能にし、高い検出精度の不要な探索基準位置から遠い動きベクトルの検出精度を落とすことにより不要な演算を削減して、所有する探索演算機能を有効に利用できる。
【００５３】
本発明によれば、探索範囲全体について１画素精度や１／２画素精度の検出を行わないが、高い検出精度の不要な探索基準位置から遠い動きベクトルについては１画素精度の検出まで行い、高い検出精度の必要な探索基準位置近傍については１／２画素精度の検出まで行われるので、演算量を大幅に削減して、有効な画素精度の動きベクトルの利用が可能になる。また、１画素精度の検出と１／２画素精度の検出に必要な参照画素が同一である事から、参照画像の読み出し制御も簡単である。
【００５４】
第１の動きベクトル検出手段で検出された基準動きベクトル候補の検出精度が低い場合は、第２の動きベクトル検出手段を複数に分割し、再探索する検出段階数を多くすることにより、高精度な動きベクトル検出を保証する。
【００５５】
また、第１の動きベクトル検出手段で検出された予測誤差の最小となる基準動きベクトル候補の検出精度が高い場合は、複数の基準動きベクトル候補の近傍について、狭い探索範囲を高精度で再探索し、予測誤差の最小となる基準動きベクトル候補の検出精度が低い場合は、再探索する基準動きベクトル候補を少なくして、探索範囲を広げて高精度で再探索することにより、高精度な動きベクトル検出を保証する。
【００５６】
また、第１の動きベクトル検出手段で検出された予測誤差の最小となる基準動きベクトル候補の検出精度が高い場合は、第２の動きベクトル検出手段で、複数の基準動きベクトル候補の近傍について、狭い探索範囲を高精度で再探索し、予測誤差の最小となる基準動きベクトル候補の検出精度が低い場合は、第２の動きベクトル検出手段の一部を分割し、再探索する基準動きベクトル候補数とその検出段階数を増やして再探索することにより、高精度な動きベクトル検出を保証する。
【００５７】
本発明によれば、不均一な精度で検出された動きベクトル候補の近傍の再探索において、その動きベクトル候補の検出精度に応じて検出段階数や再探索する基準ベクトルの個数を切り替えることにより、所定演算量で、高精度な動きベクトル検出を保証し、符号化性能の低下が防止される。
【図面の簡単な説明】
【図１】本発明の基本概念を示すブロック図である。
【図２】図７の動作を説明する図である。
【図３】本発明の第１ないし第３の実施の形態の全体ブロック図である。
【図４】本発明の第１の実施の形態を示すブロック図である。
【図５】本発明の第１の実施の形態におけるメモリ制御例を示す図である。
【図６】本発明の第１の実施の形態におけるメモリ制御例を示す図である。
【図７】本発明の第１の実施の形態におけるメモリ制御例を示す図である。
【図８】本発明の第１の実施の形態におけるメモリ制御例を示す図である。
【図９】本発明の第２の実施の形態を示すブロック図である。
【図１０】本発明の第２の実施の形態におけるメモリ制御例を示す図である。
【図１１】本発明の第２の実施の形態におけるメモリ制御例を示す図である。
【図１２】本発明の第３の実施の形態全体のブロック図である。
【図１３】不均一な探索例を示す図である。
【図１４】本発明の第２の動きベクトル検出部の探索精度切り替え例を示す図である。
【図１５】本発明の第４ないし第６の実施の形態の全体ブロック図である。
【図１６】本発明の請求項５に対応する第４の実施の形態による第２の動きベクトル検出部での高精度な再探索の例を示す図である。
【図１７】本発明の請求項６に対応する第５の実施の形態による第２の動きベクトル検出部での高精度な再探索の例を示す図である。
【図１８】本発明の請求項７に対応する第６の実施の形態による第２の動きベクトル検出部での高精度な再探索の例を示す図である。
【図１９】第１の動きベクトル検出部での不均一な探索精度の検出例を示す図である。
【図２０】従来例における第２の動きベクトル検出部の探索精度切り替えの例を示す図である。
【符号の説明】
１０  第１の検出手段
１１  第１の動きベクトル検出手段
１２  第１の参照領域設定手段
２０  第２の検出手段
２１  第２の動きベクトル検出手段
２２  第２の参照領域設定手段
１０２  参照画像メモリ
１０３  探索精度が不均一な動きベクトル検出部
１０４  探索精度可変の動きベクトル検出部
１０５  局部再生画像メモリ
１１６  コントローラ
２０２，２０３，３０２，３０３  バッファメモリ
２０４，２０５，２０６，２０７  動きベクトル検出回路
２０８，２０９，２１０，２１１  参照フィールドメモリ
３０８，３０９，３１０，３１１  参照フィールドメモリ
２１２  動きベクトル判定部
２１４，１２５  アドレス発生回路
【図１】
0003585628.tif 000003
【図２】
0003585628.tif 000004
【図３】
0003585628.tif 000005
【図４】
0003585628.tif 000006
【図５】
0003585628.tif 000007
【図６】
0003585628.tif 000008
【図７】
0003585628.tif 000009
【図８】
0003585628.tif 000010
【図９】
0003585628.tif 000011
【図１０】
0003585628.tif 000012
【図１１】
0003585628.tif 000013
【図１２】
0003585628.tif 000014
【図１３】
0003585628.tif 000015
【図１４】
0003585628.tif 000016
【図１５】
0003585628.tif 000017
【図１６】
0003585628.tif 000018
【図１７】
0003585628.tif 000019
【図１８】
0003585628.tif 000020
【図１９】
0003585628.tif 000021
【図２０】
0003585628.tif 000022