(57)【特許請求の範囲】
【請求項１】
動画像信号により表示される過去の画面から符号化画面のうち奇数ラインまたは偶数ラインからなる一方の部分画像を予測する前方予測のための動きベクトルを検出する第１の動きベクトル検出手段と、
動画像信号により表示される将来の画面から前記符号化画面のうち偶数ラインまたは奇数ラインからなる他方の部分画像を予測する後方予測のための動きベクトルを検出する第２の動きベクトル検出手段と、
前記将来の画面から符号化画面を後方予測する符号化モードを用いない符号化画面では、前記第１及び第２の動きベクトル検出手段の両方を使用して、前記過去の画面から前記符号化画面を前方予測するための動きベクトルを高精度で検出する動きベクトル高精度検出手段と、
前記将来の画面から符号化画面を前記後方予測する符号化モードを用いない符号化画面では、前記第１及び第２の動きベクトル検出手段の両方を使用して、前記過去の画面から前記符号化画面を前記前方予測するための動きベクトルを高精度で検出するように検出精度を変更する検出精度変更手段とを備えた動きベクトル検出装置において、
前記動きベクトル高精度検出手段では、前記第１の動きベクトル検出手段で符号化画面の偶数ラインまたは奇数ラインの一方の部分画像の１画素精度の動きベクトルを検出すると共に、前記第２の動きベクトル検出手段で符号化画面の奇数ラインまたは偶数ラインの他方の部分画像の１画素精度の動きベクトルを検出することを特徴とする動きベクトル検出装置。
【請求項２】
前記検出精度変更手段は、前記動きベクトル高精度検出手段において、前記動きベクトル検出手段で検出された複数の動きベクトルを基準にして１／２画素精度の動きベクトルを検出するため、検出精度を変更することを特徴とする請求項１記載の動きベクトル検出装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、画像の記録・通信・伝送及び放送等における動画像信号の符号化装置に適用される動きベクトル検出装置に係り、特に既に符号化された画面のどの領域から入力画像が動いたものかを表わす動きベクトル情報とその動きベクトル情報により示される参照領域との差分を符号化する動き補償予測符号化の為の動きベクトル検出装置に関する。
【０００２】
【従来の技術】
多階調の画像信号の情報量は膨大であり、通常のディジタル信号で画像の伝送や記録を行なう為には、広帯域の伝送路や大容量の記録媒体を必要とする。その為、テレビ電話・テレビ会議・ＣＡＴＶ及び画像ファイル装置等では、画像信号を少ないデータ量に圧縮符号化する技術が必要となる。この様な動画像符号化方式として、動き補償予測符号化方式が知られている。この符号化方式では、入力画面の部分領域に対して、符号化済み画面から最も相関の高い部分領域を検出して、入力画面の部分領域が符号化済み画面のどの位置から動いたものかを表す動きベクトル情報と、入力画面の部分領域とその動きベクトル情報により示される符号化済み画面の部分領域との差分を符号化する。
【０００３】
過去の画面から予測する前方予測と将来の画面から予測する後方予測の両方を使用して符号化する場合は、それら個々について特に高い検出能力を必要としないが、前方予測のみに限定して符号化する場合には、前方予測の動きベクトルの高い検出能力が要求される。しかし、従来前方予測のみに限定して符号化する場合には、後方予測の動きベクトル検出能力を図２１（ａ）の探索範囲Ｂの様に探索範囲の拡大に使用され、必要な探索範囲Ａに比べて、探索範囲が冗長になっていた。そのマッチング精度は、図２１（ｃ）のようになり、図２１（ｂ）にしめす様な必要なマッチング精度がなかった。また、図２１（ｃ）の探索範囲Ａの領域Ｃは、探索候補点の間隔が２画素精度で、探索密度が低く、最適な動きベクトル検出を保証されなかった。
【０００４】
また、図２２に示すように、従来の両方向予測の場合の探索点を○とすると、探索中心点は◎のようになっていた。これが、前方予測画面の場合には、図２３に示すように、探索中心点◎に対して探索点は○のように示されることができ、前方予測画面を用いれば高精度な探索密度が従来でも得られることがわかる。
【０００５】
従来、前方予測と後方予測の両方使用して符号化する場合は、それら個々について高い検出能力を必要としないが、前方予測のみに限定して符号化する場合には、上述のように前方予測の動きベクトルの検出能力が不足していた。
【０００６】
さらに、インタレース画像のフレーム構造での符号化においては、フィールドタイプの動きベクトル検出手段とフレームタイプの動きベクトル検出手段の個々について高い検出能力を必要としないが、ノンインタレース画像の符号化の際には、フレームタイプの動き補償に限定されるために、フレームタイプの動きベクトル検出能力が不足していた。
【０００７】
また、インタレース画像において前方予測のみを利用してMPEG2 （moving picture coding experts group, phase 2）に準拠して効率良く符号化するためには、符号化効率の向上に必要なデュアルプライム（dual prime）予測の動きベクトル検出手段としての専用回路を必要とし、装置の規模が大きくなっていた。また、両方向予測信号生成回路とデュアルプライム（dual prime）予測の基準信号生成回路を、それぞれ専用回路としていたために装置の規模が大きくなっていた。
【０００８】
また、前方予測のみを利用して効率良く符号化するためには、符号量削減のために零の動きベクトルの使用の可能性を検証する必要があり、それを検証する専用の参照メモリや予測誤差算出回路を使用していたために装置の規模が大きくなっていた。
【０００９】
また、インタレース画像のフレーム構造での符号化においては、フィールドタイプの動きベクトル検出手段とフレームタイプの動きベクトル検出手段の個々について高い検出能力を必要としないが、インタレース画像のフィールド構造での符号化においては、フィールドタイプの動き補償に限定されるために、フィールドタイプの動きベクトル検出能力が不足していた。
【００１０】
【発明が解決しようとする課題】
本発明は、前方予測のみを使用する場合には、後方予測の動きベクトルの検出手段で前方予測の動きベクトル検出手段を補うように動作させ、回路規模の制限により前方予測の動きベクトル検出能力が不足していたという問題点を解決することを目的とする。
【００１１】
さらに、ノンインタレース画像の符号化の際には、フィールドタイプの動きベクトル検出手段をフレームタイプの動きベクトル検出手段を補うように動作させ、フレームタイプの動きベクトル検出能力が不足していたという問題点を解決することを目的とする。
【００１２】
また、インタレース画像の符号化において前方予測のみを利用する時には、符号化効率の向上に必要なデュアルプライム（dual prime）予測の動きベクトル検出手段として、フィールドタイプ及びフレームタイプの後方予測の動きベクトル検出手段を利用することにより、装置の規模が大きくなっていたという問題点を解決し、検出性能を保持して装置の小型化を実現することを目的とする。
【００１３】
また、両方向予測信号生成回路をデュアルプライム（dual prime）予測の基準信号生成回路として動作させ、装置の規模が大きくなっていたという問題点を解決することを目的とする。
【００１４】
また、前方予測のみを利用して効率良く符号化する場合には、後方予測の動きベクトル検出手段の１つを零動きベクトルの使用の可能性を検証する予測誤差算出手段として動作させ、それを検証する専用の参照メモリと予測誤差算出回路を不要にし、装置の規模が大きくなっていたという問題点を解決することを目的とする。
【００１５】
また、前方予測のみを利用して効率良く符号化する場合には、後方予測の予測誤差算出手段の１つを零動きベクトルの使用の可能性を検証する予測誤差算出手段として動作させ、それを検証する専用の予測誤差算出回路を不要にし、装置の規模が置きくなっていたという問題点を解決することを目的とする。
【００１６】
また、インタレース画像のフィールド構造での符号化においては、フレームタイプの動きベクトル検出手段をフィールドタイプの動きベクトル検出手段を補うように動作させ、フィールドタイプの動きベクトル検出能力が不足していたという問題点を解決することを目的とする。
【００１７】
【課題を解決するための手段】
上記課題を解決するために、この発明の基本構成に係る動きベクトル検出装置は、動画像信号により表示される過去の画面から符号化画面のうち奇数ラインまたは偶数ラインからなる一方の部分画像を予測する前方予測のための動きベクトルを検出する第１の動きベクトル検出手段と、動画像信号により表示される将来の画面から前記符号化画面のうち偶数ラインまたは奇数ラインからなる他方の部分画像を予測する後方予測のための動きベクトルを検出する第２の動きベクトル検出手段と、前記将来の画面から符号化画面を後方予測する符号化モードを用いない符号化画面では、前記第１及び第２の動きベクトル検出手段の両方を使用して、前記過去の画面から前記符号化画面を前方予測するための動きベクトルを高精度で検出する動きベクトル高精度検出手段と、前記将来の画面から符号化画面を前記後方予測する符号化モードを用いない符号化画面では、前記第１及び第２の動きベクトル検出手段の両方を使用して、前記過去の画面から前記符号化画面を前記前方予測するための動きベクトルを高精度で検出するように検出精度を変更する検出精度変更手段とを備えた動きベクトル検出装置において、前記動きベクトル高精度検出手段では、前記第１の動きベクトル検出手段で符号化画面の偶数ラインまたは奇数ラインの一方の部分画像の１画素精度の動きベクトルを検出すると共に、前記第２の動きベクトル検出手段で符号化画面の奇数ラインまたは偶数ラインの他方の部分画像の１画素精度の動きベクトルを検出することを特徴とする。
【００１８】
また、この発明に係る動きベクトル検出装置は、上記基本構成において、前記検出精度変更手段が、前記動きベクトル高精度検出手段において、前記動きベクトル検出手段で検出された複数の動きベクトルを基準にして１／２画素精度の動きベクトルを検出するため、検出精度を変更することを特徴とする。
【００２１】
本発明は、前方予測のみでの符号化において、前方予測の動きベクトル検出手段と後方予測の動きベクトル検出手段の両方を前方予測の動きベクトルの検出手段として動作させる。
【００２２】
また、ノンインタレース画像の符号化において、フレームタイプ動きベクトル検出手段とフィールドタイプ動きベクトル検出手段の両方をフレームタイプの動きベクトルの検出手段として動作させる。
【００２３】
また、前方予測のみで符号化する場合において、前方予測のフィールドタイプの動きベクトル検出手段と後方予測のフィールドタイプの動きベクトル検出手段と前方予測のフレームタイプの動きベクトル検出手段と後方予測のフレームタイプの動きベクトル検出手段の内の１つを動きベクトル零を含む前方予測の動きベクトル検出手段として動作させる。
【００２４】
前方予測のみでインタレース画像を符号化する場合において、後方予測のフィールドタイプの１／２画素精度動きベクトル検出手段と後方予測のフレームタイプの１／２画素精度動きベクトル検出手段とをデュアルプライム（dual prime）予測における基準動きベクトル検出手段と差分動きベクトル検出手段として動作させる。
【００２５】
前方予測のみでインタレース画像を符号化する場合において、両方向予測信号生成回路を用いてデュアルプライム（dual prime）予測の基準動きベクトルにより指定される参照ブロックの画素値を１／２したデータと符号化ブロックの画素データとの差分を生成しこの差分を符号化ブロックの画素データの代わりに出力する。
【００２６】
前方予測のみで符号化する場合において、両方向予測誤差量検出手段を動きベクトルが零の場合に対する予測誤差量検出手段として利用する。
【００２７】
フィールド構造で符号化する場合において、フレームタイプ動きベクトル検出手段とフィールドタイプ動きベクトル検出手段の両方をフィールドタイプの動きベクトルの検出手段として動作させる。
【００２８】
【作用】
前方予測画面の符号化において、後方予測動きベクトル検出が不要であるので、後方予測の動きベクトル検出手段も前方予測の動きベクトルの検出手段として利用することにより、前方予測の動きベクトル探索点またはマッチング精度が補充され、前方予測の動きベクトル検出性能が向上する。
【００２９】
フレーム構造の動きベクトルのみを利用して符号化する場合には、フィールド構造の動きベクトルを検出する必要が無く、フィールド構造の動きベクトル検出手段もフレーム構造の動きベクトル検出手段として利用することにより、フレーム構造の動きベクトル探索点が補充され、フレーム構造の動きベクトルの検出性能が向上する。
【００３０】
また、前方予測のみで符号化する場合において、後方予測の動きベクトル検出手段の１つを、動きベクトルが零の場合に対する予測誤差算出手段として利用することにより、その参照画像メモリとして後方予測の参照画像メモリを利用することができ、装置の小型化が可能となる。
【００３１】
インタレース画像の前方予測画面の符号化において、フィールド構造及びフレーム構造の後方予測の１／２画素精度動きベクトル検出手段の一方をデュアルプライム（dual prime）予測の１つの動きベクトルの検出手段として使用し、他方をデュアルプライム（dual prime）予測の他の１つの動きベクトルの検出手段として利用することにより、デュアルプライム（dual prime）予測専用の動きベクトル検出手段を必要とせず、装置全体の小型化が可能になる。
【００３２】
インタレース画像の前方予測画面の符号化においては、両方向予測信号を生成する必要が無く、両方向予測信号の生成に使用される加算回路を用いて、デュアルプライム（dual prime）予測の１つの動きベクトルで指定される参照ブロックの画素値を１／２したデータと符号化ブロックの画素データとの差分を生成し符号化ブロックの画素データの代わりに出力させることにより、デュアルプライム（dual prime）予測専用回路を必要とせず、装置全体の小型化が可能になる。
【００３３】
前方予測画面の符号化においては、両方向予測誤差量を検出する必要が無く、両方向予測誤差量検出手段を動きベクトル零に対する予測誤差量検出手段として利用することにより、動きベクトル零に対する予測誤差量検出のための専用回路を必要とせず、装置全体の小型化が可能になる。
【００３４】
フィールド構造で符号化する場合においては、フレームタイプの動きベクトル検出を検出する必要が無く、フレーム構造の予測のための動きベクトル検出手段もフィールド構造の予測のための動きベクトル検出手段として利用することにより、フィールド構造の予測のための動きベクトル探索点が補充され、フィールド構造の予測のための動きベクトルの検出性能が向上する。
【００３５】
【実施例】
実施例を説明する前に、図１に従い本発明の基本概念を説明する。図１に示すように、本発明に係る動きベクトル検出装置は、符号化画面を予測するための動きベクトルの検出精度を変更する検出精度変更手段１０と、この検出精度変更手段１０により検出された動きベクトルを用いて動きベクトルの候補点を変更する候補点変更手段１５と、この候補点変更手段１５の出力に基づいて動画像信号を符号化する符号化手段１７と、を概略として備えている。
【００３６】
前記検出精度変更手段１０は、動画像信号により表示される過去の画面から符号化画面を予測する前方予測のための動きベクトルを検出する第１の動きベクトル検出手段１１と、動画像信号により表示される将来の画面から符号化画面を予測する後方予測のための動きベクトルを検出する第２の動きベクトル検出手段１２と、前記将来の画面から符号化画面を予測する符号化モードを用いない符号化画面では、前記第１及び第２の動きベクトル検出手段１１及び１２の両方を使用して、前記過去の画面から符号化画面を予測するための動きベクトルを高精度で検出する動きベクトル高精度検出手段１３と、を備えている。
【００３７】
また、前記候補点変更手段１５は、前記第１及び第２の動きベクトル検出手段１１及び１２並びに前記動きベクトル高精度検出手段１３のそれぞれにより検出された３種の動きベクトルのうちの少なくとも１つを用いることにより動きベクトルの候補点を変更するために動きベクトルを検出する第３の動きベクトル検出手段１６を備えている。
【００３８】
以下に図面を用いて本発明の実施例を説明する。
図２は、本発明に係る動きベクトル検出装置の第１実施例の全体を示すブロック図である。第１の参照画面記憶部１０２は、入力端子１０１から入力される画像信号を記憶し、参照画面データと後方向予測のためのマクロブロックデータを出力する。図３は、この出力例であり、出力１は前方予測の為の参照画面データの出力、出力２は後方向予測のためのマクロブロックデータの出力、出力３は後方予測の為の参照画面データの出力、Ｂｘ（ｘは入力画面順序を示す番号）は前方予測及び後方予測を用いて符号化する画面、Ｉｘは画面内予測のみで符号化する画面、Ｐｘは後方向予測以外で符号化する画面を示す。
【００３９】
第１の動きベクトル検出部１０３は、入力端子１０１及び第１の参照画面記憶部１０２から入力される画像信号の複数画素で構成されるマクロブロックに対して、第１の参照画面記憶部１０２に記憶されている過去に入力された画面からの動きベクトルを検出し、その検出動きベクトルを符号化画面順序に並べ替えて出力する。図３は、この符号化画面順序の並べ替え例を示すもので、出力画面順序が符号化画面順序となる。なお、画面内予測のみで符号化する画面においても、エラー補正に使用する前方予測の動きベクトルが検出される。
【００４０】
第２の動きベクトル検出部１０４は、前記第１の動きベクトル検出部１０３から受け取る動きベクトルに基づいて検出基準位置を設定し、画像メモリ１０６によって図４に示すような符号化画面順序で入力されるマクロブロックに対して、局部再生して第２の参照画面記憶部１０５に記憶された過去の画面から１／２画素精度の動きベクトルを検出すると共にその動きベクトルに従った予測信号を生成し、その予測信号と予測モードと動きベクトル情報を出力する。
【００４１】
減算回路１０７は、第２の動きベクトル検出部１０４から出力される予測信号と、画像メモリ１０６によって図４に示すような符号化画面順序で入力される画像信号との差分信号を算出して出力する。減算回路１０７から出力される差分信号は、複数の差分信号毎に直交変換部１０８により周波数成分に変換され、量子化部１０９により再量子化処分が施される。可変長符号化部１１４は、量子化部１０９から出力される再量子化信号を、前記第２の動きベクトル検出部１０４から出力される予測モードと動きベクトル情報と共に可変長符号化して出力端子１１５に出力する。また、量子化部１０９から出力される再量子化信号は、逆量子化部１１０により逆量子化処理が施され、さらに逆直交変換部１１１により差分信号にに逆変換される。加算回路１１３は、逆直交変換部１１１から出力される差分信号と遅延回路１１２を介して入力される予測信号との加算により局部再生信号を生成して、次の入力画面の予測信号生成に使用する為に第２の参照画面記憶部に記憶される。
【００４２】
図５は、前記第１の動きベクトル検出部１０３の具体例としての第２実施例を示す図である。
【００４３】
前方予測参照画面メモリ２０４及び後方予測参照画面メモリ２０５は、第１のアドレス発生回路２０６及び第２のアドレス発生回路２０７に従って、入力端子２０１から入力される画像信号を記憶し、前方予測参照画面メモリ２０４は図３の出力１に示すように参照画面データを出力し、後方予測参照画面メモリ２０５は図３の出力２及び出力３に示すように後方向予測のためのマクロブロックデータと参照画面データを出力する。なお、図３の出力２のＰ５，Ｐ８，Ｉｂの画面のマクロブロックデータは、後方予測参照画面メモリ２０５から出力されるのでは無く、入力端子２０１から入力されるデータであり、図３の出力２のＰ５，Ｐ８，Ｉｂの画面に対する出力３の出力画面は前方予測の参照画面となる。
【００４４】
前方予測動きベクトル検出部２０２は、入力端子２０１から入力されるマクロブロックに対して、前記の前方予測参照画面メモリ２０４から出力される参照画面から、前方予測の動きベクトル候補を所定数検出する。
【００４５】
後方予測動きベクトル検出部２０３は、入力端子２０９からの制御信号により、後方向予測を使用して符号化する画面（図３のＢｘ）に対しては前記の後方予測参照画面メモリ２０５から入力されるマクロブロックに対して後方予測の動きベクトル候補を所定数検出する。また、後方予測を使用せずに符号化する画面（図３のＰｘ，Ｉｘ）に対しては入力端子２０１から入力されるマクロブロックに対して、前記の前方予測動きベクトル検出部２０２で探索されない範囲の参照領域を前記の後方予測参照画面メモリ２０５から読み出し、前方予測の動きベクトル候補を所定数検出する。後方向予測を使用せずに符号化する場合には、この後方予測動きベクトル検出部２０３により、前方予測の動きベクトル検出部２０２の探索点が補充され、広い範囲の動きベクトル検出機能が実現される。
【００４６】
動きベクトル候補選定並べ替え部２０８は、前記の前方予測動きベクトル検出部２０２及び後方予測動きベクトル検出部２０３により検出された動きベクトル候補から、フィールドタイプ及びフレームタイプの動きベクトル候補を所定数に選定するとともに、その検出動きベクトルを図４に示すような符号化画面順序に並べ替えて出力端子２１０に出力する。
【００４７】
図６は、前記第２の動きベクトル検出部１０４の具体例としての第３実施例を示す図である。
【００４８】
前方予測参照画面メモリ３０３及び後方予測参照画面メモリ３０４は、入力端子３０２から入力される制御信号に従って動作する第３のアドレス発生手段３０５または第４のアドレス発生手段３０６の制御により、入力端子３０１から入力される局部再生画像の内で参照画面となる画像を記憶し、入力端子３０２から制御信号として入力される前記第１の動きベクトル検出部１０３で検出された動きベクトル候補に従って読み出し領域を設定されて、入力端子３１５から符号化画面順序で入力されるマクロブロックに対する参照画像を出力する。
【００４９】
画面内画素補間手段３０７，３０８，３０９，３１０は、前記第３または４のアドレス発生手段３０５または３０６の制御により、前記参照画面メモリから出力される参照画像に対して、フレームタイプまたはフィールドタイプの画素間補間を行なって出力する。
【００５０】
前方予測及び後方予測を使用してインタレース画像をフレーム構造で符号化する場合には、フレームタイプの前方予測１／２画素精度動きベクトル検出部３１１は、前記画面内画素補間手段３０７からフレームタイプの前方予測画素間補間画像を受け取り、フレームタイプの前方予測１／２画素精度動きベクトルを検出し、フィールドタイプの前方予測１／２画素精度動きベクトル検出部３１２は、前記画面内画素補間手段３０８からフィールドタイプの前方予測画素間補間画像を受け取り、フィールドタイプの前方予測１／２画素精度動きベクトルを検出し、フィールドタイプの後方予測１／２画素精度動きベクトル検出部３１３は、前記画面内画素補間手段３０９からフィールドタイプの後方予測画素間補間画像を受け取り、フィールドタイプの後方予測１／２画素精度動きベクトルを検出し、フレームタイプの後方予測１／２画素精度動きベクトル検出部３１４は、前記画面内画素補間手段３１０からフレームタイプの後方予測画素間補間画像を受け取り、フレームタイプの後方予測１／２画素精度動きベクトルを検出する。
【００５１】
両方向予測信号・基準ブロックデータ生成部３１６は、上記の前方予測１／２画素精度動きベクトル検出部３１１及び３１２から出力される前方予測信号と後方予測１／２画素精度動きベクトル検出部３１４及び３１３から出力される後方予測信号の平均値演算により、フレームタイプ及びフィールドタイプの両方向予測信号を算出して両方向予測誤差・画面内予測誤差検出部３１７を出力するとともに、入力端子３１５から入力されるマクロブロックデータを基準ブロックデータとしてそのままフレームタイプの後方予測１／２画素精度動きベクトル検出部３１４に出力する。
【００５２】
両方向予測誤差・画面内予測誤差検出部３１７は、前記両方向予測信号・基準ブロックデータ生成部３１６から入力される両方向予測信号の入力端子３１５から入力されるマクロブロックデータに対する予測誤差と、入力端子３１５から入力されるマクロブロックデータの交流成分を用いた画面内予測誤差を算出して、動きベクトル多重部３１８に出力する。
【００５３】
動きベクトル多重部３１８は、前記１／２画素精度動きベクトル検出部３１１，３１２，３１３，３１４から入力される動きベクトル及び予測誤差と、両方向予測誤差・画面内予測誤差検出部３１７から入力される予測誤差を時分割多重して、モード判定部３１９に出力する。
【００５４】
モード判定部３１９は、動きベクトル多重部３１８から入力される予測誤差に基づいて、最適なモードとその動きベクトルを判定して出力端子３２０に出力する。
【００５５】
ここで、後方向予測を使用せずに符号化する場合には、前記のフィールドタイプの後方予測１／２画素精度動きベクトル検出部３１３及びフレームタイプの後方予測１／２画素精度動きベクトル検出部３１４に、フィールドタイプの前方予測１／２画素精度動きベクトル検出部３１２及びフレームタイプの前方予測１／２画素精度動きベクトル検出部３１１に供給されるのとは異なる前方予測のフィールドタイプ及びフレームタイプの前方予測画面内画素補間画像が供給され、フィールドタイプの前方予測１／２画素精度動きベクトル検出部３１２及びフレームタイプの前方予測１／２画素精度動きベクトル検出部３１１ともに動きベクトル検出が行なわれ、前方予測の最適なベクトルの検出能力が向上される。
【００５６】
また、後方向予測を使用せずに符号化する場合には、前記のフィールドタイプの後方予測１／２画素精度動きベクトル検出部３１３（またはフレームタイプの後方予測１／２画素精度動きベクトル検出部３１４）に、動きベクトルが零となる前方予測画面内画素補間画像が供給され、動きベクトルが零に対する動きベクトル検出専用の画像メモリも検出回路も必要としない小規模な装置で、動きベクトルが零に対する動きベクトル検出が行なわれる。
【００５７】
また、フィールドタイプの予測を使用せずにノンインタレース画像を符号化する場合には、前記のフィールドタイプの前方予測１／２画素精度動きベクトル検出部３１２及びフィールドタイプの後方予測１／２画素精度動きベクトル検出部３１３に、フレームタイプの前方予測１／２画素精度動きベクトル検出部３１１及びフレームタイプの後方予測１／２画素精度動きベクトル検出部３１４に供給されるのとは異なるフレームタイプの前方予測及び後方予測の画面内画素補間画像が供給され、フレームタイプの前方予測１／２画素精度動きベクトル検出部３１１及びフレームタイプの後方予測１／２画素精度動きベクトル検出部３１４とともに動きベクトル検出が行なわれ、フレームタイプの最適な動きベクトルの検出能力が向上される。
【００５８】
また、インタレース画像をフィールド構造で符号化する場合には、前記のフレームタイプの前方予測１／２画素精度動きベクトル検出部３１１及びフレームタイプの後方予測１／２画素精度動きベクトル検出部３１４に、フィールドタイプの前方予測１／２画素精度動きベクトル検出部３１２及びフィールドタイプの後方予測１／２画素精度動きベクトル検出部３１３に供給されるのとは異なるフィールドタイプの前方予測及び後方予測の画面内画素補間画像が供給され、フィールドタイプの前方予測１／２画素精度動きベクトル検出部３１２及びフィールドタイプの後方予測１／２画素精度動きベクトル検出部３１３とともに動きベクトル検出が行なわれ、フィールドタイプの最適な動きベクトルの検出能力が向上される。
【００５９】
また、インタレース画像を後方予測を使用せずに直前の画面からの前方予測で符号化する場合には、デュアルプライム（dual prime）の１／２画素精度基準ベクトル検出のためのフィールドタイプの前方予測画面内画素補間画像が、前記のフィールドタイプの後方予測１／２画素精度動きベクトル検出部３１３に供給されてデュアルプライム（dual prime）の１／２画素精度基準ベクトルが検出される。さらに、これにより検出された基準ベクトルの修正ベクトルが前記第４のアドレス発生手段３０６に入力されるとともに、検出されたデュアルプライム（dual prime）の基準予測信号が、両方向予測信号・基準ブロックデータ生成部３１６に入力される。前記第４のアドレス発生手段３０６は、デュアルプライム（dual prime）の差分動きベクトルを検出するための読み出しアドレスを生成し、前記後方予測参照画面メモリ３０４に供給される。前記の両方向予測信号・基準ブロックデータ生成部３１６は、前記デュアルプライム（dual prime）基準予測信号の画素値を１／２したデータと対応するマクロブロックデータとの差分を算出し、フレームタイプの後方予測１／２画素精度動きベクトル検出部３１４に供給する。画面内画素補間手段３１０は、デュアルプライム（dual prime）の差分動きベクトルを検出するための参照画素を生成して、フレームタイプの後方予測１／２画素精度動きベクトル検出部３１４に供給する。前記フレームタイプの後方予測１／２画素精度動きベクトル検出部３１４は、画面内画素補間手段３１０より供給される参照画素を１／２データと、前記の両方向予測信号・基準ブロックデータ生成部３１６から供給される基準ブロックデータとの差（または和）により算出する予測誤差量を評価に使用して、デュアルプライム（dual prime）の差分動きベクトルを検出する。この時、動きベクトル多重部３１８は、前記フレームタイプの後方予測１／２画素精度動きベクトル検出部３１４から入力される動きベクトル及び予測誤差を、遅延量を後方予測を使用する場合に比べて遅延量を１マクロブロック期間少なくして、時分割多重して、モード判定部３１９に出力する。この様に、後方予測用の１／２画素精度動きベクトル検出手段をデュアルプライム（dual prime）の基準動きベクトル及び差分動きベクトルの検出に利用することにより、デュアルプライム（dual prime）専用の動きベクトル検出手段を必要とせず、デュアルプラアム（dual prime）の基準動きベクトル及び差分動きベクトルの検出性能を保持しつつ装置の規模の小型化が可能となるのである。また、前記の両方向予測信号・基準ブロックデータ生成部３１６においても、両方向予測信号生成用の加算回路を基準ブロック生成用の減算回路として利用することで、回路の共用による装置の小型化が可能となる。
【００６０】
図７は、前記第２の動きベクトル検出部１０４の他の具体例としての第４実施例を示す図である。ここでは、特に零動きベクトル用参照画面メモリ３２１を具備しており、後方予測を用いない符号化画面に対して、両方向予測誤差・画面内予測誤差検出部３２２において具備している予測誤差算出回路により、両方向予測誤差の代わりに零動きベクトルに対する予測誤差を算出する。この為に、後方予測の動きベクトル検出部（３１３及び３１４）を前方予測の動きベクトル検出に利用でき、零動きベクトルに対する専用の予測誤差算出回路も不要であり、装置の小型化が可能となる。
【００６１】
図８はこの発明に係る動きベクトル検出装置の第５実施例を示すブロック図である。図８において、符号化するブロックの奇数フィールドに対してブロック２１により検出した動きベクトルを基準にして、符号化するブロックの偶数フィールドに対する動きベクトルをブロック２２により検出する。符号化するブロック奇数フィールド及び偶数フィールドのそれぞれに対して１つずつ検出した最適なフィールド動きベクトル２つを基準にして、１／２画素精度のフィールド動きベクトルを検出する。２つのフィールド動きベクトルのうち、予測誤差の小さなフィールド動きベクトルを基準にして１／２画素精度フレーム動きベクトルを検出する。
【００６２】
図９は、この発明に係る動きベクトル検出装置の第６実施例を示すブロック図である。この第６実施例は、ノンインタレース画像の場合の探索精度（マッチング精度）の向上を図るものであり、図９において、ブロック２１及び２２により、符号化するブロックの奇数フィールド及び偶数フィールドに対して、異なる領域からフィールド予測誤差を算出する。ブロック２１及び２２により算出されるフィールド予測誤差と合わせてフレーム予測誤差となるフィールド予測誤差をブロック２６及び２７により算出し、ブロック２７ではブロック２６およびブロック２７で算出されたフレーム予測誤差が小さな複数の１画素精度フレーム動きベクトルを検出する。これら複数の１画素精度フレーム動きベクトルを基準にして、１／２画素精度フレーム動きベクトルをブロック２４で検出する。なお、ブロック２３は、動きベクトル零に対する予測誤差算出し、後段の前方予測ＭＶ検出部およびモード判定部で、複数の１／２画素精度動きベクトルと動きベクトル零のうち、予測誤差最小の動きベクトルを検出する。１画素精度フレーム動きベクトルでは予測誤差が大きくても、その近傍の１／２画素精度フレーム動きベクトルでは予測誤差が非常に小さい場合が存在する。複数の１画素精度動きベクトルを基準にすることで、最適な１／２画素精度動きベクトルを検出できる可能性が高くなる。
【００６３】
図１０は、この発明に係る動きベクトル検出装置の第７実施例に示すブロック図である。この第７実施例は、インタレース画像の場合の探索精度（マッチング精度）の向上を図るものであり、図１０において、符号化するブロックの奇数フィールドに対してブロック２１により検出した動きベクトルを基準にして、符号化するブロックの偶数フィールドに対する動きベクトルをブロック２２により検出する。
【００６４】
ブロック２５により算出されるフィールド予測誤差と合わせてフレーム予測誤差となるフィールド予測誤差を算出し、各探索領域からフレーム予測誤差が最小となるフレーム動きベクトルを検出する。ブロック２４により、各領域から検出された２つのフレーム動きベクトルのうち、予測誤差の小さなフィールド動きベクトルを基準にして１／２画素精度フレーム動きベクトルを検出する。
【００６５】
１画素精度のフレーム動きベクトルを基準にして１／２画素精度フレーム動きベクトル検出をするので、基準動きベクトルを１つに制限しても、最適な１／２画素精度フレーム動きベクトルを検出できる可能性が高い。
【００６６】
図１１は、この発明の第８実施例に係る動きベクトル検出装置を示すブロック図である。この第８実施例は、ノンインタレース画像の場合の探索密度の向上を図るものである。図１１において、符号化するブロックの奇数フィールド及び偶数フィールドに対して、ブロック２１及び２６により異なる領域からフィールド動きベクトルを検出する。ブロック２１及び２６で間引かれた探索点からブロック２２及び２７によりフィールド動きベクトルを検出する。各領域から検出された４つのフィールド動きベクトルを基準にしてブロック２４により１／２画素精度動きベクトルを検出する。これにより、探索間隔が均一になり、最適なフレーム動きベクトルが検出される可能性が高くなる。
【００６７】
図１２は、この発明の第９実施例に係る動きベクトル検出装置を示すブロック図である。この第９実施例はノンインタレース画像の場合に適用され、両方向予測画面（B-picture ）の符号化モードを判定するものである。図１２において、符号化するブロックの奇数フィールド及び偶数フィールドのそれぞれに対して１つずつ検出した最適なフィールド動きベクトルを２つ基準にして、フレーム動きベクトルを検出する。２つの最適なフィールド動きベクトルは、符号化するブロックの奇数フィールドと偶数フィールドに対して検出されたものであり、かつ基準信号が異なるので、その予測誤差の比較では、１／２画素精度フレーム動きベクトル検出の基準に最適なフィールド動きベクトルの判断を保証できない。これにより、最適な１／２画素精度フレーム動きベクトルが検出される可能性が高くなる。
【００６８】
図１３は、この発明の第１０実施例に係る動きベクトル検出装置を示すものであり、この第１０実施例は請求項３の発明に対しインタレース画像の場合に「前方予測画面（P-picture ）間隔＞１」の条件下で前方予測画面の符号化モードを判定するものである。各ブロックの動作は前記第５ないし第９実施例に対応するので重複説明を省略する。
【００６９】
図１４は、この発明の第１１実施例に係る動きベクトル検出装置を示すものであり、この第１１実施例も請求項３の発明に対応しインタレース画像において前方予測画面（P-picture ）の符号化モードを判定するものである。各ブロックの動作は前記第５ないし第９実施例に対応するので重複説明を省略する。
【００７０】
図１５は、この発明の第１２実施例に係る動きベクトル検出装置を示すものであり、この第１２実施例も請求項２の発明に対応し、インタレース画像の場合に「前方予測画面（P-picture ）間隔＝１」で前方予測画面の符号化モードを判定するものである。各ブロックの動作は前記第５ないし第９実施例に対応するので重複説明を省略する。
【００７１】
図１６は、この発明の第１３実施例に係る動きベクトル検出装置を示すものであり、この第１３実施例も請求項２の発明に対応し、インタレース画像において「前方予測画面（P-picture ）間隔＝１」で前方予測画面の符号化モードを判定するものである。各ブロックの動作は前記第５ないし第９実施例に対応するので重複説明を省略する。
【００７２】
図１７は、上記各実施例により検出された動きベクトルの探索点のマッチングを示す説明図であり、図１７（ａ）はフレーム構造の予測のマッチングサイズを示し、図１７（ｂ）はフィールド構造の予測のマッチングサイズを示し、更に図１７（ｃ）は前方予測画面の場合の１画素精度の動きベクトル検出の探索精度の向上によるマッチング点を示している。図１７（ｃ）はフィールド構造の予測による２つの動きベクトルを検出してこれをフレーム構造の予測による動きベクトル検出のために利用するものである。図１７（ａ）（ｂ）（ｃ）において白丸はフィールド構造の予測の奇数フィールドのマッチング点を示し、図１７（ｃ）における黒丸はフィールド構造の予測の偶数フィールドのマッチング点を示している。
【００７３】
図１８は、前方及び後方の両方向予測の１画素精度の動きベクトル検出を説明するためのものである。図中、二重丸（◎）は探索中心点、四角（□）は２回探索点、白丸（○）はフィールド構造での予測による奇数フィールドに対する探索点は、黒丸はフィールド構造での予測による偶数フィールドに対する探索点をそれぞれ示している。
【００７４】
図１９は、前方予測の場合の１画素精度の動きベクトル検出を説明するためのものである。図中、白丸（○）はフレーム構造での予測による探索点、二重丸（◎）は探索中心点、四角（□）は２回探索点を示している。
【００７５】
図２０は、前方予測画面の場合の１画素精度の動きベクトル検出の画素を示すものであり、図中、二重丸（◎）は探索中心点、白丸（○）はフィールド構造での予測による奇数フィールドに対する探索点、黒丸はフィールド構造での予測による偶数フィールドに対する探索点を示している。
【００７６】
【発明の効果】
本発明によれば、具備する検出機能および演算機能を有効に利用することにより、小規模の装置でどの様な符号化モードに対しても常に高性能な動きベクトル検出が可能となる。
【図面の簡単な説明】
【図１】本発明に係る動きベクトル検出装置の基本概念を示すブロック図。
【図２】本発明の実施例に共通する全体構成を示すブロック図。
【図３】第１の動きベクトル検出部についての第１実施例を説明するための図。
【図４】符号化画面順序の並べ替え例を示す図。
【図５】第１の動きベクトル検出部についての第２実施例を示す図。
【図６】第２の動きベクトル検出部についての第３実施例を示す図。
【図７】第２の動きベクトル検出部についての第４実施例を示す図。
【図８】本発明の第５実施例による他動きベクトル検出装置を示すブロック図。
【図９】本発明の第６実施例による他動きベクトル検出装置を示すブロック図。
【図１０】本発明の第７実施例による他動きベクトル検出装置を示すブロック図。
【図１１】本発明の第８実施例による他動きベクトル検出装置を示すブロック図。
【図１２】本発明の第９実施例による他動きベクトル検出装置を示すブロック図。
【図１３】本発明の第１０実施例による他動きベクトル検出装置を示すブロック図。
【図１４】本発明の第１１実施例による他動きベクトル検出装置を示すブロック図。
【図１５】本発明の第１２実施例による他動きベクトル検出装置を示すブロック図。
【図１６】本発明の第１３実施例による他動きベクトル検出装置を示すブロック図。
【図１７】本発明により動きベクトルが検出された画面における画素のマッチング状態を説明する図。
【図１８】本発明による両方向予測の場合の１画素精度の動きベクトル検出を示す図。
【図１９】本発明による前方予測の場合の１画素精度の動きベクトル検出を示す図。
【図２０】本発明による前方予測画面での１画素精度の動きベクトル検出を示す図。
【図２１】従来の動きベクトル検出の画面と画素とをそれぞれ示す図。
【図２２】従来の両方向予測の場合の探索点及び探索中心点を示す図。
【図２３】従来の前方予測の場合の探索点及び探索中心点を示す図。
【符号の説明】
１０  検出精度変更手段
１１  第１の動きベクトル検出手段
１２  第２の動きベクトル検出手段
１３  動きベクトル高精度検出手段
１５  候補点変更手段
１６  （第３の）動きベクトル検出手段
１７  符号化手段
１０２  参照画像メモリ
１０３  第１の動きベクトル検出部
１０４  第２の動きベクトル検出部
１０５  局部再生画像メモリ
２０２  前方予測動きベクトル検出部
２０３  後方予測動きベクトル検出部
２０８  動きベクトル候補選定並べ替え部
２０４，３０３  前方予測参照画面メモリ
２０５，３０４  後方予測参照画面メモリ
３１１  フレームタイプの前方予測１／２画素精度動きベクトル検出部
３１４  フレームタイプの後方予測１／２画素精度動きベクトル検出部
３１２  フィールドタイプの前方予測１／２画素精度動きベクトル検出部
３１３  フィールドタイプの後方予測１／２画素精度動きベクトル検出部
３１６  両方向予測信号および基準ブロックデータの生成部
３１７，３２２  両方向予測誤差および画面内予測誤差の検出部
３２１  零動きベクトル用参照画面メモリ
【図１】
0003778522.tif 000002
【図２】
0003778522.tif 000003
【図３】
0003778522.tif 000004
【図４】
0003778522.tif 000005
【図５】
0003778522.tif 000006
【図６】
0003778522.tif 000007
【図７】
0003778522.tif 000008
【図８】
0003778522.tif 000009
【図９】
0003778522.tif 000010
【図１０】
0003778522.tif 000011
【図１１】
0003778522.tif 000012
【図１２】
0003778522.tif 000013
【図１３】
0003778522.tif 000014
【図１４】
0003778522.tif 000015
【図１５】
0003778522.tif 000016
【図１６】
0003778522.tif 000017
【図１７】
0003778522.tif 000018
【図１８】
0003778522.tif 000019
【図１９】
0003778522.tif 000020
【図２０】
0003778522.tif 000021
【図２１】
0003778522.tif 000022
【図２２】
0003778522.tif 000023
【図２３】
0003778522.tif 000024