(57)【特許請求の範囲】
【請求項１】
入力画像情報を、各フレーム或いはフィールドの画像毎に、自身の画像情報のみで符号化するフレーム或いはフィールド内符号化と、過去に符号化した画像を参照画像として時間軸上で前向きの動き予測を利用して符号化する前方予測符号化と、過去と将来のフレーム或いはフィールド内符号化した画像または前方予測符号化した画像を参照画像として時間軸上で前向き及び後向きの動き予測を利用して符号化する双方向予測符号化とのいずれかの符号化画像条件により、符号化処理を行なうための動きベクトル検出装置において、
少なくとも、広範囲でかつ画素のサブサンプルよりも粗い精度で動きベクトル探索を行なうとともに、探索した該動きベクトルの計数結果を動き情報として出力する動きベクトル粗探索手段と、
該動きベクトル粗探索手段により得られた動きベクトルの周辺近傍領域を画素単位或いは半画素単位での高精度で動きベクトル探索を行なう動きベクトル密探索手段と、
該動きベクトル密探索手段により検出した動きベクトルが示す予測画像情報と入力画像との差分を求めて予測差分画像を生成する予測画像生成手段と、
該予測差分画像と該入力画像とのいずれかを符号化する画像とするかの判定を行なう符号化画像判定手段と、
該符号化画像判定手段の判定結果に基づいて、該予測差分画像と該入力画像とのいずれかを符号化する画像として選択出力する符号化画像選択手段と、
該動きベクトル粗探索手段からの動き情報が所定値よりも小さい場合に、該動きベクトル粗探索手段の動作を停止させるように制御するシステム制御手段と
を有することを特徴とする動きベクトル検出装置。
【請求項２】
請求項１において、
前記システム制御手段は、
（１）前記動きベクトル粗探索手段が動作状態にあるとき、前記動きベクトル粗探索手段からの前記動き情報が所定値よりも小さい場合、動きがほとんどない画像であると判定して、前記動きベクトル粗探索手段での動作を停止させ、
（２）前記動きベクトル粗探索手段が停止状態にあるとき、前記符号化画像判定手段の判定情報から前記動きベクトル密探索手段によって動きベクトルの密探索がなされた画像が動きのある画像か否かを判定し、動きがある画像であると判定したとき、前記動きベクトル粗探索手段での動作を復帰させる
ことを特徴とする動きベクトル検出装置。
【請求項３】
請求項１または２に記載の動きベクトル検出装置と、
前記符号化画像選択手段によって選択された前記予測差分画像或いは前記入力画像を離散コサイン変換するＤＣＴ手段と、
該ＤＣＴ手段から出力される変換係数の量子化を行なう量子化手段と、
該量子化手段からの量子化情報を、前記動きベクトル検出装置によって得られた前記動きベクトル情報及び前記予測条件とともに可変長符号化するとともに、生成された符号情報をメモリに一旦蓄えて読み出し、該メモリの符号残量を監視して前記システム制御手段に供給する可変長符号化手段と
を具備したことを特徴とする符号化装置。
【請求項４】
請求項３において、
前記システム制御手段は、前記動きベクトル粗探索手段が停止状態にあるとき、入力画像が動きのある画像であっても、
（３）前記符号残量が予め設定された所定の判定値よりも小なる場合には、前記動きベクトル粗探索手段を停止状態のままとし、
（４）前記符号残量が該判定値以上の場合には、前記動きベクトル粗探索手段の動作を復帰させる
ことを特徴とする符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の符号化を行なう符号化装置に係り、特に、ビデオレコーダや画像送／受信装置などの動きベクトル検出装置及びこれを用いた動画像符号化装置に関する。
【０００２】
【従来の技術】
ディジタル画像圧縮技術を応用した高能率符号化処理により、画像情報をディジタルビデオディスク（ＤＶＤ）などに格納することや、ディジタル放送の映像符号化方式などに用いることを目的としたISO/IECで標準化されたＭＰＥＧ―２方式で、ＭＰ＠ＭＬ（Main Profile、Main Level）で定義されるサブセットまで対応する場合、ＰＡＬ方式では、空間解像度として水平方向及び垂直方向に最大７２０×５７６画素（ＮＴＳＣ方式の場合、７２０×４８０画素）であり、ビットレートは最大１５Ｍｂｉｔ／秒、フレームレートは最大２５フレーム／秒（ＮＴＳＣ方式の場合、２９．９７フレーム／秒）である。
【０００３】
かかる規格に基づく動画像の符号化を行なう符号化装置が提案されており、例えば、「１９９７年電子情報通信学会総合大会C-12-33〜37」では、１チップＬＳＩと外部メモリとの構成により、実時間で符号化・復号を実現する場合について示されている。リアルタイム符号化装置の１チップ化により、携帯型のビデオカメラ装置、或いは画像伝送装置の小型・軽量化の実現が容易に可能となる。しかしながら、携帯型であるため、蓄電池による電源供給になることから、長時間使用を達成するためには、符号化装置の省電力化が必須であることは言うまでもない。
【０００４】
図５に特願平９−２３６１１８号に示されている従来の動画像符号化装置を示すブロック図であって、１は画像情報の入力端子、２は動き検出回路、３は予測画像生成回路、４は符号化画像判定回路、５は符号化画像選択回路、６はＤＣＴ(Discrete Cosine Transform)回路、７は量子化回路、８は逆量子化回路、９はＩＤＣＴ(Inverse Discrete Cosine Transform)回路、１０は復号画像生成回路、１１は可変長符号化回路、１２は符号化情報出力端子、１３，１４は記憶媒体、１５は記憶媒体制御回路である。
【０００５】
同図において、入力端子１からは画像情報１ａが入力される。この画像情報１ａはフレームまたはフィールド単位で順次入力され、かかるフレームまたはフィールドの入力順は符号化順となっている。以下では、画像をフレーム単位で符号化されるものとして説明する。従って、以下での「画像」とは１フレームの画像（ピクチャ）である。
【０００６】
ここで、ＭＰＥＧ規格では、連続する複数個のフレームによってＧＯＰ（Group of Pictures）を構成するものであり、また、ＧＯＰを構成する画像は、符号化の種類に応じて、次のタイプに分けられる。即ち、通常、自身の画像情報のみで符号化されるフレーム（或いはフィールド）内符号化画像（以下、Ｉ画像という）と、過去のＩ画像またはＰ画像を参照画像とし、時間軸上で前向きの動き予測を利用して符号化される予測符号化画像（即ち、Ｐ画像）と、過去と未来のＩ画像またはＰ画像を参照画像とし、時間軸上で前向き及び後向きの動き予測を利用して符号化される双方向予測符号化画像（以下、Ｂ画像という）との３タイプで分類される。
【０００７】
ＧＯＰの構成としては、連続するＢ画像のフレーム数で定まるＭ値によって種類分けを行なうものであり、例えば、Ｍ＝３の場合には、ＧＯＰの先頭から、フレーム順に、Ｂ画像，Ｂ画像，Ｉ画像，Ｂ画像，Ｂ画像，Ｐ画像……とＢ画像が連続して２フレーム続くものである。また、入力動画像情報は、８×８画素によって構成されるブロックと、動きベクトル検出の対象となる１６×１６画素によって構成されるマクロブロックとを符号化の対象して定め、予測符号化を行なうものである。
【０００８】
図５において、記憶媒体１３は、記録媒体制御回路１５の制御のもとに、Ｐ，Ｂ画像を符号化するに際して必要な参照画像情報としてのＩ画像及びＰ画像に相当する入力画像情報を保持し、Ｐ画像或いはＢ画像の符号化時に、動き検出回路２の前段での動き探索の参照画像として再生出力する。同様に、記憶媒体１４では、最も最近の過去に符号化し、かつ局部復号化処理によって再生されたＩ画像或いはＰ画像に対する局部復号画像情報１０ａを、記録媒体制御回路１５の制御のもとに、記憶保持し、かつＰ画像或いはＢ画像の符号化時に、動き検出回路２の後段での動き探索の参照画像として再生出力する。
【０００９】
動き検出回路２においては、Ｐ画像及びＢ画像の予測符号化時、各マクロブロック毎に、記憶媒体１３，１４からＩ画像或いはＰ画像の入力画像情報及び復号化画像情報を参照画像として読み出し、多段階で探索範囲及び探索精度を変えて動きベクトルを検出し、動きベクトル及び予測モード２ｂとともに入力画像情報１ａを画像情報２ａとして出力する。この場合、各段階における動き探索毎に、記憶媒体１３，１４での探索領域分の画像情報をアクセスするものである。ここで、記録媒体制御回路１５により、動き検出回路２で検出された動きベクトル情報２ｃに従って記憶媒体１４をアクセスして予測画像情報１４ａを読み出す。
【００１０】
予測画像生成回路３では、マクロブロック単位で入力画像情報２ｂと予測画像情報１４ａとの差分画像を求めて予測差分画像情報３ｂ，３ｃを生成し、入力画像情報３ａとともに出力する。
【００１１】
符号化画像判定回路４及び符号化画像選択回路５により、符号化画像判定回路４は、マクロブロック単位で予測差分画像情報３ｂ（イントラマクロブロック）と入力画像画像情報３ａ（ノンイントラマクロブロック）とを比較し、その比較結果に基づいて、符号化画像選択回路５がこれらのうちの符号化した場合に符号量が小さくなる方の画像を符号化画像として選択し、被符号化画像情報５ａを出力する。
【００１２】
この被符号化画像情報５ａは、ＤＣＴ回路６により、ブロック単位で離散コサイン変換され、その変換係数が量子化回路７で量子化されて量子化情報７ａが得られる。この量子化情報７ａは、可変長符号化回路１１により、動きベクトル情報及び予測モード情報とともにビット系列に符号化され、符号化情報として出力端子１２から出力される。
【００１３】
一方、量子化回路７からの量子化情報７ａは逆量子化回路８及びＩＤＣＴ回路９で処理されて、予測差分画像情報９ａが再生され、復号画像生成回路１０に供給される。復号画像生成回路１０では、マクロブロック単位でのＩ画像或いはＰ画像の局部復号処理が行なわれ、このマクロブロックがイントラマクロブロックである場合には、予測差分画像情報９ａが局部復号化画像情報１０ａとして出力され、ノンイントラマクロブロックの場合には、予測画像生成回路３で生成された予測画像情報３ｃにこの予測差分画像情報９ａが加算され、これを局部復号化画像情報１０ａとして出力する。かかる局部復号化画像情報１０ａは、記憶媒体１４に記憶保持される。
【００１４】
ここで、多段階探索であるため、記憶媒体１３，１４へのアクセスを各段階毎に行なう必要があるものの、サブサンプルに応じた間引き読出しや、半画素精度での動き探索を行なう場合において、探索範囲内の画素情報を全て読み出す必要があるし、また、予測画像の生成には、全画素の情報が必要であることから、最終段の動き探索のためのアクセスと予測画像作成のためのアクセスを同時に行なうことにより、アクセス頻度を削減し、メモリアクセスの効率を向上するものとしている。
【００１５】
また、この動画像符号化装置を実現する場合、複数のチップセット及びチップ個別に用途別にメモリを用いるのではなく、１個のＬＳＩと用途別のメモリを１つに統合（例えば、フレームメモリ）することにより、電力消費を抑えた動画像符号化装置とするものである。
【００１６】
さらに、参照画像として用いることのないＢ画像の符号化時においては、局部復号化画像情報１０ａの生成が不要なことから、逆量子化回路８，ＩＤＣＴ回路９及び復号画像生成回路１０の処理動作を完全に停止させることにより、無駄な消費電力を削減するものであり、さらには、リアルタイムで符号化する場合であっても、各々の回路が常時動作するものではないことから、アイドル状態にある回路へのクロック供給を停止させることにより、消費電力を削減する構成としている。
【００１７】
【発明が解決しようとする課題】
しかしながら、上記した１チップのＬＳＩと１つに統合した外部メモリ（フレームメモリ）などで構成する動画像符号化処理装置は、メモリアクセスの効率化によってアクセス回数を低減することや、リアルタイムでの符号化処理であっても、符号化処理のために用いる回路ブロックの全てを常時動作させるのではなく、符号化する画像の種類に従って符号化処理対象にない回路ブロックの動作を適時停止させ、各回路ブロックを効率的に動作させることにより、消費電力を削減する場合であっても、リアルタイムでの符号化処理で各回路ブロックが同時に動作する場合には、省電力化は期待できない構成となっている。
【００１８】
本発明は、このような点に鑑みてなされたものであって、その目的は、リアルタイムで動画像の符号化処理を行なう場合であっても、さらなる省電力化を実現し、連続動作時間の延長を可能とした動きベクトル検出装置並びにこれを用いた動画像符号化装置を提供することにある。
【００１９】
【課題を解決するための手段】
上記した目的を達成するために、本発明による動きベクトル検出装置は、少なくとも、広範囲でかつ画素のサブサンプルよりも粗い精度で動きベクトル探索を行なうとともに、探索した該動きベクトルの計数結果を動き情報として出力する動きベクトル粗探索手段と、該動きベクトル粗探索手段により得られた動きベクトルの周辺近傍領域を画素単位或いは半画素単位での高精度で動きベクトル探索を行なう動きベクトル密探索手段と、該動きベクトル密探索手段により検出した動きベクトルが示す予測画像情報と入力画像との差分を求めて予測差分画像を生成する予測画像生成手段と、該予測差分画像と該入力画像とのいずれかを符号化する画像とするかの判定を行なう符号化画像判定手段と、該符号化画像判定手段の判定結果に基づいて、該予測差分画像と該入力画像とのいずれかを符号化する画像として選択出力する符号化画像選択手段と、該動きベクトル粗探索手段からの動き情報が所定値よりも小さい場合に、該動きベクトル粗探索手段の動作を停止させるように制御するシステム制御手段とを有する構成とする。
【００２０】
また、本発明による動きベクトル検出装置は、前記システム制御手段が、（１）前記動きベクトル粗探索手段が動作状態にあるとき、前記動きベクトル粗探索手段からの動き情報が所定値よりも小さい場合、動きがほとんどない画像であると判定して、前記動きベクトル粗探索手段での動作を停止させ、（２）前記動きベクトル粗探索手段が停止状態にあるとき、前記動きベクトル密探索手段からの動き情報が所定値よりも大きい場合、動きのある画像か否かを判定し、動きがある画像であると判定して、前記動きベクトル粗探索手段での動作を復帰させる構成とする。
【００２１】
本発明による動画像符号化装置は、上記の動きベクトル検出装置と、上記の符号化画像選択手段によって選択された予測差分画像或いは入力画像を離散コサイン変換するＤＣＴ手段と、該ＤＣＴ手段から出力される変換係数の量子化を行なう量子化手段と、該量子化手段からの量子化情報を、上記の動きベクトル検出装置によって得られた動きベクトル情報及び予測条件とともに可変長符号化するとともに、生成された符号情報をメモリに一旦蓄えて読み出し、該メモリでの符号残量を監視して前記システム制御手段に供給する可変長符号化手段とを具備した構成とする。
【００２２】
また、本発明による動画像符号化装置は、上記のシステム制御手段が、上記の動きベクトル粗探索手段が停止状態にあるとき、入力画像が動きのある画像であっても、前記符号残量が予め設定された所定の判定値よりも小なる場合には、上記の動きベクトル粗探索手段を停止状態のままとし、前記符号残量が該判定値以上の場合には、上記の動きベクトル粗探索手段の動作を復帰させる構成とする。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を図面を用いて説明する。
図１は本発明による動画像符号化装置の一実施形態を示すブロック図であって、１６は動きベクトル粗探索回路、１７は動きベクトル密探索回路、１８はシステム制御回路であり、図５に対応する部分には同一符号をつけて重複する説明を省略する。
【００２４】
この実施形態は、ＭＰＥＧ２規格に基づく動画像符号化装置であって、上記と同様、ＭＰ＠ＭＬ（Main Profile、Main Level）で定義されるサブセットまで対応するものとしてＰＡＬ方式とし、空間解像度として水平，垂直方向に最大７２０×５７６画素（ＮＴＳＣ方式の場合には、７２０×４８０画素）、画像形式としてCCIR 601規格（４：２：２フォーマット）の色差信号を垂直方向に２：１にサブサンプルした画像（４：２：０フォーマット）を扱うものとする。従って、輝度信号が最大７２０×５７６画素（ＮＴＳＣ方式の場合には、７２０×４８０画素）、色差信号が夫々最大３６０×２８８画素（ＮＴＳＣ方式も同様）に対して符号化を行なうものであり、ビットレートは最大１５Ｍｂｉｔ／秒である。
【００２５】
入力動画像情報１ａとしては、飛越し走査方式であるインターレース画像や順次走査方式であるプログレシブ画像を対象とし、符号化の対象としての８×８画素によるブロックと動きベクトル検出の対象としての１６×１６画素によるマクロブロックとを定めている。また、予測方法として、インターレース画像を扱う場合には、フィールド間予測或いはフレーム間予測で適応的に切り替えることにより、予測効率を改善するものである。例えば、動きのある画像はフィールド間予測により、また、静止画部分についてはフレーム間予測を行なうことにより、予測誤差を最小にするものである。
【００２６】
また、半画素精度での動き探索により、動き予測を行なうことが規定されている。
【００２７】
さらに、予測誤差信号を符号化する際に、予測誤差信号をＤＣＴ変換し、変換係数を符号化するのであるが、マクロブロック単位で、フレームに対してＤＣＴを行なう場合（フレームＤＣＴ）か、フィールドに分けてＤＣＴ行なう場合（フィールドＤＣＴ）かのいずれかの符号化情報量が小さくなる方を適応的に選択するものである。この決定には、実際に夫々の符号化情報量を求めた上で比較してもよいが、一般には、差分信号の高周波成分のパワーを比較して決定することにより、演算量の増大を抑えている。
【００２８】
画像を再生する際に、ランダム・アクセスして画像を復号できるようにするための符号化画像の構造として、連続する複数個のフレームでもってＧＯＰを構成する。この場合も、ＧＯＰを構成する画像の符号化の種類によるタイプとして、Ｉ画像，Ｐ画像，Ｂ画像の３タイプで分類されるものである。また、ＧＯＰ内の画像シーケンスはＭ値で表わされ、例えば、Ｍ＝３の場合には、画像の入力順（Ｆ０，Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，……）と画像の符号化のタイプ（Ｉ画像，Ｐ画像，Ｂ画像）との関係は、画像の入力順にＦ０（Ｂ画像），Ｆ１（Ｂ画像），Ｆ２（Ｉ画像），Ｆ３（Ｂ画像），Ｆ４（Ｂ画像），Ｆ５（Ｐ画像），……であり、Ｂ画像は前後するＩ，Ｐ画像間或いはＰ画像間に連続して２フレーム続く。また、Ｍ＝２の場合には、前後するＩ，Ｐ画像間或いはＰ画像間にＢ画像が１フレームのみ存在し、Ｍ＝１の場合には、Ｉ画像とＰ画像のみから構成される。一方、Ｍ＞３の場合には、前後するＩ，Ｐ画像間或いはＰ画像間にＢ画像が（Ｍ−１）フレーム連続する。
【００２９】
ここで、この実施形態における画像の符号化条件としては、Ｍ値で表わされる画像シーケンスとしてＭ＝３の場合について説明する。また、各フレームに対する符号化処理を１フレーム以内に収めることにより、リアルタイム処理を実現するものとし、さらに、ＧＯＰの先頭のＢ画像（Ｆ０，Ｆ１）については、前のＧＯＰのこれらＢ画像に最も近い過去のＩ画像或いはＰ画像を参照画像とする前方予測及び後方予測による予測を行なうか、あるいは、後方予測のみによる予測を行なうものであるが、この実施形態では、説明を簡単にするために、後方予測のみによる予測を行なうものとする。
【００３０】
以下、この実施形態の動作について説明する。
【００３１】
図１において、符号化の対象となる４：２：２或いは４：２：０フォーマットで表わされる動画像情報１ａが、その画像が符号化順になるようにして、入力端子１から入力される。ここで、この実施形態では、Ｍ値の最大を３に限定しており、例えば、Ｍ＝３の場合、表示フレーム順と画像シーケンスの関係は、上記のように、Ｆ０（Ｂ画像），Ｆ１（Ｂ画像），Ｆ２（Ｉ画像），Ｆ３（Ｂ画像），Ｆ４（Ｂ画像），Ｆ５（Ｐ画像），……とする。また、入力画像情報１ａのフレーム順は、先頭の２フレームＦ０，Ｆ１の符号化タイプはＢ画像であることから、これらＢ画像に先立ってＩ画像であるフレームＦ２を符号化する必要があり、符号化順としてはＦ２（Ｉ画像），Ｆ０（Ｂ画像），Ｆ１（Ｂ画像），Ｆ５（Ｐ画像），Ｆ３（Ｂ画像），Ｆ４（Ｂ画像），……となる。
【００３２】
また、入力動画像情報１ａは、符号化順に対応するフレーム或いはフィールド単位で、かつマクロブロック単位で入力される。記憶媒体１３は、記録媒体制御回路１５の制御により、マクロブロック単位で入力される画像情報１ａのＩ画像或いはＰ画像に相当する画像情報を走査変換して記憶保持するものであり、Ｐ画像またはＢ画像の符号化時、符号化を行なうマクロブロックに対し、過去及び未来のＩ画像或いはＰ画像を参照画として、動き探索を行なう範囲の画像情報１３ａを出力する。
【００３３】
ここで、Ｂ画像の符号化時には、時間軸上で前向き及び後向きの動き予測を行なうことから、過去及び未来のＩ画像或いはＰ画像の２フレームが必要であり、このため、記憶媒体１３は、少なくとも、２フレームの容量を持つものである。また、動きベクトル粗探索回路１６での動き探索を行なう場合では、記憶媒体１３に記憶保持されている入力画像を参照画像として用いるのであるが、動き探索の精度を粗くするのであれば、記憶媒体１３の容量は、少なくとも探索精度を粗くした分、削減が可能になる。例えば、探索精度として、水平方向を２画素精度と粗くするのであれば、記憶媒体１３で必要とする容量を半減できる。また、動き探索時には、輝度信号のみを対象とするのであれば、色信号を記憶保持する分の容量を削減できる。
【００３４】
図２は本発明の動きベクトル検出装置の一実施形態の要部、即ち、図１における動きベクトル粗探索回路１６とその周辺部分を示すブロック図であって、１９は入力画像保持回路、２０は参照画像保持回路、２１は参照画像選択回路、２２は差分絶対値算出回路、２３は加算回路、２４はデータ保持回路、２５は判定回路、２６は位置情報保持回路、２７は動きベクトル決定回路、２８は計数回路、２９はデータ並替回路、３０はタイミング制御回路であり、図１に対応する部分には同一符号をつけている。
【００３５】
同図において、タイミング制御回路３０は、予測画像生成回路３（図１）から出力される入力画像３ａに基づいて、入力画像保持回路１９や参照画像保持回路２０，位置情報保持回路２６，動きベクトル決定回路２７，データ並替回路２９などの動作タイミングを制御する。
【００３６】
かかる制御のもとに、入力端子１からの入力画像１ａ（ここでは、動きベクトルの探索を行なうＰ画像或いはＢ画像とする）は一旦入力画像保持回路１９に保持され、これとともに、記憶媒体制御回路１５の制御のもとに、記憶媒体１３からこの入力画像１ａに対する参照画像１３ａが読み出され、データ並替回路２９で処理されて参照画像保持回路２０に保持される。
【００３７】
しかる後、入力画像保持回路１９から入力画像１ａの１マクロブロックの画像情報（以下、入力ＭＢ情報という）１９ａが読み出されて差分絶対値算出回路２２に供給されるとともに、参照画像選択回路２１により、参照画像保持回路２０から参照画像の１マクロブロックの画像情報（以下、参照ＭＢ情報という）２０ａが読み出され、差分絶対値算出回路２２に供給されて入力ＭＢ情報との画素毎の差分の絶対値（以下、差分絶対値という）２２ａが算出される。これら差分絶対値２２ａは順次加算回路２３に供給されて累積加算され、入力ＭＢ情報１９ａに対する全画素の差分絶対値２２ａの総和（以下、差分絶対値総和という）２３ａが算出される。この入力ＭＢ情報１９ａに対する最初の差分絶対値総和２３ａは、データ保持回路２４に保持される。
【００３８】
かかる処理が終わると、次ぎに、参照画像選択回路２１は、参照画像保持回路２０での位置をずらした次の参照ＭＢ情報２０ａを読み出し、差分絶対値算出回路２２に供給して同じ入力ＭＢ情報１９ａと演算して同様の差分絶対値２２ａを算出し、全画素に対する差分絶対値２２ａを加算回路２３で加算して差分絶対値総和２３ａを求める。そして、この差分絶対値総和２３ａとデータ保持回路２４に保持されている差分絶対値総和２４ａとを判定回路２５で比較して値が小さい方を選択し、その選択した差分絶対値総和２５ａをデータ保持回路２４に保持させるとともに、位置情報２６ａとして位置情報保持回路２６に保持させる。ここで、この位置情報２６ａは、入力ＭＢ情報１９ａのＭＢ（マクロブロック）の位置と、この位置に対するデータ保持回路２４に保持されている差分絶対値総和２４ａの参照ＭＢ情報２０ａのＭＢの位置のベクトルとを表わすものであり、入力ＭＢ情報１９ａに対する当面の動きベクトルとなる。
【００３９】
以下、同様に、参照画像選択回路２１は参照画像保持回路２０から順次位置がずれた参照ＭＢ情報２０ａを読み出して、同じ入力ＭＢ情報１９ａに対して同様の処理を行なう。これにより、参照画像選択回路２１から全ての参照ＭＢ情報２０ａが読みだされて処理されると、差分絶対値総和２３ａが最小の位置情報２６ａが位置情報２６に得られることになる。そこで、動きベクトル決定回路２７は、このときの位置情報２６ａをこのときの入力ＭＢ情報１９ａに対する動きベクトル１６ａと決定し、動きベクトル密探索回路１７や記憶媒体制御回路１５（図１）に送る。
【００４０】
１つの入力ＭＢ情報１９ａの上記の動きベクトルの上記探索動作が終わると、入力画像保持回路１９から位置がずれた他の入力ＭＢ情報１９ａが読み出され、これについて同様の動きベクトルの探索が行なわれる。そして、入力画像保持回路１９に保持されている入力画像１ａの全てのＭＢについて同様の動きベクトルの探索が終了すると、タイミング制御回路３０からの指示により、次の入力画像１ａが入力され、画像保持回路１９に保持されて同様の動きベクトルの探索が行なわれる。
【００４１】
なお、動きベクトル決定回路２７が動きベクトル１６ａを決定する毎に、計数回路２８はこれを計数し、入力ＭＢ情報１９ａに対するこの動きベクトル１６ａの計数値を、動き情報１６ｂとして、システム制御回路１８に送る。この動き情報１６ｂについては後述する。
【００４２】
次に、図３に示す順序の画像での各画像タイプ（Ｉ画像，Ｐ画像，Ｂ画像）別の各部の動作を説明する。但し、図３（Ａ）は画像の表示順を、図３（Ｂ）は同じく符号化順を、図３（Ｃ）は記憶媒体１３でのを示す。
まず、Ｉ画像について説明するが、ここでは、図３でのフレームＦ２を例として説明する。
【００４３】
Ｉ画像では、マクロブロック単位で画像内符号化（イントラマクロブロック）を行なうことから、動きベクトル粗探索回路１６，動きベクトル密探索回路１７及び予測画像生成回路３は、画像転送に必要な処理以外に何ら処理されることはなく、従って、入力画像情報１ａをそのまま画像情報３ａとして出力する。符号化画像判定回路４は、符号化対象がイントラマクロブロックであることから、この画像情報３ａを符号化画像として指示する選択信号４ａを出力する。また、符号化画像判定回路４は、入力画像がインタレース画像の場合には、ブロック構成としてフレーム単位或いはフィールド単位のいずれの構成でＤＣＴを行なうかを、マクロブロック単位で、差分信号の高周波成分のパワーを比較することによって決定し、ブロック構成選択信号４ｂを出力する。そこで、符号化画像選択回路５は、符号化画像判定回路４からのこれら選択信号４ａに基づいて画像情報３ａを選択し、かつブロック構成選択信号４ｂの指示に基づいてフレーム単位，フィールド単位のいずれかによってブロックを構成し、被符号化画像情報５ａとして出力する。
【００４４】
この被符号化画像情報５ａは、ＤＣＴ回路６により、ブロック単位で離散コサイン変換され、その変換系数が量子化回路７で量子化されて量子化情報７ａが生成される。そして、この量子化情報７ａは、可変長符号化回路１１により、符号化時の予測条件や動きベクトル情報，ＤＣＴのブロック構成条件などの符号化条件とともに可変長符号化処理され、ビット系列で表わされる符号化情報１１ａが生成される。この符号化情報１１ａは、Ｆ２フレームに対する符号化情報として、出力端子１２から出力する。
【００４５】
一方、量子化回路７から出力される量子化情報７ａは、符号化条件に基づいて、逆量子化回路８とＩＤＣＴ回路９とにより、上記のＤＣＴ回路６と量子化回路７とによる一連の処理とは逆の処理が行なわれ、これにより、予測差分画像情報９ａが得られる。ここでは、Ｉ画像であるフレーム２に対する復号処理であるから、復号画像生成回路１０では、この予測差分画像情報９ａをこのＩ画像に対する局部復号化画像情報１０ａとして出力し、記録媒体制御回路１５の指示１５ａに従って記憶媒体１４に記憶保持させる。
【００４６】
次に、Ｐ画像について説明するが、ここでは、図３でのフレームＦ５を例として説明する。Ｐ画像の場合には、最も近い過去のＩ画像であるＦ２フレームがこのＰ画像の動き探索を行なう際の参照画として用いられる。
【００４７】
まず、フレームＦ５の入力画像情報１ａをマクロブロック単位で動きベクトル粗探索回路１６に供給する。また、このＰ画像の入力画像情報１ａは、Ｉ画像の場合と同様に、記憶媒体１３でのＩ画像であるＦ２フレームが記憶保持しているエリアとば別のエリアに走査変換して記憶保持する。
【００４８】
動きベクトル粗探索回路１６と動きベクトル密探索回路１７とは、供給される各マクロブロックに対し、フレーム及びフィールド単位で動き探索による動きベクトル検出を行なう。ここで、フレーム内全域で動き探索を行なうのであれば、全く問題ないのであるが、リアルタイムで動き探索を行なうことから、探索範囲として、マクロブロックの周辺領域に限定するか、或いは周囲のマクロブロックに対する動き探索結果である動きベクトルを予測ベクトルとし、予測ベクトルが示す領域の周辺領域かに限定することにより、探索に要する時間を短縮する。
【００４９】
さらに、動きベクトル粗探索回路１６では、複数画素精度、例えば、２画素精度で粗探索を行なって動きベクトル１６ａを決定する。
【００５０】
動きベクトル密探索回路１７は、この動きベクトル１６ａが示す周辺領域に探索範囲を狭め、整数画素の精度や半画素の精度での動き探索によって動きベクトル１７ａを決定し、これと同時に、動き探索結果である予測精度に従って、フィールド予測か、フレーム予測かを決定して予測条件１７ｂとする。この実施形態では、説明を簡単にするために、動きベクトル密探索回路１７で半画素精度で動き探索を行なうものとするが、勿論、これに限ることはない。
【００５１】
各マクロブロックに対し、動きベクトル粗探索回路１６の処理として、Ｉ画像のフレームＦ２で探索精度及び探索範囲に一致する画像情報を記憶媒体１３から読み出す。この場合、参照画素を間引いて粗く探索するものの、処理時間に収まる範囲内でより広範囲に探索を行なうことにより、動きベクトル１６ａを出力する。
【００５２】
動きベクトル密探索回路１７では、半画素精度で動き探索を行なうことから、半画素精度の参照画像が必要となる。このため、動きベクトル粗探索回路１６で検出された動きベクトル１６ａを記憶媒体制御回路１５に送り、動きベクトル密探索回路１７は、この動きベクトル１６ａに応じて記録媒体制御回路１５からの指示１５ａにより、記憶媒体１４での動きベクトル１６ａが示す位置（このフレームＦ２の局部復号画像が記憶保持されている位置）のマクロブロックサイズより半画素分大きい１８×１８画素のエリアの画像情報を参照画像１４ａとして取り込み、この整数画素精度である参照画像１４ａを画素間補間処理して半画素精度の参照画像を生成する。そして、動きベクトル密探索回路１７では、この得られた半画素精度の参照画像に対してＭＰＥＧ２規格の探索精度である半画素精度での動き探索が行なわれ、動きベクトル１７ａ及び予測条件１７ｂを特定する。この場合、参照画像のサイズをさらに広げることにより、初段での動きベクトル探索精度を補うようにしてもよい。
【００５３】
予測画像生成回路３では、各マクロブロック単位で入力画像情報１ａと動きベクトル１７ａが示す予測画像情報との差分を求め、予測差分画像３ｂ，３ｃを生成して出力するとともに、入力画像情報１ａを画像情報３ａとして出力する。さらに、図示しないが、得られた半画素精度の動きベクトル１７ａと予測条件１７ｂとを可変長符号化回路１１に供給する。
【００５４】
符号化画像判定回路４では、予測差分画像情報３ｂと画像情報３ａとが比較され、これら画像情報を符号化した場合の符号量が小さい方の画像を符号化画像として決定し、その決定結果を示す選択信号４ａを出力する。ここで、この選択信号４ａは、符号量が小さい方の画像が画像情報３ａである場合には、イントラマクロブロックとし、予測差分画像情報３ｂである場合には、予測符号化画像（ノンイントラマクロブロック）とし、また、動き予測により、予測画像と入力画像が完全に一致した場合には、符号化が不要な画像（スキップマクロブロック）とする。さらに、入力画像がインタレース画像の場合、フレーム単位或いはフィールド単位のいずれの条件でＤＣＴを行なうかをマクロブロック単位で夫々の符号化量を比較して最小となる条件を定めてブロック構成の決定を行ない、それを指示するブロック構成選択信号４ｂを出力する。
【００５５】
そこで、符号化画像選択回路５では、これら選択信号４ａに基づいて画像情報３ａ，予測差分画像情報３ｂのいずれか一方を選択し、また、ブロック構成選択信号４ａの指示に基づいて選択した画像情報でのブロックを構成し、被符号化画像情報５ａとして出力する。
【００５６】
この被符号化画像情報５ａは、上記のＩ画像の場合と同様に、ＤＣＴ回路６と量子化回路７とによって量子化情報７ａに変換され、可変長符号化回路１１において、符号化時の予測条件や動きベクトル情報，ＤＣＴのブロック構成条件などの符号化条件とともに、可変長符号化処理されて、ビット系列で表わされる符号化情報１１ａが生成される。この符号化情報１１ａは、フレームＦ５のＰ画像に対する符号化情報として出力端子１２から出力される。
【００５７】
一方、量子化回路７から出力される量子化情報７ａは、上記のＩ画像の場合の処理と同様に、符号化条件に基づいて、逆量子化回路８及びＩＤＣＴ回路９により、逆量子化処理及び逆ＤＣＴ処理が施こされて予測差分画像情報９ａが再生される。そして、復号画像生成回路１０では、上記の符号化条件に基づいて、ノンイントラマクロブロックの場合、予測差分画像情報９ａと予測画像生成回路３からの対応するブロックの予測画像情報３ｃとが加算されることにより、局部復号化画像情報１０ａが生成され、また、イントラマクロブロックの場合には、予測差分画像情報９ａがそのまま局部復号化画像情報１０ａとなり、さらに、スキップマクロブロックの場合には、予測画像情報３ｃがそのまま局部復号化画像情報１０ａとなり、フレームＦ５に対する局部復号画像として、記録媒体制御回路１５の指示１５ａに従う記憶媒体１４に記憶保持させる。
【００５８】
次に、Ｂ画像について説明するが、ここでは、図３でのフレームＦ０及びＦ３を例として説明する。このＢ画像の符号化では、、過去と将来のＩ画像またはＰ画像を参照画像として、時間軸上で前向き及び後向きの双方向の動き予測を利用ものである。また、Ｆ０フレームの場合、上記のように、これはＧＯＰの先頭のＢ画像であることから、その予測方向は、後方予測のみである。従って、未来のＩ画像であるフレームＦ２が動き探索を行なう際の参照画として用いられる。この場合の予測符号化の基本動作としては、フレームＦ５のＰ画像に対する場合と同様の処理を行なうものである。
【００５９】
そこで、Ｆ０フレームの場合、Ｆ０フレームの画像情報１ａを順次動きベクトル粗探索回路１６に入力する。この場合、この動きベクトル粗探索回路１６では、予測方向が後方予測のみであるから、参照画像としてフレームＦ２の入力画像である記憶媒体１３で記憶保持している画像情報を、また、動きベクトル密探索回路１７では、フレームＦ２の局部復号画像である記憶媒体１４で記憶保持しているフレームＦ２の画像情報を夫々用い、これらの動き探索により、半画素精度の動きベクトル１７ａとフレーム予測かフィールド予測かのいずれかの予測条件１７ｂを特定する。
【００６０】
ここで、前方予測に対する処理が不要となることから、参照画像を取り込むためのメモリアクセス処理や動き探索処理などの前方予測に対する処理を停止させるようにしてもよい。また、ＧＯＰの先頭のＢ画像で予測方向を後方予測のみに限定した場合には、Ｐ画像に対する予測処理と同一化させることにより、Ｂ画像であっても、広範囲な動き探索を行なうようにしてもよい。
【００６１】
一方、フレームＦ３のＢ画像の場合は、前方予測と後方予測とを夫々行なうものであり、前方予測の場合には、フレームＦ２を、後方予測の場合には、フレームＦ５を夫々参照画として用いる。動きベクトル粗探索回路１６では、参照画像であるフレームＦ２の入力画像で探索範囲に一致する画像情報を記憶媒体１３から読み出し、この参照画像を用いた動き探索によって動きベクトル１６ａを定める。
【００６２】
また、動きベクトル密探索回路１７では、この動きベクトル１６ａに基づいて、フレームＦ２の局部復号画像である記憶媒体１４に記憶保持しているフレームＦ２の画像情報を参照画１４ａとして読み出し、これを画素間の補間処理して半画素精度の参照画像を生成し、この半画素精度の参照画像で動き探索を行なって前方予測に対する半画素精度の動きベクトル１７ａと予測条件１７ｂとを特定する。後方予測の場合も、同様に、フレームＦ５を参照画像として、上記の前方予測の場合と同様な処理により、半画素精度の動きベクトル１７ａと予測条件１７ｂとを特定する。
【００６３】
ここで、動きベクトル粗探索回路１６の動き探索範囲をＰ画像の場合よりも狭くすることにより、後方予測及び前方予測を同一フレーム内で完結するものである。
【００６４】
予測画像生成回路３では、フレームＦ０の場合、予測画像として後方予測画像のみを用い、マクロブロック単位で入力画像情報１ａと予測画像情報との差分を求め、得られた予測差分画像情報３ｂ，３ｃと入力画像情報３ａとを出力する。また、フレームＦ３の場合には、マクロブロック単位で入力画像情報１ａと予測画像情報との差分を求める。ここで、前方予測時と後方予測時との２種類の予測画像情報と、前方予測時と後方予測時との夫々の予測画像から内挿補間によって求められた双方向予測画像情報との３種の予測画像情報毎に、入力画像情報１ａとの差分を算出し、マクロブロック内で各画素に対する差分値でその絶対値の累計（以下、絶対値差分和という）を求める。そして、これら３種の予測画像情報のうちで絶対値差分和が最も小さくなるものを予測方向並びに予測差分画像と決定し、その予測差分画像情報３ｂ，３ｃと入力画像情報３ａとを出力する。
【００６５】
符号化画像判定回路４，符号化画像選択回路５，ＤＣＴ回路６，量子化回路７及び可変長符号化回路１１によるＢ画像の符号化処理は、上記のＰ画像の場合と同様であり、フレームＦ０或いはフレームＦ３に対する符号化情報Ｆ０或いはＦ３が生成されて出力端子１２から出力される。
【００６６】
以上、画像タイプ別（Ｉ画像，Ｐ画像，Ｂ画像）の処理手順について説明したが、次に、この実施形態の符号化処理について説明する。但し、説明を簡単にするために、入力画像はフレーム構造であるものとする。
【００６７】
動きベクトル粗探索回路１６は、画像のマクロブロック毎に動きベクトルの粗探索を行なうとともに、発生した動きベクトルを計数し、この画像での計数結果を動き情報１６ｂとして出力する。ここで、入力画像１ａが参照画像と全体にわたってほとんど一致する画像（以下、これを静止画タイプＳの画像という）である場合には、フレーム間で動きがないから、動きベクトルはマクロブロック毎に存在しないことになる。また、動きが激しい画像（これを、以下、動画像タイプＭの画像という）の場合には、動きベクトルが得られるマクロブロックも存在することになる。また、一部に動きがあるが、ほとんどの部分で動きのない画像を、以下、準静止画タイプＴの画像ということにするが、かかる準静止画タイプＴの画像の場合には、この動きの部分で動きベクトルが得られないマクロブロックも存在する。この結果、静止画タイプＳでは、動き情報１６ｂの値が小さく、動き部分が増加する画像ほど動き情報１６ｂの値が大きくなっていく。従って、動き情報１６ｂを所定値と比較することにより、入力画像の画像タイプを動画タイプＭ，準静止画タイプＴ及び静止画タイプＳに大別することができる。
【００６８】
また、符号化画像判定回路４は、符号化する画像を予測画像生成回路３からの入力画像３ａとするか、予測差分画像３ｂとするかを判定するものであるが、この判定結果は動画タイプＭか、準静止画タイプＴあるいは静止画タイプＳかの別を判定する目安として使用できる。これが、判定情報４ｃとして、符号化画像判定回路４から出力される。
【００６９】
さらに、動画像符号化装置は、単位時間当たりの発生符号量を固定にする固定ビットレート或いは画像の複雑化とともに発生符号量を調整する可変ビットレートにより符号化条件を定めており、また、可変長符号化回路１１では、生成した符号情報を一旦内蔵のメモリに貯え、所定の容量を越えないように読み出す。一方、動きの少ない画像に対する符号量は少なくなるため、メモリ内の符号残量を所定以上に保つために冗長の符号をストリームに付加することで補っている。そして、可変長符号化回路１１は、このメモリ内の符号残量を監視し、その情報を符号残量１１ｂとして出力する。ここで、動画像タイプＭの画像を符号化するときには、その符号量が大きく、上記メモリに蓄えられる符号量は増加するが、静止画タイプＳの画像を符号化するときには、その符号量が小さく、上記メモリに蓄えられる符号量は減少していき、準静止画タイプＴの画像の場合には、メモリに蓄えられる符号量が増加する場合もあるし、また、減少する場合もある。このことから、符号残量１１ｂは画像タイプＭ，Ｔ，Ｓの判別の目安として使用することができる。
【００７０】
次に、図４により、図１におけるシステム制御回路１８の動作を説明する。
【００７１】
いま、図４（Ａ）に示すように表示順に……Ｂ０，Ｂ０，Ｐ１，Ｂ２，Ｂ３，Ｐ４，Ｂ５，Ｂ６，Ｐ７，Ｂ８，Ｂ９，ＰＡ，……と配列される画像が、図４（Ｂ）に示すように、……，Ｐ１，Ｂ０，Ｂ０，Ｐ４，Ｂ２，Ｂ３，Ｐ７，Ｂ５，Ｂ６，ＰＡ，Ｂ８，Ｂ９，……の符号化順に変更され、画像１ａとして入力端子１から入力されたものとする。
【００７２】
ここで、Ｐ１画像については、それよりも１つ前の図示しないＩまたはＰ画像を参照画像として動きベクトルの探索が行なわれ、Ｂ０，Ｂ０画像ついては、Ｐ１画像とそれより前のＰまたはＩ画像を参照画像として動きベクトルの探索が行なわれ、Ｐ４画像ついては、Ｐ１画像を参照画像として動きベクトルの探索が行なわれ、Ｂ２，Ｂ３画像ついては、Ｐ１画像とＰ４画像を参照画像として動きベクトルの探索が行なわれ、……Ｂ８，Ｂ９画像ついては、Ｐ７画像とＰＡ画像を参照画像として動きベクトルの探索が行なわれるものである。
【００７３】
また、かかる入力画像１ａにおいて、画像内容の変化に応じて画像のタイプをほぼ全体的に動きがある動画像タイプＭと一部にしか動きがない準静止画タイプＴとほぼ全体にわたって動きがない静止画タイプＳとに分類する。図４（Ｂ）においては、Ｐ１，Ｂ０，Ｂ０，ＰＡ，Ｂ８，Ｂ９の画像が夫々動画像タイプＭ、Ｂ３，Ｐ７の画像が夫々準静止画タイプＴ、Ｐ４，Ｂ２，Ｂ５，Ｂ６の画像が夫々静止画タイプＳとする。
【００７４】
システム制御回路１８は、動きベクトル粗探索回路１６からの動き情報１６ａや符号化画像判定回路４からの判定情報４ｃ，可変長符号化回路１１からの符号残量１１ｂを用いることにより、入力画像１ａが画像タイプＭ，Ｔ，Ｓのいずれであるかを判別し、その判別結果に応じた制御信号１８ａを発生して動きベクトル粗探索回路１６のＯＮ，ＯＦＦを制御するものである。ここで、ＯＦＦ状態とは、電源電圧を供給しないようにした状態をいう。
【００７５】
いま、図４（Ｂ）に示すように、入力画像１ａがＰ１画像とし、動きベクトル粗探索回路１６がＯＮ状態にあるとすると、動きベクトル粗探索回路１６では、上記のように、記憶媒体１３から参照画像を読み出して、このＰ１画像に対して動きベクトルの粗探索を行なうが、これとともに、動きベクトルの発生個数の計数を行ない、この探索の終了とともにその計数結果を動き情報１６ｂとしてシステム制御回路１８に送る。システム制御回路１８は、この動き情報１６ｂにより、このＰ１画像を動画タイプＭの画像と判定し、可変長符号化回路１１からの符号残量１１ｂも参照して、図４（Ｃ）に図４（Ｂ）の「Ｐ１」部分から矢印して示すように、動きベクトル粗探索回路１６をＯＮ状態とする制御信号１８ａを出力する。これにより、動きベクトル粗探索回路１６がＯＮ状態に保持され、次いで、次のＢ０画像が入力画像１ａとして入力されて動きベクトルの粗探索と、探索されて動きベクトルの計数が行なわれる。そして、この探索が終了すると、この計数結果が動き情報１６ｂとしてシステム制御回路１８に送られる。
【００７６】
以下同様にして、システム制御回路１８が動き情報１６ｂと符号残量１１ｂとから動きベクトル粗探索した画像を動画像タイプＭの画像と判定する毎に、次の画像で動きベクトル粗探索回路１６をＯＮ状態とし、動きベクトルの粗探索とその計数とを行なわせる。
【００７７】
その後、図４（Ｂ）で示すように、動きベクトル粗探索回路１６がＰ４画像の動きベクトルの粗探索とその計数を行ない、これによる動き情報１６ｂと符号残量１１ｂとにより、システム制御回路１８がこのＰ４画像を静止画タイプＳの画像と判定すると、システム回路１８は、図４（Ｃ）に図４（Ｂ）の「Ｐ４」部分から矢印して示すように、動きベクトル粗探索回路１６をＯＦＦ状態とする制御信号１８ａを出力する。これにより、動きベクトル粗探索回路１６がＯＦＦ状態に設定され、次にＯＮ状態を指示する制御信号１８ａが供給されるまで、ＯＦＦ保持される。この結果、図４（Ｄ）でハッチングして示すように、静止画タイプＳや準静止画タイプＴであるＢ２，Ｂ３，Ｐ７，Ｂ５，Ｂ６の画像に対しては、動きベクトル粗探索回路１６がＯＦＦ状態に保持され、動きベクトルの粗探索は行なわれない。
【００７８】
このように、静止画タイプＳの画像や準静止画タイプＴであっても、動き部分が少ない画像の場合には、かかる画像とその参照画像との間のマクロブロックの配置関係はほぼ一対一に対応するものであり、直ちに狭い探索範囲で動きベクトルの探索を行なうことができる。このため、かかる画像タイプの画像に対しては動きベクトル粗探索回路１６は必須のものではなく、上記のように、ＯＦＦ状態に設定しても各別問題とはならない。
【００７９】
一方、動きベクトル粗探索回路１６をＯＦＦ状態に保持する期間、システム制御回路１８は、可変長符号化回路１１からの符号残量１１ｂを取り込んでそのメモリでの残留符号量を監視しているとともに、各入力画像１ａの入力毎に符号化画像判定回路４に要求信号１８ｂを送って判定情報４ｃを取り込み、動きベクトル密探索回路１７で動きベクトルを探索した画像が動画像タイプＭ，準静止画タイプＴ，静止画タイプＳのいずれであるかを判定し、この判定結果に応じた制御信号１８ａを出力する。ここでは、上記のＢ２，Ｂ３，Ｐ７，Ｂ５，Ｂ６の画像の期間では、動きベクトル粗探索回路１６がＯＦＦ状態に保持される。
【００８０】
そして、さらに次のＰＡ画像も、その前のＢ６画像が静止画タイプＳの画像と判定されているため、動きベクトル粗探索回路１６がＯＦＦ状態に保持されて動きベクトルの粗探索は行なわれないが、このＰＡ画像に対する符号化画像判定回路４からの判定情報４ｃが動画像タイプＭを表わしているから、システム制御回路１８は、制御信号１８ａにより、動きベクトル粗探索回路１６をＯＮ状態に切り替える。これにより、Ｂ８画像からは、次にシステム制御装置１８が動きベクトル粗探索回路１６をＯＦＦにする制御信号１８ａを出力するまで、動きベクトル粗探索回路１６が動作して各画像の動きベクトルの粗探索と探索した動きベクトルの計数とを繰り返す。
【００８１】
なお、図４（Ｃ）で示すように、動きベクトル粗探索回路１６がＯＦＦ状態に保持されているとき、符号化判定回路４からの判定情報４ｃが動画像タイプＭを示すものでなくとも、可変長符号化回路１１からの符号残量１１ｂがそのメモリでの残留符号量が上記の閾値を越えたことを表わす場合には、システム制御回路１８は動画像タイプＭの入力画像１ａの入力があったと判定し、動きベクトル粗探索回路１６をＯＮ状態にする。
【００８２】
また、同じく、動きベクトル粗探索回路１６がＯＦＦ状態に保持されているとき、符号化判定回路４からの判定情報４ｃが動画像タイプＭを示すものである場合には、上記のように、システム制御回路１８は、通常、動きベクトル粗探索回路１６をＯＮ状態に切り替えるが、このとき、さらに、可変長符号化回路１１のメモリでの残留符号量が上記の閾値よりも小さいことを符号残量１１ｂが表わしているときには、動きベクトル粗探索回路１６がＯＦＦ状態に保持する。
【００８３】
以上の示したように、この実施形態は、ＭＰＥＧ１／ＭＰＥＧ２規格などの動画像符号化装置において、動画像の符号化処理のために用いる回路ブロックの全てを常時動作させるのではなく、符号化画像条件に応じて、符号化処理対象でない回路ブロックの動作を適時停止させ、さらに、対象画像が静止画相当の画像である場合やフレーム内の一部の領域のみ動きがある場合であっても、発生符号量をモニタすることにより、画質の劣化を最小限に抑えながら、動きベクトル粗探索回路を停止させるものであるから、例えば、１チップのＬＳＩ化で実現する場合においても、動画像の符号化処理時、動きベクトル粗探索回路を停止することによる省電力化を容易に達成でき、据え置き用は勿論のこと、特に、蓄電池などの電源を内蔵した携帯用のビデオレコーダや画像送信／受信装置などのビデオレート圧縮並びに再生装置などに好適なものとなる。
【００８４】
また、１チップのＬＳＩであっても、フレームメモリなどのメモリの内蔵或いは外付けいずれであったとしても、この実施形態によれば、参照画像用のフレームメモリのアクセスを停止させることにより、データ線及び制御信号線での無駄なバタツキの発生を低減でき、電力消費の低減のみならず、電源ノイズや輻射ノイズ発生の低減化を容易に達成できる。
【００８５】
この実施形態では、ＧＯＰ構造の画像シーケンスとして、Ｍ＝３の場合についてのみ示したが、Ｍ＝２，１の場合であっても、同様の効果を得られることは言うまでもない。また、この実施形態での符号化処理，復号化処理として、ＤＣＴを用いた場合についてのみ示したが、勿論、これに限らず、他の符号化方法，復号化方法を用いた場合であっても、本発明を適用できて、同様の効果が得られることは言うまでもない。
【００８６】
また、この実施形態では、フレーム単位で動きベクトル粗探索回路の動作を制御する場合についてのみ示したが、勿論、これに限らず、マクロブロック単位，フィールド単位，ＧＯＰ単位或いは複数フレーム単位で行なうようにすることができ、同様な効果が得られることは言うまでもない。また、リアルタイムでの符号化処理であるため、過去の複数フレームの情報を使用することにより、過度の制御を防止することも可能である。
【００８７】
さらに、この実施形態では、ハードウエアで処理する場合について示したが、勿論、これに限らず、ソフトウエアによる場合には、動きベクトル粗探索処理に要する演算処理を削減させることによるＣＰＵ占有率の減少化に有効な手段となる。
【００８８】
さらに、この実施形態では、動きベクトルの計数情報として、動きベクトル粗探索の結果を用いる場合について示したが、動きベクトル密探索の結果を用いても何ら問題はない。但し、初期の段階で検出される動きベクトル粗探索の結果を用いることにより、リアルタイムでの処理の高速化を図ることが可能となる。
【００８９】
【発明の効果】
以上説明したように、本発明によれば、リアルタイムで動画像圧縮符号化を行なう対象画像として、家庭用ビデオカメラで撮影された動画像を対象とするＭＰＥＧ１／ＭＰＥＧ２規格などへの適用に際し、撮影対象物の動きの特徴に併せた動きベクトル探索範囲の設定により、動きベクトルの検出精度の劣化を抑えることが容易に可能となるし、また、対象画像が静止画相当の画像である場合やフレーム内の一部の領域のみ動きがある場合であっても、発生符号量をモニタすることにより、符号量の増大があるものの、画像の劣化を最小限に抑えて動きベクトル検出回路を停止させることができ、消費電力の低減を図ることができるものであるから、特に、電源内蔵の携帯型画像処理装置などに適用した場合には、消費電力の低減分連続動作時間の長期化が可能になる。
【図面の簡単な説明】
【図１】本発明による動画像符号化装置の一実施形態を示すブロック図である。
【図２】図１に用いた本発明による動きベクトル検出装置の一実施形態の要部を示すブロック図である。
【図３】図１に示した実施形態での入力画像と記憶媒体での記憶タイミングとの関係を示すタイミング図である。
【図４】図１に示した実施形態の動作を説明するタイミング図である。
【図５】従来例の動画像符号化装置の一例を示すブロック図である。
【符号の説明】
１  画像情報の入力端子
３  予測画像生成回路
４  符号化画像判定回路
５  符号化画像選択回路
６  ＤＣＴ回路
７  量子化回路
８  逆量子化回路
９  ＩＤＣＴ回路
１０  復号画像生成回路
１１  可変長符号化回路
１２  符号化情報の出力端子
１３，１４  記憶媒体
１５  記憶媒体制御回路
１６  動きベクトル粗探索回路
１７  動きベクトル密探索回路
１８  システム制御回路
【図１】
0003947316.tif 000002
【図２】
0003947316.tif 000003
【図３】
0003947316.tif 000004
【図４】
0003947316.tif 000005
【図５】
0003947316.tif 000006