(57)【要約】【課題】無駄な符号量の増加を抑制した状態で動画像を符号化できるようにする。【解決手段】比較値算出部１３２が、設定された各探索ブロックにおいて、比較もとのフレームの基準となるマクロブロックと、比較対象のフレームに設定された探索領域内の各探索ブロックとの間の比較値を各々算出する。次に、比較値変更部１３３が、算出された中央探索ブロックにおける比較値であるＳＡＤより、予め設定されている規定値に、隣り合う探索ブロックの間の画素数を乗じた変更値を減ずる。次に、最小比較値探索部１３４が、選択された９の探索ブロックの中で、ＳＡＤが最も小さい探索ブロックを、比較もとのマクロブロックに最も相関の高いマッチングブロックとし、これを新たな探索領域の中央の探索ブロックとする。【選択図】  図１
2008193456.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する第１フレームに含まれる基準ブロックを参照し、前記動画像を構成する第２フレームに前記基準ブロックとのマッチングブロックを探索し、前記基準ブロックの動きベクトルを生成して動き予測を行う動画像符号化における動き予測方法において、
前記基準ブロックに対応するブロックを、前記基準ブロックの位置を中央とした所定の矩形の領域を探索領域として設定する第１ステップと、
前記探索領域において、前記基準ブロックの位置に対応する中央の位置，前記探索領域の４隅の位置，及び前記探索領域の上端，下端，左端，右端に配置される９個の探索ブロックを設定する第２ステップと、
前記第２ステップで設定した９個の探索ブロックの各々に、前記基準ブロックとの間の対応している各画素の輝度値の差による統計値よりなる比較値を各々求めて設定する第３ステップと、
前記探索領域の中央の探索ブロックに設定された比較値を、前記探索領域の広さに対応して減少させる第４ステップと、
前記探索領域における９個の前記探索ブロックの中で、前記比較値が最も小さい値となるマッチングブロックを探索する第５ステップと、
前記第５ステップで探索されたマッチングブロックを中央とした所定の矩形の領域を新たな探索領域として設定する第６ステップと、
前記新たな探索領域において、中央の位置，前記新たな探索領域の４隅の位置，及び前記新たな探索領域の上端，下端，左端，右端に配置される９個の探索ブロックを設定する第７ステップと、
前記第７ステップで設定した９個の探索ブロックの各々に、前記基準ブロックとの間の対応している各画素の輝度値の差を含む統計値よりなる比較値を各々求めて設定する第８ステップと、
前記新たな探索領域の中央の探索ブロックに設定された比較値を、前記探索領域の大きさに対応して減少させる第９ステップと、
前記新たな探索領域における９個の前記探索ブロックの中で、前記比較値が最も小さい値となる新たなマッチングブロックを探索する第１０ステップと
を少なくとも備え、
前記基準ブロックに対応する位置を起点とし、前記新たなマッチングブロックの方向のベクトルを前記動きベクトルとする
ことを特徴とする動画像符号化における動き予測方法。
【請求項２】
請求項１記載の動画像符号化における動き予測方法において、
前記比較値は、前記輝度値の平均絶対値誤差である
ことを特徴とする動画像符号化における動き予測方法。
【請求項３】
請求項１又は２記載の動画像符号化における動き予測方法において、
前記新たな探索領域は、初期に設定された前記探索領域より１辺の画素数が少ない
ことを特徴とする動画像符号化における動き予測方法。
【請求項４】
請求項１〜３のいずれか１項に記載の動画像符号化における動き予測方法において、
前記第４ステップでは、予め設定されている規定値に隣り合う探索ブロックの間の画素数を乗じた値を、前記探索領域の中央の探索ブロックに設定された比較値より減じることで、前記探索領域の中央の探索ブロックに設定された比較値減少させる
ことを特徴とする動画像符号化における動き予測方法。
【請求項５】
動画像を構成する第１フレームに含まれる基準ブロックを参照し、前記動画像を構成する第２フレームに前記基準ブロックとのマッチングブロックを探索し、前記基準ブロックの動きベクトルを生成して動き予測を行う動画像符号化における動き予測装置において、
前記基準ブロックに対応するブロックを、前記基準ブロックの位置を中央とした所定の矩形の領域を探索領域として設定し、設定した前記探索領域において、前記基準ブロックの位置に対応する中央の位置，前記探索領域の４隅の位置，及び前記探索領域の上端，下端，左端，右端に配置される９個の探索ブロックを設定する探索領域決定手段と、
前記探索領域決定手段が設定した９個の探索ブロックの各々に、前記基準ブロックとの間の対応している各画素の輝度値の差による統計値よりなる比較値を各々求めて設定する比較値算出手段と、
前記探索領域の中央の探索ブロックに設定された比較値を、前記探索領域の広さに対応して減少させる比較値変更手段と、
前記探索領域における９個の前記探索ブロックの中で、前記比較値が最も小さい値となるマッチングブロックを探索する最小比較値探索手段と、
前記第５ステップで探索されたマッチングブロックを、新たな探索ブロックの中央の探索ブロックとする中央探索ブロック変更手段と、
前記中央探索ブロック変更手段により中央とされた探索ブロックを中央とした新たな探索領域より探索された新たなマッチングブロックの方向へのベクトルを動きベクトルとする動きベクトル決定手段と
を少なくとも備え、
前記新たなマッチングブロックは、前記中央探索ブロック変更手段により中央とされた探索ブロックを中央として前記探索領域決定手段により設定された新たな探索領域における９個の新たな探索ブロックにおいて、前記比較値算出手段により設定された比較値及び前記比較値変更手段により変更された比較値の中で、前記最小比較値探索手段により探索された最小比較値の新たな探索ブロックである
ことを特徴とする動画像符号化における動き予測装置。
【請求項６】
請求項５記載の動画像符号化における動き予測装置において、
前記比較値は、前記輝度値の平均絶対値誤差である
ことを特徴とする動画像符号化における動き予測装置。
【請求項７】
請求項５又は６記載の動画像符号化における動き予測装置において、
前記新たな探索領域は、初期に設定された前記探索領域より１辺の画素数が少ない
ことを特徴とする動画像符号化における動き予測装置。
【請求項８】
請求項５〜７のいずれか１項に記載の動画像符号化における動き予測装置において、
前記比較値変更手段は、予め設定されている規定値に隣り合う探索ブロックの間の画素数を乗じた値を、前記探索領域の中央の探索ブロックに設定された比較値より減じることで、前記探索領域の中央の探索ブロックに設定された比較値減少させる
ことを特徴とする動画像符号化における動き予測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償型の画像符号化において、無駄な動きベクトルの発生を抑制して動の予測を行う、動画像符号化における動き予測方法及び装置に関する。
【背景技術】
【０００２】
デジタル化された画像（動画）情報の伝達には、画像情報の圧縮（画像符号化）が重要となる。情報量が非常に多くなる動画においては、よく知られているように、画像情報特有の冗長性を利用し、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ(Moving Picture Experts Group)などの方式が用いられている（特許文献１参照）。この中で、動き補償における動き予測では、一般に、あるマクロブロック（１６×１６画素）に着目し、この着目したブロックを比較対象となるフレームの上で移動させて最も適合する位置を探し出し、この探索ブロックの比較対象のフレーム上での移動状態を動きベクトルとして求めるブロックマッチング法がある（特許文献２）。
【０００３】
以下、ブロックマッチング法による動き予測について説明する。例えば、図７に示すように、着目したマクロブロックの中心位置（座標位置）となる探索点７０１を中央とし、この探索点７０１を８画素ずつずらしたことによる正方形の領域（探索領域）において、探索点７０１及びこの上下左右と正方形の領域の各頂点における探索点７０２，探索点７０３，探索点７０４，探索点７０５，探索点７０６，探索点７０７，探索点７０８，探索点７０９の９個の探索点を中心とする９個の探索ブロックを、比較対象となるフレーム上に設定する。なお、マクロブロック及び探索ブロックは１６×１６画素で構成されているので、上記の探索領域は、３２×３２画素の領域となる。
【０００４】
このようにして設定された比較対象フレームの９個の探索点を中心とする探索ブロックの中で、比較もとのフレームの着目したマクロブロックと最も相関の高い探索ブロック（マッチングブロック）を探索する。例えば、探索点７０２を中心とする探索ブロックを探索する。
【０００５】
次に、このようにして探索した探索点７０２を中央として４画素ずつずらした新たな探索領域において、探索点７０２及びこの上下左右と正方形の領域の各頂点における探索点７２１，探索点７２２，探索点７２３，探索点７２４，探索点７２５，探索点７２６，探索点７２７，探索点７２８の９個の探索点を中心とする９個の探索ブロックを、比較対象となるるフレーム上に設定する。この場合、探索領域は、２４×２４画素の領域となる。このようにして設定された９個の探索ブロックの中で、比較もとのフレームの着目ブロックと最も相関の高い探索ブロック（新たなマッチングブロック）を探索する。例えば、今度は、探索点７２７を中心とした探索ブロックを探索する。
【０００６】
次に、このようにして探索した探索点７２７を中央として２画素ずつずらした新たな正方形の領域において、上述同様に９個の探索点を中心とする探索ブロックを設定する。この場合、探索領域は、２０×２０画素の領域となる。この中で、比較もとのフレームの着目マクロブロックと最も相関の高い探索ブロックを探索する。例えば、探索点７３１を中心とする探索ブロック探索する。最後に、このようにして探索した探索点７３１を中央として１画素ずつずらした新たな正方形の領域において、上述同様に９個の探索点を中心とする探索ブロックを設定する。この場合、探索領域は、１８×１８画素の領域となる。この中で、比較もとのフレームの着目マクロブロックと最も相関の高い探索ブロックを探索する。例えば、探索点７４１を中心とする探索ブロックを探索する。
【０００７】
以上のようにして最終的に探索された探索点７４１を中心とする探索ブロックを移動先とする図中矢視線で示すような動きベクトルを決定することで、動き予測を行う。
【０００８】
また、上述したようにすることで動きベクトルを決定する方法の中で、相関の高い探索ブロックの探索方法として、基準となるマクロブロックと探索ブロックとの間（ブロック内）で、対応している各画素（ピクセル）の輝度値の差の絶対値和を検出（算出）し、この値が最も小さい探索点を探索する技術がある（特許文献３参照）。また、ブロック内の各画素の輝度値の差の絶対値の平均値（平均絶対値誤差）や、輝度値の平均二乗誤差を用いる場合もある。
【０００９】
【特許文献１】特表２００６−５１３５９２号公報
【特許文献２】特開２００６−２５４４５４号公報
【特許文献３】特開平１０−１７８６４５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した従来の動き予測では、背景画像などの輝度勾配が緩やかな平坦画像では、輝度値の差による値（比較値）が最も小さい探索ブロックを最も相関の高い探索対象とすると、以下に説明するように、本来考慮すべき画像全体の動きとは無関係な方向に動きベクトルが決定され、必要以上に符号量が増加して圧縮率が低下するという問題があった。
【００１１】
平坦画像では、ある基準となるフレームのマクロブロックをもとに、対象となるフレームの中で、１画素ずつずらした各探索ブロックブロック毎に、比較値として輝度値の平均絶対値誤差（ＳＡＤ）をとると、図８に例示するように、探索ブロック毎のＳＡＤの分布を示す曲面（ＳＡＤ曲面）が、なだらかに傾いている。このため、最小ＳＡＤは探索範囲の最も外側に存在する場合が生じる。このような状態では、ほとんど動きのない状態であっても、大きな動きベクトルが決定されてしまう。また、平坦画像が対象の場合はＳＡＤの差が小さいため、輝度値ではなく平坦画像を構成しているテクスチャーの状態によりＳＡＤに差が生じ、このことにより本来考慮すべき画像全体の動きと関係のない方向に、動きベクトルが決定される場合もある。
【００１２】
上述したことにより、動きベクトルが、大きくばらつき、また、マクロブロック毎にばらつく現象が発生する。このようにばらつくと、動きベクトルがマクロブロック毎に異なるため、マクロブロックに対応させた動きベクトルで符号化を行う画像符号化の特性上、符号量を無駄に消費することになる。また、平坦画像では、ほとんど動きがないため、動きベクトルを０としても問題がないが、上述したように従来では大きな動きベクトルが決定されるようになるため、この点においても、符号量が増加する傾向になる。このように符号量が増加する状態では、符号量を抑制するために解像度を低下させるなどのことが必要となり、画像の質の低下を招くことになる。
【００１３】
本発明は、以上のような問題点を解消するためになされたものであり、無駄な符号量の増加を抑制した状態で動画像を符号化できるようにすることを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る動画像符号化における動き予測方法は、動画像を構成する第１フレームに含まれる基準ブロックを参照し、動画像を構成する第２フレームに基準ブロックとのマッチングブロックを探索し、基準ブロックの動きベクトルを生成して動き予測を行う動画像符号化における動き予測方法において、基準ブロックに対応するブロックを、基準ブロックの位置を中央とした所定の矩形の領域を探索領域として設定する第１ステップと、探索領域において、基準ブロックの位置に対応する中央の位置，探索領域の４隅の位置，及び探索領域の上端，下端，左端，右端に配置される９個の探索ブロックを設定する第２ステップと、第２ステップで設定した９個の探索ブロックの各々に、基準ブロックとの間の対応している各画素の輝度値の差による統計値よりなる比較値を各々求めて設定する第３ステップと、探索領域の中央の探索ブロックに設定された比較値を、探索領域の広さに対応して減少させる第４ステップと、探索領域における９個の探索ブロックの中で、比較値が最も小さい値となるマッチングブロックを探索する第５ステップと、第５ステップで探索されたマッチングブロックを中央とした所定の矩形の領域を新たな探索領域として設定する第６ステップと、新たな探索領域において、中央の位置，新たな探索領域の４隅の位置，及び新たな探索領域の上端，下端，左端，右端に配置される９個の探索ブロックを設定する第７ステップと、第７ステップで設定した９個の探索ブロックの各々に、基準ブロックとの間の対応している各画素の輝度値の差を含む統計値よりなる比較値を各々求めて設定する第８ステップと、新たな探索領域の中央の探索ブロックに設定された比較値を、探索領域の大きさに対応して減少させる第９ステップと、新たな探索領域における９個の探索ブロックの中で、比較値が最も小さい値となる新たなマッチングブロックを探索する第１０ステップとを少なくとも備え、基準ブロックに対応する位置を起点とし、新たなマッチングブロックの方向のベクトルを動きベクトルとするようにしたものである。
【００１５】
上記動画像符号化における動き予測方法において、比較値は、輝度値の平均絶対値誤差であればよい。また、新たな探索領域は、初期に設定された探索領域より１辺の画素数が少ないものであればよい。また、第４ステップでは、予め設定されている規定値に隣り合う探索ブロックの間の画素数を乗じた値を、探索領域の中央の探索ブロックに設定された比較値より減じることで、探索領域の中央の探索ブロックに設定された比較値減少させるようにすればよい。
【００１６】
また、本発明に係る動画像符号化における動き予測装置は、動画像を構成する第１フレームに含まれる基準ブロックを参照し、動画像を構成する第２フレームに基準ブロックとのマッチングブロックを探索し、基準ブロックの動きベクトルを生成して動き予測を行う動画像符号化における動き予測装置において、基準ブロックに対応するブロックを、基準ブロックの位置を中央とした所定の矩形の領域を探索領域として設定し、設定した探索領域において、基準ブロックの位置に対応する中央の位置，探索領域の４隅の位置，及び探索領域の上端，下端，左端，右端に配置される９個の探索ブロックを設定する探索領域決定手段と、探索領域決定手段が設定した９個の探索ブロックの各々に、基準ブロックとの間の対応している各画素の輝度値の差による統計値よりなる比較値を各々求めて設定する比較値算出手段と、探索領域の中央の探索ブロックに設定された比較値を、探索領域の広さに対応して減少させる比較値変更手段と、探索領域における９個の探索ブロックの中で、比較値が最も小さい値となるマッチングブロックを探索する最小比較値探索手段と、第５ステップで探索されたマッチングブロックを、新たな探索ブロックの中央の探索ブロックとする中央探索ブロック変更手段と、中央探索ブロック変更手段により中央とされた探索ブロックを中央とした新たな探索領域より探索された新たなマッチングブロックの方向へのベクトルを動きベクトルとする動きベクトル決定手段とを少なくとも備え、新たなマッチングブロックは、中央探索ブロック変更手段により中央とされた探索ブロックを中央として探索領域決定手段により設定された新たな探索領域における９個の新たな探索ブロックにおいて、比較値算出手段により設定された比較値及び比較値変更手段により変更された比較値の中で、最小比較値探索手段により探索された最小比較値の新たな探索ブロックであるようにしたものである。
【００１７】
上記動画像符号化における動き予測装置において、比較値は、輝度値の平均絶対値誤差であればよい。また、新たな探索領域は、初期に設定された探索領域より１辺の画素数が少ないものであればよい。また、比較値変更手段は、予め設定されている規定値に隣り合う探索ブロックの間の画素数を乗じた値を、探索領域の中央の探索ブロックに設定された比較値より減じることで、探索領域の中央の探索ブロックに設定された比較値減少させるようにすればよい。
【発明の効果】
【００１８】
以上説明したように、本発明によれば、探索領域の中央の探索ブロックに設定された比較値を、探索領域の広さに対応して減少させた後、探索領域に設定された９個の探索ブロックの中で、比較値が最も小さい値となる探索ブロックを探索するようにしたので、無駄な動きベクトルの生成が抑制され、無駄な符号量の増加を抑制した状態で動画像を符号化できるようになるという優れた効果が得られる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について図を参照して説明する。図１は、本発明の実施の形態における動画像符号化における動き予測を実現するための画像処理装置１００の構成を示す構成図である。画像処理装置１００に処理対処の動画像が入力されると、ブロック分割部１０１が、入力された動画像の各フレーム毎に、予め規定された画素（ピクセル）数のマクロブロックのデータ（マクロブロックデータ）に分割し、記憶部１０２に記憶する。一般に、１６×１６画素のマクロブロックとしている。このようにして記憶部１０２に、各フレーム毎に、各フレームを構成している１６×１６画素のマクロブロックデータが記憶されると、動き予測部（動画像符号化における動き予測装置）１０３が、ブロックマッチング法により、各フレーム間で動きベクトルデータを生成する。
【００２０】
ここで、動きベクトルデータの生成について詳細に説明する。動き予測部１０３は、図１（ｂ）に示すように、探索領域決定部１３１、比較値算出部１３２、比較値変更部１３３、最小比較値探索部１３４、中央探索ブロック変更部１３５、及び動きベクトル決定部１３６を備えている。
【００２１】
以下、動き予測部１０３の動作について、図２のフローチャートを用いて説明する。先ず、ステップＳ２０１で、探索領域決定部１３１が、基準となるフレームの着目したマクロブロックに対応する探索ブロックを中央の探索ブロックとし、この中央探索ブロックを中央とし、この中央探索ブロックを上下左右に８画素ずつずらして通過した正方形の探索領域を対象となるフレームに設定する。例えば、マクロブロック及び探索ブロックは、１６×１６画素で構成されているので、探索領域は、中央探索ブロックの中心を中央とした３２×３２画素の領域となる。次いで、ステップＳ２０２で、探索領域決定部１３１は、決定した探索領域の中で、中央探索ブロックの上下左右と、左上左下，右上右下の合計８つのブロックを周辺探索ブロックとして設定する。
【００２２】
次に、ステップＳ２０３で、比較値算出部１３２が、設定された各探索ブロックにおいて、基準となるフレームのマクロブロックと、比較対象のフレームの各探索ブロックとの間の比較値を各々算出する。例えば、比較値として、２つのブロック内で対応している各画素（ピクセル）の輝度値の平均絶対値誤差（ＳＡＤ）を算出する。この場合、１６×１６画素よりなる９個のブロックが探索対象となり、探索対象画素は、のべ１６×１６×９個の画素となる。なお、比較もとの基準となるフレームと比較対象のフレームとは、連続するフレームの中で隣り合うものであってもよく、所定の数のフレームを挾んで離間しているフレーム間であってもよい。
【００２３】
このことにより、例えば、図３（ａ）に示すように、中央探索ブロックの比較値が５８３、左上の探索ブロックの比較値が３７７、左中の探索ブロックの比較値が５８３、左下の探索ブロックの比較値が７０２、直上の探索ブロックの比較値が３７７、右上の探索ブロックの比較値が２８１、右中の探索ブロックの比較値が４７３、右下の探索ブロックの比較値が５５５、直下の探索ブロックの比較値が５５５と算出される。
【００２４】
なお、図３（ａ）では、各数値が画素の位置を示し、矩形で囲われた画素が、探索ブロックの中心画素を示している。従って、矩形で囲われている数値が、この画素を中心とした１６×１６画素の探索ブロックにおける基準となるマクロブロックとの間のＳＡＤを示している。また、比較のために、探索ブロックとして設定されていない他の１６×１６画素のブロックにおいても、基準となるマクロブロックとの間のＳＡＤを、この中心となる画素の位置に示している。これらのことは、図３（ｂ），図４（ａ），図４（ｂ），図５（ａ），図５（ｂ），図６（ａ），図６（ｂ）においても同様である。
【００２５】
次に、ステップＳ２０４で、比較値変更部１３３が、算出された中央探索ブロックにおける比較値、ここでは中央探索ブロックのＳＡＤより、予め設定されている規定値に探索ブロックの間隔である画素数を乗じた変更値を減ずる。例えば、ここでは、探索ブロックが８画素間隔とされているので、規定値として５０が設定されている場合、中央探索ブロックの比較値５８３より５０×８＝４００を減じた１８３を中央探索ブロックの比較値（変更比較値）とする。
【００２６】
次に、ステップＳ２０５で、最小比較値探索部１３４が、上述のことにより設定された９の探索ブロックの中で、ＳＡＤが最も小さい探索ブロックを、比較もとのマクロブロックに最も相関の高い比較対象のフレームの探索ブロック（マッチングブロック）とする。このようにして、最も相関の高い探索ブロックが探索されると、中央探索ブロック変更部１３５が、探索された探索ブロックを新たな中央探索ブロックとする。本例では、上述のことにより比較値が変更された中央探索ブロックの比較値１８３が、９個の探索ブロックの中で最も小さいので、初期に設定された中央探索ブロックが、再度中央探索ブロックとして設定される。
【００２７】
次に、ステップＳ２０６で、中央探索ブロック変更部１３５が新たな中央探索ブロックを設定すると、ステップＳ２０７で、探索領域決定部１３１が、設定された新たな中央探索ブロックを中央とし、また、前回より狭い４画素ずつずらした矩形の探索領域を決定する。この場合の探索領域は、２４×２４画素の領域となる。なお、この場合においても、１６×１６画素よりなる９個のブロックが探索対象となり、探索対象画素は、のべ１６×１６×９個の画素となる。ここで、動き予測部１０３は、新たに設定された探索領域が、これ以上小さくできない領域であるかなどの判断により、最後の探索領域とするかどうかを判定する（ステップＳ２０８）。最小探索領域が１８×１８画素とされている場合、ここでは、新たに設定された探索領域が、これ以上にまだ小さくできる領域であるので、最後の探索領域とはせず、ステップＳ２０２に戻る。
【００２８】
次いで、ステップＳ２０２で、探索領域決定部１３１は、決定した探索領域の中で、中央探索ブロックの上下左右と、左上左下，右上右下の合計８つのブロックを周辺探索ブロックとして設定する。次に、ステップＳ２０３で、比較値算出部１３２が、設定された各探索ブロックにおいて、基準となるフレームのマクロブロックと、比較対象のフレームの各探索ブロックの間の輝度値のＳＡＤ（比較値）を各々算出する。
【００２９】
このことにより、例えば、図３（ｂ）に示すように、中央探索ブロックの比較値が５８３、左上の探索ブロックの比較値が４５５、左中の探索ブロックの比較値が５８３、左下の探索ブロックの比較値が６１７、直上の探索ブロックの比較値が４５５、右上の探索ブロックの比較値が３９９、右中の探索ブロックの比較値が５２７、右下の探索ブロックの比較値が５４９、直下の探索ブロックの比較値が５８５と算出される。
【００３０】
次に、ステップＳ２０４で、比較値変更部１３３が、算出された中央探索ブロックにおける比較値、ここでは中央探索ブロックのＳＡＤより、予め設定されている規定値に探索ブロック間の間隔であるが素数を乗じた変更値を減ずる。例えば、ここでは、探索ブロック間が４画素間隔とされているので、規定値として５０が設定されている場合、中央探索ブロックの比較値５８３より５０×４＝２００を減じた３８３を中央探索ブロックの比較値（変更比較値）とする。
【００３１】
次に、ステップＳ２０５最小比較値探索部１３４が、上述のことにより選択された９の探索ブロックの中で、ＳＡＤが最も小さい探索ブロックを、比較もとのマクロブロックに最も相関の高い比較対象のフレームの探索ブロック（新たなマッチングブロック）とする。このようにして、最も相関の高い探索ブロックが探索されると、中央探索ブロック変更部１３５が、探索された探索ブロックを新たな中央探索ブロックとする。本例では、上述のことにより比較値が変更された中央探索ブロックの比較値３８３が、９個の探索ブロックの中で最も小さいので、初期に設定された中央探索ブロックが、再再度中央探索ブロックとして設定される。
【００３２】
次に、ステップＳ２０６で、中央探索ブロック変更部１３５が新たな中央探索ブロックを設定すると、ステップＳ２０７で、探索領域決定部１３１が、設定された新たな中央探索ブロックを中央とし、また、前回より狭い２画素ずつずらした矩形の探索領域を決定する。この場合、探索領域は、２０×２０画素の領域となる。なお、この場合においても、１６×１６画素よりなる９個のブロックが探索対象となり、探索対象画素は、のべ１６×１６×９個の画素となる。この後、前述したようにステップＳ２０８の判定により、最小となる探索領域が設定されるまでステップＳ２０２〜ステップＳ２０７を繰り返す。例えば、次に、前回より狭い１画素ずつずらした１８×１８画素の矩形の探索領域を決定し、この探索領域を最後とする。なおこの場合においても、１６×１６画素よりなる９個のブロックが探索対象となり、探索対象画素は、のべ１６×１６×９個の画素となる。
【００３３】
２０×２０画素の探索領域においては、図４（ａ）に示す矩形で囲われた各画素を中心とする１６×１６画素の探索ブロック（９個の探索ブロック）が設定され、また、中央探索ブロックの比較値が５８３、左上の探索ブロックの比較値が５１９、左中の探索ブロックの比較値が５８３、左下の探索ブロックの比較値が５９１、直上の探索ブロックの比較値が５１９、右上の探索ブロックの比較値が４９１、右中の探索ブロックの比較値が５５５、右下の探索ブロックの比較値が５５９、直下の探索ブロックの比較値が５８３と算出される。また、この場合は、中央探索ブロックの比較値が４８３（＝５８９−５０×２）に変更され、この中央探索ブロックが最小値なので探索され（新たなマッチングブロックとされ）、再度、中央探索ブロックとされる。
【００３４】
また、１８×１８画素の探索領域においては、図４（ｂ）に示す矩形で囲われた各画素を中心とする１６×１６画素の探索ブロック（９個の探索ブロック）が設定され、また、中央探索ブロックの比較値が５８３、左上の探索ブロックの比較値が５５１、左中の探索ブロックの比較値が５８３、左下の探索ブロックの比較値が５９１、直上の探索ブロックの比較値が５５１、右上の探索ブロックの比較値が５３７、右中の探索ブロックの比較値が５６９、右下の探索ブロックの比較値が５７７、直下の探索ブロックの比較値が５９１と算出される。また、この場合は、中央探索ブロックの比較値が５３３（＝５８３−５０×１）に変更され、この中央探索ブロックが最小値なので探索され（新たなマッチングブロックとされ）、再度次の中央探索ブロックとされる。
【００３５】
以上のようにして、１８×１８画素の探索領域まで探索されると、ステップＳステップＳ２０８の判定により、次のステップＳ２０９に進み、動きベクトル決定部１３６が、初期に決定された中央探索ブロックを始点とし、最終的に探索された探索ブロック（新たなマッチングブロック）を終点とする動きベクトルデータを生成する。この例では、初期に設定された中央探索ブロックと最終的に探索された探索ブロック（新たなマッチングブロック）とが同一であるため、動き（移動量）が「０」の動きベクトルが生成されることになる。
【００３６】
以上のようにして動き予測部１０３により動きベクトルデータが生成されると、これが、動き補償部１０４に入力される。動き補償部１０４では、入力された動きベクトルデータと、対象となるフレーム及び基準のフレームのマクロブロックデータとを用い、参照データを生成する。また、動きベクトル符号化部１０５が、生成された動きベクトルを符号化する。
【００３７】
以上のようにして参照データが生成されると、誤差データ作成部１０６が、対象となるフレームのマクロブロックデータと生成された参照データとの差を求めて誤差データを生成する。
【００３８】
このようにして誤差データが生成されると、符号化部１０７が、生成された誤差データをもとに圧縮のテクスチャー及び複合のための参照データを生成する。また、符号化部１０７では、各マクロブロックの画素データの離散コサイン変換係数を求め、離散コサイン変換係数を求めた画素データを時間領域から周波数領域に変換し、また、量子化し、離散コサイン変換係数をゼロにしてさらに高周波成分を抽出する。抽出された高周波成分は、逆量子化され、逆離散コサイン変換係数が求められ、動き予測部１０３にフィードバックされる。
【００３９】
最後に、合成部１０８において、生成された誤差データが可変長符号化され、また、圧縮のテクスチャー及び複合のための参照データが可変長符号化され、これらが、組み合わされて圧縮データとして出力される。
【００４０】
以上に説明したように、本実施の形態における画像処理装置１００（動き予測部１０３）によれば、本来動きのほとんどない平坦画像が対象であれば、大きな動きベクトルが生成されることがなく、符号量の増加が抑制されるようになる。このように符号量の増加が抑制されれば、圧縮率の低下などが防げるようになる。
【００４１】
以上に示した本実施の形態に対し、中央探索ブロックにおける比較値を変更せずに従来同様に最小比較値を探索すると、初期段階では、図５（ａ）に示すように、前述同様に、着目したマクロブロックに対応する探索ブロックが中央の探索ブロックとされ、この中央探索ブロックを中央として８画素ずつずらしたことによる３２×３２画素の矩形の探索領域が決定される。なお、図５（ａ）では、説明のために、前述した実施の形態の説明とは異なる箇所に初期の中央探索ブロックを配置している。
【００４２】
このように探索領域が決定されると、中央探索ブロックの比較値が５８３、左上の探索ブロックの比較値が３７７、左中の探索ブロックの比較値が５８３、左下の探索ブロックの比較値が７０２、直上の探索ブロックの比較値が３７７、右上の探索ブロックの比較値が２８１、右中の探索ブロックの比較値が４７３、右下の探索ブロックの比較値が５５５、直下の探索ブロックの比較値が５５５と算出される。
【００４３】
この中で、ＳＡＤが最も小さい探索ブロックとしては、右上の探索ブロックが選択される（マッチングブロックとされる）。このため、選択された探索ブロックを中央探索ブロックとした１辺９ブロックの矩形の探索領域による新たな９個の探索ブロックは、図５（ｂ）に示すように設定される。同様にして、この探索領域の中の最小ＳＡＤを探索すると、右中の探索ブロックとなり、次の新たな９個の探索ブロックは、図６（ａ）に示すように設定される。同様にして、この探索領域の中の最小ＳＡＤを探索すると、右中の探索ブロックとなり、次の新たな９個の探索ブロックは、図６（ｂ）に示すように設定される。
【００４４】
以上のように探索されると、結果として生成される動きベクトルデータは、本来考慮すべき画像全体の動きとは無関係な方向に決定されてしまう。このように、従来技術では、本来動きのほとんどない平坦画像が対象であても、大きな動きベクトルが生成され、符号量の増加が無駄に増加するようになる。また、このように符号量が増加してしまうので、圧縮率の低下を招くなどの問題が発生する。
【００４５】
なお、上述では、比較値として輝度値（輝度信号の値）の平均絶対値誤差を用いるようにしたが、これに限るものではなく、例えば、輝度信号と色差信号との両方を用いるようにしてもよい。また、平均絶対値誤差ではなく、平均二乗誤差など他の統計値を用いるようにしてもよい。また、上述では、よく知られた４段探索を用いる場合を例として説明したが、これに限るものではなく、３段探索，ダイアモンドサーチなど、他のブロックマッチング法を用いるようにしてもよいことは、いうまでもない。
【００４６】
また、本実施の形態における画像処理装置１００（動き予測部１０３）は、ＣＰＵと主記憶装置と外部記憶装置とネットワーク接続装置となどを備えたコンピュータ機器により構成可能であり、主記憶装置に展開されたプログラムによりＣＰＵが動作することで、上述した各機能が実現される。また、各機能は、複数のコンピュータ機器に分散させるようにしてもよい。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施の形態における画像処理装置１００の構成を示す構成図である。
【図２】動き予測部１０３の動作を説明するフローチャートである。
【図３】本実施の形態の動き予測部１０３により決定された探索領域（９個の探索ブロック）の状態を説明するための説明図である。
【図４】本実施の形態の動き予測部１０３により決定された探索領域（９個の探索ブロック）の状態を説明するための説明図である。
【図５】従来の探索領域（９個の探索ブロック）の決定状態を説明するための説明図である。
【図６】従来の探索領域（９個の探索ブロック）の決定状態を説明するための説明図である。
【図７】ブロックマッチング法を説明する説明図である。
【図８】平坦画像におけるＳＡＤ曲面の一例を示す特性図である。
【符号の説明】
【００４８】
１００…画像処理装置、１０１…ブロック分割部、１０２…記憶部、１０３…動き予測部、１０４…動き補償部、１０５…動きベクトル符号化部、１０６…誤差データ作成部、１０７…符号化部、１０８…合成部、１３１…探索領域決定部、１３２…比較値算出部、１３３…比較値変更部、１３４…最小比較値探索部、１３５…中央探索ブロック変更部、１３６…動きベクトル決定部。
【図１】
2008193456.tif 000003
【図２】
2008193456.tif 000004
【図３】
2008193456.tif 000005
【図４】
2008193456.tif 000006
【図５】
2008193456.tif 000007
【図６】
2008193456.tif 000008
【図７】
2008193456.tif 000009
【図８】
2008193456.tif 000010