(57)【要約】【課題】処理量を削減しつつ、精度の高い動きベクトルを検出することができる動きベクトル検出装置および動きベクトル検出方法を提供する。【解決手段】動画像符号化装置１００は、符号化対象ブロックを含む入力画像と参照画像とから縮小符号化対象画像および縮小参照画像を生成する画像縮小部１、縮小符号化対象画像を複数個の領域に分割する領域分割部３、領域ごとに縮小参照画像に対する領域動きベクトルをそれぞれ検出する領域動きベクトル検出部４、領域動きベクトルの相関度を領域ごとに算出する相関度算出部５、領域動きベクトルと領域動きベクトルの相関度とに基づいて動きベクトル探索範囲に関する情報を決定する探索範囲決定部６、および、動きベクトル探索範囲に関する情報を用いて、動きベクトル探索範囲を決定して動きベクトルを検出する動き検出部を有する符号化部７を備える。【選択図】図１
2007124408.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象画像に含まれる符号化対象ブロックの参照画像に対する動きベクトルを検出する動きベクトル検出装置であって、
前記符号化対象画像および前記参照画像からそれぞれ画素数を低減した縮小符号化対象画像および縮小参照画像を生成する画像縮小手段と、
前記縮小符号化対象画像を複数の領域に分割する領域分割手段と、
前記領域分割手段によって分割された分割領域の前記縮小参照画像に対する動きベクトルである領域動きベクトルを検出する領域動きベクトル検出手段と、
前記分割領域に含まれる前記符号化対象ブロックの動きベクトル探索範囲に関する情報を前記領域動きベクトルに基づいて決定する探索範囲決定手段と、
前記探索範囲決定手段によって決定された前記動きベクトル探索範囲に関する情報に基づいて前記符号化対象ブロックの動きベクトル探索範囲を決定し、決定した前記動きベクトル探索範囲内を探索することによって、前記符号化対象ブロックの動きベクトルを検出する動き検出手段と
を備えることを特徴とする動きベクトル検出装置。
【請求項２】
前記探索範囲決定手段は、前記動きベクトル探索範囲に関する情報として前記動きベクトル探索範囲の基準位置に対するずらし量を前記領域動きベクトルに基づいて決定し、
前記動き検出手段は、前記探索範囲決定手段によって決定された前記ずらし量だけ前記基準位置からずらして前記動きベクトル探索範囲を決定する
ことを特徴とする請求項１記載の動きベクトル検出装置。
【請求項３】
前記探索範囲決定手段は、前記ずらし量を前記領域動きベクトルの大きさに比例するように決定する
ことを特徴とする請求項２記載の動きベクトル検出装置。
【請求項４】
前記動きベクトル検出装置は、さらに、
前記領域動きベクトルおよび前記縮小参照画像から生成される分割領域予測画像と、前記分割領域画像との相関度を算出する相関度算出手段を備え、
前記探索範囲決定手段は、前記領域動きベクトルおよび前記相関度に基づいて、前記動きベクトル探索範囲に関する情報を決定する
ことを特徴とする請求項１記載の動きベクトル検出装置。
【請求項５】
前記探索範囲決定手段は、前記動きベクトル探索範囲に関する情報として前記動きベクトル探索範囲の基準位置に対するずらし量を前記領域動きベクトルおよび前記相関度に基づいて決定し、
前記動き検出手段は、前記探索範囲決定手段によって決定された前記ずらし量だけ前記基準位置からずらして前記動きベクトル探索範囲を決定する
ことを特徴とする請求項４記載の動きベクトル検出装置。
【請求項６】
前記探索範囲決定手段は、前記ずらし量を前記領域動きベクトルの大きさおよび前記相関度に比例するように決定する
ことを特徴とする請求項５記載の動きベクトル検出装置。
【請求項７】
前記探索範囲決定手段は、前記動きベクトル探索範囲に関する情報として前記動きベクトル探索範囲の広さを前記相関度に基づいて決定し、
前記動き検出手段は、前記探索範囲決定手段によって決定された前記動きベクトル探索範囲の広さで前記動きベクトル探索範囲を決定する
ことを特徴とする請求項４記載の動きベクトル検出装置。
【請求項８】
前記探索範囲決定手段は、前記動きベクトル探索範囲の広さを前記相関度に反比例するように決定する
ことを特徴とする請求項７記載の動きベクトル検出装置。
【請求項９】
前記探索範囲決定手段は、前記動きベクトル探索範囲に関する情報として前記動きベクトル探索範囲の広さを前記領域動きベクトルおよび前記相関度に基づいて決定し、
前記動き検出手段は、前記探索範囲決定手段によって決定された前記動きベクトル探索範囲の広さで前記動きベクトル探索範囲を決定する
ことを特徴とする請求項４記載の動きベクトル検出装置。
【請求項１０】
前記探索範囲決定手段は、前記動きベクトル探索範囲の広さを前記領域動きベクトルの大きさに比例し、前記相関度に反比例するように決定する
ことを特徴とする請求項９記載の動きベクトル検出装置。
【請求項１１】
前記探索範囲決定手段は、前記動きベクトル探索範囲に関する情報として前記符号化対象ブロックの動きベクトル探索時の間引き量を前記相関度に基づいて決定する
ことを特徴とする請求項４記載の動きベクトル検出装置。
【請求項１２】
前記探索範囲決定手段は、前記間引き量を前記相関度に反比例するように決定する
ことを特徴とする請求項１１記載の動きベクトル検出装置。
【請求項１３】
前記探索範囲決定手段は、前記間引き量として前記動きベクトル探索範囲内の探索位置の間引き量を決定する
ことを特徴とする請求項１１記載の動きベクトル検出装置。
【請求項１４】
前記探索範囲決定手段は、前記間引き量として前記動きベクトル探索時における動きベクトルの評価値を算出する際の間引き量を決定する
ことを特徴とする請求項１１記載の動きベクトル検出装置。
【請求項１５】
前記探索範囲決定手段は、隣接する前記分割領域のそれぞれの前記相関度に応じて、前記分割領域の境界付近に位置するブロックに対する前記動きベクトル探索範囲に関する情報を補正する
ことを特徴とする請求項４記載の動きベクトル検出装置。
【請求項１６】
前記探索範囲決定手段は、隣接する前記分割領域のそれぞれの前記相関度を比較し、前記相関度が小さいほうの前記分割領域に含まれ、前記境界付近に位置するブロックに対しては、前記相関度が大きいほうの前記分割領域に対する前記動きベクトル探索範囲に関する情報を用いるように補正する
ことを特徴とする請求項１５記載の動きベクトル検出装置。
【請求項１７】
前記探索範囲決定手段は、前記動きベクトル探索範囲に関する情報として前記動きベクトル探索範囲の基準位置に対するずらし量を前記領域動きベクトルに基づいて決定し、
前記動き検出手段は、前記基準位置の動きベクトル探索範囲、および前記探索範囲決定手段によって決定された前記ずらし量だけ前記基準位置からずらした範囲を、前記動きベクトル探索範囲として決定する
ことを特徴とする請求項１記載の動きベクトル検出装置。
【請求項１８】
前記動き検出手段は、さらに、前記符号化対象ブロックで用いられる予測動きベクトル分だけ前記基準位置からずらした範囲を前記動きベクトル探索範囲として決定する
ことを特徴とする請求項１７記載の動きベクトル検出装置。
【請求項１９】
符号化対象画像に含まれる符号化対象ブロックの参照画像に対する動きベクトルを検出する動きベクトル検出方法であって、
前記符号化対象画像および前記参照画像からそれぞれ画素数を低減した縮小符号化対象画像および縮小参照画像を生成する画像縮小ステップと、
前記縮小符号化対象画像を複数の領域に分割する領域分割ステップと、
前記領域分割ステップにおいて分割された分割領域の前記縮小参照画像に対する動きベクトルである領域動きベクトルを検出する領域動きベクトル検出ステップと、
前記分割領域に含まれる前記符号化対象ブロックの動きベクトル探索範囲に関する情報を前記領域動きベクトルに基づいて決定する探索範囲決定ステップと、
前記探索範囲決定ステップにおいて決定された前記動きベクトル探索範囲に関する情報に基づいて前記符号化対象ブロックの動きベクトル探索範囲を決定し、決定した前記動きベクトル探索範囲内を探索することによって、前記符号化対象ブロックの動きベクトルを検出する動き検出ステップと
を備えることを特徴とする動きベクトル検出方法。
【請求項２０】
符号化対象画像に含まれる符号化対象ブロックの参照画像に対する動きベクトルを検出するための集積回路であって、
前記符号化対象画像および前記参照画像からそれぞれ画素数を低減した縮小符号化対象画像および縮小参照画像を生成する画像縮小手段と、
前記縮小符号化対象画像を複数の領域に分割する領域分割手段と、
前記領域分割手段によって分割された分割領域の前記縮小参照画像に対する動きベクトルである領域動きベクトルを検出する領域動きベクトル検出手段と、
前記分割領域に含まれる前記符号化対象ブロックの動きベクトル探索範囲に関する情報を前記領域動きベクトルに基づいて決定する探索範囲決定手段と、
前記探索範囲決定手段によって決定された前記動きベクトル探索範囲に関する情報に基づいて前記符号化対象ブロックの動きベクトル探索範囲を決定し、決定した前記動きベクトル探索範囲内を探索することによって、前記符号化対象ブロックの動きベクトルを検出する動き検出手段と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像をピクチャ間予測によって符号化する画像符号化装置で使用される動きベクトル検出装置および方法に関するものである。
【背景技術】
【０００２】
ＭＰＥＧ方式（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  ｉｍａｇｅ  ｃｏｄｉｎｇ  Ｅｘｐａｒｔｓ  Ｇｒｏｕｐ）のような動画像のピクチャ間相関を利用した画像圧縮方式では、動き補償を行うブロック単位で動きベクトルの検出が必要である。精度の高い動きベクトルを検出するには、探索範囲を広げることで動きベクトルの検出精度を高める方法が一般的である。しかしながら、処理量は処理ブロック数×探索範囲であるため、探索範囲を広げると処理量が増加し、かつメモリ量の増大につながる。そこで、探索範囲を広げずに動きベクトルを精度よく検出する必要がある。
【０００３】
このような探索範囲を広げずに動きベクトルを精度よく検出する方法として、過去に検出した動きベクトルの大きさとマクロブロックのタイプとから探索範囲を決定する動画像符号化装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開平１１−１１２９９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような過去に検出した動きベクトルの大きさとマクロブロックのタイプとから探索範囲を決定する場合、過去に検出した動きベクトルを記憶しておく必要があり、メモリ量が増大するという問題がある。
【０００５】
ところで、近年普及しつつある高画質ハイビジョン（ＨＤ：High Definition）画像は、標準画質（ＳＤ：standard Definition）画像に対して画素数が約６倍であるため、ＳＤ画像と同等の動きベクトル検出精度を実現するには、約６倍の処理量が必要になる。また、Ｈ．２６４規格では、動き補償サイズが７種類と多く、ＭＰＥＧ２規格の約３倍の処理量が必要となる。よって、ＨＤ画像をＨ．２６４規格で画像圧縮するためには、ＳＤ画像をＭＰＥＧ２規格で画像圧縮する倍に比べ約１８倍の処理量が必要となる。
【０００６】
そこで、本発明は上記の事情に鑑みてなされたものであり、処理量を削減しつつ、精度の高い動きベクトルを検出することができる動きベクトル検出装置および動きベクトル検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る動きベクトル検出装置は、符号化対象画像に含まれる符号化対象ブロックの参照画像に対する動きベクトルを検出する動きベクトル検出装置であって、前記符号化対象画像および前記参照画像からそれぞれ画素数を低減した縮小符号化対象画像および縮小参照画像を生成する画像縮小手段と、前記縮小符号化対象画像を複数の領域に分割する領域分割手段と、前記領域分割手段によって分割された分割領域の前記縮小参照画像に対する動きベクトルである領域動きベクトルを検出する領域動きベクトル検出手段と、前記分割領域に含まれる前記符号化対象ブロックの動きベクトル探索範囲に関する情報を前記領域動きベクトルに基づいて決定する探索範囲決定手段と、前記探索範囲決定手段によって決定された前記動きベクトル探索範囲に関する情報に基づいて前記符号化対象ブロックの動きベクトル探索範囲を決定し、決定した前記動きベクトル探索範囲内を探索することによって、前記符号化対象ブロックの動きベクトルを検出する動き検出手段とを備えることを特徴とする。これによって、領域動きベクトルに基づいて、符号化対象ブロックの動きベクトル探索範囲の広さ、動きベクトル探索範囲のずらし量、動きベクトル探索時の位置間引き量、評価値計算の間引き量等の動きベクトル探索範囲に関する情報を決定しているので、動きベクトル探索範囲を効率よく決定することができる。このため、符号化対象ブロックの動きベクトルを高い精度で検出することができる。
【０００８】
ここで、前記探索範囲決定手段は、前記動きベクトル探索範囲に関する情報として前記動きベクトル探索範囲の基準位置に対するずらし量を前記領域動きベクトルに基づいて決定し、前記動き検出手段は、前記探索範囲決定手段によって決定された前記ずらし量だけ前記基準位置からずらして前記動きベクトル探索範囲を決定してもよい。これによって、領域動きベクトルに基づいて、符号化対象ブロックの動きベクトル探索範囲のずらし量を決定しているので、動きベクトル探索範囲を効率よく決定することができる。このため、符号化対象ブロックの動きベクトルを高い精度で検出することができる。
【０００９】
また、前記動きベクトル検出装置は、さらに、前記領域動きベクトルおよび前記縮小参照画像から生成される分割領域予測画像と、前記分割領域画像との相関度を算出する相関度算出手段を備え、前記探索範囲決定手段は、前記領域動きベクトルおよび前記相関度に基づいて、前記動きベクトル探索範囲に関する情報を決定することが好ましい。これによって、領域動きベクトルと領域動きベクトルの相関度に基づいて、符号化対象ブロックの動きベクトル探索範囲の広さ、動きベクトル探索範囲のずらし量、動きベクトル探索時の位置間引き量、評価値計算の間引き量等の動きベクトル探索範囲に関する情報を決定しているので、さらに動きベクトル探索範囲を効率よく決定することができる。このため、さらに符号化対象ブロックの動きベクトルを高い精度で検出することができる。
【００１０】
また、前記探索範囲決定手段は、前記動きベクトル探索範囲に関する情報として前記動きベクトル探索範囲の基準位置に対するずらし量を前記領域動きベクトルおよび前記相関度に基づいて決定し、前記動き検出手段は、前記探索範囲決定手段によって決定された前記ずらし量だけ前記基準位置からずらして前記動きベクトル探索範囲を決定してもよい。これによって、領域動きベクトルと領域動きベクトルの相関度に基づいて、符号化対象ブロックの動きベクトル探索範囲のずらし量を決定しているので、さらに動きベクトル探索範囲を効率よく決定することができる。このため、さらに符号化対象ブロックの動きベクトルを高い精度で検出することができる。
【００１１】
また、前記探索範囲決定手段は、前記動きベクトル探索範囲に関する情報として前記動きベクトル探索範囲の広さを前記相関度に基づいて決定し、前記動き検出手段は、前記探索範囲決定手段によって決定された前記動きベクトル探索範囲の広さで前記動きベクトル探索範囲を決定してもよい。これによって、領域動きベクトルの相関度に基づいて、符号化対象ブロックの動きベクトル探索範囲の広さを決定しているので、さらに動きベクトル探索範囲を効率よく決定することができる。このため、さらに符号化対象ブロックの動きベクトルを高い精度で検出することができる。
【００１２】
また、前記探索範囲決定手段は、前記動きベクトル探索範囲に関する情報として前記動きベクトル探索範囲の広さを前記領域動きベクトルおよび前記相関度に基づいて決定し、前記動き検出手段は、前記探索範囲決定手段によって決定された前記動きベクトル探索範囲の広さで前記動きベクトル探索範囲を決定してもよい。これによって、領域動きベクトルと領域動きベクトルの相関度に基づいて、符号化対象ブロックの動きベクトル探索範囲の広さを決定しているので、さらに動きベクトル探索範囲を効率よく決定することができる。このため、さらに符号化対象ブロックの動きベクトルを高い精度で検出することができる。
【００１３】
また、前記探索範囲決定手段は、隣接する前記分割領域のそれぞれの前記相関度に応じて、前記分割領域の境界付近に位置するブロックに対する前記動きベクトル探索範囲に関する情報を補正してもよい。これによって、分割領域の境界付近に位置するブロックにおいても動きベクトル探索範囲を効率よく決定し、動きベクトルを精度よく検出することができる。
【００１４】
また、前記探索範囲決定手段は、前記動きベクトル探索範囲に関する情報として前記動きベクトル探索範囲の基準位置に対するずらし量を前記領域動きベクトルに基づいて決定し、前記動き検出手段は、前記基準位置の動きベクトル探索範囲、および前記探索範囲決定手段によって決定された前記ずらし量だけ前記基準位置からずらした範囲を、前記動きベクトル探索範囲として決定してもよい。これによって、例えば、１つずつの探索範囲を狭く設定しても、精度の高い動きベクトルを検出できる可能性の高い複数の探索範囲を探索することによって、動きベクトルを精度よく検出することができる。
【００１５】
なお、本発明は、このような動きベクトル検出装置として実現することができるだけでなく、このような動きベクトル検出装置が備える特徴的な手段をステップとする動きベクトル検出方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００１６】
本発明に係る動きベクトル検出装置および動きベクトル検出方法によれば、動きベクトル探索範囲を効率よく決定することができので、符号化対象ブロックの動きベクトルを高い精度で検出することが可能となる。これにより、動画像の符号化効率を改善することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。
【００１８】
（実施の形態１）
図１は、本発明の実施の形態１に係る動きベクトル検出装置を備えた動画像符号化装置の構成を示すブロック図である。
【００１９】
動画像符号化装置１００は、入力される動画像をブロック単位で符号化するための装置であり、図１に示すように画像縮小部１、ピクチャメモリ２、領域分割部３、領域動きベクトル検出部４、相関度算出部５、探索範囲決定部６、および符号化部７を備えている。なお、本実施の形態では、符号化部７ではＭＰＥＧ２規格に従って符号化することを前提とする。また、符号化部７で実際に行われるマクロブロック単位の動きベクトル検出は、一つの矩形領域を探索することを前提とする。
【００２０】
画像縮小部１は、符号化すべきマクロブロック（符号化対象ブロック）を含む符号化対象画像（入力画像）と、符号化対象ブロックを符号化するための動きベクトルを検出するために参照する参照画像とを受け取り、それぞれ周辺の画素を演算して画素数を低減した縮小符号化対象画像および縮小参照画像を生成する。ピクチャメモリ２には、画像縮小部１によって生成された縮小参照画像が格納される。
【００２１】
領域分割部３は、画像縮小部１によって生成された縮小符号化対象画像を複数個の領域（分割領域）に分割する。領域動きベクトル検出部４は、領域分割部３によって分割された領域ごとに、画像縮小部１によって生成された縮小参照画像に対する領域動きベクトルをそれぞれ検出する。すなわち、領域動きベクトル検出部４は、領域ごとに、その領域に最も近い、縮小参照画像に含まれる画像領域の位置を求め、この位置を示す動きベクトルを領域動きベクトルとして検出する。
【００２２】
相関度算出部５は、領域動きベクトル検出部４によって検出された領域動きベクトルの確からしさを示す指数である相関度を領域ごとに算出する。すなわち、相関度算出部５は、領域ごとに、その領域およびその領域の領域動きベクトルで示される縮小参照画像に含まれる画像値の共分散を用いて、領域動きベクトルの相関度を算出する。
【００２３】
探索範囲決定部６は、領域動きベクトル検出部４によって検出された領域動きベクトルと、相関度算出部５によって算出された領域動きベクトルの相関度に基づいて、動きベクトル探索範囲の広さ、動きベクトル探索範囲のずらし量、動きベクトル探索時の位置間引き量、評価値計算の間引き量等の動きベクトル探索範囲に関する情報を決定する。
【００２４】
図２は、動画像符号化装置１００の符号化部７の構成を示すブロック図である。
符号化部７は、動き検出部７０２、動き補償部７０３、差分演算部７０４、直交変換部７０５、量子化部７０６、逆量子化部７０７、逆直交変換部７０８、加算部７０９、ピクチャメモリ７１０、および可変長符号化部７１２を備えている。
【００２５】
入力画像は、動き検出部７０２、および差分演算部７０４に入力される。
動き検出部７０２は、探索範囲決定部６によって決定された動きベクトル探索範囲に関する情報を用いて、符号化対象ブロックの動きベクトル探索範囲を決定し、決定した動きベクトル探索範囲でピクチャメモリ７１０に格納されている参照画像を探索することによって、最も符号化対象ブロックに近い画像領域を検出してその位置を示す動きベクトルを検出する。ここで、最も符号化対象ブロックに近い画像領域は、例えば、参照画像に含まれる探索領域に存在する画素データと、符号化対象ブロックの画素データとの間の差分絶対値和を求め、差分絶対値和が最小となる画像領域である。
【００２６】
動き補償部７０３は、動き検出部７０２によって検出された動きベクトルを用いて、ピクチャメモリ７１０に格納されている復号化画像から予測画像に最適な画像領域を取り出し、予測画像を生成する。
【００２７】
一方、入力画像が入力された差分演算部７０４は、入力画像と予測画像の差分値を計算し、直交変換部７０５に出力する。直交変換部７０５は、差分値を周波数係数に変換し、量子化部７０６に出力する。量子化部７０６は、入力された周波数係数を量子化し、量子化値を可変長符号化部７１２に出力する。
【００２８】
逆量子化部７０７は、入力された量子化値を逆量子化して周波数係数に復元し、逆直交変換部７０８に出力する。逆直交変換部７０８は、周波数係数から画素差分値に逆周波数変換し、加算部７０９に出力する。加算部７０９は、画素差分値と、動き補償部７０３から出力される予測画像とを加算して復号化画像とする。可変長符号化部１１１は、量子化値および動きベクトル等を可変長符号化してストリームを出力する。
【００２９】
次に、このように構成された動きベクトル検出装置を備えた動画像符号化装置１００の動作について説明する。図３は動きベクトル探索範囲に関する情報を決定する際の動作の流れを示すフローチャートである。
【００３０】
まず、画像縮小部１は符号化対象画像を受け取る。符号化対象画像は、例えば１９２０画素×１０８０画素によって構成され、符号化すべき符号化対象ブロックを含んでいる。本実施の形態ではＭＰＥＧ２規格に従って符号化することを前提としているので、符号化対象ブロックは、１６画素×１６画素によって構成されるマクロブロックである。画像縮小部１は、符号化対象画像を縮小し、縮小符号化対象画像を生成する（ステップＳ１０１）。
【００３１】
また、画像縮小部１は、符号化部によってローカルデコードされた参照画像を受け取る。ローカルデコードされた参照画像は、符号化対象画像と同様に例えば１９２０画素×１０８０画素によって構成されている。画像縮小部１は、参照画像を縮小し、縮小参照画像を生成する。そして、画像縮小部１によって生成された縮小参照画像は、ピクチャメモリ２に格納される。
【００３２】
次に、領域分割部３は、画像縮小部１によって生成された縮小符号化対象画像を複数個の領域に分割する（ステップＳ１０２）。ここでは、例えば図４（ａ）に示すように縮小符号化対象画像を水平垂直それぞれ２分割し、領域Ａ、領域Ｂ、領域Ｃ、および領域Ｄの４個の領域に分割するものとする。
【００３３】
次に、領域動きベクトル検出部４は、領域分割部３によって分割された領域ごとに、画像縮小部１によって生成された縮小参照画像に対する領域動きベクトルをそれぞれ検出する（ステップＳ１０３）。例えば、図４（ｂ）に示すように領域Ｂの領域動きベクトルＡＭＶを検出する時、縮小参照画像と重なっている部分のみでマッチングを行って評価値を算出する。このとき、重なっている部分が狭くなると評価値が小さくなるので、これを重なっている部分の大きさで補正した値を算出する。そして、領域動きベクトル検出部４は、補正した評価値が最も小さくなる位置を求め、この位置を示す動きベクトルを領域動きベクトルＡＭＶとして検出する。なお、縮小参照画像と重なっている部分のみでマッチングを行うのではなく、例えば縮小参照画像の外の領域の画素データを補完した上で、領域全体でマッチングを行っても構わない。
【００３４】
次に、相関度算出部５は、領域動きベクトル検出部４によって検出された領域動きベクトルＡＭＶの確からしさを示す指数である相関度を領域毎に算出する（ステップＳ１０４）。すなわち、相関度算出部５は、図４（ｂ）に示すように領域動きベクトルＡＭＶの確からしさに相当する重なり部分の相関度合いを、重なり部分の共分散を求め、図４（ｃ）に示す式を用いて相関度を算出する。なお、ここでは、重なり部分の共分散を求めているが、その他の指数、例えば重なり部分の画素の差分絶対値の総和などを用いても良い。
【００３５】
次に、探索範囲決定部６は、相関度算出部５によって算出された領域動きベクトルＡＭＶの相関度が所定のしきい値より高いか否かを判定する（ステップＳ１０５）。この結果、領域動きベクトルＡＭＶの相関度が所定のしきい値より高い場合（ステップＳ１０５でＹｅｓ）、探索範囲決定部６は、領域動きベクトル検出部４によって検出された領域動きベクトルＡＭＶが所定のしきい値より大きいか否かを判定する（ステップＳ１０６）。この結果、領域動きベクトルＡＭＶが所定のしきい値より大きい場合（ステップＳ１０６でＹｅｓ）には、探索範囲決定部６は、動きベクトル探索範囲のずらし量を大きく、間引き量を小さく、探索範囲を中にするように決定する（ステップＳ１０７）。一方、領域動きベクトルＡＭＶが所定のしきい値より大きくない場合（ステップＳ１０４でＮｏ）には、探索範囲決定部６は、動きベクトル探索範囲のずらし量を小さく、間引き量を小さく、探索範囲を狭くするように決定する（ステップＳ１０８）。
【００３６】
また、領域動きベクトルの相関度が所定のしきい値より高くない場合（ステップＳ１０５でＮｏ）、探索範囲決定部６は、領域動きベクトル検出部４によって検出された領域動きベクトルＡＭＶが所定のしきい値より大きいか否かを判定する（ステップＳ１０９）。この結果、領域動きベクトルＡＭＶが所定のしきい値より大きい場合（ステップＳ１０９でＹｅｓ）には、探索範囲決定部６は、動きベクトル探索範囲のずらし量を中に、間引き量を大きく、探索範囲を広くするように決定する（ステップＳ１１０）。一方、領域動きベクトルＡＭＶが所定のしきい値より大きくない場合（ステップＳ１０９でＮｏ）には、探索範囲決定部６は、動きベクトル探索範囲のずらし量を小さく、間引き量を大きく、探索範囲を中にするように決定する（ステップＳ１１１）。
【００３７】
相関度が高ければ、画像の一致度合いが高く、領域動きベクトルＡＭＶの精度が高いと判断できる。そして、領域動きベクトルＡＭＶの精度が高いと符号化対象ブロックの動きベクトルにばらつきが少ないと判断できるため、上記のように、相関度が高い場合には、相関度が低い場合に比べて探索範囲を狭めに決定している。また、この場合には、間引き量を小さく決定している。一方、相関度が低ければ、画像の一致度合いが低く、領域動きベクトルＡＭＶの精度が低いと判断できる。そして、領域動きベクトルＡＭＶの精度が低いと符号化対象ブロックの動きベクトルにばらつきが多いと判断できるため、上記のように、相関度が低い場合には、相関度が高い場合に比べて探索範囲を広めに決定している。また、探索範囲を広めにした場合には処理量が増加するので、間引き量を大きく決定している。
【００３８】
なお、本実施の形態では、領域動きベクトルの大きさおよび領域動きベクトルの相関度について、それぞれ所定のしきい値より大きいか否かにより条件を２つに分け、合計４つの場合に分けて動きベクトル探索範囲に関する情報を決定しているが、これに限られるものではない。例えば、しきい値を複数設けて条件を３つ以上に分けて場合分けをさらに詳細に行っても構わない。
【００３９】
次に、上記のように決定された動きベクトル探索範囲に関する情報を用いて、決定符号化部７の動き検出部７０２が行う動きベクトル探索範囲の決定、および動きベクトル探索について説明する。
【００４０】
まず、探索範囲のずらし方について説明する。図５は動きベクトル探索範囲のずらし方について説明するための図である。
【００４１】
縮小符号化対象画像と同様に符号化対象画像を水平垂直それぞれ２分割し、４個の領域に分割する。それぞれの領域が縮小符号化対象画像の各領域Ａから領域Ｄに相当する。基準位置の探索範囲は、符号化対象ブロックを中心とした図５に示す点線で囲まれた範囲である。動き検出部７０２は、探索範囲決定部６で決定された各領域での探索範囲のずらし量Ｒの分だけ、基準位置の探索範囲からずらし、図５に示す実線で囲まれた範囲で動きベクトルを探索する。例えば、ずらし量Ｒがある場合は図５に示す領域Ａ、領域Ｂ、領域Ｃのようにそれぞれずらし量Ｒの分だけ探索範囲をずらし、ずらし量Ｒが０の場合は図５に示す領域Ｄのように基準位置の探索範囲と同じ探索範囲になる。
【００４２】
次に、動きベクトル探索範囲の広さについて説明する。図６は動きベクトル探索範囲の広さおよびずらし方について説明するための図である。
【００４３】
上記と同様、基準位置の探索範囲は、符号化対象ブロックを中心とした図６に示す点線で囲まれた範囲である。動き検出部７０２は、探索範囲決定部６で決定された各領域での動きベクトル探索範囲の広さで、基準位置の探索範囲を所定量拡大、そのまま、または所定量縮小した上で、探索範囲のずらし量Ｒ’の分だけずらし、図６に示す実線で囲まれた範囲で動きベクトルを探索する。例えば、探索範囲が広く、ずらし量Ｒ’がある場合は図６に示す領域Ａのように基準位置の探索範囲を所定量拡大し、拡大した探索範囲をずらし量Ｒ’の分だけずらす。また、探索範囲が中で、ずらし量Ｒ’がある場合は図６に示す領域Ｂのように基準位置の探索範囲をそのままの広さで、ずらし量Ｒ’の分だけ探索範囲をずらす。探索範囲が狭く、ずらし量Ｒ’がある場合は図６に示す領域Ｃのように基準位置の探索範囲を所定量縮小し、縮小した探索範囲をずらし量Ｒ’の分だけずらす。また、探索範囲が狭く、ずらし量Ｒ’が０の場合は図６に示す領域Ｄのように基準位置の探索範囲を縮小した探索範囲になる。なお、ここでは、基準位置の探索範囲を拡大縮小するとしているが、これに限られるものではなく、あらかじめ決められた探索範囲の広さにした上で、探索範囲のずらし量の分だけずらしても構わない。
【００４４】
次に、探索位置の間引き量について説明する。図７は動きベクトル探索位置の間引き量について説明するための図である。
【００４５】
探索範囲決定部６で探索範囲を広げた場合、全ての位置で評価値を算出し、動きベクトルを探索すると、探索範囲の広さに比例して処理量が増加する。処理量を抑えつつ探索範囲を広げる方法の一つとして、探索位置の間引きを行う。例えば、水平１／２間引きを行う場合、動き検出部７０２は、図７に示すように水平方向に１画素とばした位置ごとに、最初の探索位置、２番目の探索位置、３番目の探索位置、…と順に探索する。
【００４６】
次に、評価値算出の間引き量について説明する。図８は動きベクトル探索時の評価値算出の間引き量について説明するための図である。
【００４７】
動きベクトル探索時の評価値算出の間引き量も、探索位置の間引き量と目的は同じで、処理量を抑えつつ探索範囲を広げる方法の一つである。例えば、水平１／２間引きの場合、動き検出部７０２は、図８に示すように水平方向に１画素とばした位置ごとの画素データを用いて評価値を算出する。一般的には、符号化対象ブロックと探索位置とのそれぞれの画素の差分絶対値和を算出するが、図８に斜線で示す画素位置のみで差分絶対値和を算出する。
【００４８】
以上のように、本実施の形態では、領域動きベクトル検出部４によって検出された領域動きベクトルと、相関度算出部５によって検出された領域動きベクトルの相関度に基づいて、動きベクトル探索範囲の広さ、動きベクトル探索範囲のずらし量、動きベクトル探索時の位置間引き量、評価値計算の間引き量等の動きベクトル探索範囲に関する情報を決定している。よって、動きベクトル探索範囲を効率よく決定し、動きベクトルを精度よく検出することができる。
【００４９】
（実施の形態２）
上記実施の形態１では、動き検出部７０２において動きベクトルを検出する際の動きベクトル探索領域が１つの場合について説明したが、本実施の形態では、動きベクトル探索領域を複数の有する場合について説明する。
【００５０】
図９は、本発明の実施の形態２に係る動きベクトル検出装置における探索範囲の設定方法について説明するための図である。なお、構成は、実施の形態１と同様であるので、説明を省略する。
【００５１】
動き検出部７０２は、図９に示すように、符号化対象ブロック（マクロブロック）を中心とした所定の広さの矩形領域の探索範囲９１と、領域動きベクトルＡＭＶの指す位置を中心とする矩形領域の探索範囲９２とを探索する。この探索範囲９２は、実施の形態１と同様に、相関度や領域動きベクトルの大きさから探索位置の間引き量、評価値算出の間引き量、探索範囲の広さを変えることも可能である。
【００５２】
なお、ここでは、２つの探索範囲を探索する事を前提としているが、ＭＰＥＧ２規格で定められている予測ベクトルが指す位置を中心とする矩形領域を探索する事も可能である。この場合、動き検出部７０２は、図１０に示すように、符号化対象ブロック（マクロブロック）を中心とした所定の広さの矩形領域の探索範囲９１と、領域動きベクトルＡＭＶの指す位置を中心とする矩形領域の探索範囲９２とに加えて、予測ベクトルＰＭＶが指す位置を中心とする矩形領域の探索範囲９３を探索する。
【００５３】
以上のように、符号化対象ブロックを中心とした探索範囲９１と、領域動きベクトルＡＭＶに基づく探索範囲９２という複数の探索範囲を探索することによって、例えば、１つずつの探索範囲を狭く設定しても、動きベクトルを精度よく検出することができる。
【００５４】
（実施の形態３）
本実施の形態では、領域の境界部分に存在するマクロブロック（符号化対象ブロック）に対する動きベクトル探索範囲に関する情報を補正する場合について説明する。
【００５５】
図１１は、本発明の実施の形態３に係る動きベクトル検出装置における動きベクトル探索範囲に関する情報の補正方法について説明するための図である。なお、構成は、実施の形態１と同様であるので、説明を省略する。
【００５６】
探索範囲決定部６は、隣接する領域のそれぞれの相関度に応じて、領域の境界付近に位置するマクロブロックに対する動きベクトル探索範囲に関する情報を補正する。ここで、符号化対象画像の各領域Ａ〜Ｄについて、相関度の高さが図１１に示すように領域Ｂ、領域Ｄ、領域Ａ、領域Ｃの順であったとする。この場合、探索範囲決定部６は、相関度の低い側の領域にある領域の境界に存在するマクロブロックの領域動きベクトルまたは探索範囲ずらし量を相関度の高い領域の値を用いるように補正を行う。例えば、領域Ｄ、領域Ａ、および領域Ｃに含まれ、領域Ｂに隣接する領域１１１については、領域Ｂの領域動きベクトルまたは探索範囲ずらし量を用いるように補正される。また、領域Ｃに含まれ、領域Ａに隣接する領域１１２については、領域Ａの領域動きベクトルまたは探索範囲ずらし量を用いるように補正される。また、領域Ｃに含まれ、領域Ｄに隣接する領域１１３については、領域Ｄの領域動きベクトルまたは探索範囲ずらし量を用いるように補正される。
【００５７】
以上のように、領域の境界部分に存在するマクロブロックに対する動きベクトル探索範囲に関する情報を隣接する領域のそれぞれの相関度に応じて補正しているので、動きベクトル探索範囲を効率よく決定し、動きベクトルを精度よく検出することができる。
【００５８】
なお、ここでは、境界に存在する一列のマクロブロックを対象としているが、複数列のマクロブロックを対象とすることも可能である。また、相関度の差に基づいて補正するマクロブロックの数を変えても構わない。例えば、相関度が０〜１の間で設定されている場合、相関度の差が０．５以上の場合は２マクロブロック分、０．２５以上０．５未満の場合は１マクロブロック分の領域動きベクトルまたは探索範囲のずらし量を補正する。または、領域の境界近傍にあるマクロブロックの領域動きベクトルまたは探索範囲のずらし量を相関度により線形補間することで置き換えることも可能である。
【産業上の利用可能性】
【００５９】
本発明に係る動きベクトル検出装置および動きベクトル検出方法は、画面間予測を行って画像圧縮を行い、ＴＶ放送の録画やムービー等の撮影を行う用途として有用であり、例えば、パーソナルコンピュータ、ＨＤＤレコーダ、ＤＶＤレコーダ、ビデオカメラ、およびカメラ付き携帯電話機等に適用できる。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態１に係る動きベクトル検出装置を備えた動画像符号化装置の構成を示すブロック図である。
【図２】動画像符号化装置の符号化部の構成を示すブロック図である。
【図３】動きベクトル探索範囲に関する情報を決定する際の動作の流れを示すフローチャートである。
【図４】（ａ）縮小符号化対象画像の分割を示す図であり、（ｂ）領域Ｂと縮小参照画像とのマッチングを示す図であり、（ｃ）相関度を算出する式を示す図である。
【図５】動きベクトル探索範囲のずらし方について説明するための図である。
【図６】動きベクトル探索範囲の広さおよびずらし方について説明するための図である。
【図７】動きベクトル探索位置の間引き量について説明するための図である。
【図８】動きベクトル探索時の評価値算出の間引き量について説明するための図である。
【図９】本発明の実施の形態２に係る動きベクトル検出装置における探索範囲の設定方法について説明するための図である。
【図１０】本発明の実施の形態２に係る動きベクトル検出装置における他の探索範囲の設定方法について説明するための図である。
【図１１】本発明の実施の形態３に係る動きベクトル検出装置における動きベクトル探索範囲に関する情報の補正方法について説明するための図である。
【符号の説明】
【００６１】
１      画像縮小部
２      ピクチャメモリ
３      領域分割部
４      領域動きベクトル検出部
５      相関度算出部
６      探索範囲決定部
７      符号化部
１００  動画像符号化装置
７０２  動き検出部
７０３  動き補償部
７０４  差分演算部
７０５  直交変換部
７０６  量子化部
７０７  逆量子化部
７０８  逆直交変換部
７０９  加算部
７１０  ピクチャメモリ
７１２  可変長符号化部
【図１】
2007124408.tif 000003
【図２】
2007124408.tif 000004
【図３】
2007124408.tif 000005
【図４】
2007124408.tif 000006
【図５】
2007124408.tif 000007
【図６】
2007124408.tif 000008
【図７】
2007124408.tif 000009
【図８】
2007124408.tif 000010
【図９】
2007124408.tif 000011
【図１０】
2007124408.tif 000012
【図１１】
2007124408.tif 000013