(57)【要約】【課題】  ブロックサイズを事前に絞り込みすることで動き検索の演算量を大幅に低減できる動きベクトル検出装置を提供することを目的とする。【解決手段】  対象ブロックを所定のサブブロックサイズに分割して少なくとも１つの動きベクトルを検出し、対象ブロックがサブブロックに分割されたときの分割タイプと、分割されたサブブロックの動きベクトルとを動き情報として出力する動きベクトル検出装置において、分割タイプ抽出部（４１）は対象ブロックに対して既に符号化された直上の隣接ブロックと直左の隣接ブロックの分割タイプを抽出し、抽出された直上の隣接ブロックと直左の隣接ブロックの分割タイプから対象ブロックの分割タイプを推定し、対象ブロック動きベクト検出部は推定された分割タイプによって対象ブロックの動きベクトルを検出する。【選択図】  図１
2006074520.tif 000002
【特許請求の範囲】
【請求項１】
動画像符号化において対象ブロックの動きベクトルを算出する際に、当該対象ブロックを、所定のサブブロックサイズに分割して少なくとも１つの動きベクトルを検出し、前記対象ブロックがサブブロックに分割されたときの分割タイプと、分割されたサブブロックの動きベクトルとを動き情報として出力する動きベクトル検出装置であって、
前記対象ブロックに対して既に符号化された直上の隣接ブロックと直左の隣接ブロックの分割タイプを抽出する分割タイプ抽出手段と、
前記分割タイプ抽出手段で抽出された直上の隣接ブロックと直左の隣接ブロックの分割タイプから前記対象ブロックの分割タイプを推定する分割タイプ推定手段と、
前記分割タイプ推定手段で推定された分割タイプによって前記対象ブロックの動きベクトルを検出する対象ブロック動きベクト検出手段とを備える動きベクトル検出装置。
【請求項２】
前記分割タイプ推定手段は、前記対象ブロック動きベクトル検出手段によって検出された対象ブロックの動きベクトルの算出評価にもちいられた対象ブロック動きベクトル算出評価値を抽出し、当該抽出された対象ブロック動きベクトル算出評価値が所定の値を超えた場合は、前記分割タイプ推定手段で以前に推定された分割タイプを所定の分割タイプへ変更することができる分割タイプ変更手段をさらに備える請求項１に記載の動きベクトル検出装置。
【請求項３】
前記対象ブロックに対して既に符号化された直上の隣接ブロックと直左の隣接ブロックの動きベクトルを抽出する隣接ブロック動きベクトル抽出手段と、
前記分割タイプ変更手段が前記対象ブロック動きベクトル検出手段から前記対象ブロック動きベクトル算出評価値を抽出するのに代わって検出された対象ブロックの動きベクトルを抽出し、前記対象ブロックの動きベクトルと前記隣接ブロックの動きベクトルとが所定の範囲外であれば、上記分割タイプ推定手段で以前に推定された分割タイプを所定の分割タイプへ変更することができる分割タイプ推定変更手段とをさらに備える請求項１および請求項２の何れかに記載の動きベクトル検出装置。
【請求項４】
前記所定のサブブロックサイズとは、前記対象ブロック以下の大きさであることを特徴とする請求項１に記載の動きベクトル検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化技術における動きベクトル検出装置に関するものである。
【背景技術】
【０００２】
まず、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）で使用されている典型的な動画像圧縮符号化装置（エンコーダ）の全体構成例（特許文献１）について図１０を用いて簡単に説明する。動画像圧縮符号化装置は、画像データを周波数領域に変換する変換部（ＤＣＴ）１３と、変換部１３  で得られた変換係数を量子化する量子化部（Ｑ）１４と、量子化された変換係数をエントロピー符号化する可変長符号化部（ＶＬＣ）１５と、可変ビットレートの圧縮画像データを伝送レートにあわせて伝送路に供給するためのバッファ１７と、デコーダ１６と、動き予測部１９とを備える。
【０００３】
図１０に示されるように、まず画像データ１０が入力される。差分器１１は画像データ１０と、動き補償画像１２の差分値を計算する。動き補償画像１２は、既に符号化された画像を復号化し、動き予測データをもとに動き補償することによって得られる。これは、画像符号化に対応するデコーダ１６によって行われる。
【０００４】
デコーダ１６は、符号化手順を逆に行う、すなわち、逆量子化部（Ｑ-1）２０と、逆変換部（ＩＤＣＴ）２１と、によって復号化された差分データに、バッファ２２と、動き補償部２３と、で生成された動き補償画像を加算する加算器２４とで構成され、復号側で得られるものと同様の前画像を生成する。
【０００５】
なお、動き補償符号化では、対象となる画像（画像データ１０に相当）の動き補償画像は、対象となる画像と復号化した画像（バッファ２２に蓄積された復号化画像で参照画像に相当）との間での動きの予測に基づいて、対応する復号化した画像の画像データから生成される。
【０００６】
動きの予測値は、復号化した画像と対象となる画像との間の画素の変位を示す２次元動きベクトルで表現される。通常、動き予測は、ブロック単位で行われる。すなわち、復号化した画像で、対象となる画像のブロックと最も相関が高いブロックが動き補償画像とされる。この動き予測を行う動き予測部１９と、動きベクトルに対応して復号化した画像から動き補償画像を生成する動き補償部２３がエンコーダに組み込まれる。
【０００７】
図１０に示される動画像圧縮符号化装置は、次のように動作する。画像信号１０の画像は、通常、マクロブロックと呼ばれる、ある個数の小さなブロック群に分割される。たとえば、図１１に示されたピクチャ（対象となる画像）３０は、複数のマクロブロック３１  に分割される。各マクロブロックは、通常、１６×１６の画素サイズをもっている。
さらに、ピクチャは、ある個数のスライス３２に分割される。各スライスは、複数のマクロブロックからなり、データ喪失時の同期復帰の単位である。なお、１つのスライスを構成するマクロブロックの配列は、図１１に示されるように同じ行のマクロブロックのみで構成される必要は無く、複数の行のマクロブロックを包含したり、行の途中で異なるスライスの区切りを設けたりしてもよい。
【０００８】
画像中の空間的な冗長性を減少させることだけによって映像の画像データを符号化したときには、その結果得られるピクチャは、Ｉピクチャと呼ばれる。Ｉピクチャは、ピクチャ内の画素値のみを参照して符号化される。符号化されたＩピクチャは、データ量を削減するための時間的な情報が利用できないために、その符号化されたデータのサイズが大きい。
【０００９】
連続するピクチャ間に存在する時間的な冗長性を利用して効率的な圧縮を行うために、
動き予測及び補償に基づいて、連続するピクチャ間での予測符号化が行われる。動き予測
において選択された参照ピクチャが既に符号化し復号化された１つのピクチャである場合には、Ｐピクチャと呼ばれる。また、参照ピクチャが２つ（通常は表示順序が対象ピクチャに対し前方と後方）の場合には、Ｂピクチャと呼ばれる。
【００１０】
最新の動画像圧縮符号化方式であるＭＰＥＧ−４ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）、ないしはＨ．２６４と呼ばれる規格では、各１６×１６マクロブロックにおける動き補償は、異なるブロックサイズを用いて行うことができる。個々の動きベクトルは、動き補償のブロックサイズである４×４、４×８、８×４、８×８、８×１６、又は、１６×１６画素のブロックに対して、決定することができる。
【００１１】
動き補償処理においては、動き予測処理の結果に基づいて、決定された動きベクトルに基づく予測が行われる。そして、予測されたブロックから得られる予測誤差ブロックに含まれる情報は、変換部１３において、変換係数に変換される。一般に、２次元ＤＣＴ（離散コサイン変換）がよく用いられる。得られた変換係数は、量子化され、最後に、可変長符号化部１５において、エントロピー符号化（ＶＬＣ）が行われる。なお、動き予測部１９で算出された動きベクトルは、動き補償に用いられると共に、可変長符号化部１５及びバッファ１７を経て、圧縮画像データ１８に組み込まれて出力される。
【００１２】
圧縮画像データ１８の伝送ストリームはデコーダ（動画像復号化装置）に送信され、そこで、受信データに基づいて、符号化された映像画像のシーケンスが再生される。デコーダの構成は、図１０に示された動画像圧縮符号化装置が備えるデコーダ１６の構成に対応している。前述したように、最新の動画像圧縮符号化方式のＭＰＥＧ−４ＡＶＣでは、動き補償のブロックサイズとしてマクロブロックよりも小さなサイズのブロックを選択することができる。これは、マクロブロックよりも小さな物体の動きを上手く検出し、符号化効率を上げるためである。
【００１３】
図１２は、ＭＰＥＧ−４ＡＶＣにおける動き補償のブロックサイズについて示したものであり、縦１６画素×横１６画素の大きさを有するマクロブロックをどのように分割するかを示している。分割方法として、まず大きく４通りあり、それを図１２（ａ）〜（ｄ）に示している。
【００１４】
図１２（ａ）は、マクロブロックを分割せずに動き補償を行う場合（分割タイプ１）を示し、図１２（ｂ）はマクロブロックを縦１６画素×横８画素の２つのブロックに分割して動き補償を行う場合（分割タイプ２）を示し、図１２（ｃ）はマクロブロックを縦８画素×横１６画素の２つのブロックに分割して動き補償を行う場合（分割タイプ３）を示し、そして、図１２（ｄ）はマクロブロックを縦８画素×横８画素の４つのブロックに分割して動き補償を行う場合（分割タイプ４）を示している。
【００１５】
さらに、図１２（ｄ）に示す分割タイプ４の分割方法を選択する場合には、図１２（ｅ）〜（ｈ）にそれぞれ示す縦８画素×横８画素の４ブロックのそれぞれを分割する方法から選択できる。なお、図１２（ｅ）、図１２（ｆ）、図１２（ｇ）、および図１２（ｈ）に示す分割方法をそれぞれ、分割タイプ４、分割タイプ５、分割タイプ６、および分割タイプ７に対応している。
【００１６】
上述のように、ＭＰＥＧ−４ＡＶＣでは、動き補償のブロックサイズとして異なる複数のブロックサイズを選択することで符号化効率を上げることはできる。しかしながら、マクロブロッの分割タイプとしてどの分割タイプが動き補償として最適であるか決定するには、すべての分割タイプにおける動きベクトルを求めその動きベクトルにおける予測誤差などから最適な分割タイプを判定する必要がある。それゆえに、動きベクトル探索の演算量が増大する。
【００１７】
このため、ＭＰＥＧ−４ＡＶＣにおいては、以下のようにして、上述の複数分割タイプの動きベクトル検索に要する演算量の低減が図られている。例えば、先ず、より小さなブロックサイズの動きベクトルを求め、この小さなブロックサイズの動きベクトルの方向と大きさから、より大きなブロックサイズの動きベクトルを推定することで、動き検索するブロックサイズの数を減らし演算量を低減する（非特許文献１）。
【００１８】
図１３（ａ）に示すように、ブロックを４分割したサブブロック（分割タイプ４）のそれぞれの動きベクトルが非常に近い場合、それはブロック全体の動きベクトルに近似していると推定される。それゆえに、サブブロックで構成されるブロック全体（分割タイプ１）を動き補償すべきブロックサイズとして動き検索する。
【００１９】
逆に、図１３（ｂ）に示すように、４つのサブブロック（分割タイプ４）の動きベクトルにばらつきがある場合、それはブロック全体として一つの動きベクトルを指していない。それゆえに、４つのサブブロック（分割タイプ４）を動き補償すべきブロックサイズとして、そのまま４つのサブブロック（分割タイプ４）の動きベクトルを使用する。
【特許文献１】特開平５−２３６４５６号公報
【非特許文献１】清水智行、米山暁夫、柳原広昌、中島康弘：「Ｈ．２６４符号化処理における動き予測の高速化に関する一検討」情報処理学会研究報告（ＩＰＳＪ  ＳＩＧ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ）２００３−ＡＶＭ−４２（４）  ２００３／１０／３  ｐｐ．２３−２８
【発明の開示】
【発明が解決しようとする課題】
【００２０】
上述のように、ＭＰＥＧ−４ＡＶＣでは動き補償の効率を上げるため、複数のブロックサイズ（分割タイプ）による動き検索を利用できる。しかしながら、その分だけ、演算量が増大するという課題がある。これに対して、この演算量の増大を低減する手段として、より小さなブロックサイズ（例えば、分割タイプ４）の動きベクトルからより大きなブロックサイズの動きベクトルを推定し、ブロックサイズを特定する方法がある。しかしながら、その場合においても、より小さなブロックサイズの動きベクトルを求めなければならない。しかも、より小さなブロックサイズは分割されたブロック数が多いために、動き検索の演算量も多くなり、大幅な低減には至らない。
【００２１】
そこで、本発明では、マクロブロックのブロックサイズ（分割タイプ）を既に符号化された周辺マクロブロックのブロックサイズ（分割タイプ）から推定し、ブロックサイズ（分割タイプ）を事前に絞り込みすることで動き検索の演算量を大幅に低減できる動きベクトル検出装置を提供することを目的とする。
【課題を解決するための手段】
【００２２】
本発明にかかる動きベクトル検出装置は、動画像符号化において対象ブロックの動きベクトルを算出する際に、当該対象ブロックを、所定のサブブロックサイズに分割して少なくとも１つの動きベクトルを検出し、前記対象ブロックがサブブロックに分割されたときの分割タイプと、分割されたサブブロックの動きベクトルとを動き情報として出力する動きベクトル検出装置であって、
前記対象ブロックに対して既に符号化された直上の隣接ブロックと直左の隣接ブロックの分割タイプを抽出する分割タイプ抽出手段と、
前記分割タイプ抽出手段で抽出された直上の隣接ブロックと直左の隣接ブロックの分割タイプから前記対象ブロックの分割タイプを推定する分割タイプ推定手段と、
前記分割タイプ推定手段で推定された分割タイプによって前記対象ブロックの動きベクトルを検出する対象ブロック動きベクト検出手段とを備える。
【発明の効果】
【００２３】
本発明の動きベクトル検出装置によれば、動き予測しようとするマクロブロックのブロックサイズのタイプをすでに符号化された周辺マクロブロックのブロックサイズのタイプから事前に推定することで、動き検索するブロックサイズを大幅に絞り込みできるため、動き検索の演算量を大幅に低減することができる。
【発明を実施するための最良の形態】
【００２４】
各実施の形態について詳述する前に、先ず、本発明にかかる動きベクトル検出装置の基本的な概念について説明する。本発明に係る動きベクトル検出装置は、動き予測しようとする対象ブロックに対して既に符号化されたブロックの分割タイプと動きベクトルの情報を記録しておく動き情報記録部と、前記動き情報記録部から対象ブロックの直上隣接ブロックと直左隣接ブロックの分割タイプを抽出する隣接ブロック分割タイプ抽出部と、前記隣接ブロック分割タイプ抽出部から対象ブロックの分割タイプを推定する分割タイプ推定部と、前記分割タイプ推定部で推定された分割タイプで対象ブロックの動きベクトルを検出する動き予測部とを最小構成要素とする。
【００２５】
上述の最小構成要素に、前記動き情報記録部から対象ブロックの直上隣接ブロックと直左隣接ブロックの動きベクトルを抽出する隣接ブロック動きベクトル抽出部を追加し、さらに前記動き予測部で検出された対象ブロックの動きベクトルに対して前記隣接ブロック動きベクトル抽出部で抽出された隣接ブロックの動きベクトルが所定の範囲内になければ以前に推定された分割タイプを変更する手段をも備える分割タイプ推定部から成る。
【００２６】
このように構成することによって、対象ブロックに対して隣接ブロックの分割タイプから対象ブロックの最もあり得そうな分割タイプを推定し、その分割タイプにおける動きベクトルだけを検出することによって、動き検索の演算量を大幅に低減できる。また、推定された分割タイプの動きベクトルが結果的に隣接ブロックの動きベクトルと大きく異なるような場合には、以前に推定された分割ブロックとは異なる分割タイプに変更し再度動きベクトルを検出し、符号化効率がより高い（予測誤差と動きベクトル情報が小さい）と判定されれば変更された分割タイプと動きベクトルへ修正できる。
【００２７】
（第１の実施の形態）
図２、図３、図４、図５、図６、図７、図８、図９、および図１５を参照して、本発明の第１の実施の形態に係る動きベクトル検出装置について説明する。なお、図２は本発明の動きベクトル検出装置を含む動画像圧縮符号化装置全体の構成を概念的に表すブロック図であり、図３は本発明の動きベクトル検出を説明するための説明図である。図４〜図９は、本発明の核となる分割タイプの推定手段を具体的に説明した図である。そして、図１５は、動きベクトル検出装置における分割ブロック推定順序の説明図である。本実施の形態に係る動きベクトル検出装置は、上述の最小構成要素で実現される。
【００２８】
図２に示すように、本実施の形態にかかる動画像圧縮符号化装置は、上述の図１０に示した従来の典型的な動画像圧縮符号化装置に、動き検索制御部２５ａが追加されて構成されている。よって、本発明で追加された動き検索制御部２５ａに重点をおいて、本発明に固有の特徴について特に詳しく説明する。図２において、まず、画像データ１０はマクロブロック（縦１６画素×横１６画素がよく使われる）単位に分割される。以降マクロブロック単位で符号化処理が行われる。マクロブロックに分割された画像データ１０（上記で対象ブロックと呼んだものと同じ）は、差分器１１で動き補償画像１２と差分される。
【００２９】
差分された差分データは変換部１３で直交変換され、量子化部１４で量子化される。量子化された差分データの直交変換係数は、可変長符号化部１５でエントロピー符号化され、バッファ１７に一時的に蓄積され、ビットストリームとして出力される。また、量子化された差分データの直交変換係数は、逆量子化部２０で逆量子化され、逆変換部２１で逆直交変換され差分データとして復号化される。なお、このときの差分データはデータ量削減のための量子化によって非可逆処理が行われているので元の差分データではない。
【００３０】
復号化された差分データは、加算器２４によって、動き補償部２３で動き補償された動き補償画像に加算される。加算された画像はエンコーダ内のローカルデコード画像として、後の動き補償や動き予測の参照画像としてバッファ２２へ一時的に蓄積される。動き予測部１９では、これから動きベクトルを検出しようとするマクロブロックに分割された画像データ１０（対象ブロック）とバッファ２２に蓄積された参照画像との間で動きベクトルを算出する。
【００３１】
動きベクトルの算出は、以下のようにして求められる。例えば、対象ブロックに対して、参照画像の一定の範囲内における任意ブロックとの間でブロックマッチングし、ブロック間の差分絶対値和を求め、その差分絶対値和が最小となったときの参照ブロックが対象ブロックからどれだけ空間的にシフトしたかを２次元（水平、垂直）の画素値の大きさ（但し、画素間の補間を利用し１／２画素、１／４画素単位での算出も可能）で表す。このとき、動きベクトル算出の評価値として前記差分絶対値和あるいは差分二乗平方和あるいはこれら値に動きベクトルの大きさを荷重した評価値、あるいはブロック間差分データをアダマール変換後符号化したときの符号長の最小を評価値として用いる場合もある。動き予測部１９で算出された動きベクトルは、動き補償部２３へ供給され、動き補償部２３で参照画像を蓄積したバッファ２２から動きベクトルほどシフトした参照画像のブロックの画像が抽出され動き補償画像となる。
【００３２】
本発明に係る実施の形態においては、特に動き予測部１９で動きベクトルが算出されるとき、対象ブロックのブロックサイズが固定ではなく、図１２を参照して上述したように複数種類選択できる。このとき、ブロックサイズの選択が、動き検索制御部２５ａによって実施される。
図３に、動き検索制御部２５ａの詳細な構成を示す。動き検索制御部２５ａは、動き情報記録部４０と、隣接ブロック分割タイプ抽出部４１と、分割タイプ推定部４２とを含む。動き情報記録部４０には、既に符号化されたマクロブロックが、図１２で示されるようなサブブロックに分割された分割タイプの番号（１〜７）と、分割されたサブブロックの動きベクトル（水平シフトの大きさ、垂直シフトの大きさ）が予め記録されている。なお、動き情報記録部４０に記録しておく既符号化マクロブロックの範囲は、例えば、図４に示すように、これから動き予測しようとする対象ブロックの直上のマクロブロックＢから直左のマクロブロックのＡまでの１スライス分である。
【００３３】
隣接ブロック分割タイプ抽出部４１は、前記動き情報記録部４０で記録されている既に符号化されたマクロブロックから、対象ブロックの直上のマクロブロックと直左のマクロブロックの分割タイプ番号を抽出する。
【００３４】
分割タイプ推定部４２は、前記隣接ブロック分割タイプ抽出部４１から抽出された対象ブロックの直上のマクロブロックと直左のマクロブロックの分割タイプ番号から、対象ブロックの分割タイプを推定する。具体的には、図５に示す対象ブロックの分割タイプを、対象ブロックの直上のマクロブロックＢの分割タイプの番号と直左のマクロブロックの分割タイプ番号の組み合わせから推定する。これは対象ブロックと隣接ブロックの空間的な分割パターンから事前に参照テーブルにしておく。
【００３５】
例えば、対象ブロックの分割タイプとして「１」を推定する場合、図６の（ａ）、（ｂ）、（ｃ）、（ｄ）、および（ｅ）の５種類が考えられる。この場合、対象ブロックの直上のサブブロックの分割タイプと直左のサブブロックの分割タイプは、図６の（ａ）の場合（１、１）、（ｂ）の場合（３、１）、（ｃ）の場合（１、２）、（ｄ）の場合（３、１）、および（ｅ）の場合（１、２）となる。従って、参照テーブルとしては、対象ブロック分割タイプ１の選択は、（直上のサブブロックの分割タイプ、直左のサブブロックの分割タイプ）＝（１、１）、（１、２）、（３，１）の３通りになる。
【００３６】
同様に、対象ブロックの分割タイプとして「２」を推定する場合、図７の（ａ）と（ｂ）が考えられる。この場合、対象ブロックの直上のサブブロックの分割タイプと直左のサブブロックの分割タイプが、（直上のサブブロックの分割タイプ、直左のサブブロックの分割タイプ）＝（（２、２）、２）の１通りになる。
【００３７】
同様に、対象ブロックの分割タイプとして「３」を推定する場合、図８の（ａ）と（ｂ）が考えられる。この場合、対象ブロックの直上のサブブロックの分割タイプと直左のサブブロックの分割タイプが、（直上のサブブロックの分割タイプ、直左のサブブロックの分割タイプ）＝（３、（３、３））の１通りになる。
【００３８】
対象ブロックの分割タイプとして「４」を推定する場合、図９の（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）、（ｇ）、および（ｉ）が考えられる。しかしながら、「４」を指定する場合には参照テーブルは必要なく、対象ブロックの分割タイプが「１」〜「３」以外であれば「４」として推定すればよい。
【００３９】
上述の例においては、１６×１６のマクロブロックを最小８×８に分割される場合を示したが、分割タイプとして８×８が選択された場合にさらに最小４×４まで分割タイプを指定したい場合にも、上例の１６×１６を８×８に置き換えて推定すればよい。すなわち、対象ブロック分割タイプ４の選択は、（直上のサブブロックの分割タイプ、直左のサブブロックの分割タイプ）＝（４、４）、（４、５）、（６，４）の３通りである。そして、対象ブロック分割タイプ５の選択は、（直上のサブブロックの分割タイプ、直左のサブブロックの分割タイプ）＝（（５、５）、５）の１通りである。また、対象ブロック分割タイプ５の選択は、（直上のサブブロックの分割タイプ、直左のサブブロックの分割タイプ）＝（６、（６、６））の１通りである。そして、最小の４×４のブロック分割タイプ７の選択は、上記以外の場合となる。
【００４０】
但し、対象ブロック分割タイプが４より小さい分割タイプを推定するため、マクロブロック内の分割タイプ推定を、図１５に示すような順番に実行する。また、ピクチャの最上段、左端に位置するマクロブロックでは、分割タイプの推定に使用する隣接ブロックがないため、分割タイプの推定を使用せず、すべての分割タイプで動きベクトル算出の評価値を求め最小となる分割タイプを選択するか、あるいは分割タイプを、例えば、「１」として処理する。分割タイプ推定部４２は、推定された対象ブロックの分割タイプを動き予測部１９へ供給し、動き予測部１９は、当該ブロックサイズの動きベクトルを算出する。
【００４１】
以上より、第１の実施の形態においては、対象ブロックの分割タイプを隣接ブロックの分割タイプから推定し絞込みできるため、動きベクトル演算量を大幅に削減ができる。なお、上記の実施例において分割タイプの推定はソフトウエア上で実現してもよい。また、実施例ではマクロブロックのサイズや分割するブロックサイズを特定したが、別のサイズや異なる分割の仕方を用いてもよい。
【００４２】
（第２の実施の形態）
第２の実施の形態に係る動きベクトル検出装置は、上述の第１の実施の形態に係る動きベクトル検出装置の機能に加えて、推定された分割タイプが妥当であったか否か判定し、その分割タイプが妥当でなかったと判定されたときは、別の分割タイプに変更して再度動きベクトルを算出する機能を有する。そのために、動き検索制御部２５ａ（図３）が動き検索制御部２５ｂ（図１４）に交換されている。具体的には、図１４に示すように、動き検索制御部２５ｂは動き検索制御部２５ａにおいて、動き予測部１９から分割タイプ推定部４２へ直接信号線が出ている。よって、第２の実施の形態に係る動きベクトル検出装置について、上述の第１の実施の形態に係る動きベクトル検出装置と共通の部分については説明を省略し、異なる部分、特に動き検索制御部２５ｂについてのみ説明する。
【００４３】
動き検索制御部２５ｂにおいては、動き情報記録部４０から隣接ブロックの分割タイプが隣接ブロック分割タイプ抽出部４１で抽出され、分割タイプ推定部４２へ供給され、分割タイプ推定部４２で第１の実施の形態と同様に対象ブロックの分割タイプが推定される。分割タイプ推定部４２で推定された分割タイプは動き予測部１９へ供給され、動き予測部１９で推定された分割タイプ（サブブロック）の動きベクトルが算出される。
【００４４】
動き予測部１９で推定された分割タイプ（サブブロック）の動きベクトルの算出の評価に用いた算出評価値、例えば、前記差分絶対値和あるいは差分二乗平方和あるいはこれら値に動きベクトルの大きさを荷重した評価値、あるいはブロック間差分データをアダマール変換後符号化したときの符号長を、動きベクトル算出評価値として、分割タイプ推定部４２が抽出し、所定の値を超えた場合は推定された分割タイプが最適でないと判定し、以前に推定された分割タイプと異なる分割タイプを推定して、再度動き予測部１９へ供給する。
【００４５】
所定の値としては、例えば、以前推定された分割タイプと同じ分割タイプの直左ブロックの動きベクトル算出評価値に所定の値を荷重した値が設定される。直左ブロックに同じ分割タイプがない場合、例えば、図６の（ｃ）のような場合は、以前推定された分割タイプと同じサイズにしたと想定し、この場合、２倍の値を直左ブロックの動きベクトル算出評価値とする。分割タイプの変更の候補としては、例えば、以前の分割タイプが「１」、「２」あるいは「３」であれば「４」を、「４」であれば「１」を選択する。
【００４６】
以上、本実施の形態では、一旦推定された分割タイプが妥当であったか否か判定し、妥当でないと判定された場合、別の分割タイプに変更して再度動きベクトルを算出することで符号化効率を上げることができる。なお、変更された分割タイプで動きベクトルを算出しそのときの算出評価値を、分割タイプ推定部４２で再度抽出し初回の動きベクトル算出評価値と比べ大となった場合、初回の分割タイプの動きベクトルを選択するようにしてもよい。この場合、初回の分割タイプの動きベクトルと動きベクトル算出評価値を保持するメモリを別途設ける。なお、上記の実施例において分割タイプの推定はソフトウエア上で実現してもよい。
【００４７】
（第３の実施形態）
第３の実施の形態においては、第２の実施の形態と同様に、推定された分割タイプが妥当であったか否か判定し、その分割タイプが妥当でなかったと判定されたときは、別の分割タイプに変更して再度動きベクトルを算出する機能を有する。そのために、動き検索制御部２５ｂ（図１４）が動き検索制御部２５ｃ（図１）に交換されている。具体的には、図１に示すように、動き検索制御部２５ｃは動き検索制御部２５ｂにおいて、動き情報記録部４０と分割タイプ推定部４２の間に、隣接ブロック動きベクトル抽出部４３が追加されている。よって、第３の実施の形態に係る動きベクトル検出装置について、上述の第２の実施の形態に係る動きベクトル検出装置と共通の部分については説明を省略し、異なる部分、特に隣接ブロック動きベクトル抽出部４３についてのみ説明する。
【００４８】
動き検索制御部２５ｃにおいて、動き情報記録部４０から隣接ブロックの分割タイプが隣接ブロック分割タイプ抽出部４１で抽出され、分割タイプ推定部４２へ供給され、分割タイプ推定部４２で第１の実施の形態と同様に対象ブロックの分割タイプが推定される。
【００４９】
分割タイプ推定部４２で推定された分割タイプは動き予測部１９へ供給され、動き予測部１９で推定された分割タイプ（サブブロック）の動きベクトルが算出される。動き情報記録部４０から隣接ブロック動きベクトルが隣接ブロック動きベクトル抽出部４３によって抽出される。隣接ブロック動きベクトル抽出部４３によって抽出された隣接ブロック動きベクトルは分割タイプ推定部４２へ供給される。またこのとき同時に、動き予測部１９から分割タイプ推定部４２への結線において、動き予測部１９で算出した前記推定された分割タイプ（サブブロック）の動きベクトルが、分割タイプ推定部４２へ推定結果（推定された分割タイプの動きベクトル）をフィードバックするように供給される。
【００５０】
分割タイプ推定部４２は、動き予測部１９からフィードバックされた推定された分割タイプの動きベクトルと、隣接ブロック動きベクトル抽出部４３から供給された隣接ブロック動きベクトルを比較し、推定された分割タイプの動きベクトルと隣接ブロック動きベクトル抽出部４３から供給された隣接ブロック動きベクトルが所定の範囲内にないときは、推定された分割タイプが最適でないと判定し、以前に推定された分割タイプと異なる分割タイプを推定して、再度動き予測部１９へ供給する。
【００５１】
所定の範囲としては、隣接ブロック動きベクトル抽出部４３から供給された隣接ブロック動きベクトルと大きく方向およびあるいはサイズが異なる場合、例えば、隣接ブロックの動きベクトルの何れかと９０度以上異なる方向およびあるいは大きさ２倍以上の異なるような場合、分割タイプを変更し動き予測部１９へ供給する。分割タイプの変更の候補としては、例えば、以前の分割タイプが「１」、「２」あるいは「３」であれば「４」を、「４」であれば「１」を選択する。
【００５２】
上述のように、本実施の形態においては、一旦推定された分割タイプが妥当であったか否か判定し、妥当でないと判定された場合、別の分割タイプに変更して再度動きベクトルを算出することで符号化効率を上げることができる。なお、変更された分割タイプで動きベクトルを再度検出し、それを分割タイプ推定部４２へフィードバックした結果が、初回の分割タイプの動きベクトルよりも隣接ブロックの動きベクトルと異なる場合は、初回の分割タイプの動きベクトルを選択してもよい。この場合、初回の分割タイプの動きベクトルを保持するメモリを別途設ける。なお、上記の実施例において分割タイプの推定はソフトウエア上で実現してもよい。
【００５３】
上述のように、本発明に係る動きベクトル検出装置は、動画像符号化において対象ブロックの動きベクトルを算出する際に、対象ブロックを、所定のサブブロックサイズに分割して少なくとも１つの動きベクトルを検出し、対象ブロックがサブブロックに分割されたときの分割タイプと、分割されたサブブロックの動きベクトルとを動き情報として出力する機能を有する。そして、第１の実施の形態に係る動きベクトル検出装置は、対象ブロックに対して既に符号化された直上の隣接ブロックと直左の隣接ブロックの分割タイプを抽出する分割タイプ抽出部と、分割タイプ抽出部で抽出された直上の隣接ブロックと直左の隣接ブロックの分割タイプから対象ブロックの分割タイプを推定する分割タイプ推定部と、分割タイプ推定部で推定された分割タイプによって対象ブロックの動きベクトルを検出する対象ブロック動きベクト検出部とを備える。これにより、対象ブロックの分割タイプを絞込みできるため、動きベクトル演算量の大幅削減効果が得られる。
【００５４】
第２の実施の形態に係る動きベクトル検出装置は、第１の実施の形態に係る動きベクトル検出装置に対して、分割タイプ推定部は対象ブロック動きベクトル検出部によって検出された対象ブロックの動きベクトルの算出評価にもちいられた対象ブロック動きベクトル算出評価値を抽出し、抽出された対象ブロック動きベクトル算出評価値が所定の値を超えた場合は、分割タイプ推定部で以前に推定された分割タイプを所定の分割タイプへ変更することができる分割タイプ推定変更部をさらに備える。これにより、分割タイプ推定部で以前に推定された分割タイプで検出した動きベクトルが、動き予測誤差が所定の大きさよりも大きい場合は、より良い分割タイプへ変更することで、符号化効率を上げることができる。
【００５５】
第３の実施の形態に係る動きベクトル検出装置は、第２の実施の形態に係る動きベクトル検出装置に対して、対象ブロックに対して既に符号化された直上の隣接ブロックと直左の隣接ブロックの動きベクトルを抽出する隣接ブロック動きベクトル抽出部と、分割タイプ変更部が対象ブロック動きベクトル検出部から対象ブロック動きベクトル算出評価値を抽出するのに代わって検出された対象ブロックの動きベクトルを抽出し、対象ブロックの動きベクトルと隣接ブロックの動きベクトルとが所定の範囲外であれば、上記分割タイプ推定部で以前に推定された分割タイプを所定の分割タイプへ変更することができる分割タイプ推定変更部とをさらに備える。これにより、分割タイプ推定部で以前に推定された分割タイプで検出した動きベクトルが、隣接ブロックの動きベクトルと大きく異なる場合は、より良い分割タイプへ変更することで、符号化効率を上げることができる。
【産業上の利用可能性】
【００５６】
本発明は、動画像符号化技術、特にＭＰＥＧ−４  ＡＶＣの動きベクトル検出装置および方法として大幅に動き検索を低減できるため実用化を容易にし、特に、モバイルＡＶ機器など演算量を削減し消費電力を抑えなければならない機器の動画像符号化の動きベクトル検出装置として利用できる。
【図面の簡単な説明】
【００５７】
【図１】本発明の第３の実施の形態に係る動きベクトル検出装置における動き検索制御部の構成を示すブロック図
【図２】本発明の第１の実施の形態に係る動きベクトル検出装置が組み込まれた動画像圧縮符号化装置の構成を表すブロック図
【図３】本発明の第１の実施の形態に係る動きベクトル検出装置における動き検索制御部の構成を示すブロック図
【図４】図２に示した動きベクトル検出装置における動き予測の対象ブロックと動き予測に使用する隣接ブロックのピクチャ内での空間的な配置例の説明図
【図５】動きベクトル検出装置における動き予測の対象ブロックと動き予測に使用する隣接ブロックの空間的な配置関係の説明図
【図６】図２に示した動きベクトル検出装置における動き予測の対象ブロックのブロックタイプを隣接ブロックのブロックタイプから推定する場合の説明図
【図７】図２に示した動きベクトル検出装置における動き予測の対象ブロックのブロックタイプを隣接ブロックのブロックタイプから推定する場合の説明図
【図８】図２に示した動きベクトル検出装置における動き予測の対象ブロックのブロックタイプを隣接ブロックのブロックタイプから推定する場合の説明図
【図９】図２に示した動きベクトル検出装置における動き予測の対象ブロックのブロックタイプを隣接ブロックのブロックタイプから推定する場合の説明図
【図１０】従来の典型的な動画像圧縮符号化装置の構成を示すブロック図
【図１１】図１０に示した従来の動画像圧縮符号化におけるピクチャの構成単位についての説明図
【図１２】ＭＰＥＧ−４ＡＶＣにおける動き補償のブロックサイズの説明図
【図１３】対象ブロックが複数のブロックサイズで動き予測できる場合に、より小さなブロックサイズの動きベクトルからより大きなブロックサイズの動きベクトルを推定する方法の説明図
【図１４】本発明の第２の実施の形態に係る動きベクトル検出装置における動き検索制御部の構成を示すブロック図
【図１５】本発明の第３の実施の形態に係る動きベクトル検出装置における分割ブロック推定順序の説明図
【符号の説明】
【００５８】
１０  画像データ
１１  差分器
１２  動き補償画像
１３  直交変換部
１４  量子化部
１５  可変長符号化部
１６  デコーダ
１７  バッファ
１８  ビットストリーム
１９  動き予測部
２０  逆量子化部
２１  逆直交変換部
２２  バッファ
２３  動き補償部
２４  加算器
２５ａ、２５ｂ、２５ｃ  動き検索制御部
３０  ピクチャ
３１  マクロブロック
３２  スライス
４０  動き情報記録部
４１  隣接ブロック分割タイプ抽出部
４２  分割タイプ制御部
４３  隣接ブロック動きベクトル抽出部
【図１】
2006074520.tif 000003
【図２】
2006074520.tif 000004
【図３】
2006074520.tif 000005
【図４】
2006074520.tif 000006
【図５】
2006074520.tif 000007
【図６】
2006074520.tif 000008
【図７】
2006074520.tif 000009
【図８】
2006074520.tif 000010
【図９】
2006074520.tif 000011
【図１０】
2006074520.tif 000012
【図１１】
2006074520.tif 000013
【図１２】
2006074520.tif 000014
【図１３】
2006074520.tif 000015
【図１４】
2006074520.tif 000016
【図１５】
2006074520.tif 000017