(57)【要約】【課題】  画質、符号化効率の向上に寄与しつつ、画像符号化処理の演算量を削減し、高速化、低消費電力化を図ることができる動きベクトル検出装置および動きベクトル検出方法を提供する。【解決手段】  動きベクトル検出装置は、縮小符号化対象画像と縮小参照画像とを生成する縮小画像生成部１と、縮小符号化対象画像を複数個の領域に分割し、縮小分割領域画像を生成する領域分割部３と、縮小分割領域画像の領域動きベクトルを検出する領域動きベクトル検出部４と、領域動きベクトルの信頼度を算出する信頼度算出部５と、領域動きベクトルの大きさと領域動きベクトルの信頼度に基づいて符号化対象ブロックのサイズの候補を絞り込むブロックサイズ絞り込み部６とを備える。【選択図】        図１
2007060164.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象画像に含まれる符号化対象ブロックのサイズを複数のサイズの候補の中から選択し、選択したサイズで動きベクトルを検出する動きベクトル検出装置であって、
前記符号化対象画像を、少なくとも1つの領域に分割し、分割領域画像を生成する領域分割手段と、
前記符号化対象ブロックの動きベクトルを検出するための参照画像と前記領域分割手段によって生成された前記分割領域画像とを用いて、前記分割領域画像の動きベクトルを検出し、領域動きベクトルとする領域動きベクトル検出手段と、
前記領域動きベクトル検出手段によって検出された前記領域動きベクトルと前記参照画像とから生成される分割領域予測画像と、前記領域分割手段によって生成された前記分割領域画像とに基づいて、前記領域動きベクトルの信頼度を算出する信頼度算出手段と、
前記領域動きベクトル検出手段によって検出された前記領域動きベクトルの大きさと、前記信頼度算出手段によって算出された前記領域動きベクトルの信頼度とがしきい値以上である場合に、前記分割領域画像に含まれる前記符号化対象ブロックの前記サイズの候補を絞り込むブロックサイズ絞り込み手段と、
前記ブロックサイズ絞り込み手段によって絞り込まれた前記サイズの候補を用いて、前記符号化対象ブロックの動きベクトルを検出する動きベクトル検出手段と
を備えることを特徴とする動きベクトル検出装置。
【請求項２】
前記動きベクトル検出装置は、さらに、
前記符号化対象画像から周辺の画素を演算して画素数を低減した縮小符号化対象画像を生成するとともに、前記参照画像に基づいて周辺の画素を演算して画素数を低減した縮小参照画像を生成する縮小画像生成手段を備え、
前記領域分割手段は、前記縮小画像生成手段によって縮小された前記縮小符号化対象画像を前記領域に分割し、前記分割領域画像を生成し、
前記領域動きベクトル検出手段は、前記縮小画像生成手段によって縮小された前記縮小参照画像と前記領域分割手段によって生成された前記分割領域画像とに基づいて、前記分割領域画像の動きベクトルを検出し、前記領域動きベクトルとする
ことを特徴とする請求項１記載の動きベクトル検出装置。
【請求項３】
前記縮小画像生成手段は、前記符号化対象画像を構成する画素数に応じて前記符号化対象画像および前記参照画像の縮小率を変更する
ことを特徴とする請求項２記載の動きベクトル検出装置。
【請求項４】
前記縮小画像生成手段は、前記参照画像に対応する入力画像から前記縮小参照画像を生成する
ことを特徴とする請求項２記載の動きベクトル検出装置。
【請求項５】
前記領域分割手段は、前記符号化対象画像をあらかじめ設定されたサイズで複数個の前記領域に分割する
ことを特徴とする請求項１記載の動きベクトル検出装置。
【請求項６】
前記領域分割手段は、前記参照画像または前記符号化対象画像の前の画像が有する動きベクトルに基づいて、前記符号化対象画像を前記領域に分割する
ことを特徴とする請求項１記載の動きベクトル検出装置。
【請求項７】
前記領域分割手段は、前記参照画像または前記符号化対象画像の前の画像が有する動きベクトルに基づいて、前記領域の数を可変に分割する
ことを特徴とする請求項６記載の動きベクトル検出装置。
【請求項８】
前記領域分割手段は、前記参照画像または前記符号化対象画像の前の画像が有する動きベクトルに基づいて、前記領域の大きさを可変に分割する
ことを特徴とする請求項６記載の動きベクトル検出装置。
【請求項９】
前記ブロックサイズ絞り込み手段は、前記符号化対象画像を構成する画素数に応じて、前記サイズの候補となるサイズを変更する
ことを特徴とする請求項１記載の動きベクトル検出装置。
【請求項１０】
前記ブロックサイズ絞り込み手段は、前記領域動きベクトルの大きさが所定のしきい値以上で、かつ前記領域動きベクトルの信頼度が所定のしきい値以上である場合に、前記サイズの候補の中で最も大きいサイズに絞り込む
ことを特徴とする請求項１記載の動きベクトル検出装置。
【請求項１１】
前記動きベクトル検出装置は、さらに、
前記領域動きベクトル検出手段によって検出された前記領域動きベクトルの大きさと、前記信頼度算出手段によって算出された前記領域動きベクトルの信頼度との少なくとも１つがしきい値未満である場合に、前記分割領域画像に含まれる前記符号化対象ブロックに対して、前記サイズの候補の中で最も大きいブロックサイズから順に前記符号化対象ブロックの動きベクトルの検出を行い、検出された動きベクトルの大きさが所定のしきい値以上であれば、前記符号化対象ブロックのサイズを当該ブロックサイズに決定するブロックサイズ決定手段を備える
ことを特徴とする請求項１記載の動きベクトル検出装置。
【請求項１２】
前記動きベクトル検出装置は、さらに、
前記ブロックサイズ絞り込み手段によって絞り込まれた前記サイズの候補の中で最も大きいブロックサイズから順に前記符号化対象ブロックの動きベクトルの検出を行い、検出された動きベクトルの大きさが所定のしきい値以上であれば、前記符号化対象ブロックのサイズを当該ブロックサイズに決定するブロックサイズ決定手段を備える
ことを特徴とする請求項１記載の動きベクトル検出装置。
【請求項１３】
前記ブロックサイズ決定手段は、大きさが同じで形状の異なるブロックサイズにおいて、検出された動きベクトルの大きさが両方とも所定のしきい値より大きい場合、前記符号化対象ブロックのサイズを、前記動きベクトル検出時に用いた評価値が高いブロックサイズに決定する
ことを特徴とする請求項１１または請求項１２記載の動きベクトル検出装置。
【請求項１４】
符号化対象画像に含まれる符号化対象ブロックのサイズを複数のサイズの候補の中から選択し、選択したサイズで動きベクトルを検出する動きベクトル検出方法であって、
前記符号化対象画像を、少なくとも1つの領域に分割し、分割領域画像を生成する領域分割ステップと、
前記符号化対象ブロックの動きベクトルを検出するための参照画像と前記領域分割ステップにおいて生成された前記分割領域画像とを用いて、前記分割領域画像の動きベクトルを検出し、領域動きベクトルとする領域動きベクトル検出ステップと、
前記領域動きベクトル検出ステップにおいて検出された前記領域動きベクトルと前記参照画像とから生成される分割領域予測画像と、前記領域分割ステップにおいて生成された前記分割領域画像とに基づいて、前記領域動きベクトルの信頼度を算出する信頼度算出ステップと、
前記領域動きベクトル検出ステップにおいて検出された前記領域動きベクトルの大きさと、前記信頼度算出ステップにおいて算出された前記領域動きベクトルの信頼度との少なくとも１つがしきい値以上である場合に、前記分割領域画像に含まれる前記符号化対象ブロックの前記サイズの候補を絞り込むブロックサイズ絞り込みステップと、
前記ブロックサイズ絞り込みステップにおいて絞り込まれた前記サイズの候補を用いて、前記符号化対象ブロックの動きベクトルを検出する動きベクトル検出ステップと
を含むことを特徴とする動きベクトル検出方法。
【請求項１５】
符号化対象画像に含まれる符号化対象ブロックのサイズを複数のサイズの候補の中から選択し、選択したサイズで動きベクトルを検出するための集積回路であって、
前記符号化対象画像を、少なくとも1つの領域に分割し、分割領域画像を生成する領域分割手段と、
前記符号化対象ブロックの動きベクトルを検出するための参照画像と前記領域分割手段によって生成された前記分割領域画像とを用いて、前記分割領域画像の動きベクトルを検出し、領域動きベクトルとする領域動きベクトル検出手段と、
前記領域動きベクトル検出手段によって検出された前記領域動きベクトルと前記参照画像とから生成される分割領域予測画像と、前記領域分割手段によって生成された前記分割領域画像とに基づいて、前記領域動きベクトルの信頼度を算出する信頼度算出手段と、
前記領域動きベクトル検出手段によって検出された前記領域動きベクトルの大きさと、前記信頼度算出手段によって算出された前記領域動きベクトルの信頼度との少なくとも１つがしきい値以上である場合に、前記分割領域画像に含まれる前記符号化対象ブロックの前記サイズの候補を絞り込むブロックサイズ絞り込み手段と、
前記ブロックサイズ絞り込み手段によって絞り込まれた前記サイズの候補を用いて、前記符号化対象ブロックの動きベクトルを検出する動きベクトル検出手段と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化対象画像に含まれる符号化対象ブロックの動きベクトルを検出する動きベクトル検出装置に関するものである。
【背景技術】
【０００２】
半導体技術等の進歩によって、画像を圧縮するための符号化技術が家庭用のビデオ記録機器に導入されている。特に、画像を表す複数のピクチャ間の動きベクトルを利用したＭＰＥＧ２、ＭＰＥＧ４等の符号化技術が広く利用されている。
【０００３】
このよう符号化技術を利用した動きベクトル検出装置においては、ピクチャ間の動きベクトルをブロックごとに検出する。特に、Ｈ．２６４／ＭＰＥＧ４  ＡＶＣでは複数のブロックサイズから最も効率の良いブロックサイズを選択することが可能である（例えば、非特許文献１参照）。このため、１６×１６の固定ブロックサイズで符号化していた従来の符号化方式に比べて、符号化対象画像の特性に応じた符号化が可能であり、高効率な画像圧縮が可能である。
【０００４】
図１０に示す通り、Ｈ．２６４／ＭＰＥＧ４  ＡＶＣにおいては符号化対象画像に含まれる１６×１６画素の各マクロブロックは１６×１６、１６×８、８×１６、もしくは８×８のいずれかのＭＣブロックに分割され、それぞれ独立に動きベクトル、及び参照画像を持つことが可能である。さらに、８×８のＭＣブロックの場合は、そのブロックを８×８、８×４、４×８、もしくは４×４のいずれかのサブＭＣブロックに分割することが可能である。
【０００５】
このため従来の動きベクトル検出装置では、符号化対象画像が入力されると、各マクロブロックに対して４通りのＭＣブロックについて動きベクトル検出を行い、参照画像と検出された動きベクトルとから予想された予測画像の予測誤差（絶対値差分和）を計算し、予測誤差の最も小さいものをＭＣブロックのブロックサイズとして選択していた。さらに選択されたブロックサイズが８×８である場合は、４通りのサブＭＣブロックについて動きベクトル検出を行い、予測誤差を計算する。そして、予測誤差の最も小さいものをサブＭＣブロックのブロックサイズとして選択していた。
【０００６】
また、動き補償を施すブロックサイズを画像に含まれるエッジ情報に基づいて可変にする動き補償のブロックサイズ決定方法が提案されている（例えば、特許文献１参照）。この動き補償のブロックサイズ決定方法では、画面を複数の小ブロックに区切り、この小ブロック中のエッジの個数を求め、エッジの個数がしきい値より小さければ、エッジの個数がしきい値より大きくなるまで小ブロックを結合して大きいブロックにしてゆくことにより、動き補償のブロックサイズを決定している。
【非特許文献１】矢ヶ崎陽一、外３名著「次世代動画像符号化方式  ＭＰＥＧ４  ＡＶＣ／Ｈ．２６４」  株式会社トリケップス発行  ２００４年３月１２日
【特許文献１】特開平１−６９１８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記に示すようにＨ．２６４／ＭＰＥＧ４  ＡＶＣでは、高効率な画像圧縮を行なうために複数のブロックサイズ（ＭＣブロックサイズとして４候補、サブＭＣブロックサイズとして４候補）について、動きベクトル検出を行い、最適な予測方法を選択するため、符号化のための演算量が増加し、演算負荷、消費電力が大きくなるという課題がある。
【０００８】
ところで、人間の視覚特性として、ピクチャ間の動きの大きい部分では、静止している部分に比べてブロックノイズなどの画質劣化が目立ちにくいという特性がある。よって、画質劣化が目立ちにくい部分では、大きいブロックサイズを選択し、符号量を抑えることが考えられる。しかしながら、上記に示すように動き補償のブロックサイズ決定方法では、ピクチャ間の動きには関係なく、エッジの個数に応じて小ブロックを結合して大きいブロックにしているので、ピクチャ間の動きの大きい部分であっても小さいブロックサイズが選択される可能性が大きくなる。そして、小さいブロックサイズが選択されると、符号量が多くなるという課題がある。
【０００９】
そこで、本発明はかかる問題を解決するためになされたものであり、画質、符号化効率の向上に寄与しつつ、画像符号化処理の演算量を削減し、高速化、低消費電力化を図ることができる動きベクトル検出装置および動きベクトル検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明に係る動きベクトル検出装置は、符号化対象画像に含まれる符号化対象ブロックのサイズを複数のサイズの候補の中から選択し、選択したサイズで動きベクトルを検出する動きベクトル検出装置であって、前記符号化対象画像を、少なくとも1つの領域に分割し、分割領域画像を生成する領域分割手段と、前記符号化対象ブロックの動きベクトルを検出するための参照画像と前記領域分割手段によって生成された前記分割領域画像とを用いて、前記分割領域画像の動きベクトルを検出し、領域動きベクトルとする領域動きベクトル検出手段と、前記領域動きベクトル検出手段によって検出された前記領域動きベクトルと前記参照画像とから生成される分割領域予測画像と、前記領域分割手段によって生成された前記分割領域画像とに基づいて、前記領域動きベクトルの信頼度を算出する信頼度算出手段と、前記領域動きベクトル検出手段によって検出された前記領域動きベクトルの大きさと、前記信頼度算出手段によって算出された前記領域動きベクトルの信頼度とがしきい値以上である場合に、前記分割領域画像に含まれる前記符号化対象ブロックの前記サイズの候補を絞り込むブロックサイズ絞り込み手段と、前記ブロックサイズ絞り込み手段によって絞り込まれた前記サイズの候補を用いて、前記符号化対象ブロックの動きベクトルを検出する動きベクトル検出手段とを備えることを特徴とする。
【００１１】
これによって、最適なブロックサイズを決定する処理を簡略化することができる。このため、動きベクトルを検出するための演算量、および消費電力を削減することができる。
【００１２】
ここで、前記動きベクトル検出装置は、さらに、前記符号化対象画像から周辺の画素を演算して画素数を低減した縮小符号化対象画像を生成するとともに、前記参照画像に基づいて周辺の画素を演算して画素数を低減した縮小参照画像を生成する縮小画像生成手段を備え、前記領域分割手段は、前記縮小画像生成手段によって縮小された前記縮小符号化対象画像を前記領域に分割し、前記分割領域画像を生成し、前記領域動きベクトル検出手段は、前記縮小画像生成手段によって縮小された前記縮小参照画像と前記領域分割手段によって生成された前記分割領域画像とに基づいて、前記分割領域画像の動きベクトルを検出し、前記領域動きベクトルとしてもよい。これによって、領域動きベクトルを検出するための演算量を抑制することができる。
【００１３】
また、前記縮小画像生成手段は、前記符号化対象画像を構成する画素数に応じて前記符号化対象画像および前記参照画像の縮小率を変更してもよい。これによって、例えば、符号化対象画像を構成する画素数が多ければ多いほど縮小率を大きくし、符号化ピクチャを構成する画素数が少なければ少ないほど縮小率を小さくする等で、動きベクトルを検出するための演算量を調整することができる。また、縮小率を調整することによって、複数の画面サイズまたはフレームレートを有する入力画像に対しても、動きベクトル検出装置が有する演算能力に最適な検出処理を実現することができる。
【００１４】
また、前記動きベクトル検出装置は、さらに、前記領域動きベクトル検出手段によって検出された前記領域動きベクトルの大きさと、前記信頼度算出手段によって算出された前記領域動きベクトルの信頼度との少なくとも１つがしきい値未満である場合に、前記分割領域画像に含まれる前記符号化対象ブロックに対して、前記サイズの候補の中で最も大きいブロックサイズから順に前記符号化対象ブロックの動きベクトルの検出を行い、検出された動きベクトルの大きさが所定のしきい値以上であれば、前記符号化対象ブロックのサイズを当該ブロックサイズに決定するブロックサイズ決定手段を備えてもよい。
【００１５】
また、前記動きベクトル検出装置は、さらに、前記ブロックサイズ絞り込み手段によって絞り込まれた前記サイズの候補の中で最も大きいブロックサイズから順に前記符号化対象ブロックの動きベクトルの検出を行い、検出された動きベクトルの大きさが所定のしきい値以上であれば、前記符号化対象ブロックのサイズを当該ブロックサイズに決定するブロックサイズ決定手段を備えてもよい。
【００１６】
これによって、条件を満たした時点でブロックサイズを決定しているので、最適なブロックサイズを決定する処理を簡略化することができる。このため、動きベクトルを検出するための演算量、および消費電力を削減することができる。
【００１７】
なお、本発明は、このような動きベクトル検出装置として実現することができるだけでなく、このような動きベクトル検出装置が備える特徴的な手段をステップとする動きベクトル検出方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００１８】
本発明に係る動きベクトル検出装置および動きベクトル検出方法によれば、動きベクトル検出処理の演算量、および消費電力を削減することができる。さらに、符号化効率の向上、高速化、および低消費電力化を実現することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。
【００２０】
（実施の形態１）
図１は、本発明の実施の形態１に係る動きベクトル検出装置を備えた動画像符号化装置の構成を示すブロック図である。
【００２１】
動画像符号化装置１００は、入力される動画像をブロック単位で符号化するための装置であり、図１に示すように縮小画像生成部１、ピクチャメモリ２、領域分割部３、領域動きベクトル検出部４、信頼度算出部５、ブロックサイズ絞り込み部６、および符号化部７を備えている。
【００２２】
縮小画像生成部１は、符号化すべき符号化対象ブロックを含む符号化対象画像と、符号化対象ブロックを符号化するための動きベクトルを検出するために参照する参照画像とを受け取り、符号化対象画像の周辺の画素を演算して画素数を低減した縮小符号化対象画像と、参照画像の周辺の画素を演算して画素数を低減した縮小参照画像とを生成する。
【００２３】
ピクチャメモリ２には、縮小画像生成部１によって生成された縮小参照画像が格納される。
【００２４】
領域分割部３は、縮小画像生成部１によって生成された縮小符号化対象画像を複数個の領域に分割し、縮小分割領域画像を生成する。
【００２５】
領域動きベクトル検出部４は、縮小画像生成部１によって生成された縮小参照画像に含まれる探索領域に存在する画素データに基づいて、領域分割部３によって生成された縮小分割領域画像の領域動きベクトルを検出する。
【００２６】
信頼度算出部５は、縮小画像生成部１によって生成された縮小参照画像と領域動きベクトル検出部４によって検出された領域動きベクトルとから生成される縮小分割領域予測画像と、領域分割部３によって生成された縮小分割領域画像とに基づいて、領域動きベクトルの信頼度を算出する。
【００２７】
ブロックサイズ絞り込み部６は、領域動きベクトル検出部４によって検出された領域動きベクトルと、信頼度算出部５によって算出された領域動きベクトルの信頼度に基づいて、符号化対象ブロックのサイズの候補を絞り込む。
【００２８】
図２は、動画像符号化装置１００の符号化部７の構成を示すブロック図である。
【００２９】
符号化部７は、面内予測部７０１、動きベクトル検出部７０２、動き補償部７０３、差分演算部７０４、直交変換部７０５、量子化部７０６、逆量子化部７０７、逆直交変換部７０８、加算部７０９、ピクチャメモリ７１０、スイッチ７１１、および可変長符号化部７１２を備えている。
【００３０】
入力画像 は、面内予測部７０１、動きベクトル検出部７０２、および差分演算部７０４に入力される。動きベクトル検出部７０２は、ブロックサイズ絞り込み部６によって絞り込まれた符号化対象ブロックのサイズの候補それぞれのサイズで、ピクチャメモリ７１０に格納されている復号化画像を探索対象とし、最も入力画像に近い画像領域を検出してその位置を示す動きベクトルを決定し、最も誤差の小さい符号化対象ブロックのサイズおよびそのサイズでの動きベクトルを決定する。動き補償部７０３は、動きベクトル検出部７０２によって検出された動きベクトルを用いて、ピクチャメモリ７１０に格納されている復号化画像から予測画像に最適な画像領域を取り出し、予測画像を生成する。また、面内予測部７０１は、同一画面内の符号化後の画素を用いて面内予測を行い、予測画像を生成する。スイッチ７１１は、面内予測であるか、面間予測であるかを切り替える。
【００３１】
一方、入力画像が入力された差分演算部７０４は、入力画像と予測画像の差分値を計算し、直交変換部７０５に出力する。直交変換部７０５は、差分値を周波数係数に変換し、量子化部７０６に出力する。量子化部７０６は、入力された周波数係数を量子化し、量子化値を可変長符号化部７１２に出力する。
【００３２】
逆量子化部７０７は、入力された量子化値を逆量子化して周波数係数に復元し、逆直交変換部７０８に出力する。逆直交変換部７０８は、周波数係数から画素差分値に逆周波数変換し、加算部７０９に出力する。加算部７０９は、画素差分値と、面内予測部７０１または動き補償部７０３から出力される予測画像とを加算して復号化画像とする。可変長符号化部１１１は、量子化値および動きベクトル等を可変長符号化してストリームを出力する。
【００３３】
次に、このように構成された動きベクトル検出装置を備えた動画像符号化装置１００の動作について説明する。
【００３４】
図３は動きベクトルを検出する際の動作の流れを示すフローチャートである。
【００３５】
まず、縮小画像生成部１は符号化対象画像を受け取る。符号化対象画像は、例えば１９２０画素×１０８０画素によって構成されている。符号化対象画像は符号化すべき符号化対象ブロックを含んでいる。符号化対象ブロックは、例えば１６画素×１６画素によって構成されている。
【００３６】
また、縮小画像生成部１は、符号化部によってローカルデコードされた参照画像を受け取る。ローカルデコードされた参照画像は、例えば１９２０画素×１０８０画素によって構成されている。縮小画像生成部１にはフィルタが設けられており、符号化対象画像およびローカルデコードされた参照画像における垂直方向または水平方向の高域成分を低減する。縮小画像生成部１は、フィルタによって高域成分が低減された符号化対象画像および参照画像を縮小し、縮小符号化対象画像および縮小参照画像を生成する（ステップＳ１０１）。そして、縮小画像生成部１によって生成された縮小参照画像は、ピクチャメモリ２に格納される。
【００３７】
次に、領域分割部３は、縮小画像生成部１によって生成された縮小符号化対象画像を、例えば図４（ｂ）に示すように所定サイズの複数個（図４（ｂ）の場合は４個）の領域に分割し、縮小分割領域画像を生成する（ステップＳ１０２）。なお、縮小符号化対象画像を分割する領域のサイズは固定サイズでもよいし、参照画像または１ピクチャ前の画像の動きベクトルなどの情報から決定してもよい。図５は参照画像または１ピクチャ前の画像の動きベクトルから縮小符号化対象画像を分割する領域を決定する場合の例を示す概略図である。ここで、図５（ａ）、（ｃ）は、参照画像または１ピクチャ前の画像におけるマクロブロックごとの動きベクトルを示しており、図５（ｂ）、（ｄ）は、縮小符号化対象画像における決定された分割領域を示している。例えば、隣接するマクロブロックの動きベクトルの向きが所定の範囲以内であるマクロブロックをまとめ、まとめた領域に対応するように縮小符号化対象画像の分割領域を決定する。すなわち、参照画像または１ピクチャ前の画像におけるマクロブロックごとの動きベクトルが図５（ａ）に示すような場合には、縮小符号化対象画像の分割領域は、図５（ｂ）に示すように３つの領域５１、領域５２、領域５３に決定される。また、参照画像または１ピクチャ前の画像におけるマクロブロックごとの動きベクトルが図５（ｃ）に示すような場合には、縮小符号化対象画像の分割領域は、図５（ｄ）に示すように１つの領域５４に決定される。なお、このように領域分割部３が行う縮小符号化対象画像の分割には、１つの分割領域に分割する場合も含むものとする。
【００３８】
次に、領域動きベクトル検出部４は、縮小画像生成部１によって生成された例えば図４（ａ）に示すような縮小参照画像に含まれる探索領域において、最も縮小分割領域画像（例えば図４（ｂ）に示す縮小分割領域画像４１）に近い画像領域（例えば図４（ｂ）に示す画像領域４２）を検出してその位置を示す動きベクトル（例えば図４（ｂ）に示す動きベクトル４３）を検出し、領域動きベクトルとする（ステップＳ１０３）。ここで、最も縮小分割領域画像に近い画像領域は、例えば、縮小参照画像に含まれる探索領域のそれぞれの画像領域に存在する画素データと、縮小分割領域画像に存在する画素データとの間の差分絶対値和を求め、差分絶対値和が最小となる画像領域である。
【００３９】
次に、信頼度算出部５は、領域動きベクトル検出部４によって検出された縮小参照画像に含まれる最も縮小分割領域画像に近い画像領域と、縮小分割領域画像との信頼度を算出し、これを領域動きベクトルの信頼度とする（ステップＳ１０３）。なお、この信頼度は差分絶対値和から算出してもよいし、分散もしくは共分散から算出してもよい。
【００４０】
次に、ブロックサイズ絞り込み部６は、領域動きベクトル検出部４によって検出された領域動きベクトルが所定のしきい値より大きく、かつ信頼度算出部５によって算出された領域動きベクトルの信頼度が所定のしきい値より高いか否かを判定する（ステップＳ１０４）。この結果、領域動きベクトルが所定のしきい値より大きく、かつ領域動きベクトルの信頼度が所定のしきい値より高い場合（ステップＳ１０４でＹｅｓ）には、ブロックサイズ絞り込み部６は、符号化対象ブロックのサイズの候補となるブロックサイズのうちで１番大きなサイズに絞り込む（ステップＳ１０５）。一方、領域動きベクトルが所定のしきい値より大きくない、または領域動きベクトルの信頼度が所定のしきい値より高くない場合（ステップＳ１０４でＮｏ）、ブロックサイズ絞り込み部６は、符号化対象ブロックのサイズの候補の絞り込みを行わない。なお、ブロックサイズの候補として、Ｈ．２６４／ＭＰＥＧ４  ＡＶＣにおいて規定されているサイズをすべて候補としてもよいし、例えば図６に示すように、入力画像が１９２０画素×１０８０画素の場合は１６×１６、１６×８、８×１６をブロックサイズの候補に、入力画像が３２０画素×２４０画素の場合は８×８、８×４、４×８をブロックサイズの候補に、というように符号化対象画像を構成する画素数に応じて、符号化対象ブロックの候補となるブロックサイズを変更してもよい。
【００４１】
次に、符号化部７の動きベクトル検出部７０２は、符号化対象画像の中で縮小分割領域画像に相当する領域内の符号化対象ブロックについて、ブロックサイズ絞り込み部６によって絞り込まれた１番大きなサイズのブロックサイズで動きベクトルの検出を行う（ステップＳ１０６）。なお、本実施の形態では、ブロックサイズ絞り込み部６は、符号化対象ブロックのサイズの候補となるブロックサイズのうちで１番大きなサイズに絞り込んでいるが、これに限られるものではない。例えば、ブロックサイズ絞り込み部６は、符号化対象ブロックのサイズの候補となるブロックサイズのうちで１番目と２番目に大きなサイズに絞り込んでも構わない。この場合、動きベクトル検出部７０２は、符号化対象画像の中で縮小分割領域画像に相当する領域内の符号化対象ブロックについて、ブロックサイズ絞り込み部６によって絞り込まれた符号化対象ブロックの候補すべてのブロックサイズについて、動きベクトル検出を行い、その中から最も効率の良いブロックサイズを選択し、動きベクトルを検出すればよい。
【００４２】
その後、検出された動きベクトルを用いて、符号化部７において、動き補償、直交変換、量子化、可変長符号化等の一連の処理が行われる。
【００４３】
以上のように、本実施の形態では、領域動きベクトル検出部４によって検出された領域動きベクトルと、信頼度算出部５によって検出された領域動きベクトルの信頼度に基づいて、符号化対象ブロックのブロックサイズの候補を絞り込んでいる。よって、絞り込みが行われた場合、符号化対象ブロックのブロックサイズが決定されるため、最適なブロックサイズを決定する処理を省略することができる。このため、動きベクトルを検出するための演算量、および消費電力を削減することができる。
【００４４】
複数のブロックサイズから最も効率の良いものを選択することにより、モスキートノイズなどの画質の劣化を抑えることが可能となる。しかし、ブロックサイズを小さくすることにより、動きベクトルなどの情報が増加するため、発生符号量が増加してしまう。本実施の形態の動きベクトル検出装置によると、ピクチャ間の動きの大きい部分では、静止している部分に比べてブロックノイズなどの画質劣化が目立ちにくいという人間の視覚特性を利用し、候補となるブロックサイズのうち最大のものを選択するため、視覚的な画質の劣化を最小限に抑えつつ、発生符号量を抑えることが可能となる。
【００４５】
また、縮小画像生成部１に設けたフィルタは、符号化対象画像と参照画像との垂直方向または水平方向の高域成分を低減するので、動きベクトルを検出するときにおいて、ノイズの影響を低減することができるとともに、縮小によって画素数が減少したときの折り返し歪みの影響を低減することができる。このため、動きベクトル検出精度を高めることができる。
【００４６】
なお、縮小画像生成部１は、符号化対象画像を構成する画素数に応じて符号化対象画像および参照画像の縮小率を変更してもよい。例えば、符号化対象画像を構成する画素数が多ければ多いほど縮小率を大きくし、符号化ピクチャを構成する画素数が少なければ少ないほど縮小率を小さくすると、動きベクトルを検出するための演算量を調整することができる。また、縮小率を調整することによって、複数の画面サイズまたはフレームレートを有する入力画像に対しても、動きベクトル検出装置が有する演算能力に最適な検出処理を実現することができる。
【００４７】
また、本実施の形態１では、領域動きベクトル検出部４において、縮小画像生成部１によって生成された縮小参照画像を用いて縮小分割領域画像の領域動きベクトルを求めているが、これに限られるものではない。例えば、縮小分割領域画像に対応する参照画像の領域に含まれる動きベクトルの平均を領域動きベクトルとして求めても構わない。
【００４８】
また、本実施の形態１においては、領域動きベクトル検出部４が、符号化部７においてローカルデコードされた参照ピクチャを使用する例を示したが、本発明はこれに限定されない。例えば、図７に示すように、領域動きベクトル検出部４は、入力画像を縮小した縮小参照ピクチャに基づいて領域動きベクトルを検出してもよい。
【００４９】
このように本発明の動きベクトル検出装置は、画像の領域動きベクトルとその信頼度から、動きベクトル検出に用いるブロックサイズの候補を絞り込み、動きベクトル検出時の処理工程の削減を行なうことにより、動きベクトル検出処理の高速化を図ることができる。
【００５０】
（実施の形態２）
図８は、本発明の実施の形態２に係る動きベクトル検出装置を備えた動画像符号化装置の構成を示すブロック図である。なお、図１を参照して前述した実施の形態１に係る動画像符号化装置１００の構成要素と同一の構成要素には同一の参照符号を付している。したがって、これらの構成要素の詳細な説明は省略する。
【００５１】
動画像符号化装置３００は、動画像符号化装置１００の構成に加えて、図８に示すようにブロックサイズ決定部３０１およびピクチャメモリ３０２を備えている。
【００５２】
ブロックサイズ決定部３０１は、ブロックサイズ絞り込み部６における領域動きベクトルが所定のしきい値より大きく、かつ領域動きベクトルの信頼度が所定のしきい値より高いか否かの判定処理の結果、条件を満たさない場合に、符号化対象ブロックのサイズの候補のうち、最もサイズの大きいブロックサイズから順に動きベクトル検出を行い、対象ブロックサイズにおいて検出された動きベクトルの大きさが所定のしきい値より大きければ、そのブロックサイズを符号化対象ブロックのサイズに決定する。
【００５３】
次に、このように構成された動きベクトル検出装置を備えた動画像符号化装置３００の動作について説明する。
【００５４】
図９は動きベクトルを検出する際の動作の流れを示すフローチャートである。なお、縮小符号化対象画像および縮小参照画像の生成処理（ステップＳ１０１）からブロックサイズ絞り込み部６におけるサイズの候補の絞り込み処理（ステップＳ１０５）までは、上記実施の形態１と同様であるので説明を省略する。
【００５５】
ブロックサイズ絞り込み部６における判定処理（ステップＳ１０４）の結果、領域動きベクトルが所定のしきい値より大きくない、または領域動きベクトルの信頼度が所定のしきい値より高くない場合（ステップＳ１０４でＮｏ）には、ブロックサイズ決定部３０１は、符号化対象ブロックのサイズの候補の中で、１番大きなサイズのブロックサイズで動きベクトルの検出を行う（ステップＳ２０１）。そして、ブロックサイズ決定部３０１は、検出した動きベクトルが所定のしきい値より大きく、かつこの動きベクトルの信頼度が所定のしきい値より高いか否かを判定する（ステップＳ２０２）。この結果、動きベクトルが所定のしきい値より大きく、かつ動きベクトルの信頼度が所定のしきい値より高い場合（ステップＳ２０２でＹｅｓ）には、ブロックサイズ決定部３０１は、符号化対象ブロックのサイズの候補となるブロックサイズのうちで１番大きなサイズに決定する（ステップＳ２０３）。
【００５６】
一方、動きベクトルが所定のしきい値より大きくない、または動きベクトルの信頼度が所定のしきい値より高くない場合（ステップＳ２０２でＮｏ）には、ブロックサイズ決定部３０１は、符号化対象ブロックのサイズの候補の中で、２番目に大きなサイズのブロックサイズで動きベクトルの検出を行う（ステップＳ２０４）。次に、ブロックサイズ決定部３０１は、検出した動きベクトルが所定のしきい値より大きく、かつこの動きベクトルの信頼度が所定のしきい値より高いか否かを判定する（ステップＳ２０５）。この結果、動きベクトルが所定のしきい値より大きく、かつ動きベクトルの信頼度が所定のしきい値より高い場合（ステップＳ２０５でＹｅｓ）には、ブロックサイズ決定部３０１は、符号化対象ブロックのサイズの候補となるブロックサイズのうちで１番目および２番目に大きなサイズの中で信頼度が高いブロックサイズに決定する（ステップＳ２０６）。一方、動きベクトルが所定のしきい値より大きくない、または動きベクトルの信頼度が所定のしきい値より高くない場合（ステップＳ２０５でＮｏ）には、ブロックサイズ決定部３０１は、符号化対象ブロックのサイズの候補の中で、３番目に大きなサイズのブロックサイズで動きベクトルの検出を行うというように、順次処理を行う。
【００５７】
次に、符号化部７の動きベクトル検出部７０２は、ブロックサイズ絞り込み部６によって絞り込まれたブロックサイズ、すなわち１番大きなブロックサイズ、またはブロックサイズ決定部３０１によって決定されたブロックサイズで動きベクトルの検出を行う（ステップＳ２０７）。なお、ブロックサイズ絞り込み部６における判定処理（ステップＳ１０４）の結果、領域動きベクトルが所定のしきい値より大きくない、または領域動きベクトルの信頼度が所定のしきい値より高くない場合（ステップＳ１０４でＮｏ）には、ブロックサイズ決定部３０１では、動きベクトルを検出しているので、動きベクトル検出部７０２で再度動きベクトルを検出する必要はない。
【００５８】
その後、検出された動きベクトルを用いて、符号化部７において、動き補償、直交変換、量子化、可変長符号化等の一連の処理が行われる。
【００５９】
以上のように、本実施の形態では、ブロックサイズ決定部３０１によって１番大きなブロックサイズより順に動きベクトル検出を行って、条件を満たした時点でブロックサイズを決定しているので、最適なブロックサイズを決定する処理を簡略化することができる。このため、動きベクトルを検出するための演算量、および消費電力を削減することができる。
【００６０】
なお、ブロックサイズが同じで、かつ形状の異なるものにおいて、検出された動きベクトルの大きさが両方とも所定のしきい値より大きい場合は、動きベクトルを求めるときに用いた例えば信頼度が高い方のブロックサイズを符号化対象ブロックのサイズに決定する。
【００６１】
また、ブロックサイズ絞り込み部６で絞り込んだブロックサイズの複数の候補に対して、上記のようなブロックサイズ決定部３０１の処理を行ってブロックサイズを決定することも可能である。
【００６２】
また、上記各実施の形態は、符号化対象画像の画素データの輝度成分および色差成分のどちらにも適用することができる。
【００６３】
また、図１、図７、図８に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００６４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【００６５】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【００６６】
また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、別構成としても良い。
【産業上の利用可能性】
【００６７】
本発明に係る動きベクトル検出装置は、より少ない演算負荷でＨ．２６４による映像の符号化が実現でき、パーソナルコンピュータや、ＨＤＤレコーダ、ＤＶＤレコーダなどの他、ビデオカメラ、カメラ付き携帯電話機等に適用できる。また、この動きベクトル検出装置を備える符号化装置にも適用できる。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施の形態１に係る動きベクトル検出装置を備えた動画像符号化装置の構成を示すブロック図である。
【図２】実施の形態１に係る動画像符号化装置の符号化部の構成を示すブロック図である。
【図３】実施の形態１に係る動きベクトル検出装置の動きベクトルを検出する際の動作の流れを示すフローチャートである。
【図４】実施の形態１に係る動きベクトル検出装置における領域分割および領域動きベクトル検出の例を説明するための図である。
【図５】実施の形態１に係る動きベクトル検出装置の領域分割部の領域分割方法の一例を説明するための図である。
【図６】符号化対象画像を構成する画素数に応じて候補となるブロックのサイズを変更することを説明するための図である。
【図７】実施の形態１に係る動きベクトル検出装置を備えた動画像符号化装置の他の構成例を示すブロック図である。
【図８】本発明の実施の形態２に係る動きベクトル検出装置を備えた動画像符号化装置の構成を示すブロック図である。
【図９】実施の形態２に係る動きベクトル検出装置の動きベクトルを検出する際の動作の流れを示すフローチャートである。
【図１０】Ｈ．２６４／ＭＰＥＧ４  ＡＶＣで規定されているブロックサイズを説明するための図である。
【符号の説明】
【００６９】
１  縮小画像生成部
２  ピクチャメモリ
３  領域分割部
４  領域動きベクトル検出部
５  信頼度算出部
６  ブロックサイズ絞り込み部
７  符号化部
３０１  ブロックサイズ決定部
１００、２００、３００  動画像符号化装置
【図１】
2007060164.tif 000003
【図２】
2007060164.tif 000004
【図３】
2007060164.tif 000005
【図４】
2007060164.tif 000006
【図５】
2007060164.tif 000007
【図６】
2007060164.tif 000008
【図７】
2007060164.tif 000009
【図８】
2007060164.tif 000010
【図９】
2007060164.tif 000011
【図１０】
2007060164.tif 000012