(57)【要約】【課題】参照候補フレーム画像数が多い場合においても、動き補償予測のための演算量を抑制することが可能な動きベクトル演算装置を提供する。【解決手段】画像符号化対象画像について動き補償予測を行うための演算処理を行う動きベクトル検出部１１１であって、前記演算処理において、参照される画像の候補となる、複数の参照候補画像を格納している参照候補画像格納部１１２０と、各参照候補画像と前記画像符号化対象画像の縮小画像を生成する縮小画像生成部１１１３と、前記各参照候補画像の縮小画像について、前記画像符号化対象画像の縮小画像との相関度を算出する相関度比較部１１１１と、相関の程度に応じて、各参照候補画像の中から前記演算処理の対象とする参照候補画像を選択する動きベクトル制御部１１１９と、選択された参照候補画像に対して、前記演算処理を行う動きベクトル演算部１１１６とを備える。【選択図】図２
2006191175.tif 000002
【特許請求の範囲】
【請求項１】
画像符号化対象画像について動き補償予測を行うための演算処理を行う動きベクトル演算装置であって、
前記演算処理において参照されるべき画像の候補となる、複数の参照候補画像を記憶している記憶手段と、
前記各参照候補画像の中から、前記画像符号化対象画像との相関の程度に応じて、前記演算処理の対象とする参照候補画像を選択する選択手段と、
選択された参照候補画像に対して、前記演算処理を行う演算手段と
を備えることを特徴とする動きベクトル演算装置。
【請求項２】
前記動きベクトル演算装置は、
各参照候補画像の縮小画像と前記画像符号化対象画像の縮小画像とをそれぞれ生成する縮小画像生成手段と、
前記各参照候補画像の縮小画像について、前記画像符号化対象画像の縮小画像との相関の程度を示す相関度を算出する算出手段と
を備え、
前記選択手段は、相関度の示す相関の程度に応じて、前記各参照候補画像の中から、前記演算処理の対象とする参照候補画像を選択する
ことを特徴とする請求項１記載の動きベクトル演算装置。
【請求項３】
前記算出手段は、前記各参照候補画像の縮小画像と前記符号化対象画像の縮小画像をそれぞれ構成する画素の画素値に基づいて、前記各参照候補画像の縮小画像と前記符号化対象画像の縮小画像との相関度を算出する
ことを特徴とする請求項２記載の動きベクトル演算装置。
【請求項４】
前記動きベクトル演算装置はさらに、電池残量レベルを検出する検出手段を備え、
前記選択手段は、検出された電池残量レベルが閾値よりも小さい場合に、選択した参照候補画像のうちの特定の参照候補画像を再選択し、
前記演算手段は、再選択された参照候補画像に対して、前記演算処理を行う
ことを特徴とする請求項２又は３に記載の動きベクトル演算装置。
【請求項５】
前記演算処理は、選択された参照候補画像に対して、複数種類の画素ブロック単位で行われ、
前記動きベクトル演算装置はさらに、電池残量レベルを検出する検出手段を備え、
前記演算手段は、検出された電池残量レベルが閾値よりも小さい場合に、前記複数種類の内、一部の種類の画素ブロック単位について、前記演算処理の実行を抑止する
ことを特徴とする請求項２又は３に記載の動きベクトル演算装置。
【請求項６】
前記動きベクトル演算装置は、前記縮小画像生成手段によって生成された前記各参照候補画像の縮小画像を記憶する縮小画像記憶手段を備え、
前記縮小画像生成手段は、
前記各参照候補画像の縮小画像が前記縮小画像記憶手段に記憶されているか否かを判定する判定手段と、
前記各参照候補画像の縮小画像が前記縮小画像記憶手段に記憶されている場合に、当該参照候補画像の縮小画像の再生成を抑止する抑止手段と
を有することを特徴とする請求項２〜５の何れかに記載の動きベクトル演算装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置に関し、特に、動き補償予測を行うための演算量を軽減するための技術に関する。
【背景技術】
【０００２】
従来、大容量のデジタル画像データを圧縮して符号化するための技術として、動き補償予測という技術が利用されている。
動き補償予測とは、符号化対象となるフレーム画像を小さなブロックに区切り、ブロックごとにその前後のフレーム画像を探索することにより、類似部分と動きベクトルとを検出し、検出した動きベクトルと、検出した類似部分との画素データの差分値とを符号化することにより、画像データを効率よく圧縮して符号化する技術のことをいう。
【０００３】
MPEG２、MPEG４の規格では、探索されるフレーム画像（以下、「参照候補フレーム画像」という。）は、1枚ないし２枚であり、例えば図９（Ａ）に示すように、符号化対象フレーム画像がPピクチャの場合には、符号化対象画像の直前のフレーム画像が参照候補フレーム画像とされる。
又、近年標準化されたMPEG４AVC（Advanced Video Coding,ITU-T H.264）の規格では、図９（Ｂ）に示すように、３枚以上（最大１６枚まで）参照候補フレーム画像を探索することができ、さらに、図１０の１〜８に示すように、探索対象となる画素ブロックであるブロックのサイズについても、MPEG２、MPEG４の規格の場合に比べて、より多くの種類のブロックサイズについて探索することができる。
【０００４】
このように、MPEG４AVCの規格では、探索できる参照候補フレーム画像と探索対象となるブロックのサイズの種類を増やすことにより、動きベクトル予測における類似部分の検出率を高めることができ、大容量のデジタル画像データの圧縮効率を高めることができる。
一方、動き補償予測を行うには、莫大な演算量が要求されるため、この演算量を抑制する従来技術として、探索対象となるブロックにおいて、演算対象とする画素数を間引くことにより、ブロックごとの類似部分検出に要する演算量を減らす技術が、特許文献１に開示されている。
【特許文献１】特許-3269031
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術は、参照候補フレーム画像数が少ないMPEG２、MPEG４の規格での動き補償予測のための演算量の抑制には効果が期待できるが、参照候補フレーム画像数が多いMPEG4AVCの規格での動き補償予測のための演算量の抑制には十分対応できないという問題がある。
そこで、本発明は、参照候補フレーム画像数が多い場合においても、動き補償予測のための演算量を抑制することが可能な動きベクトル演算装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、画像符号化対象画像について動き補償予測を行うための演算処理を行う動きベクトル演算装置であって、前記演算処理において参照されるべき画像の候補となる、複数の参照候補画像を記憶している記憶手段と、前記各参照候補画像の中から、前記画像符号化対象画像との相関の程度に応じて、前記演算処理の対象とする参照候補画像を選択する選択手段と、選択された参照候補画像に対して、前記演算処理を行う演算手段とを備える。
【０００７】
又、前記動きベクトル演算装置は、各参照候補画像の縮小画像と前記画像符号化対象画像の縮小画像とをそれぞれ生成する縮小画像生成手段と、前記各参照候補画像の縮小画像について、前記画像符号化対象画像の縮小画像との相関の程度を示す相関度を算出する算出手段とを備え、前記選択手段は、相関度の示す相関の程度に応じて、前記各参照候補画像の中から、前記演算処理の対象とする参照候補画像を選択することとしてもよい。
【発明の効果】
【０００８】
本発明は、上記の構成を備えることにより、動き補償予測を行うための演算処理において、演算処理に用いる参照候補フレーム画像数が多い場合においても、予め演算対象とする参照候補フレーム画像の数を絞り込むことができるので、動き補償予測に要する演算量を抑制することができる。
ここで、前記算出手段は、前記各参照候補画像の縮小画像と前記符号化対象画像の縮小画像をそれぞれ構成する画素の画素値に基づいて、前記各参照候補画像の縮小画像と前記符号化対象画像の縮小画像との相関度を算出することとしてもよい。
【０００９】
これにより、各参照候補フレーム画像の縮小画像の画素値に基づいて、相関度が算出されるので、符号化対象フレーム画像と画素値が近似した参照候補フレーム画像を優先的に選択することができるので、演算量を抑制しつつ、かつ、参照候補フレーム画像を絞り込まない場合とほぼ同等の正確性をもって、動き補償予測を行うことができる。
ここで、前記動きベクトル演算装置はさらに、電池残量レベルを検出する検出手段を備え、前記選択手段は、検出された電池残量レベルが閾値よりも小さい場合に、選択した参照候補画像のうちの特定の参照候補画像を再選択し、前記演算手段は、再選択された参照候補画像に対して、前記演算処理を行うこととしてもよい。
【００１０】
これにより、電池残量が少ない場合には、上記演算処理の対象とする参照候補フレーム画像の数が、電池残量が有る場合に比べ、絞り込まれるので、演算処理に要する電力消費量を軽減でき、少ない電力を有効に活用して演算処理を長く継続することができる。
ここで、前記演算処理は、選択された参照候補画像に対して、複数種類の画素ブロック単位で行われ、前記動きベクトル演算装置はさらに、電池残量レベルを検出する検出手段を備え、前記演算手段は、検出された電池残量レベルが閾値よりも小さい場合に、前記複数種類の内、一部の種類の画素ブロック単位について、前記演算処理の実行を抑止することとしてもよい。
【００１１】
これにより、上記演算処理が複数種類の画素ブロック単位で行われる場合においても、電池残量に応じて、演算処理の対象とする画素ブロック単位の種類を制限することができるので、演算処理に要する電力消費量を軽減でき、少ない電力を有効に活用して演算処理を長く継続することができる。
ここで、前記動きベクトル演算装置は、前記縮小画像生成手段によって生成された前記各参照候補画像の縮小画像を記憶する縮小画像記憶手段を備え、前記縮小画像生成手段は、前記各参照候補画像の縮小画像が前記縮小画像記憶手段に記憶されているか否かを判定する判定手段と、前記各参照候補画像の縮小画像が前記縮小画像記憶手段に記憶されている場合に、当該参照候補画像の縮小画像の再生成を抑止する抑止手段とを有することとしてもよい。
【００１２】
これにより、既に、記憶済みの参照候補フレーム画像の縮小画像については、縮小画像が再生成されないので、縮小画像の生成に要する余分な演算処理の実行を抑止することができる。
【発明を実施するための最良の形態】
【００１３】
以下に本発明の実施の形態について図面を用いて具体的に説明する。
［実施の形態１］
図１は、本実施形態１に係る画像符号化装置１００の構成を示す機能ブロック図である。
画像符号化装置１００は、減算器１１、加算器１２、フレームメモリ部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、デブロックフィルタ部１０７、予測メモリ部１０８、イントラ予測部１０９、インター予測部１１０、動きベクトル検出部１１１から構成される。
【００１４】
フレームメモリ部１０１は、図示しない前処理部で、動き補償処理を行うための画像順の入れ替えが行われ、水平走査線単位のラスタースキャン形式の画像データからブロックスキャン形式の画像データに変換され、入力された、符号化対象となる動画のフレーム画像（以下、「符号化対象フレーム画像」という。）を記憶している。
減算器１１は、フレームメモリ部１０１に格納されている符号化対象フレーム画像から符号化の単位である所定の画素単位（例えば、１６画素x１６画素）の画像データ（以下、「符号化対象画素ブロック」という。）を抽出し、抽出した符号化対象画素ブロックとインター予測部１１０より入力された、後述する予測画素ブロックとの差分を算出し、算出結果を差分画像データとして直交変換部１０２に出力する。
【００１５】
直交変換部１０２は、減算器１１から入力された差分画像データを離散コサイン変換して、量子化部１０３に出力する。
量子化部１０３は、直交変換部１０２から入力された差分画像データを量子化して、エントロピー符号化部１０４と逆量子化部１０５に出力する。
エントロピー符号化部１０４は、量子化部１０３より入力される差分画像データと動きベクトル検出部１１１より入力される動きベクトルを対にして符号化する。
【００１６】
逆量子化部１０５及び逆直交変換部１０６は、量子化部１０３より入力された差分画像データを元の差分画像データに復号化する。
加算器１２は、逆直交変換部１０６より入力された差分画像データとインター予測部１１０より入力された予測画素ブロックとを加算して、減算器１１によって直前に抽出された符号化対象画素ブロック（以下、「直前符号化対象画素ブロック」という。）を再生成する。
【００１７】
デブロックフィルタ部１０７は、加算器１２により生成された符号化対象画素ブロックの一部に対してデブロッキング・フィルタ処理を行い、予測メモリ部１０８に出力する。
ここで、「デブロッキング・フィルタ処理」とは、符号化対象画素ブロックの符号化時に生じるブロック歪を減少させるためのフィルタ処理のことをいう。
予測メモリ部１０８は、動き補償予測を行う対象となる、参照候補フレーム画像を構成する画素ブロックを格納している。
【００１８】
具体的には、加算器１２によって順次再生成される直前符号化対象画素ブロックを格納している。これにより、参照候補フレーム画像の構成要素となる、直前符号化対象画素ブロックが順次予測メモリ部１０８に格納されてゆくので、予測メモリ部１０８には、結果的に参照候補フレーム画像が順次格納されることになる。
インター予測部１１０は、動きベクトル検出部１１１によって検出された予測画素ブロックを予測メモリ部１０８から読出し、減算器１１及び加算器１２に出力する。
【００１９】
ここで、「予測画素ブロック」とは、動きベクトル検出部１１１によって検出された、符号化対象画素ブロックと最も類似する画素ブロックのことをいう。
動きベクトル検出部１１１は、予測メモリ部１０８に格納されている画素ブロックの内、特定の探索範囲（後述する参照画像選択処理により選択された各参照候補フレーム画像の所定の領域）の各画素ブロックについて、動き補償予測を行うための演算処理を行い、予測画素ブロックと、当該予測画素ブロックと符号化対象画素ブロックとの間の動きベクトルとを検出し、検出した予測画素ブロックをインター予測部１１０に出力し、検出した動きベクトルをエントロピー符号化部１０４に出力する。
【００２０】
具体的には、動きベクトル検出部１１１は、予測メモリ部１０８より参照候補フレーム画像を読出し、符号化対象画素ブロック内の各画素の画素値と、読み出した参照候補フレーム画像内における所定の探索範囲の各画素ブロック（以下、「探索画素ブロック」という。）の対応する位置にある画素の画素値との差分値の絶対値（以下、「画素間差分値」という。）の総和を各探索画素ブロック毎に算出し、差分値の総和が最小となる探索画素ブロックを予測画素ブロックとして検出し、検出した予測画素ブロックから符号化対象画素ブロックへの動きベクトルを検出し（この検出方法を「ブロックマッチング法」という。）、検出した予測画素ブロックをインター予測部１１０に出力し、検出した動きベクトルをエントロピー符号化部１０４に出力する。
【００２１】
スイッチ回路１３は、図示しない画像符号化装置の構成要素である制御部からの制御信号により、フレーム間予測符号化をする場合には、インター予測部１１０側に接続されてインター予測部１１０から出力される予測画素ブロックを減算器１１に入力し、制御部からの制御信号により、フレーム内符号化処理を行う（フレーム間予測符号化を行わない）場合には、イントラ予測部１０９側に接続され、イントラ予測部１０９から出力されるデータはゼロとされる。
【００２２】
従って、イントラ予測部１０９に接続された場合には、減算器１１において、差分は算出されず、抽出された画素ブロックは、そのまま直交交換部１０２に出力される。
次に動きベクトル検出部１１１の構成について説明する。図２は、動きベクトル検出部１１１の構成を示す機能ブロック図である。動きベクトル検出部１１１は、相関度比較部１１１１、縮小符号化対象画像格納部１１１２、縮小画像生成部１１１３、縮小参照候補画像格納部１１１４、クロック生成部１１１５、動きベクトル演算部１１１６、符号化対象画像格納部１１１７、電池残量検出部１１１８、動きベクトル演算制御部１１１９、参照候補画像格納部１１２０から構成される。
【００２３】
相関度比較部１１１１は、動き補償予測のために探索されるべき、予め設定された数（ここでは、例えば、１０とする。）の参照フレーム画像（以下、「参照候補フレーム画像」という。）の各縮小画像について、符号化対象フレーム画像の縮小画像との相関度（以下、「縮小画像相関度」という。）を下記の数式１に従って算出し、算出結果を動きベクトル演算制御部１１１９に通知する。
［数１］
縮小画像相関度＝Σ｜Ｘij−Ｙij｜,（０≦ｉ≦４５，０≦ｊ≦４５）
ここで、Ｘijは、符号化対象フレーム画像の各画素の画素値を表し、Ｙijは、参照候補フレーム画像の各画素の画素値を表す。
【００２４】
数式１により、符号化対象フレーム画像と参照候補フレーム画像の縮小画像における、それぞれ対応する画素における画素値の差分値の絶対値の総和が縮小画像相関度として算出され、算出された値の大小関係により、縮小画像の相関の程度（以下、「相関性」という。）相関性を評価することが可能となる。すなわち、縮小画像相関度の値が小さいほど、相関性が高いということになる。
【００２５】
縮小符号化画像格納部１１１２は、縮小画像生成部１１１３によって生成された、符号化対象フレーム画像の縮小画像を格納している。
縮小画像生成部１１１３は、符号化対象画像格納部１１１７に格納されている符号化対象フレーム画像及び参照候補画像格納部１１２０に格納されている各参照候補フレーム画像を、それぞれ縮小した縮小画像を生成する。
【００２６】
具体的には、縮小対象となる各フレーム画像について、図４（Ａ）に示すように、当該フレーム画像を構成する各１６ｘ１６画素の画素ブロックを下記の数式２を用いて1画素にまるめる縮小処理を行うことにより、図４（Ｂ）に示すように７２０ｘ４８０画素からなるフレーム画像を１/２５６に縮小して、４５ｘ３０画素からなる縮小画像を生成する。
【００２７】
ここで、符号化対象フレーム画像及び参照候補フレーム画像には、図９（Ｂ）の「ref＿idx」で示すように、フレーム画像を特定するためのピクチャ番号がシークエンシャル番号で付され、当該ピクチャ番号は、生成された縮小画像にも付される。
［数２］
Small picture(縮小画像)＝Σ（Ｘij）／２５６, （０≦ｉ≦１５，０≦ｊ≦１
５）
ここで、Ｘijは、１６ｘ１６画素の画素ブロックを構成する各画素の画素値を表す。
【００２８】
さらに、縮小画像生成部１１１３は、生成した符号化対象フレーム画像の縮小画像を縮小符号化対象画像格納部１１１２に、生成した各参照候補フレーム画像の縮小画像を縮小参照候補画像格納部１１１４にそれぞれ格納する。
縮小参照候補画像格納部１１１４は、縮小画像生成部１１１３によって生成された各参照候補フレーム画像の縮小画像を格納している。
【００２９】
クロック生成部１１１５は、特定の周波数のクロックを生成して動きベクトル演算部１１１６に出力し、動きベクトル演算制御部１１１９からの指示に応じて、クロックの周波数を所定のレベルまで減らす。
動きベクトル演算部１１１６は、動きベクトル演算制御部１１１９によって選択された参照候補フレーム画像の各探索画素ブロックと符号化対象画素ブロックとについて、動き補償予測を行うための演算処理を、動きベクトル演算制御部１１１９によって指示されたモードに従って行い、予測画素ブロックと、当該予測画素ブロックと符号化対象画素ブロックとの間の動きベクトルとを検出する。
【００３０】
具体的には、動きベクトル演算部１１１６は、数式３を用いて、各探索画素ブロックについて、符号化対象画素ブロックとの画素間差分値の総和（以下、「画素間差分値和」という。）を算出し、算出した画素間差分値和が最小となる探索画素ブロックを予測画素ブロックとして検出し、検出した予測画素ブロックの参照候補フレーム画像内における位置と、符号化対象ブロックの符号化対象フレーム画像内における位置との位置関係に基づいて、図３に示すように、予測画素ブロックから符号化対象画素ブロックへの動きベクトルを検出する。
【００３１】
ここで、動きベクトル演算部１１１６は、動きベクトル演算制御部１１１９によるモード指示が後述する「第1モード指示」である場合には、各１種類の画素単位の探索画素ブロックについて、画素間差分値和を算出し、動きベクトル演算制御部１１１９によるモード指示が後述する「第２モード指示」である場合には、各３種類の画素単位の探索画素ブロックについて、それぞれ画素間差分値和を算出する。
［数３］
画素間差分値和＝Σ｜ｘij−ｙij｜,（０≦ｉ≦１５，０≦ｊ≦１５）
ここで、ｘijは、符号化対象画素ブロックの各画素の画素値を表し、ｙijは、探索画素ブロックの各画素の画素値を表す。
【００３２】
数式３により、画素間差分値和が算出され、各探索画素ブロックについて算出された画素間差分値和のうち最小の値を示す探索画素ブロックが予測画素ブロックとして検出される。
符号化対象画像格納部１１１７は、フレームメモリ部１０１から読出した符号化対象フレーム画像を格納している。
【００３３】
電池残量検出部１１１８は、電池残量を検出し、検出結果を動きベクトル演算制御部１１１９に通知する。
動きベクトル演算制御部１１１９は、演算処理モード選択処理、参照候補フレーム画像通知処理を行う。
最初に演算処理モード選択処理について説明する。
【００３４】
動きベクトル演算制御部１１１９は、電池残量部１１１８より、電池残量の検出結果を通知されると、電池残量が閾値以下であるか否かを判定し、閾値以下の場合には、第1モードでの演算処理の実行指示（以下、「第1モード指示」という。）を動きベクトル演算部１１１６に通知し、さらに、クロック生成部１１１５に指示してクロックの周波数を所定レベルまで減少させる。
【００３５】
これにより、動きベクトル演算部１１１６へのクロックが低くなるため、電力消費量を抑制でき、電池残量に応じた電力量の制御ができる。
一方、閾値以下でない場合には、動きベクトル演算制御部１１１９は、第２モードでの演算処理の実行指示（以下、「第２モード指示」という。）を動きベクトル演算部１１１６に通知する。
【００３６】
ここで、「第1モード指示」とは、動き補償予測を行うための演算処理を１種類の画素単位の探索画素ブロックで実行させる指示のことをいい、「第２モード指示」とは、動き補償予測を行うための演算処理を３種類の画素単位の探索画素ブロックで実行させる指示のことをいう。
次に、参照候補フレーム画像通知処理について説明する。
【００３７】
動きベクトル演算制御部１１１９は、相関度比較部１１１１より通知された各参照候補フレーム画像についての縮小画像相関度の値を比較し、値が小さい順に従って３つの参照候補フレーム画像を選択し、選択した参照候補フレーム画像を動きベクトル演算部１１１６に通知する。
参照候補画像格納部１１２０は、予測メモリ部１０８より読出された参照候補フレーム画像を格納している。
＜動作＞
次に、動きベクトル検出部１１１の行う参照画像選択処理の動作について説明する。図５は、上記処理の動作を示すフローチャートである。以下、図５を参照して、上記動作について説明する。
【００３８】
縮小画像生成部１１１３は、符号化対象画像格納部１１１７に格納されている符号化対象フレーム画像を読出し（ステップＳ５０１）、その縮小画像を生成し（ステップＳ５０２）、縮小符号化対象画像格納部１１１２に格納し、さらに、読出した符号化対象フレーム画像のピクチャ番号に基づいて、その参照候補フレーム画像のピクチャ番号を特定（例えば、符号化対象フレーム画像の前の連続する１０フレーム画像が参照候補フレーム画像として設定されている場合には、符号化対象フレーム画像のピクチャ番号からそれぞれ、１、２、３、４、５、６、７、８、９、１０を引いた値に相当するピクチャ番号を参照候補フレーム画像のピクチャ番号として特定）し、特定した参照候補フレーム画像のピクチャ番号と一致するピクチャ番号の縮小画像が、縮小参照候補画像格納部１１１４に格納されているか否かにより、読出した符号化対象フレーム画像について探索される参照候補フレーム画像の縮小画像が、縮小参照候補画像格納部１１１４に格納されているか否かを判定する（ステップＳ５０３）。
【００３９】
ステップＳ５０３において、参照候補フレーム画像の縮小画像が縮小参照候補画像格納部１１１４に格納されていない場合（ステップＳ５０３：Ｎ）、縮小画像生成部１１１３は、当該参照候補フレーム画像を参照候補画像格納部１１２０から読出し（ステップＳ５０４）、当該参照候補フレーム画像の縮小画像を生成し、縮小参照候補画像格納部１１１４に格納する（ステップＳ５０５）。
【００４０】
ステップＳ５０３において、参照候補フレーム画像の縮小画像が縮小参照候補画像格納部１１１４に格納されている場合（ステップＳ５０３：Ｙ）、後述するステップＳ５０６の処理に移行する。
次に、相関度比較部１１１１は、縮小参照候補画像格納部１１１４に格納されている各参照候補フレーム画像の縮小画像について、縮小符号化対象画像格納部１１１２に格納されている符号化対象フレーム画像の縮小画像との縮小画像相関度を算出し（ステップＳ５０６）、算出結果を動きベクトル演算制御部１１１９に通知し、全ての参照候補フレーム画像の縮小画像について、縮小画像相関度を算出したか否かを判定する（ステップＳ５０７）。
【００４１】
ステップＳ５０７の判定が肯定的である場合（ステップＳ５０７：Ｙ）、後述するステップＳ５０８の処理に移行し、ステップＳ５０７の判定が否定的である場合（ステップＳ５０７：Ｎ）、ステップＳ５０３の処理に移行する。
次に、動きベクトル演算制御部１１１９は、相関度比較部１１１１より通知された各参照候補フレーム画像についての縮小画像相関度の値を比較し、値が小さい順に従って３つの参照候補フレーム画像を選択し（ステップＳ５０８）、選択した参照候補フレーム画像を動きベクトル演算部１１１６に通知する。
【００４２】
次に、動きベクトル検出部１１１の行うブロックサイズ選択処理の動作について説明する。図７は、上記処理の動作を示すフローチャートである。以下、図７を参照して上記動作について説明する。
電池残量検出部１１１８は、電池残量を検出し（ステップＳ７０１）、検出結果を動きベクトル演算制御部１１１９に通知する。
【００４３】
次に、動きベクトル演算制御部１１１９は、電池残量部１１１８より、電池残量の検出結果を通知されると、電池残量が閾値以下であるか否かを判定する（ステップＳ７０２）。
ステップＳ７０２の判定が閾値以下でない場合には（ステップＳ７０２：Ｎ）、動きベクトル演算制御部１１１９は、第２モード指示を動きベクトル演算部１１１６に通知する。
【００４４】
次に、動きベクトル演算部１１１６は、動きベクトル演算制御部１１１９によるモード指示が後述する「第２モード指示」である場合には、最初に、図１０の１に示す１６ｘ１６画素単位の、各探索画素ブロックと符号化対象画素ブロックとについて、動き補償予測を行うための演算処理（以下、「演算処理１」という。）を行い（ステップＳ７０３）、各探索画素ブロックについて、算出した画素間差分値和が最小となる探索画素ブロックを、予測画素ブロックの候補となる画素ブロック（以下、「候補予測画素ブロック」）として検出し、検出した候補予測画素ブロックから符号化対象画素ブロックへの動きベクトルを検出し、さらに、先に演算処理の対象とした１６ｘ１６画素単位の符号化対象画素ブロックを図１０の４に示すように４分割した、８ｘ８画素単位の符号化対象画素ブロックのそれぞれに対して、同様に動き補償予測を行うための演算処理（以下、「演算処理２」という。）を行い（ステップＳ７０４）、候補予測画素ブロックと候補予測画素ブロックから符号化対象画素ブロックへの動きベクトルを検出し、さらに、４分割した８ｘ８画素単位の符号化対象画素ブロックのそれぞれを図１０の８に示すように、さらに４分割（最初の１６ｘ１６画素単位の符号化対象画素ブロックから１６分割）した４ｘ４画素単位の符号化対象画素ブロックのそれぞれに対して、同様に動き補償予測を行うための演算処理（以下、「演算処理３」という。）を行い（ステップＳ７０５）、候補予測画素ブロックと候補予測画素ブロックから符号化対象画素ブロックへの動きベクトルを検出し、演算処理１によって検出された候補予測画素ブロックの示す画素間差分値和と演算処理１によって検出された動きベクトルの大きさとの合算値（以下、「評価値１」という。）と、演算処理２によって検出された各候補予測画素ブロックの示す画素間差分値和の総和と演算処理２によって検出された各動きベクトルの大きさの総和との合算値（以下、「評価値２」という。）と、演算処理３によって検出された各候補予測画素ブロックの示す画素間差分値和の総和と演算処理３によって検出された各動きベクトルの大きさの総和との合算値（以下、「評価値３」という。）とをそれぞれ算出し（ステップＳ７０６）、算出した評価値１〜３の大小関係を比較し、最小のものについて、検出した、候補予測画素ブロックと動きベクトルをそれぞれインター予測部１１０とエントロピー符号化部１０４に出力する（ステップＳ７０７）。
【００４５】
ステップＳ７０２の判定が閾値以下である場合には（ステップＳ７０２：Ｙ）、動きベクトル演算制御部１１１９は、第１モード指示を動きベクトル演算部１１１６に通知する。
次に、動きベクトル演算部１１１６は、動きベクトル演算制御部１１１９によるモード指示が後述する「第１モード指示」である場合には、図１０の１に示す１６ｘ１６画素単位の演算処理１を行い（ステップＳ７０８）、各探索画素ブロックについて、算出した画素間差分値和が最小となる探索画素ブロックを、予測画素ブロックとして検出し、さらに検出した予測画素ブロックから符号化対象画素ブロックへの動きベクトルを検出し（ステップＳ７０９）、検出した、予測画素ブロックと動きベクトルをそれぞれインター予測部１１０とエントロピー符号化部１０４に出力する（ステップＳ７１０）。
＜演算量抑制効果＞
次に、本実施の形態１において行われる、縮小画像に基づく参照候補フレーム画像の絞込みによる、動き補償予測を行うための演算処理量の抑制効果について、具体例を挙げて説明する。
【００４６】
一般に、上記演算処理は、符号化対象画素ブロックとそれに対する各探索画素ブロック内の各画素について、画素間差分値を算出することにより、行われるが、画素間差分値の算出は、整数画素精度、１／２画素（ハーフペル）精度、１／４画素（クォータペル）精度の３段階で行われる。
整数画素精度とは、図６に示すように、丸印で示す１画素間隔で画素差分値を算出することをいい、ハーフペル精度とは、図６に示すように、丸印と三角印で示す半画素間隔で画素間差分値を算出することをいい、クォータペル精度とは、図６に示すように、丸印と三角印と星印で示す１／４画素間隔で画素間差分値を算出することをいう。
【００４７】
上記演算処理の手順としては、最初に、整数画素精度の演算処理が、各参照候補フレーム画像に対して行われ、画素間差分値和が最小となる探索画素ブロックが検出され、検出された探索画素ブロックの属する参照候補フレーム画像における当該探索画素ブロックの位置の周辺の領域に位置する探索画素ブロックについて、さらに、ハーフペル精度及びクォータペル精度の演算処理が実行され、最終的に予測画素ブロックと動きベクトルとが検出される。
【００４８】
従って、縮小画像に基づく参照候補フレーム画像の絞込みによる演算量抑制効果は、整数画素精度における演算処理において主として発揮されるので、以下、整数画素精度における演算処理における演算量（以下、「演算量Ａ」という。）を従来法の場合と比較することにより、演算量抑制効果について説明する。
従来法の演算量Ａは、以下に示す数式４により算出される。
［数４］
従来法の演算量Ａ＝（１画素当たりの演算数）ｘ（符号化対象画素ブロック内の画素数）ｘ（探索画素ブロック数）ｘ（参照候補フレーム画像の数）
ここで、画素値は、輝度データと２種類の色差データから構成されるので、「1画素当たりの演算数」は３となる。
【００４９】
又、「符号化対象画素ブロック内の画素数」は、実施の形態１においては、符号化対象画素ブロックの画素サイズを１６ｘ１６画素としているので、２５６とする。
又、「探索画素ブロック数」は、ここでは、２５６とする。
又、「参照候補フレーム画像の数」は、実施の形態1においては、１０としているので１０とする。
【００５０】
上記の各値を数式４にあてはめると、従来法の演算量Ａは、1,966,080となる。
次に、実施の形態1における演算量Ａは、以下に示す数式５により算出される。
［数５］
実施の形態１における演算量Ａ＝（縮小画像生成に要する演算量）＋（縮小画像相関度の算出に要する演算量）ｘ（参照候補フレーム画像の数）＋（絞り込み参照候補フレーム画像に基づく演算量Ａ）
ここで、縮小画像生成に要する演算量は、以下に示す数式６により算出される。
［数６］
縮小画像生成に要する演算量＝（１画素当たりの演算数）ｘ（縮小画像生成の数）ｘ（縮小画像における各画素値の算出に要する演算数）
「１画素当たりの演算数」は、３、「縮小画像生成の数」は、実施の形態１では符合化対象フレーム画像を含めて１１、「縮小画像における各画素値の算出に要する演算数」は、縮小画像の画素数は1,350（45ｘ30）であるので、これらの値を数式６にあてはめると、縮小画像生成に要する演算量は、44,550となる。
【００５１】
又、「縮小画像相関度の算出に要する演算量」は、以下に示す数式７により算出される。
［数７］
縮小画像相関度の算出に要する演算量＝（１画素当たりの演算数）ｘ（縮小画像の画素数）
「１画素当たりの演算数」は、３、「縮小画像の画素数」は、1,350であるので、縮小画像相関度の算出に要する演算量は、4,050となる。
【００５２】
又、「絞り込み参照候補フレーム画像に基づく演算量Ａ」は、以下に示す数式８により算出される。
［数８］
絞り込み参照候補フレーム画像に基づく演算量Ａ＝（１画素当たりの演算数）ｘ（符号化対象画素ブロック内の画素数）ｘ（探索画素ブロック数）ｘ（絞り込み後の参照候補フレーム画像の数）
「絞り込み後の参照候補フレーム画像の数」は、実施の形態１においては３であるので、数式８に各対応する値をあてはめると、絞り込み参照候補フレーム画像に基づく演算量Ａは、589,824となる。
【００５３】
さらに、数式５に各要素の値をあてはめると、実施の形態１における演算量Ａは、646,524となる。
従って、実施の形態１における演算量Ａ（646,524）は、従来法の演算量Ａ（1,966,080）に比べ、演算量が著しく抑制されており、本実施の形態１において行われる、縮小画像に基づく参照候補フレーム画像の絞込みにより、動き補償予測を行うための演算処理量が効果的に抑制されていることがわかる。
（実施の形態２）
実施の形態１においては、電池残量に応じて、動き補償予測を行うための演算処理行う探索画素ブロックの画素単位の種類数を変更することとしたが、実施の形態２においては、電池残量に応じて、上記演算処理において、探索される参照候補フレーム画像の数を変更するという点において相違する。
【００５４】
以下、実施の形態１との相違点を中心にして説明する。
実施の形態に係る画像符号化装置及び動きベクトル検出部の構成は実施の形態１と同じであるので、これら構成についての説明は省略する。
＜動作＞
以下、実施の形態２における動きベクトル検出部１１１の行う参照画像選択処理の動作において、実施の形態１と相違する点について説明する。
【００５５】
図８は、上記処理の動作を示すフローチャートである。以下、図８を参照して相違点について説明する。
ステップＳ８０１〜ステップＳ８０７の処理は、図５に示す実施の形態１におけるステップＳ５０１〜ステップＳ５０７の処理と同じであるので、説明を省略する。
ステップＳ８０７の判定が肯定的である場合（ステップＳ８０７：Ｙ）、電池残量検出部１１１８は、電池残量を検出し（ステップＳ８０８）、検出結果を動きベクトル演算制御部１１１９に通知する。
【００５６】
次に、動きベクトル演算制御部１１１９は、電池残量部１１１８より、電池残量の検出結果を通知されると、電池残量が閾値以下であるか否かを判定する（ステップＳ８０９）。
ステップＳ８０９の判定が否定的である場合（ステップＳ８０９：Ｎ）、動きベクトル演算制御部１１１９は、相関度比較部１１１１より通知された各参照候補フレーム画像についての縮小画像相関度の値を比較し、値が小さい順に従って３つの参照候補フレーム画像を選択し（ステップＳ８１０）、選択した参照候補フレーム画像を動きベクトル演算部１１１６に通知する。
【００５７】
ステップＳ８０９の判定が肯定的である場合（ステップＳ８０９：Ｙ）、動きベクトル演算制御部１１１９は、相関度比較部１１１１より通知された各参照候補フレーム画像についての縮小画像相関度の値を比較し、値が最も小さい参照候補フレーム画像を選択し（ステップＳ８１１）、選択した参照候補フレーム画像を動きベクトル演算部１１１６に通知する。
＜補足＞
以上、本発明に係る動きベクトル演算装置１００について、実施の形態壱及び２に基づいて説明したが、本発明はこれら実施の形態に限られないことは勿論である。
（１）例えば、実施の形態１及び２においては、参照候補フレーム画像の縮小画像について、符号化対象フレーム画像の縮小画像との縮小画像相関度を算出し、算出した縮小画像相関度に基づいて、参照候補フレーム画像の数を絞り込むこととしたが、縮小画像を生成することなく、参照候補フレーム画像の各画素の示す特性値（例えば、輝度値、色差値）と符号化対象フレーム画像の各画素の示す特性値とを比較することにより、符号化対象フレーム画像と相関性の高い順に参照候補フレーム画像を選択して、参照候補フレーム画像の数を絞り込むこととしてもよい。
（２）又、実施の形態１及び２においては、参照画像選択処理において、選択対象となる参照候補フレーム画像の数を１０としたが、選択対象となる参照候補フレーム画像の数は、１０に限らず複数であればよい。
【００５８】
又、動き補償予測のための演算処理の対象として、選択する参照候補の数についても、３つに限らず、選択対象となる参照候補フレーム画像の数よりも少ない数であればよい。
（３）又、実施の形態１及び２においては、符号化対象フレーム画像と参照候補フレーム画像の縮小画像における、それぞれ対応する画素の画素値の差分値の絶対値の総和を縮小画像相関度として算出したが、画素値の差分値の絶対値の総和でなく、画素値の差分値の二乗和を縮小画像相関度として算出することとしてもよい。
（４）又、実施の形態１においては、ブロックサイズ選択処理において、第２モード指示により、演算処理を３種類の画素単位の探索画素ブロックで実行させることとしたが、３種類に限定されず、複数種類であれば良い。
【００５９】
又、第１モード指示により、演算処理を実行させる画素単位についても、１種類に限定されず、第１モード指示で実行させる画素単位の種類数よりも少ない種類数であればよい。
（５）又、実施の形態２においては、参照画像選択処理において、電池残量が閾値以下である場合に、選択する参照候補フレーム画像を１つとしたが、１つに限定されず、縮小画像相関度に基づいて選択された参照候補フレーム画像の数よりも少ない数であればよい。
【産業上の利用可能性】
【００６０】
画像符号化装置において、動き補償予測を行うための演算量を軽減するための技術として利用できる。
【図面の簡単な説明】
【００６１】
【図１】画像符号化装置１００の構成を示す機能ブロック図である。
【図２】動きベクトル検出部１１１の構成を示す機能ブロック図である。
【図３】動きベクトル演算部１１１６によって検出された予測画素ブロックと動きベクトルを模式図で表した図である。
【図４】縮小画像生成処理の内容の具体例を示す。
【図５】参照画像選択処理の動作を示すフローチャートである。
【図６】画素間差分値の算出に用いる各画素精度における画素間隔の具体例を示す。
【図７】ブロックサイズ選択処理の動作を示すフローチャートである。
【図８】参照画像選択処理の動作を示すフローチャートである。
【図９】ＭＰＥＧ２／４及びＭＰＥＧ４ＡＶＣの各規格における動き補償予測において、探索される参照候補フレーム画像の違いを模式図で表した図である。
【図１０】ＭＰＥＧ４ＡＶＣの規格における動き補償予測において、探索対象となるブロックのサイズの種類を模式図で表した図である。
【符号の説明】
【００６２】
１１    減算器
１２    加算器
１０１  フレームメモリ部
１０２  直交変換部
１０３  量子化部
１０４  エントロピー符号化部
１０５  逆量子化部
１０６  逆直交変換部
１０７  デブロックフィルタ部
１０８  予測メモリ部
１０９  イントラ予測部
１１０  インター予測部
１１１  動きベクトル検出部
１１１１  相関度比較部
１１１２  縮小符号化対象画像格納部
１１１３  縮小画像生成部
１１１４  縮小候補画像格納部
１１１５  クロック生成部
１１１６  動きベクトル演算部
１１１７  符号化対象画像格納部
１１１８  電池残量検出部
１１１９  動きベクトル演算制御部
１１２０  参照候補画像格納部
【図１】
2006191175.tif 000003
【図２】
2006191175.tif 000004
【図３】
2006191175.tif 000005
【図４】
2006191175.tif 000006
【図５】
2006191175.tif 000007
【図６】
2006191175.tif 000008
【図７】
2006191175.tif 000009
【図８】
2006191175.tif 000010
【図９】
2006191175.tif 000011
【図１０】
2006191175.tif 000012