(57)【要約】      （修正有）【課題】可搬型カメラ装置に搭載可能な、動ベクトル探索用の演算回数が少なく、低電力で動作する動画像符号化装置を実現する。【解決手段】解像度を低下させた画像から粗ベクトルを求める粗ベクトル演算手段２４３と、入力画像と参照画像を比較して輝度レベル差を求める差分演算手段２４４と、輝度レベル差を記憶する差分記憶手段２４５と、輝度レベル差の平均値を求める平均値演算手段２４６と、参照位置から粗ベクトルの方向に画素単位で移動した位置を新たな参照位置として新たな平均輝度レベル差を求める演算を行うに際し、新たな参照位置の輝度レベル差が差分記憶手段に記憶されているときは、それを用いて平均輝度レベル差を求め、輝度レベル差が記憶されていないときは、画素の輝度レベル差を求める演算をさせる制御手段２４７とを備えて構成した。【選択図】図２
2009005090.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の入力画像と、前記入力画像よりも過去に入力されて既に符号化及び復号化のなされた画像である参照画像との間で動ベクトルを探索して求め、その求められた動ベクトルを用いて前記入力画像の動き補償符号化を行う動画像符号化装置において、
前記入力画像をフィルタ処理して解像度を低下させた低解像入力画像と、前記参照画像をフィルタ処理して解像度を低下させた低解像参照画像とから前記動ベクトルの方向に係る粗ベクトルを求める粗ベクトル演算手段と、
前記入力画像を構成する画素の所定位置を基準位置とし、前記参照画像を構成する画素の所定位置を参照位置とするとき、前記基準位置の上下左右に配置される各画素と前記参照位置の上下左右に配置される各画素との間で相対応する画素同士の各輝度レベル差を求める差分演算手段と、
前記差分演算手段で求められた各輝度レベル差を、各画素の位置と対応させて記憶する差分記憶手段と、
前記参照位置の上下左右に配置される各画素の輝度レベル差の平均値を前記参照位置における平均輝度レベル差として求める平均値演算手段と、
現在の参照位置の上下左右に配置される画素のうち、最も小さな輝度レベル差を与える画素の位置を新たな参照位置とし、前記新たな参照位置での平均輝度レベル差を求める演算を直前に求められたレベル差より大きなレベル差が得られるまで繰り返させた後、直前の新たな参照位置と前記基準位置とから前記動ベクトルを求めるベクトル探索制御手段と、
を備えて構成し、
前記ベクトル探索制御手段は、
前記平均値演算手段での演算に用いる各輝度レベル差のうち、輝度レベル差がまだ求められていない画素に係る輝度レベル差である場合は、前記差分演算手段に当該画素に係る輝度レベル差を演算させ、
輝度レベル差が既に求められている画素に係る輝度レベル差である場合は、前記差分演算手段に当該画素に係る輝度レベル差を演算させることなく差分記憶手段に記憶されている当該画素に係る輝度レベル差を用いて前記平均輝度レベル差を求める演算をさせると共に、前記差分演算手段には前記新たな参照位置に対して前記粗ベクトルの方向に配置され、且つ輝度レベル差がまだ求められていない画素に係る輝度レベル差を求める演算をさせるようにしたことを特徴とする動画像符号化装置。
【請求項２】
符号化対象の入力画像と、前記入力画像よりも過去に入力されて既に符号化及び復号化のなされた画像である参照画像との間で動ベクトルを探索して求め、その求められた動ベクトルを用いて前記入力画像の動き補償符号化を行う動画像の符号化方法において、
前記入力画像をフィルタ処理した低解像度入力画像と、前記参照画像をフィルタ処理した低解像度参照画像とから前記動ベクトルの方向に係る粗ベクトルを求めると共に、前記入力画像を構成する画素の所定位置を基準位置とし、前記参照画像を構成する画素の所定位置を参照位置とするとき、前記基準位置の上下左右の各画素と前記参照位置の上下左右の各画素との間で相対応する画素同士での各輝度レベル差を求めて記憶する第１のステップと、
前記記憶された参照位置の上下左右に配置される各画素の各輝度レベル差のうち、最も小さな輝度レベル差を与える画素の位置を新たな参照位置とし、前記新たな参照位置の上下左右に配置される各画素の各輝度レベル差が記憶されているか否かを検出する第２のステップと、
前記輝度レベル差がまだ記憶されていないとして検出された画素の場合には当該画素に係る輝度レベル差を求めて記憶する一方、輝度レベル差が既に記憶されているとして検出された画素の場合には、前記新たな参照位置に対して前記粗ベクトルの方向に配置されまだ求められていない画素の輝度レベル差を求めて記憶する第３のステップと、
前記記憶されている輝度レベル差を用いて前記新たな参照位置の上下左右に配置される各画素の各輝度レベル差を平均して新たな参照位置に係る平均輝度レベル差を求め、この求められたレベル差が大なる値になるまで前記第２ステップからの動作を繰り返して演算する第４のステップと、
前記平均輝度レベル差が大になる値の直前に求められた新たな参照位置と前記基準位置とから前記動ベクトルを求める第５のステップと、
を有するようにしたことを特徴とする動画像の符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を動ベクトルを探索しつつ動き補償符号化する符号化装置及び符号化の方法に関する。
【背景技術】
【０００２】
最近になり、撮像カメラから入力される動画像を圧縮符号化して媒体に記録する可搬型カメラ装置が製品化されるようになってきた。動画像は圧縮符号化回路で符号化され、符号化して得られる低レートのビットストリームが記録媒体に記録される様になされている。
一方、可搬型カメラ装置はバッテリ駆動により動作するため、圧縮符号化を行う演算回路は小さな消費電力で高能率な圧縮符号化がなされると、小型軽量でありながら高品質な動画像を記録できる。圧縮符号化回路は、低電力で動作する一方、高品質な圧縮符号化信号を生成できることは好ましい。
【０００３】
特許文献１には、インタレース画像に対して高精度で動きベクトルを検出できるようにした、逐次探索法を用いた動きベクトル検出装置が開示されている。フレームベクトル探索用とフィールドベクトル探索用とに２種類の探索パターンを有する候補ベクトル生成部を備え、探索モードに応じていずれかの探索パターンを選択して、候補ベクトルを生成する。動き補償部、類似度計算部、および探索制御部は、候補ベクトル生成部で選択された探索パターンに従い、動きベクトルを逐次的に探索する。フレームベクトル探索用の探索パターンとして、探索中心点と同じフィールド内にある画素の位置を少なくとも１つ含んだ探索パターンを使用するようにした動きベクトル検出装置が開示されている。
【特許文献１】特開２００４−２３６０２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている動きベクトル検出装置では、フレーム画像用として画素数の異なる複数の探索パターンを用いる一方、フィールド画像用に画素数の異なる複数の探索パターンを用いて動ベクトルの探索を行うに際し、与えられた処理時間が大きい場合は画素数の大きな探索パターンを用い、与えられた処理時間が小さい場合には画素数の小さな探索パターンを用いて動ベクトルを探索するようにしている。フレーム画像用の探索パターン、及びフィールド画像用の探索パターンの両者を用いて動ベクトルの探索を行うことにより、画像の種類に拘わらず精度の高い、動ベクトルを探索することは出来るものの、複数の探索パターンを用い、動ベクトルを複数回求めるようにしているため、可搬型カメラ装置に搭載可能な低電力で入力動画像の動き予測符号化を高能率に行うことの出来る動画像符号化装置及び動画像の符号化方法を実現することはできなかった。
【０００５】
そこで、本発明は、上記のような問題点を解消するためになされたもので、可搬型映像機器に搭載可能であり、動ベクトル探索用の演算回数が少なく、低電力で入力動画像の動き予測符号化を高能率に行うことの出来る動画像符号化装置及び動画像の符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願発明における第１の発明は、符号化対象の入力画像と、前記入力画像よりも過去に入力されて既に符号化及び復号化のなされた画像である参照画像との間で動ベクトルを探索して求め、その求められた動ベクトルを用いて前記入力画像の動き補償符号化を行う動画像符号化装置において、前記入力画像をフィルタ処理して解像度を低下させた低解像入力画像と、前記参照画像をフィルタ処理して解像度を低下させた低解像参照画像とから前記動ベクトルの方向に係る粗ベクトルを求める粗ベクトル演算手段と、前記入力画像を構成する画素の所定位置を基準位置とし、前記参照画像を構成する画素の所定位置を参照位置とするとき、前記基準位置の上下左右に配置される各画素と前記参照位置の上下左右に配置される各画素との間で相対応する画素同士の各輝度レベル差を求める差分演算手段と、前記差分演算手段で求められた各輝度レベル差を、各画素の位置と対応させて記憶する差分記憶手段と、前記参照位置の上下左右に配置される各画素の輝度レベル差の平均値を前記参照位置における平均輝度レベル差として求める平均値演算手段と、現在の参照位置の上下左右に配置される画素のうち、最も小さな輝度レベル差を与える画素の位置を新たな参照位置とし、前記新たな参照位置での平均輝度レベル差を求める演算を直前に求められたレベル差より大きなレベル差が得られるまで繰り返させた後、直前の新たな参照位置と前記基準位置とから前記動ベクトルを求めるベクトル探索制御手段と、を備えて構成し、前記ベクトル探索制御手段は、前記平均値演算手段での演算に用いる各輝度レベル差のうち、輝度レベル差がまだ求められていない画素に係る輝度レベル差である場合は、前記差分演算手段に当該画素に係る輝度レベル差を演算させ、輝度レベル差が既に求められている画素に係る輝度レベル差である場合は、前記差分演算手段に当該画素に係る輝度レベル差を演算させることなく差分記憶手段に記憶されている当該画素に係る輝度レベル差を用いて前記平均輝度レベル差を求める演算をさせると共に、前記差分演算手段には前記新たな参照位置に対して前記粗ベクトルの方向に配置され、且つ輝度レベル差がまだ求められていない画素に係る輝度レベル差を求める演算をさせるようにしたことを特徴とする動画像符号化装置を提供する。
第２の発明は、符号化対象の入力画像と、前記入力画像よりも過去に入力されて既に符号化及び復号化のなされた画像である参照画像との間で動ベクトルを探索して求め、その求められた動ベクトルを用いて前記入力画像の動き補償符号化を行う動画像の符号化方法において、前記入力画像をフィルタ処理した低解像度入力画像と、前記参照画像をフィルタ処理した低解像度参照画像とから前記動ベクトルの方向に係る粗ベクトルを求めると共に、前記入力画像を構成する画素の所定位置を基準位置とし、前記参照画像を構成する画素の所定位置を参照位置とするとき、前記基準位置の上下左右の各画素と前記参照位置の上下左右の各画素との間で相対応する画素同士での各輝度レベル差を求めて記憶する第１のステップと、前記記憶された参照位置の上下左右に配置される各画素の各輝度レベル差のうち、最も小さな輝度レベル差を与える画素の位置を新たな参照位置とし、前記新たな参照位置の上下左右に配置される各画素の各輝度レベル差が記憶されているか否かを検出する第２のステップと、前記輝度レベル差がまだ記憶されていないとして検出された画素の場合には当該画素に係る輝度レベル差を求めて記憶する一方、輝度レベル差が既に記憶されているとして検出された画素の場合には、前記新たな参照位置に対して前記粗ベクトルの方向に配置されまだ求められていない画素の輝度レベル差を求めて記憶する第３のステップと、前記記憶されている輝度レベル差を用いて前記新たな参照位置の上下左右に配置される各画素の各輝度レベル差を平均して新たな参照位置に係る平均輝度レベル差を求め、この求められたレベル差が大なる値になるまで前記第２ステップからの動作を繰り返して演算する第４のステップと、前記平均輝度レベル差が大になる値の直前に求められた新たな参照位置と前記基準位置とから前記動ベクトルを求める第５のステップと、を有するようにしたことを特徴とする動画像の符号化方法を提供する。
【発明の効果】
【０００７】
本発明によれば、入力画像をフィルタ処理して解像度を低下させた低解像入力画像と、参照画像をフィルタ処理して解像度を低下させた低解像参照画像とから動ベクトルの方向に係る粗ベクトルを求める粗ベクトル演算手段と、入力画像を構成する画素の所定位置を基準位置とし、参照画像を構成する画素の所定位置を参照位置とするとき、基準位置の上下左右に配置される各画素と参照位置の上下左右に配置される各画素との間で相対応する画素同士の各輝度レベル差を求める差分演算手段と、差分演算手段で求められた各輝度レベル差を、各画素の位置と対応させて記憶する差分記憶手段と、参照位置の上下左右に配置される各画素の輝度レベル差の平均値を参照位置における平均輝度レベル差として求める平均値演算手段と、現在の参照位置の上下左右に配置される画素のうち、最も小さな輝度レベル差を与える画素の位置を新たな参照位置とし、新たな参照位置での平均輝度レベル差を求める演算を直前に求められたレベル差より大きなレベル差が得られるまで繰り返させた後、直前の新たな参照位置と基準位置とから動ベクトルを求めるベクトル探索制御手段と、を備えた格別な構成を有し、ベクトル探索制御手段は、平均値演算手段での演算に用いる各輝度レベル差のうち、輝度レベル差がまだ求められていない画素に係る輝度レベル差である場合は、差分演算手段に当該画素に係る輝度レベル差を演算させ、輝度レベル差が既に求められている画素に係る輝度レベル差である場合は、差分演算手段に当該画素に係る輝度レベル差を演算させることなく差分記憶手段に記憶されている当該画素に係る輝度レベル差を用いて平均輝度レベル差を求める演算をさせると共に、差分演算手段には新たな参照位置に対して粗ベクトルの方向に配置され、且つ輝度レベル差がまだ求められていない画素に係る輝度レベル差を求める演算をさせるようにしてあるので、可搬型カメラ装置に搭載可能であり、動ベクトル探索用の演算回数が少なく、低電力で入力動画像の動き予測符号化を高能率に行うことの出来る動画像符号化装置及び動画像の符号化方法を実現できる。
【発明を実施するための最良の形態】
【０００８】
以下に本発明の実施例に係る動画像符号化装置について図１〜図７を用いて説明する。
図１は、本発明の実施に係る動画像符号化装置の構成例を示すブロック図である。図２は、本発明の実施に係る動画像符号化装置の要部の構成例を示すブロック図である。図３は、本発明の実施に係る動画像符号化装置の動作例を示す説明図（その１）である。図４は、本発明の実施に係る動画像符号化装置の動作例を示す説明図（その２）である。図５は、本発明の実施に係る動画像符号化装置の動作例を示す説明図（その３）である。図６は、本発明の実施に係る動画像符号化装置の動作例を示す説明図（その４）である。図７は、本発明の実施に係る動画像符号化装置の処理の流れをフローチャートで示した図である。
【０００９】
その動画像符号化装置は、可搬型カメラ装置に搭載可能であり、動ベクトル探索用の演算回数が少なく、低電力で入力動画像の動き予測符号化を高能率に行うことの出来る装置を実現するという目的を、入力画像をフィルタ処理して解像度を低下させた低解像入力画像と、参照画像をフィルタ処理して解像度を低下させた低解像参照画像とから動ベクトルの方向に係る粗ベクトルを求める粗ベクトル演算手段と、入力画像を構成する画素の所定位置を基準位置とし、参照画像を構成する画素の所定位置を参照位置とするとき、基準位置の上下左右に配置される各画素と参照位置の上下左右に配置される各画素との間で相対応する画素同士の各輝度レベル差を求める差分演算手段と、差分演算手段で求められた各輝度レベル差を、各画素の位置と対応させて記憶する差分記憶手段と、参照位置の上下左右に配置される各画素の輝度レベル差の平均値を参照位置における平均輝度レベル差として求める平均値演算手段と、現在の参照位置の上下左右に配置される画素のうち、最も小さな輝度レベル差を与える画素の位置を新たな参照位置とし、新たな参照位置での平均輝度レベル差を求める演算を直前に求められたレベル差より大きなレベル差が得られるまで繰り返させた後、直前の新たな参照位置と基準位置とから動ベクトルを求めるベクトル探索制御手段と、を備えるようにし、ベクトル探索制御手段は、平均値演算手段での演算に用いる各輝度レベル差のうち、輝度レベル差がまだ求められていない画素に係る輝度レベル差である場合は、差分演算手段に当該画素に係る輝度レベル差を演算させ、輝度レベル差が既に求められている画素に係る輝度レベル差である場合は、差分演算手段に当該画素に係る輝度レベル差を演算させることなく差分記憶手段に記憶されている当該画素に係る輝度レベル差を用いて平均輝度レベル差を求める演算をさせると共に、差分演算手段には新たな参照位置に対して粗ベクトルの方向に配置され、且つ輝度レベル差がまだ求められていない画素に係る輝度レベル差を求める演算をさせるようにして実現した。
【００１０】
動画像符号化装置の構成について述べる。
図１に示す動画像符号化装置１は、イントラ予測部１１、加算器１２、変換部１３、量子化部１４、エントロピ符号化部１５、逆量子化部１７、逆変換部１８、加算器１９、ループフィルタ２１、フレームメモリ２２、動き補償部２３、動き検出部２４、スイッチ２５、及び制御部２９から構成される。
図２に示す動画像符号化装置の要部である動き検出部２４は、参照画像バッファ２４１、入力画像バッファ２４２、粗ベクトル演算部２４３、差分演算部２４４、差分記憶部２４５、平均値演算部２４６、及び動ベクトル生成制御部２４７より構成される。
【００１１】
動画像符号化装置の動作について説明する。最初に装置全体について述べ、次に動き検出部について詳述する。
まず、動画像符号化装置１に入力された動画像は加算器１２の正（＋）入力端子に入力されると共に、イントラ予測部１１でフレーム内予測符号化がなされイントラ予測符号化画像が生成される。生成されたイントラ予測符号化画像はスイッチ２５のａ側の端子を介して加算器１２の負（−）入力端子に入力される。加算器１２は入力画像からイントラ予測画像を減算して得られる差分画像を得る。変換部１３は差分画像を、例えばＤＣＴ（discrete cosine transform；離散余弦変換）し、係数情報を得る。量子化部１４は係数情報を所定の量子化幅で量子化し、量子化情報を得る。エントロピ符号化部１５は量子化情報をエントロピ符号化して符号化信号出力を得、得られた符号化信号出力は動画像符号化装置１から出力される。
【００１２】
逆量子化部１７は量子化部１４から出力される係数情報を逆量子化して復号係数情報を得る。逆変換部１８は復号係数情報を例えば逆ＤＣＴ変換し復号差分画像を得る。加算器１９は復号差分画像と、復号係数情報スイッチ２５を介して得られるイントラ予測符号化画像とを加算して復号画像を得る。ループフィルタ２１は復号画像に含まれる符号化及び復号化時に生じた歪成分を減衰させる。フレームメモリ２２は復号画像を記憶する。復号画像は動き補償符号化時の参照画像として用いられる。
【００１３】
後述の動き検出部２４は、入力画像に対する参照画像のマッチング位置を探索することにより動ベクトル情報を得る。動き補償部２３は動ベクトル情報を基に参照画像から動き補償画像を生成する。動き補償画像はスイッチ２５の端子Ｂ側を介して加算器１２の負入力端子側に入力される。
動画像符号化装置１は、例えばＭＰＥＧ（moving picture experts group）−４  ＡＶＣ（Advanced Video Coding）で規定されるシーケンスに従って、上記のイントラ予測符号化及び動き補償符号化を行い、符号化して得られる符号化信号出力を出力する。制御部２９は動画像符号化装置１の各回路部の動作を制御する。
【００１４】
次に、詳細に説明する。
図２に示す動き検出部２４の参照画像バッファ２４１には、変換部１３及び量子化部１４で符号化された後に逆量子化部１７及び逆変換部１８で復号化された画像が参照画像として記憶される。入力画像バッファ２４２は入力画像を記憶する。粗ベクトル演算部２４３は、入力画像の画素数を、例えば縦横それぞれ１／４の画素数に間引くなどにより解像度を低下させた入力画像を得る。同様に解像度を低下させた参照画像を生成した後に、低解像度の入力画像上で低解像度の参照画像のマッチング位置を探索し、粗ベクトル情報を得る。低解像度の画像から得られる粗ベクトル情報は動ベクトルの方向を判別できる程度の情報であり、画素単位の精度による長さのベクトル情報としては得られない。反面、粗ベクトルを求めるための演算量は動ベクトル演算量の１／１６程度と少なくて済む。動ベクトル生成制御部２４７は、粗ベクトルに基づいて動き検出部各部の動作を制御し、動き補償符号化に用いる動ベクトルを生成する。
【００１５】
ここで、入力画像の動ベクトルを求める画素の位置を基準位置とし、探索時の参照画像の画素位置を参照位置とする。差分演算部２４４は、基準位置の画素に対して上下左右に配置される４つの画素と、参照位置の画素に対して上下左右に配置される４つの画素との上下左右で相対応する画素同士の輝度レベル差を検出する。差分記憶部２４５は、参照画像の画素の位置に対応付けて求められた輝度レベル差を記憶する。平均値演算部２４６は、参照位置の上下左右に配置される各画素の輝度レベル差の平均値である平均輝度レベル差を求める。
【００１６】
動ベクトルの探索は、最初に基準位置と同一の位置を参照位置として平均輝度レベル差を求める。次に、参照位置を基準位置よりも粗ベクトルの方向に画素単位で移動した位置を新たな参照位置として新たな平均輝度レベル差を求める。画素単位の移動は、例えば粗ベクトルの横方向成分、乃至は縦方向成分の方向に行う。新たな平均輝度レベル差が直前に求めた平均輝度レベル差よりも小さい場合には、新たな参照位置を参照位置とし、新たな平均輝度レベル差を平均輝度レベル差に置換する。その後、参照位置から粗ベクトルの方向に画素単位で移動した位置を新たな参照位置とし、新たな平均輝度レベル差を求める。新たな平均輝度レベル差が直前に求めた平均輝度レベル差よりも小さい場合には、上記の動作を繰り返す。新たな平均輝度レベル差が直前に求めた平均輝度レベル差よりも大きい場合には、直前に得られた値が最も小さな値である。直前の参照位置が入力画像と参照画像とでマッチングが取れる位置であり、基準位置に対する参照位置が動ベクトルとして求められる。求められた動ベクトルは動き補償部２３及びエントロピ符号化部１５に供給される。
【００１７】
図３を参照して基準位置、参照位置、及びそれらの位置と画素との関係について述べる。
図３（Ａ）は入力画像の左上部を画素単位で示したものである。水平方向（Ｈ）に示す１〜６の番号は画像の左端からの画素の順番を示しており、垂直方向（Ｖ）に示す１〜７の番号は上端からの画素の順番を示している。左端から３番目、上端から４番目の画素の位置Ｈを基準位置とするとき、基準位置の上下左右に配置される画素はそれぞれｉ０、ｋ０、ｊ０、及びｈ０である。
図３（Ｂ）は参照画像につき同様に画素の順を示している。左端から３番目、上端から４番目の画素の位置Ａを参照位置とするとき、参照位置の上下左右に配置される画素はそれぞれｑ０、ｓ０、ｒ０、及びｐ０である。入力画像の基準位置Ｈに対する参照画像の参照位置Ａの輝度信号レベル差Ｔ０は式（１）により求められる。
Ｔ０＝｜ｈ０−ｐ０｜＋｜ｉ０−ｑ０｜＋｜ｊ０−ｒ０｜＋｜ｋ０−ｓ０｜    （１）
ここで、｜ｈ０−ｐ０｜は画素ｈ０の輝度レベルから画素ｐ０の輝度レベルを減算した値の絶対値を示す。以下同様である。
図３（Ｃ）は新たな参照位置を左端から４番目、上端から４番目の画素の位置Ｂとするとき、参照位置の上下左右に配置される画素はそれぞれｑ１、ｓ１、ｒ１、及びｐ１であることを示す。入力画像の基準位置Ｈに対する、参照画像の参照位置Ｂの輝度信号レベル差Ｔ１は式（２）により求められる。
Ｔ１＝｜ｈ０−ｐ１｜＋｜ｉ０−ｑ１｜＋｜ｊ０−ｒ１｜＋｜ｋ０−ｓ１｜    （２）
【００１８】
図４を参照し、粗ベクトルを基に求められる動ベクトルにつき述べる。
図４（Ａ）は画像の画素を破線で示している。縦横４画素ごとに示す太い実線は、例えば縦横４画素毎に間引かれた状態の間引き画素を示している。粗ベクトル演算部２４３は、間引き画素で構成される基準画像と間引き画素で構成される参照画像とから粗ベクトルを求める。同図において（Ａ）の間引き画素領域が右側の（Ｂ）に移動する場合、右斜め下の（Ｃ）に移動する場合、さらに下側の（Ｄ）に移動する場合の３つのケースがあることを示している。なお、粗ベクトルは、平面フィルタにより縦横の解像度を各々１／４にした低解像度画像を用い、少ない演算量により求める様にしても良い。
図４（Ｂ）は、粗ベクトルが（Ｂ）の方向として検出された場合に動ベクトル生成制御部２４７で生成される動ベクトルを１つの画素について示してある。即ち、基準位置ａ０に対する参照位置ａ０における式（１）のＴ０を求める。次に、基準位置ａ０に対する参照位置ａ１での式（２）のＴ１を求める。Ｔ０＞Ｔ１の場合には、同様にして基準位置ａ０に対する参照位置ａ２でのＴ２を求める。Ｔ１＞Ｔ２の場合には、基準位置ａ０に対する参照位置ａ３でのＴ３を求める。Ｔ２＞Ｔ３の場合には、基準位置ａ０に対する参照位置ａ４でのＴ４を求める。Ｔ３＞Ｔ４の場合には、基準位置ａ０に対する参照位置ｂ０でのＴ５を求める。Ｔ４＞Ｔ５の場合には、基準位置ａ０に対する参照位置ｂ１でのＴ６を求める。ここでＴ５＜Ｔ６の場合には、基準位置ａ０と参照位置ｂ０とを結ぶ線が動ベクトルとなる。
【００１９】
図４（Ｃ）は、粗ベクトルが右斜め下である場合の動ベクトルの求め方を示す。ここでは、参照位置の移動を左側に１画素、下側に１画素、左側に１画素、下側に１画素、・・・を繰り返しつつ動ベクトルを求める。図４（Ｂ）の横方向移動の場合では４回目の移動で隣接する間引き画素の位置に到達する。しかし図４（Ｃ）のように斜め方向移動の場合では８回目の移動で隣接する間引き画素の位置に到達する。２倍の移動回数が必要である。
図４（Ｄ）は下方向に移動する場合である。下側に隣接する間引き画素への移動回数は（Ｂ）と同じ４回である。以上より、粗ベクトルが水平方向又は垂直方向である場合には移動回数が少なく、斜め方向である場合には移動回数が多い。動ベクトルの演算は、移動の１回毎に差分演算部２４４、差分記憶部２４５、及び平均値演算部２４６での演算が必要である。換言すると、粗ベクトルが斜め方向である場合に動ベクトルを求めるための演算回数が多くなり、消費電力も増加することになる。本実施例の動画像符号化装置１は、特に、斜め方向の動ベクトル演算時の消費電力を少なくしている。斜め方向としては、右下方向の他に右上方向、左上方向、及び左下方向がある。
【００２０】
図５を参照し、動ベクトルの演算につき更に述べる。
図５（Ａ）は「○」で示す横３、縦４の位置（以降、〔３、４〕と記述することがある。）を基準位置とする場合に隣接する右、上、左、下の各画素ｐ１、ｑ１、ｒ１、ｓ１の位置を示す。最初にｐ１、ｑ１、ｒ１、ｓ１の位置での輝度レベル差を求める。ここで、粗ベクトルが横方向である場合には参照位置図５（Ｂ）における「○」で示す〔４、４〕の位置に移動し、輝度レベル差ｐ２、ｑ２、ｒ２、ｓ２を求める。図５（Ｃ）は参照位置の移動例を３つ示している。即ち、Ａ、Ｂ、Ｄの順の場合、Ａ、Ｂ、Ｅの順の場合、更にはＡ、Ｂ、Ｆの順の場合があることを示している。
【００２１】
図５（Ｄ）は参照位置の移動がＡ、Ｂ、Ｄの順の場合での輝度レベル差を演算する画素の位置を示す。「○」で示す〔４、３〕の位置での上下左右の画素につき輝度レベル差を求めるに際し、左側及び下側の画素は既に図５（Ａ）で求められており、演算結果は差分記憶部２４５に記憶されている。そこで、輝度レベル差の演算は〔３、３〕の代わりにｒ３で示す〔５、２〕を、〔４、５〕の代わりにＳ３で示す〔６、３〕の位置での輝度レベル差を求める。求めた輝度レベル差はその画素の位置情報と共に差分記憶部２４５に記憶する。これにより、次の参照位置の移動が〔５、３〕である場合には、新たな輝度レベル差の演算を行うことなく、差分記憶部２４５に記憶される輝度レベル差のみを用いて平均輝度レベル差を求めることが出来る。
【００２２】
図５（Ｅ）は参照位置の移動がＡ、Ｂ、Ｅの順の場合での演算箇所を示す。〔４、４〕の画素の輝度レベル差は既に演算されているため、ｒ３で示す〔６、３〕の位置の輝度レベル差を先行して演算し、差分記憶部２４５に記憶しておく。
図５（Ｆ）は参照位置の移動がＡ、Ｂ、Ｆの順の場合での演算箇所である。参照位置を〔４、５〕に移動したときに、既に〔４、４〕及び〔３、５〕の輝度レベル差は演算済みであるため、〔６、５〕及び〔５、６〕のｑ３及びｒ３を演算し、差分記憶部２４５に記憶しておく。次の参照位置が〔５、５〕である場合には、記憶されている輝度レベル差のみを用いて平均輝度レベル差を求めることが出来る。移動方向が右上方向及び右下方向である場合について示した。移動方向が左上方向の場合、及び左下方向である場合も同様である。
参照位置の移動が斜め方向である場合には、先行して演算し、記憶しておいた輝度レベル差を用いて次の参照位置での平均輝度レベル差を求めることが出来る。移動方向が斜めの場合には水平、垂直方向の場合に比して演算回数が増加する。演算が重複する画素の輝度レベル差を、図５（Ｄ）、図５（Ｅ）のように先行演算しておくことにより演算回数の増加を少なく抑えることが出来る。縦や横方向の場合と斜め方向の場合とでの演算回数の差を小さく出来る。
【００２３】
図６を参照し、動ベクトルをマクロブロックのマッチングにより求める方法について述べる。
上述の差分演算部２４４、差分記憶部２４５、及び平均値演算部２４６の動作を１画素単位で行う場合について述べた。一方、例えば８画素×８画素のマクロブロックの画像により動ベクトルを探索する方法では正確な動ベクトルを求めることが出来る。
図６（Ａ）の太い直線で示すマクロブロックは６４個の画素からなっている。図６（Ｂ）はそれらの中の１つの画素について示した図である。即ち、６４個の全て画素のについて上述の演算を並列に行う。平均値演算部２４６では６４個の画素のそれぞれについて、上述の式（１）、式（２）の輝度信号レベル差の平均値（又は合計値）を求める。次の参照点に移動して輝度信号レベル差の平均値を求めるか、又は直前に求められた輝度信号レベル差の平均値を与える参照点により動ベクトルを決定するか輝度信号レベル差の平均値の増減により判定する。
マクロブロックの画素数が、例えば１６×１６の場合は２５６の並列演算が必要であり、３２×３２の場合には１０２４もの並列演算が必要になる。これらの演算回数の増加の割合を少なく出来ることは、演算時間及び演算時の消費電力を小さく出来ることであり、特にバッテリ駆動する可搬型機器で行う符号化に適応して利点が大きい。
【００２４】
図７を参照し、動画像符号化装置１での１つの基準点に対して動ベクトルを求める処理の流れについて述べる。
まず、Ｓ（ステップ）６１において、入力画像である原画像の基準点に対し上下左右に配置される画素と、参照画像の基準点に対して上下左右に配置される画素同士の輝度レベルを比較する。Ｓ６２で、上下左右の比較結果のうち、最小の比較結果値を与える方向に移動した位置を新たな参照位置とし、基準位置の原画像と新たな参照位置の参照画像との間で上下左右の各画素の輝度レベルを比較する。比較して得られた各画素の輝度レベルを記憶素子に記憶する。Ｓ６３で、最も小さな各画素の輝度レベル差が得られたとして検出されない場合は、Ｓ６４で制御部は次の未検索参照画像領域を選択し動作を継続させるための制御信号を出力する。Ｓ６２からの動作を繰り返す。Ｓ６３で、最も小さな各画素の輝度レベル差が得られたとして検出された場合は、Ｓ６５で最も小さな輝度レベル差が得られる参照位置を動ベクトルの位置として出力し、上記基準点での動ベクトルの探索を終了する。
【００２５】
以上のように、本実施例で示した動画像符号化装置１によれば、解像度を低下させた入力画像と、解像度を低下させた参照画像とから動ベクトルの方向に係る粗ベクトルを求める粗ベクトル演算手段２４３と、入力画像を構成する画素の所定位置を基準位置とし、参照画像を構成する画素の所定位置を参照位置とするとき、基準位置の上下左右に配置される各画素と参照位置の上下左右に配置される各画素との相対応する画素同士の輝度レベル差をそれぞれ求める差分演算手段２４４と、差分演算手段で求められたそれぞれの輝度レベル差を、当該輝度レベル差を与える画素の位置と対応させて記憶する差分記憶手段２４５と、参照位置の上下左右に配置される各画素の輝度レベル差の平均値を参照位置における平均輝度レベル差として求める平均値演算手段２４６と、参照画像の基準位置に対応する位置を参照位置として平均輝度レベル差を求めた後、参照位置から粗ベクトルの方向に画素単位で移動した位置を新たな参照位置として新たな平均輝度レベル差を求める演算を新たに求められる平均輝度レベル差が直前に求められた平均輝度レベル差よりも大きい値として得られるまで行い、その後直前に得られた平均輝度レベル差を与える参照位置を基準位置からの動ベクトルの位置として用い入力画像の動き補償符号化を行わせるに際し、新たな参照位置の上下左右に配置される各画素のうち当該画素の輝度レベル差が差分記憶手段に記憶されているときは、平均値演算手段には差分記憶手段に記憶されている輝度レベル差を用いて平均輝度レベル差を求めさせると共に、差分演算手段には新たな参照位置よりも粗ベクトルの方向に配置される画素の輝度レベル差を求めさせる一方、新たな参照位置の上下左右に配置される各画素のうち当該画素の輝度レベル差が差分記憶手段に記憶されていないときは、差分演算手段には当該画素の輝度レベル差を求める演算をさせ、平均値演算手段には差分演算手段で演算して得られた輝度レベル差を用いて平均輝度レベル差を求めさせる制御を行う制御手段２４７と、を備えた構成があるので、可搬型カメラ装置に搭載可能な動ベクトル探索用の演算回数が少なく、低電力での動作を可能とする動画像符号化装置を実現できる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施に係る動画像符号化装置の構成例を示すブロック図である。
【図２】本発明の実施に係る動画像符号化装置の要部の構成例を示すブロック図である。
【図３】本発明の実施に係る動画像符号化装置の動作例を示す説明図（その１）である。
【図４】本発明の実施に係る動画像符号化装置の動作例を示す説明図（その２）である。
【図５】本発明の実施に係る動画像符号化装置の動作例を示す説明図（その３）である。
【図６】本発明の実施に係る動画像符号化装置の動作例を示す説明図（その４）である。
【図７】本発明の実施に係る動画像符号化装置の処理の流れをフローチャートで示した図である。
【符号の説明】
【００２７】
１    動画像符号化装置
１１    イントラ予測部
１２    加算器
１３    変換部
１４    量子化部
１５    エントロピ符号化部
１７    逆量子化部
１８    逆変換部
１９    加算器
２１    ループフィルタ
２２    フレームメモリ
２３    動き補償部
２４    動き検出部
２５    スイッチ
２９    制御部
２４１    参照画像バッファ
２４２    入力画像バッファ
２４３    粗ベクトル演算部
２４４    差分演算部
２４５    差分記憶部
２４６    平均値演算部
２４７    動ベクトル生成制御部
【図１】
2009005090.tif 000003
【図２】
2009005090.tif 000004
【図３】
2009005090.tif 000005
【図４】
2009005090.tif 000006
【図５】
2009005090.tif 000007
【図６】
2009005090.tif 000008
【図７】
2009005090.tif 000009