(57)【要約】【課題】  入力画像と参照画像とのマッチングを少ない演算回数で比較し、動ベクトルを容易に求められる動ベクトル検出装置を実現する。【解決手段】  参照画像及び対象画像それぞれの基準画素のＸ、Ｙ方向の輝度信号レベルの微係数を求め、ＸＹ方向微係数の正負の組み合わせに応じて第１〜第４の４パターンを定める。参照画像のＸＹ方向微係数を第１微分器７１ｂで求め、第１符号判定回路７２ｂで４パターンを判定する一方、対象画像のＸＹ方向の微係数を第２微分器７１ａで求め、第２符号判定回路７２ａで４パターンを判定して第２格納部７３ａ、７３ｂに格納する。対象画像の画素に対応するパターンと参照画像のパターンとを比較し、一致するパターンが最も多い参照画像の画素ブロックを比較出力部７４１から出力し、参照画像の画素ブロックから対象画像の特定画素ブロックへの動きベクトルを検知部７４４で検知するようにした。【選択図】      図２
2007143006.tif 000002
【特許請求の範囲】
【請求項１】
参照画像から対象画像への動きベクトルを求める動きベクトル検出装置において、
前記参照画像或いは前記対象画像の中に含まれてマトリクス状に配置される複数の画素の位置を平面直交座標で表した際に、前記参照画像或いは前記対象画像の中の基準画素に隣接する＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記基準画素に隣接する＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第１パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第２パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第３パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第４パターンとして格納する第１格納部と、
前記参照画像の中の前記＋Ｘ軸側画素から参照画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記参照画像基準画素を差引いた値が＋であるか−であるかを求める第１微分器と、
前記第１微分器で求めた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを判定する第１符号判定回路と、
前記対象画像の中の前記＋Ｘ軸側画素から前記対象画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記対象画像基準画素を差引いた値が＋であるか−であるかを求める第２微分器と、
前記第２微分器で求めた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを判定する第２符号判定回路と、
前記第１符号判定回路で判定された前記第１〜第４パターンのいずれかを前記参照画像の画素に対応させて格納すると共に前記第２符号判定回路で判定された前記第１〜第４パターンのいずれかを前記対象画像の画素に対応させて格納する第２格納部と、
前記参照画像を同一単位の画素ブロックで複数に分けた場合に、前記対象画像における前記同一単位の特定画素ブロックに対して前記参照画像の前記複数の同一単位の画素ブロックを比較し、前記特定画素ブロックに含まれる前記第１〜第４パターンと一致する画素が最も多く含まれる前記参照画像の画素ブロック及び前記特定画素ブロックを出力する比較出力部と、
前記比較出力部で出力された前記特定画素ブロックと前記参照画像の画素ブロックに基づいて、前記参照画像の画素ブロックから前記対象画像の前記特定画素ブロックへ前記動きベクトルが動いたことを検知する検知部と、
を備えたことを特徴とする動きベクトル検出装置。
【請求項２】
参照画像から対象画像への動きベクトルを求める動きベクトル検出方法において、
前記参照画像或いは前記対象画像の中に含まれてマトリクス状に配置される複数の画素の位置を平面直交座標で表した際に、前記参照画像或いは前記対象画像の中の基準画素に隣接する＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記基準画素に隣接する＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第１パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第２パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第３パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第４パターンとして第１格納部に格納し、
前記参照画像の中の前記＋Ｘ軸側画素から参照画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記参照画像基準画素を差引いた値が＋であるか−であるかを求め、
求められた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを第１符号判定部により判定し、
前記対象画像の中の前記＋Ｘ軸側画素から前記対象画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記対象画像基準画素を差引いた値が＋であるか−であるかを求め、
求められた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを第２符号判定部で判定し、
前記第１符号判定部で判定された前記第１〜第４パターンのいずれかを前記参照画像の画素に対応させて格納すると共に前記第２符号判定部で判定された前記第１〜第４パターンのいずれかを前記対象画像の画素に対応させて第２格納部に格納し、
前記参照画像を同一単位の画素ブロックで複数に分けた場合に、前記対象画像における前記同一単位の特定画素ブロックに対して前記参照画像の前記複数の同一単位の画素ブロックを比較し、前記特定画素ブロックに含まれる前記第１〜第４パターンと一致する画素が最も多く含まれる前記参照画像の画素ブロック及び前記特定画素ブロックを出力し、
出力された前記特定画素ブロックと前記参照画像の画素ブロックに基づいて、前記参照画像の画素ブロックから前記対象画像の前記特定画素ブロックへ前記動きベクトルが動いたことを検知することを特徴とする動きベクトル検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き予測により動画像を符号化する際に用いる動きベクトル検出装置及び動きベクトル検出方法に関する。
【背景技術】
【０００２】
最近になり、ＤＶＤやディジタル放送など、符号化した動画像を記録したり伝送するようになってきた。符号化したディジタル動画像信号は使用する周波数帯域がアナログ伝送より小さいにも係わらず、高画質な映像信号を伝送することが出来る。
【０００３】
一方、動画像は直交変換技術と動き予測技術とが用いられて符号化される。実際の符号化時の信号処理の演算時間は直交変換処理よりも動き予測処理に係る動ベクトルの探索処理に大きな処理時間を要している。動ベクトルの探索を小さな処理時間で実行できることは好ましい。
【０００４】
特許文献１には、動き補償フレーム間予測装置において、動ベクトル検出のための演算量を削減し、動ベクトル検出回路の規模を縮少できるようにした動ベクトル検出装置が開示されている。その装置は、動ベクトル探索範囲の画素データを格納する連想記憶手段と、フレームメモリと連想記憶手段との間のデータ転送を制御する制御手段と、連想記憶手段で検索する入力画像データの指定及び検索結果のアドレスを管理する管理手段と、連想記憶手段により検索されたアドレスに基づき最適な動ベクトルをブロックマッチングにより決定する決定手段とを有し、連想記憶手段により概略動ベクトル検索を２段階の動ベクトルの検出を行うことにより、動ベクトル検出のための演算量を削減した動ベクトル検出装置が開示されている。
【特許文献１】特開平１０−１１７３５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている動ベクトル検出装置では、まず画像に含まれるエッジ情報部分を検出し、エッジ情報が検出される場合には検出されたエッジ部分を中心として探索範囲を縮小し、その探索範囲の中で差分演算及び差分絶対値の累積加算を行って動ベクトルを検出するようにしている。しかし、検出されるエッジ部分は時間と共に変化しているため、エッジ部分を正確に検出できない場合がある。エッジ部分が検出され、探索範囲が縮小された場合であっても動き位置候補とされる複数の参照画像と入力画像との間で差分演算及び差分絶対値の加算処理を行わなければならない。画像データは８ビット乃至は１０ビットのデータであり、ビット数の多い画像データの差分演算及び差分絶対値の加算処理を動き位置候補とされる参照画像のそれぞれに対して行うための演算量は多く、動ベクトルを簡単に求めることのできる動ベクトル検出装置を実現することはできなかった。
【０００６】
そこで、本発明は、上記のような問題点を解消するためになされたもので、入力画像と参照画像とのマッチングを少ない演算回数により求めるようにし、候補とされる参照画像ブロックが多数ある場合であっても演算回数の増加を少なくし、動ベクトルを容易に求めることを可能とする動きベクトル検出装置及び動きベクトル検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本願発明における第１の発明は、参照画像から対象画像への動きベクトルを求める動きベクトル検出装置において、前記参照画像或いは前記対象画像の中に含まれてマトリクス状に配置される複数の画素の位置を平面直交座標で表した際に、前記参照画像或いは前記対象画像の中の基準画素に隣接する＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記基準画素に隣接する＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第１パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第２パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第３パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第４パターンとして格納する第１格納部と、
前記参照画像の中の前記＋Ｘ軸側画素から参照画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記参照画像基準画素を差引いた値が＋であるか−であるかを求める第１微分器と、前記第１微分器で求めた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを判定する第１符号判定回路と、前記対象画像の中の前記＋Ｘ軸側画素から前記対象画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記対象画像基準画素を差引いた値が＋であるか−であるかを求める第２微分器と、前記第２微分器で求めた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを判定する第２符号判定回路と、前記第１符号判定回路で判定された前記第１〜第４パターンのいずれかを前記参照画像の画素に対応させて格納すると共に前記第２符号判定回路で判定された前記第１〜第４パターンのいずれかを前記対象画像の画素に対応させて格納する第２格納部と、前記参照画像を同一単位の画素ブロックで複数に分けた場合に、前記対象画像における前記同一単位の特定画素ブロックに対して前記参照画像の前記複数の同一単位の画素ブロックを比較し、前記特定画素ブロックに含まれる前記第１〜第４パターンと一致する画素が最も多く含まれる前記参照画像の画素ブロック及び前記特定画素ブロックを出力する比較出力部と、前記比較出力部で出力された前記特定画素ブロックと前記参照画像の画素ブロックに基づいて、前記参照画像の画素ブロックから前記対象画像の前記特定画素ブロックへ前記動きベクトルが動いたことを検知する検知部と、を備えたことを特徴とする動きベクトル検出装置を提供する。
【０００８】
第２の発明は、参照画像から対象画像への動きベクトルを求める動きベクトル検出方法において、前記参照画像或いは前記対象画像の中に含まれてマトリクス状に配置される複数の画素の位置を平面直交座標で表した際に、前記参照画像或いは前記対象画像の中の基準画素に隣接する＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記基準画素に隣接する＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第１パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第２パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第３パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第４パターンとして第１格納部に格納し、前記参照画像の中の前記＋Ｘ軸側画素から参照画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記参照画像基準画素を差引いた値が＋であるか−であるかを求め、求められた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを第１符号判定部により判定し、前記対象画像の中の前記＋Ｘ軸側画素から前記対象画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記対象画像基準画素を差引いた値が＋であるか−であるかを求め、求められた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを第２符号判定部で判定し、前記第１符号判定部で判定された前記第１〜第４パターンのいずれかを前記参照画像の画素に対応させて格納すると共に前記第２符号判定部で判定された前記第１〜第４パターンのいずれかを前記対象画像の画素に対応させて第２格納部に格納し、前記参照画像を同一単位の画素ブロックで複数に分けた場合に、前記対象画像における前記同一単位の特定画素ブロックに対して前記参照画像の前記複数の同一単位の画素ブロックを比較し、前記特定画素ブロックに含まれる前記第１〜第４パターンと一致する画素が最も多く含まれる前記参照画像の画素ブロック及び前記特定画素ブロックを出力し、出力された前記特定画素ブロックと前記参照画像の画素ブロックに基づいて、前記参照画像の画素ブロックから前記対象画像の前記特定画素ブロックへ前記動きベクトルが動いたことを検知することを特徴とする動きベクトル検出方法を提供する。
【発明の効果】
【０００９】
本発明によれば、格別な構成が、参照画像或いは対象画像の中に含まれてマトリクス状に配置される複数の画素の位置を平面直交座標で表した際に、前記参照画像或いは前記対象画像の中の基準画素に隣接する＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記基準画素に隣接する＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第１パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第２パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第３パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第４パターンとして格納する第１格納部と、前記参照画像の中の前記＋Ｘ軸側画素から参照画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記参照画像基準画素を差引いた値が＋であるか−であるかを求める第１微分器と、前記第１微分器で求めた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを判定する第１符号判定回路と、前記対象画像の中の前記＋Ｘ軸側画素から前記対象画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記対象画像基準画素を差引いた値が＋であるか−であるかを求める第２微分器と、前記第２微分器で求めた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを判定する第２符号判定回路と、前記第１符号判定回路で判定された前記第１〜第４パターンのいずれかを前記参照画像の画素に対応させて格納すると共に前記第２符号判定回路で判定された前記第１〜第４パターンのいずれかを前記対象画像の画素に対応させて格納する第２格納部と、前記参照画像を同一単位の画素ブロックで複数に分けた場合に、前記対象画像における前記同一単位の特定画素ブロックに対して前記参照画像の前記複数の同一単位の画素ブロックを比較し、前記特定画素ブロックに含まれる前記第１〜第４パターンと一致する画素が最も多く含まれる前記参照画像の画素ブロック及び前記特定画素ブロックを出力する比較出力部と、前記比較出力部で出力された前記特定画素ブロックと前記参照画像の画素ブロックに基づいて、前記参照画像の画素ブロックから前記対象画像の前記特定画素ブロックへ前記動きベクトルが動いたことを検知する検知部と、を備えているので、入力画像と参照画像とのマッチングを少ない演算回数により求めるようにし、候補とされる参照画像ブロックが多数ある場合であっても演算回数の増加を少なくし、動ベクトルを容易に求めることを可能とする動ベクトル検出装置を実現できる。
【００１０】
同様にして、入力画像と参照画像とのマッチングを少ない演算回数により求めるようにし、候補とされる参照画像ブロックが多数ある場合であっても演算回数の増加を少なくし、動ベクトルを容易に求めることを可能とする動ベクトル検出方法を実現できる。
【発明を実施するための最良の形態】
【００１１】
以下に本発明の実施例に係る動きベクトル検出装置及び動きベクトル検出方法について図１〜図７を用いて説明する。
図１は、本発明の実施に係る動きベクトル検出装置を搭載した動画像符号化システムの構成例を示すブロック図である。
【００１２】
図２は、本発明の実施に係る動きベクトル検出装置の構成例を示したブロック図である。
図３は、本発明の実施に係る動きベクトル検出装置の動作例を説明するための図である。
【００１３】
図４は、本発明の実施に係るパターンの記述されたマクロブロックを例示した図である。
図５は、本発明の実施に係る動きベクトル検出装置の要部の動作例を説明するための図である。
【００１４】
図６は、本発明の実施に係る動きベクトル検出装置の要部の動作例を説明するための図である。
図７は、本発明の実施に係る動きベクトル検出装置の応用例の構成を示したブロック図である。
【００１５】
そのベクトル検出装置は、入力画像と参照画像とのマッチングを少ない演算回数により求めるようにし、候補とされる参照画像ブロックが多数ある場合であっても演算回数の増加を少なくし、動ベクトルを容易に求めることを可能とする動ベクトル検出装置を実現するという目的を、参照画像或いは対象画像の中に含まれてマトリクス状に配置される複数の画素の位置を平面直交座標で表した際に、前記参照画像或いは前記対象画像の中の基準画素に隣接する＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記基準画素に隣接する＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第１パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第２パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第３パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第４パターンとして格納する第１格納部と、前記参照画像の中の前記＋Ｘ軸側画素から参照画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記参照画像基準画素を差引いた値が＋であるか−であるかを求める第１微分器と、前記第１微分器で求めた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを判定する第１符号判定回路と、前記対象画像の中の前記＋Ｘ軸側画素から前記対象画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記対象画像基準画素を差引いた値が＋であるか−であるかを求める第２微分器と、前記第２微分器で求めた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを判定する第２符号判定回路と、前記第１符号判定回路で判定された前記第１〜第４パターンのいずれかを前記参照画像の画素に対応させて格納すると共に前記第２符号判定回路で判定された前記第１〜第４パターンのいずれかを前記対象画像の画素に対応させて格納する第２格納部と、前記参照画像を同一単位の画素ブロックで複数に分けた場合に、前記対象画像における前記同一単位の特定画素ブロックに対して前記参照画像の前記複数の同一単位の画素ブロックを比較し、前記特定画素ブロックに含まれる前記第１〜第４パターンと一致する画素が最も多く含まれる前記参照画像の画素ブロック及び前記特定画素ブロックを出力する比較出力部と、前記比較出力部で出力された前記特定画素ブロックと前記参照画像の画素ブロックに基づいて、前記参照画像の画素ブロックから前記対象画像の前記特定画素ブロックへ前記動きベクトルが動いたことを検知する検知部と、を備えるようにして実現した。
【００１６】
ベクトル検出装置を搭載した動画像符号化システムの構成について述べる。
図１に示す動画像符号化システム１０は減算部１、直交変換部２、逆直交変換部２ａ、量子化部３、逆量子化部３ａ、ランレングス符号化部４、加算部５、フレームメモリ６、動きベクトル検出装置７、及び動き補償予測部８より構成される。動きベクトル検出装置７は微分器７１ａ、７１ｂ、符号判定器７２ａ、７２ｂ、メモリ７３ａ、７３ｂ、比較器７４、及び制御回路７９から構成される。
【００１７】
図２に示す動きベクトル検出装置７の微分器７１ａ及び７１ｂのそれぞれは、メモリ７１１、画素取得回路７１２、及び減算回路７１３から構成される。比較器７４は一致パターン数検出回路７４１、メモリ７４２、最大数検出回路７４３、及び動ベクトル決定回路７４４から構成される。
【００１８】
図５に示す一致パターン数検出回路７４１は、一致検出器７４１ａ、７４１ｂ、・・・、７４１ｐ、及び加算器７４１ｑから構成される。
動画像符号化システムに搭載されるベクトル検出装置の動作について述べる。
【００１９】
まず、最初の画像入力信号は動画像符号化システム１０の減算部１を介して直交変換部２に入力され、そこで直交変換されて係数値データが得られる。係数値データは量子化部３で量子化され、量子化して得られた量子化データはランレングス符号化部４でランレングス符号化されて符号化信号として出力されると共に、量子化データは逆量子化部３ａで逆量子化され、逆直交変換部２ａで逆直交変換されて復号化画像データが得られる。復号化画像データは加算部５を介してフレームメモリ６に入力され、そこに記憶される。フレームメモリ６に記憶された復号化画像データは動きベクトル検出装置７の微分器７１ｂで画像の輝度信号レベルは横方向（水平方向）及び縦方向（垂直方向）のそれぞれで偏微分される。符号判定器７２ｂでは偏微分して得られた縦及び横方向の微係数の符号を基に４つのパターンに分類され、そのパターン情報は画像の位置情報と共にメモリ７３ｂに記憶される。
【００２０】
次のフレームの画像入力信号は動きベクトル検出装置７の微分器７１ａで画像の輝度信号レベルは横縦それぞれの方向で偏微分され、符号判定器７２ａでは偏微分で得られた縦及び横方向の微係数の符号を基に４つのパターンに分類され、そのパターン情報は画像の位置情報と共にメモリ７３ａに記憶される。
【００２１】
次に、メモリ７３ａ及び７３ｂに記憶されるパターン情報を用いて、現在の画像入力信号が最初に（過去に）入力された画像入力信号のどの部分と良くマッチングしているかを調べる。即ち、比較器７４は、現在入力される画像を対象画像、過去に入力された画像を参照画像とする際に、縦横１６×１６画素の対象画像が、どの１６×１６画素の参照画像の部分と最も良くマッチングしているかが探索により調べられる。動き補償予測部８は、探索して得られた特定の参照画像をフレームメモリ６から取得する。特定の参照画像は減算部１で減算される。減算して得られた動き補償された情報量の少ない差信号成分は直交変換、量子化、及びランレングス符号化されて動画像符号化システム１０から出力される。以降、符号化の動作はＭＰＥＧ（moving picture experts group）などでなされる符号化と同様になされる。
【００２２】
ＭＰＥＧなどでの動きベクトルの探索は、現在入力される対象画像を、過去に入力された参照画像から減算して平均２乗誤差を求める動作を行う。即ち、対象画像とのマッチングの演算を、縦横１６×１６画素の候補とされる複数の参照画像に対して最も平均２乗誤差の小さい参照画像の位置を探索により求めている。それに比し、この実施例での参照画像の位置探索は、パターン情報の一致度により探索するため探索に係る演算時間が短い。ＭＰＥＧなどの場合では、仮に新たな位置の参照画像に既にに求めた参照画像が部分的に含まれる場合であっても平均２乗誤差演算は新たに求める全ての画素の演算を行う必要があるのに比し、本実施例での参照画像の探索は、既に求めた参照画像の微分値は重複する参照画像の部分については再度求める必要がない。さらに、対象画像と参照画像との比較は単に同一のパタンが存在する個数を求めるのみである。参照画像の位置探索を短時間で行えるため、より多数の参照画像候補に対する一致度の探索を簡易にできるため、より適切な動きベクトルを求めることができる。動き補償予測部８では効率の高い動き補償符号化を行うことができる。
【００２３】
図２〜図６を参照し、動きベクトル検出装置７について詳細に説明する。
図２に示す微分器７１ａのメモリ７１１には微分演算を行うために必要な、例えば１走査線分強の画像データを記憶する。画素取得回路７１２はメモリ７１１から現在及び過去の入力画像データを得る。
【００２４】
図３は、画素データの位置を水平（横）方向Ｘ、垂直（縦）方向Ｙの２次元平面上に示し、その画素データの輝度成分をＺ方向に示したものである。画素取得回路７１２はメモリ７１１から現在の画素データｐ１、水平方向に１画素手前のｐ２、そして垂直方向に１画素上に位置するｐ３を取得する。ｐ３はｐ１に比し１走査線分過去の画素データである。
【００２５】
図２の微分器７１ａの減算回路７１３は、図３に示した画素データｐ３の輝度レベルから画素データｐ１の輝度レベルを減算し、垂直方向の輝度レベル差分値を得る。垂直方向の輝度レベル差分値は、垂直の方向に輝度レベルが高い場合には正の差分値として得られる。減算回路７１３は、画素データｐ１の輝度レベルから画素データｐ２の輝度レベルを減算し水平方向の輝度レベル差分値を得る。水平の方向に輝度レベルが高い場合には正の差分値として得られる。符号判定器７２ａは、対象画像データの水平方向及び垂直方向における輝度レベルの傾斜の傾き、即ち輝度レベルを偏微分して得られる微係数の極性が正であるか、負であるかを検出する。対象画像データの画素ごとのパターン情報はメモリ７３ａに記憶される。
【００２６】
図２の微分器７１ｂのメモリ７１１、画素取得回路７１２、及び減算回路７１３は入力される参照画像について上記と同様の動作を行い、参照画像に係る垂直方向の輝度レベル差分値及び水平方向の輝度レベル差分値を得る。符号判定器７２ｂは、画像データの水平方向及び垂直方向における輝度レベルの傾斜の傾き、即ち輝度レベルを偏微分して得られる微係数の値が正であるか、負であるかを検出する。符号判定器７２ｂは、参照画像データの水平方向及び垂直方向における微係数の極性が正であるか、負であるかを検出する。参照画像データの画素データごとのパターン情報はメモリ７３ａに記憶される。
【００２７】
表１に、垂直方向の輝度レベル差分値の符号、及び水平方向の輝度レベル差分値の符号により与えられる４種類のパターンＡ〜Ｄを示す。
【００２８】
【表１】
2007143006.tif 000003
図４における（Ａ）は、メモリ７３ａに記憶される対象画像１６画素×１６画素のパターンＡ〜Ｄに係るパターンデータの記述例であり、（Ｂ）はメモリ７３ｂに記憶される参照画像のパターンデータの記述例である。
【００２９】
一致パターン数検出回路７４１はメモリ７３ａ及び７３ｂで、相対応する画素の位置でパターンＡ〜Ｄのうちでお互いに一致する（同一の）パターンの個数を検出する。
図５を用いて、比較器７４の一致パターン数検出回路７４１について説明する。
【００３０】
一致検出器７４１ａはメモリ７３ａの第１列目に記憶されるパターンデータとメモリ７３ｂの第１列目に記憶されるパターンデータとを行毎に順次比較する。一致するパターンの箇所がいくつあるかを計数し、計数値を加算器７４１ｑに出力する。一致検出器７４１ｂは、第２列目のパターンを順次比較し、計数値を加算器７４１ｑに出力する。一致検出器７４１ｂは第３列目の係数値を出力し、以下同様にして、一致検出器７４１ｐは第１６列目の係数値を出力する。
【００３１】
加算器７４１ｑは一致検出器７４１ａ〜７４１ｐから出力されるそれぞれの係数値を加算し、加算係数値をメモリ７４２に出力する。
図６を用いて対象画像と参照画像の関係について述べる。
【００３２】
図６（Ａ）は現在入力される対象画像中に存在する１６画素×１６画素の対象マクロブロックの位置を示す。（Ｂ）は参照画像中に１６画素×１６画素の参照マクロブロックの候補を水平方向に３行、垂直方向に４列合計１２の候補を設定した場合である。これら１２個の参照マクロブロック候補のうち、（Ａ）の対象マクロブロックとほぼ同一のパターンを有する特定の参照マクロブロックが検出される場合は、特定の参照マクロブロックと対象マクロブロックのそれぞれの位置情報から動ベクトルを求められる。
【００３３】
しかし動ベクトルは、参照画像中の任意の位置から対象マクロブロックの位置に動くベクトルであるため、（Ｃ）に示すように参照画像中に多数の参照マクロブロック候補を設定し、それらの候補との間で最も共通のパターンを有する特定の参照マクロブロックを探索する必要がある。
【００３４】
図２におけるメモリ７３ｂには参照画像の全ての画素に対するパターンを記憶させておき、一致パターン数検出回路７４１は多数の参照マクロブロックの候補に対するそれぞれのパターンの一致数を求める。メモリ７４２には、参照マクロブロックの候補の位置とその位置におけるパターンの一致数を記憶する。例えば、水平方向及び垂直方向にそれぞれ１画素づつの位置における参照マクロブロックの候補に対するパターンの一致数を求めて記憶する。最大数検出回路７４３は、それらの候補のうち、最もパターンの一致数が多い特定参照マクロブロックの位置が、過去に対象マクロブロックの画像が存在していた位置であるとして検出する。動ベクトル決定回路７４４は、過去の特定参照マクロブロックの位置から現在の対象マクロブロックの位置へ動いたとする動きベクトルを決定する。
【００３５】
図７を参照して動きベクトル検出装置７ａの構成及びその動作について述べる。なお、図１に示した動きベクトル検出装置７の構成部分と同一の機能部分には同一符号を付し説明を省く。
【００３６】
同図に示す動きベクトル検出装置７ａは、図１に示した動きベクトル検出装置７に比し、比較器７４の代わりに比較器７４ａを備えている点と、ＤＣレベル計算器７５ａ、７５ｂ、メモリ７６ａ、７６ｂ、差分演算器７７ａ、符号変換器７７ｂ、及びベクトル判定器７８を多く備えている点で異なっている。
【００３７】
動きベクトル検出装置７は対象画像及び参照画像それぞれの画素の輝度成分を縦及び横方向に微分して得られる微係数の符号の一致度により動きベクトルを検出しているのに比し、動きベクトル検出装置７ａは対象画像及び参照画像それぞれの画素の輝度成分直流レベルを比較することにより、対象画像の平均輝度レベルと同じ程度の平均輝度レベルを有する参照マクロブロックを検出しようとするものである。
【００３８】
まず、ＤＣレベル計算器７５ａは、入力される対象画像の対象マクロブロックの平均輝度レベルを求め、求められた対象マクロブロックの平均輝度レベルをメモリ７６ａに記憶する。ＤＣレベル計算器７５ｂは入力される参照画像のうち、多数の参照マクロブロック候補のそれぞれに対する平均輝度レベルを求め、求められたそれらの参照マクロブロックの平均輝度レベルを参照マクロブロックの位置に対応付けてメモリ７６ｂに記憶する。差分演算器７７ａは対象マクロブロックの平均輝度レベルに対するそれぞれの参照マクロブロックの候補に対する輝度レベルの差を求める。符号変換器７７ｂは差分演算器７７ａで求められた値が正の場合はそのままとし、負の場合には符号を変換して正の値とする。符号変換器７７ｂからは輝度レベル差の絶対値が出力される。
【００３９】
図１に示した比較器７４は、最も多くパターンが一致する参照マクロブロックの位置情報を出力するのに比し、図７に示す比較器７４ａはパターンの一致個数が所定値以上である複数の参照マクロブロックの位置情報を出力する。
【００４０】
ベクトル判定器７８はパターンの一致個数と直流輝度レベルの差との両者を関連付けて比較し特定の参照マクロブロックを決定する。パターンの一致個数をＣ、輝度レベル差の絶対値をＤ、αを輝度レベル差に対するパターン一致個数への変換係数とする場合に、次式で求められるＥが最大となる参照マクロブロックを特定参照マクロブロックとして判定する。
【００４１】
Ｅ＝Ｃ−αＤ
ここで、αの値は、輝度信号レベルが８ビットで２５６階調により表現されるか、又は１０ビットで１０２４階調により表現されるかなどにより異なった値とされる。動きベクトル検出装置７ａは、パターン一致個数に優位な個数が存在せず、似通った一致個数の参照マクロブロックが複数存在する場合に、その中から特定の参照マクロブロックを選択する場合に輝度信号レベルの直流信号成分を参照するのは有効である。
【００４２】
以上、フレーム画像における動ベクトルを、隣接する画素間の画像データを減算して偏微分値を求め、それによりベクトル値を簡易に求める方法について述べた。
微分値の演算は平面直交座標の−Ｘ軸側画素や−Ｙ軸側画素座標を用いて減算により求めても良い。さらに、演算用のハードウエアを併用する場合では３点近似法や５点近似法により精度の高い微分値を求め、動ベクトルを求めることが出来る。
【００４３】
サンプリング間隔をｈ（ここではｈ＝１）とする場合の３点近似によるニュートン補間法を用い、微分値を次式により求められる。
【００４４】
【数１】
2007143006.tif 000004
Ｘ軸方向について微分する場合、目的画素の座標の値をｆ（ｘ0）とし、＋Ｘ軸方向に隣接する画素をｆ（ｘ0＋１）、２つ隣の画素をｆ（ｘ0＋２）とし、数１に代入して座標ｘ0での微分値ｆ‘（ｘ0）が求められる。
【００４５】
さらに、５点近似による微分値は次式により求められる。
【００４６】
【数２】
2007143006.tif 000005
３点近似と同様に演算し、５点近似法による微分値を求めることが出来る。
微分値の演算として上記以外の微分方法を用い、同様にして動ベクトルを求めることが出来る。
【００４７】
以上のように、本実施例で示した動きベクトル検出装置７を搭載する動画像符号化システム１０によれば、参照画像或いは対象画像の中に含まれてマトリクス状に配置される複数の画素の位置を平面直交座標で表した際に、前記参照画像或いは前記対象画像の中の基準画素に隣接する＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記基準画素に隣接する＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第１パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が＋で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第２パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が＋である場合を第３パターン、前記＋Ｘ軸側画素から前記基準画素を差引いた値が−で、かつ前記＋Ｙ軸側画素から前記基準画素を差引いた値が−である場合を第４パターンとして格納する第１格納部（７２ａ、７２ｂ）と、前記参照画像の中の前記＋Ｘ軸側画素から参照画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記参照画像基準画素を差引いた値が＋であるか−であるかを求める第１微分器（７１ｂ）と、前記第１微分器で求めた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを判定する第１符号判定回路（７２ｂ）と、前記対象画像の中の前記＋Ｘ軸側画素から前記対象画像基準画素を差引いた値及び前記＋Ｙ軸側画素から前記対象画像基準画素を差引いた値が＋であるか−であるかを求める第２微分器（７１ａ）と、前記第２微分器で求めた±の組み合わせが前記第１格納部に格納されている前記第１〜第４パターンのいずれに属するかを判定する第２符号判定回路（７２ａ）と、前記第１符号判定回路で判定された前記第１〜第４パターンのいずれかを前記参照画像の画素に対応させて格納すると共に前記第２符号判定回路で判定された前記第１〜第４パターンのいずれかを前記対象画像の画素に対応させて格納する第２格納部（７３ａ、７３ｂ）と、前記参照画像を同一単位の画素ブロックで複数に分けた場合に、前記対象画像における前記同一単位の特定画素ブロックに対して前記参照画像の前記複数の同一単位の画素ブロックを比較し、前記特定画素ブロックに含まれる前記第１〜第４パターンと一致する画素が最も多く含まれる前記参照画像の画素ブロック及び前記特定画素ブロックを出力する比較出力部（７４１）と、前記比較出力部で出力された前記特定画素ブロックと前記参照画像の画素ブロックに基づいて、前記参照画像の画素ブロックから前記対象画像の前記特定画素ブロックへ前記動きベクトルが動いたことを検知する検知部（７４４）と、を備えた格別な構成があるので、入力画像と参照画像とのマッチングを少ない演算回数により求めるようにし、候補とされる参照画像ブロックが多数ある場合であっても演算回数の増加を少なくし、動ベクトルを容易に求めることを可能とする動ベクトル検出装置を実現できる。
【００４８】
また、動きベクトル検出装置７ａによれば、対象画像の対象マクロブロックの平均直流輝度レベルと、参照画像の参照マクロブロック候補の平均直流輝度レベルとの直流成分の異なり情報をも用いて特定の参照マクロブロックを探索するようにしているため、パターン一致個数に優位な個数の参照マクロブロックが存在せず、似通った複数の一致個数の参照マクロブロックが存在する場合であっても、輝度信号レベルの直流信号成分を参照することにより特定の参照マクロブロックを選択可能とする動ベクトル検出装置を実現できる。
【産業上の利用可能性】
【００４９】
動き予測により動画像を符号化する際に用いる動きベクトル検出装置に適用できる。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施に係る動きベクトル検出装置を搭載した動画像符号化システムの構成例を示すブロック図である。
【図２】本発明の実施に係る動きベクトル検出装置の構成例を示したブロック図である。
【図３】本発明の実施に係る動きベクトル検出装置の動作例を説明するための図である。
【図４】本発明の実施に係るパターンの記述されたマクロブロックを例示した図である。
【図５】本発明の実施に係る動きベクトル検出装置の要部の動作例を説明するための図である。
【図６】本発明の実施に係る動きベクトル検出装置の要部の動作例を説明するための図である。
【図７】本発明の実施に係る動きベクトル検出装置の応用例の構成を示したブロック図である。
【符号の説明】
【００５１】
１    減算部
２    直交変換部
２ａ    逆直交変換部
３    量子化部
３ａ    逆量子化部
４    ランレングス符号化部
５    加算部
６    フレームメモリ
７、７ａ    動きベクトル検出装置
８    動き補償予測部
１０    動画像符号化システム
７１ａ、７１ｂ    微分器
７２ａ、７２ｂ    符号判定器
７３ａ、７３ｂ    メモリ
７４、７４ａ    比較器
７５ａ、７５ｂ    ＤＣレベル計算器
７６ａ、７６ｂ    メモリ
７７ａ    差分演算器
７７ｂ    符号変換器
７８    ベクトル判定器
７９    制御回路
７１１    メモリ
７１２    画素取得回路
７１３    減算回路
７４１    一致パターン数検出回路
７４１ａ、７４１ｂ、・・・、７４１ｐ    一致検出器
７４１ｑ    加算器
７４２    メモリ
７４３    最大数検出回路
７４４    動ベクトル決定回路
【図１】
2007143006.tif 000006
【図２】
2007143006.tif 000007
【図３】
2007143006.tif 000008
【図４】
2007143006.tif 000009
【図５】
2007143006.tif 000010
【図６】
2007143006.tif 000011
【図７】
2007143006.tif 000012