(57)【要約】【課題】  複数のサイズの動き補償ブロックの動きベクトルをそれぞれ算出して動き補償ブロックのサイズおよび動きベクトルを選択する場合の演算量を削減できるデータ処理装置を提供する。【解決手段】  ＭＶ探索回路５２が、ＭＶ簡易探索回路５１で生成された１６ｘ１６のサイズの動きベクトルを基に、その他の１６ｘ８，８ｘ１６，８ｘ８，８ｘ４，４ｘ８，４ｘ４のサイズの動き補償ブロックＭＣＢの各々を単位として参照画像データＲＥＦを探索して、これらのサイズの動き補償ブロックＭＣＢに対する動きベクトルを生成する。【選択図】  図５
2005167721.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の画像データを構成するブロックデータの動きベクトルを複数のサイズの動き補償ブロックを単位として参照画像データ内を探索して生成するデータ処理装置であって、
前記複数のサイズのうち一部のサイズの前記動き補償ブロックを単位として参照画像データを探索して、前記ブロックデータの第１の動きベクトルを生成する第１の探索手段と、
前記第１の探索手段が生成した前記第１の動きベクトルを基に、前記複数のサイズのうち前記一部のサイズ以外のサイズの前記動き補償ブロックの各々を単位として前記参照画像データを探索して、前記ブロックデータの第２の動きベクトルを生成する第２の探索手段と、
前記第１の探索手段が生成した前記第１の動きベクトルおよび前記第２の探索手段が生成した前記第２の動きベクトルのうち、当該動きベクトルによって規定される前記参照画像データ内の前記動き補償ブロックと、前記ブロックデータの前記動き補償ブロックとの差異を最小にする動きベクトル、並びに当該動きベクトルに対応した前記サイズを選択する選択手段と
を有するデータ処理装置。
【請求項２】
前記第２の探索手段は、前記第１の探索手段が探索で用いた探索範囲より小さな探索範囲を前記第１の動きベクトルを基に決定し、前記参照画像データ内の前記決定した探索範囲内を探索して前記第２の動きベクトルを生成する
請求項１に記載のデータ処理装置。
【請求項３】
前記第２の探索手段は、前記複数のサイズのうちサイズが大きい順に前記第２の動きベクトルを生成し、所定のサイズの動きベクトルを、当該所定のサイズより大きいサイズに対して既に生成された前記第２の動きベクトルを基に生成する
請求項１に記載のデータ処理装置。
【請求項４】
前記第２の探索手段は、前記所定のサイズの動き補償ブロックの動きベクトルの探索基点を当該所定のサイズより大きく既に生成された動き補償ブロックの前記第２の動きベクトルを基に決定し、当該決定した探索基点を基準とした前記参照画像データ内の探索範囲を探索して当該所定のサイズの前記第２の動きベクトルを生成する
請求項３に記載のデータ処理装置。
【請求項５】
前記第１の探索手段は、前記複数のサイズのうち最大のサイズの前記動き補償ブロックを単位として前記参照画像データを探索する
請求項１に記載のデータ処理装置。
【請求項６】
前記第１の探索手段は、
前記一部のサイズの前記動き補償ブロックを単位として、複数の候補動きベクトルを第１の手法で探索する第１の処理手段と、
前記第１の処理手段が探索した前記複数の候補動きベクトルについて、当該候補動きベクトルによって規定される前記参照画像データ内の前記動き補償ブロックと、前記ブロックデータの前記動き補償ブロックとの差分に応じた指標値を算出し、当該指標値を最小にする前記候補候補動きベクトルを特定する第２の手法で前記第１の動きベクトルを生成する第２の処理手段と
を有し、
前記第１の手法は、前記第２の手法に比べて演算量が少ない
請求項１に記載のデータ処理装置。
【請求項７】
前記第２の処理手段は、前記特定した候補動きベクトルを基に探索基点を決定し、当該決定した探索基点を基準とした前記参照画像データ内の探索範囲を探索して当該所定のサイズの前記第１の動きベクトルを生成する
請求項６に記載のデータ処理装置。
【請求項８】
前記第２の処理手段は、前記決定した探索基点を基準とした前記参照画像データ内の探索範囲内の前記動き補償ブロックと、前記ブロックデータの前記動き補償ブロックとの差分に応じた指標値を最小にする動きベクトルを前記第１の動きベクトルとする
請求項７に記載のデータ処理装置。
【請求項９】
前記第１の処理手段は、前記動き補償ブロックの投影画像データを用いた探索、あるいは階層探索を前記第１の方法として用いて前記複数の候補動きベクトルを探索する
請求項６に記載のデータ処理装置。
【請求項１０】
符号化対象の画像データを構成するブロックデータの動きベクトルを、複数のサイズの動き補償ブロックを単位として参照画像データ内を探索して生成するデータ処理方法であって、
前記複数のサイズのうち一部のサイズの前記動き補償ブロックを単位として参照画像データを探索して、前記ブロックデータの第１の動きベクトルを生成する第１の工程と、
前記第１の工程で生成した前記第１の動きベクトルを基に、前記複数のサイズのうち前記一部のサイズ以外のサイズの前記動き補償ブロックの各々を単位として前記参照画像データを探索して、前記ブロックデータの第２の動きベクトルを生成する第２の工程と、
前記第１の工程で生成した前記第１の動きベクトルおよび前記第２の工程で生成した前記第２の動きベクトルのうち、当該動きベクトルによって規定される前記参照画像データ内の前記動き補償ブロックと、前記ブロックデータの前記動き補償ブロックとの差異を最小にする動きベクトル、並びに当該動きベクトルに対応した前記サイズを選択する第３の工程と
を有するデータ処理方法。
【請求項１１】
符号化対象の画像データを構成するブロックデータの動きベクトルを、複数の動き補償ブロックを単位として参照画像データ内を探索して生成し、前記動きベクトルに応じた予測画像データを生成する動き補償回路と、
前記符号化対象の画像データと、前記動き補償回路が生成した前記予測画像データとの差分を符号化する符号化手段と
を有する符号化装置であって、
前記動き補償回路は、
前記複数のサイズのうち一部のサイズの前記動き補償ブロックを単位として参照画像データを探索して、前記ブロックデータの第１の動きベクトルを生成する第１の探索手段と、
前記第１の探索手段が生成した前記第１の動きベクトルを基に、前記複数のサイズのうち前記一部のサイズ以外のサイズの前記動き補償ブロックの各々を単位として前記参照画像データを探索して、前記ブロックデータの第２の動きベクトルを生成する第２の探索手段と、
前記第１の探索手段が生成した前記第１の動きベクトルおよび前記第２の探索手段が生成した前記第２の動きベクトルのうち、当該動きベクトルによって規定される前記参照画像データ内の前記動き補償ブロックと、前記ブロックデータの前記動き補償ブロックとの差異を最小にする動きベクトル、並びに当該動きベクトルに対応した前記サイズを選択する選択手段と、
前記選択手段が選択した前記動きベクトルおよび前記サイズの動き補償ブロックを基に前記予測画像データを生成する処理手段と
を有する
符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データの動き補償を行うデータ処理装置およびその方法と符号化装置に関する。
【背景技術】
【０００２】
近年、画像データをデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ(Moving Picture Experts Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。      
【０００３】
ＭＰＥＧ方式に続いて、さらなる高圧縮率を実現するＪＶＴ(Joint Video Team)と呼ばれる符号化方式が提案されている。
ＪＶＴ方式では、ＭＰＥＧ方式と同様に、動き予測・補償処理において、動きベクトルを基にした動き予測・補償を行う。
ところで、ＪＶＴ方式の符号化装置では、例えば、上記動き予測・補償処理において、各マクロブロックＭＢについて、複数のサイズの動き補償ブロックＭＣＢが規定されている。
上述した符号化装置では、予め決められた複数のサイズの動き補償ブロックＭＣＢの各々を単位として、動き補償の対象となるフレームデータとその参照画像データとの間の差分に応じた指標データＣＯＳＴを最小にする動きベクトルを探索する。
そして、上記複数のサイズの動き補償ブロックＭＣＢのそれぞれについて探索した動きベクトルのうち、指標データＣＯＳＴが最小の動きベクトル、並びにそれに対応した動き補償ブロックＭＣＢのサイズを選択する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述した従来の符号化装置は、上記複数のサイズの動き補償ブロックＭＣＢの動きベクトルを、他のサイズの動き補償ブロックＭＣＢの動きベクトルを利用することなく独立して生成している。
そのため、当該符号化装置では、動きベクトル生成に伴う演算量が多く、高速処理が困難であるという問題がある
【０００５】
本発明は上述した従来技術に鑑みて成され、複数のサイズの動き補償ブロックの動きベクトルをそれぞれ生成して動き補償ブロックのサイズおよび動きベクトルを選択する場合の演算量を削減できるデータ処理装置、その方法および符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した従来技術の問題点を解決するために、第１の発明のデータ処理装置は、符号化対象の画像データを構成するブロックデータの動きベクトルを複数のサイズの動き補償ブロックを単位として参照画像データ内を探索して生成するデータ処理装置であって、前記複数のサイズのうち一部のサイズの前記動き補償ブロックを単位として参照画像データを探索して、前記ブロックデータの第１の動きベクトルを生成する第１の探索手段と、前記第１の探索手段が生成した前記第１の動きベクトルを基に、前記複数のサイズのうち前記一部のサイズ以外のサイズの前記動き補償ブロックの各々を単位として前記参照画像データを探索して、前記ブロックデータの第２の動きベクトルを生成する第２の探索手段と、前記第１の探索手段が生成した前記第１の動きベクトルおよび前記第２の探索手段が生成した前記第２の動きベクトルのうち、当該動きベクトルによって規定される前記参照画像データ内の前記動き補償ブロックと、前記ブロックデータの前記動き補償ブロックとの差異を最小にする動きベクトル、並びに当該動きベクトルに対応した前記サイズを選択する選択手段とを有する。
【０００７】
第１の発明のデータ処理装置の作用は以下のようになる。
先ず、第１の探索手段が、前記複数のサイズのうち一部のサイズの前記動き補償ブロックを単位として参照画像データを探索して、前記ブロックデータの第１の動きベクトルを生成する。
次に、第２の探索手段が、前記第１の探索手段が生成した前記第１の動きベクトルを基に、前記複数のサイズのうち前記一部のサイズ以外のサイズの前記動き補償ブロックの各々を単位として前記参照画像データを探索して、前記ブロックデータの第２の動きベクトルを生成する。
次に、選択手段が、前記第１の探索手段が生成した前記第１の動きベクトルおよび前記第２の探索手段が生成した前記第２の動きベクトルのうち、当該動きベクトルによって規定される前記参照画像データ内の前記動き補償ブロックと、前記ブロックデータの前記動き補償ブロックとの差異を最小にする動きベクトル、並びに当該動きベクトルに対応した前記サイズを選択する。
【０００８】
第２の発明のデータ処理方法は、符号化対象の画像データを構成するブロックデータの動きベクトルを、複数のサイズの動き補償ブロックを単位として参照画像データ内を探索して生成するデータ処理方法であって、前記複数のサイズのうち一部のサイズの前記動き補償ブロックを単位として参照画像データを探索して、前記ブロックデータの第１の動きベクトルを生成する第１の工程と、前記第１の工程で生成した前記第１の動きベクトルを基に、前記複数のサイズのうち前記一部のサイズ以外のサイズの前記動き補償ブロックの各々を単位として前記参照画像データを探索して、前記ブロックデータの第２の動きベクトルを生成する第２の工程と、前記第１の工程で生成した前記第１の動きベクトルおよび前記第２の工程で生成した前記第２の動きベクトルのうち、当該動きベクトルによって規定される前記参照画像データ内の前記動き補償ブロックと、前記ブロックデータの前記動き補償ブロックとの差異を最小にする動きベクトル、並びに当該動きベクトルに対応した前記サイズを選択する第３の工程とを有する。
【０００９】
第２の発明のデータ処理方法の作用は以下のようになる。
先ず、第１の工程において、前記複数のサイズのうち一部のサイズの前記動き補償ブロックを単位として参照画像データを探索して、前記ブロックデータの第１の動きベクトルを生成する。
次に、第２の工程において、前記第１の工程で生成した前記第１の動きベクトルを基に、前記複数のサイズのうち前記一部のサイズ以外のサイズの前記動き補償ブロックの各々を単位として前記参照画像データを探索して、前記ブロックデータの第２の動きベクトルを生成する。
次に、第３の工程において、前記第１の工程で生成した前記第１の動きベクトルおよび前記第２の工程で生成した前記第２の動きベクトルのうち、当該動きベクトルによって規定される前記参照画像データ内の前記動き補償ブロックと、前記ブロックデータの前記動き補償ブロックとの差異を最小にする動きベクトル、並びに当該動きベクトルに対応した前記サイズを選択する。
【００１０】
第３の発明の符号化装置は、符号化対象の画像データを構成するブロックデータの動きベクトルを、複数の動き補償ブロックを単位として参照画像データ内を探索して生成し、前記動きベクトルに応じた予測画像データを生成する動き補償回路と、前記符号化対象の画像データと、前記動き補償回路が生成した前記予測画像データとの差分を符号化する符号化手段とを有する符号化装置であって、前記動き補償回路は、前記複数のサイズのうち一部のサイズの前記動き補償ブロックを単位として参照画像データを探索して、前記ブロックデータの第１の動きベクトルを生成する第１の探索手段と、前記第１の探索手段が生成した前記第１の動きベクトルを基に、前記複数のサイズのうち前記一部のサイズ以外のサイズの前記動き補償ブロックの各々を単位として前記参照画像データを探索して、前記ブロックデータの第２の動きベクトルを生成する第２の探索手段と、前記第１の探索手段が生成した前記第１の動きベクトルおよび前記第２の探索手段が生成した前記第２の動きベクトルのうち、当該動きベクトルによって規定される前記参照画像データ内の前記動き補償ブロックと、前記ブロックデータの前記動き補償ブロックとの差異を最小にする動きベクトル、並びに当該動きベクトルに対応した前記サイズを選択する選択手段と、前記選択手段が選択した前記動きベクトルおよび前記サイズの動き補償ブロックを基に前記予測画像データを生成する処理手段とを有する。
【００１１】
第３の発明の符号化装置の作用は以下のようになる。
先ず、動き補償手段が、第１の発明と同様の作用により、、符号化対象の画像データを構成するブロックデータの動きベクトルを、複数の動き補償ブロックを単位として参照画像データ内を探索して生成し、前記動きベクトルに応じた予測画像データを生成する。
次に、符号化手段が、前記符号化対象の画像データと、前記動き補償回路が生成した前記予測画像データとの差分を符号化する。
【発明の効果】
【００１２】
本発明によれば、複数のサイズの動き補償ブロックの動きベクトルをそれぞれ生成して動き補償ブロックのサイズおよび動きベクトルを選択する場合の演算量を削減できるデータ処理装置、その方法および符号化装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図１〜図６を参照して本発明の実施形態に係わるＪＶＴ方式の符号化装置を説明する。
先ず、本発明の構成要素と本実施形態の構成要素との対応関係を説明する。
図１および図２に示す符号化装置２が第３の発明の符号化装置に対応している。
また、動き予測・補償回路３９が第１の発明のデータ処理装置、並びに第３の発明の動き補償回路に対応している。
図５に示すＭＶ簡易探索回路５１が第１の発明の第１の探索手段の第１の処理手段に対応し、ＭＶ探索回路５２が第１の発明の第２の探索手段、並びに第１の探索手段の第２の処理手段に対応している。
また、選択回路５３が第１の発明の選択手段に対応している。
また、本実施形態の動き補償ブロックＭＣＢが、本発明の動き補償ブロックに対応し、図３に示す複数のサイズが、本発明の複数のサイズに対応している。
また、本実施形態の指標データＣＯＳＴが、本発明の指標データに対応している。
【００１４】
次に、図３および図５を参照して本発明の第１の発明に対応した動き予測・補償回路３９の特徴について説明する。
図５に示すＭＶ簡易探索回路５１およびＭＶ探索回路５２が、フレームデータＳ２３の１６ｘ１６のサイズの動き補償ブロックについて、参照画像データＲＥＦ内を探索して動きベクトルを生成する（図３）。
ＭＶ探索回路５２が、上記生成された１６ｘ１６のサイズの動きベクトルを基に、その他の１６ｘ８，８ｘ１６，８ｘ８，８ｘ４，４ｘ８，４ｘ４のサイズの動き補償ブロックＭＣＢの各々を単位として参照画像データＲＥＦを探索して、これらのサイズの動き補償ブロックＭＣＢに対する動きベクトルを生成する。
選択回路５３が、上記生成された１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８，８ｘ４，４ｘ８，４ｘ４のサイズのうち、当該動きベクトルによって規定される参照画像データＲＥＦの対応する動き補償ブロックＭＣＢと、フレームデータＳ２３の動き補償ブロックＭＣＢとの差分に応じた指標値データＣＯＳＴを最小にする動きベクトルＭＶ、並びに当該動きベクトルＭＶに対応した動き補償ブロックＭＣＢのサイズＭＣＢ＿ＳＩＺＥを選択する。
【００１５】
以下、第１実施形態の通信システム１について詳細に説明する。
図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
図１に示す復号装置３は符号化装置２の符号化に対応した復号を行う。
【００１６】
以下、図１に示す符号化装置２について説明する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、レート制御回路３２、フレームメモリ３４および動き予測・補償回路３９を有する。
【００１７】
以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｃｂ，Ｃｒから構成される原画像信号Ｓ１０をデジタルのフレームデータＳ２２に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力したフレームデータＳ２２を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えたフレームデータＳ２３を演算回路２４、レート制御回路３２および動き予測・補償回路３９に出力する。
【００１８】
演算回路２４は、フレームデータＳ２３内の処理対照の動き補償ブロックＭＣＢと、それに対応して動き予測・補償回路３９から入力した予測画像データＰＩの動き補償ブロックＭＣＢとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数）Ｓ２５を生成し、これを量子化回路２６に出力する。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【００１９】
可逆符号化回路２７は、画像データＳ２６を可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路２７は、インター予測符号化が行われた場合には、動き予測・補償回路３９から入力した動きベクトルＭＶを符号化してヘッダデータに格納する。
【００２０】
バッファ２８に格納された画像データは、変調等された後に送信される。
逆量子化回路２９は、他の動き補償ブロックＭＣＢから参照される参照画像データの動き補償ブロックＭＣＢの画像データＳ２６を逆量子化した信号を生成し、これをデブロックフィルタ３８に出力する。
デブロックフィルタ３８は、画像データＳ２６のブロック歪みを除去した画像データを、逆直交変換回路３０に出力する。
逆直交変換回路３０は、デブロックフィルタ３８から入力した画像データに、直交変換回路２５における直交変換の逆変換を施して生成した画像データＳ３０をフレームメモリ３４に書き込む。
レート制御回路３２は、例えば、画面並べ替え回路２３から入力したフレームデータＳ２３を基に、画像中の複雑度が高い部分は細かく量子化し、画像中の複雑度が低い部分は粗く量子化するように量子化パラメータＱＰを生成する。
そして、レート制御回路３２は、上記生成した量子化パラメータＱＰ、並びに画面並べ替え回路２３から読み出した画像データを基に量子化スケールを生成し、これを量子化回路２６に出力する。
また、レート制御回路３２は、上記生成した量子化パラメータＱＰを、動き予測・補償回路３９に出力する。
【００２１】
動き予測・補償回路３９は、符号化対象のフレームデータＳ２３およびフレームメモリ３４からの参照画像データＲＥＦを基に、動き予測・補償処理を行って図３に示す複数の動き補償ブロックＭＣＢのサイズのそれぞれについて動きベクトルＭＶを算出する。
すなわち、動き予測・補償回路３９は、図４に示すように、フレームデータＳ２３内の処理対象の動き補償ブロックＭＣＢとの差異が最も小さい動き補償ブロックＭＣＢの位置を参照画像データＲＥＦの探索範囲ＳＲ内で特定し、これらの位置関係に対応した動きベクトルＭＶを算出する。
そして、動き予測・補償回路３９は、後述する指標データＣＯＳＴを最小にする動きベクトルＭＶ、並びにそれに対応する動き補償ブロックＭＣＢのサイズを選択する。
また、動き予測・補償回路３９は、上記選択した動きベクトルＭＶを基に、上記選択したサイズの動き補償ブロックＭＣＢについての予測画像データＰＩを生成する。
動き予測・補償回路３９は、上記選択した動きベクトルＭＶを可逆符号化回路２７に出力し、上記生成した予測画像データＰＩを演算回路２４に出力する。
【００２２】
図５は、図２に示す動き予測・補償回路３９の構成図である。
図５に示すように、動き予測・補償回路３９は、例えば、ＭＶ簡易探索回路５１、ＭＶ探索回路５２、選択回路５３および処理回路５４を有する。
ＭＶ簡易探索回路５１は、画面並べ替え回路２３からのフレームデータＳ２３内の処理対象の１６ｘ１６（画素データ）のマクロブロックＭＢについて、図３に示す１６ｘ１６のサイズの動き補償ブロックＭＣＢを単位として、ＭＶ探索回路５２で採用する第２の探索手法に比べて演算量の少ない第１の探索手法で複数の候補動きベクトルを生成する。
具体的には、ＭＶ簡易探索回路５１は、上記処理対象のマクロブロックＭＢの１６ｘ１６の動き補償ブロックＭＣＢについて、第１の探索手法として投影画像を用いた探索手法、あるいは間引き画像あるいは整数画素精度の画像データによる探索手法を用いて、参照画像データＲＥＦの探索範囲ＳＲ内で動きベクトルＭＶの探索を行い、下記式（１）に示す指標データＣＯＳＴが小さいものから順に所定数（Ｎ個、Ｎ≧２）の候補動きベクトルＣＭＶ（ＣＭＶ１〜ＣＭＶＮ）を生成する。
ＭＶ簡易探索回路５１は、候補動きベクトルＣＭＶをＭＶ探索回路５２に出力する。
【００２３】
（数１）
ＣＯＳＴ＝ＡＤ＋ＭＶＤ＿ｃｏｓｔ                    …（１）
【００２４】
上記式（１）において、「ＡＤ」は、例えば、フレームデータＳ２３内の処理対象の動き補償ブロックＭＣＢと、参照画像データＲＥＦの探索範囲ＳＲ内の所定の位置の動き補償ブロックＭＣＢとの差分に応じた値の累積値を示す。
「ＭＶＤ＿ｃｏｓｔ」は、例えば、動きベクトルＭＶなどのパラメータの情報量に対応した値を示している。
本実施形態では、ＭＶＤ＿ｃｏｓｔは、レート制御回路３２からの量子化パラメータＱＰを基に算出される。
【００２５】
ＭＶ探索回路５２は、例えば、１６ｘ１６のサイズの処理対象の動き補償ブロックＭＣＢについて、当該動き補償ブロックＭＣＢに隣接するマクロブロックＭＢの既に得られた動きベクトルＭＶを基に予測動きベクトルＰＭＶを生成する。
そして、ＭＶ探索回路５２は、１６ｘ１６のサイズの処理対象の動き補償ブロックＭＣについて、上記生成した予測動きベクトルＰＭＶと、ＭＶ簡易探索回路５１から入力した複数の候補動きベクトルＣＭＶと、零（０）動きベクトルのそれぞれに対して得られた上記指標データＣＯＳＴのうち最小の指標データＣＯＳＴに対応した動きベクトルを選択し、当該選択した動きベクトルによって規定される探索基点を決定する。
【００２６】
ＭＶ探索回路５２は、１６ｘ１６のサイズの処理対象の動き補償ブロックＭＣＢについて、上記決定した探索基点を基準とした所定の探索範囲ＳＲ内で、上記指標データＣＯＳＴを最小にする動きベクトルＭＶ（本発明の第１の動きベクトル）を探索する。このときの探索範囲ＳＲは、例えば、ＭＶ簡易探索回路５１で用いる探索範囲ＳＲより小さい。
【００２７】
また、ＭＶ探索回路５２は、図３に示す１６ｘ１６以外のサイズの動き補償ブロックＭＣＢについての動きベクトルＭＶ（本発明の第２の動きベクトル）を以下のように生成する。
すなわち、ＭＶ探索回路５２は、１６ｘ１６のサイズの動き補償ブロックＭＣＢについての動きベクトルＭＶを生成した後に、図３に示す１６ｘ１６以外のサイズの動き補償ブロックＭＣＢについて、サイズが大きい順に、例えば、１６ｘ８．８ｘ１６，８ｘ８，８ｘ４，４ｘ８，４ｘ４の順で、動きベクトルＭＶを生成する。
このとき、ＭＶ探索回路５２は、処理対象の動き補償ブロックＭＣＢよりサイズより大きいサイズの動き補償ブロックＭＣＢについて既に生成された動きベクトルを基に、当該処理対象の動き補償ブロックＭＣＢの探索基点特定用の動きベクトルを生成する。
具体的には、ＭＶ探索回路５２は、上記生成された予測動きベクトルＰＭＶと、当該処理対象の動き補償ブロックＭＣＢよりサイズが１つ大きい動き補償ブロックＭＣＢの既に生成された動きベクトルＭＶと、隣接した関連性の高いマクロブロックＭＢの動きベクトルＭＶとのなかから、指標データＣＯＳＴを最小にする動きベクトルを探索基点特定用の動きベクトルとして選択する。
【００２８】
以下、（サイズ）＿（数字）は、図３に示す（サイズ）かつ（数字）の動き補償ブロックＭＣＢを示している。
ＭＶ探索回路５２は、１６ｘ８＿０の動き補償ブロックＭＣＢについて、ＰＭＶ，１６ｘ１６の動きベクトルＭＶとのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
ＭＶ探索回路５２は、１６ｘ８＿１の動き補償ブロックＭＣＢについて、ＰＭＶ，１６ｘ１６＿ｌｏｗｅｒおよび１６ｘ１６の動きベクトルＭＶのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
ここで、１６ｘ１６＿ｌｏｗｅｒは、処理対象のマクロブロックＭＢの画像に対して画面下方向に隣接して表示される画像のマクロブロックＭＢである。
【００２９】
ＭＶ探索回路５２は、８ｘ１６＿０の動き補償ブロックＭＣＢについて、上記ＰＭＶ，１６ｘ１６の動きベクトルＭＶとのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
ＭＶ探索回路５２は、８ｘ１６＿１の動き補償ブロックＭＣＢについて、ＰＭＶ，１６ｘ１６＿ｒｉｇｈｔおよび１６ｘ１６の動きベクトルＭＶのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
ここで、１６ｘ１６＿ｒｉｇｈｔは、処理対象のマクロブロックＭＢの画像に対して画面右側に隣接して表示される画像のマクロブロックＭＢである。
【００３０】
ＭＶ探索回路５２は、８ｘ８＿０の動き補償ブロックＭＣＢについて、ＰＭＶ，１６ｘ８＿０，８ｘ１６＿０の動きベクトルＭＶとのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
ＭＶ探索回路５２は、８ｘ８＿１の動き補償ブロックＭＣＢについて、ＰＭＶ，１６ｘ１６＿ｒｉｇｈｔ，１６ｘ８＿０，８ｘ１６＿１の動きベクトルＭＶとのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
ＭＶ探索回路５２は、８ｘ８＿２の動き補償ブロックＭＣＢについて、ＰＭＶ，１６ｘ１６＿ｌｏｗｅｒ，１６ｘ８＿１，８ｘ１６＿０の動きベクトルＭＶとのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
ＭＶ探索回路５２は、８ｘ８＿３の動き補償ブロックＭＣＢについて、ＰＭＶ，１６ｘ１６＿ｒｉｇｈｔ，１６ｘ１６＿ｌｏｗｅｒ，１６ｘ８＿１，８ｘ１６＿１の動きベクトルＭＶとのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
【００３１】
ＭＶ探索回路５２は、８ｘ４＿０の動き補償ブロックＭＣＢについて、ＰＭＶ，８ｘ８の動きベクトルＭＶとのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
ＭＶ探索回路５２は、８ｘ４＿１の動き補償ブロックＭＣＢについて、ＰＭＶと、８ｘ８と、８ｘ８＿２，８ｘ８＿３および１６ｘ１６＿ｌｏｗｅｒのうち何れかとのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
【００３２】
ＭＶ探索回路５２は、４ｘ８＿０の動き補償ブロックＭＣＢについて、ＰＭＶ，８ｘ８の動きベクトルＭＶのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
ＭＶ探索回路５２は、４ｘ８＿１の動き補償ブロックＭＣＢについて、ＰＭＶと、８ｘ８と、８ｘ８＿１，８ｘ８＿３および１６ｘ１６＿ｒｉｇｈｔのうち何れかとのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
【００３３】
ＭＶ探索回路５２は、４ｘ４＿０の動き補償ブロックＭＣＢについて、ＰＭＶ，８ｘ４＿０，４ｘ８＿０の動きベクトルＭＶのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
ＭＶ探索回路５２は、４ｘ４＿１の動き補償ブロックＭＣＢについて、ＰＭＶと、８ｘ４＿０と、４ｘ８＿１と、８ｘ８＿１，８ｘ８＿３および１６ｘ１６＿ｒｉｇｈｔのうち何れかとのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
ＭＶ探索回路５２は、４ｘ４＿２の動き補償ブロックＭＣＢについて、ＰＭＶと、８ｘ４＿１と、４ｘ８＿０と、８ｘ８＿２，８ｘ８＿３および１６ｘ１６＿ｌｏｗｅｒのうち何れかとのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
ＭＶ探索回路５２は、４ｘ４＿３の動き補償ブロックＭＣＢについて、ＰＭＶと、８ｘ８＿１，８Ｘ８＿３，１６ｘ１６＿ｌｏｗｅｒの何れかと、８ｘ８＿２，８Ｘ８＿３，１６ｘ１６＿ｌｏｗｅｒの何れかとのうち、指標データＣＯＳＴが最小の動きベクトルを探索基点特定用の動きベクトルとして選択する。
【００３４】
ＭＶ探索回路５２は、上述したように各サイズの動き補償ブロックＭＣＢについて、選択した探索基点特定用の動きベクトルによって規定される探索基点を基準とした所定の探索範囲ＳＲ内で、上記指標データＣＯＳＴを最小にする動きベクトルＭＶを探索する。
このときの探索範囲ＳＲは、例えば、動き補償ブロックＭＣＢのサイズが小さくなるに従って小さくする。これにより、演算量が削減が図れる。一方、当該探索範囲ＳＲの決定は、一つ大きいサイズの動き補償ブロックＭＣＢについて既に得られた動きベクトルを基に行われるので、探索範囲ＳＲのサイズを小さくしても、指標データＣＯＳＴを最小にする動きベクトルＭＶを適切に特定できる。
【００３５】
ＭＶ探索回路５２は、上述したように図３に示すそれぞれのサイズの動き補償ブロックＭＣＢについて生成した探索した上記動きベクトルＭＶ、並びにそれに対応する指標データＣＯＳＴを選択回路５３に出力する。
選択回路５３は、図３に示す１６ｘ１６，１６ｘ８．８ｘ１６，８ｘ８，８ｘ４，４ｘ８，４ｘ４のそれぞれのサイズについての指標データＣＯＳＴの総和を算出し、当該総和が最小となるサイズＭＣＢ＿ＳＩＺＥ、並びにそれに対応する動きベクトルＭＶを選択し、これを処理回路５４に出力する。
【００３６】
処理回路５４は、選択回路５３から入力した動きベクトルＭＶを図２に示す可逆符号化回路２７に出力する。
また、処理回路５４は、選択回路５３から入力したサイズＭＣＢ＿ＳＩＺＥの動き補償ブロックＭＣＢについて、選択回路５３から入力したＭＶ、並びに参照画像データＲＥＦを基に予測画像データＰＩを生成し、これを図２に示す演算回路２４に出力する。
【００３７】
以下、図５に示す動き予測・補償回路３９の動作例を説明する。
図６は、図５に示す動き予測・補償回路３９の動作例を説明するためのフローチャートである。
ステップＳＴ１：
ＭＶ簡易探索回路５１は、画面並べ替え回路２３からのフレームデータＳ２３内の処理対象の１６ｘ１６のマクロブロックＭＢについて、図２に示す１６ｘ１６のサイズの動き補償ブロックＭＣＢを単位として、ＭＶ探索回路５２で採用する第２の探索手法に比べて演算量の少ない第１の探索手法で複数の候補動きベクトルＣＭＶ（ＣＭＶ１〜ＣＭＶＮ）を生成し、これをＭＶ探索回路５２に出力する。
ステップＳＴ２：
ＭＶ探索回路５２は、例えば、１６ｘ１６のサイズの処理対象の動き補償ブロックＭＣＢについて、当該動き補償ブロックＭＣＢに隣接するマクロブロックＭＢの既に得られた動きベクトルＭＶを基に予測動きベクトルＰＭＶを生成する。
そして、ＭＶ探索回路５２は、１６ｘ１６のサイズの処理対象の動き補償ブロックＭＣについて、上記生成した予測動きベクトルＰＭＶと、ＭＶ簡易探索回路５１から入力した複数の候補動きベクトルＣＭＶと、零（０）動きベクトルのそれぞれに対して得られた上記指標データＣＯＳＴのうち最小の指標データＣＯＳＴに対応した動きベクトルを選択し、当該選択した動きベクトルによって規定される探索基点を決定する。
【００３８】
ステップＳＴ３：
ＭＶ探索回路５２は、ＭＶ探索回路５２は、１６ｘ１６のサイズの処理対象の動き補償ブロックＭＣＢについて、上記決定した探索基点を基準とした所定の探索範囲ＳＲ内で、上記指標データＣＯＳＴを最小にする動きベクトルＭＶ（本発明の第１の動きベクトル）を探索する。
ステップＳＴ４：動き予測・補償回路３９は、図３に示す１６ｘ１６以外の未処理のサイズの動き補償ブロックＭＣＢのうち、最も大きいサイズの動き補償ブロックＭＣＢを選択する。
具体的には、動き予測・補償回路３９は、例えば、１６ｘ８．８ｘ１６，８ｘ８，８ｘ４，４ｘ８，４ｘ４の順で上記選択を行う。
【００３９】
ステップＳＴ５：
ＭＶ探索回路５２は、処理対象の動き補償ブロックＭＣＢよりサイズより大きいサイズの動き補償ブロックＭＣＢについて既に生成された動きベクトルを基に、上述したように探索基点特定用の動きベクトルを選択する。
そして、ＭＶ探索回路５２は、上記選択した探索基点特定用の動きベクトルを基準として探索範囲ＳＲを決定する。
ステップＳＴ６：
ＭＶ探索回路５２は、ステップＳＴ５で決定した探索範囲ＳＲ内で、上記指標データＣＯＳＴを最小にする動きベクトルＭＶを探索する。
ＭＶ探索回路５２は、当該探索した動きベクトルＭＶ、並びにそれに対応する指標データＣＯＳＴを選択回路５３に出力する。
【００４０】
ステップＳＴ７：
ＭＶ探索回路５２は、１６ｘ１６以外のサイズの動き補償ブロックＭＣＢを全てステップＳＴ４で選択したか否かを判断し、選択したと判断するとステップＳＴ８に進み、そうでない場合にはステップＳＴ４に戻る。
ステップＳＴ８：
選択回路５３は、図３に示す１６ｘ１６，１６ｘ８．８ｘ１６，８ｘ８，８ｘ４，４ｘ８，４ｘ４のそれぞれのサイズの各々について、ステップＳＴ６で入力した指標データＣＯＳＴの総和を算出し、当該総和が最小となるサイズＭＣＢ＿ＳＩＺＥ、並びにそれに対応する動きベクトルＭＶを選択し、これを処理回路５４に出力する。
【００４１】
ステップＳＴ９：
処理回路５４は、選択回路５３から入力した動きベクトルＭＶを図２に示す可逆符号化回路２７に出力する。
また、処理回路５４は、選択回路５３から入力したサイズＭＣＢ＿ＳＩＺＥの動き補償ブロックＭＣＢについて、選択回路５３から入力したＭＶ、並びに参照画像データＲＥＦを基に予測画像データＰＩを生成し、これを図２に示す演算回路２４に出力する。
【００４２】
以下、図２に示す符号化装置２の全体動作を説明する。
原画像信号Ｓ１０が入力されると、原画像信号Ｓ１０がＡ／Ｄ変換回路２２においてデジタルのフレームデータＳ２２に変換される。
次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３においてフレームデータＳ２２内のピクチャの並べ替えが行われ、それによって得られたフレームデータＳ２３が演算回路２４、レート制御回路３２および動き予測・補償回路３９に出力される。
次に、演算回路２４が、画面並べ替え回路２３からのフレームデータＳ２３と動き予測・補償回路３９からの予測画像データＰＩとの差分を検出し、その差分を示す画像データＳ２４を直交変換回路２５に出力する。
【００４３】
次に、直交変換回路２５が、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換等の直交変換を施して画像データＳ２５を生成し、これを量子化回路２６に出力する。
次に、量子化回路２６が、画像データＳ２５を量子化し、量子化された画像データＳ２６を可逆符号化回路２７および逆量子化回路２９に出力する。
次に、可逆符号化回路２７が、画像データＳ２６に可変長符号化あるいは算術符号化等の可逆符号化を施して画像データを生成し、これをバッファ２８に蓄積する。
また、レート制御回路３２が、フレームデータＳ２３およびバッファ２８からの画像データを基に、量子化回路２６における量子化レートを制御する。
【００４４】
また、逆量子化回路２９が、量子化回路２６から入力した画像データＳ２６を逆量子化し、逆量子化した変換係数をデブロックフィルタ３８に出力する。
デブロックフィルタ３８は、逆量子化回路２９から入力した変換係数のブロック歪みを除去した画像データを、逆直交変換回路３０に出力する。
逆直交変換回路３０は、デブロックフィルタ３８から入力した画像データに、直交変換回路２５における直交変換の逆変換を施して生成したデータＳ３０をフレームメモリ３４に書き込む。
そして、動き予測・補償回路３９が、フレームデータＳ２３および参照画像データＲＥＦを基に、図５および図６を用いて説明した動き予測・補償処理を行い、動きベクトルＭＶおよび予測画像データＰＩを生成する。
動き予測・補償回路３９は、動きベクトルＭＶを可逆符号化回路２７に出力し、予測画像データＰＩを演算回路２４に出力する。
【００４５】
以上説明したように、符号化装置２では、１６ｘ８．８ｘ１６，８ｘ８，８ｘ４，４ｘ８，４ｘ４の複数のサイズの動き補償ブロックＭＣＢの動きベクトルＭＶを生成する場合に、１６ｘ１６の動き補償ブロックＭＣＢについて生成した動きベクトルを基に、探索範囲を決定する。
ここで、１６ｘ８．８ｘ１６，８ｘ８，８ｘ４，４ｘ８，４ｘ４の動き補償ブロックＭＣＢの動きベクトルは、１６ｘ１６の動き補償ブロックＭＣＢの動きベクトルに近いため、１６ｘ１６の動き補償ブロックＭＣＢについて生成した動きベクトルを基に探索範囲を決定することで、従来に比べて探索範囲を小さくしても適切な動きベクトルを探索できる。
その結果、符号化装置２の動き予測・補償に伴う演算量を削減できる。
【００４６】
本発明は上述した実施形態には限定されない。
例えば、図５に示すＭＶ簡易探索回路５１で算出した候補動きベクトルＣＭＶを、シ−ンジェンジの検出、ピクチャタイプの決定、並びにフレームレートの制御に利用してもよい。
【産業上の利用可能性】
【００４７】
本発明は、画像データを符号化する符号化システムに適用可能である。
【図面の簡単な説明】
【００４８】
【図１】図１は、本発明は、本発明の第１実施形態の通信システムの構成図である。
【図２】図２は、図１に示す符号化装置の機能ブロック図である。
【図３】図３は、図２に示す動き予測・補償回路で用いられる動き補償ブロックのサイズの種類を説明するための図である。
【図４】図４は、図２に示す動き予測・補償回路における動きベクトルの探索方法を説明するための図である。
【図５】図５は、図２に示す動き予測・補償回路の構成図である。
【図６】図６は、図２に示す動き予測・補償回路３６の動作例を説明するためのフローチャートである。
【符号の説明】
【００４９】
１…通信システム、２…符号化装置、３…復号装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３４…フレームメモリ、３２…レート制御回路、３９…動き予測・補償回路、５１…ＭＶ簡易探索回路、５２…ＭＶ探索回路、５３…選択回路、５４…処理回路
【図１】
2005167721.tif 000003
【図２】
2005167721.tif 000004
【図３】
2005167721.tif 000005
【図４】
2005167721.tif 000006
【図５】
2005167721.tif 000007
【図６】
2005167721.tif 000008