(57)【要約】【課題】従来に比べて小規模な構成で、動きベクトルを短時間で生成できるデータ処理装置を提供する。【解決手段】イントラ予測回路４１およびブロックサイズ決定回路４２によって、処理対象のマクロブロックＭＢ内の画像データと当該マクロブロックＭＢの周囲の画像データとの相関を基に、動き予測ブロックのサイズの候補を決定する。そして、動き予測・補償回路４３は、ブロックサイズ決定回路４２で決定された候補の動き予測ブロックサイズのブロックを単位として、動き予測・補償を行う。すなわち、動き予測・補償回路４３は、候補として指定されなかったサイズの動き予測ブロックサイズのブロックを単位とした動き予測・補償は行わない。【選択図】  図２
2004320437.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの動きベクトルを決定するデータ処理装置であって、
前記複数の第１のブロックの各々について、当該第１のブロックに属する画素データと、前記２次元領域における当該第１のブロックの周囲の画素データとの相関を基に、第２のブロックのサイズを決定するブロックサイズ決定手段と、
前記ブロックサイズ決定手段が決定したサイズの前記第２のブロックを単位として、前記第１のブロックの動きベクトルを決定する動きベクトル決定手段と
を有するデータ処理装置。
【請求項２】
前記ブロックサイズ決定手段は、前記相関を基に、前記第２のブロックのサイズの単数または複数の候補を決定し、
前記動きベクトル決定手段は、前記ブロックサイズ決定手段が前記候補として決定した各々の前記サイズの前記第２のブロックを単位として、前記動きベクトルおよび当該動きベクトルに応じた予測画像を生成し、当該予測画像と原画像との間の差分を基に、前記動きベクトルを決定する
請求項１に記載のデータ処理装置。
【請求項３】
前記ブロックサイズ決定手段は、前記第１のブロックに属する第１の画素データと当該第１のブロックの周囲に位置する前記第２の画素データとの相関と、前記２次元領域における前記第１の画素データと前記第２の画素データとの位置関係とを基に、前記第２のブロックのサイズを決定する
請求項１に記載のデータ処理装置。
【請求項４】
前記ブロックサイズ決定手段は、
前記第１の画素データが、当該第１の画素データに対して前記２次元領域における第１の方向に位置する前記第２の画素データに比べて、当該第１の画素データに対して前記２次元領域において前記第１の方向と直交する第２の方向に位置する前記第２の画素データとの間の相関が高い場合に、前記第２の方向が長手方向となるように規定されたサイズを前記第２のブロックのサイズとして決定する
請求項２に記載のデータ処理装置。
【請求項５】
前記ブロックサイズ決定手段は、処理対象の前記第１のブロックに属する第１の画素データと当該第１のブロックに隣接する前記第２の画素データとの相関を基に、前記第２のブロックのサイズを決定する
請求項４に記載のデータ処理装置。
【請求項６】
前記第１のブロックに対して行うイントラ符号化のモードを前記相関を基に決定し、当該決定したモードで前記第１のブロックをイントラ符号化した場合の予測画像を生成するイントラ予測手段
をさらに有し、
前記ブロックサイズ決定手段は、前記イントラ予測手段が決定した前記モードを基に、前記第２のブロックのサイズを決定する
請求項１に記載のデータ処理装置。
【請求項７】
前記イントラ予測手段は、処理対象の前記第１のブロックの予測画像を、当該処理対象の第１のブロックの周囲の画素データのうち前記モードで規定された画素データを用いて生成し、複数のモードのそれぞれについて生成された前記予測画像と原画像との差分を生成し、当該差分を基に前記モードを決定する
請求項６に記載のデータ処理装置。
【請求項８】
動画像を構成する画像を符号化する符号化装置であって、
前記画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの各々について、当該第１のブロックに属する画素データと、当該第１のブロックの周囲に位置する画素データとの相関を基に、第２のブロックのサイズを決定するブロックサイズ決定手段と、
前記ブロックサイズ決定手段が決定したサイズの前記第２のブロックを単位として、前記第１のブロックの動きベクトルを決定し、当該動きベクトルを基に予測画像を生成する動き予測手段と、
前記動き予測手段が生成した前記予測画像と原画像の差分を符号化する符号化手段と
を有する符号化装置。
【請求項９】
前記第１のブロックに対して行うイントラ符号化のモードを前記相関を基に決定し、当該決定したモードで前記第１のブロックをイントラ符号化した場合の予測画像を生成するイントラ符号化手段と、
前記動き予測手段が生成した前記予測画像と、前記イントラ符号化手段が生成した前記予測画像とのうち、原画像との差分が小さい予測画像を選択して前記符号化手段に供給する選択手段と
をさらに有し、
前記ブロックサイズ決定手段は、前記イントラ符号化手段が決定した前記モードを基に、第２のブロックのサイズを決定する
請求項８に記載の符号化装置。
【請求項１０】
動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの動きベクトルを決定するデータ処理方法であって、
前記複数の第１のブロックの各々について、当該第１のブロックに属する画素データと、前記２次元領域における当該第１のブロックの周囲の画素データとの相関を基に、第２のブロックのサイズを決定する第１の工程と、
前記第１の工程で決定したサイズの前記第２のブロックを単位として、前記第１のブロックの動きベクトルを決定する第２の工程と
を有するデータ処理方法。
【請求項１１】
動画像を構成する画像を符号化する符号化方法であって、
前記画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの各々について、当該第１のブロックに属する画素データと、当該第１のブロックの周囲に位置する画素データとの相関を基に、第２のブロックのサイズを決定する第１の工程と、
前記第１の工程で決定したサイズの前記第２のブロックを単位として、前記第１のブロックの動きベクトルを決定し、当該動きベクトルを基に予測画像を生成する第２の工程と、
前記第２の工程で生成した前記予測画像と原画像の差分を符号化する第３の工程と
を有する符号化方法。
【請求項１２】
動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの動きベクトルを決定するデータ処理装置であって、
前記第１のブロックを構成する複数の第２のブロックのそれぞれについて検出された前記第２のブロックに属する画素データと前記２次元領域における当該第２のブロックの周囲の画素データとの相関を基に、前記第１のブロックに対応する第３のブロックのサイズを決定するブロックサイズ決定手段と、
前記ブロックサイズ決定手段が決定したサイズの前記第３のブロックを単位として、前記第１のブロックの動きベクトルを決定する動きベクトル決定手段と
を有するデータ処理装置。
【請求項１３】
前記ブロックサイズ決定手段は、前記第２のブロックに属する第１の画素データと当該第２のブロックの周囲の第２の画素データとの位置関係と前記相関とを基に、前記第２のブロックの相関方向を決定し、前記複数の第２のブロックについて決定した前記相関方向のうち最も多い相関方向を決定し、当該決定した相関方向を基に前記第３のブロックのサイズを決定する
請求項１２に記載のデータ処理装置。
【請求項１４】
前記ブロックサイズ決定手段は、
前記相関方向を長手方向として規定されたサイズを前記第３のブロックのサイズとして決定する
請求項１３に記載のデータ処理装置。
【請求項１５】
前記ブロックサイズ決定手段は、前記第２のブロックに属する第１の画素データと当該第２のブロックの周囲の第２の画素データとの位置関係と前記相関とを基に、前記第２のブロックの相関方向を決定し、前記複数の第２のブロックについて決定した第１の前記相関方向の数と前記第２の相関方向の数との差分を基に前記第３のブロックのサイズを決定する
請求項１２に記載のデータ処理装置。
【請求項１６】
動画像を構成する画像を符号化する符号化装置であって、
前記画像が当該画像の２次元領域に対応して規定される複数の第１のブロックで構成される場合に、前記第１のブロックを構成する複数の第２のブロックのそれぞれについて検出された前記第２のブロックに属する画素データと前記２次元領域における当該第２のブロックの周囲の画素データとの相関を基に、前記第１のブロックに対応する第３のブロックのサイズを決定するブロックサイズ決定手段と、
前記ブロックサイズ決定手段が決定したサイズの前記第３のブロックを単位として前記第１のブロックの動きベクトルを決定し、当該動きベクトルを基に予測画像を生成する動き予測手段と、
前記動き予測手段が生成した前記予測画像と原画像の差分を符号化する符号化手段と
を有する符号化装置。
【請求項１７】
動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの動きベクトルを決定するデータ処理方法であって、
前記第１のブロックを構成する複数の第２のブロックのそれぞれについて検出された前記第２のブロックに属する画素データと前記２次元領域における当該第２のブロックの周囲の画素データとの相関を基に、前記第１のブロックに対応する第３のブロックのサイズを決定する第１の工程と、
前記第１の工程で決定したサイズの前記第３のブロックを単位として、前記第１のブロックの動きベクトルを決定する第２の工程と
を有するデータ処理方法。
【請求項１８】
動画像を構成する画像を符号化する符号化方法であって、
前記画像が当該画像の２次元領域に対応して規定される複数の第１のブロックで構成される場合に、前記第１のブロックを構成する複数の第２のブロックのそれぞれについて検出された前記第２のブロックに属する画素データと前記２次元領域における当該第２のブロックの周囲の画素データとの相関を基に、前記第１のブロックに対応する第３のブロックのサイズを決定する第１の工程と、
前記第１の工程で決定したサイズの前記第３のブロックを単位として前記第１のブロックの動きベクトルを決定する第２の工程と、
前記第２の工程で決定した前記動きベクトルを基に予測画像を生成する第３の工程と、
前記第３の工程で生成した前記予測画像と原画像の差分を符号化する第４の工程と
を有する符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データの動きベクトルを生成するデータ処理装置、符号化装置およびそれらの方法に関する。
【０００２】
【従来の技術】
近年、画像データデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
ＭＰＥＧ方式に続いてＪＶＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）と呼ばれる符号化方式が提案されている。
ＪＶＴ方式では、動き予測・補償処理の動き予測ブロックサイズとして、１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８画素のサイズが規定され、８ｘ８画素のサイズには８ｘ８，８ｘ４，４ｘ８，４ｘ４画素が規定されている。
従来のＪＶＴ方式の符号化装置では、各マクロブロックＭＢの動き予測・補償処理を、上記全ての種類の動き予測ブロックサイズを基に予測画像を生成し、原画像との差分が最小となる予測画像を得た動き予測ブロックサイズを最終的に採用して行っている。これにより、高い符号化効率が得られる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来の画像処理装置では、上述したように、各マクロブロックＭＢの動き予測・補償処理において、全ての動き予測ブロックサイズを基に上記差分を検出するため、演算量が膨大であり、回路が大規模化したり、処理時間が長くなるなどの問題がある。
【０００５】
本発明はかかる事情に鑑みてなされたものであり、従来に比べて小規模な構成で、動きベクトルを短時間で生成できるデータ処理装置を提供することを目的とする。
また、本発明は、従来に比べて動きベクトルを短時間で生成できるデータ処理方法を提供することを目的とする。
また、本発明は、従来に比べて小規模な構成で、画像データの符号化を短時間で行うことができる符号化装置を提供することを目的とする。
また、本発明は、従来に比べて画像データの符号化を短時間で行うことができる符号化方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明のデータ処理装置は、動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの動きベクトルを決定するデータ処理装置であって、前記複数の第１のブロックの各々について、当該第１のブロックに属する画素データと、前記２次元領域における当該第１のブロックの周囲の画素データとの相関を基に、第２のブロックのサイズを決定するブロックサイズ決定手段と、前記ブロックサイズ決定手段が決定したサイズの前記第２のブロックを単位として、前記第１のブロックの動きベクトルを決定する動きベクトル決定手段とを有する。
【０００７】
第１の発明のデータ処理装置の作用は以下のようになる。
ブロックサイズ決定手段が、動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの各々について、当該第１のブロックに属する画素データと、前記２次元領域における当該第１のブロックの周囲の画素データとの相関を基に、第２のブロックのサイズを決定する。
次に、動きベクトル決定手段が、前記ブロックサイズ決定手段が決定したサイズの前記第２のブロックを単位として、前記第１のブロックの動きベクトルを決定する。
【０００８】
第１の発明のデータ処理装置は、好ましくは、前記ブロックサイズ決定手段は、前記相関を基に、前記第２のブロックのサイズの単数または複数の候補を決定し、前記動きベクトル決定手段は、前記ブロックサイズ決定手段が前記候補として決定した各々の前記サイズの前記第２のブロックを単位として、前記動きベクトルおよび当該動きベクトルに応じた予測画像を生成し、当該予測画像と原画像との間の差分を基に、前記動きベクトルを決定する。
第１の発明のデータ処理装置は、好ましくは、前記ブロックサイズ決定手段は、前記第１のブロックに属する第１の画素データと当該第１のブロックの周囲に位置する前記第２の画素データとの相関と、前記２次元領域における前記第１の画素データと前記第２の画素データとの位置関係とを基に、前記第２のブロックのサイズを決定する。
【０００９】
第２の発明の符号化装置は、動画像を構成する画像を符号化する符号化装置であって、前記画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの各々について、当該第１のブロックに属する画素データと、当該第１のブロックの周囲に位置する画素データとの相関を基に、第２のブロックのサイズを決定するブロックサイズ決定手段と、前記ブロックサイズ決定手段が決定したサイズの前記第２のブロックを単位として、前記第１のブロックの動きベクトルを決定し、当該動きベクトルを基に予測画像を生成する動き予測手段と、前記原画像と、前記動き予測手段が生成した前記予測画像と原画像の差分を符号化する符号化手段とを有する。
【００１０】
第２の発明の符号化装置の作用は以下のようになる。
ブロックサイズ決定手段が、前記画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの各々について、当該第１のブロックに属する画素データと、当該第１のブロックの周囲に位置する画素データとの相関を基に、第２のブロックのサイズを決定する。
次に、動き予測手段が、前記ブロックサイズ決定手段が決定したサイズの前記第２のブロックを単位として、前記第１のブロックの動きベクトルを決定し、当該動きベクトルを基に予測画像を生成する。
次に、符号化手段が、前記動き予測手段が生成した前記予測画像と原画像の差分を符号化する。
【００１１】
第３の発明のデータ処理方法は、動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの動きベクトルを決定するデータ処理方法であって、前記複数の第１のブロックの各々について、当該第１のブロックに属する画素データと、前記２次元領域における当該第１のブロックの周囲の画素データとの相関を基に、第２のブロックのサイズを決定する第１の工程と、前記第１の工程で決定したサイズの前記第２のブロックを単位として、前記第１のブロックの動きベクトルを決定する第２の工程とを有する。
【００１２】
第４の発明の符号化方法は、動画像を構成する画像を符号化する符号化方法であって、前記画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの各々について、当該第１のブロックに属する画素データと、当該第１のブロックの周囲に位置する画素データとの相関を基に、第２のブロックのサイズを決定する第１の工程と、前記第１の工程で決定したサイズの前記第２のブロックを単位として、前記第１のブロックの動きベクトルを決定し、当該動きベクトルを基に予測画像を生成する第２の工程と、前記第２の工程で生成した前記予測画像と原画像の差分を符号化する第３の工程とを有する。
【００１３】
第５の発明のデータ処理装置は、動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの動きベクトルを決定するデータ処理装置であって、前記第１のブロックを構成する複数の第２のブロックのそれぞれについて検出された前記第２のブロックに属する画素データと前記２次元領域における当該第２のブロックの周囲の画素データとの相関を基に、前記第１のブロックに対応する第３のブロックのサイズを決定するブロックサイズ決定手段と、前記ブロックサイズ決定手段が決定したサイズの前記第３のブロックを単位として、前記第１のブロックの動きベクトルを決定する動きベクトル決定手段とを有する。
【００１４】
第５の発明のデータ処理装置の作用は以下のようになる。
ブロックサイズ決定手段が、第１のブロックを構成する複数の第２のブロックのそれぞれについて検出された前記第２のブロックに属する画素データと前記２次元領域における当該第２のブロックの周囲の画素データとの相関を基に、前記第１のブロックに対応する第３のブロックのサイズを決定する。
次に、動きベクトル決定手段が、前記ブロックサイズ決定手段が決定したサイズの前記第３のブロックを単位として、前記第１のブロックの動きベクトルを決定する。
【００１５】
第６の発明の符号化装置は、動画像を構成する画像を符号化する符号化装置であって、前記画像が当該画像の２次元領域に対応して規定される複数の第１のブロックで構成される場合に、前記第１のブロックを構成する複数の第２のブロックのそれぞれについて検出された前記第２のブロックに属する画素データと前記２次元領域における当該第２のブロックの周囲の画素データとの相関を基に、前記第１のブロックに対応する第３のブロックのサイズを決定するブロックサイズ決定手段と、前記ブロックサイズ決定手段が決定したサイズの前記第３のブロックを単位として前記第１のブロックの動きベクトルを決定し、当該動きベクトルを基に予測画像を生成する動き予測手段と、前記動き予測手段が生成した前記予測画像と原画像の差分を符号化する符号化手段とを有する。
【００１６】
第６の発明の符号化装置の作用は以下のようになる。
ブロックサイズ決定手段が、前記画像が当該画像の２次元領域に対応して規定される複数の第１のブロックで構成される場合に、前記第１のブロックを構成する複数の第２のブロックのそれぞれについて検出された前記第２のブロックに属する画素データと前記２次元領域における当該第２のブロックの周囲の画素データとの相関を基に、前記第１のブロックに対応する第３のブロックのサイズを決定する。
次に、動き予測手段が、前記ブロックサイズ決定手段が決定したサイズの前記第３のブロックを単位として前記第１のブロックの動きベクトルを決定し、当該動きベクトルを基に予測画像を生成する。
次に、符号化手段が、前記動き予測手段が生成した前記予測画像と原画像の差分を符号化する。
【００１７】
第７の発明のデータ処理方法は、動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数の第１のブロックの動きベクトルを決定するデータ処理方法であって、前記第１のブロックを構成する複数の第２のブロックのそれぞれについて検出された前記第２のブロックに属する画素データと前記２次元領域における当該第２のブロックの周囲の画素データとの相関を基に、前記第１のブロックに対応する第３のブロックのサイズを決定する第１の工程と、前記第１の工程で決定したサイズの前記第３のブロックを単位として、前記第１のブロックの動きベクトルを決定する第２の工程とを有する。
【００１８】
第８の発明の符号化方法は、動画像を構成する画像を符号化する符号化方法であって、前記画像が当該画像の２次元領域に対応して規定される複数の第１のブロックで構成される場合に、前記第１のブロックを構成する複数の第２のブロックのそれぞれについて検出された前記第２のブロックに属する画素データと前記２次元領域における当該第２のブロックの周囲の画素データとの相関を基に、前記第１のブロックに対応する第３のブロックのサイズを決定する第１の工程と、前記第１の工程で決定したサイズの前記第３のブロックを単位として前記第１のブロックの動きベクトルを決定する第２の工程と、前記第２の工程で決定した前記動きベクトルを基に予測画像を生成する第３の工程と、前記第３の工程で生成した前記予測画像と原画像の差分を符号化する第４の工程とを有する。
【００１９】
【発明の実施の形態】
以下、本発明の実施形態に係わるＪＶＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）方式の符号化装置について説明する。
第１実施形態
当該実施形態は、第１〜第４の発明に対応している。
図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
なお、本実施形態では、符号化装置２において動き予測・補償処理を行う場合に、予め規定された複数の動き予測ブロックサイズの全てを用いてマクロブロックＭＢの動きベクトルおよび予測画像の生成を行うのではなく、マクロブロックＭＢの画素データと当該マクロブロックＭＢの周囲の画素データとの相関を基に、予め決められた一部の動き予測ブロックサイズのみを用いて動きベクトルおよび予測画像の生成を行う。
図１に示す復号装置３は符号化装置２の符号化に対応した復号を行い、従来と同じ構成を有している。
【００２０】
以下、図１に示す符号化装置２について説明する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、レート制御回路３２、フレームメモリ４５、デブロックフィルタ３７、イントラ予測回路４１、ブロックサイズ決定回路４２、動き予測・補償回路４３および選択回路４４を有する。
ここで、ブロックサイズ決定回路４２が第１および第２の発明のブロックサイズ決定手段に対応し、動き予測・補償回路４３が第１および第２の発明の動きベクトル生成手段に対応している。
【００２１】
以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される原画像信号をデジタルの画像信号に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力した原画像信号内のフレーム画像信号を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）  構造に応じて、符号化する順番に並べ替えた原画像データ（フレーム画像データ）Ｓ２３を演算回路２４および動き予測・補償回路３５に出力する。
【００２２】
演算回路２４は、原画像データＳ２３と、選択回路４４から入力した予測画像データＳ４４との差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数信号）Ｓ２５を生成し、これを量子化回路２６に出力する。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【００２３】
可逆符号化回路２７は、画像データＳ２６を可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路２７は、動き予測・補償回路４３から入力した動きベクトルＭＶあるいはその差分を符号化してヘッダデータに格納する。
また、可逆符号化回路２７は、イントラ予測回路４１から入力したイントラ予測モードＩＰＭをヘッダデータなどに格納する。
【００２４】
バッファ２８に格納された画像データは、変調等された後に送信される。
逆量子化回路２９は、画像データＳ２６を逆量子化した信号を生成し、これをデブロックフィルタ３７に出力する。
デブロックフィルタ３７は、画像データＳ２６のブロック歪みを除去した画像データを、逆直交変換回路３０に出力すると共に、フレームメモリ４５に書き込む。
逆直交変換回路３０は、デブロックフィルタ３７から入力した画像データに、直交変換回路２５における直交変換の逆変換を施して生成した画像データをフレームメモリ３１に書き込む。
【００２５】
レート制御回路３２は、バッファ２３から読み出した画像データを基に量子化スケールを生成し、これを量子化回路２６に出力する。
【００２６】
イントラ予測回路４１は、予め規定された複数の１６ｘ１６イントラ予測モードのそれぞれを基に、フレームメモリ４５から読み出した画像データを構成する各マクロブロックＭＢ（第１〜第４の発明の第１のブロック）にイントラ予測符号を施して予測画像を生成し、当該予測画像データと原画像データＳ２３との差分を検出する。
そして、イントラ予測回路４１は、上記複数のイントラ予測モードについてそれぞれ生成した上記差分（例えば、絶対値誤差和ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ））のうち最小の差分に対応するイントラ予測モードを特定し、当該特定したイントラ予測モードＩＰＭをブロックサイズ決定回路４２に出力する。
なお、ＰスライスあるいはＢスライスに属するマクロブロックＭＢであっても、イントラ予測回路４１によるイントラ予測符号化が行われる場合がある。
本実施形態では、イントラ予測モードとして１６ｘ１６画素データのマクロブロックＭＢを単位として輝度信号についてイントラ予測符号化を行う１６ｘ１６イントラ予測モードを採用した場合を説明する。
１６ｘ１６イントラ予測モードには、モード「０」，「１」，「２」，「３」の４つのモードがある。
【００２７】
以下、各モードについて説明する。
ここで、処理対象のマクロブロックＭＢに属する画像データ（以下、画素値とも記す）をＰ（ｘ，ｙ）とする。ここで、ｘ，ｙはマクロブロックＭＢを構成するマトリクス状の画素データの行方向および列方向の位置を示し、０〜１５の整数である。
当該処理対象のマクロブロックＭＢに隣接するマクロブロックＭＢ内の画素データのうち、当該処理対象のマクロブロックＭＢに隣接する画素データを、Ｐ（ｘ，−１），Ｐ（−１，ｙ）と記す。
また、画素データＰ（ｘ，−１），Ｐ（−１，ｙ）は、上記処理対象のマクロブロックＭＢと異なるピクチャあるいは異なるスライスに属する場合などに、「利用可能でない（ｕｎａｖａｉｌａｂｌｅ）  」であると判断される。
モード０：
モード０は、ｖｅｒｔｉｃａｌ（垂直）予測であり、Ｐ（ｘ，−１）が上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（１）のように生成する。
【００２８】
【数１】
2004320437.tif 000003
【００２９】
モード１：
モード１は、ｈｏｒｉｚｏｎｔａｌ（水平）予測であり、Ｐ（−１，ｙ）が上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（２）のように生成する。
【００３０】
【数２】
2004320437.tif 000004
【００３１】
モード２：
モード２は、ＤＣ予測であり、イントラ予測回路４１は、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（３）のように生成する。
先ず、Ｐ（ｘ，−１）およびＰ（−１，ｙ）の全てが上記「利用可能」である場合に、イントラ予測回路４１は、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（３）のように生成する。
【００３２】
【数３】
2004320437.tif 000005
【００３３】
また、Ｐ（ｘ，−１）が上記「利用可能」でない場合に、イントラ予測回路４１は、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（４）のように生成する。
【数４】
2004320437.tif 000006
【００３４】
また、Ｐ（−１，ｙ）が上記「利用可能」でない場合に、イントラ予測回路４１は、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（５）のように生成する。
【数５】
2004320437.tif 000007
また、Ｐ（ｘ，−１）およびＰ（−１，ｙ）の全てが上記「利用可能」でない場合に、イントラ予測回路４１は、予測画像の画素データＰｒｅｄ（ｘ，ｙ）として「１２８」を用いる。
【００３５】
モード３：
モード３は、ｐｌａｎｅ予測であり、Ｐ（ｘ，−１）およびＰ（−１，ｙ）の全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（６）のように生成する。
【００３６】
【数６】
2004320437.tif 000008
【００３７】
以下、イントラ予測回路４１の処理について説明する。
図３は、図２に示すイントラ予測回路４１の処理を説明するためのフローチャートである。
以下、図３に示す各ステップについて説明する。
ステップＳＴ１：
イントラ予測回路４１は、処理対象となるマクロブロックＭＢについて、上述したモード０，１，２，３の各々のイントラ予測モードで予測画像データを生成する。
ステップＳＴ２：
イントラ予測回路４１は、ステップＳＴ１で生成した予測画像データと、原画像データＳ２３との差分を生成（検出）する。
【００３８】
ステップＳＴ３：
イントラ予測回路４１は、ステップＳＴ２で生成した差分が最小となるイントラ予測モードを特定する。
ステップＳＴ４：
イントラ予測回路４１は、ステップＳＴ３で特定したイントラ予測モードＩＰＭをブロックサイズ決定回路４２に出力する。
ステップＳＴ５：
イントラ予測回路４１は、ステップＳＴ３で特定したイントラ予測モードで生成した差分ＤＩＦと予測画像ＰＩとを選択回路４４に出力する。
【００３９】
ブロックサイズ決定回路４２は、イントラ予測回路４１から入力したイントラ予測モードＩＰＭを基に、動き予測・補償回路４３における動き予測・補償処理に用いる動き予測ブロックサイズの単数または複数の候補ＢＳＣを決定し、これを動き予測・補償回路４３に出力する。
図４は、動き予測・補償回路４３において採用可能な動き予測ブロックのサイズの種類を説明するための図である。
図４に示すように、動き予測ブロックのサイズには、１６ｘ１６、１６ｘ８、８ｘ１７、８ｘ８、８ｘ１６，８ｘ８がある。また、８ｘ８には、８ｘ８と、８ｘ４、４ｘ８および４ｘ４がある。
【００４０】
図５は、動き予測・補償回路４３における動き予測ブロックサイズの候補の決定方法を説明するための図である。
ブロックサイズ決定回路４２は、イントラ予測モードＩＰＭがモード１（ｈｏｒｉｚｏｎｔａｌ）を示す場合に、動き予測ブロックサイズの候補として、図４に示すサイズ１６ｘ８および８ｘ４を特定し、これを示すブロックサイズ候補データＢＳＣを動き予測・補償回路４３に出力する。
なお、この場合に、ブロックサイズ決定回路４２は、ブロックサイズ候補データＢＳＣとして、１６ｘ１６，１６ｘ８，８ｘ８，８ｘ４，４ｘ４のサイズを特定してもよい。
【００４１】
ブロックサイズ決定回路４２は、イントラ予測モードＩＰＭがモード０（ｖｅｒｔｉｃａｌ）を示す場合に、動き予測ブロックサイズの候補として、図４に示すサイズ８ｘ１６および４ｘ８を特定し、これを示すブロックサイズ候補データＢＳＣを動き予測・補償回路４３に出力する。
なお、この場合に、ブロックサイズ決定回路４２は、ブロックサイズ候補データＢＳＣとして、１６ｘ１６，８ｘ１６，８ｘ８，４ｘ８，４ｘ４のサイズを特定してもよい。
ブロックサイズ決定回路４２は、イントラ予測モードＩＰＭがモード２またはモード３を示す場合に、動き予測ブロックサイズの候補として、図４に示すサイズ１６ｘ１６、８ｘ８および４ｘ４を特定し、これを示すブロックサイズ候補データＢＳＣを動き予測・補償回路４３に出力する。
なお、この場合に、ブロックサイズ決定回路４２は、ブロックサイズ候補データＢＳＣとして、１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８，８ｘ４，４ｘ８，４ｘ４の全てのサイズを特定してもよい。
【００４２】
動き予測・補償回路４３は、ブロックサイズ決定回路４２から入力したブロックサイズ候補データＢＳＣが候補として示す動き予測ブロックサイズを基に、動きベクトルを決定すると共に、予測画像データを生成する。
図６は、動き予測・補償回路４３の処理を説明するためのフローチャートである。
ステップＳＴ２１：
動き予測・補償回路４３は、ブロックサイズ候補データＢＳＣが候補として示す動き予測ブロックサイズの全てについて、当該動き予測ブロックサイズを単位として、動きベクトルの決定、並びに予測画像データの生成を行う。
ステップＳＴ２２：
動き予測・補償回路４３は、ステップＳＴ２１で生成した予測画像と、原画像データＳ２３との差分をそれぞれ生成する。
ステップＳＴ２３：
動き予測・補償回路４３は、ステップＳＴ２２で生成した差分のうち最小の差分に対応する動きベクトルおよび予測画像データを特定する。
ステップＳＴ２４：
動き予測・補償回路４３は、ステップＳＴ２３で特定した差分と予測画像データを選択回路４４に出力する。
ステップＳＴ２５：
動き予測・補償回路４３は、選択回路４４においてステップＳＴ２４で出力した予測画像データが選択された場合に、それに対応する動きベクトルＭＶを可逆符号化回路２７に出力する。
【００４３】
選択回路４４は、イントラ予測回路４１から入力した差分ＤＩＦと、動き予測・補償回路４３から入力した差分ＤＩＦとを比較する。
選択回路４４は、上記比較によりイントラ予測回路４１から入力した差分ＤＩＦの方が小さいと判断すると、イントラ予測回路４１から入力した予測画像ＰＩＦを選択して演算回路２４に出力する。
選択回路４４は、上記比較により動き予測・補償回路４３から入力した差分ＤＩＦの方が小さいと判断すると、動き予測・補償回路４３から入力した予測画像ＰＩＦを選択して演算回路２４に出力する。
また、選択回路４４は、上記選択の結果をイントラ予測回路４１および動き予測・補償回路４３に通知する。
【００４４】
以下、図２に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２２においてデジタル信号に変換される。
次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３においてフレーム画像データの並べ替えが行われ、それによって得られた原画像データＳ２３が演算回路２４、イントラ予測回路４１および動き予測・補償回路４３に出力される。
次に、演算回路２４が、画面並べ替え回路２３からの原画像データＳ２３と選択回路４４からの予測画像データＰＩとの差分を検出し、その差分を示す画像データＳ２４を直交変換回路２５に出力する。
【００４５】
次に、直交変換回路２５が、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換等の直交変換を施して画像データＳ２５を生成し、これを量子化回路２６に出力する。
次に、量子化回路２６が、画像データＳ２５を量子化し、量子化された変換係数Ｓ２６を可逆符号化回路２７および逆量子化回路２９に出力する。
次に、可逆変換回路２７が、変換係数Ｓ２６に可変長符号化あるいは算術符号化等の可逆符号化を施して画像データＳ２８を生成し、これをバッファ２８に蓄積する。
また、レート制御回路３２が、バッファ２８から読み出した画像データＳ２８を基に、量子化回路２６における量子化レートを制御する。
【００４６】
また、逆量子化回路２９が、量子化回路２６から入力した変換係数Ｓ２６を逆量子化し、逆量子化した変換係数をデブロックフィルタ３７に出力する。
デブロックフィルタ３７は、逆量子化回路２９から入力した変換係数のブロック歪みを除去した画像データを、逆直交変換回路３０に出力すると共に、フレームメモリ４５に書き込む。
逆直交変換回路３０は、デブロックフィルタ３７から入力した画像データに、直交変換回路２５における直交変換の逆変換を施して生成した画像データをフレームメモリ３１に書き込む。
【００４７】
そして、イントラ予測回路４１において、前述したように、予め規定された複数の１６ｘ１６イントラ予測モードのそれぞれを基に、フレームメモリ４５から読み出した画像データにイントラ予測符号を施して予測画像を生成し、当該予測画像データと原画像データＳ２３との差分を検出する。
そして、イントラ予測回路４１は、上記複数のイントラ予測モードについてそれぞれ生成した上記差分のうち最小の差分に対応するイントラ予測モードを特定し、当該特定したイントラ予測モードＩＰＭをブロックサイズ決定回路４２に出力する。
また、上記特定したイントラ予測モードで生成した差分ＤＩＦと予測画像ＰＩとを選択回路４４に出力する。
【００４８】
次に、ブロックサイズ決定回路４２は、イントラ予測回路４１から入力したイントラ予測モードＩＰＭを基に、動き予測・補償回路４３における動き予測・補償処理に用いる動き予測ブロックサイズの単数または複数の候補ＢＳＣを決定し、これを動き予測・補償回路４３に出力する。
そして、動き予測・補償回路４３は、ブロックサイズ決定回路４２からのブロックサイズ候補データＢＳＣが候補として示す動き予測ブロックサイズの全てについて、当該動き予測ブロックサイズを単位として、動きベクトルの決定、並びに予測画像データの生成を行う。
そして、動き予測・補償回路４３は、上記決定した動きベクトルＭＶを可逆符号化回路２７に出力すると共に、上記生成した予測画像データ、並びに当該予測画像データの原画像データとの差分ＤＩＦとを選択回路４４に出力する。
【００４９】
そして、選択回路４４は、イントラ予測回路４１から入力した差分ＤＩＦと、動き予測・補償回路４３から入力した差分ＤＩＦとを比較する。
そして、選択回路４４は、上記比較によりイントラ予測回路４１から入力した差分ＤＩＦの方が小さいと判断すると、イントラ予測回路４１から入力した予測画像ＰＩＦを選択して演算回路２４に出力する。
また、選択回路４４は、上記比較により動き予測・補償回路４３から入力した差分ＤＩＦの方が小さいと判断すると、動き予測・補償回路４３から入力した予測画像ＰＩＦを選択して演算回路２４に出力する。
【００５０】
以上説明したように、符号化装置２では、イントラ予測回路４１およびブロックサイズ決定回路４２によって、処理対象のマクロブロックＭＢ内の画像データと当該マクロブロックＭＢの周囲の画像データとの相関を基に、動き予測ブロックのサイズの候補を決定する。具体的には、ブロックサイズ決定回路４２が、イントラ予測回路４１が決定した１６ｘ１６イントラ予測モードを基に、動き予測ブロックのサイズの候補を決定する。
そして、動き予測・補償回路４３は、ブロックサイズ決定回路４２で決定された候補の動き予測ブロックサイズのブロックを単位として、動き予測・補償を行う。すなわち、動き予測・補償回路４３は、候補として指定されなかったサイズの動き予測ブロックサイズのブロックを単位とした動き予測・補償は行わない。
このように、動き予測・補償回路４３は、全ての動き予測ブロックサイズのブロックを単位とした動き予測・補償を行わないため、その演算量を大幅に削減できる。これにより、符号化装置２の小規模化、並びに高速処理化を実現できる。
また、イントラ予測回路４１およびブロックサイズ決定回路４２によって、処理対象のマクロブロックＭＢ内の画像データと当該マクロブロックＭＢの周囲の画像データとの相関を基に、動き予測ブロックのサイズの候補を決定するため、原画像との差分が最小となる動き予測ブロックサイズを候補として適切に指定することができ、符号化効率を低下させない。
【００５１】
第２実施形態
上述した第１実施形態では、イントラ予測回路４１において１６ｘ１６イントラ予測モードを採用した場合を例示したが、本実施形態のイントラ予測回路４１ａでは、４ｘ４イントラ予測モードを採用する。
本実施形態の符号化装置は、イントラ予測回路４１ａおよびブロックサイズ決定回路４２ａの処理が第１実施形態とは異なり、それ以外の処理は第１実施形態と同じである。
以下、本実施形態のイントラ予測回路４１ａおよびブロックサイズ決定回路４２ａの処理を説明する。
【００５２】
〔イントラ予測回路４１ａ〕
イントラ予測回路４１ａは、予め規定された複数の４ｘ４イントラ予測モードのそれぞれを基に、フレームメモリ４５から入力した画像データにマクロブロックＭＢ（第５〜第８の発明の第１のブロック）に対して４ｘ４のブロックＢＬＯＣＫ（第５〜第８の発明の第２のブロック）を単位としてイントラ予測符号を施して予測画像を生成し、当該予測画像データと原画像データＳ２３との差分を検出する。
そして、イントラ予測回路４１ａは、上記複数のイントラ予測モードについてそれぞれ生成した上記差分のうち最小の差分に対応するイントラ予測モードを特定し、当該特定したイントラ予測モードＩＰＭをブロックサイズ決定回路４２ａに出力する。
本実施形態では、イントラ予測モードとして４ｘ４画素データのブロックＢＬＯＣＫを単位として輝度信号についてイントラ予測符号化を行う４ｘ４イントラ予測モードを採用した場合を説明する。
イントラ予測回路４１ａは、図７に示すように、４ｘ４のマトリクス状に配設された画素データ「０」〜「１５」からなるブロックＢＬＯＣＫを単位として予測画像の生成を行う。
４ｘ４イントラ予測モードには、図８に示すように予測方向が異なる９つのモード「０」〜「８」がある。
【００５３】
以下、図８に示す各モードについて説明する。
図９は、イントラ予測の処理対象となる４ｘ４のブロックＢＬＯＣＫに属する画素データａ〜ｐと、当該ブロックＢＬＯＣＫの周囲に位置するブロックの画素データＡ〜Ｍとの位置関係を説明するための図である。
なお、画素データＡ〜Ｍは、上記処理対象のブロックＢＬＯＣＫと異なるピクチャあるいは異なるスライスに属する場合などに、「利用可能でない（ｕｎａｖａｉｌａｂｌｅ）  」であると判断される。
モード０：
モード０は、ｖｅｒｔｉｃａｌ（垂直）予測であり、図９に示す画素データＡ，Ｂ，Ｃ，Ｄの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄを用いて下記（７）のように生成する。
【００５４】
【数７】
2004320437.tif 000009
【００５５】
モード１：
モード１は、ｈｏｒｉｚｏｎｔａｌ（水平）予測であり、図９に示す画素データＩ，Ｊ，Ｋ，Ｌの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＩ，Ｊ，Ｋ，Ｌを用いて下記（８）のように生成する。
【００５６】
【数８】
2004320437.tif 000010
【００５７】
モード２：
モード１は、ＤＣ予測であり、図９に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌの全てが上記「利用可能」である場合に、イントラ予測回路４１は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌを用いて下記（９）のように生成する。
【００５８】
【数９】
2004320437.tif 000011
【００５９】
また、図９に示す画素データＡ，Ｂ，Ｃ，Ｄの全てが上記「利用可能」でない場合に、イントラ予測回路４１は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄを用いて下記（１０）のように生成する。
【００６０】
【数１０】
2004320437.tif 000012
【００６１】
また、図９に示す画素データＩ，Ｊ，Ｋ，Ｌの全てが上記「利用可能」でない場合に、イントラ予測回路４１は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＩ，Ｊ，Ｋ，Ｌを用いて下記（１１）のように生成する。
【００６２】
【数１１】
2004320437.tif 000013
【００６３】
また、図９に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌの全てが上記「利用可能」でない場合に、イントラ予測回路４１は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値「１２８」を用いる。
【００６４】
モード３：
モード３は、Ｄｉａｇｏｎａｌ＿Ｄｏｗｎ＿Ｌｅｆｔ予測であり、図９に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記（１２）のように生成する。
【００６５】
【数１２】
2004320437.tif 000014
【００６６】
モード４：
モード４は、Ｄｉａｇｏｎａｌ＿Ｒｉｇｈｔ予測であり、図９に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記（１３）のように生成する。
【００６７】
【数１３】
2004320437.tif 000015
【００６８】
モード５：
モード５は、Ｄｉａｇｏｎａｌ＿Ｖｅｒｔｉｃａｌ＿Ｒｉｇｈｔ予測であり、図９に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記（１４）のように生成する。
【００６９】
【数１４】
2004320437.tif 000016
【００７０】
モード６：
モード６は、Ｈｏｒｉｚｏｎｔａｌ＿Ｄｏｗｎ予測であり、図９に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記（１５）のように生成する。
【００７１】
【数１５】
2004320437.tif 000017
【００７２】
モード７：
モード７は、Ｖｅｒｔｉｃａｌ＿Ｌｅｆｔ予測であり、図９に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記（１６）のように生成する。
【００７３】
【数１６】
2004320437.tif 000018
【００７４】
モード８：
モード８は、Ｈｏｒｉｚｏｎｔａｌ＿Ｕｐ予測であり、図９に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記（１７）のように生成する。
【００７５】
【数１７】
2004320437.tif 000019
【００７６】
以下、イントラ予測回路４１ａの処理について説明する。
図１０は、本実施形態のイントラ予測回路４１ａの処理を説明するためのフローチャートである。
以下、図１０に示す各ステップについて説明する。
ステップＳＴ３１：
イントラ予測回路４１ａは、処理対象となるマクロブロックＭＢを構成する４ｘ４のブロックＢＬＯＣＫの全てについて、上述したモード０〜８の各々の４ｘ４イントラ予測モードで予測画像データを生成する。
ステップＳＴ３２：
イントラ予測回路４１ａは、ステップＳＴ２１で生成した予測画像データと、原画像データＳ２３との差分を生成（検出）する。
【００７７】
ステップＳＴ３３：
イントラ予測回路４１ａは、全ての４ｘ４のブロックＢＬＯＣＫについて、ステップＳＴ３２で生成した差分が最小となるイントラ予測モードを特定する。
ステップＳＴ３４：
イントラ予測回路４１ａは、全ての４ｘ４のブロックＢＬＯＣＫについてステップＳＴ３３で特定したイントラ予測モードＩＰＭをブロックサイズ決定回路４２に出力する。
ステップＳＴ３５：
イントラ予測回路４１ａは、ステップＳＴ３３で特定したイントラ予測モードで生成した差分の合計であるＤＩＦと予測画像ＰＩとを選択回路４４に出力する。
【００７８】
〔ブロックサイズ決定回路４２ａ〕
ブロックサイズ決定回路４２ａは、イントラ予測回路４１ａから入力したイントラ予測モードＩＰＭを基に、動き予測・補償回路４３における動き予測・補償処理に用いる動き予測ブロックサイズの単数または複数の候補ＢＳＣを決定し、これを動き予測・補償回路４３に出力する。
動き予測・補償回路４３において採用可能な動き予測ブロックのサイズの種類は、図４を用いて前述したサイズである。
【００７９】
ブロックサイズ決定回路４２ａは、処理対象のマクロブロックＭＢを構成する全てのブロックＢＬＯＣＫに関するイントラ予測回路４１ａから入力したイントラ予測モードＩＰＭのそれぞれに対応する相関方向を特定し、特定した相関方向の数を基に、動き予測ブロックサイズの候補を決定する。
図１１は、４ｘ４イントラ予測モードＩＰＭと、相関方向との対応関係を説明するための図である。
図１１に示すように、イントラ予測回路４１ａにおいて４ｘ４イントラ予測モードＩＰＭとして前述したモード１，６，８が決定された４ｘ４のブロックＢＬＯＣＫは水平方向に相関がある。
また、イントラ予測回路４１ａにおいて４ｘ４イントラ予測モードＩＰＭとして前述したモード０，５，７が決定された４ｘ４のブロックＢＬＯＣＫは垂直方向に相関がある。
また、イントラ予測回路４１ａにおいて４ｘ４イントラ予測モードＩＰＭとして前述したモード２，３，４が決定された４ｘ４のブロックＢＬＯＣＫは水平および垂直方向のいずれにも相関がない。
【００８０】
図１２は、本実施形態のブロックサイズ決定回路４２ａの処理を説明するための図である。
ステップＳＴ４１：
ブロックサイズ決定回路４２ａは、処理対象のマクロブロックＭＢ内の全ての４ｘ４のブロックＢＬＯＣＫについて、イントラ予測回路４１ａイントラ予測モードＩＰＭを入力する。
ステップＳＴ４２：
ブロックサイズ決定回路４２ａは、ステップＳＴ４１で入力したイントラ予測モードＩＰＭのそれぞれについて、図１１を用いて前述した手法で水平方向に高い相関を持つイントラ予測モードＩＰＭの数Ｎｈｏｒｉｚｏｎｔａｌを特定する。
ステップＳＴ４３：
ブロックサイズ決定回路４２ａは、ステップＳＴ４１で入力したイントラ予測モードＩＰＭのそれぞれについて、図１１を用いて前述した手法で垂直方向に高い相関を持つイントラ予測モードＩＰＭの数Ｎｖｅｒｔｉｃａｌを特定する。
【００８１】
ステップＳＴ４４：
ブロックサイズ決定回路４２ａは、ステップＳＴ４２で特定した数Ｎｈｏｒｉｚｏｎｔａｌが、ステップＳＴ４３で特定した数Ｎｖｅｒｔｉｃａｌより大きいか否かを比較し、大きいと判断するとステップＳＴ４５の処理に進み、そうでない場合にステップＳＴ４６の処理に進む。
ステップＳＴ４５：
ブロックサイズ決定回路４２ａは、動き予測ブロックサイズの候補として、図４に示すサイズ１６ｘ８および８ｘ４を特定する。
なお、この場合に、ブロックサイズ決定回路４２ａは、ブロックサイズ候補データＢＳＣとして、１６ｘ１６，１６ｘ８，８ｘ８，８ｘ４，４ｘ４のサイズを特定してもよい。
ステップＳＴ４６：
ブロックサイズ決定回路４２ａは、動き予測ブロックサイズの候補として、図４に示すサイズ８ｘ１６および４ｘ８を特定する。
なお、この場合に、ブロックサイズ決定回路４２ａは、ブロックサイズ候補データＢＳＣとして、１６ｘ１６，８ｘ１６，８ｘ８，４ｘ８，４ｘ４のサイズを特定してもよい。
ステップＳＴ４７：
ブロックサイズ決定回路４２ａは、ステップＳＴ４５，ＳＴ４６で特定したブロックサイズ候補データＢＳＣを動き予測・補償回路４３に出力する。
【００８２】
本実施形態の符号化装置の動作例は、第１実施形態で説明した符号化装置２の動作例において、イントラ予測回路４１およびブロックサイズ決定回路４２の動作例を、上述したイントラ予測回路４１ａおよびブロックサイズ決定回路４２ａの動作例に置き換えたものになる。
【００８３】
以上説明したように、本実施形態の符号化装置によっても、前述した第１実施形態の符号化装置２と同様の効果が得られる。
【００８４】
第２実施形態の変形例
図１２に示すブロックサイズ決定回路４２ａの動作は、例えば、図１３に示すものもよい。
図１３において、ステップＳＴ４１〜ＳＴ４３は、図１２のステップＳＴ４１〜ＳＴ４３と同じである。
ステップＳＴ５１：
本変形例のブロックサイズ決定回路４２ｂは、ステップＳＴ４２で特定した数ＮｈｏｒｉｚｏｎｔａｌからステップＳＴ４３で特定した数Ｎｖｅｒｔｉｃａｌを差し引いた値が予め規定したしきい値Ｔｈより大きいか否かを判断し、大きいと判断するとステップＳＴ５２に進み、そうでない場合にはステップＳＴ５３に進む。
ステップＳＴ５２：
ブロックサイズ決定回路４２ｂは、動き予測ブロックサイズの候補として、図４に示すサイズ１６ｘ８および８ｘ４を特定する。
【００８５】
ステップＳＴ５３：
ブロックサイズ決定回路４２ｂは、ステップＳＴ４３で特定した数ＮｖｅｒｔｉｃａｌからステップＳＴ４２で特定した数Ｎｈｏｒｉｚｏｎｔａｌを差し引いた値が予め規定したしきい値Ｔｈより大きいか否かを判断し、大きいと判断するとステップＳＴ５４に進み、そうでない場合にはステップＳＴ５５に進む。
ステップＳＴ５４：
ブロックサイズ決定回路４２ｂは、動き予測ブロックサイズの候補として、図４に示すサイズ８ｘ１６および４ｘ８を特定する。
ステップＳＴ５５：
ブロックサイズ決定回路４２ｂは、動き予測ブロックサイズの候補として、図４に示すサイズ１６ｘ１６，８ｘ１６，８ｘ８，４ｘ８および４ｘ４を特定する。
ステップＳＴ５６：
ブロックサイズ決定回路４２ａは、ステップＳＴ５２，ＳＴ５４，ＳＴ４４で特定したブロックサイズ候補データＢＳＣを動き予測・補償回路４３に出力する。
本実施形態によっても第２実施形態と同様な効果が得られる。
【００８６】
本発明は上述した実施形態には限定されない。
例えば、上述した実施形態では、本発明の第１のブロックとして１６×１６画素のマクロブロックＭＢを例示したが、第１のブロックのサイズは任意である。
また、上述した実施形態では、第１の発明の第２のブロックおよび第５〜第８の発明の第３のブロックのサイズとして、図４に示す８種類の動き予測ブロックサイズを例示したが、その他のサイズを用いてもよい。
また、上述した実施形態では、イントラ予測モードとして、ＪＶＴで規定された１６ｘ１６画素の輝度信号についてのイントラ予測モード、並びに４ｘ４画素の輝度信号についてのイントラ予測モードを例示したが、それ以外のイントラ予測モードについても本発明は適用可能である。
【００８７】
【発明の効果】
以上説明したように、本発明によれば、従来に比べて小規模な構成で、動きベクトルを短時間で生成できるデータ処理装置を提供することができる。
また、本発明によれば、従来に比べて動きベクトルを短時間で生成できるデータ処理方法を提供することができる。
また、本発明によれば、従来に比べて小規模な構成で、画像データの符号化を短時間で行うことができる符号化装置を提供することができる。
また、本発明によれば、従来に比べて画像データの符号化を短時間で行うことができる符号化方法を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明は、本発明の実施形態の通信システムの構成図である。
【図２】図２は、図１に示す符号化装置の機能ブロック図である。
【図３】図３は、図２に示すイントラ予測回路の動作例を説明するための図である。
【図４】図４は、本実施形態の動き予測ブロックサイズを説明するための図である。
【図５】図５は、図２に示すブロックサイズ決定回路の処理を説明するための図である。
【図６】図６は、図２に示す動き予測・補償回路の動作例を説明するための図である。
【図７】図７は、本発明の第２実施形態に係わる符号化装置で用いられる４ｘ４ブロックを説明するための図である。
【図８】図８は、本発明の第２実施形態に係わるイントラ予測回路のイントラ予測モードを説明するための図である。
【図９】図９は、本発明の第２実施形態に係わるイントラ予測回路のイントラ予測モードを説明するための図である。
【図１０】図１０は、本発明の第２実施形態に係わるイントラ予測回路の動作例を説明するためのフローチャートである。
【図１１】図１１は、本発明の第２実施形態に係わるブロックサイズ決定回路の処理を説明するための図である。
【図１２】図１２は、本発明の第２実施形態に係わるブロックサイズ決定回路の動作例を説明するためのフローチャートである。
【図１３】図１３は、本発明の第２実施形態に係わるブロックサイズ決定回路のその他の動作例を説明するためのフローチャートである。
【符号の説明】
１…通信システム、２…符号化装置、３…復号装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…フレームメモリ、３２…レート制御回路、４１，４１ａ…イントラ予測回路、４２，４２ａ…ブロックサイズ決定回路、４３…動き予測・補償回路、４４…選択回路
【図１】
2004320437.tif 000020
【図２】
2004320437.tif 000021
【図３】
2004320437.tif 000022
【図４】
2004320437.tif 000023
【図５】
2004320437.tif 000024
【図６】
2004320437.tif 000025
【図７】
2004320437.tif 000026
【図８】
2004320437.tif 000027
【図９】
2004320437.tif 000028
【図１０】
2004320437.tif 000029
【図１１】
2004320437.tif 000030
【図１２】
2004320437.tif 000031
【図１３】
2004320437.tif 000032