(57)【要約】【課題】従来に比べて小規模な構成で、イントラ予測符号化を短時間で行うことができる画像処理装置を提供する。【解決手段】差分検出回路４２が、マクロブロックＭＢ内の画素データの水平および垂直方向の差分和を検出する。モード選択回路４３は、当該差分和を基にＭＢの相関方向を特定し、その相関方向に適合したイントラ予測モードをイントラ予測回路４１に指定する。イントラ予測回路４１は、当該指定されたイントラ予測モードでイントラ予測符号化を行う。【選択図】  図２
2004304724.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数のブロック画像データをイントラ予測符号化する画像処理装置であって、
処理対象の前記ブロック画像データに属する画素データと、前記複数のブロック画像データ内の前記画素データ以外の他の画素データとの間の相関を基に、前記処理対象のブロック画像データをイントラ予測符号化する符号化手段
を有する画像処理装置。
【請求項２】
前記処理対象の前記ブロック画像データに属する前記画素データと、前記他の画素データとの間の差分を検出する差分検出手段
をさらに有し、
前記符号化手段は、前記差分検出手段が検出した前記差分から前記相関を特定し、当該特定した相関を基に、前記処理対象のブロック画像データをイントラ予測符号化する
請求項１に記載の画像処理装置。
【請求項３】
前記符号化手段は、前記処理対象の前記ブロック画像データに属する複数の画素データの間の前記相関を基に、前記処理対象のブロック画像データをイントラ予測符号化する
請求項１に記載の画像処理装置。
【請求項４】
前記符号化手段は、前記処理対象のブロック画像データに属する画素データと、前記他の画素データとの間の前記相関の方向を基に、前記処理対象のブロック画像データをイントラ予測符号化する
請求項１に記載の画像処理装置。
【請求項５】
前記符号化手段は、
前記処理対象のブロック画像データに属する画素データを、当該ブロック画像データに水平方向で隣接するブロック画像データ内の画素データを基に規定する第１のイントラ予測モードと、前記処理対象のブロック画像データに垂直方向で隣接するブロック画像データ内の画素データを基に規定する第２のイントラ予測モードとを有し、
前記相関の方向が垂直方向に比べて水平方向に強い場合に、前記第１のイントラ予測モードで前記処理対象のブロック画像データをイントラ予測符号化し、前記相関の方向が前記水平方向に比べて前記垂直方向に強い場合に、前記第２のイントラ予測モードで前記処理対象のブロック画像データをイントラ予測符号化する
請求項４に記載の画像処理装置。
【請求項６】
前記ブロック画像データに属する画素データを間引いた間引きブロック画像データを生成する間引き手段
をさらに有し、
前記差分検出手段は、前記間引き手段が生成した前記間引きブロック画像データを基に前記差分を検出する
請求項２に記載の画像処理装置。
【請求項７】
動画像を構成する画像を符号化する符号化装置であって、
前記画像を構成する複数のブロック画像データのうち、処理対象の前記ブロック画像データに属する画素データと、前記複数のブロック画像データ内の前記画素データ以外の他の画素データとの間の相関を基に、前記処理対象のブロック画像データをイントラ予測符号化して予測画像を生成するイントラ予測符号化手段と、
前記イントラ予測符号化手段が生成した前記予測画像と原画像の差分を符号化する符号化手段と
を有する符号化装置。
【請求項８】
動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数のブロック画像データをイントラ予測符号化する画像処理方法であって、
処理対象の前記ブロック画像データに属する画素データと、前記複数のブロック画像データ内の前記画素データ以外の他の画素データとの間の相関を検出する第１の工程と、
前記第１の工程で検出した前記相関を基に、前記処理対象のブロック画像データをイントラ予測符号化する第２の工程と
を有する画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、イントラ予測符号化を行う画像処理装置とその方法、並びに符号化装置に関する。
【０００２】
【従来の技術】
近年、画像データデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
ＭＰＥＧ方式に続いてＪＶＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）と呼ばれる符号化方式が提案されている。
ＪＶＴ方式では、イントラ予測モードとして種々のモードを規定しており、符号化装置は、例えば、全てのイントラ予測モードについて、予測画像、並びに原画像との差分を検出し、その差分が最小の予測画像を選択する。これにより、高い符号化効率が得られる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来の符号化装置では、全てのイントラ予測モードについて、予測画像、並びに原画像との差分を検出するため、演算量が多く、処理負担が大きいという問題がある。そのため、符号化装置が大規模化することがあるという問題もある。
【０００５】
本発明はかかる事情に鑑みてなされたものであり、従来に比べて小規模な構成で、イントラ予測符号化を短時間で行うことができる画像処理装置および符号化装置を提供することを目的とする。
従来に比べて、イントラ予測符号化を短時間で行うことができる画像処理方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の画像処理装置は、動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数のブロック画像データをイントラ予測符号化する画像処理装置であって、処理対象の前記ブロック画像データに属する画素データと、前記複数のブロック画像データ内の前記画素データ以外の他の画素データとの間の相関を基に、前記処理対象のブロック画像データをイントラ予測符号化する符号化手段を有する。
【０００７】
本発明の画像処理装置の作用は以下のようになる。
すなわち、符号化手段が、処理対象の前記ブロック画像データに属する画素データと、前記複数のブロック画像データ内の前記画素データ以外の他の画素データとの間の相関を基に、前記処理対象のブロック画像データをイントラ予測符号化する。
【０００８】
第２の発明の符号化装置は、動画像を構成する画像を符号化する符号化装置であって、前記画像を構成する複数のブロック画像データのうち、処理対象の前記ブロック画像データに属する画素データと、前記複数のブロック画像データ内の前記画素データ以外の他の画素データとの間の相関を基に、前記処理対象のブロック画像データをイントラ予測符号化して予測画像を生成するイントラ予測符号化手段と、前記イントラ予測符号化手段が生成した前記予測画像と原画像の差分を符号化する符号化手段とを有する。
【０００９】
第２の発明の符号化装置の作用は以下のようになる。
イントラ予測符号化手段が、画像を構成する複数のブロック画像データのうち、処理対象の前記ブロック画像データに属する画素データと、前記複数のブロック画像データ内の前記画素データ以外の他の画素データとの間の相関を基に、前記処理対象のブロック画像データをイントラ予測符号化して予測画像を生成する。
次に、符号化手段が、前記イントラ予測符号化手段が生成した前記予測画像と原画像の差分を符号化する。
【００１０】
第３の発明の画像処理方法は、動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数のブロック画像データをイントラ予測符号化する画像処理方法であって、処理対象の前記ブロック画像データに属する画素データと、前記複数のブロック画像データ内の前記画素データ以外の他の画素データとの間の相関を検出する第１の工程と、前記第１の工程で検出した前記相関を基に、前記処理対象のブロック画像データをイントラ予測符号化する第２の工程とを有する。
【００１１】
【発明の実施の形態】
以下、本発明の実施形態に係わるＪＶＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）方式の符号化装置について説明する。
第１実施形態
図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
ここで、符号化装置２が第２の発明の符号化装置に対応している。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
本実施形態では、符号化装置２において、動画像を構成する画像の２次元領域に対応して規定され当該画像を構成する複数のブロック画像データの各々について、当該ブロック画像データに属する画素データと、前記複数のブロック画像データ内の前記画素データ以外の他の画素データとの間の相関を基に、処理対象のブロック画像データをイントラ予測符号化する。
【００１２】
図１に示す復号装置３は符号化装置２の符号化に対応した復号を行う。
【００１３】
以下、図１に示す符号化装置２について説明する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、レート制御回路３２、デブロックフィルタ３７、フレームメモリ４０、イントラ予測回路４１、差分検出回路４２、モード選択回路４３、動き予測・補償回路４４および選択回路４５を有する。
ここで、イントラ予測回路４１が第１の発明の符号化手段および第２の発明のイントラ予測符号化手段に対応している。
また、差分検出回路４２が第１の発明の差分検出手段に対応し、可逆符号化回路２７が第２の発明の符号化手段に対応している。
【００１４】
以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される原画像信号をデジタルの画像信号に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力した原画像信号内のフレーム画像信号を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）  構造に応じて、符号化する順番に並べ替えた原画像データ（フレーム画像データ）Ｓ２３を演算回路２４、イントラ予測回路４１および動き予測・補償回路４４に出力する。
【００１５】
演算回路２４は、原画像データＳ２３と、選択回路４５から入力した予測画像データＳ４４との差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数信号）Ｓ２５を生成し、これを量子化回路２６に出力する。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。
【００１６】
可逆符号化回路２７は、画像データＳ２６を可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路２７は、動き予測・補償回路４４から入力した動きベクトルＭＶあるいはその差分を符号化してヘッダデータに格納する。
また、可逆符号化回路２７は、イントラ予測回路４１から入力したイントラ予測モードＩＰＭをヘッダデータなどに格納する。
【００１７】
バッファ２８に格納された画像データは、変調等された後に送信される。
逆量子化回路２９は、画像データＳ２６を逆量子化した信号を生成し、これをデブロックフィルタ３７に出力する。
デブロックフィルタ３７は、画像データＳ２６のブロック歪みを除去した画像データを、逆直交変換回路３０に出力すると共に、フレームメモリ４０に書き込む。
逆直交変換回路３０は、デブロックフィルタ３７から入力した画像データに、直交変換回路２５における直交変換の逆変換を施して生成した画像データをフレームメモリ３１に書き込む。
【００１８】
レート制御回路３２は、バッファ２３から読み出した画像データを基に量子化スケールを生成し、これを量子化回路２６に出力する。
【００１９】
以下、図２に示すイントラ予測回路４１について説明する。
イントラ予測回路４１は、輝度信号について予め規定された複数の４ｘ４イントラ予測モードのうち、モード選択回路４３からイントラ予測モード指定データＩＰＭが示す単数または複数のイントラ予測モードのそれぞれを基に、フレームメモリ４０から入力した輝度信号についての画像データのマクロブロックＭＢに対して４ｘ４のブロック画像データＢＬＯＣＫ（本発明のブロック画像データ）を単位としてイントラ予測符号を施して予測画像を生成し、当該予測画像データと原画像データＳ２３との差分（例えば、絶対値誤差和ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ））を検出する。
そして、イントラ予測回路４１は、上述したようにイントラ予測モードについてそれぞれ生成した上記差分のうち最小の差分に対応するイントラ予測モードによって得られた差分ＤＩＦおよび予測画像ＰＩを選択回路４５に出力する。
なお、ＰスライスあるいはＢスライスに属するマクロブロックＭＢであっても、イントラ予測回路４１によるイントラ予測符号化が行われる場合がある。
本実施形態では、イントラ予測モードとして４ｘ４画素データのブロック画像データＢＬＯＣＫを単位として輝度信号についてイントラ予測符号化を行う４ｘ４イントラ予測モードを採用した場合を説明する。
イントラ予測回路４１は、図３に示すように、４ｘ４のマトリクス状に配設された画素データ「０」〜「１５」からなるブロック画像データＢＬＯＣＫを単位として予測画像の生成を行う。
４ｘ４イントラ予測モードには、図４に示すように予測方向が異なる９つのモード「０」〜「８」がある。
【００２０】
以下、図４に示す各モードについて説明する。
図５は、イントラ予測の処理対象となる４ｘ４のブロック画像データＢＬＯＣＫに属する画素データａ〜ｐと、当該ブロック画像データＢＬＯＣＫの周囲に位置するブロック画像データの画素データＡ〜Ｍとの位置関係を説明するための図である。
なお、画素データＡ〜Ｍは、上記処理対象のブロック画像データＢＬＯＣＫと異なるピクチャあるいは異なるスライスに属する場合などに、「利用可能でない（ｕｎａｖａｉｌａｂｌｅ）  」であると判断される。
モード０：
モード０は、ｖｅｒｔｉｃａｌ（垂直）予測であり、図５に示す画素データＡ，Ｂ，Ｃ，Ｄの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロック画像データＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄを用いて下記（１）のように生成する。
【００２１】
【数１】
2004304724.tif 000003
【００２２】
モード１：
モード１は、ｈｏｒｉｚｏｎｔａｌ（水平）予測であり、図５に示す画素データＩ，Ｊ，Ｋ，Ｌの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロック画像データＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＩ，Ｊ，Ｋ，Ｌを用いて下記（２）のように生成する。
【００２３】
【数２】
2004304724.tif 000004
【００２４】
モード２：
モード１は、ＤＣ予測であり、図５に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌの全てが上記「利用可能」である場合に、イントラ予測回路４１は、ブロック画像データＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌを用いて下記（３）のように生成する。
【００２５】
【数３】
2004304724.tif 000005
【００２６】
また、図５に示す画素データＡ，Ｂ，Ｃ，Ｄの全てが上記「利用可能」でない場合に、イントラ予測回路４１は、ブロック画像データＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄを用いて下記（４）のように生成する。
【００２７】
【数４】
2004304724.tif 000006
【００２８】
また、図５に示す画素データＩ，Ｊ，Ｋ，Ｌの全てが上記「利用可能」でない場合に、イントラ予測回路４１は、ブロック画像データＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＩ，Ｊ，Ｋ，Ｌを用いて下記（５）のように生成する。
【００２９】
【数５】
2004304724.tif 000007
【００３０】
また、図５に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌの全てが上記「利用可能」でない場合に、イントラ予測回路４１は、ブロック画像データＢＬＯＣＫの画素データａ〜ｐの予測値「１２８」を用いる。
【００３１】
モード３：
モード３は、Ｄｉａｇｏｎａｌ＿Ｄｏｗｎ＿Ｌｅｆｔ予測であり、図５に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロック画像データＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記（６）のように生成する。
【００３２】
【数６】
2004304724.tif 000008
【００３３】
モード４：
モード４は、Ｄｉａｇｏｎａｌ＿Ｒｉｇｈｔ予測であり、図５に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロック画像データＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記（７）のように生成する。
【００３４】
【数７】
2004304724.tif 000009
【００３５】
モード５：
モード５は、Ｄｉａｇｏｎａｌ＿Ｖｅｒｔｉｃａｌ＿Ｒｉｇｈｔ予測であり、図５に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロック画像データＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記（８）のように生成する。
【００３６】
【数８】
2004304724.tif 000010
【００３７】
モード６：
モード６は、Ｈｏｒｉｚｏｎｔａｌ＿Ｄｏｗｎ予測であり、図５に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロック画像データＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記（９）のように生成する。
【００３８】
【数９】
2004304724.tif 000011
【００３９】
モード７：
モード７は、Ｖｅｒｔｉｃａｌ＿Ｌｅｆｔ予測であり、図５に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロック画像データＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記（１０）のように生成する。
【００４０】
【数１０】
2004304724.tif 000012
【００４１】
モード８：
モード８は、Ｈｏｒｉｚｏｎｔａｌ＿Ｕｐ予測であり、図５に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロック画像データＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記（１１）のように生成する。
【００４２】
【数１１】
2004304724.tif 000013
【００４３】
以下、イントラ予測回路４１の処理について説明する。
図６は、本実施形態のイントラ予測回路４１の処理を説明するためのフローチャートである。
以下、図１０に示す各ステップについて説明する。
ステップＳＴ１１：
イントラ予測回路４１は、輝度信号のマクロブロックＭＢ内の処理対象となる４ｘ４のブロック画像データＢＬＯＣＫについて、上述したモード０〜８の各々の４ｘ４イントラ予測モードのうち、モード選択回路４３から入力したイントラ予測モード指定データＩＰＭが示す単数または複数の４ｘ４イントラ予測モードで予測画像を生成する。
ステップＳＴ１２：
イントラ予測回路４１は、ステップＳＴ１１で生成した予測画像データと、原画像データＳ２３との差分を生成（検出）する。
【００４４】
ステップＳＴ１３：
イントラ予測回路４１は、ステップＳＴ１２で生成した差分のうち、最小の差分に対応する予測画像を特定する。
ステップＳＴ１４：
イントラ予測回路４１は、ステップＳＴ１３で特定した差分および予測画像を選択回路４５に出力する。
【００４５】
差分検出回路４２は、イントラ予測回路４１を介してフレームメモリ４０に記憶された輝度信号についての画像データを入力し、当該画像データ内の４ｘ４ブロック画像データ内の画素データと、当該ブロック画像データに隣接する他の画素データとの間の垂直および水平方向の差分和を検出する。
ここで、図３に示す４ｘ４のブロック画像データＢＬＯＣＫ内の水平方向ｉ番目、垂直方向ｊ番目の画素データを図７に示すように「Ａｉ，ｊ  」で示す。ｉ，ｊは、０〜３の整数である。
差分検出回路４２は、処理対象の４ｘ４のブロック画像データＢＬＯＣＫについて、図７（Ａ）に示すように、下記式（１２）を基に垂直方向の差分和ＶＣｏｒｒを算出し、これをモード選択回路４３に出力する。
【００４６】
【数１２】
2004304724.tif 000014
【００４７】
また、差分検出回路４２は、処理対象の４ｘ４のブロック画像データＢＬＯＣＫについて、図７（Ｂ）に示すように、下記式（１３）を基に水平方向の差分和ＨＣｏｒｒを算出し、これをモード選択回路４３に出力する。
【００４８】
【数１３】
2004304724.tif 000015
【００４９】
モード選択回路４３は、差分検出回路４２から入力した差分和ＶＣｏｒｒと差分和ＨＣｏｒｒとの大小関係を基にブロック画像データＢＬＯＣＫの相関方向を特定し、当該相関方向を基に、図８に示す選択基準を基に４ｘ４イントラ予測モードを選択し、当該選択したイントラ予測モードを示すイントラ予測モード指定データＩＰＭを生成し、これをイントラ予測回路４１に出力する。
具体的には、モード選択回路４３は、ブロック画像データが水平方向に相関があると判断すると、図８に示すように、モード１，２，３，４，６，８を示すイントラ予測モード指示データＩＰＭを生成し、これをイントラ予測回路４１に出力する。
また、モード選択回路４３は、ブロック画像データが垂直方向に相関があると判断すると、図９に示すように、モード０，２，３，４，５，７を示すイントラ予測モード指示データＩＰＭを生成し、これをイントラ予測回路４１に出力する。
【００５０】
図９は、差分検出回路４２およびモード選択回路４３の処理を説明するためのフローチャートである。
ステップＳＴ２１：
差分検出回路４２は、処理対象の４ｘ４のブロック画像データＢＬＯＣＫについて、上記式（１２）を基に垂直方向の差分和ＶＣｏｒｒを算出し、これをモード選択回路４３に出力する。
ステップＳＴ２２：
差分検出回路４２は、処理対象の４ｘ４のブロック画像データＢＬＯＣＫについて、上記式（１３）を基に水平方向の差分和ＨＣｏｒｒを算出し、これをモード選択回路４３に出力する。
【００５１】
ステップＳＴ２３：
モード選択回路４３は、ステップＳＴ２２で入力した差分和ＨＣｏｒｒがステップＳＴ２１で入力した差分和ＶＣｏｒｒより大きいか否か（垂直方向の相関が水平方向の相関に比べて高いか否か）を判断し、差分和ＨＣｏｒｒが差分和ＶＣｏｒｒより大きいと判断した場合にステップＳＴ２４に進み、そうでない場合にステップＳＴ２５に進む。
ステップＳＴ２４：
モード選択回路４３は、ブロック画像データが垂直方向に相関があると判断すると、図８に示すように、モード０，２，３，４，５，７を示すイントラ予測モード指示データＩＰＭを生成し、これをイントラ予測回路４１に出力する。
ステップＳＴ２５：
モード選択回路４３は、ブロック画像データが水平方向に相関があると判断すると、図８に示すように、モード１，２，３，４，６，８を示すイントラ予測モード指示データＩＰＭを生成し、これをイントラ予測回路４１に出力する。
【００５２】
動き予測・補償回路４４は、フレームメモリ３１から読み出した画像データＳ３１と、画面並べ替え回路２３から入力した原画像データＳ２３とを基に、所定の動き予測ブロックを単位として、動きベクトルを決定すると共に、予測画像データを生成する。
そして、動き予測・補償回路４４は、上記生成した予測画像データＰＩと、原画像データＳ２３との差分を生成する。
動き予測・補償回路４４は、上記生成した差分と、上記予測画像データＰＩとを選択回路４５に出力する。
また、動き予測・補償回路４４は、選択回路４５において自らが生成した予測画像データＰＩが選択された場合に、それに対応する動きベクトルＭＶを可逆符号化回路２７に出力する。
【００５３】
選択回路４５は、イントラ予測回路４１から入力した差分ＤＩＦと、動き予測・補償回路４４から入力した差分ＤＩＦとを比較する。
選択回路４５は、上記比較によりイントラ予測回路４１から入力した差分ＤＩＦの方が小さいと判断すると、イントラ予測回路４１から入力した予測画像ＰＩＦを選択して演算回路２４に出力する。
選択回路４５は、上記比較により動き予測・補償回路４４から入力した差分ＤＩＦの方が小さいと判断すると、動き予測・補償回路４４から入力した予測画像ＰＩＦを選択して演算回路２４に出力する。
また、選択回路４５は、上記選択の結果をイントラ予測回路４１および動き予測・補償回路４４に通知する。
【００５４】
以下、図２に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２２においてデジタル信号に変換される。
次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３においてフレーム画像データの並べ替えが行われ、それによって得られた原画像データＳ２３が演算回路２４、イントラ予測回路４１および動き予測・補償回路４４に出力される。
次に、演算回路２４が、画面並べ替え回路２３からの原画像データＳ２３と選択回路４５からの予測画像データＰＩとの差分を検出し、その差分を示す画像データＳ２４を直交変換回路２５に出力する。
【００５５】
次に、直交変換回路２５が、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換等の直交変換を施して画像データＳ２５を生成し、これを量子化回路２６に出力する。
次に、量子化回路２６が、画像データＳ２５を量子化し、量子化された変換係数Ｓ２６を可逆符号化回路２７および逆量子化回路２９に出力する。
次に、可逆変換回路２７が、変換係数Ｓ２６に可変長符号化あるいは算術符号化等の可逆符号化を施して画像データＳ２８を生成し、これをバッファ２８に蓄積する。
また、レート制御回路３２が、バッファ２８から読み出した画像データＳ２８を基に、量子化回路２６における量子化レートを制御する。
【００５６】
また、逆量子化回路２９が、量子化回路２６から入力した変換係数Ｓ２６を逆量子化し、逆量子化した変換係数をデブロックフィルタ３７に出力する。
デブロックフィルタ３７は、逆量子化回路２９から入力した変換係数のブロック歪みを除去した画像データを、逆直交変換回路３０に出力すると共に、フレームメモリ４０に書き込む。
逆直交変換回路３０は、デブロックフィルタ３７から入力した画像データに、直交変換回路２５における直交変換の逆変換を施して生成した画像データをフレームメモリ３１に書き込む。
【００５７】
そして、差分検出回路４２は、イントラ予測回路４１を介してフレームメモリ４０に記憶された画像データを入力し、当該画像データ内の４ｘ４ブロック画像データの画素データ間における垂直および水平方向の差分和ＶＣｏｒｒ，ＨＣｏｒｒを検出する。
次に、モード選択回路４３は、差分検出回路４２から入力した差分和ＶＣｏｒｒと差分和ＨＣｏｒｒとの大小関係を基にブロック画像データＢＬＯＣＫの相関方向を特定し、当該相関方向を基に、図８に示す選択基準を基に４ｘ４イントラ予測モードを選択し、当該選択したイントラ予測モードを示すイントラ予測モード指定データＩＰＭを生成し、これをイントラ予測回路４１に出力する。
【００５８】
次に、イントラ予測回路４１は、予め規定された複数の４ｘ４イントラ予測モードのうち、モード選択回路４３からイントラ予測モード指定データＩＰＭが示す単数または複数のイントラ予測モードのそれぞれを基に、フレームメモリ４０から入力した画像データのマクロブロックＭＢに対して４ｘ４のブロック画像データＢＬＯＣＫを単位としてイントラ予測符号を施して予測画像を生成し、当該予測画像データと原画像データＳ２３との差分を検出する。
そして、イントラ予測回路４１は、上記複数のイントラ予測モードについてそれぞれ生成した上記差分のうち最小の差分に対応するイントラ予測モードによって得られた差分ＤＩＦおよび予測画像ＰＩを選択回路４５に出力する。
【００５９】
また、動き予測・補償回路４４は、フレームメモリ３１から読み出した画像データＳ３１と、画面並べ替え回路２３から入力した原画像データＳ２３とを基に、所定の動き予測ブロックを単位として、動きベクトルを決定すると共に、予測画像データを生成する。
そして、動き予測・補償回路４４は、上記生成した予測画像データＰＩと、原画像データＳ２３との差分を生成する。
動き予測・補償回路４４は、上記生成した差分と、上記予測画像データＰＩとを選択回路４５に出力する。
【００６０】
そして、選択回路４５は、イントラ予測回路４１から入力した差分ＤＩＦと、動き予測・補償回路４４から入力した差分ＤＩＦとを比較する。
そして、選択回路４５は、上記比較によりイントラ予測回路４１から入力した差分ＤＩＦの方が小さいと判断すると、イントラ予測回路４１から入力した予測画像ＰＩＦを選択して演算回路２４に出力する。
また、選択回路４５は、上記比較により動き予測・補償回路４４から入力した差分ＤＩＦの方が小さいと判断すると、動き予測・補償回路４４から入力した予測画像ＰＩＦを選択して演算回路２４に出力する。
【００６１】
以上説明したように、符号化装置２では、モード選択回路４３において、差分検出回路４２で検出したマクロブロックＭＢ内の複数の画素データ間における水平および垂直方向の差分和を基に相関方向を特定し、当該相関方向に適合したイントラ予測モードを指定するイントラ予測モード指示データＩＰＭを生成する。
そして、イントラ予測回路４１は、イントラ予測モード指示データＩＰＭで指定されたイントラ予測モードについてのみ予測画像の生成を行う。すなわち、イントラ予測回路４１は、指示データＩＰＭで指定されていないイントラ予測モードについての予測画像を生成しない。
このように、イントラ予測回路４１は、全てのイントラ予測モードについての予測画像の生成を行わないため、その演算量を大幅に削減できる。これにより、符号化装置２の小規模化、並びに高速処理化を実現できる。
また、モード選択回路４３は、差分検出回路４２が検出した相関を基に、マクロブロックＭＢの相関方向を特定し、それを基にイントラ予測モードを指定しているので、原画像との差分が最小となるイントラ予測モードをイントラ予測回路４１に対して適切に指定でき、符号化効率は低下しない。
【００６２】
第１実施形態の変形例
上述した第１実施形態では、図２に示すモード選択回路４３は、図９に示すステップＳＴ２３において、差分和ＨＣｏｒｒが差分和ＶＣｏｒｒより大きいか否かを判断基準としてステップＳＴ２４，ＳＴ２５の何れに進むかを判断した。
本変形例では、モード選択回路４３は、図９に示すステップＳＴ２３において、差分和ＨＣｏｒｒが差分和ＶＣｏｒｒより大きく、かつ、下記式（１４）の条件を満たすと判断した場合に、図８に示すステップＳＴ２４において、モード０，２，５，７を示すイントラ予測モード指示データＩＰＭを生成する。
【００６３】
【数１４】
2004304724.tif 000016
【００６４】
ここで、モード０，２，５，７は、処理対象のブロック画像データＢＬＯＣＫ内の画素データを、当該ブロック画像データＢＬＯＣＫに対して垂直方向に隣接するブロック画像データ内の画素データを基に置き換えるイントラ予測モードである。
また、モード選択回路４３は、図８に示すステップＳＴ２３において、差分和ＨＣｏｒｒが差分和ＶＣｏｒｒより大きく、かつ、上記式（１４）の条件を満たさないと判断した場合に、図８に示すステップＳＴ２５において、モード０，２，３，４，５，７を示すイントラ予測モード指示データＩＰＭを生成する。
【００６５】
また、モード選択回路４３は、図８に示すステップＳＴ２３において、差分和ＨＣｏｒｒが差分和ＶＣｏｒｒより大きくなく、かつ、下記式（１５）の条件を満たすと判断した場合に、図８に示すステップＳＴ２５において、モード１，２，６，８を示すイントラ予測モード指示データＩＰＭを生成する。
【００６６】
【数１５】
2004304724.tif 000017
【００６７】
ここで、モード１，２，６，８は、処理対象のブロック画像データＢＬＯＣＫ内の画素データを、当該ブロック画像データＢＬＯＣＫに対して水平方向に隣接するブロック画像データ内の画素データを基に置き換えるイントラ予測モードである。
また、モード選択回路４３は、図８にステップＳＴ２３において、差分和ＨＣｏｒｒが差分和ＶＣｏｒｒより大きくなく、かつ、上記式（１５）の条件を満たさないと判断した場合に、図８に示すステップＳＴ２４において、モード１，２，３，４，６，８を示すイントラ予測モード指示データＩＰＭを生成する。
【００６８】
本変形例によれば、モード選択回路４３は、第１実施形態に比べてイントラ予測モードをさらに絞り込んでイントラ予測回路４１に指定するため、イントラ予測回路４１における処理負担をさらに軽減できる。
【００６９】
第２実施形態
上述した第１実施形態では、図２に示すフレームメモリ４０から読み出した１倍の解像度の画像データを基に、差分検出回路４２における相関検出を行う場合を例示した。
本実施形態では、フレームメモリ４０から読み出した１倍の解像度の画像データに間引き処理を行い、当該間引き処理によって得られた画像データを基に、相関検出を行う。
図１０は、本実施形態の符号化装置２ａの全体構成図である。
図１０において、図２と同一符号を付した構成要素は、第１実施形態で説明したものと同じである。
図１０に示すように、符号化装置２ａは、図２に示す符号化装置２に、例えば、間引き回路５０、フレームメモリ５１および選択回路５２を追加した構成を有している。
また、符号化装置２ａは、図２に示すイントラ予測回路４１、差分検出回路４２およびモード選択回路４３の代わりに、イントラ予測回路４１ａ、差分検出回路４２ａおよびモード選択回路４３ａを有している。
【００７０】
間引き回路５０は、図１１に示すように、フレームメモリ４０から読み出した１倍の解像度の画像データＳ４０を１／４倍に間引いて、１／４倍の解像度の画像データＳ５０を生成し、これをフレームメモリ５１に書き込む。
選択回路５２は、差分検出回路４２に画像データを提供する期間に、フレームメモリ５１から読み出された１／４倍の解像度の画像データをＳ５０を選択してイントラ予測回路４１ａに出力する。
また、選択回路５２は、イントラ予測回路４１ａに予測画像および動きベクトルＭＶを生成するための画像データを提供する期間に、フレームメモリ４０から読み出された１倍の解像度の画像データをＳ４０を選択してイントラ予測回路４１ａに出力する。
【００７１】
差分検出回路４２ａは、イントラ予測回路４１ａおよび選択回路５２を介してフレームメモリ５０に記憶された１／４倍の解像度の画像データを入力し、当該画像データ内の２ｘ２ブロック画像データ（本発明の間引きブロック画像データ）の複数の画素データ間の垂直および水平方向の差分和を検出する。
ここで、２ｘ２のブロック画像データ内の水平方向ｉ番目、垂直方向ｊ番目の画素データを「Ｄｉ，ｊ  」で示す。ｉ，ｊは、０または１である。
差分検出回路４２ａは、処理対象の２ｘ２のブロック画像データについて、図１２（Ａ）に示すように、下記式（１６）を基に垂直方向の差分和ＶＣｏｒｒを算出し、これをモード選択回路４３ａに出力する。
【００７２】
【数１６】
2004304724.tif 000018
【００７３】
また、差分検出回路４２ａは、処理対象の２ｘ２のブロック画像データについて、図１２（Ｂ）に示すように、下記式（１７）を基に水平方向の差分和ＨＣｏｒｒを算出し、これをモード選択回路４３ａに出力する。
【００７４】
【数１７】
2004304724.tif 000019
【００７５】
モード選択回路４３ａは、差分検出回路４２から入力した差分和ＶＣｏｒｒと差分和ＨＣｏｒｒとの大小関係を基に前述したモード選択回路４３と同様の処理を行う。
【００７６】
符号化装置２ａの動作例は、上述した間引き回路５０、フレームメモリ５１および選択回路５２によって、差分検出回路４２ａに１／４倍の解像度の画像データＳ５０を出力し、差分検出回路４２ａが画像データＳ５０を基に差分和を検出する点を除いて、第１実施形態の符号化装置２の動作例と同じである。
【００７７】
図１０に示す符号化装置２ａによれば、差分検出回路４２ａにおいて、１／４倍の解像度の画像データＳ５０を基に差分和を検出するため、差分検出回路４２ａの処理負担を軽減できる。
【００７８】
第３実施形態
上述した第１実施形態では、イントラ予測回路４１において４ｘ４イントラ予測モードを採用した場合を例示したが、本実施形態のイントラ予測回路４１ｂでは、輝度信号についての１６ｘ１６イントラ予測モードを採用する。
本実施形態の符号化装置は、イントラ予測回路４１ｂ、差分検出回路４２ｂおよびモード選択回路４３ｂの処理が，第１実施形態のイントラ予測回路４１、差分検出回路４２およびモード選択回路４３の処理とは異なり、それ以外の処理は第１実施形態と同じである。
以下、本実施形態の符号化装置のイントラ予測回路４１ｂ、差分検出回路４２ｂおよびモード選択回路４３ｂについて説明する。
【００７９】
イントラ予測回路４１ｂは、予め規定された複数の１６ｘ１６イントラ予測モードのうち、モード選択回路４３からイントラ予測モード指定データＩＰＭが示す単数または複数のイントラ予測モードのそれぞれを基に、フレームメモリ４０から読み出した画像データを構成する各マクロブロックＭＢにイントラ予測符号を施して予測画像を生成し、当該予測画像データと原画像データＳ２３との差分を検出する。
そして、イントラ予測回路４１ｂは、上記複数のイントラ予測モードについてそれぞれ生成した上記差分のうち最小の差分に対応するイントラ予測モードに対応して得られた差分ＤＩＦおよび予測画像データＰＩを選択回路４５に出力する。
１６ｘ１６イントラ予測モードには、モード「０」，「１」，「２」，「３」の４つのモードがある。
【００８０】
以下、各モードについて説明する。
ここで、処理対象のマクロブロックＭＢ（本発明のブロック画像データ）に属する画像データ（以下、画素値とも記す）をＰ（ｘ，ｙ）とする。ここで、ｘ，ｙはマクロブロックＭＢを構成するマトリクス状の画素データの行方向および列方向の位置を示し、０〜１５の整数である。
当該処理対象のマクロブロックＭＢに隣接するマクロブロックＭＢ内の画素データのうち、当該処理対象のマクロブロックＭＢに隣接する画素データを、Ｐ（ｘ，−１），Ｐ（−１，ｙ）と記す。
また、画素データＰ（ｘ，−１），Ｐ（−１，ｙ）は、上記処理対象のマクロブロックＭＢと異なるピクチャあるいは異なるスライスに属する場合などに、「利用可能でない（ｕｎａｖａｉｌａｂｌｅ）  」であると判断される。
モード０：
モード０は、ｖｅｒｔｉｃａｌ（垂直）予測であり、Ｐ（ｘ，−１）が上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１ｂは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（１８）のように生成する。
【００８１】
【数１８】
2004304724.tif 000020
【００８２】
モード１：
モード１は、ｈｏｒｉｚｏｎｔａｌ（水平）予測であり、Ｐ（−１，ｙ）が上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１ｂは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（１９）のように生成する。
【００８３】
【数１９】
2004304724.tif 000021
【００８４】
モード２：
モード２は、ＤＣ予測であり、イントラ予測回路４１ｂは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（２０）のように生成する。
先ず、Ｐ（ｘ，−１）およびＰ（−１，ｙ）の全てが上記「利用可能」である場合に、イントラ予測回路４１ｂは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（２０）のように生成する。
【００８５】
【数２０】
2004304724.tif 000022
【００８６】
また、Ｐ（ｘ，−１）が上記「利用可能」でない場合に、イントラ予測回路４１ｂは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（２１）のように生成する。
【数２１】
2004304724.tif 000023
【００８７】
また、Ｐ（−１，ｙ）が上記「利用可能」でない場合に、イントラ予測回路４１ｂは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（２２）のように生成する。
【数２２】
2004304724.tif 000024
また、Ｐ（ｘ，−１）およびＰ（−１，ｙ）の全てが上記「利用可能」でない場合に、イントラ予測回路４１ｂは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）として「１２８」を用いる。
【００８８】
モード３：
モード３は、ｐｌａｎｅ予測であり、Ｐ（ｘ，−１）およびＰ（−１，ｙ）の全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１ｂは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（２３）のように生成する。
【００８９】
【数２３】
2004304724.tif 000025
【００９０】
以下、イントラ予測回路４１ｂの処理について説明する。
図１３は、本実施形態のイントラ予測回路４１ｂの処理を説明するためのフローチャートである。
以下、図１２に示す各ステップについて説明する。
ステップＳＴ３１：
イントラ予測回路４１ｂは、処理対象の輝度信号の１６ｘ１６のマクロブロックＭＢについて、上述したモード０〜３の１６ｘ１６イントラ予測モードのうち、モード選択回路４３ｂから入力したイントラ予測モード指定データＩＰＭが示す単数または複数の１６ｘ１６イントラ予測モードで予測画像データを生成する。
ステップＳＴ３２：
イントラ予測回路４１ｂは、ステップＳＴ３１で生成した予測画像データと、原画像データＳ２３との差分を生成（検出）する。
【００９１】
ステップＳＴ３３：
イントラ予測回路４１ｂは、ステップＳＴ３２で生成した差分のうち、最小の差分に対応する予測画像を特定する。
ステップＳＴ３４：
イントラ予測回路４１ｂは、ステップＳＴ３３で特定した差分および予測画像を選択回路４５に出力する。
【００９２】
差分検出回路４２ｂは、イントラ予測回路４１ｂを介してフレームメモリ４０に記憶された輝度信号についての画像データを入力し、当該画像データ内のマクロブロックＭＢの垂直および水平方向の相関を検出する。
ここで、１６ｘ１６のマクロブロックＭＢ内の水平方向ｉ番目、垂直方向ｊ番目の画素データを「Ａｉ，ｊ  」で示す。ｉ，ｊは、０〜１５の整数である。
差分検出回路４２ｂは、処理対象のマクロブロックＭＢについて、下記式（２４）を基に垂直方向の差分和ＶＣｏｒｒを算出し、これをモード選択回路４３ｂに出力する。
【００９３】
【数２４】
2004304724.tif 000026
【００９４】
また、差分検出回路４２は、処理対象のマクロブロックＭＢについて、下記式（２５）を基に水平方向の差分和ＨＣｏｒｒを算出し、これをモード選択回路４３ｂに出力する。
【００９５】
【数２５】
2004304724.tif 000027
【００９６】
モード選択回路４３ｂは、差分検出回路４２ｂから入力した差分和ＶＣｏｒｒと差分和ＨＣｏｒｒとの大小関係を基にマクロブロックＭＢの相関方向を特定し、当該相関方向を基に、図１４に示す選択基準を基に１６ｘ１６イントラ予測モードを選択し、当該選択したイントラ予測モードを示すイントラ予測モード指定データＩＰＭを生成し、これをイントラ予測回路４１ｂに出力する。
具体的には、モード選択回路４３ｂは、マクロブロックＭＢが水平方向に相関があると判断すると、図１４に示すように、モード１，２，３を示すイントラ予測モード指示データＩＰＭを生成し、これをイントラ予測回路４１ｂに出力する。
また、モード選択回路４３ｂは、マクロブロックＭＢが垂直方向に相関があると判断すると、図１４に示すように、モード０，２，３を示すイントラ予測モード指示データＩＰＭを生成し、これをイントラ予測回路４１ｂに出力する。
【００９７】
図１５は、差分検出回路４２ｂおよびモード選択回路４３ｂの処理を説明するためのフローチャートである。
ステップＳＴ５１：
差分検出回路４２ｂは、処理対象の１６ｘ１６のマクロブロックＭＢについて、上記式（２４）を基に垂直方向の差分和ＶＣｏｒｒを算出し、これをモード選択回路４３ｂに出力する。
ステップＳＴ５２：
差分検出回路４２ｂは、処理対象のマクロブロックＭＢについて、上記式（２５）を基に水平方向の差分和ＨＣｏｒｒを算出し、これをモード選択回路４３ｂに出力する。
【００９８】
ステップＳＴ５３：
モード選択回路４３ｂは、ステップＳＴ５２で入力した差分和ＨＣｏｒｒがステップＳＴ５１で入力した差分和ＶＣｏｒｒより大きいか否か（垂直方向の相関が水平方向の相関に比べて高いか否か）を判断し、差分和ＨＣｏｒｒが差分和ＶＣｏｒｒより大きいと判断した場合にステップＳＴ５４に進み、そうでない場合にステップＳＴ５５に進む。
ステップＳＴ５４：
モード選択回路４３ｂは、ブロック画像データが垂直方向に相関があると判断すると、図１４に示すように、モード０，２，３を示すイントラ予測モード指示データＩＰＭを生成し、これをイントラ予測回路４１ｂに出力する。
ステップＳＴ５５：
モード選択回路４３ｂは、ブロック画像データが水平方向に相関があると判断すると、図１４に示すように、モード１，２，３を示すイントラ予測モード指示データＩＰＭを生成し、これをイントラ予測回路４１ｂに出力する。
【００９９】
以上説明したように、本実施形態の符号化装置によっても、前述した第１実施形態の符号化装置２と同様の効果が得られる。
【０１００】
第３実施形態の変形例
上述した第３実施形態では、図１０に示すモード選択回路４３ｂは、図１５に示すステップＳＴ５３において、差分和ＨＣｏｒｒが差分和ＶＣｏｒｒより大きいか否かを判断基準としてステップＳＴ５４，ＳＴ５５の何れに進むかを判断した。
本変形例では、モード選択回路４３ｂは、図１５に示すステップＳＴ５３において、差分和ＨＣｏｒｒが差分和ＶＣｏｒｒより大きく、かつ、下記式（２６）の条件を満たす（水平方向に比べて垂直方向の相関が高い）と判断した場合に、図１５に示すステップＳＴ５４において、モード０を示すイントラ予測モード指示データＩＰＭを生成する。
【０１０１】
【数２６】
2004304724.tif 000028
【０１０２】
また、モード選択回路４３ｂは、図１５に示すステップＳＴ５３において、差分和ＨＣｏｒｒが差分和ＶＣｏｒｒより大きくなく、かつ、下記式（２７）の条件を満たすと判断した場合に、図１５に示すステップＳＴ５５において、モード１を示すイントラ予測モード指示データＩＰＭを生成する。
【０１０３】
【数２７】
2004304724.tif 000029
【０１０４】
また、モード選択回路４３ｂは、上述した場合以外には、モード選択回路４３ａは、モード２，３を示すイントラ予測モード指定データＩＰＭを生成する。
【０１０５】
本変形例によれば、モード選択回路４３ｂは、第３実施形態に比べてイントラ予測モードをさらに絞り込んでイントラ予測回路４１ｂに指定するため、イントラ予測回路４１ｂにおける処理負担をさらに軽減できる。
【０１０６】
第４実施形態
上述した第３実施形態では、図２に示すフレームメモリ４０から読み出した１倍の解像度の画像データを基に、差分検出回路４２ｂにおける相関検出を行う場合を例示した。
本実施形態では、第３実施形態の１６ｘ１６イントラ予測処理において、フレームメモリ４０から読み出した１倍の解像度の画像データに間引き処理を行い、当該間引き処理によって得られた画像データを基に、相関検出を行う。
本実施形態の符号化装置の構成は、図１０に示す符号化装置２ａと同じであるが、間引き処理回路５０、イントラ予測モード４１ａ，差分検出回路４２ａおよびモード選択回路４３ａの構成が第２実施形態とは異なる。
【０１０７】
本実施形態の差分検出回路４２ｃは、イントラ予測回路４１ｃおよび選択回路５２を介してフレームメモリ５０に記憶された１／４倍の解像度の画像データを入力し、当該画像データ内の８ｘ８ブロック画像データ（本発明の間引きブロック画像データ）の垂直および水平方向の相関を検出する。
ここで、８ｘ８のブロック画像データ内の水平方向ｉ番目、垂直方向ｊ番目の画素データを「Ｄｉ，ｊ  」で示す。ｉ，ｊは、０または１である。
差分検出回路４２ｃは、処理対象の８ｘ８のブロック画像データについて、下記式（２８）を基に垂直方向の差分和ＶＣｏｒｒを算出し、これをモード選択回路４３ｃに出力する。
【０１０８】
【数２８】
2004304724.tif 000030
【０１０９】
また、差分検出回路４２ｃは、８ｘ８のブロック画像データについて、下記式（２９）を基に水平方向の差分和ＨＣｏｒｒを算出し、これをモード選択回路４３ｃに出力する。
【０１１０】
【数２９】
2004304724.tif 000031
【０１１１】
モード選択回路４３ｃは、第３実施形態のモード選択回路４３ｂと同様の手法でイントラ予測モード指示データＩＰＭを生成する。
また、イントラ予測回路４１ｃは、モード選択回路４３ｃからのイントラ予測モード指示データＩＰＭを基に、第３実施形態のイントラ予測回路４１ｂと同様の手法でイントラ予測符号化を行う。
【０１１２】
本実施形態の符号化装置によれば、差分検出回路４２ｃにおいて、１／４倍の解像度の画像データＳ５０を基に相関を検出するため、差分検出回路４２ｃの処理負担を第３実施形態の差分検出回路４２ｂに比べて軽減できる。
【０１１３】
第５実施形態
上述した実施形態では、輝度信号の画像データ内のブロックを単位として相関を検出し、その結果を基に、当該ブロックの輝度信号についてのイントラ予測モードを指定する場合を例示した。
本実施形態では、色差信号の画像データ内のブロックを単位として相関を検出し、その結果を基に、当該ブロックの色差信号についてのイントラ予測モードを指定する場合を説明する。
本実施形態の符号化装置の構成は、図２に示す符号化装置２ａと同じである。
但し、イントラ予測回路４１、差分検出回路４２およびモード選択回路４３の処理が第１実施形態とは異なる。
本実施形態のイントラ予測回路４１ｄは、予め規定された色差信号について複数のイントラ予測モードのうち、モード選択回路４３ｄからイントラ予測モード指定データＩＰＭが示す単数または複数のイントラ予測モードのそれぞれを基に、フレームメモリ４０から読み出した画像データを構成する各マクロブロックＭＢにイントラ予測符号を施して予測画像を生成し、当該予測画像データと原画像データＳ２３との差分を検出する。
そして、イントラ予測回路４１ｄは、上記複数のイントラ予測モードについてそれぞれ生成した上記差分のうち最小の差分に対応するイントラ予測モードに対応して得られた差分ＤＩＦおよび予測画像データＰＩを選択回路４５に出力する。
色差信号のイントラ予測モードには、モード「０」，「１」，「２」，「３」の４つのモードがある。
【０１１４】
以下、各モードについて説明する。
ここで、処理対象のマクロブロックＭＢに属する色差信号の画像データ（以下、画素値とも記す）をＰ（ｘ，ｙ）とする。ここで、ｘ，ｙはマクロブロックＭＢを構成するマトリクス状の色差信号の画素データの行方向および列方向の位置を示し、０〜７の整数である。
当該処理対象のマクロブロックＭＢに隣接するマクロブロックＭＢ内の画素データのうち、当該処理対象のマクロブロックＭＢに隣接する画素データを、Ｐ（ｘ，−１），Ｐ（−１，ｙ）と記す。
また、画素データＰ（ｘ，−１），Ｐ（−１，ｙ）は、上記処理対象のマクロブロックＭＢと異なるピクチャあるいは異なるスライスに属する場合などに、「利用可能でない（ｕｎａｖａｉｌａｂｌｅ）  」であると判断される。
モード０：
モード０は、ＤＣ予測であり、イントラ予測回路４１ｄは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式のように生成する。
先ず、Ｐ（ｘ，−１）およびＰ（−１，ｙ）の全てが上記「利用可能」である場合に、イントラ予測回路４１ｄは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（３０）のように生成する。
【０１１５】
【数３０】
2004304724.tif 000032
【０１１６】
また、Ｐ（ｘ，−１）が上記「利用可能」でない場合に、イントラ予測回路４１ｄは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（３１）のように生成する。
【０１１７】
【数３１】
2004304724.tif 000033
【０１１８】
また、Ｐ（−１，ｙ）が上記「利用可能」でない場合に、イントラ予測回路４１ｄは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（３２）のように生成する。
【０１１９】
【数３２】
2004304724.tif 000034
また、Ｐ（ｘ，−１）およびＰ（−１，ｙ）の全てが上記「利用可能」でない場合に、イントラ予測回路４１ｄは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）として「１２８」を用いる。
【０１２０】
モード１：
モード１は、ｈｏｒｉｚｏｎｔａｌ（水平）予測であり、Ｐ（−１，ｙ）が上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１ｄは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（３３）のように生成する。
【０１２１】
【数３３】
2004304724.tif 000035
【０１２２】
モード２：
モード２は、ｖｅｒｔｉｃａｌ（垂直）予測であり、Ｐ（ｘ，−１）が上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１ｄは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（３４）のように生成する。
【０１２３】
【数３４】
2004304724.tif 000036
【０１２４】
モード３：
モード３は、ｐｌａｎｅ予測であり、Ｐ（ｘ，−１）およびＰ（−１，ｙ）の全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１ｄは、予測画像の画素データＰｒｅｄ（ｘ，ｙ）を下記式（３５）のように生成する。
【０１２５】
【数３５】
2004304724.tif 000037
【０１２６】
差分検出回路４２ｄは、イントラ予測回路４１ｄを介してフレームメモリ４０に記憶された色差信号についての画像データを入力し、当該画像データ内の８ｘ８ブロック画像データの垂直および水平方向の差分和を検出する。
ここで、８ｘ８のブロック画像データ内の水平方向ｉ番目、垂直方向ｊ番目の画素データを「Ａｉ，ｊ  」で示す。ｉ，ｊは、０〜７の整数である。
差分検出回路４２ｄは、上記ブロック画像データについて、下記式（３６）を基に垂直方向の差分和ＶＣｏｒｒを算出し、これをモード選択回路４３ｄに出力する。
【０１２７】
【数３６】
2004304724.tif 000038
【０１２８】
また、差分検出回路４２ｄは、上記ブロック画像データについて、下記式（３７）を基に水平方向の差分和ＨＣｏｒｒを算出し、これをモード選択回路４３ｄに出力する。
【０１２９】
【数３７】
2004304724.tif 000039
【０１３０】
モード選択回路４３ｄは、差分検出回路４２ｄから入力した差分和ＶＣｏｒｒと差分和ＨＣｏｒｒとの大小関係を基に上記ブロック画像データの相関方向を特定し、当該相関方向を基に、色差信号についてのイントラ予測モードを選択し、当該選択したイントラ予測モードを示すイントラ予測モード指定データＩＰＭを生成し、これをイントラ予測回路４１ｄに出力する。
具体的には、モード選択回路４３ｄは、上記ブロック画像データが水平方向に相関があると判断すると、モード０，１，３を示すイントラ予測モード指示データＩＰＭを生成し、これをイントラ予測回路４１ｄに出力する。
また、モード選択回路４３ｄは、上記ブロック画像データが垂直方向に相関があると判断すると、モード０，２，３を示すイントラ予測モード指示データＩＰＭを生成し、これをイントラ予測回路４１ｄに出力する。
その他に、モード選択回路４３ｄは、上記ブロック画像データが水平方向に相関があると判断すると、モード１を示すイントラ予測モード指示データＩＰＭを生成し、これをイントラ予測回路４１ｄに出力してもよい。
また、モード選択回路４３ｄは、上記ブロック画像データが垂直方向に相関があると判断すると、モード２を示すイントラ予測モード指示データＩＰＭを生成し、これをイントラ予測回路４１ｄに出力してもよい。
【０１３１】
本発明は上述した実施形態には限定されない。
例えば、上述した実施形態では、本発明のブロック画像データとして、１６×１６画素のマクロブロックＭＢ、並びに４ｘ４のブロック画像データを例示したが、本発明のブロック画像データのサイズは任意である。
また、上述した実施形態では、イントラ予測モードとして、ＪＶＴで規定された１６ｘ１６画素の輝度信号についてのイントラ予測モード、４ｘ４画素の輝度信号についてのイントラ予測モード、並びに色差信号についてのイントラ予測モードを例示したが、それ以外のイントラ予測モードについても本発明は適用可能である。
【０１３２】
また、画像データＳ２３が、飛び越し走査フォーマットである場合には、図１０に示す間引き回路５０において、垂直方向にはフィールド毎に間引き処理を行うようにしてもよい。
また、画像データＳ２３がインターピクチャである場合に、間引き回路５０で生成した間引き画像データを基に、動き予測・補償回路４４における動きベクトルの検出を行ってもよい。
【０１３３】
【発明の効果】
以上説明したように、本発明によれば、従来に比べて小規模な構成で、イントラ予測符号化を短時間で行うことができる画像処理装置および符号化装置を提供することができる。
また、本発明によれば、従来に比べて、イントラ予測符号化を短時間で行うことができる画像処理方法を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明は、本発明の実施形態に通信システムの構成図である。
【図２】図２は、図１に示す符号化装置の機能ブロック図である。
【図３】図３は、図２に示すイントラ予測回路における４ｘ４イントラ予測モードを説明するための図である。
【図４】図４は、図２に示すイントラ予測回路における４ｘ４イントラ予測モードを説明するための図である。
【図５】図５は、図２に示すイントラ予測回路における４ｘ４イントラ予測モードを説明するための図である。
【図６】図６は、図２に示すイントラ予測回路における４ｘ４イントラ予測符号化処理のフローチャートである。
【図７】図７は、図２に示す差分検出回路の処理を説明するための図である。
【図８】図８は、図２に示す差分検出回路およびモード検出回路の処理を説明するためのフローチャートである。
【図９】図９は、図２に示すモード選択回路のモード選択処理を説明するための図である。
【図１０】図１０は、本発明の第２実施形態に係わる符号化装置の全体構成図である。
【図１１】図１１は、図１０に示す間引き回路の処理を説明するための図である。
【図１２】図１２は、図１０に示す差分検出回路の処理を説明するための図である。
【図１３】図１３は、本発明の第３実施形態に係わるイントラ予測回路の処理を説明するためのフローチャートである。
【図１４】図１４は、本発明の第３実施形態に係わるモード選択回路の処理を説明するためのフローチャートである。
【図１５】図１５は、本発明の第３実施形態に係わる差分検出回路およびモード選択回路の処理を示すフローチャートである。
【符号の説明】
１…通信システム、２，２ａ…符号化装置、３…復号装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…フレームメモリ、３２…レート制御回路、４０…フレームメモリ、４１，４１ａ，４１ｂ，４１ｃ…イントラ予測回路、４２，４２ａ，４２ｂ，４２ｃ，４２ｄ…差分検出回路、４３，４３ａ，４３ｂ，４３ｃ，４３ｄ…モード選択回路、５０，５０ｃ…間引き回路、５１…フレームメモリ、５２…選択回路
【図１】
2004304724.tif 000040
【図２】
2004304724.tif 000041
【図３】
2004304724.tif 000042
【図４】
2004304724.tif 000043
【図５】
2004304724.tif 000044
【図６】
2004304724.tif 000045
【図７】
2004304724.tif 000046
【図８】
2004304724.tif 000047
【図９】
2004304724.tif 000048
【図１０】
2004304724.tif 000049
【図１１】
2004304724.tif 000050
【図１２】
2004304724.tif 000051
【図１３】
2004304724.tif 000052
【図１４】
2004304724.tif 000053
【図１５】
2004304724.tif 000054