(57)【要約】【課題】  本発明は、符号化装置、撮像装置、復号化装置及び画像データの処理方法に関し、動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用して、イントラ符号化処理の効率を従来に比して向上する。【解決手段】  本発明は、マクロブロック単位による中央に向かうらせん状の走査により画像データをイントラ予測する。【選択図】        図１
2006060267.tif 000002
【特許請求の範囲】
【請求項１】
マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、
前記予測値と画像データとの差分データを出力する減算回路と、
前記差分データを処理する処理回路とを有する符号化装置において、
前記画像データは、
マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測回路は、
前記らせん状の走査に応じて、前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする符号化装置。
【請求項２】
前記マクロブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記イントラ予測回路は、
前記予測画素の設定の切り換えに対応して、前記予測画素による予測値の前記処理対象のマクロブロックにおける対象画素を切り換える
ことを特徴とする請求項２に記載の符号化装置。
【請求項４】
前記イントラ予測回路は、
前記上下左右に隣接するマクロブロックの何れもが前記参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択して出力する
ことを特徴とする請求項２に記載の符号化装置。
【請求項５】
前記らせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査である
ことを特徴とする請求項１に記載の符号化装置。
【請求項６】
前記らせん状の走査が、
ラスタ走査の開始端から始まる反時計回りの走査である
ことを特徴とする請求項１に記載の符号化装置。
【請求項７】
前記らせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とからフレーム毎に選択された走査であり、
前記処理回路は、
前記時計回りの走査と、反時計回りの走査との識別コードを設定して処理結果を出力する
ことを特徴とする請求項１に記載の符号化装置。
【請求項８】
前記画像データは、
各マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測回路は、
前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測との間で、最適な予測モードを選択して対応する前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項１に記載の符号化装置。
【請求項９】
前記小ブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項８に記載の符号化装置。
【請求項１０】
前記イントラ予測回路は、
前記予測画素の設定の切り換えに対応して、各予測画素による予測値の前記処理対象の小ブロックにおける対象画素を切り換える
ことを特徴とする請求項９に記載の符号化装置。
【請求項１１】
前記イントラ予測回路は、
前記上下左右に隣接する小ブロックの何れもが前記参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択して出力する
ことを特徴とする請求項９に記載の符号化装置。
【請求項１２】
前記小ブロックのらせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査である
ことを特徴とする請求項８に記載の符号化装置。
【請求項１３】
前記小ブロックのらせん状の走査が、
ラスタ走査の開始端から始まる反時計回りの走査である
ことを特徴とする請求項８に記載の符号化装置。
【請求項１４】
前記小ブロックのらせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とからマクロブロック毎に選択された走査であり、
前記処理回路は、
前記時計回りの走査と、反時計回りの走査との識別コードを設定して処理結果を出力する
ことを特徴とする請求項８に記載の符号化装置。
【請求項１５】
撮像結果を出力する撮像素子と、
マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、
前記予測値と画像データとの差分データを出力する減算回路と、
前記差分データを処理する処理回路とを有する撮像装置において、
前記撮像素子は、
画像の周辺から中央に向かってらせん状に前記マクロブロックを走査させて、前記マクロブロック単位で撮像結果を出力し、
前記イントラ予測回路は、
前記らせん状の走査に応じて、前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする撮像装置。
【請求項１６】
前記マクロブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
前記イントラ予測回路は、
前記予測画素の設定の切り換えに対応して、前記予測画素による予測値の前記処理対象のマクロブロックにおける対象画素を切り換える
ことを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
前記イントラ予測回路は、
前記上下左右に隣接するマクロブロックの何れもが前記参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択して出力する
ことを特徴とする請求項１６に記載の撮像装置。
【請求項１９】
前記らせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査である
ことを特徴とする請求項１５に記載の撮像装置。
【請求項２０】
前記らせん状の走査が、
ラスタ走査の開始端から始まる反時計回りの走査である
ことを特徴とする請求項１５に記載の撮像装置。
【請求項２１】
前記撮像素子は、
各フレームで、ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とで、予測精度の高い側の走査により、前記撮像結果を出力する
ことを特徴とする請求項１５に記載の撮像装置。
【請求項２２】
前記処理回路は、
前記時計回りの走査と、前記反時計回りの走査との識別コードを設定して処理結果を出力する
ことを特徴とする請求項２１に記載の撮像装置。
【請求項２３】
前記撮像素子は、
各マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により撮像結果を出力し、
前記イントラ予測回路は、
前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測との間で、最適な予測モードを選択して対応する前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項１５に記載の撮像装置。
【請求項２４】
前記小ブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項２３に記載の撮像装置。
【請求項２５】
前記イントラ予測回路は、
前記予測画素の設定の切り換えに対応して、前記予測画素による予測値の前記処理対象の小ブロックにおける対象画素を切り換える
ことを特徴とする請求項２４に記載の撮像装置。
【請求項２６】
前記イントラ予測回路は、
前記上下左右に隣接する小ブロックの何れもが前記参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択して出力する
ことを特徴とする請求項２４に記載の撮像装置。
【請求項２７】
前記小ブロックのらせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査である
ことを特徴とする請求項２３に記載の撮像装置。
【請求項２８】
前記小ブロックのらせん状の走査が、
ラスタ走査の開始端から始まる反時計回りの走査である
ことを特徴とする請求項２３に記載の撮像装置。
【請求項２９】
前記撮像素子は、
各マクロブロックで、ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とで、予測精度の高い側の走査により、前記撮像結果を出力する
ことを特徴とする請求項２３に記載の撮像装置。
【請求項３０】
前記処理回路は、
前記時計回りの走査と、前記反時計回りの走査との識別コードを設定して処理結果を出力する
ことを特徴とする請求項２４に記載の撮像装置。
【請求項３１】
前記撮像素子、前記イントラ予測回路、前記減算回路、前記処理回路が一体に集積回路化された
ことを特徴とする請求項１５に記載の撮像装置。
【請求項３２】
順次入力される符号化データから画像データを復号する復号化装置において、
前記符号化データを処理して差分データを出力する処理回路と、
マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、
前記予測値と差分データとを加算して前記画像データを出力する加算回路と、
前記画像データを記録して前記参照画像を保持するメモリとを備え、
前記符号化データが、
前記マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測回路は、
前記らせん状の走査に応じて、前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする復号化装置。
【請求項３３】
前記マクロブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項３２に記載の復号化装置。
【請求項３４】
前記らせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とからフレーム毎に選択された走査であり、
前記メモリは、
前記符号化データに設定された前記時計回りの走査と前記反時計回りの走査との識別コードに基づいて、前記画像データの記録及び又は読み出しのアドレスを切り換える
ことを特徴とする請求項３２に記載の復号化装置。
【請求項３５】
前記符号化データは、
各マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測回路は、
前記符号化データに設定された予測モードに基づいて、前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測とから、符号化処理に供した前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項３２に記載の復号化装置。
【請求項３６】
前記小ブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項３５に記載の復号化装置。
【請求項３７】
前記小ブロックのらせん状の走査が、
ラスタ走査の走査開始端から始まる時計回りの走査と、前記ラスタ走査の開始端から始まる反時計回りの走査とから小ブロック毎に選択された走査であり、
前記メモリは、
前記符号化データに設定された前記時計回りの走査と反時計回りの走査との識別コードに基づいて、前記画像データの記録及び又は読み出しのアドレスを切り換える
ことを特徴とする請求項３６に記載の復号化装置。
【請求項３８】
マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測のステップと、
前記予測値と画像データとの差分データを出力する減算のステップと、
前記差分データを処理する処理のステップとを有する画像データの処理方法において、
前記画像データは、
マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測のステップは、
前記らせん状の走査に応じて、前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする画像データの処理方法。
【請求項３９】
前記マクロブロックに対する前記予測画素の設定の切り換えが、
前記処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項３８に記載の画像データの処理方法。
【請求項４０】
前記画像データは、
前記マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測のステップは、
前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測との間で、最適な予測モードを選択して対応する前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項３８に記載の画像データの処理方法。
【請求項４１】
前記小ブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項４０に記載の画像データの処理方法。
【請求項４２】
順次入力される符号化データから画像データを復号する画像データの処理方法において、
前記符号化データを処理して差分データを出力する処理のステップと、
マクロブロック単位で予測画素を設定してイントラ予測による予測値を出力するイントラ予測のステップと、
前記予測値と差分データとを加算して前記画像データを出力する加算のステップと、
前記画像データを前記参照画像として記録する記録のステップとを有し、
前記符号化データが、
マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測のステップは、
前記らせん状の走査に応じて、処理対象の前記マクロブロックに対する前記予測画素の設定を切り換える
ことを特徴とする画像データの処理方法。
【請求項４３】
前記マクロブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記マクロブロックに対して上下左右に隣接する前記マクロブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項４２に記載の画像データの処理方法。
【請求項４４】
前記符号化データは、
前記マクロブロックにおいて、前記マクロブロックを細分割した小ブロック単位で、前記マクロブロックの周辺から中央に向かうらせん状の走査の順序により入力され、
前記イントラ予測のステップは、
前記符号化データに設定された予測モードに基づいて、前記小ブロックを単位にしたイントラ予測と、前記マクロブロックを単位にしたイントラ予測とから、符号化処理に供したイントラ予測により前記予測値を出力し、
前記小ブロックのらせん状の走査に応じて、前記小ブロックに対する予測画素の設定を切り換える
ことを特徴とする請求項４３に記載の画像データの処理方法。
【請求項４５】
前記小ブロックに対する前記予測画素の設定の切り換えが、
処理対象の前記小ブロックに対して上下左右に隣接する前記小ブロックの前記参照画像における有無の判定による前記予測画素の設定の切り換えである
ことを特徴とする請求項４４に記載の画像データの処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、撮像装置、復号化装置及び画像データの処理方法に関し、動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。本発明は、マクロブロック単位による中央に向かうらせん状の走査により画像データをイントラ予測することにより、イントラ符号化処理の効率を従来に比して向上する。
【背景技術】
【０００２】
近年、放送局、一般家庭等に係る動画の伝送、記録においては、画像データの冗長性を有効に利用して効率良く画像データを伝送、蓄積する装置が普及しつつあり、このような装置は、例えばＭＰＥＧ（Moving Picture Experts Group）等の方式に準拠して、離散コサイン変換等の直交変換と動き補償とにより画像データをデータ圧縮するように構成されている。
【０００３】
ここでこのような方式の１つであるＭＰＥＧ２（ISO/IEC 13818-2 ）は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に対応できるように、また標準解像度画像、高精細画像の双方に対応できるように定義され、これらにより現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。具体的にＭＰＥＧ２によれば、例えば７２０×４８０画素による標準解像度、飛び越し走査方式の画像データを４〜８〔Ｍｂｐｓ〕のビットレートにデータ圧縮して、また１９２０×１０８８画素による高解像度、飛び越し走査方式の画像データを１８〜２２〔Ｍｂｐｓ〕のビットレートにデータ圧縮して、高画質で高い圧縮率を確保することができる。
【０００４】
しかしながらＭＰＥＧ２は、放送用に適合した高画質符号化方式であり、ＭＰＥＧ１より符号量の少ない高圧縮率の符号化方式には対応していない。これに対して近年の携帯端末の普及により、このようなＭＰＥＧ１より符号量の少ない高圧縮率の符号化方式のニーズの高まりが予測される。このためＭＰＥＧ４による符号化方式の規格が、ＩＳＯ／ＩＥＣ（International 0rganization for Standardization／International Electrotechnical Commission ）１４４９６−２により１９９８年１２月に国際標準に承認された。
【０００５】
またこのような方式にあっては、当初はテレビ会議用の画像符号化を目的としたものであったＨ２６Ｌ（ITU-T Q6/16 VCEG）の規格化が進み、ＭＰＥＧ２、ＭＰＥＧ４に比して演算量が増大するものの、ＭＰＥＧ２、ＭＰＥＧ４に比して高い符号化効率を確保できるようになり、またＭＰＥＧ４の活動の一環として、このＨ２６Ｌをベースにして各種機能を取り入れ、さらに一段と高い符号化効率を確保する符号化方式の標準化が、Joint Model of Enhanced-Compression Video Codingとして進められ、これらの方式にあっては、２００３年３月に、Ｈ２６４及びＭＰＥＧ−４  Ｐａｒｔ１０（ＡＶＣ：Advanced Video Coding ）との名称により国際標準に設定された。
【０００６】
ここで図１２は、このＡＶＣに基づく符号化装置を示すブロック図である。この符号化装置１は、複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、この選択した予測モードによる予測値を画像データから減算して差分データを生成し、この差分データを直交変換処理、量子化処理、可変長符号化処理することにより、この画像データをイントラ符号化、インター符号化により符号化処理する。
【０００７】
すなわちこの符号化装置１において、アナログディジタル変換回路（Ａ／Ｄ）２は、ビデオ信号Ｓ１をアナログディジタル変換処理して画像データＤ１を出力する。画面並べ替えバッファ３は、このアナログディジタル変換回路２から出力される画像データＤ１を入力し、この符号化装置１の符号化処理に係るＧＯＰ（Group of Pictures ）構造に応じて、この画像データＤ１のフレームを並べ替えて出力する。
【０００８】
減算器４は、この画面並べ替えバッファ３から出力される画像データＤ１を受け、イントラ符号化においては、イントラ予測回路５で生成される予測値との差分データＤ２を生成して出力するのに対し、インター符号化においては、動き予測・補償回路６で生成される予測値との差分データＤ２を生成して出力する。直交変換回路７は、減算器４の出力データＤ２を入力し、離散コサイン変換、カルーネン・レーベ変換等の直交変換処理を実行し、その処理結果による変換係数データＤ３を出力する。
【０００９】
量子化回路８は、レート制御回路９のレート制御による量子化スケールにより、この変換係数データＤ３を量子化して出力する。可逆符号化装置１０は、この量子化回路８の出力データを可変長符号化、算術符号化等により可逆符号化処理して出力する。また可逆符号化装置１０は、イントラ符号化に係るイントラ予測モードに関する情報、インター符号化に係る動きベクトルに関する情報等をイントラ予測回路５、動き予測・補償回路６から取得し、これらの情報を出力データＤ４のヘッダ情報に設定して出力する。
【００１０】
蓄積バッファ１１は、この可逆符号化装置１０の出力データＤ４を蓄積して続く伝送路の伝送速度により出力する。レート制御回路９は、この蓄積バッファ１１の空き容量の監視により符号化処理による発生符号量を監視すると共に、この監視結果により量子化回路８における量子化スケールを切り換え、これによりこの符号化装置１による発生符号量を制御する。
【００１１】
逆量子化回路１３は、量子化回路８の出力データを逆量子化処理し、これにより量子化回路８の入力データを再生する。逆直交変換回路１４は、逆量子化回路１３の出力データを逆直交変換処理し、これにより直交変換回路７の入力データを再生する。デブロックフィルタ１５は、この逆直交変換回路１４の出力データよりブロック歪を除去して出力する。フレームメモリ１６は、このデブロックフィルタ１５の出力データに、適宜、イントラ予測回路５又は動き予測・補償回路６により生成される予測値を加算して参照画像情報として記録する。
【００１２】
しかして動き予測・補償回路６は、インター符号化において、このフレームメモリ１６に保持された参照画像情報による予測フレームより画像並べ替えバッファ３から出力される画像データの動きベクトルを検出し、またこの検出した動きベクトルによりフレームメモリ１６に保持した参照画像情報を動き補償して予測画像情報を生成し、この予測画像情報による予測値を減算器４に出力する。
【００１３】
イントラ予測回路５は、イントラ符号化において、フレームメモリ１６に蓄積された参照画像情報に基づいてイントラ予測モードを判定し、この判定結果により参照画像情報から予測画像情報の予測値を生成して減算器４に出力する。
【００１４】
これらによりこの符号化方式においては、インター符号化とイントラ符号化とでそれぞれインター予測に係る動き補償による差分データＤ２とイントラ予測による差分データＤ２とを生成し、これらの差分データＤ２を直交変換処理、量子化処理、可変長符号化処理して伝送する。
【００１５】
図１３は、このようにして符号化処理された符号化データＤ４を復号化処理する復号化装置を示すブロック図である。この復号化装置２０において、蓄積バッファ２１は、伝送路を介して入力される符号化データＤ４を一時蓄積して出力する。可逆復号化回路２２は、この蓄積バッファ２１の出力データを可変長復号化、算術復号化等により復号化処理し、符号化装置１における可逆符号化装置１０の入力データを再生する。またこのときこの出力データがイントラ符号化されたものである場合、ヘッダに格納されたイントラ予測モードの情報を復号化してイントラ予測回路２３に伝送するのに対し、この出力データがインター符号化されたものである場合、ヘッダに格納された動きベクトルに関する情報を復号して動き予測・補償回路２４へ転送する。
【００１６】
逆量子化回路２５は、可逆復号化回路２２の出力データを逆量子化処理し、これにより符号化装置１の量子化回路８に入力される変換係数データＤ３を再生する。逆直交変換回路２６は、この逆量子化回路２５から出力される変換係数データを受け、４次の逆直交変換処理を実行し、これにより符号化装置１の直交変換回路７に入力される差分データＤ２を再生する。
【００１７】
加算器２７は、逆直交変換回路２６から出力される差分データＤ２を受け、イントラ符号化において、イントラ予測回路２３で生成される予測画像による予測値を加算して出力するのに対し、インター符号化において、動き予測・補償回路２４から出力される予測画像による予測値を加算して出力する。これにより加算器２７は、符号化装置１における減算器４の入力データを再生する。
【００１８】
デブロックフィルタ２８は、この加算器２７の出力データよりブロック歪を除去して出力し、画面並べ替えバッファ２９は、このデブロックフィルタ２８から出力される画像データのフレームをＧＯＰ構造に応じて並べ替えて出力する。ディジタルアナログ変換回路（Ｄ／Ａ）３０は、この画面並べ替えバッファ２９の出力データをディジタルアナログ変換処理して出力する。
【００１９】
フレームメモリ３１は、デブロックフィルタ２８の出力データを参照画像情報として記録して保持する。動き予測・補償回路２４は、インター符号化において、可逆復号化回路２２から通知される動きベクトルの情報によりフレームメモリ３１に保持された参照画像情報を動き補償して予測画像による予測値を生成し、この予測値を加算器２７に出力する。またイントラ予測回路２３は、イントラ符号化において、可逆復号化回路２２から通知されるイントラ予測モードによりフレームメモリ３１に保持された参照画像情報より予測画像による予測値を生成し、この予測値を加算器２７に出力する。
【００２０】
しかしてこのような符号化処理に係るイントラ符号化は、イントラ４×４予測モードとイントラ１６×１６予測モードとが用意されている。ここでＡＶＣでは４×４画素のブロック単位で差分データＤ２を直交変換処理し、イントラ４×４予測モードは、この直交変換処理のブロック単位で、イントラ予測に係る予測値を生成するモードである。これに対してイントラ１６×１６予測モードは、この直交変換処理のブロックの複数個を単位にしてイントラ予測に係る予測値を生成するモードであり、この複数個が水平方向及び垂直方向にそれぞれ４個に設定される。
【００２１】
このうちイントラ４×４予測モードでは、図１４に示すように、予測値を生成する４×４画素ａ〜ｐによるブロックに対して、近傍１３個の画素Ａ〜Ｍの一部が予測値の生成に供する予測画素に設定され、この予測画素より予測値が生成される。なおここでこの１３個の画素Ａ〜Ｍは、このブロックの走査開始端側、垂直方向に隣接する４個の画素Ａ〜Ｄと、この４個の画素Ａ〜Ｄの走査終了端側の画素Ｄに続く４個の画素Ｅ〜Ｆと、このブロックの走査開始端側、水平方向に隣接する４個の画素Ｉ〜Ｌと、この水平方向に隣接する４個の画素Ｉ〜Ｌのうちの走査開始端側の画素Ｉの上方に位置する画素Ｍとにより形成される。
【００２２】
イントラ４×４予測モードでは、これら１３個の予測画素Ａ〜Ｍと、予測値の生成に供する４×４個の画素ａ〜ｐとの相対的な関係により、図１５及び図１６に示すように、モード０〜モード８の予測モードが定義されている。すなわち図１４に示すように、例えばモード０及び１では、予測値の生成に使用する１３個の予測画素Ａ〜Ｍのうち、それぞれ垂直方向及び水平方向に隣接する予測画素Ａ〜Ｄ及びＩ〜Ｌにより予測値を生成する。
【００２３】
より具体的には、図１７（Ａ）において矢印により示すように、モード０は、垂直方向に隣接する予測画素Ａ〜Ｄより予測値を生成するモードであり、予測値を生成する４×４個の画素ａ〜ｐのうち、垂直方向に連続する１列目の画素ａ、ｅ、ｉ、ｍは、その上方向の画素Ａが予測画素に設定される。また続く２列目の画素ｂ、ｆ、ｊ、ｎは、その上方向の画素Ｂが予測画素に設定され、続く３列目及び４列目の画素ｃ、ｇ、ｋ、ｏ及びｄ、ｈ、ｌ、ｐは、それぞれ上方の画素Ｃ及びＤが予測画素に設定され、これら予測画素Ａ〜Ｄの画素値がそれぞれ対応する画素ａ〜ｐの予測値に設定される。なおモード０は、このモードにおける予測画素Ａ〜Ｄが有意である場合にのみ適用される。
【００２４】
また図１７（Ｂ）に同様に示すように、モード１は、水平方向に隣接する予測画素Ｉ〜Ｌより予測値を生成するモードであり、予測値を生成する４×４個の画素ａ〜ｐのうち、水平方向に連続する１ラインの画素ａ〜ｄは、その左方の画素Ｉが予測画素に設定される。また続く２ライン目の画素ｅ〜ｈは、その左方の画素Ｊが予測画素に設定され、続く３ライン目及び４ライン目の画素ｉ〜ｌ及びｍ〜ｐは、それぞれ左方の画素Ｋ及びＬが予測画素に設定され、これら予測画素Ｉ〜Ｌの画素値がそれぞれ対応する画素ａ〜ｐの予測値に設定される。なおモード１は、このモードにおける予測画素Ｉ〜Ｌが有意である場合にのみ適用される。
【００２５】
これに対してモード２は、図１７（Ｃ）に示すように、１３個の予測画素Ａ〜Ｍのうち、このブロックの垂直方向及び水平方向に隣接する画素Ａ〜Ｄ及びＩ〜Ｌより予測値を生成するモードであり、これらの画素Ａ〜Ｄ及びＩ〜Ｌが全て有意な場合に、次式により各画素ａ〜ｐの予測値が生成される。
【００２６】
【数１】
2006060267.tif 000003
なおモード２においては、画素Ａ〜Ｄが全て有意でない場合、予測値は、（２）式により生成され、画素Ｉ〜Ｌが全て有意でない場合、予測値は、（３）式により生成され、画素Ａ〜Ｄ及びＩ〜Ｌが全て有意でない場合、予測値は値１２８に設定される。
【００２７】
【数２】
2006060267.tif 000004
【００２８】
【数３】
2006060267.tif 000005
これに対してモード３は、図１７（Ｄ）に示すように、１３個の予測画素Ａ〜Ｍのうち、水平方向に連続する画素Ａ〜Ｈより予測値を生成するモードであり、これらの画素Ａ〜Ｈのうちの画素Ａ〜Ｄと画素Ｉ〜Ｍとが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。
【００２９】
【数４】
2006060267.tif 000006
これに対してモード４は、図１７（Ｅ）に示すように、１３個の予測画素Ａ〜Ｍのうち、４×４個の画素ａ〜ｐによるブロックに隣接する画素Ａ〜Ｄ、Ｉ〜Ｍにより予測値を生成するモードであり、これらの画素Ａ〜Ｄ、Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。
【００３０】
【数５】
2006060267.tif 000007
これに対してモード５は、図１７（Ｆ）に示すように、１３個の予測画素Ａ〜Ｍのうち、４×４個の画素ａ〜ｐによるブロックに隣接する画素Ａ〜Ｄ、Ｉ〜Ｋ、Ｍとにより予測値を生成するモードであり、予測画素Ａ〜Ｄ、Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。
【００３１】
【数６】
2006060267.tif 000008
これに対してモード６は、図１７（Ｇ）に示すように、１３個の予測画素Ａ〜Ｍのうち、４×４個の画素ａ〜ｐによるブロックに隣接する画素Ａ〜Ｃ、Ｉ〜Ｍとにより予測値を生成するモードであり、予測画素Ａ〜Ｄ、Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。
【００３２】
【数７】
2006060267.tif 000009
これに対してモード７は、図１７（Ｈ）に示すように、１３個の予測画素Ａ〜Ｍのうち、４×４個の画素ａ〜ｐによるブロックの上方に隣接する４個の画素Ａ〜Ｄと、この４個の画素Ａ〜Ｄに続く４個の画素Ｅ〜Ｇとにより予測値を生成するモードであり、これらのうちの画素Ａ〜Ｄ及び画素Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。
【００３３】
【数８】
2006060267.tif 000010
これに対してモード８は、図１７（Ｉ）に示すように、１３個の予測画素Ａ〜Ｍのうち、４×４個の画素によるブロックの左方に隣接する４個の画素Ｉ〜Ｌにより予測値を生成するモードであり、画素Ａ〜Ｄ及び画素Ｉ〜Ｍが全て有意な場合にのみ適用されて、次式により各画素ａ〜ｐの予測値が生成される。
【００３４】
【数９】
2006060267.tif 000011
これに対してイントラ１６×１６予測モードでは、図１８に示すように、予測値を生成する１６×１６個の画素Ｐ（０，１５）〜Ｐ（１５，１５）によるブロックＢに対して、このブロックを構成する画素Ｐ（０，１５）〜Ｐ（１５，１５）と、このブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）が予測画素に設定され、これらの予測画素により予測値が生成される。
【００３５】
イントラ１６×１６予測モードでは、図１９に示すように、モード０〜モード３の予測モードが定義され、このうちモード０は、処理対象ブロックＢの上方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）（Ｐ（ｘ，−１）；ｘ，ｙ＝−１〜１５）が有意な場合にのみ適用されて、次式により示すように、ブロックＢを構成する各画素Ｐ（０，１５）〜Ｐ（１５，１５）の予測値が生成される。これにより図２０（Ａ）に示すように、ブロックＢに隣接する各画素Ｐ（０，−１）〜Ｐ（１５，−１）の画素値によりブロックＢの垂直方向に連続する各画素の予測値が生成される。
【００３６】
【数１０】
2006060267.tif 000012
これに対してモード１は、ブロックＢの左方に隣接する画素Ｐ（−１，０）〜Ｐ（−１，１５）（Ｐ（−１，ｙ）；ｘ，ｙ＝−１〜１５）が有意な場合にのみ適用されて、次式により示すように、ブロックＢを構成する各画素Ｐ（０，１５）〜Ｐ（１５，１５）の予測値が生成され、これにより図２０（Ｂ）に示すように、ブロックＢに隣接する各画素Ｐ（−１，０）〜Ｐ（−１，１５）の画素値によりブロックＢの水平方向に連続する各画素の予測値が生成される。
【００３７】
【数１１】
2006060267.tif 000013
これに対してモード２は、ブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）が全て有意な場合には、次式により予測値が求められ、これにより図２０（Ｃ）に示すように、これらの画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）による画素値の平均値によりブロックＢを構成する各画素の予測値が生成される。
【００３８】
【数１２】
2006060267.tif 000014
なおモード２においては、これらブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）のうち、上方に隣接する画素Ｐ（−１，０）〜Ｐ（−１，１５）が有意でない場合、（１３）式が適用されて有意な側の隣接画素の平均値により各画素の予測値が生成される。また左方に隣接する画素Ｐ（−１，０）〜Ｐ（−１，１５）が有意でない場合、（１４）式が適用され、この場合も有意な側の隣接画素の平均値によりブロックＢを構成する各画素の予測値が生成される。またブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）の全てが有意でない場合、値１２８に予測値が設定される。
【００３９】
【数１３】
2006060267.tif 000015
【００４０】
【数１４】
2006060267.tif 000016
これに対してモード３は、ブロックＢの上方及び左方に隣接する画素Ｐ（０，−１）〜Ｐ（１５，−１）及びＰ（−１，０）〜Ｐ（−１，１５）が全て有意な場合にのみ適用され、次式により予測値が求められ、これにより図２０（Ｄ）に示すように、斜め方向の演算処理により各画素の予測値が生成される。
【００４１】
【数１５】
2006060267.tif 000017
これらにより符号化装置１のイントラ予測回路５は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャにおいて、画面並べ替えバッファ３より出力される画像データＤ１を入力してフレームメモリ１６に保持した参照画像情報によりいわゆるイントラ予測して最適な予測モードを選択する。またこの選択した予測モードによりイントラ符号化する場合、この選択した予測モードによる予測値を参照画像情報より生成して減算器４に出力し、またこの予測モードを可逆符号化装置１０に通知して符号化データＤ４と共に伝送する。これに対して復号化装置２０のイントラ予測回路２３においては、この符号化データＤ４と共に伝送された予測モードの情報により予測値を計算して加算器２７に出力する。
【００４２】
イントラ予測回路５は、ラスタ走査の順序により４×４画素のブロック、１６×１６画素のブロックを順次設定して予測モードを選択し、さらにこのラスタ走査の順序による処理を有効に利用して予測モードを伝送対象に通知する。
【００４３】
すなわち４×４予測モードによりイントラ符号化する場合において、図２１に示すように、処理対象であるブロックＣの予測モードIntra 4x4 pred mode Ｃに対して、水平方向及び垂直方向に処理を完了している隣接ブロックＡ及びＢの予測モードIntra 4x4 pred mode Ａ及びIntra 4x4 pred mode Ｂは、高い相関を持つと考えられる。これによりこれら隣接ブロックＡ及びＢの予測モードIntra 4x4 pred mode Ａ及びIntra 4x4 pred mode Ｂを用いて、次式により、最も可能性の高い予測モードMost Probable Modeを定義する。なおこの（１６）式におけるｍｉｎの判定は、これら予測モードの伝送に供するコードmode number により実行し、コードmode number の値の小さい側の予測モードを最も可能性の高い予測モードMost Probable Modeに設定する。
【００４４】
【数１６】
2006060267.tif 000018
またビットストリーム中に、この４×４画素によるブロックに係るパラメータとして、予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]と、予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] とが定義され、復号側は、Ｃ言語の記述により図２２に示すようにこれら２つのパラメータを処理して、処理対象であるブロックＣの予測モードIntra 4x4 pred mode Ｃを検出する。なおここで[luma 4x4
BlkIdx] は、輝度データに係る対象ブロックを特定するブロック番号である。
【００４５】
すなわちこの場合、予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]が設定されている場合、隣接ブロックＡ及びＢの予測モードIntra
4x4 pred mode Ａ及びIntra 4x4 pred mode Ｂを用いて（１６）式により復号側で検出される最も可能性の高い予測モードMost Probable Modeを処理対象であるブロックの予測モードに設定する。またこのフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]が設定されていない場合にあって、最も可能性の高い予測モードMost Probable Modeより伝送された予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] のコードmode number が小さい場合、伝送された予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] を処理対象ブロックの予測モードに設定する。またフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]が設定されていない場合にあって、最も可能性の高い予測モードMost Probable Modeより伝送された予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx]
のコードmode number が小さくない場合、伝送された予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] のコードmode number に値１を加算したコードmode number の予測モードを処理対象ブロックの予測モードに設定する。
【００４６】
これらにより符号化装置は、最も可能性の高い予測モードMost Probable Modeが処理対象ブロックの予測モードと一致する場合、予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]を設定して、予測モード rem intra 4x4 pred
mode[luma 4x4 BlkIdx] の伝送を中止し、伝送に供するデータ量を削減する。
【００４７】
このような符号化装置は、撮像素子による撮像結果のデータ圧縮等に使用され、このような撮像素子においては、従来からのＣＣＤ（Charge Coupled Device ）固体撮像素子に対して、近年、ＣＭＯＳ固体撮像素子の使用が増大している。
【００４８】
ここで図２３に示すように、ＣＣＤ固体撮像素子４１は、フォトダイオードによる各画素４２に保持された蓄積電荷を垂直転送レジスタ４３に転送し、この垂直転送レジスタ４３に転送した蓄積電荷を水平転送レジスタ４４に順次転送しながら水平転送レジスタ４４により順次転送して出力する。これによりＣＣＤ固体撮像素子４１は、通常、ラスタ走査の順序により撮像結果を出力する。これに対して図２４に示すように、ＣＭＯＳ固体撮像素子４６は、垂直走査回路４７及び水平走査回路４８によるＸＹアドレス制御により、フォトダイオードによる各画素４９に保持された蓄積電荷を出力し、これにより各画素４９の撮像結果を高速度で読み出すことができ、また読み出しの順序等にあっても高い自由度を確保することができる。またＣＭＯＳ固体撮像素子４６は、低消費電力がＣＣＤ固体撮像素子の１／５程度と低く、さらに周辺回路と一体化が容易な特徴がある。
【００４９】
なお図２５は、ＣＣＤ固体撮像素子４１の処理系を示すブロック図であり、ＣＣＤ固体撮像素子４１では、各画素４２の撮像結果である蓄積電荷を垂直レジスタ（Ｖレジ）４３、水平レジスタ（Ｈレジ）４４により順次転送してフローティングディフュージョンアンプ（ＦＤＡ）５１に入力し、ここで蓄積電荷量に応じた出力電圧を生成する。ＣＣＤ固体撮像素子４１の処理系は、このフローティングディフュージョンアンプ５１の出力信号を相関二重サンプリング回路（ＣＤＳ）５２により相関二重サンプリング処理した後、プログラマブルゲインアンプ（ＰＧＡ）５３により信号レベルを補正し、アナログディジタル変換回路（ＡＤＣ）５４により画像データに変換する。
【００５０】
また図２６は、ＣＭＯＳ固体撮像素子４６の処理系を示すブロック図である。ＣＭＯＳ固体撮像素子４６では、各画素４９による蓄積電荷を各画素４９に設けられたフローティングディフュージョンアンプ（ＦＤＡ）５６により出力電圧に変換し、この出力電圧を行毎にまとめてカラムＣＤＳブロック（カラムＣＤＳ）５７により相関二重サンプリング処理して出力する。ＣＭＯＳ固体撮像素子４６の処理系は、このカラムＣＤＳブロック５７の出力信号をプログラマブルゲートアレー（ＰＧＡ）５８により処理した後、アナログディジタル変換回路（ＡＤＣ）５９により画像データに変換する。
【００５１】
また図２７は、ＣＣＤ固体撮像素子４１による具体的なシステムの構成を示すブロック図であり、ＣＣＤ固体撮像素子４１は、動作基準の各種タイミング信号を生成するタイミングジェネレータ（ＴＧ）６１と、このタイミングジェネレータ６１によるタイミング信号からＣＣＤ固体撮像素子４１の駆動に供する各種駆動信号を生成する垂直駆動回路６２、水平駆動回路６３による駆動回路６４とが１つのチップにより形成される。また相関二重サンプリング回路（ＣＤＳ）５２、プログラマブルゲインアンプ（ＰＧＡ）５３、アナログディジタル変換回路（ＡＤＣ）５４によるアナログフロントエンド（ＡＦＥ）６５が１チップにより形成され、このアナログフロントエンド６５から出力される画像データをディジタルシグナルプロセッサ（ＤＳＰ）６６により処理する。これらのうち駆動回路６４とアナログフロントエンド６５とは、通常、１つのパッケージに一体に形成され、これによりＣＣＤ固体撮像素子４１によるシステムは、通常、３パッケージによる４チップにより形成される。なお駆動回路６４とアナログフロントエンド６５とは、スタック２ｉｎ１パッケージ技術により一体に作成される場合もある。
【００５２】
また図２８は、ＣＭＯＳ固体撮像素子４６による具体的なシステムの構成を示すブロック図であり、ＣＭＯＳ固体撮像素子４６は、画素４９をマトリックス状に配置して画素部６７が形成され、垂直走査回路４７、水平走査回路４８、カラムＣＤＳブロック５７、プログラマブルゲートアレー５８、アナログディジタル変換回路５９の動作を制御ロジック６８により制御するようにして、これらの回路ブロックが一体に集積回路化して形成される。またこの集積回路から出力される画像データをディジタルシグナルプロセッサ（ＤＳＰ）６９により処理し、これらによりこの図２８の例では、２チップにより構成される。なおＣＭＯＳ固体撮像素子４６によるシステムでは、プログラマブルゲートアレー５８、アナログディジタル変換回路５９を別チップとした３チップにより構成される場合もある。
【００５３】
このようなＣＭＯＳ固体撮像素子について、例えば特開２００４−３１７８５号公報等には、周辺回路と一体化する構成の工夫が提案されている。
【００５４】
ところでＡＶＣ等による符号化処理においては、上述したように、画像データをラスタ走査の順序により処理することを前提に、ラスタ走査の順序で処理した場合に処理を完了している水平方向及び垂直方向の隣接画素を予測画素に設定し（図１４及び図１８）、さらには予測モードの伝送効率を向上する（図２２）。
【００５５】
しかしながら画像にあっては、ラスタ走査の順序で処理した場合に、処理を完了していない画素との間で高い相関が得られる場合もある。この場合、ラスタ走査の順序によりイントラ予測したのでは、精度のよい予測値を算出することが困難になり、その分、符号化処理の効率が劣化することになる。
【特許文献１】特開２００４−３１７８５号公報
【発明の開示】
【発明が解決しようとする課題】
【００５６】
本発明は以上の点を考慮してなされたもので、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる符号化装置、撮像装置、復号化装置及び画像データの処理方法を提案しようとするものである。
【課題を解決するための手段】
【００５７】
かかる課題を解決するため請求項１の発明においては、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と画像データとの差分データを出力する減算回路と、差分データを処理する処理回路とを有する符号化装置に適用して、画像データは、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。
【００５８】
また請求項１５の発明においては、撮像結果を出力する撮像素子と、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と画像データとの差分データを出力する減算回路と、差分データを処理する処理回路とを有する撮像装置に適用して、撮像素子は、画像の周辺から中央に向かってらせん状にマクロブロックを走査させて、マクロブロック単位で撮像結果を出力し、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。
【００５９】
また請求項３２の発明においては、復号化装置に適用して、順次入力される符号化データから画像データを復号する復号化装置において、符号化データを処理して差分データを出力する処理回路と、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と差分データとを加算して画像データを出力する加算回路と、画像データを記録して参照画像を保持するメモリとを備え、符号化データが、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。
【００６０】
また請求項３８の発明においては、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測のステップと、予測値と画像データとの差分データを出力する減算のステップと、差分データを処理する処理のステップとを有する画像データの処理方法に適用して、画像データは、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測のステップは、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。
【００６１】
また請求項４２の発明においては、順次入力される符号化データから画像データを復号する画像データの処理方法に適用して、符号化データを処理して差分データを出力する処理のステップと、マクロブロック単位で予測画素を設定してイントラ予測による予測値を出力するイントラ予測のステップと、予測値と差分データとを加算して画像データを出力する加算のステップと、画像データにより参照画像を記録する記録のステップとを有し、符号化データが、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測のステップは、らせん状の走査に応じて、処理対象のマクロブロックに対する予測画素の設定を切り換える。
【００６２】
請求項１の構成により、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と画像データとの差分データを出力する減算回路と、差分データを処理する処理回路とを有する符号化装置に適用して、画像データは、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換えるようにすれば、単にラスタ走査順に処理する場合に比して、予測値の精度を向上することができ、その分、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる。
【００６３】
これにより請求項１５の構成によれば、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる撮像装置を提供することができる。
【００６４】
また請求項３２の構成により、復号化装置に適用して、順次入力される符号化データから画像データを復号する復号化装置において、符号化データを処理して差分データを出力する処理回路と、マクロブロック毎に、予測画素を設定してイントラ予測による予測値を出力するイントラ予測回路と、予測値と差分データとを加算して画像データを出力する加算回路と、画像データを記録して参照画像を保持するメモリとを備え、符号化データが、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により入力され、イントラ予測回路は、らせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換えるようにすれば、らせん状の走査により処理された符号化データを処理して画像データを復号することができ、これにより従来に比してイントラ符号化処理の効率が向上された符号化データを確実に復号することができる。
【００６５】
これらにより請求項３８、請求項４２の構成によれば、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる画像データの処理方法を提供することができる。
【発明の効果】
【００６６】
本発明によれば、イントラ符号化処理に関して、従来に比して符号化処理の効率を向上することができる。
【発明を実施するための最良の形態】
【００６７】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００６８】
（１）実施例の構成
図１は、本発明の実施例１に係る撮像装置を示すブロック図である。この撮像装置８１は、撮像素子８２による撮像結果をデータ圧縮して記録系８３により記録する。なおここで記録系８３は、例えば光ディスク装置、メモリカード等、種々の記録再生手段が適用される。
【００６９】
この撮像装置８１において、レンズ８４は、ユーザーによる操作に応動してズーム倍率、絞りを可変して撮像素子８２の撮像面に入射光を集光する。
【００７０】
撮像素子８２は、ＸＹアドレス制御による撮像素子であり、この実施例においては、例えばＣＭＯＳ固体撮像素子により形成される。撮像素子８２は、この撮像素子８２を構成する半導体チップと、周辺回路の集積回路による半導体チップとが、スタック２ｉｎ１パッケージ技術により積層されて一体に集積回路化され、これにより撮像素子８２の集積回路８９により実装される。これにより撮像素子８２は、高い自由度で各画素の撮像結果を周辺回路に出力できるように構成され、また撮像装置８１は、全体形状が小型化され、さらには構成が簡略化される。なおこの実施例においては、この周辺回路に、アナログディジタル変換回路（Ａ／Ｄ）８５、画像メモリ８６、アドレス制御回路８７、符号化回路８８が適用される。
【００７１】
撮像素子８２は、アドレス制御回路８７によるアドレス制御により、各画素の撮像結果を出力し、アドレス制御回路８７は、この撮像素子８２による撮像結果の出力が所定の順序となるように、撮像素子８２の読み出しアドレスを生成する。ここでアドレス制御回路８７は、この所定順序が、マクロブロックを単位として撮像結果を出力するようにして、画面の周辺から中央に向かってらせん状に軌跡を描くようにマクロブロックが走査し、さらに走査の開始端がラスタ走査の開始端であって、この走査の方向が時計回りとなるように、撮像素子８２の読み出しアドレスを生成する。なおここでこの実施例において、マクロブロックは、イントラ予測、インター予測における基本の処理単位であり、イントラ１６×１６予測モードにおける１６×１６画素のブロックである。
【００７２】
すなわち図２に示すように、１フレームがＭ×Ｎ個のマクロブロックＭＢにより形成されるとして、このマクロブロックＭＢを（ｋ，ｌ）（０＜ｋ＜Ｍ−１，０＜ｌ＜Ｎ−１）により表すようにして、アドレス制御回路８７は、ラスタ走査の開始端から水平方向に矢印Ａにより示すように、順次（０，０）、（１，０）、（２，０）、……の順序により各マクロブロックＭＢの撮像結果を出力するように撮像素子８２の読み出しアドレスを生成する。また水平方向の右端のマクロブロック（Ｍ−１，０）の撮像結果を出力すると、矢印Ｂにより示すように、走査方向を画面下方向に切り換え、順次（Ｍ−１，０）、（Ｍ−１，１）、（Ｍ−１，２）、……の順序により各マクロブロックＭＢの撮像結果を出力するように撮像素子８２の読み出しアドレスを生成する。また垂直方向の下端のマクロブロック（Ｍ−１，Ｎ−１）の撮像結果を出力すると、矢印Ｃにより示すように、走査方向を左方向に切り換え、順次（Ｍ−１，Ｎ−１）、（Ｍ−２，Ｎ−１）、（Ｍ−３，Ｎ−１）、……の順序により各マクロブロックＭＢの撮像結果を出力するように、また左端のマクロブロック（０，Ｍ−１）となると、矢印Ｄにより示すように走査方向を上方向に切り換えて順次マクロブロックの撮像結果を出力するように、撮像素子８２の読み出しアドレスを生成する。
【００７３】
また各マクロブロックにおいては、数字により出力の順序を表して図３に示すように、各マクロブロックを分割する小ブロックを単位にして、この小ブロックが、マクロブロックの周辺から中央に向かって時計回りによるらせん状の軌跡を描くように、撮像素子８２の読み出しアドレスを生成する。なおこの場合も走査の開始端は、ラスタ走査の開始端である。なおここでこの小ブロックは、イントラ４×４予測モードにおける４×４画素のブロックである。またこの小ブロックの中にあっては、ラスタ走査の順序により各画素の撮像結果を出力するように、撮像素子８２の読み出しアドレスを生成する。
【００７４】
アナログディジタル変換回路８５は、このようにして所定の順序により撮像素子８２から出力される撮像結果をアナログディジタル変換処理して画像データを出力する。
【００７５】
画像メモリ８６は、小容量のメモリ回路により構成され、このアナログディジタル変換回路８５から出力される画像データを一時保持し、符号化回路８８の処理に対応するタイミングにより順次出力する。
【００７６】
符号化回路８８は、周辺から中央に向かうらせん状のマクロブロックの走査により順次入力される画像データを順次符号化処理する点、この処理に関してイントラ予測回路９０におけるイントラ４×４予測モード、イントラ１６×１６予測モードの処理が異なる点を除いて、図１２について上述した符号化装置１と同一に構成される。これにより符号化回路８８は、順次入力される画像データによるピクチャを符号化処理の順序により並べ替えた後、イントラ予測、インター予測により差分データを生成し、この差分データを直交変換処理、量子化処理、可変長符号化処理して符号化データＤ５を出力し、これにより撮像素子８２による撮像結果を周辺から中央に向かうらせん状の順序により順次データ圧縮して記録系８３に出力する。
【００７７】
イントラ予測回路９０は、イントラ１６×１６予測モード、イントラ４×４予測モードとでそれぞれ上述した複数の予測モードによる予測値を生成して最適な予測モードを選択し、イントラ符号化する場合、この最適な予測モードによる予測値を出力する。この一連の処理に係るイントラ４×４予測モードにおいて、イントラ予測回路９０は、図４に示すように、処理対象ブロックＣに対して、水平方向の左右に隣接するブロックＡ及びＡ’、垂直方向の上下に隣接するブロックＢ及びＢ’のうち、左側及び上側のブロックＡ及びＢが共に有意の場合、従来のＡＶＣの場合と同様に、図１４に示すように、処理対象ブロックＣの左側及び上側に係る隣接画素Ａ〜Ｍを予測画素に設定し、この予測画素により各モードの予測値を生成する。
【００７８】
また左側及び右側のブロックＡ及びＡ’が共に有意でない場合であって、かつ上側のブロックＢが有意の場合、又は上側及び下側のブロックＢ及びＢ’が共に有意でない場合であって、かつ左側のブロックＡが有意の場合、従来のＡＶＣと同様に予測画素を設定して予測値を計算する。また隣接ブロックＡ〜Ｂ’の全てが有意情報でない場合にあっても、従来のＡＶＣと同様に予測画素を設定して予測値を計算する。
【００７９】
これによりイントラ予測回路９０は、図２において矢印Ａにより示す左端から右端側に向かうマクロブロックの走査、図２において矢印Ｂ、Ｃ及びＤにより示す上端から下端、右端から左端側及び下端から上端に向かうマクロブロックの最も外周側の走査において、図３において数字０〜８又は０〜９のブロックと数字１１〜１３のブロックについては、従来のＡＶＣによる場合と同様に予測画素を設定して予測値を生成する。またこれら以外のマクロブロックの走査で対応するブロックについても、同様に予測画素を設定して予測値を生成する。
【００８０】
このようにしてＡＶＣに係る処理対象ブロックＣの左側及び上側に係る隣接画素Ａ〜Ｍを予測画素に設定することを基本にして、イントラ予測回路９０は、左側のブロックＡが有意ではなく、右側のブロックＡ’が有意の場合、処理対象ブロックＣの左側に係る隣接画素に代えて、処理対象ブロックＣの左側に係る隣接画素を予測画素に設定する。また上側のブロックＢが有意ではなく、下側のブロックＢ’が有意の場合、処理対象ブロックＣの上側に係る隣接画素に代えて、処理対象ブロックＣの下側に係る隣接画素を予測画素に設定する。
【００８１】
これによりイントラ予測回路９０は、図２において矢印Ｂにより示す上端から下端に向かうマクロブロックの内周側の走査における図３の数字３〜６により示すブロック等においては、処理対象ブロックＣの右側及び上側に係る隣接画素を予測画素に設定して予測値を生成する。
【００８２】
また同様に、図２において矢印Ｄにより示す下端から上端側に向かうマクロブロックの内周側の走査における図３の数字９〜１１により示すブロック等においては、処理対象ブロックＣの左側及び下側に係る隣接画素を予測画素に設定して予測値を生成する。
【００８３】
また同様に、図２において矢印Ｃにより示す右端から左端側に向かうマクロブロックの内周側の走査における図３の数字６〜９により示すブロック等においては、処理対象ブロックＣの右側及び下側に係る隣接画素を予測画素に設定して予測値を生成する。しかして図２のマクロブロックの走査に係る図３の各ブロックにおいては、このような４つの場合の何れかに場合分けされて予測画素が設定されることになる。これらによりこの実施例においては、マクロブロックにおける小ブロックの走査に応じて、小ブロックに対する参照画素の設定を切り換える。
【００８４】
イントラ予測回路９０は、これらのうち処理対象ブロックＣの右側及び上側に係る隣接画素を予測画素に設定して予測値を生成する場合、図１０との対比により図５に示すように、ＡＶＣによる処理対象ブロックＣの左側及び上側に係る隣接画素を予測画素に設定して予測値を生成する場合に対して、処理対象画素、隣接画素の配置を左右で逆転させた関係により（１）式〜（９）式の処理を実行して各モードの予測値を生成する。
【００８５】
また処理対象ブロックＣの左側及び下側に係る隣接画素を予測画素に設定して予測値を生成する場合、図１０との対比により図６に示すように、ＡＶＣによる処理対象ブロックＣの左側及び上側に係る隣接画素を予測画素に設定して予測値を生成する場合に対して、処理対象画素、隣接画素の配置を上下で逆転させた関係により（１）式〜（９）式の処理を実行して各モードの予測値を生成する。
【００８６】
また処理対象ブロックＣの右側及び下側に係る隣接画素を予測画素に設定して予測値を生成する場合、図１０との対比により図７に示すように、ＡＶＣによる処理対象ブロックＣの左側及び上側に係る隣接画素を予測画素に設定して予測値を生成する場合に対して、処理対象画素、隣接画素の配置を上下及び左右で逆転させた関係により（１）式〜（９）式の処理を実行して各モードを予測値を生成する。これらにより図１５について上述した各モードにおける予測方向も、これらに対応して左右、上下、上下及び左右で逆転した関係により予測モードを選択して予測値を生成する。これによりこの実施例においては、処理対象の小ブロックに対して上下左右に隣接する小ブロックが参照画像に存在するか否かの判定により予測画素の設定を切り換えるようにして、この予測画素の設定の切り換えに対応して、各予測画素による予測値の小ブロックにおける対象画素を切り換える。
【００８７】
またイントラ予測回路９０は、このような予測画素の設定に対応するように、最も可能性の高い予測モードMost Probable Modeの生成に供する処理済みブロックを切り換えて最も可能性の高い予測モードMost Probable Modeを計算し、この計算結果により予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]又は予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] を伝送対象に送出する。
【００８８】
これに対してイントラ１６×１６予測モードにおいても、イントラ予測回路９０は、同様に、処理対象のブロックに対して予測画素を切り換えて予測値を生成する。すなわち図４について上述したと同様の判断を上下、左右に隣接するマクロブロックとの間で実行して、図２において矢印Ａにより示す左端から右端へのマクロブロックの走査、さらには矢印Ｂにより示す上端から下端への最外周のマクロブロックの走査においては、図１４について上述した従来のＡＶＣの場合と同様に左側及び上側に隣接する画素を予測画素に設定して予測値を生成する。
【００８９】
また図２において矢印Ｂにより示す上端から下端への内周側のマクロブロックの走査においては、図８に示すように、図１４について上述した従来のＡＶＣの場合の左側に隣接する画素に代えて右側に隣接する画素を予測画素に設定して予測値を生成する。
【００９０】
また図２において矢印Ｃにより示す右端から左端へのマクロブロックの走査においては、図９に示すように、図１４について上述した従来のＡＶＣの場合の上側及び左側に隣接する画素に代えて下側及び右側に隣接する画素を予測画素に設定して予測値を生成する。
【００９１】
また図２において矢印Ｄにより示す下端から上端への内周側のマクロブロックの走査においては、図１０に示すように、図１４について上述した従来のＡＶＣの場合の上側に隣接する画素に代えて下側に隣接する画素を予測画素に設定して予測値を生成する。
【００９２】
またこれらの場合に、図１４、図５〜図７について上述したイントラ４×４予測モードの場合と同様に、このような予測画素の設定に対応するように、予測画素と予測対象との関係を左右、上下、上下及び左右で逆転した関係により（１０）式〜（１５）式の処理を実行して予測モードを選択して予測値を生成する。
【００９３】
これらによりこの実施例では、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により画像データを処理するようにして、処理対象のマクロブロックに対して上下左右に隣接するマクロブロックの参照画像における有無の判定による予測画素の設定の切り換え、これによりらせん状の走査に応じて、マクロブロックに対する予測画素の設定を切り換える。またこの予測画素の設定の切り換えに対応して、予測画素による予測値のマクロブロックにおける対象画素を切り換える。
【００９４】
撮像装置８１は、このようにして生成した符号化データＤ５を記録系８３により記録する。また図示しない再生系により再生して再生データを得、この再生データを復号化回路により処理して画像データを復号する。この実施例に係る復号化回路は、符号化回路８８に対応したらせん状の順序による符号化データの処理に係る構成を除いて、図１３について上述した復号化装置と同一に構成されることにより、以下の説明においては、この図１３に示す構成を用いて、復号化装置２０との相違点について説明し、重複した説明は省略する。
【００９５】
すなわちこの復号化回路は、周辺から中央に向かうらせん状のマクロブロック、小ブロックによる走査の順序により符号化データＤ５が入力され、順次、この符号化データＤ５を処理して画像データを復号する。この処理において、イントラ予測回路２３は、イントラ予測の符号化データを復号する場合、上述の符号化回路８８のイントラ予測回路９０と同一に予測画素を設定して、再生データから得られる予測モードにより予測値を生成して出力する。すなわち処理対象のマクロブロック、小ブロックの上下左右に隣接するマクロブロック、小ブロックについて、フレームメモリ３１に保持された対応する参照画像に存在するか否か判定して予測画素を設定する。またフレームメモリ３１は、このらせん状の走査に対応して書き込みアドレス及び又は読み出しアドレスの設定により、復号した画像データを参照画像として記録する。
【００９６】
（２）実施例の動作
以上の構成において、この撮像装置８１（図１）において、撮像素子８２で得られる撮像結果は、アナログディジタル変換回路８５によりアナログディジタル変換処理されて画像データに変換され、この画像データが画像メモリ８６を介して符号化回路８８に入力される。画像データは、この符号化回路８８において、イントラ予測、インター予測による予測値が生成され、この予測値との差分データＤ２が直交変換処理、量子化処理、可変長符号化処理による処理回路により処理されて記録系８３により記録される。またこの一連の処理結果である符号化データＤ５においては、画像データに復号されてフレームメモリ１６に記録されて参照画像として保持され、イントラ予測、インター予測における予測値の生成に供される。
【００９７】
またこれらの処理のうちイントラ予測において、画像データは、１６×１６画素によるマクロブロック単位で、フレームメモリ１６に保持された参照画像により予測画素が設定され、この予測画素により各モードの予測値が生成される。またマクロブロックを細分割した４×４画素による小ブロック単位で、フレームメモリ１６に保持された参照画像により予測画素が設定され、この予測画素により各モードの予測値が生成される。画像データは、これらマクロブロック、小ブロックによる予測値により、予測誤差が判定されて最も符号化に適した予測モードが選択され、イントラ予測による符号化処理する場合には、この予測モードによる予測値が減算器４に出力されて差分データが生成される。
【００９８】
これにより画像データは、処理を完了してフレームメモリ１６に格納された参照画像との間で相関が高い場合、予測誤差が小さくなり、画質劣化を有効に回避して効率良く符号化処理することが可能になる。
【００９９】
この実施例では、アドレス制御回路８７による撮像素子８２のアドレス制御により、マクロブロック単位で、画像の周辺から中央に向かうらせん状の走査の順序により撮像素子８２から撮像結果が出力される（図２）。また各マクロブロックにおいては、小ブロック単位で、マクロブロックの周辺から中央に向かうらせん状の走査の順序により撮像素子８２から撮像結果が出力される（図３）。
【０１００】
またこのようにしてらせん状に走査して、このらせん状の走査に応じて、フレームメモリ１６に格納された参照画像により予測画素を設定可能に、マクロブロック、小ブロックに対する予測画素の設定が切り換えられる。具体的には、処理対象のマクロブロック、小ブロックに対して上下左右に隣接するマクロブロック、小ブロックの参照画像における有無の判定により（図４）、予測画素の設定が切り換えられる（図５〜図７、図１４、図８〜図１０、図１８）。
【０１０１】
またこのように予測画素の切り換えに対応するように、予測画素とマクロブロック、小ブロックの各画素との関係が切り換えられて、予測画素の設定の切り換えに対応して、この予測画素による予測値のマクロブロック、小ブロックにおける対象画素が切り換えられ、らせん状の走査順序により入力される各画像データとの間で差分データが生成される。
【０１０２】
これによりマクロブロックにおける周辺から中央に向かうらせん状の走査による画像データは、相対的に重要度の低い周辺から重要度の高い中央に向かう方向に予測値が生成されることになり、その分、予測値の精度が向上されることになる。これによりこの実施例においては、従来のライン走査の順序による処理に比してイントラ符号化処理の効率を向上することができる。
【０１０３】
またこのようにしてマクロブロックにより周辺から中央に向かうらせん状の走査により画像データを処理するようにして、マクロブロックを細分割した小ブロックにおいても周辺から中央に向かうらせん状の走査により撮像結果を処理するようにしたことにより、この小ブロックを単位にして画像全体を見た場合にも、相対的に重要度の低い周辺から重要度の高い中央に向かう方向に予測値が生成されることになり、その分、予測値の精度が向上されることになる。これによってもこの実施例においては、従来のライン走査の順序による処理に比してイントラ符号化処理の効率を向上することができる。
【０１０４】
またこのような予測画素の設定の切り換えを、処理対象のマクロブロック、小ブロックに対して上下左右に隣接するマクロブロック、小ブロックの参照画像における有無の判定により実行することにより、従来のイントラ予測方法であるＡＶＣの手法を基準にして、このＡＶＣに係る処理対象のマクロブロック、小ブロックと、参照画像に係る隣接するマクロブロック、小ブロックとの関係を基本にして、処理対象のマクロブロック、小ブロックとフレームメモリ１６に保持された参照画像との関係を置き換えるだけで、ＡＶＣの手法により各予測モードの予測値を求めることができる。これによりこの実施例においては、従来構成を有効に利用して簡易な処理により予測値が生成される。
【０１０５】
しかして符号化回路８８では、予測画素の設定に供した小ブロックから求められる最も可能性の高い予測モードMost Probable Modeとの比較により、このようにして検出された予測モードが、予測モードの伝送の有無を示すフラグprev intra 4x4 pred mode flag[luma 4x4 BlkIdx]又は予測モード rem intra 4x4 pred mode[luma 4x4 BlkIdx] により伝送対象に通知される。またマクロブロックによるイントラ予測にあっても、予測モードが伝送対象に通知される。
【０１０６】
しかしてＣＭＯＳ固体撮像素子による撮像素子８２においては、ＸＹアドレス制御であることにより、種々に撮像結果を出力することができる特徴がある。これによりこの実施例においては、このＸＹアドレス制御による撮像素子８２の特徴を有効に利用して、従来に比してイントラ予測による符号化効率を向上することができる。
【０１０７】
またこの実施例においては、この撮像素子８２が、周辺回路であるアナログディジタル変換回路８５、符号化回路８８と一体に集積回路化されていることにより、全体構成を簡略化することができる。
【０１０８】
このような符号化側の構成に対応して、この実施例においては、復号化回路において、再生系から得られる再生データより差分データが復号され、イントラ予測、インター予測による予測値と加算されて元の画像データが復号され、この元の画像データが参照画像としてイントラ予測、インター予測における予測値の生成に使用される。
【０１０９】
復号化回路においては、イントラ予測において、符号化回路における処理と同一に、マクロブロック、小ブロックのらせん状の走査に応じて、これらマクロブロック、小ブロックに予測画素が設定され、この予測画素と、符号化装置より伝送された予測モードとにより予測値が計算され、この予測値により差分データが画像データに変換される。これによりこの実施例においては、らせん状の走査の順序により符号化された画像データを復号化することができる。
【０１１０】
（３）実施例の効果
以上の構成によれば、マクロブロック単位による中央に向かうらせん状の走査により画像データをイントラ予測することにより、イントラ符号化処理の効率を従来に比して向上することができる。
【０１１１】
またこのときマクロブロックに対する予測画素の設定の切り換えが、処理対象のマクロブロックに対して上下左右に隣接するマクロブロックの参照画像における有無の判定による予測画素の設定の切り換えであることにより、従来のイントラ予測方法を基準にした簡易な処理によりイントラ符号化処理の効率を従来に比して向上することができる。
【０１１２】
またこのとき予測画素の設定の切り換えに対応して、予測画素による予測値のマクロブロックにおける対象画素を切り換えることによっても、従来のイントラ予測方法を基準にした簡易な処理によりイントラ符号化処理の効率を従来に比して向上することができる。
【０１１３】
またこのときマクロブロックを細分割した小ブロック単位で、中央に向かうらせん状の走査の順序により画像データを処理するようにして、この小ブロックでも走査に応じて予測画素の設定を切り換えることにより、さらに一段とイントラ符号化処理の効率を従来に比して向上することができる。
【０１１４】
またこの小ブロックにおける予測画素の設定にあっても、上下左右に隣接する小ブロックの参照画像における有無の判定により実行することにより、さらには予測画素の設定の切り換えに対応して、予測画素による予測値の対象画素を切り換えることにより、従来のイントラ予測方法を基準にした簡易な処理によりイントラ符号化処理の効率を従来に比して向上することができる。
【０１１５】
またこのような符号化側の構成に対応して、復号化回路においても、マクロブロック単位による中央に向かうらせん状の走査により予測画素を切り換えてイントラ予測することにより、イントラ符号化処理の効率を従来に比して向上した符号化結果を確実に復号化することができる。
【実施例２】
【０１１６】
この実施例においては、実施例１について上述したマクロブロック、小ブロックにおける時計方向のらせん状の走査とは逆に、反時計方向の走査により、符号化処理を実行する。なおこの実施例においては、この走査の方向が異なる点を除いて、実施例１と同一に構成される。
【０１１７】
この実施例のようにらせん状の走査を反時計方向に実行するようにしても、実施例１と同様の効果を得ることができる。
【実施例３】
【０１１８】
この実施例では、フレーム毎に、マクロブロックの時計方向及び反時計方向の走査から符号化に適した走査を検出し、この検出した走査により撮像結果を処理する。なおこの実施例においては、この走査の処理に係る構成を除いて、実施例１について上述した構成と同一であることにより、以下においては、適宜、実施例１について上述した構成を流用して説明する。
【０１１９】
この実施例においては、撮像素子８２からの撮像結果の出力周波数を３倍に設定し、この３倍に設定して得られる初めの１フレームで時計回りの走査により撮像結果をイントラ予測により符号化処理し、発生符号量を検出する。また続く１フレームで反時計回りによる走査により、撮像結果をイントラ予測により符号化処理し、発生符号量を検出する。またこれら時計回り、反時計回りの走査による発生符号量の比較により、発生符号量の少ない走査方向を判定し、続く１フレームでこの判定した走査方向により符号化処理し、これら３フレームによる連続した符号化処理のうちで、この判定した走査方向による符号化データを選択的に記録系により記録する。
【０１２０】
またこの選択した走査方向を示す識別コードを符号化データに設定して伝送対象に伝送する。
【０１２１】
この実施例のように、らせん状の走査を、時計回りの走査と、反時計回りの走査とからフレーム毎に選択すれば、一段と効率良くイントラ予測により符号化処理することができる。
【実施例４】
【０１２２】
この実施例においては、実施例３に係るマクロブロックに係る時計回り、反時計回りの走査に係る処理に代えて、小ブロックの走査について、時計回り、反時計回りの走査に係る処理を実行する。
【０１２３】
すなわちこの実施例では、例えばマクロブロックを時計回りにより走査させた状態で、最初の１フレームで、小ブロックの時計回りの走査により撮像結果をイントラ予測により符号化処理し、各マクロブロック毎に、発生符号量を検出する。また続く１フレームで、小ブロックの反時計回りによる走査により、撮像結果をイントラ予測により符号化処理し、各マクロブロック毎に、発生符号量を検出する。またこれら時計回り、反時計回りの走査による発生符号量を各マクロブロック毎に比較し、発生符号量の少ない走査方向により各マクロブロックの走査方向を設定する。この実施例では、続く１フレームでこの設定した走査方向により符号化処理し、これら３フレームによる連続した符号化処理のうちで、この３フレーム目による符号化データを選択的に記録系により記録する。
【０１２４】
この実施例のように、小ブロックに係るらせん状の走査を、時計回りの走査と、反時計回りの走査とからマクロブロック毎に選択すれば、一段と効率良くイントラ予測により符号化処理することができる。
【０１２５】
なおこのような小ブロックに係る走査方向の選択処理を、実施例３に係るマクロブロックに係る走査方向の選択処理と組み合わせるようにしてもよく、このようにすれば、一段と符号化効率を向上することができる。
【実施例５】
【０１２６】
この実施例においては、マクロブロック、小ブロックの上下左右に隣接するマクロブロック、小ブロックが全て参照画像に存在する場合、予測画素に係る処理を２系統により実行して最適な予測モードを検出する。なおこの実施例においては、このマクロブロック、小ブロックが全て参照画像に存在する場合の処理を除いて、実施例１と同一に構成されることにより、以下においては、実施例１に係る構成を適宜流用して説明する。
【０１２７】
すなわちこの実施例においては、図１１に示すように、処理対象のマクロブロックＣ、の上下左右に隣接するマクロブロックＡ、Ａ’、Ｂ、Ｂ’が全て参照画像に存在する場合、ラスタ走査の順序により走査した場合に処理を完了しているマクロブロックＡ、ＢによるグループＧ１と、ラスタ走査とは逆の順序により走査した場合に処理を完了しているマクロブロックＡ’、Ｂ’によるグループＧ２とに予測画素の設定を区分けする。
【０１２８】
ここでグループＧ１に係る区分けに対して、従来のＡＶＣと同一に予測画素を設定して各モードの予測値を生成する。これに対してグループＧ２の区分けに対して、図１０について上述した予測画素により各モードの予測値を生成する。
【０１２９】
またこれら２つのグループＧ１、Ｇ２による各モードの予測値により差分データを計算して予測誤差の最も小さな予測値を検出し、この予測値による予測誤差をイントラ１６×１６予測モードとイントラ４×４予測モードとの判定に供する。またこの判定により、イントラ１６×１６予測モードにより符号化処理する場合、この予測値を減算回路４に出力する。またこの場合、この予測画素の設定に係るグループを伝送対象に通知する。
【０１３０】
また小ブロックについても、同様に、ＡＶＣによる予測値と、図７について上述した予測画素による予測値を生成し、これら予測値より最も小さな予測値を検出し、この予測値による予測誤差をイントラ１６×１６予測モードとイントラ４×４予測モードとの判定に供する。またこの判定により、イントラ４×４予測モードにより符号化処理する場合、この予測値を減算回路４に出力する。またこの場合、この予測画素の設定に係るグループを伝送対象に通知する。
【０１３１】
この実施例のように、上下左右に隣接するマクロブロック、小ブロックの何れもが参照画像に存在する場合、異なる予測画素の設定による複数の予測値より予測精度の高い予測値を選択することにより、一段と符号化効率を向上することができる。
【実施例６】
【０１３２】
なお上述の実施例においては、実施例５を除いて、予測画素の設定を伝送対象に伝送しない場合について述べたが、本発明はこれに限らず、予測画素の設定を伝送対象に伝送するようにしてもよい。このようにすれば、その分、復号側における処理を簡略化することができる。
【０１３３】
また上述の実施例においては、マクロブロック、小ブロックの双方をらせん状に走査させる場合について述べたが、本発明はこれに限らず、実用上十分に効率良く符号化処理できる場合、小ブロックについては、ラスタ走査の順序により撮像結果を処理するようにして、この小ブロックのらせん状の走査に係る一連の処理を省略するようにしてもよい。
【０１３４】
また上述の実施例においては、各小ブロックにおいては、ラスタ走査の順序により撮像結果を出力して処理する場合について述べたが、本発明はこれに限らず、例えば小ブロックを構成する４×４画素の撮像結果を同時並列的に出力して処理する場合等、小ブロックにおける撮像結果の出力、処理においては、種々に設定することができる。
【０１３５】
また上述の実施例においては、らせん状の走査により復号した画像データを出力する場合について述べたが、本発明はこれに限らず、らせん状の走査をラスタ走査に変換して復号結果の画像データを出力するようにしてもよい。
【０１３６】
また上述の実施例においては、１６×１６画素と４×４画素とによる２種類のブロックによるイントラ予測モードによりイントラ符号化処理する場合について述べたが、本発明はこれに限らず、例えば１種類のブロックによるイントラ予測モードにより符号化処理する場合等に広く適用することができる。
【０１３７】
また上述の実施例においては、本発明を撮像装置に適用して撮像結果を処理する場合について述べたが、本発明はこれに限らず、記録媒体に記録した画像データを処理する場合等に広く適用することができる。
【０１３８】
また上述の実施例においては、本発明をハードウエアの構成に適用する場合について述べたが、本発明はこれに限らず、画像データをソフトウエアにより処理する場合にも適用することができる。なおこのようなソフトウエアに係る符号化処理、復号化処理のプログラムにおいては、例えばインターネット等のネットワークにより提供する場合、光ディスク、磁気ディスク、メモリカード等、種々の記録媒体により提供する場合に、広く適用することができる。
【産業上の利用可能性】
【０１３９】
本発明は、符号化装置、撮像装置、復号化装置及び画像データの処理方法に関し、動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用することができる。
【図面の簡単な説明】
【０１４０】
【図１】本発明の実施例１に係る撮像装置を示すブロック図である。
【図２】図１の撮像装置におけるマクロブロックの走査の説明に供する略線図である。
【図３】図１の撮像装置における小ブロックの走査の説明に供する略線図である。
【図４】図１の撮像装置における小ブロックに係る隣接ブロックとの関係の説明に供する略線図である。
【図５】図１の撮像装置における小ブロックに係る予測画素の設定の説明に供する略線図である。
【図６】図５とは異なる例による予測画素の設定の説明に供する略線図である。
【図７】図５、図６とは異なる例による予測画素の設定の説明に供する略線図である。
【図８】図１の撮像装置におけるマクロブロックに係る予測画素の設定の説明に供する略線図である。
【図９】図８とは異なる例による予測画素の設定の説明に供する略線図である。
【図１０】図８、図９とは異なる例による予測画素の設定の説明に供する略線図である。
【図１１】実施例５に係る予測画素の設定の説明に供する略線図である。
【図１２】ＡＶＣ方式の符号化装置を示すブロック図である。
【図１３】ＡＶＣ方式の復号化装置を示すブロック図である。
【図１４】ＡＶＣ方式のイントラ４×４予測モードにおける予測画素の設定の説明に供する略線図である。
【図１５】イントラ４×４予測モードの説明に供する略線図である。
【図１６】イントラ４×４予測モードを示す図表である。
【図１７】イントラ４×４予測モードの各モードの説明に供する略線図である。
【図１８】イントラ１６×１６予測モードの予測画素の説明に供する略線図である。
【図１９】イントラ１６×１６予測モードを示す図表である。
【図２０】イントラ１６×１６予測モードの説明に供する略線図である。
【図２１】予測モードの伝送の説明に供する略線図である。
【図２２】Ｃ言語の記述により予測モードの復号処理を示す図表である。
【図２３】ＣＣＤ固体撮像素子の構成を示す略線図である。
【図２４】ＣＭＯＳ固体撮像素子の構成を示す略線図である。
【図２５】ＣＣＤ固体撮像素子による撮像結果の処理系を示すブロック図である。
【図２６】ＣＭＯＳ固体撮像素子による撮像結果の処理系を示すブロック図である。
【図２７】ＣＣＤ固体撮像素子によるチップ構成を示すブロック図である。
【図２８】ＣＭＯＳ固体撮像素子によるチップ構成を示すブロック図である。
【符号の説明】
【０１４１】
１……符号化装置５、９０……イントラ予測回路、２０……復号化装置、８１……撮像装置、８２……撮像素子、８７……アドレス制御回路、８８……符号化回路、８９……集積回路
【図１】
2006060267.tif 000019
【図２】
2006060267.tif 000020
【図３】
2006060267.tif 000021
【図４】
2006060267.tif 000022
【図５】
2006060267.tif 000023
【図６】
2006060267.tif 000024
【図７】
2006060267.tif 000025
【図８】
2006060267.tif 000026
【図９】
2006060267.tif 000027
【図１０】
2006060267.tif 000028
【図１１】
2006060267.tif 000029
【図１２】
2006060267.tif 000030
【図１３】
2006060267.tif 000031
【図１４】
2006060267.tif 000032
【図１５】
2006060267.tif 000033
【図１６】
2006060267.tif 000034
【図１７】
2006060267.tif 000035
【図１８】
2006060267.tif 000036
【図１９】
2006060267.tif 000037
【図２０】
2006060267.tif 000038
【図２１】
2006060267.tif 000039
【図２２】
2006060267.tif 000040
【図２３】
2006060267.tif 000041
【図２４】
2006060267.tif 000042
【図２５】
2006060267.tif 000043
【図２６】
2006060267.tif 000044
【図２７】
2006060267.tif 000045
【図２８】
2006060267.tif 000046