(57)【要約】【課題】部分復号化を可能とするイントラ予測方式を実現すること。【解決手段】画像内のマクロブロックに含まれる隣り合う画素ブロック内の共通する画素位置の画素値が並び替え後に隣接するように、上記マクロブロックに含まれる画素値を並び替える並び替え部と、上記画素ブロックの第１画素位置の画素についての予測画素値を、上記並び替え部により並び替えられた画素値と上記第１画素位置に対応する上記画像内の参照画素値とを用いて、他の画素位置の画素値との相関を利用することなく生成する予測部と、を備える画像処理装置を提供する。【選択図】図２
2012080370.tif 000002
【特許請求の範囲】
【請求項１】
画像内のマクロブロックに含まれる隣り合う画素ブロック内の共通する画素位置の画素値が並び替え後に隣接するように、前記マクロブロックに含まれる画素値を並び替える並び替え部と、
前記画素ブロックの第１画素位置の画素についての予測画素値を、前記並び替え部により並び替えられた画素値と前記第１画素位置に対応する前記画像内の参照画素値とを用いて、他の画素位置の画素値との相関を利用することなく生成する予測部と、
を備える画像処理装置。
【請求項２】
前記予測部は、第２画素位置の画素についての予測画素値を、前記第１画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のいずれかに従って生成する、請求項１に記載の画像処理装置。
【請求項３】
前記予測部は、第３画素位置の画素についての予測画素値を、前記第２画素位置の画素についての予測画素値の生成と並列的に、前記第１画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のいずれかに従って生成する、請求項２に記載の画像処理装置。
【請求項４】
前記予測部は、第４画素位置の画素についての予測画素値を、前記第２画素位置及び前記第３画素位置の画素についての予測画素値の生成と並列的に、前記第１画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のいずれかに従って生成する、請求項３に記載の画像処理装置。
【請求項５】
前記予測部は、第４画素位置の画素についての予測画素値を、前記第２画素位置及び前記第３画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のいずれかに従って生成する、請求項３に記載の画像処理装置。
【請求項６】
前記予測部は、前記第１画素位置の画素についての予測画素値を生成する際に選択した予測モードを、符号化済みの他のブロックの前記第１画素位置の予測画素値を生成する際に選択した予測モードから推定可能である場合に、前記第１画素位置について予測モードを推定可能であることを示す情報を生成する、請求項１に記載の画像処理装置。
【請求項７】
前記第１画素位置の画素値との相関に基づく予測モードは、前記第１画素位置の画素値を位相シフトすることにより予測画素値を生成する予測モードである、請求項２に記載の画像処理装置。
【請求項８】
画像を処理するための画像処理方法において、
画像内のマクロブロックに含まれる隣り合う画素ブロック内の共通する画素位置の画素値が並び替え後に隣接するように、前記マクロブロックに含まれる画素値を並び替えるステップと、
前記画素ブロックの第１画素位置の画素についての予測画素値を、並び替えられた前記画素値と前記第１画素位置に対応する前記画像内の参照画素値とを用いて、他の画素位置の画素値との相関を利用することなく生成するステップと、
を含む画像処理方法。
【請求項９】
画像内のマクロブロックに含まれる隣り合う画素ブロック内の共通する画素位置にそれぞれ対応する参照画素の画素値が並び替え後に隣接するように、前記画像内の前記参照画素の画素値を並び替える並び替え部と、
前記画素ブロックの第１画素位置の画素についての予測画素値を、前記並び替え部により並び替えられた前記参照画素の画素値を用いて、他の画素位置に対応する参照画素の画素値との相関を利用することなく生成する予測部と、
を備える画像処理装置。
【請求項１０】
前記予測部は、第２画素位置の画素についての予測画素値を、前記第１画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のうち指定された予測モードに従って生成する、請求項９に記載の画像処理装置。
【請求項１１】
前記予測部は、第３画素位置の画素についての予測画素値を、前記第２画素位置の画素についての予測画素値の生成と並列的に、前記第１画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のうち指定された予測モードに従って生成する、請求項１０に記載の画像処理装置。
【請求項１２】
前記予測部は、第４画素位置の画素についての予測画素値を、前記第２画素位置及び前記第３画素位置の画素についての予測画素値の生成と並列的に、前記第１画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のうち指定された予測モードに従って生成する、請求項１１に記載の画像処理装置。
【請求項１３】
前記予測部は、第４画素位置の画素についての予測画素値を、前記第２画素位置及び前記第３画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のうち指定された予測モードに従って生成する、請求項１１に記載の画像処理装置。
【請求項１４】
前記予測部は、前記第１画素位置について予測モードを推定可能であることが示された場合には、前記第１画素位置の画素についての予測画素値を生成する際の予測モードを、符号化済みの他のブロックの前記第１画素位置の予測画素値を生成する際に選択した予測モードから推定する、請求項９に記載の画像処理装置。
【請求項１５】
前記第１画素位置の画素値との相関に基づく予測モードは、前記第１画素位置の画素値を位相シフトすることにより予測画素値を生成する予測モードである、請求項１０に記載の画像処理装置。
【請求項１６】
前記画像処理装置は、前記画像を部分復号化すべきか否かを判定する判定部、をさらに備え、
前記予測部は、前記画像を部分復号化すべきであると前記判定部が判定した場合には、前記第１画素位置以外の少なくとも１つの画素位置の予測画素値を生成しない、
請求項９に記載の画像処理装置。
【請求項１７】
画像を処理するための画像処理方法において、
画像内のマクロブロックに含まれる隣り合う画素ブロック内の共通する画素位置にそれぞれ対応する参照画素の画素値が並び替え後に隣接するように、前記画像内の前記参照画素の画素値を並び替えるステップと、
前記画素ブロックの第１画素位置の画素についての予測画素値を、並び替えられた前記参照画素の画素値を用いて、他の画素位置に対応する参照画素の画素値との相関を利用することなく生成するステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、デジタル画像を効率的に伝送し又は蓄積することを目的とし、画像に特有の冗長性を利用して、例えば離散コサイン変換などの直交変換と動き補償とにより画像の情報量を圧縮する圧縮技術が普及している。例えば、ＩＴＵ−Ｔの策定したＨ．２６ｘ標準又はＭＰＥＧ（Moving  Picture  Experts  Group）の策定したＭＰＥＧ−ｙ標準などの標準技術に準拠した画像符号化装置及び画像復号化装置は、放送局による画像の蓄積及び配信、並びに一般ユーザによる画像の受信及び蓄積など、様々な場面で広く利用されている。
【０００３】
ＭＰＥＧ２（ISO/IEC  13818-2）は、汎用画像符号化方式として定義されたＭＰＥＧ−ｙ標準の１つである。ＭＰＥＧ２は、飛び越し走査（インターレース）画像及び順次走査（ノン・インターレース）画像の双方を扱うことが可能であり、標準解像度のデジタル画像に加えて、高精細画像をも対象としている。ＭＰＥＧ２は、現在、プロフェッショナル用途及びコンシューマ用途を含む広範なアプリケーションに広く用いられている。ＭＰＥＧ２によれば、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像には４〜８Ｍｂｐｓの符号量（ビットレート）、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像には１８〜２２Ｍｂｐｓの符号量を割り当てることで、高い圧縮率及び良好な画質を共に実現することができる。
【０００４】
ＭＰＥＧ２は、主として、放送の用途に適合する高画質符号化を目的としており、ＭＰＥＧ１よりも低い符号量（ビットレート）、即ちより高い圧縮率には対応するものではなかった。しかし、近年の携帯端末の普及により、高い圧縮率を可能とする符号化方式のニーズは高まっている。そこで、新たにＭＰＥＧ４符号化方式の標準化が進められた。ＭＰＥＧ４符号化方式の一部である画像符号化方式に関しては、１９９８年１２月に、その規格が国際標準（ISO/IEC  14496-2）として承認された。
【０００５】
Ｈ．２６ｘ標準（ITU-T  Q6/16  VCEG）は、当初、テレビ電話又はテレビ会議などの通信の用途に適合する符号化を目的として策定された標準規格である。Ｈ．２６ｘ標準は、ＭＰＥＧ−ｙ標準と比較して、符号化及び復号化により多くの演算量を要する一方、より高い圧縮率を実現できることが知られている。また、ＭＰＥＧ４の活動の一環としてのJoint  Model  of  Enhanced-Compression  Video  Codingでは、Ｈ．２６ｘ標準をベースとしながら新たな機能をも取り入れることで、より高い圧縮率を実現可能な標準規格が策定された。この標準規格は、２００３年３月に、Ｈ．２６４及びＭＰＥＧ−４  Ｐａｒｔ１０（Advanced  Video  Coding；ＡＶＣ）という名称で国際標準となった。
【０００６】
上述した画像符号化方式において重要な技術の１つは、画面内予測、即ちイントラ予測である。イントラ予測は、画面内の隣り合うブロック間の相関を利用し、あるブロック内の画素値を隣り合う他のブロックの画素値から予測することで、符号化される情報量を削減する技術である。ＭＰＥＧ４以前の画像符号化方式では、直交変換係数の直流成分及び低周波成分のみがイントラ予測の対象とされていたが、Ｈ．２６４／ＡＶＣでは、全ての画素値についてイントラ予測が可能となった。イントラ予測を用いることで、例えば青空の画像のように、画素値の変化の緩やかな画像については、圧縮率の大幅な向上が見込まれる。
【０００７】
Ｈ．２６４／ＡＶＣでは、例えば、４×４画素、８×８画素又は１６×１６画素のブロックを１つの処理単位として、イントラ予測が行われ得る。また、下記非特許文献１は、３２×３２画素又は６４×６４画素のブロックを処理単位とする、拡張されたブロックサイズによるイントラ予測を提案している。
【０００８】
ところで、処理性能、ディスプレイ解像度及び帯域の異なる多様な端末においてデジタル画像が再生され得る状況下では、部分復号化が可能であることが望ましい。部分復号化とは、一般的に、高解像度の画像の符号化データを部分的に復号化することにより、低解像度の画像のみを得ることをいう。即ち、部分復号化可能な符号化データが供給されれば、例えば、相対的に高い処理性能を有する端末は高解像度の画像の全体を再生する一方で、より低い処理性能（又は低解像度のディスプレイ）を有する端末は低解像度の画像のみを再生することができる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Sung-Chang  Lim，  Hahyun  Lee，  Jinho  Lee，  Jongho  Kim，  Haechul  Choi，  Seyoon  Jeong，  Jin  Soo  Choi，  “Intra  coding  using  extended  block  size”（VCEG-AL28，2009年7月）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、既存のイントラ予測方式では、同じ画像内の画素同士の様々な相関に基づく複数の予測モードが使用される。そのため、画像内のある画素を復号化しなければ、復号化されない画素と相関を有する他の画素の復号化までもが困難となる。即ち、既存のイントラ予測方式は、それ自体多くの演算量を端末に要求する方式でありながら、部分復号化に適合したものではなく、結果として多様な端末でのデジタル画像の再生の要求に十分に応えられていなかった。
【００１１】
そこで、本発明は、部分復号化を可能とするイントラ予測方式を実現する、画像処理装置及び画像処理方法を提供しようとするものである。
【課題を解決するための手段】
【００１２】
本発明のある実施形態によれば、画像内のマクロブロックに含まれる隣り合う画素ブロック内の共通する画素位置の画素値が並び替え後に隣接するように、上記マクロブロックに含まれる画素値を並び替える並び替え部と、上記画素ブロックの第１画素位置の画素についての予測画素値を、上記並び替え部により並び替えられた画素値と上記第１画素位置に対応する上記画像内の参照画素値とを用いて、他の画素位置の画素値との相関を利用することなく生成する予測部と、を備える画像処理装置が提供される。
【００１３】
上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。
【００１４】
また、上記予測部は、第２画素位置の画素についての予測画素値を、上記第１画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のいずれかに従って生成してもよい。
【００１５】
また、上記予測部は、第３画素位置の画素についての予測画素値を、上記第２画素位置の画素についての予測画素値の生成と並列的に、上記第１画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のいずれかに従って生成してもよい。
【００１６】
また、上記予測部は、第４画素位置の画素についての予測画素値を、上記第２画素位置及び上記第３画素位置の画素についての予測画素値の生成と並列的に、上記第１画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のいずれかに従って生成してもよい。
【００１７】
また、上記予測部は、第４画素位置の画素についての予測画素値を、上記第２画素位置及び上記第３画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のいずれかに従って生成してもよい。
【００１８】
また、上記予測部は、上記第１画素位置の画素についての予測画素値を生成する際に選択した予測モードを、符号化済みの他のブロックの上記第１画素位置の予測画素値を生成する際に選択した予測モードから推定可能である場合に、上記第１画素位置について予測モードを推定可能であることを示す情報を生成してもよい。
【００１９】
また、上記第１画素位置の画素値との相関に基づく予測モードは、上記第１画素位置の画素値を位相シフトすることにより予測画素値を生成する予測モードであってもよい。
【００２０】
また、本発明の別の実施形態によれば、画像を処理するための画像処理方法において、画像内のマクロブロックに含まれる隣り合う画素ブロック内の共通する画素位置の画素値が並び替え後に隣接するように、上記マクロブロックに含まれる画素値を並び替えるステップと、上記画素ブロックの第１画素位置の画素についての予測画素値を、並び替えられた上記画素値と上記第１画素位置に対応する上記画像内の参照画素値とを用いて、他の画素位置の画素値との相関を利用することなく生成するステップと、を含む画像処理方法が提供される。
【００２１】
また、本発明の別の実施形態によれば、画像内のマクロブロックに含まれる隣り合う画素ブロック内の共通する画素位置にそれぞれ対応する参照画素の画素値が並び替え後に隣接するように、上記画像内の上記参照画素の画素値を並び替える並び替え部と、上記画素ブロックの第１画素位置の画素についての予測画素値を、上記並び替え部により並び替えられた上記参照画素の画素値を用いて、他の画素位置に対応する参照画素の画素値との相関を利用することなく生成する予測部と、を備える画像処理装置が提供される。
【００２２】
上記画像処理装置は、典型的には、画像を復号化する画像復号化装置として実現され得る。
【００２３】
また、上記予測部は、第２画素位置の画素についての予測画素値を、上記第１画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のうち指定された予測モードに従って生成してもよい。
【００２４】
また、上記予測部は、第３画素位置の画素についての予測画素値を、上記第２画素位置の画素についての予測画素値の生成と並列的に、上記第１画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のうち指定された予測モードに従って生成してもよい。
【００２５】
また、上記予測部は、第４画素位置の画素についての予測画素値を、上記第２画素位置及び上記第３画素位置の画素についての予測画素値の生成と並列的に、上記第１画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のうち指定された予測モードに従って生成してもよい。
【００２６】
また、上記予測部は、第４画素位置の画素についての予測画素値を、上記第２画素位置及び上記第３画素位置の画素値との相関に基づく予測モードを含む複数の予測モードの候補のうち指定された予測モードに従って生成してもよい。
【００２７】
また、上記予測部は、上記第１画素位置について予測モードを推定可能であることが示された場合には、上記第１画素位置の画素についての予測画素値を生成する際の予測モードを、符号化済みの他のブロックの上記第１画素位置の予測画素値を生成する際に選択した予測モードから推定してもよい。
【００２８】
また、上記第１画素位置の画素値との相関に基づく予測モードは、上記第１画素位置の画素値を位相シフトすることにより予測画素値を生成する予測モードであってもよい。
【００２９】
また、上記画像処理装置は、上記画像を部分復号化すべきか否かを判定する判定部、をさらに備え、上記予測部は、上記画像を部分復号化すべきであると上記判定部が判定した場合には、上記第１画素位置以外の少なくとも１つの画素位置の予測画素値を生成しなくてもよい。
【００３０】
また、本発明の別の実施形態によれば、画像を処理するための画像処理方法において、画像内のマクロブロックに含まれる隣り合う画素ブロック内の共通する画素位置にそれぞれ対応する参照画素の画素値が並び替え後に隣接するように、上記画像内の上記参照画素の画素値を並び替えるステップと、上記画素ブロックの第１画素位置の画素についての予測画素値を、並び替えられた上記参照画素の画素値を用いて、他の画素位置に対応する参照画素の画素値との相関を利用することなく生成するステップと、を含む画像処理方法が提供される。
【発明の効果】
【００３１】
以上説明したように、本発明に係る画像処理装置及び画像処理方法によれば、部分復号化を可能とするイントラ予測方式を実現することができる。
【図面の簡単な説明】
【００３２】
【図１】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２】一実施形態に係る画像符号化装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図３】イントラ４×４予測モードについて説明するための第１の説明図である。
【図４】イントラ４×４予測モードについて説明するための第２の説明図である。
【図５】イントラ４×４予測モードについて説明するための第３の説明図である。
【図６】イントラ８×８予測モードについて説明するための説明図である。
【図７】イントラ１６×１６予測モードについて説明するための説明図である。
【図８】マクロブロック内の画素及び参照画素について説明するための説明図である。
【図９】符号化対象の画素値の並び替えの一例について説明するための説明図である。
【図１０】参照画素値の並び替えの一例について説明するための説明図である。
【図１１】イントラ予測部による並列処理の一例について説明するための説明図である。
【図１２】一実施形態に係る画像符号化装置のイントラ予測部の詳細な構成の他の例を示すブロック図である。
【図１３】イントラ予測部による並列処理の他の例について説明するための説明図である。
【図１４】符号化対象の画素値の並び替えの他の例について説明するための説明図である。
【図１５Ａ】新たな予測モードについて説明するための第１の説明図である。
【図１５Ｂ】新たな予測モードについて説明するための第２の説明図である。
【図１５Ｃ】新たな予測モードについて説明するための第３の説明図である。
【図１５Ｄ】新たな予測モードについて説明するための第４の説明図である。
【図１６】画素値のミラー処理及びホールド処理について説明するための説明図である。
【図１７】予測方向の推定について説明するための説明図である。
【図１８】一実施形態に係る符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【図１９】一実施形態に係る符号化時のイントラ予測処理の流れの他の例を示すフローチャートである。
【図２０】一実施形態に係る画像復号化装置の構成の一例を示すブロック図である。
【図２１】一実施形態に係る画像復号化装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図２２】一実施形態に係る画像復号化装置のイントラ予測部の詳細な構成の他の例を示すブロック図である。
【図２３】一実施形態に係る復号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【図２４】一実施形態に係る復号化時のイントラ予測処理の流れの他の例を示すフローチャートである。
【図２５】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図２６】携帯電話機の概略的な構成の一例を示すブロック図である。
【図２７】記録再生装置の概略的な構成の一例を示すブロック図である。
【図２８】撮像装置の概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００３４】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る画像符号化装置の構成例
２．一実施形態に係る符号化時の処理の流れ
３．一実施形態に係る画像復号化装置の構成例
４．一実施形態に係る復号化時の処理の流れ
５．応用例
６．まとめ
【００３５】
＜１．一実施形態に係る画像符号化装置の構成例＞
［１−１．全体的な構成例］
図１は、本発明の一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue  to  Digital）変換部１１、並べ替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、動き探索部３０、並びにイントラ予測部４０を備える。
【００３６】
Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ１２へ出力する。
【００３７】
並べ替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group  of  Pictures）構造に応じて画像を並べ替えた後、並べ替え後の画像データを減算部１３、動き探索部３０及びイントラ予測部４０へ出力する。
【００３８】
減算部１３には、並べ替えバッファ１２から入力される画像データ、及び後に説明する動き探索部３０又はイントラ予測部４０から入力される予測画像データが供給される。減算部１３は、並べ替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
【００３９】
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete  Cosine  Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
【００４０】
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
【００４１】
可逆符号化部１６には、量子化部１５から入力される量子化データ、及び、後に説明する動き探索部３０又はイントラ予測部４０から入力されるインター予測又はイントラ予測に関する情報が供給される。インター予測に関する情報は、例えば、予測モード情報、動きベクトル情報、及び参照画像情報などを含み得る。また、イントラ予測に関する情報は、例えば、イントラ予測の処理単位であるサブブロックのサイズとサブブロックごとの最適な予測方向（予測モード）とを表す予測モード情報を含み得る。
【００４２】
可逆符号化部１６は、量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、上述したインター予測に関する情報又はイントラ予測に関する情報を、符号化ストリームのヘッダ（例えばブロックヘッダ又はスライスヘッダなど）内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００４３】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路（又は画像符号化装置１０からの出力線）の帯域に応じたレートで出力する。
【００４４】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００４５】
逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
【００４６】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【００４７】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データと動き探索部３０又はイントラ予測部４０から入力される予測画像データとを加算することにより、復号化画像データを生成する。そして、加算部２３は、生成した復号化画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。
【００４８】
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号化画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号化画像データをフレームメモリ２５へ出力する。
【００４９】
フレームメモリ２５は、加算部２３から入力される復号化画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号化画像データを記憶媒体を用いて記憶する。
【００５０】
セレクタ２６は、インター予測のために使用されるフィルタリング後の復号化画像データをフレームメモリ２５から読み出し、読み出した復号化画像データを参照画像データとして動き探索部３０に供給する。また、セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号化画像データをフレームメモリ２５から読み出し、読み出した復号化画像データを参照画像データとしてイントラ予測部４０に供給する。
【００５１】
セレクタ２７は、インター予測モードにおいて、動き探索部３０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、イントラ予測モードにおいて、イントラ予測部４０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。
【００５２】
動き探索部３０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びセレクタ２６を介して供給される復号化画像データに基づいて、Ｈ．２６４／ＡＶＣにより規定されているインター予測処理（フレーム間予測処理）を行う。例えば、動き探索部３０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部３０は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部３０は、選択した最適な予測モードを表す予測モード情報を含むインター予測に関する情報、及び予測画像データを、セレクタ２７へ出力する。
【００５３】
イントラ予測部４０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びフレームメモリ２５から供給される参照画像データとしての復号化画像データに基づいて、画像内に設定されるマクロブロックごとにイントラ予測処理を行う。イントラ予測部４０によるイントラ予測処理については、後により詳細に説明する。
【００５４】
なお、後に説明するように、イントラ予測部４０によるイントラ予測処理は、複数の処理分岐により並列化され得る。イントラ予測処理の並列化に応じて、イントラ予測モードについての、上述した減算部１３、直交変換部１４、量子化部１５、逆量子化部２１、逆直交変換部２２、及び加算部２３による処理もまた並列化され得る。この場合、図１に示しているように、減算部１３、直交変換部１４、量子化部１５、逆量子化部２１、逆直交変換部２２、加算部２３及びイントラ予測部４０は、並列処理セグメント２８を形成する。そして、並列処理セグメント２８内の各部は、複数の処理分岐を有する。並列処理セグメント２８内の各部は、イントラ予測モードにおいては複数の処理分岐を使用して並列処理を実行する一方、インター予測モードにおいては１つの処理分岐のみを使用してよい。
【００５５】
［１−２．イントラ予測部の構成例］
図２は、図１に示した画像符号化装置１０のイントラ予測部４０の詳細な構成の一例を示すブロック図である。図２を参照すると、イントラ予測部４０は、並び替え部４１、予測部４２、及びモードバッファ４５を有する。また、予測部４２は、並列的に配置された２つの処理分岐である第１予測部４２ａ及び第２予測部４２ｂを含む。
【００５６】
並び替え部４１は、画像（原画像）内のマクロブロックに含まれる画素値を例えばラインごとに読み込み、所定の規則に従って画素値を並び替える。そして、並び替え部４１は、並び替え後の画素値を、画素位置に応じて第１予測部４２ａ又は第２予測部４２ｂへそれぞれ出力する。
【００５７】
また、並び替え部４１は、フレームメモリ２５から供給される参照画像データに含まれる参照画素値を、所定の規則に従って並び替える。フレームメモリ２５からイントラ予測部４０に供給される参照画像データは、符号化対象の画像と同じ画像内の符号化済みの部分についてのデータである。そして、並び替え部４１は、並び替え後の参照画素値を、画素位置に応じて第１予測部４２ａ又は第２予測部４２ｂへそれぞれ出力する。
【００５８】
従って、本実施形態において、並び替え部４１は、原画像の画素値及び参照画素値を並び替える並び替え手段としての役割を有する。並び替え部４１による画素値の並び替えの規則については、後に例を挙げて説明する。また、並び替え部４１は、並び替えた画素値を各処理分岐に分配する逆多重化手段としての役割をも有する。
【００５９】
第１予測部４２ａ及び第２予測部４２ｂは、並び替え部４１により並び替えられた原画像の画素値及び参照画素値を用いて、符号化対象のマクロブロックについての予測画素値を生成する。
【００６０】
より具体的には、第１予測部４２ａは、第１予測計算部４３ａ及び第１モード判定部４４ａを含む。第１予測計算部４３ａは、並び替え部４１により並び替えられた参照画素値から、候補としての複数の予測モードに従って、複数の予測画素値を計算する。予測モードは、主に、予測に用いる参照画素から符号化対象の画素への方向（予測方向という）を特定する。１つの予測モードを指定することにより、符号化対象の画素について、予測画素値の計算に用いるべき参照画素と、予測画素値の計算式とが特定され得る。なお、本実施形態では、並び替え部４１による並び替え後の一連の画素値のうち何番目の部分を予測するかに依存して、予測モードの候補が異なる。本実施形態に係るイントラ予測の際に使用され得る予測モードの例について、後に例を挙げて説明する。第１モード判定部４４ａは、並び替え部４１により並び替えられた原画像の画素値、第１予測計算部４３ａにより計算された予測画素値、及び想定される符号量などに基づく所定のコスト関数を用いて、上記複数の予測モードの候補を評価する。そして、第１モード判定部４４ａは、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。第１予測部４２ａは、このような処理の後、第１モード判定部４４ａにより選択された最適な予測モードを表す予測モード情報をモードバッファ４５へ出力すると共に、当該予測モード情報と、対応する予測画素値を含む予測画像データとを、セレクタ２７へ出力する。
【００６１】
第２予測部４２ｂは、第２予測計算部４３ｂ及び第２モード判定部４４ｂを含む。第２予測計算部４３ｂは、並び替え部４１により並び替えられた参照画素値から、候補としての複数の予測モードに従って、複数の予測画素値を計算する。第２モード判定部４４ｂは、並び替え部４１により並び替えられた原画像の画素値、第２予測計算部４３ｂにより計算された予測画素値、及び想定される符号量などに基づく所定のコスト関数を用いて、上記複数の予測モードの候補を評価する。そして、第２モード判定部４４ｂは、コスト関数値が最小となる予測モードを、最適な予測モードとして選択する。第２予測部４２ｂは、このような処理の後、第２モード判定部４４ｂにより選択された最適な予測モードを表す予測モード情報をモードバッファ４５へ出力すると共に、当該予測モード情報と、対応する予測画素値を含む予測画像データとを、セレクタ２７へ出力する。
【００６２】
モードバッファ４５は、第１予測部４２ａ及び第２予測部４２ｂから入力される予測モード情報を、記憶媒体を用いて一時的に記憶する。モードバッファ４５により記憶される予測モード情報は、第１予測部４２ａ及び第２予測部４２ｂが予測方向の推定をする際に、参照予測モードとして参照され得る。予測方向の推定とは、隣接するブロック間で最適な予測方向（最適な予測モード）が共通している可能性が高いことに着目し、参照ブロックに設定された予測モードから符号化対象のブロックの予測モードを推定する技術である。予測方向を推定することにより適切な予測方向を決定できるブロックについては、当該ブロックの予測モード番号が符号化されないことにより、符号化に要する符号量が削減され得る。本実施形態における予測方向の推定について、後にさらに説明する。
【００６３】
［１−３．既存の予測モードの例］
次に、図３〜図７を用いて、既存のイントラ予測方式における予測モードの例を説明する。
【００６４】
（１）イントラ４×４予測モード
図３〜図５は、イントラ４×４予測モードにおける予測モードの候補について説明するための説明図である。
【００６５】
図３を参照すると、イントラ４×４予測モードにおいて使用され得る９種類の予測モード（モード０〜モード８）が示されている。また、図４には、各モード番号にそれぞれ対応する予測方向が概略的に示されている。
【００６６】
図５において、小文字のアルファベットａ〜ｐは、４×４画素の符号化対象のサブブロック内の各画素値を表す。符号化対象のサブブロックの周囲のＲｚ（ｚ＝ａ，ｂ，…，ｍ）は、符号化済みの参照画素値を表す。以下、これら符号化対象の画素値ａ〜ｐ及び参照画素値Ｒａ〜Ｒｍを用いて、図３に例示した各予測モードにおける予測画素値の計算について説明する。
【００６７】
（１−１）モード０：垂直（Vertical）
モード０における予測方向は、垂直方向である。モード０は、参照画素値Ｒａ、Ｒｂ、Ｒｃ及びＲｄが利用可能（“available”）である場合に使用され得る。各予測画素値は、次のように計算される：
ａ＝ｅ＝ｉ＝ｍ＝Ｒａ
ｂ＝ｆ＝ｊ＝ｎ＝Ｒｂ
ｃ＝ｇ＝ｋ＝ｏ＝Ｒｃ
ｄ＝ｈ＝ｌ＝ｐ＝Ｒｄ
【００６８】
（１−２）モード１：水平（Horizontal）
モード１における予測方向は、水平方向である。モード１は、参照画素値Ｒｉ、Ｒｊ、Ｒｋ及びＲｌが利用可能である場合に使用され得る。各予測画素値は、次のように計算される：
ａ＝ｂ＝ｃ＝ｄ＝Ｒｉ
ｅ＝ｆ＝ｇ＝ｈ＝Ｒｊ
ｉ＝ｊ＝ｋ＝ｌ＝Ｒｋ
ｍ＝ｎ＝ｏ＝ｐ＝Ｒｌ
【００６９】
（１−３）モード２：ＤＣ（DC）
モード２は、ＤＣ予測（平均値予測）を表す。参照画素値Ｒａ〜Ｒｄ、Ｒｉ〜Ｒｌが全て利用可能である場合には、各予測画素値は、次のように計算される：
各予測画素値＝（Ｒａ＋Ｒｂ＋Ｒｃ＋Ｒｄ＋Ｒｉ＋Ｒｊ＋Ｒｋ＋Ｒｌ＋４）＞＞３
【００７０】
参照画素値Ｒｉ〜Ｒｌが全て利用可能でない場合には、各予測画素値は、次のように計算される：
各予測画素値＝（Ｒａ＋Ｒｂ＋Ｒｃ＋Ｒｄ＋２）＞＞２
【００７１】
参照画素値Ｒａ〜Ｒｄが全て利用可能でない場合には、各予測画素値は、次のように計算される：
各予測画素値＝（Ｒｉ＋Ｒｊ＋Ｒｋ＋Ｒｌ＋２）＞＞２
【００７２】
参照画素値Ｒａ〜Ｒｄ、Ｒｉ〜Ｒｌが全て利用可能でない場合には、各予測画素値は、次のように計算される：
各予測画素値＝１２８
【００７３】
（１−４）モード３：斜め左下（Diagonal_Down_Left）
モード３における予測方向は、斜め左下である。モード３は、参照画素値Ｒａ〜Ｒｈが利用可能である場合に使用され得る。各予測画素値は、次のように計算される：
ａ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｂ＝ｅ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
ｃ＝ｆ＝ｉ＝（Ｒｃ＋２Ｒｄ＋Ｒｅ＋２）＞＞２
ｄ＝ｇ＝ｊ＝ｍ＝（Ｒｄ＋２Ｒｅ＋Ｒｆ＋２）＞＞２
ｈ＝ｋ＝ｎ＝（Ｒｅ＋２Ｒｆ＋Ｒｇ＋２）＞＞２
ｌ＝ｏ＝（Ｒｆ＋２Ｒｇ＋Ｒｈ＋２）＞＞２
ｐ＝（Ｒｇ＋３Ｒｈ＋２）＞＞２
【００７４】
（１−５）モード４：斜め右下（Diagonal_Down_Right）
モード４における予測方向は、斜め右下である。モード４は、参照画素値Ｒａ〜Ｒｄ、Ｒｉ〜Ｒｍが利用可能である場合に使用され得る。各予測画素値は、次のように計算される：
ｍ＝（Ｒｊ＋２Ｒｋ＋Ｒｌ＋２）＞＞２
ｉ＝ｎ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
ｅ＝ｊ＝ｏ＝（Ｒｍ＋２Ｒｉ＋Ｒｊ＋２）＞＞２
ａ＝ｆ＝ｋ＝ｐ＝（Ｒａ＋２Ｒｍ＋Ｒｉ＋２）＞＞２
ｂ＝ｇ＝ｌ＝（Ｒｍ＋２Ｒａ＋Ｒｂ＋２）＞＞２
ｃ＝ｈ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｄ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
【００７５】
（１−６）モード５：垂直右（Vertical_Right）
モード５における予測方向は、垂直右である。モード５は、参照画素値Ｒａ〜Ｒｄ、Ｒｉ〜Ｒｍが利用可能である場合に使用され得る。各予測画素値は、次のように計算される：
ａ＝ｊ＝（Ｒｍ＋Ｒａ＋１）＞＞１
ｂ＝ｋ＝（Ｒａ＋Ｒｂ＋１）＞＞１
ｃ＝ｌ＝（Ｒｂ＋Ｒｃ＋１）＞＞１
ｄ＝（Ｒｃ＋Ｒｄ＋１）＞＞１
ｅ＝ｎ＝（Ｒｉ＋２Ｒｍ＋Ｒａ＋２）＞＞２
ｆ＝ｏ＝（Ｒｍ＋２Ｒａ＋Ｒｂ＋２）＞＞２
ｇ＝ｐ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｈ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
ｉ＝（Ｒｍ＋２Ｒｉ＋Ｒｊ＋２）＞＞２
ｍ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
【００７６】
（１−７）モード６：水平下（Horizontal_Down）
モード６における予測方向は、水平下である。モード６は、参照画素値Ｒａ〜Ｒｄ、Ｒｉ〜Ｒｍが利用可能である場合に使用され得る。各予測画素値は、次のように計算される：
ａ＝ｇ＝（Ｒｍ＋Ｒｉ＋１）＞＞１
ｂ＝ｈ＝（Ｒｉ＋２Ｒｍ＋Ｒａ＋２）＞＞２
ｃ＝（Ｒｍ＋２Ｒａ＋Ｒｂ＋２）＞＞２
ｄ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｅ＝ｋ＝（Ｒｉ＋Ｒｊ＋１）＞＞１
ｆ＝ｌ＝（Ｒｍ＋２Ｒｉ＋Ｒｊ＋２）＞＞２
ｉ＝ｏ＝（Ｒｊ＋Ｒｋ＋１）＞＞１
ｊ＝ｐ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
ｍ＝（Ｒｋ＋Ｒｌ＋１）＞＞１
ｎ＝（Ｒｊ＋２Ｒｋ＋Ｒｌ＋２）＞＞２
【００７７】
（１−８）モード７：垂直左（Vertical_Left）
モード７における予測方向は、垂直左である。モード７は、参照画素値Ｒａ〜Ｒｇが利用可能である場合に使用され得る。各予測画素値は、次のように計算される：
ａ＝（Ｒａ＋Ｒｂ＋１）＞＞１
ｂ＝ｉ＝（Ｒｂ＋Ｒｃ＋１）＞＞１
ｃ＝ｊ＝（Ｒｃ＋Ｒｄ＋１）＞＞１
ｄ＝ｋ＝（Ｒｄ＋Ｒｅ＋１）＞＞１
ｌ＝（Ｒｅ＋Ｒｆ＋１）＞＞１
ｅ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｆ＝ｍ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
ｇ＝ｎ＝（Ｒｃ＋２Ｒｄ＋Ｒｅ＋２）＞＞２
ｈ＝ｏ＝（Ｒｄ＋２Ｒｅ＋Ｒｆ＋２）＞＞２
ｐ＝（Ｒｅ＋２Ｒｆ＋Ｒｇ＋２）＞＞２
【００７８】
（１−９）モード８：水平上（Horizontal_Up）
モード８における予測方向は、水平上である。モード８は、参照画素値Ｒｉ〜Ｒｌが利用可能である場合に使用され得る。各予測画素値は、次のように計算される：
ａ＝（Ｒｉ＋Ｒｊ＋１）＞＞１
ｂ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
ｃ＝ｅ＝（Ｒｊ＋Ｒｋ＋１）＞＞１
ｄ＝ｆ＝（Ｒｊ＋２Ｒｋ＋Ｒｌ＋２）＞＞２
ｇ＝ｉ＝（Ｒｋ＋Ｒｌ＋１）＞＞１
ｈ＝ｊ＝（Ｒｋ＋３Ｒｌ＋２）＞＞２
ｋ＝ｌ＝ｍ＝ｎ＝ｏ＝ｐ＝Ｒｌ
【００７９】
これら９つの予測モードにおける予測画素値の計算式は、Ｈ．２６４／ＡＶＣにおいて規定されているイントラ４×４予測モードにおける計算式と同様である。上述したイントラ予測部４０の第１予測部４２ａの第１予測計算部４３ａ及び第２予測部４２ｂの第２予測計算部４３ｂは、これら９つの予測モードを候補として、並び替え部４１により並び替えられた参照画素値から各予測モードに対応する予測画素値を計算し得る。
【００８０】
（２）イントラ８×８予測モード
図６は、イントラ８×８予測モードにおける予測モードの候補について説明するための説明図である。図６を参照すると、イントラ８×８予測モードにおいて使用され得る９種類の予測モード（モード０〜モード８）が示されている。
【００８１】
モード０における予測方向は、垂直方向である。モード１における予測方向は、水平方向である。モード２は、ＤＣ予測（平均値予測）を表す。モード３における予測方向は、斜め左下である。モード４における予測方向は、斜め右下である。モード５における予測方向は、垂直右である。モード６における予測方向は、水平下である。モード７における予測方向は、垂直左である。モード８における予測方向は、水平上である。
【００８２】
イントラ８×８予測モードでは、予測画素値の計算の前に、参照画素値に対してローパスフィルタリングが行われる。そして、ローパスフィルタリング後の参照画素値に基づいて、各予測モードに従って予測画素値が計算される。イントラ８×８予測モードの９つの予測モードにおける予測画素値の計算式もまた、Ｈ．２６４／ＡＶＣにおいて規定されている計算式と同様であってよい。上述したイントラ予測部４０の第１予測部４２ａの第１予測計算部４３ａ及び第２予測部４２ｂの第２予測計算部４３ｂは、イントラ８×８予測モードの９つの予測モードを候補として、並び替え部４１により並び替えられた参照画素値から各予測モードに対応する予測画素値を計算してもよい。
【００８３】
（３）イントラ１６×１６予測モード
図７は、イントラ１６×１６予測モードにおける予測モードの候補について説明するための説明図である。図７を参照すると、イントラ１６×１６予測モードにおいて使用され得る４種類の予測モード（モード０〜モード３）が示されている。
【００８４】
モード０における予測方向は、垂直方向である。モード１における予測方向は、水平方向である。モード２は、ＤＣ予測（平均値予測）を表す。モード３は、平面予測を表す。イントラ１６×１６予測モードの４つの予測モードにおける予測画素値の計算式もまた、Ｈ．２６４／ＡＶＣにおいて規定されている計算式と同様であってよい。上述したイントラ予測部４０の第１予測部４２ａの第１予測計算部４３ａ及び第２予測部４２ｂの第２予測計算部４３ｂは、イントラ１６×１６予測モードの４つの予測モードを候補として、並び替え部４１により並び替えられた参照画素値から各予測モードに対応する予測画素値を計算してもよい。
【００８５】
（４）色差信号のイントラ予測
色差信号についての予測モードは、輝度信号についての予測モードとは独立して設定され得る。色差信号についての予測モードは、上述した輝度信号についてのイントラ１６×１６予測モードと同様、４種類の予測モードを含み得る。Ｈ．２６４／ＡＶＣにおいては、色差信号についての予測モードのモード０はＤＣ予測、モード１は水平予測、モード２は垂直予測、モード３は平面予測である。
【００８６】
［１−４．並び替え処理の説明］
次に、図８〜図１０を用いて、図２に示したイントラ予測部４０の並び替え部４１による並び替え処理について説明する。
【００８７】
図８は、イントラ予測部４０の並び替え部４１による並び替え前の、マクロブロック内の符号化対象画素、及び当該マクロブロックの周囲の参照画素を示している。
【００８８】
図８を参照すると、８×８画素のマクロブロックＭＢは、それぞれ４×４画素である４個のサブブロックＳＢを含む。さらに、１つのサブブロックＳＢは、それぞれ２×２画素である４個の画素ブロックＰＢを含む。本明細書において、画素ブロックとは、マクロブロックよりも小さい画素の集合である。この画素ブロックを基準として画素位置が定義される。１つの画素ブロック内の画素は、一意な画素位置によって互いに区別され得る。一方、異なる複数の画素ブロックは、互いに共通する画素位置の画素を有する。
【００８９】
図８の例において、１つの画素ブロックＰＢは、それぞれ小文字のアルファベットａ〜ｄにより表される４個の画素（４種類の画素位置）を含む。マクロブロックＭＢの第１ラインＬ１は、４つの画素ブロックの計８個の画素ａ及びｂを含む。第１ラインＬ１の画素の順序は、ａ、ｂ、ａ、ｂ、ａ、ｂ、ａ、ｂである。マクロブロックＭＢの第２ラインＬ２は、４つの画素ブロックの計８個の画素ｃ及びｄを含む。第２ラインＬ２の画素の順序は、ｃ、ｄ、ｃ、ｄ、ｃ、ｄ、ｃ、ｄである。マクロブロックＭＢの第３ラインに含まれる画素の順序は、第１ラインＬ１と同様である。マクロブロックＭＢの第４ラインに含まれる画素の順序は、第２ラインＬ２と同様である。
【００９０】
マクロブロックＭＢの周囲には、それぞれ大文字のアルファベットＡ、Ｂ及びＣにより表される参照画素が示されている。図８から理解されるように、本実施形態では、参照画素として、マクロブロックＭＢのすぐ上の画素ではなく、マクロブロックＭＢの２ライン上の画素が用いられる。また、参照画素として、マクロブロックＭＢのすぐ左の画素ではなく、マクロブロックＭＢの２カラム左の画素が用いられる。
【００９１】
図９は、図８に示した符号化対象画素の、並び替え部４１による並び替えの一例について説明するための説明図である。
【００９２】
並び替え部４１による画素値の並び替え規則は、例えば、次のような規則である。即ち、並び替え部４１は、マクロブロックＭＢに含まれる隣り合う画素ブロック内の共通する画素位置の画素値を、並び替え後に隣接させる。例えば、図９の例では、第１ラインＬ１に含まれる画素ブロックＰＢ１、ＰＢ２、ＰＢ３及びＰＢ４の画素ａの画素値は、並び替え後にこの順序で隣接している。第１ラインＬ１に含まれる画素ブロックＰＢ１、ＰＢ２、ＰＢ３及びＰＢ４の画素ｂの画素値もまた、並び替え後にこの順序で隣接している。同様に、第２ラインＬ２に含まれる画素ブロックＰＢ１、ＰＢ２、ＰＢ３及びＰＢ４の画素ｃの画素値は、並び替え後にこの順序で隣接している。第２ラインＬ２に含まれる画素ブロックＰＢ１、ＰＢ２、ＰＢ３及びＰＢ４の画素ｄの画素値もまた、並び替え後にこの順序で隣接している。
【００９３】
並び替え部４１は、並び替え後の画素ブロックＰＢ１〜ＰＢ４の画素ａの画素値を、第１予測部４２ａへ出力する。その後、これら画素ａの予測画素値の生成が終了すると、並び替え部４１は、並び替え後の画素ブロックＰＢ１〜ＰＢ４の画素ｂの画素値を第１予測部４２ａへ出力する。続けて、並び替え部４１は、並び替え後の画素ブロックＰＢ１〜ＰＢ４の画素ｃの画素値を第２予測部４２ｂへ出力する。その後、これら画素ｂ及び画素ｃの予測画素値の生成が終了すると、並び替え部４１は、並び替え後の画素ブロックＰＢ１〜ＰＢ４の画素ｄの画素値を第１予測部４２ａへ出力する。
【００９４】
図１０は、図８に示した参照画素の、並び替え部４１による並び替えの一例について説明するための説明図である。
【００９５】
並び替え部４１は、マクロブロックＭＢに含まれる隣り合う画素ブロックＰＢ内の共通する画素位置にそれぞれ対応する参照画素の画素値を、並び替え後に隣接させる。例えば、図９の例では、画素ブロックＰＢ１、ＰＢ２、ＰＢ３、ＰＢ４の画素ａの上の参照画素Ａは、並び替え後にこの順序で隣接している。並び替え部４１は、これら参照画素Ａの画素値を、第１予測部４２ａへ出力する。その後、画素ａの予測画素値の生成が終了すると、並び替え部４１は、参照画素Ｂの画素値を第１予測部４２ａへ出力する。なお、図９の例において、画素ｂの画素値が第２予測部４２ｂへ、画素ｃの画素値が第１予測部４２ａへ出力されてもよい。その場合には、並び替え部４１は、参照画素Ｂの画素値を第２予測部４２ｂへ出力する。
【００９６】
並び替え部４１は、マクロブロックＭＢの左の参照画素Ａ及びＣの画素値については、これらを並び替えることなく第１予測部４２ａ及び第２予測部４２ｂへ出力する。
【００９７】
［１−５．並列処理の第１の例］
図１１は、イントラ予測部４０の第１予測部４２ａ及び第２予測部４２ｂによる並列処理について説明するための説明図である。図１１を参照すると、図８に示したマクロブロックＭＢ内の画素についての予測画素値の生成処理が、第１、第２及び第３のグループにグループ分けされている。
【００９８】
第１グループは、第１予測部４２ａによる画素ａの予測画素値の生成のみを含む。即ち、第１グループに属する画素ａの予測画素値の生成は、他の画素位置の予測画素値の生成と並列的には実行されない。第１予測部４２ａは、上、右上、左上及び左の参照画素として画素Ａを使用する。
【００９９】
第２グループは、第１予測部４２ａによる画素ｂの予測画素値の生成、及び第２予測部４２ｂによる画素ｃの予測画素値の生成を含む。即ち、画素ｂの予測画素値の生成と画素ｃの予測画素値の生成とが並列的に実行される。第１予測部４２ａは、上及び右上の参照画素として画素Ｂ、左上の参照画素として画素Ａ、左の参照画素として第１グループにおいて予測画素値が生成された画素ａを使用する。第２予測部４２ｂは、上の参照画素として第１グループにおいて予測画素値が生成された画素ａ、右上及び左上の参照画素として画素Ａ、左の参照画素として画素Ｃを使用する。なお、図１１の例の代わりに、第１予測部４２ａが画素ｃの予測画素値を生成し、第２予測部４２ｂが画素ｂの予測画素値を生成してもよい。
【０１００】
第３グループは、第１予測部４２ａによる画素ｄの予測画素値の生成のみを含む。即ち、第３グループに属する画素ｄの予測画素値の生成は、他の画素位置の予測画素値の生成と並列的には実行されない。第１予測部４２ａは、上の参照画素として第２グループにおいて予測画素値が生成された画素ｂ、右上の参照画素として画素Ｂ、左上の参照画素として第１グループにおいて予測画素値が生成された画素ａ、左の参照画素として第２グループにおいて予測画素値が生成された画素ｃを使用する。
【０１０１】
このような並列処理により、各画素ブロックの４種類の画素位置について直列的に予測画素値を生成するよりも短い時間で予測画素値の生成を行うことができる。また、図１１に示した第１グループに属する画素ａの予測画素値は、他の画素位置の画素値との相関を利用することなく、画素ａの間の相関及び画素ａに対応する参照画素Ａとの相関のみを利用して生成される。従って、このようなイントラ予測処理で画像を符号化することにより、例えば処理性能が低く又はディスプレイ解像度の低い端末が画素ａの位置の画素値のみを部分的に復号化することが可能となる。
【０１０２】
［１−６．並列処理の第２の例］
なお、イントラ予測部４０に第３の予測部（第３の処理分岐）を設けることで、図１１の例とは異なる並列処理を実現することも可能である。図１２は、そのようなイントラ予測部４０の詳細な構成の一例を示すブロック図である。図１２を参照すると、イントラ予測部４０は、並び替え部４１、予測部４２、及びモードバッファ４５を有する。また、予測部４２は、並列的に配置された３つの処理分岐である第１予測部４２ａ、第２予測部４２ｂ及び第３予測部４２ｃを含む。
【０１０３】
図１３は、図１２に示したイントラ予測部４０による並列処理の一例について説明するための説明図である。図１３を参照すると、図８に示したマクロブロックＭＢ内の画素についての予測画素値の生成処理が、第１及び第２のグループにグループ分けされている。
【０１０４】
第１グループは、第１予測部４２ａによる画素ａの予測画素値の生成のみを含む。即ち、第１グループに属する画素ａの予測画素値の生成は、他の画素位置の予測画素値の生成と並列的には実行されない。第１予測部４２ａは、上、右上、左上及び左の参照画素として画素Ａを使用する。
【０１０５】
第２グループは、第１予測部４２ａによる画素ｂの予測画素値の生成、第２予測部４２ｂによる画素ｃの予測画素値の生成、及び第３予測部４２ｃによる画素ｄの予測画素値の生成を含む。即ち、画素ｂ、画素ｃ及び画素ｄの予測画素値の生成が並列的に実行される。第１予測部４２ａは、上及び右上の参照画素として画素Ｂ、左上の参照画素として画素Ａ、左の参照画素として第１グループにおいて予測画素値が生成された画素ａを使用する。第２予測部４２ｂは、上の参照画素として第１グループにおいて予測画素値が生成された画素ａ、右上及び左上の参照画素として画素Ａ、左の参照画素として画素Ｃを使用する。第３予測部４２ｄは、上及び右上の参照画素として画素Ｂ、左上の参照画素として第１グループにおいて予測画素値が生成された画素ａ、左の参照画素として画素Ｃを使用する。
【０１０６】
このような並列処理により、並列処理の第１の例よりもさらに短い時間で、各ブロックについての予測画素値の生成を行うことができる。また、第１の例と同様、図１３に示した第１グループに属する画素ａの予測画素値は、他の画素位置の画素値との相関を利用することなく、画素ａの間の相関及び画素ａに対応する参照画素Ａとの相関のみを利用して生成される。従って、このようなイントラ予測処理で画像を符号化することにより、例えば処理性能が低く又はディスプレイ解像度の低い端末が画素ａの位置の画素値のみを部分的に復号化することが可能となる。
【０１０７】
なお、図１１及び図１３では、主にイントラ４×４予測モードでのイントラ予測処理を実行する例について説明した。しかしながら、イントラ予測部４０は、上述したイントラ８×８予測モード又はイントラ１６×１６予測モードでイントラ予測処理を実行してもよい。
【０１０８】
一例として、図１４を参照すると、第１ラインＬ１に含まれる８つの画素ブロックＰＢ１〜ＰＢ８の画素ａの画素値が、並び替え後に隣接している。第１ラインＬ１に含まれる８つの画素ブロックＰＢ１〜ＰＢ８の画素ｂの画素値もまた、並び替え後に隣接している。第２ラインＬ２に含まれる画素ｃ及び画素ｄの画素値についても同様である。このうち、並び替え後の画素ａの画素値は、第１予測部４２ａへ出力される。それにより、第１予測部４２ａにおいて、イントラ８×８予測モードで画素ａの予測画素値を生成することができる。同様に、画素ｂ、ｃ及びｄの予測画素値もまた、イントラ８×８予測モードで生成され得る。
【０１０９】
［１−７．新たな予測モードの説明］
図３に関連して説明したように、既存のイントラ予測方式では、イントラ４×４予測モードにおいて９種類の予測モード（モード０〜モード８）が使用され得る。これに加えて、本実施形態では、マクロブロック内の隣接する画素間の相関に基づく新たな予測モードを、予測モードの候補として使用することができる。本明細書では、この新たな予測モードを、モード９とする。モード９は、隣接する画素間の近傍相関に基づいて、予測対象の画素の周囲の画素値を位相シフトすることにより、予測対象の画素値を生成するモードである。
【０１１０】
図１５Ａ〜図１５Ｄは、新たな予測モードであるモード９について説明するための説明図である。図１５Ａを参照すると、図８に例示した画素ブロック内の画素ｂについてのモード９の予測式が示されている。予測対象の画素を画素ｂ０、並び替え前の画素ｂ０の左の画素及び右の画素をそれぞれ画素ａ１及びａ２とすると、画素ｂ０の予測画素値は、次のように計算され得る：
ｂ０＝（ａ１＋ａ２＋１）＞＞１
また、例えば画素ｂ１については、サブブロックの右端に位置するために、右の画素が存在しない。この場合には、画素ｂ１の予測画素値は、次のように計算され得る：
ｂ１＝ａ２
これら予測式は、画素ｂの前に画素ａが符号化済みであることから可能となる。
【０１１１】
図１５Ａに例示した予測式は、いわゆる線型内挿の演算により画素値を位相シフトする予測式である。その代わりに、例えば、画素ｂの左の複数個の画素ａ及び画素ｂの右の複数個の画素ａの画素値を用いて、ＦＩＲ（Finite  Impulse  Response）フィルタの演算により画素値を位相シフトする予測式が利用されてもよい。その場合のＦＩＲフィルタのタップ数は、例えば６タップ又は４タップなどであってよい。
【０１１２】
図１５Ｂを参照すると、図８に例示した画素ブロック内の画素ｃについてのモード９の予測式が示されている。予測対象の画素を画素ｃ０、並び替え前の画素ｃ０の上の画素及び下の画素をそれぞれ画素ａ１及びａ２とすると、画素ｃ０の予測画素値は、次のように計算され得る：
ｃ０＝（ａ１＋ａ２＋１）＞＞１
また、例えば画素ｃ１については、サブブロックの下端に位置するために、下の画素が存在しない。この場合には、画素ｃ１の予測画素値は、次のように計算され得る：
ｃ１＝ａ２
これら予測式は、画素ｃの前に画素ａが符号化済みであることから可能となる。なお、画素ｃについても、当然ながら、線型内挿ではなくＦＩＲフィルタの演算に従った予測式が利用されてよい。
【０１１３】
図１５Ｃを参照すると、図８に例示した画素ブロック内の画素ｄについてのモード９の予測式が示されている。予測対象の画素を画素ｄ０、画素ｄ０の左の画素及び右の画素をそれぞれ画素ｃ１及びｃ２とし、画素ｄ０の上の画素及び下の画素をそれぞれ画素ｂ１及びｂ２とすると、画素ｄ０の予測画素値は、次のように計算され得る：
ｄ０＝（ｂ１＋ｂ２＋ｃ１＋ｃ２＋２）＞＞２
また、例えば画素ｄ１については、サブブロックの右下のコーナーに位置するために、右及び下の画素が存在しない。この場合には、画素ｄ１の予測画素値は、次のように計算され得る：
ｄ１＝（ｂ３＋ｃ３＋１）＞＞１
これら予測式は、画素ｄの前に画素ｂ及びｃが符号化済みであることから可能となる。
【０１１４】
なお、図１５Ｃに例示した画素ｄについてのモード９の予測式は、図１１に関連して説明した並列処理のように、画素ｄについての予測の時点で、隣接する画素ｂ及び画素ｃの予測画素値の生成が終了していることを前提としている。これに対し、図１３に関連して説明した並列処理のように、画素ｄについての予測の時点で画素ｂ及び画素ｃの予測画素値の生成が終了していない場合には、図１５Ｄに例示した予測式を利用することができる。
【０１１５】
図１５Ｄを参照すると、画素ｄについてのモード９の予測式の他の例が示されている。予測対象の画素を画素ｄ０、画素ｄ０の左上、右上、右下及び左下の画素をそれぞれ画素ａ１、ａ２、ａ３及びａ４とすると、画素ｄ０の予測画素値は、次のように計算され得る：
ｄ０＝（ａ１＋ａ２＋ａ３＋ａ４＋２）＞＞２
また、例えば画素ｄ１については、サブブロックの右端に位置するために、右上及び右下の画素が存在しない。この場合には、画素ｄ１の予測画素値は、次のように計算され得る：
ｄ１＝（ａ２＋ａ３＋１）＞＞１
また、例えば画素ｄ２については、サブブロックの右下のコーナーに位置するために、右上、右下及び左下の画素が存在しない。この場合には、画素ｄ２の予測画素値は、次のように計算され得る：
ｄ２＝ａ３
これら予測式は、画素ｄの前に画素ａが符号化済みであることから可能となる。
【０１１６】
このように、サブブロック内の画素間の相関に基づく新たな予測モードを予測モードの候補に含めることで、イントラ予測の精度を向上させ、既存の手法よりも符号化効率を高めることができる。ここで、画素値の相関は、一般的に画素間の距離が近いほど強い。そのため、マクロブロック内の隣接する画素の画素値から予測画素値を生成する上述した新たな予測モードは、イントラ予測の精度を向上させ、符号化効率を高めるための効果的な予測モードであると言える。
【０１１７】
なお、予測対象の画素がサブブロックの端部に位置する場合には、サブブロックの境界をまたいで画素値をミラー処理することにより境界の外側の画素値を補完した上で、上述した線型内挿又はＦＩＲフィルタの演算に従った予測式が適用されてもよい。また、境界の外側の画素値は、ホールド処理により補完されてもよい。例えば、図１６の上の例では、サブブロックの右端の画素ｂ０の左の３つの画素ａ０、ａ１及びａ２の画素値が、サブブロックの境界の外側の画素値としてミラー処理されている。また、図１６の下の例では、サブブロックの右端の画素ｂ０の左の画素ａ０の画素値のホールド処理により、サブブロックの境界の外側の画素値が補完されている。いずれの場合にも、画素値の補完の結果、画素ｂ０の近傍の６つの画素ａｉの画素値が利用可能となる。それにより、例えば６タップのＦＩＲフィルタを用いて画素ｂ０の予測画素値を生成することが可能となる。
【０１１８】
ところで、上述した並列的なイントラ予測による処理速度の向上、及び新たな予測モードによる符号化効率の向上という利点は、部分復号化を前提としなくても、図９及び図１０に例示した画素値の並び替えを通じてそれぞれ享受され得る。部分復号化を前提としない場合には、図８のようにマクロブロックＭＢとの間に１ライン及び１カラム空けた画素ではなく、マクロブロックＭＢのすぐ上及びすぐ左の画素が、参照画素として使用されてもよい。
【０１１９】
［１−８．予測方向の推定］
イントラ予測部４０の第１予測部４２ａ及び第２予測部４２ｂ（並びに第３予測部４２ｃ）は、予測モード情報を符号化することによる符号量の増加を抑制するために、参照画素が属するブロックに設定された予測モード（予測方向）から、符号化対象のブロックの最適な予測モード（予測方向）を推定してもよい。この場合、推定される予測モード（以下、推定予測モードという）とコスト関数値を用いて選択される最適な予測モードとが等しいときは、予測モードを推定可能であることを示す情報のみが予測モード情報として符号化され得る。予測モードを推定可能であることを示す情報とは、例えば、Ｈ．２６４／ＡＶＣにおける「MostProbableMode」に相当する。
【０１２０】
図１７は、予測方向の推定について説明するための説明図である。図１７を参照すると、符号化対象のサブブロックＳＢ０、並びに、サブブロックＳＢ０の左の参照ブロックＳＢ１及びサブブロックＳＢ０の上の参照ブロックＳＢ２が示されている。参照ブロックＳＢ１について設定された参照予測モードはＭ１、参照ブロックＳＢ２について設定された参照予測モードはＭ２である。また、符号化対象のサブブロックＳＢ０についての推定予測モードはＭ０である。
【０１２１】
Ｈ．２６４／ＡＶＣにおいて、推定予測モードＭ０は、次式により決定される：
Ｍ０＝ｍｉｎ（Ｍ１，Ｍ２）
即ち、参照予測モードＭ１及びＭ２のうち予測モード番号の小さい方が、符号化対象のサブブロックについての推定予測モードとなる。
【０１２２】
本実施形態に係るイントラ予測部４０の第１予測部４２ａは、このような推定予測モードを、図１１又は図１３に示したような並び替え後のグループごとに決定する。例えば、第１グループ（即ち、画素ａ）についての推定予測モードは、並び替え後の画素ａについての上の参照ブロック及び右の参照ブロックの参照予測モードから決定される。そして、画素ａについて決定された推定予測モードと最適な予測モードとが等しい場合（即ち、予測モードを推定可能である場合）には、第１予測部４２ａは、予測モード番号の代わりに、画素ａについて予測モードを推定可能であることを示す情報を生成し、生成した情報を出力する。
【０１２３】
このように、画素ａについての推定予測モードを参照ブロックの画素ａについての予測モードのみから決定することで、画素ａのみの部分復号化を実現する場合にも、推定予測モードを利用して符号量の増加を抑制することが可能となる。
【０１２４】
＜２．一実施形態に係る符号化時の処理の流れ＞
次に、図１８及び図１９を用いて、符号化時の処理の流れを説明する。図１８は、図２に例示した構成を有するイントラ予測部４０による符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１２５】
図１８を参照すると、まず、並び替え部４１は、フレームメモリ２５から供給される参照画像データに含まれる参照画素値を、図１０に例示した規則に従って並び替える（ステップＳ１００）。そして、並び替え部４１は、並び替え後の一連の参照画素値のうち第１画素位置（例えば、画素ａ）のための参照画素値を第１予測部４２ａへ出力する。
【０１２６】
次に、並び替え部４１は、原画像内のマクロブロックに含まれる画素値を、図９に例示した規則に従って並び替える（ステップＳ１１０）。そして、並び替え部４１は、並び替え後の一連の画素値のうち第１画素位置の画素値を第１予測部４２ａへ出力する。
【０１２７】
次に、第１予測部４２ａは、他の画素位置の画素値との相関を利用することなく、第１画素位置の画素についてのイントラ予測処理を実行する（ステップＳ１２０）。そして、第１予測部４２ａは、複数の予測モードから最適な予測モードを選択する（ステップＳ１３０）。ここで選択された最適な予測モードを表す予測モード情報（又は予測モードを推定可能であることを示す情報）は、イントラ予測部４０から可逆符号化部１６へ出力される。また、最適な予測モードに対応する予測画素値を含む予測画素データは、イントラ予測部４０から減算部１３へ出力される。
【０１２８】
次に、並び替え部４１は、第２画素位置（例えば、画素ｂ）のための参照画素値及び第２画素位置の画素値を第１予測部４２ａへ出力する。また、並び替え部４１は、第３画素位置（例えば、画素ｃ）のための参照画素値及び第３画素位置の画素値を第２予測部４２ｂへ出力する。そして、第１予測部４２ａによる第２画素位置の画素についてのイントラ予測処理と、第２予測部４２ｂによる第３画素位置の画素についてのイントラ予測処理とが並列的に実行される（ステップＳ１４０）。そして、第１予測部４２ａ及び第２予測部４２ｂは、それぞれ、複数の予測モードから最適な予測モードを選択する（ステップＳ１５０）。なお、ここでの複数の予測モードには、第１画素位置の画素値との相関に基づく上述した新たな予測モードが含まれ得る。ここで選択された最適な予測モードを表す予測モード情報は、イントラ予測部４０から可逆符号化部１６へ出力される。また、最適な予測モードに対応する予測画素値を含む予測画素データは、イントラ予測部４０から減算部１３へ出力される。
【０１２９】
次に、並び替え部４１は、第４画素位置（例えば、画素ｄ）のための参照画素値及び第４画素位置の画素値を第１予測部４２ａへ出力する。そして、第１予測部４２ａは、第４画素位置の画素についてのイントラ予測処理を実行する（ステップＳ１６０）。そして、第１予測部４２ａは、複数の予測モードから最適な予測モードを選択する（ステップＳ１７０）。なお、ここでの複数の予測モードには、第２画素位置及び第３画素位置の画素値との相関に基づく上述した新たな予測モードが含まれ得る。ここで選択された最適な予測モードを表す予測モード情報は、イントラ予測部４０から可逆符号化部１６へ出力される。また、最適な予測モードに対応する予測画素値を含む予測画素データは、イントラ予測部４０から減算部１３へ出力される。
【０１３０】
図１９は、図１２に例示した構成を有するイントラ予測部４０による符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１３１】
図１９を参照すると、まず、並び替え部４１は、フレームメモリ２５から供給される参照画像データに含まれる参照画素値を、図１０に例示した規則に従って並び替える（ステップＳ１００）。そして、並び替え部４１は、並び替え後の一連の参照画素値のうち第１画素位置（例えば、画素ａ）のための参照画素値を第１予測部４２ａへ出力する。
【０１３２】
次に、並び替え部４１は、原画像内のマクロブロックに含まれる画素値を、図９に例示した規則に従って並び替える（ステップＳ１１０）。そして、並び替え部４１は、並び替え後の一連の画素値のうち第１画素位置の画素値を第１予測部４２ａへ出力する。
【０１３３】
次に、第１予測部４２ａは、他の画素位置の画素値との相関を利用することなく、第１画素位置の画素についてのイントラ予測処理を実行する（ステップＳ１２０）。そして、第１予測部４２ａは、複数の予測モードから最適な予測モードを選択する（ステップＳ１３０）。ここで選択された最適な予測モードを表す予測モード情報（又は予測モードを推定可能であることを示す情報）は、イントラ予測部４０から可逆符号化部１６へ出力される。また、最適な予測モードに対応する予測画素値を含む予測画素データは、イントラ予測部４０から減算部１３へ出力される。
【０１３４】
次に、並び替え部４１は、第２画素位置（例えば、画素ｂ）のための参照画素値及び第２画素位置の画素値を第１予測部４２ａへ出力する。また、並び替え部４１は、第３画素位置（例えば、画素ｃ）のための参照画素値及び第３画素位置の画素値を第２予測部４２ｂへ出力する。また、並び替え部４１は、第４画素位置（例えば、画素ｄ）のための参照画素値及び第４画素位置の画素値を第３予測部４２ｃへ出力する。そして、第１予測部４２ａによる第２画素位置の画素についてのイントラ予測処理、第２予測部４２ｂによる第３画素位置の画素についてのイントラ予測処理、及び第３予測部４２ｃによる第４画素位置の画素についてのイントラ予測処理が並列的に実行される（ステップＳ１４５）。そして、第１予測部４２ａ、第２予測部４２ｂ及び第３予測部４２ｃは、それぞれ、複数の予測モードから最適な予測モードを選択する（ステップＳ１５５）。なお、ここでの複数の予測モードには、第１画素位置の画素値との相関に基づく上述した新たな予測モードが含まれ得る。ここで選択された最適な予測モードを表す予測モード情報は、イントラ予測部４０から可逆符号化部１６へ出力される。また、最適な予測モードに対応する予測画素値を含む予測画素データは、イントラ予測部４０から減算部１３へ出力される。
【０１３５】
＜３．一実施形態に係る画像復号化装置の構成例＞
本節では、図２０及び図２１を用いて、本発明の一実施形態に係る画像復号化装置の構成例について説明する。
【０１３６】
［３−１．全体的な構成例］
図２０は、本発明の一実施形態に係る画像復号化装置６０の構成の一例を示すブロック図である。図２０を参照すると、画像復号化装置６０は、蓄積バッファ６１、可逆復号化部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並べ替えバッファ６７、Ｄ／Ａ（Digital  to  Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、動き補償部８０、並びにイントラ予測部９０を備える。
【０１３７】
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【０１３８】
可逆復号化部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号化する。また、可逆復号化部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号化する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、ブロックヘッダ内のインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号化部６２は、インター予測に関する情報を動き補償部８０へ出力する。また、可逆復号化部６２は、イントラ予測に関する情報をイントラ予測部９０へ出力する。
【０１３９】
逆量子化部６３は、可逆復号化部６２による復号化後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【０１４０】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号化画像データを生成する。そして、加算部６５は、生成した復号化画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。
【０１４１】
デブロックフィルタ６６は、加算部６５から入力される復号化画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号化画像データを並べ替えバッファ６７及びフレームメモリ６９へ出力する。
【０１４２】
並べ替えバッファ６７は、デブロックフィルタ６６から入力される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【０１４３】
Ｄ／Ａ変換部６８は、並べ替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号化装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
【０１４４】
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号化画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号化画像データを記憶媒体を用いて記憶する。
【０１４５】
セレクタ７０は、可逆復号化部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ７０からの画像データの出力先を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング後の復号化画像データを参照画像データとして動き補償部８０へ出力する。また、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング前の復号化画像データを参照画像データとしてイントラ予測部９０へ出力する。
【０１４６】
セレクタ７１は、可逆復号化部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７１は、インター予測モードが指定された場合には、動き補償部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部９０から出力される予測画像データを加算部６５へ供給する。
【０１４７】
動き補償部８０は、可逆復号化部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部８０は、生成した予測画像データをセレクタ７１へ出力する。
【０１４８】
イントラ予測部９０は、可逆復号化部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部９０は、生成した予測画像データをセレクタ７１へ出力する。
【０１４９】
なお、画像復号化装置６０の処理性能により又はディスプレイ解像度によりサポートし得ない高解像度の画像データが入力された場合には、イントラ予測部９０は、例えば、各画素ブロック内の第１画素位置についてのみイントラ予測処理を行い、低解像度の予測画像データを生成する。この場合、動き補償部８０もまた、第１画素位置についてのみインター予測処理を行い、低解像度の予測画像データを生成してよい。
【０１５０】
一方、入力された画像データの解像度をサポートし得る場合には、イントラ予測部９０は、マクロブロックに含まれる全ての画素位置についてイントラ予測処理を行ってよい。その際、イントラ予測部９０は、イントラ予測処理の一部を複数の処理分岐を用いて並列的に実行する。
【０１５１】
イントラ予測部９０によるイントラ予測処理の並列化に応じて、イントラ予測モードについての、上述した逆量子化部６３、逆直交変換部６４、及び加算部６５による処理もまた並列化され得る。この場合、図２０に示しているように、逆量子化部６３、逆直交変換部６４、加算部６５及びイントラ予測部９０は、並列処理セグメント７２を形成する。そして、並列処理セグメント７２内の各部は、複数の処理分岐を有する。並列処理セグメント７２内の各部は、イントラ予測モードにおいては複数の処理分岐を使用して並列処理を実行する一方、インター予測モードにおいては１つの処理分岐のみを使用してよい。
【０１５２】
［３−２．イントラ予測部の構成例］
図２１及び図２２は、それぞれ、図２０に示した画像復号化装置６０のイントラ予測部９０の詳細な構成の一例を示すブロック図である。
【０１５３】
（１）第１の構成例
図２１は、図２に例示したエンコード側のイントラ予測部４０の構成例に対応する、デコード側の第１の構成例を示している。図２１を参照すると、イントラ予測部９０は、判定部９１、並び替え部９２、及び予測部９３を有する。また、予測部９３は、並列的に配置された２つの処理分岐である第１予測部９３ａ及び第２予測部９３ｂを含む。
【０１５４】
判定部９１は、入力された符号化ストリームに含まれる画像データの解像度に基づいて、部分復号化を行うべきか否かを判定する。例えば、画像データの解像度が画像復号化装置６０の処理性能又はディスプレイ解像度によりサポートし得ない高い解像度である場合には、判定部９１は、部分復号化を行うことを決定する。また、例えば、画像データの解像度が画像復号化装置６０の処理性能及びディスプレイ解像度によりサポートし得る解像度である場合には、判定部９１は、画像データの全体を復号化することを決定する。また、判定部９１は、例えば、符号化ストリームのヘッダ情報から、当該符号化ストリームに含まれる画像データが部分復号化可能な画像データであるか否かを判定してもよい。そして、判定部９１は、判定の結果を並び替え部９２、第１予測部９３ａ及び第２予測部９３ｂへ出力する。
【０１５５】
並び替え部９２は、フレームメモリ６９から供給される参照画像データに含まれる参照画素値を、図１０に関連して説明した規則に従って並び替える。そして、並び替え部９２は、並び替え後の参照画素値のうち第１画素位置（例えば、画素ａ）のための参照画素値を第１予測部９３ａへ出力する。
【０１５６】
また、並び替え部９２は、画像データの全体を復号化することが判定部９１により決定された場合には、並び替え後の参照画素値のうち第２画素位置（例えば、画素ｂ）のための参照画素値を第１予測部９３ａへ出力すると共に、第３画素位置（例えば、画素ｃ）のための参照画素値を第２予測部９３ｂへ出力する。さらに、並び替え部９２は、並び替え後の参照画素値のうち第４画素位置（例えば、画素ｄ）のための参照画素値を第１予測部９３ａへ出力する。また、並び替え部９２は、第１予測部９３ａ及び第２予測部９３ｂにより生成される第１、第２、第３及び第４画素位置の予測画素値を、図９の例と逆の手順で元の順序に並び替える。
【０１５７】
第１予測部９３ａは、第１モードバッファ９４ａ及び第１予測計算部９５ａを含む。第１モードバッファ９４ａは、可逆復号化部６２から入力されるイントラ予測に関する情報に含まれる予測モード情報を取得し、取得した予測モード情報を記憶媒体を用いて一時的に記憶する。予測モード情報は、例えば、イントラ予測の処理単位であるサブブロックのサイズを表す情報（例えば、イントラ４×４予測モード又はイントラ８×８予測モードなど）を含む。また、予測モード情報は、例えば、複数の予測方向のうち画像の符号化の際に最適であるとして選択された予測方向を表す情報を含む。また、予測モード情報は、予測モードを推定可能であることを示す情報を含み得るが、この場合には、予測モード情報は予測方向を表す予測モード番号を含まない。第１予測計算部９５ａは、第１モードバッファ９４ａに記憶されている予測モード情報に従って、第１画素位置の予測画素値を計算する。第１画素位置の予測画素値の計算に際しては、第１予測計算部９５ａは、他の画素位置に対応する参照画素の画素値との相関を利用しない。なお、予測モード情報が第１画素位置について予測モードを推定可能であることを示している場合には、第１予測計算部９５ａは、第１画素位置の予測画素値の計算のための予測モードを、参照ブロックの第１画素位置の予測画素値の計算の際に選択した予測モードから推定する。
【０１５８】
部分復号化を行うことが判定部９１により決定された場合には、このように第１予測部９３ａにより生成された予測画素値のみを含む予測画像データが、並び替え部９２を介してセレクタ７１へ出力される。即ち、この場合、図１１の第１グループに属する画素についてのみ画素値が復号化され、第２グループ及び第３グループに属する画素についての処理はスキップされる。
【０１５９】
また、画像データの全体を復号化することが判定部９１により決定された場合には、第１予測計算部９５ａは、第１モードバッファ９４ａに記憶されている予測モード情報に従って、さらに第２画素位置及び第４画素位置の予測画素値を順に計算する。第２画素位置の予測画素値の計算に際しては、第１予測計算部９５ａは、例えば予測モード情報がモード９を示している場合に、第１画素位置の画素値との間の相関を利用し得る。また、第４画素位置の予測画素値の計算に際しては、第１予測計算部９５ａは、例えば予測モード情報がモード９を示している場合に、第２画素位置の画素値との間の相関及び第３画素位置の画素値との間の相関を利用し得る。
【０１６０】
第２予測部９３ｂは、第２モードバッファ９４ｂ及び第２予測計算部９５ｂを含む。画像データの全体を復号化することが判定部９１により決定された場合には、第２予測計算部９５ｂは、第２モードバッファ９４ｂに記憶されている予測モード情報に従って、第３画素位置の予測画素値を計算する。第１予測計算部９５ａによる第２画素位置の予測画素値の計算と第２予測計算部９５ｂによる第３画素位置の予測画素値の計算とは、並列的に行われる。第３画素位置の予測画素値の計算に際しては、第２予測計算部９５ｂは、例えば予測モード情報がモード９を示している場合に、第１画素位置の画素値との間の相関を利用し得る。
【０１６１】
画像データの全体を復号化することが判定部９１により決定された場合には、このように第１予測部９３ａ及び第２予測部９３ｂにより生成された予測画素値が、並び替え部９２へ出力される。そして、並び替え部９２は、予測画素値の順序を元の順序に並び替えることにより予測画像データを生成し、生成した予測画像データをセレクタ７１へ出力する。即ち、この場合、図１１の第１グループに属する画素だけでなく、第２グループ及び第３グループに属する画素についても画素値が復号化される。
【０１６２】
（２）第２の構成例
図２２は、図１２に例示したエンコード側のイントラ予測部４０の構成例に対応する、デコード側の第２の構成例を示している。図２２を参照すると、イントラ予測部９０は、判定部９１、並び替え部９２、及び予測部９３を有する。また、予測部９３は、並列的に配置された３つの処理分岐である第１予測部９３ａ、第２予測部９３ｂ及び第３予測部９３ｃを含む。
【０１６３】
判定部９１は、入力された符号化ストリームに含まれる画像データの解像度に基づいて、部分復号化を行うべきか否かを判定する。そして、判定部９１は、判定の結果を並び替え部９２、第１予測部９３ａ、第２予測部９３ｂ及び第３予測部９３ｃへ出力する。
【０１６４】
並び替え部９２は、フレームメモリ６９から供給される参照画像データに含まれる参照画素値を、図１０に関連して説明した規則に従って並び替える。そして、並び替え部９２は、並び替え後の参照画素値のうち第１画素位置のための参照画素値を第１予測部９３ａへ出力する。
【０１６５】
また、並び替え部９２は、画像データの全体を復号化することが判定部９１により決定された場合には、並び替え後の参照画素値のうち第２画素位置のための参照画素値を第１予測部９３ａへ、第３画素位置のための参照画素値を第２予測部９３ｂへ、第４画素位置のための参照画素値を第３予測部９３ｃへ出力する。
【０１６６】
第１予測計算部９５ａは、第１モードバッファ９４ａに記憶されている予測モード情報に従って、第１画素位置の予測画素値を計算する。第１画素位置の予測画素値の計算に際しては、第１予測計算部９５ａは、他の画素位置に対応する参照画素の画素値との相関を利用しない。
【０１６７】
部分復号化を行うことが判定部９１により決定された場合には、このように第１予測部９３ａにより生成された予測画素値のみを含む予測画像データが、並び替え部９２を介してセレクタ７１へ出力される。即ち、この場合、図１３の第１グループに属する画素についてのみ画素値が復号化され、第２グループに属する画素についての処理はスキップされる。
【０１６８】
また、画像データの全体を復号化することが判定部９１により決定された場合には、第１予測計算部９５ａは、第１モードバッファ９４ａに記憶されている予測モード情報に従って、さらに第２画素位置の予測画素値を計算する。第２画素位置の予測画素値の計算に際しては、第１予測計算部９５ａは、例えば予測モード情報がモード９を示している場合に、第１画素位置の画素値との間の相関を利用し得る。
【０１６９】
また、第２予測計算部９５ｂは、第２モードバッファ９４ｂに記憶されている予測モード情報に従って、第３画素位置の予測画素値を計算する。第３画素位置の予測画素値の計算に際しては、第２予測計算部９５ｂは、例えば予測モード情報がモード９を示している場合に、第１画素位置の画素値との間の相関を利用し得る。
【０１７０】
第３予測部９３ｃは、第３モードバッファ９４ｃ及び第３予測計算部９５ｃを含む。画像データの全体を復号化することが判定部９１により決定された場合には、第３予測計算部９５ｃは、第３モードバッファ９４ｃに記憶されている予測モード情報に従って、第４画素位置の予測画素値を計算する。第１予測計算部９５ａによる第２画素位置の予測画素値の計算、第２予測計算部９５ｂによる第３画素位置の予測画素値の計算、及び第３予測計算部９５ｃによる第４画素位置の予測画素値の計算は、並列的に行われる。第４画素位置の予測画素値の計算に際しては、第３予測計算部９５ｃは、例えば予測モード情報がモード９を示している場合に、第１画素位置の画素値との間の相関を利用し得る。
【０１７１】
画像データの全体を復号化することが判定部９１により決定された場合には、このように第１予測部９３ａ、第２予測部９３ｂ及び第３予測部９３ｃにより生成された予測画素値が、並び替え部９２へ出力される。そして、並び替え部９２は、予測画素値の順序を元の順序に並び替えることにより予測画像データを生成し、生成した予測画像データをセレクタ７１へ出力する。即ち、この場合、図１３の第１グループに属する画素だけでなく、第２グループに属する画素についても画素値が復号化される。
【０１７２】
＜４．一実施形態に係る復号化時の処理の流れ＞
次に、図２３及び図２４を用いて、復号化時の処理の流れを説明する。図２３は、図２１に例示した構成を有するイントラ予測部９０による復号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１７３】
図２３を参照すると、まず、並び替え部９２は、フレームメモリ６９から供給される参照画像データに含まれる参照画素値を、図１０に例示した規則に従って並び替える（ステップＳ２００）。そして、並び替え部９２は、並び替え後の参照画素値のうち第１画素位置（例えば、画素ａ）のための参照画素値を第１予測部９３ａへ出力する。
【０１７４】
次に、第１予測部９３ａは、可逆復号化部６２から入力される第１画素位置のための予測モード情報を取得する（ステップＳ２１０）。次に、第１予測部９３ａは、取得した予測モード情報により表される予測モードに従って、第１画素位置のイントラ予測処理を実行し、予測画素値を生成する（ステップＳ２２０）。
【０１７５】
また、判定部９１は、入力された符号化ストリームに含まれる画像データの解像度に基づいて、部分復号化を行うべきか否かを判定する（ステップＳ２３０）。ここで、部分復号化を行うことが判定部９１により決定されると、第１画素位置のみの画素値を含む予測画像データが、並び替え部９２を介してセレクタ７１へ出力される（ステップＳ２３５）。一方、部分復号化を行わないこと、即ち、画像データの全体を復号化することが決定されると、処理はステップＳ２４０へ進む。
【０１７６】
ステップＳ２４０では、第１予測部９３ａが第２画素位置（例えば、画素ｂ）のための予測モード情報を取得すると共に、第２予測部９３ｂが第３画素位置（例えば、画素ｃ）のための予測モード情報を取得する（ステップＳ２４０）。また、並び替え部９２は、並び替え後の参照画素値のうち第２画素位置のための参照画素値を第１予測部９３ａへ出力する。また、並び替え部９２は、並び替え後の参照画素値のうち第３画素位置のための参照画素値を第２予測部９３ｂへ出力する。そして、第１予測部９３ａによる第２画素位置のイントラ予測処理と、第２予測部９３ｂによる第３画素位置のイントラ予測処理とが並列的に実行され、予測画素値が生成される（ステップＳ２５０）。
【０１７７】
次に、第１予測部９３ａは、第４画素位置（例えば、画素ｄ）のための予測モード情報を取得する（ステップＳ２６０）。また、並び替え部９２は、並び替え後の参照画素値のうち第４画素位置のための参照画素値を第１予測部９３ａへ出力する。そして、第１予測部９３ａは、第４画素位置のイントラ予測処理を実行し、予測画素値を生成する（ステップＳ２７０）。
【０１７８】
次に、並び替え部９２は、第１予測部９３ａ及び第２予測部９３ｂにより生成された第１、第２、第３及び第４画素位置の予測画素値の順序を元の順序に並び替えることにより予測画像データを生成する（ステップＳ２８０）。そして、並び替え部９２は、生成した予測画素データをセレクタ７１へ出力する（ステップＳ２９０）。
【０１７９】
図２４は、図２２に例示した構成を有するイントラ予測部９０による復号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１８０】
図２４を参照すると、ステップＳ２００からステップＳ２３０までの処理は、図２３と同様である。ステップＳ２３０において、部分復号化を行うことが判定部９１により決定されると、第１画素位置のみの画素値を含む予測画像データが、並び替え部９２を介してセレクタ７１へ出力される（ステップＳ２３５）。一方、部分復号化を行わないこと、即ち、画像データの全体を復号化することが決定されると、処理はステップＳ２４５へ進む。
【０１８１】
ステップＳ２４５では、第１予測部９３ａが第２画素位置のための予測モード情報を、第２予測部９３ｂが第３画素位置のための予測モード情報を、第３予測部９３ｃが第４画素位置のための予測モード情報をそれぞれ取得する（ステップＳ２４５）。そして、第１予測部９３ａによる第２画素位置のイントラ予測処理、第２予測部９３ｂによる第３画素位置のイントラ予測処理、及び第３予測部９３ｃによる第４画素位置のイントラ予測処理が並列的に実行され、予測画素値が生成される（ステップＳ２５５）。
【０１８２】
次に、並び替え部９２は、第１予測部９３ａ、第２予測部９３ｂ及び第３予測部９３ｃにより生成された第１、第２、第３及び第４画素位置の予測画素値の順序を元の順序に並び替えることにより予測画像データを生成する（ステップＳ２８０）。そして、並び替え部９２は、生成した予測画素データをセレクタ７１へ出力する（ステップＳ２９０）。
【０１８３】
＜５．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号化装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０１８４】
［５−１．第１の応用例］
図２５は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０１８５】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１８６】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic  Program  Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０１８７】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号化する。そして、デコーダ９０４は、復号化処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号化処理により生成される音声データを音声信号処理部９０７へ出力する。
【０１８８】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical  User  Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０１８９】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
【０１９０】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０１９１】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号化されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１９２】
制御部９１０は、ＣＰＵ（Central  Processing  Unit）などのプロセッサ、並びにＲＡＭ（Random  Access  Memory）及びＲＯＭ（Read  Only  Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０１９３】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０１９４】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０１９５】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号化装置６０の機能を有する。それにより、テレビジョン装置９００において、イントラ予測モードでの部分復号化が可能となる。
【０１９６】
［５−２．第２の応用例］
図２６は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０１９７】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０１９８】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０１９９】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号化して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０２００】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号化して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０２０１】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０２０２】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
【０２０３】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号化してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号化し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０２０４】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号化装置６０の機能を有する。それにより、携帯電話機９２０及び携帯電話機９２０との間で通信する他の装置において、イントラ予測モードでの部分復号化が可能となる。
【０２０５】
［５−３．第３の応用例］
図２７は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号化する。
【０２０６】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard  Disk  Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen  Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０２０７】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０２０８】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０２０９】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０２１０】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０２１１】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０２１２】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０２１３】
デコーダ９４７は、符号化ビットストリームを復号化し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０２１４】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０２１５】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０２１６】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０２１７】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号化装置６０の機能を有する。それにより、記録再生装置９４０及び記録再生装置９４０から出力される映像を利用する他の装置において、イントラ予測モードでの部分復号化が可能となる。
【０２１８】
［５−４．第４の応用例］
図２８は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０２１９】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０２２０】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０２２１】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０２２２】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０２２３】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号化し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０２２４】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０２２５】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０２２６】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid  State  Drive）のような非可搬性の記憶部が構成されてもよい。
【０２２７】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０２２８】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０２２９】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号化装置６０の機能を有する。それにより、撮像装置９６０及び撮像装置９６０から出力される映像を利用する他の装置において、イントラ予測モードでの部分復号化が可能となる。
【０２３０】
＜６．まとめ＞
ここまで、図１〜図２８を用いて、本発明の一実施形態に係る画像符号化装置１０及び画像復号化装置６０について説明した。本実施形態によれば、イントラ予測モードにおいて、画像の符号化の際には、隣り合う画素ブロック内の共通する画素位置の画素値が並び替え後に隣接するように並び替えられた後、第１画素位置の画素についての予測画素値が、他の画素位置の画素値との相関を利用することなく生成される。また、画像の復号化の際には、画像内の参照画素の画素値が同様に並び替えられた後、少なくとも第１画素位置の画素についての予測画素値が、他の画素位置に対応する参照画素の画素値との相関を利用することなく生成される。従って、イントラ予測モードにおいて、上記画像の全体ではなく上記第１画素位置の画素のみを復号化する部分復号化が可能となる。また、並び替えによってまとめられた第１画素位置の画素のみでサブブロックが形成され、当該サブブロックごとにイントラ予測が行われる。そのため、第１画素位置の画素のみを予測対象とする場合にも、既存のイントラ予測方式と同様の様々な予測モードを適用することが可能である。
【０２３１】
また、本実施形態によれば、第２画素位置の画素についての予測画素値を、隣接する第１画素位置の画素値との相関に基づく予測モードに従って生成することができる。同様に、第３画素位置の画素についての予測画素値を、隣接する第１画素位置の画素値との相関に基づく予測モードに従って生成することができる。また、第４画素位置の画素についての予測画素値を、隣接する第２及び第３画素位置の画素値との相関、又は第１画素位置の画素値との相関に基づく予測モードに従って生成することができる。即ち、距離の近い画素間の相関に基づく予測モードが利用可能となるため、イントラ予測の精度を向上させ、既存の手法よりも符号化効率を高めることができる。
【０２３２】
また、本実施形態によれば、第２画素位置の予測画素値の生成と第３画素位置の予測画素値の生成とが並列的に実行され得る。第４画素位置の予測画素値の生成もまた、第２画素位置の予測画素値の生成及び第３画素位置の予測画素値の生成と並列的に実行され得る。それにより、画像符号化処理及び画像復号化処理の処理速度を高めることができる。
【０２３３】
また、本実施形態によれば、第１画素位置のみの部分復号化を実現する場合にも、推定予測モードを利用して符号量の増加を抑制することが可能である。
【０２３４】
なお、本明細書では、主に画素ブロックのサイズが２×２画素である例について説明した。しなしながら、４×４画素又はそれ以上のサイズを有する画素ブロックを用いることも可能である。例えば、画素ブロックのサイズを４×４画素とした場合には、１つの画素ブロックは、１６種類の画素位置を有する。この場合、第１画素位置のみの部分復号化に加えて、第１〜第４画素位置のみの部分復号化も可能である。即ち、画素ブロックのサイズを大きくすれば、部分復号化のスケーラビリティを拡張することができる。
【０２３５】
また、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号化側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号化時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０２３６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０２３７】
１０      画像符号化装置（画像処理装置）
４１      並び替え部
４２      予測部
６０      画像復号化装置（画像処理装置）
９１      判定部
９２      並び替え部
９３      予測部
【図１】
2012080370.tif 000003
【図２】
2012080370.tif 000004
【図３】
2012080370.tif 000005
【図４】
2012080370.tif 000006
【図５】
2012080370.tif 000007
【図６】
2012080370.tif 000008
【図７】
2012080370.tif 000009
【図８】
2012080370.tif 000010
【図９】
2012080370.tif 000011
【図１０】
2012080370.tif 000012
【図１１】
2012080370.tif 000013
【図１２】
2012080370.tif 000014
【図１３】
2012080370.tif 000015
【図１４】
2012080370.tif 000016
【図１５Ａ】
2012080370.tif 000017
【図１５Ｂ】
2012080370.tif 000018
【図１５Ｃ】
2012080370.tif 000019
【図１５Ｄ】
2012080370.tif 000020
【図１６】
2012080370.tif 000021
【図１７】
2012080370.tif 000022
【図１８】
2012080370.tif 000023
【図１９】
2012080370.tif 000024
【図２０】
2012080370.tif 000025
【図２１】
2012080370.tif 000026
【図２２】
2012080370.tif 000027
【図２３】
2012080370.tif 000028
【図２４】
2012080370.tif 000029
【図２５】
2012080370.tif 000030
【図２６】
2012080370.tif 000031
【図２７】
2012080370.tif 000032
【図２８】
2012080370.tif 000033