(57)【要約】【課題】動的に構築される予測関数に基づくイントラ予測が行われる場合に、予測関数の構築に要する処理コストの増加を回避し又は緩和すること。【解決手段】復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、を備える画像処理装置を提供する。【選択図】図２２
2013034162.tif 000002
【特許請求の範囲】
【請求項１】
復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、
前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、
前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、
を備える画像処理装置。
【請求項２】
前記制御部は、前記ブロックサイズに応じて前記比率を制御する、請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、前記ブロックサイズが第１のサイズである場合の前記比率を、前記ブロックサイズが前記第１のサイズよりも小さい第２のサイズである場合の前記比率よりも小さくなるように制御する、請求項２に記載の画像処理装置。
【請求項４】
前記制御部は、前記ブロックサイズが所定のサイズを上回る場合に前記参照画素数が一定となるように、前記比率を制御する、請求項３に記載の画像処理装置。
【請求項５】
前記係数算出部は、前記所定のサイズを上回る複数のブロックサイズについて共通的な回路又はロジックを用いて前記係数を算出する、請求項４に記載の画像処理装置。
【請求項６】
前記制御部は、ブロックサイズと前記比率との間の予め定義されるマッピングに従って、前記比率を制御する、請求項１に記載の画像処理装置。
【請求項７】
前記制御部は、前記係数の算出の際に間引かれる参照画素の数を変化させることにより、前記比率を制御する、請求項１に記載の画像処理装置。
【請求項８】
前記制御部は、前記ブロックサイズが所定のサイズを下回る場合には、間引かれる参照画素の数をゼロとする、請求項７に記載の画像処理装置。
【請求項９】
前記制御部は、前記ブロックの垂直方向のサイズに対する前記ブロックの左の参照画素数の比率である第１の比率と、前記ブロックの水平方向のサイズに対する前記ブロックの上の参照画素数の比率である第２の比率とを別々に制御する、請求項１に記載の画像処理装置
【請求項１０】
前記制御部は、同じブロックサイズについて前記第１の比率が前記第２の比率以下となるように前記第１の比率又は前記第２の比率を制御する、請求項９に記載の画像処理装置。
【請求項１１】
前記制御部は、短距離イントラ予測法が用いられる場合には、前記第１の比率及び前記第２の比率のうちサイズのより大きい方向に対応する比率のみを制御する、請求項９に記載の画像処理装置。
【請求項１２】
前記制御部は、前記色差成分の解像度を表すクロマフォーマットが４：２：２である場合に、前記ブロックの左の参照画素数が前記ブロックの上の参照画素数と等しくなるように、前記第１の比率を制御する、請求項９に記載の画像処理装置。
【請求項１３】
前記制御部は、前記色差成分の解像度を表すクロマフォーマットに応じて前記比率を制御する、請求項１に記載の画像処理装置。
【請求項１４】
前記制御部は、前記クロマフォーマットが第１の解像度を表している場合の前記比率を、前記クロマフォーマットが前記第１の解像度よりも低い第２の解像度を表している場合の前記比率よりも小さくなるように制御する、請求項１３に記載の画像処理装置。
【請求項１５】
前記制御部は、装置のケイパビリティがより低い場合に前記比率がより小さくなるように、前記比率を制御する、請求項１に記載の画像処理装置。
【請求項１６】
前記係数算出部は、画素値のビット深度が所定のビット数を上回る場合に、前記所定のビット数に削減された参照画素の画素値を用いて前記係数を算出する、請求項５に記載の画像処理装置。
【請求項１７】
復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、
前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、
前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、
を含む画像処理方法。
【請求項１８】
符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、
前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、
前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、
を備える画像処理装置。
【請求項１９】
符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、
前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、
前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、
を含む画像処理方法。
【請求項２０】
復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行う予測部と、
前記予測部によりイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第１の比率で間引く間引き部と、
を備える画像処理装置。
【請求項２１】
前記予測部は、各色差成分に対応する輝度成分を第２の比率で間引き、間引かれた輝度成分に対応する各色差成分の予測値を、間引かれていない輝度成分の値を用いて生成する、請求項２０に記載の画像処理装置。
【請求項２２】
前記予測部は、前記第２の比率を前記第１の比率に応じて決定する、請求項２１に記載の画像処理装置。
【請求項２３】
前記予測部は、前記間引き部により間引かれる前記参照画素の位置に対応する位置の輝度成分を間引く、請求項２２に記載の画像処理装置。
【請求項２４】
前記予測部は、符号化ストリームのヘッダから取得されるパラメータに基づいて、前記第２の比率を決定する、請求項２１に記載の画像処理装置。
【請求項２５】
前記予測部は、符号化ストリームのヘッダから取得されるパラメータに基づいて、間引かれる輝度成分の位置を決定する、請求項２１に記載の画像処理装置。
【請求項２６】
復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行うことと、
前記色差成分のイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第１の比率で間引くことと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、デジタル画像を効率的に伝送し又は蓄積することを目的とし、画像に特有の冗長性を利用して、例えば離散コサイン変換などの直交変換と動き補償とにより画像の情報量を圧縮する圧縮技術が普及している。例えば、ＩＴＵ−Ｔの策定したＨ．２６ｘ標準又はＭＰＥＧ（Moving  Picture  Experts  Group）の策定したＭＰＥＧ−ｙ標準などの標準技術に準拠した画像符号化装置及び画像復号装置は、放送局による画像の蓄積及び配信、並びに一般ユーザによる画像の受信及び蓄積など、様々な場面で広く利用されている。
【０００３】
Ｈ．２６ｘ標準（ITU-T  Q6/16  VCEG）は、当初、テレビ電話又はテレビ会議などの通信の用途に適合する符号化を目的として策定された標準規格である。Ｈ．２６ｘ標準は、ＭＰＥＧ−ｙ標準と比較して、符号化及び復号により多くの演算量を要する一方、より高い圧縮率を実現できることが知られている。また、ＭＰＥＧ４の活動の一環としてのJoint  Model  of  Enhanced-Compression  Video  Codingでは、Ｈ．２６ｘ標準をベースとしながら新たな機能をも取り入れることで、より高い圧縮率を実現可能な標準規格が策定された。この標準規格は、２００３年３月に、Ｈ．２６４及びＭＰＥＧ−４  Ｐａｒｔ１０（Advanced  Video  Coding；ＡＶＣ）という名称で国際標準となった。
【０００４】
上述した画像符号化方式において重要な技術の１つは、画面内予測、即ちイントラ予測である。イントラ予測は、画像内の隣り合うブロック間の相関を利用し、あるブロック内の画素値を隣り合う他のブロックの画素値から予測することで、符号化される情報量を削減する技術である。ＭＰＥＧ４以前の画像符号化方式では、直交変換係数の直流成分及び低周波成分のみがイントラ予測の対象とされていたが、Ｈ．２６４／ＡＶＣでは、全ての画素値についてイントラ予測が可能となった。イントラ予測を用いることで、例えば青空の画像のように、画素値の変化の緩やかな画像については、圧縮率の大幅な向上が見込まれる。
【０００５】
Ｈ．２６４／ＡＶＣでは、例えば、４×４画素、８×８画素又は１６×１６画素のブロックを１つの処理単位（即ち、予測単位（Prediction  Unit：ＰＵ））として、イントラ予測が行われ得る。また、Ｈ．２６４／ＡＶＣに続く次世代の画像符号化方式として標準化が進められているＨＥＶＣ（High  Efficiency  Video  Coding）では、予測単位のサイズは、３２×３２画素及び６４×６４画素にまで拡張されようとしている（下記非特許文献１参照）。
【０００６】
イントラ予測に際しては、通常、予測対象のブロックの画素値を予測するために最適な予測モードが、複数の予測モードから選択される。予測モードは、典型的には、参照画素から予測対象画素への予測方向によって区別され得る。例えば、Ｈ．２６４／ＡＶＣにおいて、色差成分の予測に際しては、平均値予測、水平予測、垂直予測及び平面予測という４つの予測モードが選択可能である。さらに、ＨＥＶＣでは、動的に構築される輝度成分の線型関数を予測関数として用いて色差成分の画素値を予測する、線型モデル（ＬＭ：Linear  Model）モードと呼ばれる追加的な予測モードが採用される見込みである（下記非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Sung-Chang  Lim，  Hahyun  Lee，  et  al.  “Intra  coding  using  extended  block  size”（VCEG-AL28，2009年7月）
【非特許文献２】Jianle  Chen，  et  al.  “CE6.a.4:  Chroma  intra  prediction  by  reconstructed  luma  samples”（JCTVC-E266，2011年3月）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記非特許文献２に記載されている手法では、ＬＭモードの予測関数を構築するために要する処理コストが、参照画素が多くなるに従って増加する。そのため、予測単位のサイズが最大で６４×６４画素にまで拡張されるＨＥＶＣでは、ＬＭモードの採用により増加する処理コストが、符号化及び復号のパフォーマンスを低下させる恐れがある。
【０００９】
従って、ＬＭモードのように、動的に構築される予測関数に基づくイントラ予測が行われる場合に、予測関数の構築に要する処理コストの増加を回避し又は緩和することのできる手法が提供されることが望ましい。
【課題を解決するための手段】
【００１０】
本開示によれば、復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、を備える画像処理装置が提供される。
【００１１】
上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。
【００１２】
また、本開示によれば、復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、を含む画像処理方法が提供される。
【００１３】
また、本開示によれば、符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、を備える画像処理装置が提供される。
【００１４】
上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。
【００１５】
また、本開示によれば、符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、を含む画像処理方法が提供される。
【００１６】
また、本開示によれば、復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行う予測部と、前記予測部によりイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第１の比率で間引く間引き部と、を備える画像処理装置が提供される。
【００１７】
上記画像処理装置は、画像を符号化する画像符号化装置として実現されてもよく、画像を復号する画像復号装置として実現されてもよい。
【００１８】
また、本開示によれば、復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行うことと、前記色差成分のイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第１の比率で間引くことと、を含む画像処理方法が提供される。
【発明の効果】
【００１９】
本開示に係る技術によれば、動的に構築される予測関数に基づくイントラ予測が行われる場合に、予測関数の構築に要する処理コストの増加を回避し又は緩和することができる。
【図面の簡単な説明】
【００２０】
【図１】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２】一実施形態に係る画像符号化装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図３】４×４画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図４】図３の例に関連する予測方向について説明するための説明図である。
【図５】図３の例に関連する参照画素について説明するための説明図である。
【図６】８×８画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図７】１６×１６画素の予測単位の輝度成分についての予測モードの候補の例を説明するための説明図である。
【図８】色差成分についての予測モードの候補の例を説明するための説明図である。
【図９Ａ】ＬＭモードにおける参照画素について説明するための第１の説明図である。
【図９Ｂ】ＬＭモードにおける参照画素について説明するための第２の説明図である。
【図１０】第１のシナリオにおける参照比の定義の一例を示す説明図である。
【図１１Ａ】第１のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図１１Ｂ】第１のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図１２】第２のシナリオにおける参照比の定義の一例を示す説明図である。
【図１３Ａ】第２のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図１３Ｂ】第２のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図１３Ｃ】第２のシナリオに従って制御される参照画素数の第３の例を示す説明図である。
【図１３Ｄ】第２のシナリオに従って制御される参照画素数の第４の例を示す説明図である。
【図１４】第３のシナリオにおける参照比の定義の一例を示す説明図である。
【図１５Ａ】第３のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図１５Ｂ】第３のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図１６】第４のシナリオにおける参照比の定義の一例を示す説明図である。
【図１７Ａ】第４のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図１７Ｂ】第４のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図１８Ａ】第５のシナリオに従って制御される参照画素数の第１の例を示す説明図である。
【図１８Ｂ】第５のシナリオに従って制御される参照画素数の第２の例を示す説明図である。
【図１９】一実施形態に係る符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【図２０】図１９のＬＭモード予測処理の詳細な流れの一例を示すフローチャートである。
【図２１】一実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図２２】一実施形態に係る画像復号装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図２３】一実施形態に係る復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【図２４】輝度成分のリサンプリング後の画素値を保持するメモリのサイズについて説明するための説明図である。
【図２５】第１の変形例に係る間引き処理の一例について説明するための説明図である。
【図２６Ａ】図２５の例とは異なる間引き率について説明するための第１の説明図である。
【図２６Ｂ】図２５の例とは異なる間引き率について説明するための第２の説明図である。
【図２６Ｃ】図２５の例とは異なる間引き率について説明するための第３の説明図である。
【図２７Ａ】参照画素の間引き位置と輝度成分の間引き位置との対応の第１の例について説明するための説明図である。
【図２７Ｂ】参照画素の間引き位置と輝度成分の間引き位置との対応の第２の例について説明するための説明図である。
【図２８】第２の変形例において採用される新たな処理の順序について説明するための説明図である。
【図２９】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図３０】携帯電話機の概略的な構成の一例を示すブロック図である。
【図３１】記録再生装置の概略的な構成の一例を示すブロック図である。
【図３２】撮像装置の概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
また、以下の順序で説明を行う。
１．一実施形態に係る画像符号化装置の構成例
２．一実施形態に係る符号化時の処理の流れ
３．一実施形態に係る画像復号装置の構成例
４．一実施形態に係る復号時の処理の流れ
５．変形例
６．応用例
７．まとめ
【００２３】
＜１．一実施形態に係る画像符号化装置の構成例＞
［１−１．全体的な構成例］
図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue  to  Digital）変換部１１、並べ替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、動き探索部３０、並びにイントラ予測部４０を備える。
【００２４】
Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ１２へ出力する。
【００２５】
並べ替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group  of  Pictures）構造に応じて画像を並べ替えた後、並べ替え後の画像データを減算部１３、動き探索部３０及びイントラ予測部４０へ出力する。
【００２６】
減算部１３には、並べ替えバッファ１２から入力される画像データ、及び後に説明する動き探索部３０又はイントラ予測部４０から入力される予測画像データが供給される。減算部１３は、並べ替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
【００２７】
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete  Cosine  Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
【００２８】
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
【００２９】
可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、セレクタ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００３０】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
【００３１】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００３２】
逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
【００３３】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【００３４】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データと動き探索部３０又はイントラ予測部４０から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。
【００３５】
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
【００３６】
フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【００３７】
セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部３０に供給する。また、セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部４０に供給する。
【００３８】
セレクタ２７は、インター予測モードにおいて、動き探索部３０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、イントラ予測モードにおいて、イントラ予測部４０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、インター予測モードとイントラ予測モードとを、動き探索部３０及びイントラ予測部４０から出力されるコスト関数値の大きさに応じて切り替える。
【００３９】
動き探索部３０は、並べ替えバッファ１２から入力される符号化対象の画像データ（原画像データ）、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部３０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部３０は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部３０は、選択した最適な予測モードを表す予測モード情報、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。
【００４０】
イントラ予測部４０は、並べ替えバッファ１２から入力される原画像データ、及びフレームメモリ２５から供給される参照画像データとしての復号画像データに基づいて、画像内に設定されるブロックごとにイントラ予測処理を行う。そして、イントラ予測部４０は、最適な予測モードを表す予測モード情報及びサイズ関連情報を含むイントラ予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。イントラ予測部４０により選択可能な予測モードは、既存のイントラ予測モードに加えて、色差成分についての線型モデル（ＬＭ）モードを含む。本実施形態におけるＬＭモードは、上記非特許文献２に記載されているＬＭモードとは異なり、ブロックサイズに対する参照画素数の比率が変化し得るという特徴を有する。このようなイントラ予測部４０によるイントラ予測処理について、後により詳細に説明する。
【００４１】
［１−２．イントラ予測部の構成例］
図２は、図１に示した画像符号化装置１０のイントラ予測部４０の詳細な構成の一例を示すブロック図である。図２を参照すると、イントラ予測部４０は、予測制御部４２、係数算出部４４、予測部４６及びモード判定部４８を有する。
【００４２】
予測制御部４２は、イントラ予測部４０におけるイントラ予測処理を制御する。例えば、予測制御部４２は、符号化単位（ＣＵ：Coding  Unit）ごとに、輝度成分（Ｙ）についてのイントラ予測処理を実行した後、色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部４２は、複数の予測モードで予測部４６に各画素の予測画素値を生成させ、モード判定部４８に輝度成分の最適な予測モードを判定させる。その結果、符号化単位内の予測単位の配置も決定される。色差成分についてのイントラ予測処理では、予測制御部４２は、各予測単位について複数の予測モードで予測部４６に各画素の予測画素値を生成させ、モード判定部４８に色差成分の最適な予測モードを判定させる。
【００４３】
輝度成分についての予測モードの候補は、Ｈ．２６４／ＡＶＣなどの既存の画像符号化方式において採用されている予測モードであってよく、他の予測モードを含んでもよい。色差成分についての予測モードの候補もまた、既存の画像符号化方式において採用されている予測モードを含み得る。さらに、色差成分についての予測モードの候補は、上述したＬＭモードを含む。上記非特許文献２に記載された手法では、ＬＭモードの予測関数の係数を算出する際の参照画素数のブロックサイズに対する比率は一定である。従って、ブロックサイズが大きくなれば、それに応じて参照画素数は増大する。一方、本実施形態において、予測制御部４２は、上記比率を可変的に制御する。ここでのブロックサイズとは、原則として予測単位のサイズをいう。本明細書では、予測制御部４２により制御される上述した比率、即ちブロックサイズに対する参照画素数の比率を、「参照比」と呼ぶものとする。予測制御部４２による参照比の制御は、典型的には、ブロックサイズに応じて行われ得る。さらに、予測制御部４２は、予測単位に対応する色差成分のブロックサイズを左右するクロマフォーマットに応じて、参照比を制御してもよい。また、予測制御部４２は、画像の符号化及び復号に関する装置のケイパビリティを定義付けるパラメータ（例えば、プロファイル又はレベル）に応じて、参照比を制御してもよい。予測制御部４２による参照比の制御の複数のシナリオについて、後により詳細に説明する。
【００４４】
係数算出部４４は、ＬＭモードにおいて予測部４６により使用される予測関数の係数を、予測対象の画素が属する予測単位の周辺の画素、即ち参照画素を参照して算出する。予測部４６により使用される予測関数は、典型的には、輝度成分の値の線型関数である。予測関数の係数の算出に際して係数算出部４４により参照される参照画素の数は、上述したように、予測制御部４２により制御される。
【００４５】
予測部４６は、予測制御部４２による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、様々な予測モードの候補に従って予測する。予測部４６により使用される予測モードの候補の例について、後により詳細に説明する。予測部４６による予測の結果として生成される予測画像データは、予測モードごとにモード判定部４８へ出力される。
【００４６】
モード判定部４８は、並べ替えバッファ１２から入力される原画像データと予測部４６から入力される予測画像データとに基づいて、各予測モードのコスト関数値を算出する。そして、モード判定部４８は、算出したコスト関数値に基づき、輝度成分についての最適な予測モードと符号化単位内の予測単位の配置とを決定する。同様に、モード判定部４８は、色差成分についてのコスト関数値に基づき、色差成分についての最適な予測モードを決定する。そして、モード判定部４８は、決定した最適な予測モードを表す予測モード情報及びサイズ関連情報などを含むイントラ予測に関する情報、コスト関数値、並びに輝度成分及び色差成分の予測画素値を含む予測画像データを、セレクタ２７へ出力する。モード判定部４８から出力されるサイズ関連情報は、各予測単位のサイズを特定するための情報に加えて、クロマフォーマットを指定する情報を含んでもよい。
【００４７】
［１−３．予測モードの候補］
次に、イントラ予測部４０の予測部４６により使用され得る予測モードの候補について説明する。
【００４８】
（１）輝度成分についての予測モードの候補
輝度成分についての予測モードの候補は、Ｈ．２６４／ＡＶＣなどの既存の画像符号化方式において採用されている予測モードであってよい。図３〜図５は、予測単位のサイズが４×４画素である場合のそうした予測モードの候補について説明するための説明図である。
【００４９】
図３を参照すると、４×４画素の予測単位において使用され得る９種類の予測モード（モード０〜モード８）が示されている。図４には、各モード番号にそれぞれ対応する予測方向が概略的に示されている。図５において、小文字のアルファベットａ〜ｐは、４×４画素の予測単位内の各画素（即ち、予測対象画素）の画素値を表す。予測単位の周囲のＲｚ（ｚ＝ａ，ｂ，…，ｍ）は、符号化済みの参照画素の画素値を表す。
【００５０】
例えば、モード０における予測方向は垂直方向であり、各予測画素値は、次のように計算される：
ａ＝ｅ＝ｉ＝ｍ＝Ｒａ
ｂ＝ｆ＝ｊ＝ｎ＝Ｒｂ
ｃ＝ｇ＝ｋ＝ｏ＝Ｒｃ
ｄ＝ｈ＝ｌ＝ｐ＝Ｒｄ
【００５１】
モード１における予測方向は水平方向であり、各予測画素値は、次のように計算される：
ａ＝ｂ＝ｃ＝ｄ＝Ｒｉ
ｅ＝ｆ＝ｇ＝ｈ＝Ｒｊ
ｉ＝ｊ＝ｋ＝ｌ＝Ｒｋ
ｍ＝ｎ＝ｏ＝ｐ＝Ｒｌ
【００５２】
モード２はＤＣ予測（平均値予測）を表し、各予測画素値は、いずれの参照画素が利用可能かに応じて、次の４つの式のいずれかに従って計算される：
ａ＝ｂ＝…＝ｐ＝（Ｒａ＋Ｒｂ＋Ｒｃ＋Ｒｄ＋Ｒｉ＋Ｒｊ＋Ｒｋ＋Ｒｌ＋４）＞＞３
ａ＝ｂ＝…＝ｐ＝（Ｒａ＋Ｒｂ＋Ｒｃ＋Ｒｄ＋２）＞＞２
ａ＝ｂ＝…＝ｐ＝（Ｒｉ＋Ｒｊ＋Ｒｋ＋Ｒｌ＋２）＞＞２
ａ＝ｂ＝…＝ｐ＝１２８
【００５３】
モード３における予測方向は斜め左下であり、各予測画素値は、次のように計算される：
ａ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｂ＝ｅ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
ｃ＝ｆ＝ｉ＝（Ｒｃ＋２Ｒｄ＋Ｒｅ＋２）＞＞２
ｄ＝ｇ＝ｊ＝ｍ＝（Ｒｄ＋２Ｒｅ＋Ｒｆ＋２）＞＞２
ｈ＝ｋ＝ｎ＝（Ｒｅ＋２Ｒｆ＋Ｒｇ＋２）＞＞２
ｌ＝ｏ＝（Ｒｆ＋２Ｒｇ＋Ｒｈ＋２）＞＞２
ｐ＝（Ｒｇ＋３Ｒｈ＋２）＞＞２
【００５４】
モード４における予測方向は斜め右下であり、各予測画素値は、次のように計算される：
ｍ＝（Ｒｊ＋２Ｒｋ＋Ｒｌ＋２）＞＞２
ｉ＝ｎ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
ｅ＝ｊ＝ｏ＝（Ｒｍ＋２Ｒｉ＋Ｒｊ＋２）＞＞２
ａ＝ｆ＝ｋ＝ｐ＝（Ｒａ＋２Ｒｍ＋Ｒｉ＋２）＞＞２
ｂ＝ｇ＝ｌ＝（Ｒｍ＋２Ｒａ＋Ｒｂ＋２）＞＞２
ｃ＝ｈ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｄ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
【００５５】
モード５における予測方向は垂直右であり、各予測画素値は、次のように計算される：
ａ＝ｊ＝（Ｒｍ＋Ｒａ＋１）＞＞１
ｂ＝ｋ＝（Ｒａ＋Ｒｂ＋１）＞＞１
ｃ＝ｌ＝（Ｒｂ＋Ｒｃ＋１）＞＞１
ｄ＝（Ｒｃ＋Ｒｄ＋１）＞＞１
ｅ＝ｎ＝（Ｒｉ＋２Ｒｍ＋Ｒａ＋２）＞＞２
ｆ＝ｏ＝（Ｒｍ＋２Ｒａ＋Ｒｂ＋２）＞＞２
ｇ＝ｐ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｈ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
ｉ＝（Ｒｍ＋２Ｒｉ＋Ｒｊ＋２）＞＞２
ｍ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
【００５６】
モード６における予測方向は水平下であり、各予測画素値は、次のように計算される：
ａ＝ｇ＝（Ｒｍ＋Ｒｉ＋１）＞＞１
ｂ＝ｈ＝（Ｒｉ＋２Ｒｍ＋Ｒａ＋２）＞＞２
ｃ＝（Ｒｍ＋２Ｒａ＋Ｒｂ＋２）＞＞２
ｄ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｅ＝ｋ＝（Ｒｉ＋Ｒｊ＋１）＞＞１
ｆ＝ｌ＝（Ｒｍ＋２Ｒｉ＋Ｒｊ＋２）＞＞２
ｉ＝ｏ＝（Ｒｊ＋Ｒｋ＋１）＞＞１
ｊ＝ｐ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
ｍ＝（Ｒｋ＋Ｒｌ＋１）＞＞１
ｎ＝（Ｒｊ＋２Ｒｋ＋Ｒｌ＋２）＞＞２
【００５７】
モード７における予測方向は垂直左であり、各予測画素値は、次のように計算される：
ａ＝（Ｒａ＋Ｒｂ＋１）＞＞１
ｂ＝ｉ＝（Ｒｂ＋Ｒｃ＋１）＞＞１
ｃ＝ｊ＝（Ｒｃ＋Ｒｄ＋１）＞＞１
ｄ＝ｋ＝（Ｒｄ＋Ｒｅ＋１）＞＞１
ｌ＝（Ｒｅ＋Ｒｆ＋１）＞＞１
ｅ＝（Ｒａ＋２Ｒｂ＋Ｒｃ＋２）＞＞２
ｆ＝ｍ＝（Ｒｂ＋２Ｒｃ＋Ｒｄ＋２）＞＞２
ｇ＝ｎ＝（Ｒｃ＋２Ｒｄ＋Ｒｅ＋２）＞＞２
ｈ＝ｏ＝（Ｒｄ＋２Ｒｅ＋Ｒｆ＋２）＞＞２
ｐ＝（Ｒｅ＋２Ｒｆ＋Ｒｇ＋２）＞＞２
【００５８】
モード８における予測方向は水平上であり、各予測画素値は、次のように計算される：
ａ＝（Ｒｉ＋Ｒｊ＋１）＞＞１
ｂ＝（Ｒｉ＋２Ｒｊ＋Ｒｋ＋２）＞＞２
ｃ＝ｅ＝（Ｒｊ＋Ｒｋ＋１）＞＞１
ｄ＝ｆ＝（Ｒｊ＋２Ｒｋ＋Ｒｌ＋２）＞＞２
ｇ＝ｉ＝（Ｒｋ＋Ｒｌ＋１）＞＞１
ｈ＝ｊ＝（Ｒｋ＋３Ｒｌ＋２）＞＞２
ｋ＝ｌ＝ｍ＝ｎ＝ｏ＝ｐ＝Ｒｌ
【００５９】
図６を参照すると、８×８画素の予測単位において使用され得る９種類の予測モード（モード０〜モード８）が示されている。モード０における予測方向は、垂直方向である。モード１における予測方向は、水平方向である。モード２は、ＤＣ予測（平均値予測）を表す。モード３における予測方向は、斜め左下である。モード４における予測方向は、斜め右下である。モード５における予測方向は、垂直右である。モード６における予測方向は、水平下である。モード７における予測方向は、垂直左である。モード８における予測方向は、水平上である。
【００６０】
図７を参照すると、１６×１６画素の予測単位において使用され得る４種類の予測モード（モード０〜モード３）が示されている。モード０における予測方向は、垂直方向である。モード１における予測方向は、水平方向である。モード２は、ＤＣ予測（平均値予測）を表す。モード３は、平面予測を表す。
【００６１】
（２）色差成分についての予測モードの候補
色差成分についての予測モードは、輝度成分についての予測モードとは独立して選択され得る。図８には、色差成分のブロックサイズが８×８画素である場合に使用され得る予測モードの候補のうち、Ｈ．２６４／ＡＶＣなどの既存の画像符号化方式において採用されている４つの予測モード（モード０〜モード３）が示されている。
【００６２】
モード０はＤＣ予測（平均値予測）を表す。ここで、画素位置（ｘ，ｙ）の予測画素値をＰｒＣ（ｘ，ｙ）、左の８つの参照画素値をＲｅＣ（−１，ｎ）、上の８つの参照画素値をＲｅＣ（ｎ，−１）とする。下付き文字のＣは、色差成分を意味する。ｎは０以上７以下の整数である。すると、予測画素値ＰｒＣ（ｘ，ｙ）は、いずれの参照画素が利用可能かに応じて、次の３つの式のいずれかに従って計算される：
【００６３】
【数１】
2013034162.tif 000003
【００６４】
モード１における予測方向は水平方向であり、予測画素値ＰｒＣ（ｘ，ｙ）は、次のように計算される：
【００６５】
【数２】
2013034162.tif 000004
【００６６】
モード２における予測方向は垂直方向であり、予測画素値ＰｒＣ（ｘ，ｙ）は、次のように計算される：
【００６７】
【数３】
2013034162.tif 000005
【００６８】
モード３は、平面予測を表す。予測画素値ＰｒＣ（ｘ，ｙ）は、次のように計算される：
【００６９】
【数４】
2013034162.tif 000006
【００７０】
さらに、本実施形態では、色差成分について、次項で説明するＬＭモードが（例えばモード４として）選択可能である。
【００７１】
［１−４．ＬＭモードの詳細］
ＬＭモードでは、色差成分についての予測画素値は、対応する輝度成分の値の線型関数を用いて計算される。例えば、ＬＭモードにおいて使用される予測関数は、上記非特許文献２に記載されている次のような線型一次関数であってよい：
【００７２】
【数５】
2013034162.tif 000007
【００７３】
式（１）において、ＲｅＬ´（ｘ，ｙ）は、復号画像（いわゆるリコンストラクト画像）の輝度成分のリサンプリング後の画素位置（ｘ，ｙ）の値を表す。画像の符号化の際には、復号画像の代わりに原画像が用いられる。輝度成分のリサンプリングは、クロマフォーマットに依存して色差成分の解像度が輝度成分の解像度と異なる場合に行われる。例えば、クロマフォーマットが４：２：０である場合には、水平方向及び垂直方向の双方について画素数が１／２となるように、次式に従って輝度成分のリサンプリングが行われる。なお、ＲｅＬ（ｕ，ｖ）は、リサンプリング前の画素位置（ｕ，ｖ）の輝度成分の値を表す。
【００７４】
【数６】
2013034162.tif 000008
【００７５】
クロマフォーマットが４：２：２である場合には、水平方向について画素数が１／２となるように、輝度成分のリサンプリングが行われる。クロマフォーマットが４：４：４である場合には、輝度成分のリサンプリングは行われない。
【００７６】
式（１）の係数αは、次の式（３）に従って算出される。また、式（１）の係数βは、次の式（４）に従って算出され得る。
【００７７】
【数７】
2013034162.tif 000009
【００７８】
式（３）及び式（４）において、Ｉは参照画素数を表す。例えば、色差成分のブロックサイズが８×８画素であって、左の８つの参照画素及び上の８つの参照画素が共に利用可能であれば、Ｉ＝８＋８＝１６である。
【００７９】
上述した式（１）〜式（４）は、上記非特許文献２に記載されている式と同様である。図９Ａ及び図９Ｂは、このような線型モデルにおける参照画素についてさらに説明するための説明図である。
【００８０】
図９Ａの例において、予測単位（ＰＵ）のサイズは１６×１６画素、クロマフォーマットは４：２：０である。この場合、色差成分のブロックサイズは８×８画素である。色差成分の参照画素ＲｅＣ（ｉ）の数は、（左及び上の双方の参照画素が利用可能であるとして）８＋８＝１６である。輝度成分の参照画素ＲｅＬ´（ｉ）の数もまた、リサンプリングの結果として８＋８＝１６である。
【００８１】
図９Ｂの例において、予測単位（ＰＵ）のサイズは８×８画素、クロマフォーマットは４：２：０である。この場合、色差成分のブロックサイズは４×４画素である。色差成分の参照画素ＲｅＣ（ｉ）の数は、４＋４＝８である。輝度成分の参照画素ＲｅＬ´（ｉ）の数もまた、リサンプリングの結果として４＋４＝８である。
【００８２】
図９Ａ及び図９Ｂの２つの例を比較すると、クロマフォーマットなどの他の条件が同じであるとすれば、ブロックサイズに対する参照画素数の比率は変わっていない。即ち、図９Ａの例では予測単位の一辺のサイズが１６画素であって参照画素数Ｉが１６であるのに対し、図９Ｂの例では予測単位の一辺のサイズが８画素であって参照画素数Ｉが８である。このように、ブロックサイズが大きくなるにつれて参照画素数Ｉが増えれば、上記式（３）及び式（４）を用いた係数α及び係数βの算出に要する処理コストも増加する。特に式（３）に着目すれば理解されるように、画素値の乗算の回数は、参照画素数Ｉの二乗のオーダで増加する。従って、係数α及び係数βの算出に際して参照画素数を適切に制御しなければ、ブロックサイズが大きい場合に符号化及び復号のパフォーマンスが低下してしまう可能性が高い。
【００８３】
そこで、予測制御部４２は、係数算出部４４がＬＭモードにおいて予測関数の係数α及び係数βを算出する際の参照画素数を、次項で説明するように可変的に制御する。
【００８４】
［１−５．参照画素数の制御］
典型的には、予測制御部４２は、ブロックサイズに対する参照画素数の比率である参照比を、ブロックサイズがより大きいほどより小さくなるように制御する。それにより、ブロックサイズが拡大する場合の処理コストの増加が抑制される。予測制御部４２は、処理コストが問題とならない程度にブロックサイズが小さい場合には、ブロックサイズが異なっても参照比を変化させなくてもよい。以下、図１０〜図１８Ｂを用いて、参照比の制御の例示的な５つのシナリオについて説明する。
【００８５】
（１）第１のシナリオ
図１０は、第１のシナリオにおける参照比の定義の一例を示す説明図である。
【００８６】
第１のシナリオにおいて、予測単位（ＰＵ）のサイズが４×４画素である場合には、参照比は「１：１」である。参照比「１：１」は、図９Ａ又は図９Ｂに示したような参照画素が全て使用されることを意味する。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、２（垂直方向Ｉｖ）＋２（水平方向Ｉｈ）＝４となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、４＋２＝６となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、４＋４＝８となる。
【００８７】
同様に、予測単位のサイズが８×８画素である場合にも、参照比は「１：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、４＋４＝８となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、８＋４＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、８＋８＝１６となる。
【００８８】
これに対し、予測単位のサイズが１６×１６画素である場合には、参照比は「２：１」である。参照比「２：１」は、図９Ａ又は図９Ｂに示したような参照画素のうち半分の参照画素のみが使用されることを意味する。即ち、係数算出部４４は、係数α及び係数βの算出の際に、半分の参照画素を間引いた上で、残りの参照画素のみを使用する。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（８／２）＋（８／２）＝８となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（１６／２）＋（８／２）＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（１６／２）＋（１６／２）＝１６となる。
【００８９】
図１１Ａに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１１Ａの例では、色差成分の参照画素及び輝度成分の参照画素が、それぞれ１つおきに間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【００９０】
さらに、予測単位のサイズが３２×３２画素である場合には、参照比は「４：１」である。参照比「４：１」は、図９Ａ又は図９Ｂに示したような参照画素のうち４分の１の参照画素のみが使用されることを意味する。即ち、係数算出部４４は、係数α及び係数βの算出の際に、４分の３の参照画素を間引いた上で、残りの参照画素のみを使用する。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（１６／４）＋（１６／４）＝８となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（３２／４）＋（１６／４）＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（３２／４）＋（３２／４）＝１６となる。
【００９１】
図１１Ｂに、ＰＵサイズが３２×３２画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１１Ｂの例では、色差成分の参照画素及び輝度成分の参照画素が、それぞれ、連続する４つにつき３つずつ間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【００９２】
第１のシナリオのようなブロックサイズと参照比との間のマッピングによれば、ブロックサイズが８×８画素以上である場合には、クロマフォーマットが同一である限り参照画素数Ｉは一定となる。従って、ブロックサイズが拡大する場合の処理コストの増加が抑制される。また、このようにブロックサイズが所定のサイズを上回る場合に参照画素数が一定となるように参照比を制御することにより、係数算出部４４における係数算出処理を小規模の共通的な回路又はロジックを用いて行うことが可能となる。それにより、回路規模又はロジックの規模の増大をも抑制することができる。
【００９３】
また、ブロックサイズが所定のサイズを下回る場合に間引かれる参照画素の数をゼロとすることで、参照画素数が不足することによるＬＭモードの予測精度の低下が防がれる。特に、画像の内容が複雑である（即ち画素値の空間的な変動が激しい）ことに起因してイントラ予測が比較的困難な場合には、より小さい予測単位が画像内に設定されやすい。そうした場合に十分な参照画素数を確保することで、ＬＭモードの予測精度の低下を防ぐことができる。
【００９４】
なお、ここでは、係数算出部４４による係数の算出の際に間引かれる参照画素の数が参照比に応じて変化する、というように説明した。即ち、係数算出部４４は、ＬＭモードでのイントラ予測が行われる際に参照される参照画素を、予測対象のブロックサイズに応じた参照比で間引く間引き部としての役割をも有する。後に説明する画像復号装置６０の係数算出部９４についても同様である。しかしながら、参照画素数は、参照画素を間引く代わりに、複数の参照画素値から１つの代表値を導くことにより可変的に制御されてもよい。例えば、参照比が「４：１」であれば、連続する４つの参照画素の画素値の平均値又は中央値が１つの代表値として用いられてもよい。これは、本明細書で説明する他のシナリオにおいても同様である。参照画素を間引く処理は実装が極めて容易である一方、上述した代表値を使用すれば予測精度を向上させることができる。
【００９５】
（２）第２のシナリオ
図１２は、第２のシナリオにおける参照比の定義の一例を示す説明図である。第２のシナリオでは、予測制御部４２は、予測単位のサイズに加えてクロマフォーマットに応じて、参照比を制御する。また、予測制御部４２は、垂直方向のサイズに対する左の参照画素数の比率である第１の参照比と、水平方向のサイズに対する上の参照画素数の比率である第２の参照比とを別々に制御する。
【００９６】
第２のシナリオにおいて、予測単位のサイズが４×４画素、クロマフォーマットが４：２：０である場合には、垂直方向の参照比及び水平方向の参照比は共に「１：１」である。この場合、参照画素は間引かれず、参照画素数Ｉは、２＋２＝４となる。予測単位のサイズが４×４画素、クロマフォーマットが４：２：２である場合には、垂直方向の参照比は「２：１」、水平方向の参照比は「１：１」である。この場合、垂直方向の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Ｉは、（４／２）＋２＝４となる。予測単位のサイズが４×４画素、クロマフォーマットが４：４：４である場合には、垂直方向の参照比及び水平方向の参照比は共に「２：１」である。この場合、垂直方向及び水平方向の双方の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Ｉは、（４／２）＋（４／２）＝４となる。
【００９７】
予測単位のサイズが８×８画素、クロマフォーマットが４：２：０である場合には、垂直方向の参照比及び水平方向の参照比は共に「１：１」である。この場合、参照画素は間引かれず、参照画素数Ｉは、４＋４＝８となる。予測単位のサイズが８×８画素、クロマフォーマットが４：２：２である場合には、垂直方向の参照比は「２：１」、水平方向の参照比は「１：１」である。この場合、垂直方向の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Ｉは、（８／２）＋４＝８となる。予測単位のサイズが８×８画素、クロマフォーマットが４：４：４である場合には、垂直方向の参照比及び水平方向の参照比は共に「２：１」である。この場合、垂直方向及び水平方向の双方の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Ｉは、（８／２）＋（８／２）＝８となる。
【００９８】
図１３Ａに、ＰＵサイズが８×８画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１３Ａの例では、色差成分の参照画素及び輝度成分の参照画素は、共に間引かれていない。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【００９９】
また、図１３Ｂに、ＰＵサイズが８×８画素、クロマフォーマットが４：２：２である場合の参照画素の設定の一例を示している。図１３Ｂの例では、色差成分及び輝度成分の垂直方向の参照画素が１つおきに間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１００】
さらに、図１３Ｃに、ＰＵサイズが８×８画素、クロマフォーマットが４：４：４である場合の参照画素の設定の一例を示している。図１３Ｃの例では、色差成分及び輝度成分の垂直方向及び水平方向の参照画素が１つおきに間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１０１】
予測単位のサイズが１６×１６画素、クロマフォーマットが４：２：０である場合には、垂直方向の参照比及び水平方向の参照比は共に「２：１」である。この場合、参照画素数Ｉは、（８／２）＋（８／２）＝８となる。予測単位のサイズが１６×１６画素、クロマフォーマットが４：２：２である場合には、垂直方向の参照比は「４：１」、水平方向の参照比は「２：１」である。この場合、参照画素数Ｉは、（１６／４）＋（８／２）＝８となる。予測単位のサイズが１６×１６画素、クロマフォーマットが４：４：４である場合には、垂直方向の参照比及び水平方向の参照比は共に「４：１」である。この場合、参照画素数Ｉは、（１６／４）＋（１６／４）＝８となる。
【０１０２】
図１３Ｄに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１３Ｄの例では、色差成分及び輝度成分の垂直方向及び水平方向の参照画素が１つおきに間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１０３】
予測単位のサイズが３２×３２画素、クロマフォーマットが４：２：０である場合には、垂直方向の参照比及び水平方向の参照比は共に「４：１」である。この場合、参照画素数Ｉは、（１６／４）＋（１６／４）＝８となる。予測単位のサイズが３２×３２画素、クロマフォーマットが４：２：２である場合には、垂直方向の参照比は「８：１」、水平方向の参照比は「４：１」である。この場合、参照画素数Ｉは、（３２／８）＋（１６／４）＝８となる。予測単位のサイズが３２×３２画素、クロマフォーマットが４：４：４である場合には、垂直方向の参照比及び水平方向の参照比は共に「８：１」である。この場合、参照画素数Ｉは、（３２／８）＋（３２／８）＝８となる。
【０１０４】
上述した説明から理解されるように、第２のシナリオでは、予測制御部４２は、クロマフォーマットにより表される色差成分の解像度がより高いほど参照比がより小さくなるように、参照比を制御する。それにより、色差成分のブロックサイズの拡大に伴う処理コストの増加が抑制される。また、第２のシナリオでは、予測制御部４２は、クロマフォーマットが４：２：２である場合に、ブロックの左の参照画素数がブロックの上の参照画素数と等しくなるように、垂直方向の参照比と水平方向の参照比とを別々に制御する。それにより、クロマフォーマットが互いに異なる複数のケースで参照画素数を同一にすることが可能となる。結果として、係数算出部４４における係数算出処理をクロマフォーマットによらず共通的な回路又はロジックを用いて行うことが可能となる。従って、第２のシナリオによれば、回路又はロジックの効率的な実装が促進される。
【０１０５】
（３）第３のシナリオ
図１４は、第３のシナリオにおける参照比の定義の一例を示す説明図である。第３のシナリオにおいても、予測制御部４２は、垂直方向のサイズに対する左の参照画素数の比率である第１の参照比と、水平方向のサイズに対する上の参照画素数の比率である第２の参照比とを別々に制御する。また、第３のシナリオでは、予測制御部４２は、同じブロックサイズについて垂直方向の参照比が水平方向の参照比以下となるように、これら参照比を制御する。
【０１０６】
第３のシナリオにおいて、予測単位のサイズが４×４画素である場合には、垂直方向及び水平方向の参照比は、共に「１：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、２＋２＝４となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、４＋２＝６となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、４＋４＝８となる。
【０１０７】
予測単位のサイズが８×８画素である場合には、垂直方向の参照比は「２：１」、水平方向の参照比は「１：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（４／２）＋４＝６となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（８／２）＋４＝８となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（８／２）＋８＝１２となる。
【０１０８】
図１５Ａに、ＰＵサイズが８×８画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１５Ａの例では、色差成分の参照画素及び輝度成分の参照画素のうち、垂直方向の下半分の参照画素が間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に６つとなっている。
【０１０９】
予測単位のサイズが１６×１６画素である場合には、垂直方向の参照比は「４：１」、水平方向の参照比は「１：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（８／４）＋８＝１０となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（１６／４）＋８＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（１６／４）＋１６＝２０となる。
【０１１０】
図１５Ｂに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１５Ｂの例では、色差成分の参照画素及び輝度成分の参照画素のうち、垂直方向の下側４分の３の参照画素が間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に１０個となっている。
【０１１１】
予測単位のサイズが３２×３２画素である場合には、垂直方向の参照比は「８：１」、水平方向の参照比は「２：１」である。この場合、クロマフォーマットが４：２：０であれば、参照画素数Ｉは、（１６／８）＋（１６／２）＝１０となる。クロマフォーマットが４：２：２であれば、参照画素数Ｉは、（３２／８）＋（１６／２）＝１２となる。クロマフォーマットが４：４：４であれば、参照画素数Ｉは、（３２／８）＋（３２／２）＝２０となる。
【０１１２】
画像を符号化又は復号する装置において、参照画素値は、多くの場合フレームメモリ又はラインメモリに格納され、水平方向のライン単位でアクセスされる。従って、第３のシナリオのように垂直方向の参照比を水平方向の参照比よりも低くすれば、使用される参照画素の数が同じであっても、メモリへのアクセス回数をより少なくすることができる。それにより、係数算出部４４における係数算出処理を高速に実行することが可能となる。また、第３のシナリオのように、よりブロックの上方のラインの参照画素を優先的に使用することで、メモリへの連続的なアクセスを通じて参照画素値を短時間で取得することができる。
【０１１３】
（４）第４のシナリオ
図１６は、第４のシナリオにおける参照比の定義の一例を示す説明図である。第４のシナリオにおいて、予測制御部４２は、画像の符号化及び復号に関する装置のケイパビリティがより低い場合に参照比がより小さくなるように、参照比を制御する。ＨＥＶＣでは、装置のケイパビリティを表すパラメータとして、例えばプロファイル若しくはレベル又はその双方を用いることができる。プロファイル及びレベルは、通常、符号化ストリームのシーケンスパラメータセット内で指定される。
【０１１４】
図１６を参照すると、第４のシナリオにおいて、装置のケイパビリティが「高」及び「低」の２段階に区分されている。４×４画素のサイズを有する予測単位については、装置のケイパビリティに関わらず、参照比は「１：１」である。これに対し、８×８画素以上のサイズを有する予測単位については、ケイパビリティが「低」である場合の参照比は、ケイパビリティが「高」である場合の参照比の半分である。
【０１１５】
例えば、８×８画素の予測単位については、ケイパビリティが「高」であれば参照比は「１：１」である一方、ケイパビリティが「低」であれば参照比は「２：１」である。１６×１６画素の予測単位については、ケイパビリティが「高」であれば参照比は「２：１」である一方、ケイパビリティが「低」であれば参照比は「４：１」である。３２×３２画素の予測単位については、ケイパビリティが「高」であれば参照比は「４：１」である一方、ケイパビリティが「低」であれば参照比は「８：１」である。
【０１１６】
図１７Ａに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０、ケイパビリティが「高」であって、参照比が「２：１」である場合の参照画素の設定の一例を示している。図１７Ａの例では、色差成分の参照画素及び輝度成分の参照画素のうち半分の参照画素が間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に８つとなっている。
【０１１７】
また、図１７Ｂに、ＰＵサイズが１６×１６画素、クロマフォーマットが４：２：０、ケイパビリティが「低」であって、参照比が「４：１」である場合の参照画素の設定の一例を示している。図１７Ｂの例では、色差成分の参照画素及び輝度成分の参照画素のうち４分の３の参照画素が間引かれている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に４つとなっている。
【０１１８】
第４のシナリオのように、装置のケイパビリティ（例えばデコーダの処理能力）の高さに応じて参照比を制御することで、ケイパビリティのより低い装置の使用が想定される場合に、参照画素数をより少なくすることができる。それにより、装置の処理能力を超える処理コストがＬＭモードでの係数算出処理において生じることを防ぐことができる。
【０１１９】
（５）第５のシナリオ
Xiaoran  Cao  Tsinghuaらは、“CE6.b1  Report  on  Short  Distance  Intra  Prediction  Method”（JCTVC-E278，2011年3月）において、サイズの小さい非正方形の予測単位を使用して符号化効率を向上させる、短距離イントラ予測法（Short  Distance  Intra  Prediction  Method）を提案している。短距離イントラ予測法では、例えば１×４画素、２×８画素、４×１６画素、４×１画素、８×２画素、１６×４画素などの様々なサイズの予測単位が画像内に設定され得る。この場合、予測単位の垂直方向のサイズ及び水平方向のサイズのうちいずれのサイズがより大きいかは、予測単位の設定に依存する。そこで、第５のシナリオでは、予測制御部４２は、短距離イントラ予測法が用いられる場合に、垂直方向の参照比及び水平方向の参照比のうちサイズのより大きい方向に対応する参照比を動的に選択し、選択した参照比を制御する。
【０１２０】
図１８Ａに、ＰＵサイズが２×８画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１８Ａの例では、水平方向のサイズが垂直方向のサイズよりも大きいため、垂直方向の参照比が「１：１」であるのに対し、水平方向の参照比は「２：１」とされている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に１＋（４／２）＝３つとなっている。
【０１２１】
また、図１８Ｂに、ＰＵサイズが１６×４画素、クロマフォーマットが４：２：０である場合の参照画素の設定の一例を示している。図１８Ｂの例では、垂直方向のサイズが水平方向のサイズよりも大きいため、水平方向の参照比が「１：１」であるのに対し、垂直方向の参照比は「４：１」とされている。結果として、色差成分の参照画素数ＩＣ及び輝度成分の参照画素数ＩＬは、共に（８／４）＋２＝４つとなっている。
【０１２２】
第５のシナリオのように、短距離イントラ予測法が用いられる場合に、サイズのより大きい方向に対応する参照比を動的に選択してこれを制御することで、参照画素がより少ない方向について参照画素数の削減を回避し、予測精度の低下を防ぐことができる。
【０１２３】
ここまで、予測制御部４２による参照比の制御の特徴的な５つのシナリオについて詳細に説明した。これらシナリオに沿った予測制御部４２による参照比の制御は、例えば画像符号化方式の標準仕様において予め定義されるブロックサイズと参照比との間のマッピングに従って行われてよい。かかるマッピングを予め画一的に定義しておくことで、数多くの参照画素の設定パターンをサポートする必要性がなくなり、デコーダにおける回路又はロジックの共通化が容易となる。
【０１２４】
なお、多くの用途において利用される画像データのビット深度は８ビットである一方、１０ビット又は１２ビットなど、より大きいビット深度が一部の用途向けの画像データにおいて利用され得る。そこで、係数算出部４４は、ビット深度が所定のビット数（例えば８ビット）を上回る場合に、参照画素値を上記所定のビット数に削減した上で、削減した参照画素値を用いて予測関数の係数α及び係数βを算出してもよい。それにより、ビット深度に関わらず共通的な小規模の回路又はロジックを用いて係数α及び係数βを算出することが可能となる。
【０１２５】
また、ここでは予測制御部４２がブロックサイズに対する参照画素数の比率である「参照比」を制御する例について主に説明している。しかしながら、参照比と実質的に同等の概念が、例えば、削減される参照画素の比率を意味する「削減比」などの他の用語で表現されてもよい。「参照比」又は「削減比」は、“１：１”、“２：１”、“４：１”などの上述した形式で記述される代わりに、“１００％（０％）”、“５０％（５０％）”若しくは“２５％（７５％）”などのパーセンテージ形式、又は０から１までの範囲内の数値形式で記述されてもよい。
【０１２６】
上述した５つのシナリオは、説明のための例に過ぎない。例えば、上述した５つのシナリオのうち２つ以上のシナリオが組み合わされてもよい。各シナリオにおいて示したようなブロックサイズと参照比（又は削減比）との間のマッピングは、予め定義される代わりに、適応的に選択されてもよい。その場合、選択されたマッピングを指定する情報が、符号化ストリームのパラメータセット又はヘッダ領域内で符号化側から復号側へ伝送され得る。
【０１２７】
＜２．一実施形態に係る符号化時の処理の流れ＞
次に、図１９及び図２０を用いて、符号化時の処理の流れを説明する。図１９は、図２に例示した構成を有するイントラ予測部４０による符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１２８】
図１９を参照すると、まず、処理対象の符号化単位の輝度成分について、予測部４６により様々な予測モードで予測画像データが生成され、モード判定部４８により最適な予測モード及び予測単位の配置が決定される（ステップＳ１００）。
【０１２９】
次に、係数算出部４４及び予測部４６により、色差成分についてＬＭモードでの予測処理が実行される（ステップＳ１１０）。また、係数算出部４４及び予測部４６により、色差成分について非ＬＭモード（例えば、図８に例示したモード０〜モード３）でのイントラ予測処理が実行される（ステップＳ１２０）。ステップＳ１１０及びステップＳ１２０の処理は、予測制御部４２による制御の下、各予測単位について実行され得る。
【０１３０】
次に、モード判定部４８は、色差成分の予測モードの各々について、原画像データと予測画像データとに基づきコスト関数値を算出する（ステップＳ１３０）。そして、モード判定部４８は、コスト関数値を互いに比較することにより、色差成分について最適な予測モードを決定する（ステップＳ１４０）。
【０１３１】
図２０は、図１９のステップＳ１１０におけるＬＭモード予測処理の詳細な流れの一例を示すフローチャートである。
【０１３２】
図２０を参照すると、まず、予測制御部４２は、各予測単位について、予測単位のサイズ及びその他のパラメータ（例えば、クロマフォーマット、プロファイル又はレベルなど）に応じた参照比を取得する（ステップＳ１１１）。
【０１３３】
次に、係数算出部４４は、予測関数の係数を算出するための算出式（例えば、上記式（３）及び式（４））において参照される参照画素を、予測制御部４２により指示される参照比に従って設定する（ステップＳ１１２）。ここで設定される参照画素の数は、参照比に応じて削減され得る。また、参照画素の輝度成分は、クロマフォーマットに依存してリサンプリングされ得る。
【０１３４】
次に、係数算出部４４は、例えば上記式（３）に従い、設定した参照画素の画素値を用いて、予測関数の係数αを算出する（ステップＳ１１３）。さらに、係数算出部４４は、例えば上記式（４）に従い、設定した参照画素の画素値を用いて、予測関数の係数βを算出する（ステップＳ１１４）。
【０１３５】
そして、予測部４６は、対応する輝度成分の値を係数α及び係数βを用いて構築される予測関数（例えば、上記式（１））に代入することにより、各予測対象画素の予測画素値を算出する（ステップＳ１１５）。
【０１３６】
＜３．一実施形態に係る画像復号装置の構成例＞
本節では、図２１及び図２２を用いて、一実施形態に係る画像復号装置の構成例について説明する。
【０１３７】
［３−１．全体的な構成例］
図２１は、一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図２１を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並べ替えバッファ６７、Ｄ／Ａ（Digital  to  Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、動き補償部８０、並びにイントラ予測部９０を備える。
【０１３８】
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【０１３９】
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、シーケンスパラメータセット内のプロファイル及びレベル、並びにブロックヘッダ内のインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部６２は、インター予測に関する情報を動き補償部８０へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部９０へ出力する。
【０１４０】
逆量子化部６３は、可逆復号部６２による復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【０１４１】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。
【０１４２】
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並べ替えバッファ６７及びフレームメモリ６９へ出力する。
【０１４３】
並べ替えバッファ６７は、デブロックフィルタ６６から入力される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【０１４４】
Ｄ／Ａ変換部６８は、並べ替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
【０１４５】
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【０１４６】
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部８０へ出力する。また、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部９０へ出力する。
【０１４７】
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７１は、インター予測モードが指定された場合には、動き補償部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部９０から出力される予測画像データを加算部６５へ供給する。
【０１４８】
動き補償部８０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部８０は、生成した予測画像データをセレクタ７１へ出力する。
【０１４９】
イントラ予測部９０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部９０は、生成した予測画像データをセレクタ７１へ出力する。このようなイントラ予測部９０によるイントラ予測処理について、後により詳細に説明する。
【０１５０】
［３−２．イントラ予測部の構成例］
図２２は、図２１に示した画像復号装置６０のイントラ予測部９０の詳細な構成の一例を示すブロック図である。図２２を参照すると、イントラ予測部９０は、予測制御部９２、係数算出部９４及び予測部９６を有する。
【０１５１】
予測制御部９２は、イントラ予測部９０におけるイントラ予測処理を制御する。例えば、予測制御部９２は、イントラ予測に関する情報に含まれる予測モード情報に基づいて、各符号化単位に１つ以上の予測単位を設定する。そして、予測制御部９２は、まず輝度成分（Ｙ）についてのイントラ予測処理を実行した後、色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部９２は、予測モード情報により指定される予測モードで予測部９６に各画素の輝度成分の予測画素値を生成させる。同様に、色差成分についてのイントラ予測処理において、予測制御部９２は、予測モード情報により指定される予測モードで予測部９６に各画素の色差成分の予測画素値を生成させる。
【０１５２】
本実施形態では、色差成分についての予測モードの候補は、上述したＬＭモードを含む。そして、予測制御部９２は、ＬＭモードの予測関数の係数を算出する際の参照画素数のブロックサイズに対する比率、即ち参照比を、可変的に制御する。予測制御部９２による参照比の制御は、典型的には、ブロックサイズに応じて行われ得る。例えば、予測制御部９２は、ブロックサイズが所定のサイズを上回る場合に、予測関数の係数を算出する際の参照画素数が一定となるように、参照比を制御してもよい。ブロックサイズと参照比との間のマッピングは、予め定義され画像復号装置６０の記憶媒体により記憶されていてもよく、又は符号化ストリームのヘッダ領域内で動的に指定されてもよい。さらに、予測制御部９２は、クロマフォーマットに応じて、参照比を制御してもよい。また、予測制御部９２は、装置のケイパビリティを定義付けるプロファイル又はレベルに応じて、参照比を制御してもよい。予測制御部９２による参照比の制御は、上述した５つのシナリオのいずれか、それらの任意の組合せ、又は他のシナリオに従って行われ得る。
【０１５３】
係数算出部９４は、色差成分についてＬＭモードが指定された場合に予測部９６により使用される予測関数の係数を、予測対象の画素が属する予測単位の周辺の画素、即ち参照画素を参照して算出する。予測部９６により使用される予測関数は、典型的には輝度成分の値の線型関数であり、例えば上記式（１）により表される。予測関数の係数の算出に際して係数算出部９４により参照される参照画素の数は、上述したように、予測制御部９２により制御される。係数算出部９４は、参照比が「１：１」でない場合には、例えば参照比に応じた数の参照画素を間引いた上で、残りの参照画素のみを用いて予測関数の係数を算出し得る。係数算出部９４は、例えば、所定のサイズを上回る複数のブロックサイズについて共通的な回路又はロジックを用いて予測関数の係数を算出してもよい。また、係数算出部９４は、画素値のビット深度が所定のビット数を上回る場合に、参照画素値を当該所定のビット数に削減した上で、削減した参照画素値を用いて予測関数の係数を算出してもよい。
【０１５４】
予測部９６は、予測制御部９２による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、フレームメモリ６９からの参照画像データを用いて、指定された予測モードに従って生成する。予測部９６により色差成分について使用される予測モードの候補は、上述したＬＭモードを含み得る。ＬＭモードが指定された場合には、予測部９６は、係数算出部９４により算出される係数α及び係数βを用いて構築される予測関数に、対応する輝度成分の（必要に応じてリサンプリングされた）値を代入することにより、色差成分の予測画素値を生成する。予測部９６は、予測の結果として生成される予測画像データを、セレクタ７１を介して加算部６５へ出力する。
【０１５５】
＜４．一実施形態に係る復号時の処理の流れ＞
次に、図２３を用いて、復号時の処理の流れを説明する。図２３は、図２２に例示した構成を有するイントラ予測部９０による復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１５６】
図２３を参照すると、まず、予測制御部９２は、各符号化単位に１つ以上の予測単位を設定する（ステップＳ２００）。その後のステップＳ２１０〜Ｓ２６０の処理は、予測制御部４２による制御の下、各予測単位について実行され得る。
【０１５７】
次に、予測制御部９２は、予測モード情報により指定されている輝度成分の予測モードを認識する（ステップＳ２１０）。そして、予測部９６は、予測単位内の各画素の輝度成分の予測画素値を、フレームメモリ６９からの参照画像データを用いて、指定された予測モードに従って生成する（ステップＳ２２０）。
【０１５８】
次に、予測制御部９２は、予測モード情報により指定されている色差成分の予測モードを認識する（ステップＳ２３０）。そして、予測制御部９２は、ＬＭモードが指定されているか否かを判定する（ステップＳ２４０）。ここで、ＬＭモードが指定されている場合には、予測制御部９２は、係数算出部９４及び予測部９６に色差成分についてＬＭモードでの予測処理を実行させる（ステップＳ２５０）。ステップＳ２５０におけるＬＭモード予測処理は、図２０を用いて説明したＬＭモード予測処理と同様であってよい。一方、ＬＭモードが指定されていない場合には、予測制御部９２は、予測部９６に色差成分について非ＬＭモードでのイントラ予測処理を実行させる（ステップＳ２６０）。
【０１５９】
＜５．変形例＞
上述した実施形態において、画像符号化装置１０のイントラ予測部４０の予測部４６は、ＬＭモードでの色差成分についての予測画素値を、上記式（１）に従って計算する。同様に、画像復号装置６０のイントラ予測部９０の予測部９６もまた、ＬＭモードでの色差成分についての予測画素値を、上記式（１）に従って計算する。式（１）の右辺のＲｅＬ´（ｘ，ｙ）は、復号画像の輝度成分のリサンプリング後の画素位置（ｘ，ｙ）の値を表す。従って、予測画素値の計算がブロック単位で行われる場合には、色差成分についての予測画素値の計算が行われるまで、ブロック単位で輝度成分のリサンプリング後の画素値が保持されることになる。
【０１６０】
例えば、図２４の左に示したＬＣＵ１は、１０個の符号化単位ＣＵ０〜ＣＵ９に分割される。一例として、ＬＣＵ１のサイズは１２８×１２８画素、符号化単位ＣＵ０及びＣＵ５のサイズは６４×６４画素、符号化単位ＣＵ１〜ＣＵ４及びＣＵ６〜ＣＵ９のサイズは３２×３２画素である。通常はこれら符号化単位ごとに予測画素値の計算が行われることから、この場合、クロマフォーマットが４：２：０であれば、輝度成分のリサンプリング後の画素値を保持しておくために、（特に符号化単位ＣＵ０及びＣＵ５について）３２×３２画素のメモリが用意され得る。一方、図２４の右に示したＬＣＵ２のサイズは１２８×１２８画素であり、ＬＣＵ２内には１つのＣＵ１０のみが含まれる。この場合、クロマフォーマットが４：２：０であれば、輝度成分のリサンプリング後の画素値を保持しておくために、６４×６４画素のメモリが用意され得る。画素のビット深度がより大きければ、メモリリソースの消費量もより多くなる。
【０１６１】
上述したメモリリソースの消費量の増大は、メモリリソースに制約のある装置にとっては好ましくない。そこで、本節では、ＬＭモードの導入に関連してメモリリソースの消費量を削減するための２つの変形例を説明する。
【０１６２】
［５−１．第１の変形例］
第１の変形例において、画像符号化装置１０の予測部４６及び画像復号装置６０の予測部９６は、各色差成分に対応する輝度成分をある間引き率で間引く。各色差成分に対応する輝度成分とは、例えば上記式（２）に従ったリサンプリングの後の各輝度成分に相当する。そして、予測部４６及び予測部９６は、間引かれた輝度成分に対応する各色差成分の予測値を、間引かれていない輝度成分の値を用いて生成する。
【０１６３】
図２５は、本変形例に係る間引き処理の一例について説明するための説明図である。図２５を参照すると、一例として、８×８画素の予測単位（ＰＵ）が示されている。クロマフォーマットは４：２：０、間引き率は２５％であるものとする。なお、ここでの間引き率は、間引き前の画素数に対する間引き後の画素数の割合を示す。図２５の例において、１つのＰＵに含まれる色差成分の数は４×４個である。各色差成分に対応する輝度成分の数もまた、リサンプリングによって４×４個となる。これらリサンプリング後の輝度成分が間引き率２５％で間引かれる結果、ＬＭモードでの色差成分の予測に用いられる輝度成分の数は、２×２個となる。より具体的には、図２５の右下の例において、４つの輝度成分Ｌｕ１〜Ｌｕ４のうち、輝度成分Ｌｕ１以外の輝度成分Ｌｕ２、Ｌｕ３及びＬｕ４が間引かれている。同様に、４つの輝度成分Ｌｕ５〜Ｌｕ８のうち、輝度成分Ｌｕ５以外の輝度成分Ｌｕ６、Ｌｕ７及びＬｕ８が間引かれている。図２５の左下の色差成分Ｃｕ１は、間引かれていない輝度成分Ｌｕ１に対応する。従って、予測部４６及び予測部９６は、色差成分Ｃｕ１の予測値を、上記式（１）の右辺に輝度成分Ｌｕ１の値を代入することにより生成することができる。一方、例えば色差成分Ｃｕ２は、間引かれた輝度成分Ｌｕ２に対応する。この場合、予測部４６及び予測部９６は、色差成分Ｃｕ２の予測値を、間引かれていないいずれかの輝度成分の値を用いて生成する。例えば、色差成分Ｃｕ２の予測値は、色差成分Ｃｕ１の予測値の複製であってもよく、又は色差成分Ｃｕ１及びＣｕ５の２つの予測値から線型補間された値であってもよい。
【０１６４】
より一般的には、例えば、間引き率２５％の場合の色差成分の予測画素値ＰｒＣ（ｘ，ｙ）は、次の式（５）又は式（６）により表される手法に従って計算されてよい。式（５）は、隣接する画素からの予測値の複製を表現している。
【０１６５】
【数８】
2013034162.tif 000010
【０１６６】
式（６）は、予測値の線形補間を表現している。
【０１６７】
【数９】
2013034162.tif 000011
【０１６８】
なお、式（５）及び式（６）は一例に過ぎず、他の式が使用されてもよい。
【０１６９】
上述した間引き率は、輝度成分のリサンプリング後の画素値を保持しておくためのメモリリソースの量を左右する。間引かれる輝度成分の数が多いほど、メモリリソースの消費量は少なくなる。しかしながら、間引かれる輝度成分の数が多ければ、色差成分の予測の精度が低下する可能性がある。そこで、間引き率を指定するためのパラメータが、符号化ストリームのヘッダ（例えばシーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダ）において指定されてもよい。この場合、画像復号装置６０の予測部９６は、上記ヘッダから取得されるパラメータに基づいて、間引き率を決定する。それにより、装置ごとの要件（例えばメモリリソースの節約及び符号化効率のいずれを優先するか、など）に応じて、柔軟に間引き率を変更することが可能となる。
【０１７０】
図２６Ａ〜図２６Ｃを参照すると、図２５の例とは異なり、間引き率はそれぞれ５０％である。これらの例においては、リサンプリング後の輝度成分のうち、半分の輝度成分が間引かれる。但し、間引き率が同じであっても、間引かれる輝度成分の位置のパターン（以下、間引きパターンという）は互いに異なる。
【０１７１】
図２６Ａの例において、４つの輝度成分Ｌｕ１〜Ｌｕ４のうち、輝度成分Ｌｕ２及びＬｕ４が間引かれている。同様に、４つの輝度成分Ｌｕ５〜Ｌｕ８のうち、輝度成分Ｌｕ６及びＬｕ８が間引かれている。この場合にも、例えば、間引かれた輝度成分Ｌｕ２に対応する色差成分Ｃｕ２の予測値は、色差成分Ｃｕ１の予測値の複製であってもよく、又は色差成分Ｃｕ１及びＣｕ５の２つの予測値から線型補間された値であってもよい。図２６Ａの間引きパターンでは、間引かれる輝度成分がＰＵ内で均一に分散している。そのため、図２６Ａの間引きパターンは、間引き率の等しい他の間引きパターンと比較して、より高い予測精度を実現し得る。
【０１７２】
図２６Ｂの例においては、行単位で１行おきに輝度成分が間引かれている。このような間引きパターンは、例えばラインメモリによって画素値が保持される装置において、１回のメモリアクセスでより多くの輝度成分の値にアクセスできる点で有益である。一方、図２６Ｃの例においては、列単位で１列おきに輝度成分が間引かれている。このような間引きパターンは、例えばクロマフォーマットが４：２：２であって垂直方向の画素数がより多い場合に、列方向の周波数成分をより多く維持できる点で有益である。
【０１７３】
これら複数の間引きパターンの候補からいずれかの間引きパターンを指定するためのパラメータが、符号化ストリームのヘッダにおいて指定されてよい。この場合、画像復号装置６０の予測部９６は、上記ヘッダから取得されるパラメータに基づいて、間引かれる輝度成分の位置を決定する。それにより、装置ごとの要件に応じて柔軟に間引きパターンを変更することが可能となる。
【０１７４】
また、予測部４６及び予測部９６は、上述した参照比に応じて間引き率を決定してもよい。例えば、予測関数の係数の算出の際に参照される参照画素数がより少なければ、より多くの輝度成分が間引かれ得る。その際、予測部４６及び予測部９６は、参照画素の間引き位置に対応する位置の輝度成分を間引いてよい。
【０１７５】
図２７Ａ及び図２７Ｂは、それぞれ参照画素の間引き位置と輝度成分の間引き位置との対応の例を示している。図２７Ａの例において、ＰＵサイズは１６×１６画素、クロマフォーマットは４：２：０、参照比は２：１である。この場合、例えば間引き率は２５％に決定され、図２５の例と同様の間引きパターンが選択され得る。一方、図２７Ｂの例において、ＰＵサイズは１６×１６画素、クロマフォーマットは４：２：０、垂直方向の参照比は２：１、水平方向の参照比は１：１である。この場合、例えば間引き率は５０％に決定され、図２６Ｂの例と同様の間引きパターンが選択され得る。
【０１７６】
図２７Ａの例においては、参照画素が間引かれる行について、予測対象ブロックの全ての輝度成分が間引かれている。参照画素が間引かれる列についても、予測対象ブロックの全ての輝度成分が間引かれている。このように間引き位置を決定することにより、間引き位置の判定が単純化されるため、本変形例に係る間引き処理の実装をより容易にすることができる。図２７Ｂの例においても、参照画素が間引かれる行について、予測対象ブロックの全ての輝度成分が間引かれている。このように間引き位置を決定することにより、間引き位置に相当する行について、参照画素か予測対象画素かを問わず輝度成分へのアクセスを完全にスキップすることができる。それにより、間引き処理の実装がより容易になると共に、メモリアクセスの回数を減らして処理速度を高めることができる。
【０１７７】
［５−２．第２の変形例］
第２の変形例では、画像符号化装置１０のイントラ予測部４０及び画像復号装置６０のイントラ予測部９０による新たな処理の順序が採用される。
【０１７８】
図２８は、本変形例において採用される新たな処理の順序について説明するための説明図である。図２８を参照すると、一例として、符号化単位ＣＵ０、ＣＵ１、ＣＵ２及びその他の符号化単位を含むＬＣＵが示されている。さらに、符号化単位ＣＵ０は、４つの予測単位ＰＵ００、ＰＵ０１、ＰＵ０２及びＰＵ０３に分割されている。符号化単位ＣＵ１は、４つの予測単位ＰＵ１０、ＰＵ１１、ＰＵ１２及びＰＵ１３に分割されている。符号化単位ＣＵ２は、４つの予測単位ＰＵ２０、ＰＵ２１、ＰＵ２２及びＰＵ２３に分割されている。既存の手法では、このようなＬＣＵについてのイントラ予測処理は、Ｙ００→Ｙ０１→Ｙ０２→Ｙ０３→Ｃｂ００→Ｃｂ０１→Ｃｂ０２→Ｃｂ０３→Ｃｒ００→Ｃｒ０１→Ｃｒ０２→Ｃｒ０３→Ｙ１０→…のように行われる。ここで、ＹＮＮは予測単位ＰＵＮＮの輝度成分のイントラ予測、ＣｂＮＮ及びＣｒＮＮは予測単位ＰＵＮＮの色差成分のイントラ予測をそれぞれ表す。即ち、既存の手法では、各符号化単位について、成分ごとにイントラ予測処理が行われる。このような処理の順序を、ここでは「成分別順序」という。一方、本変形例において、例えば画像符号化装置１０のイントラ予測部４０の予測制御部４２及び画像復号装置６０のイントラ予測部９０の予測制御部９２は、各符号化単位について、予測単位ごとにイントラ予測処理が行われるように各部の処理を制御する。このような新たな処理の順序を、ここでは「ＰＵ別順序」という。例えば、図２８のＬＣＵにＰＵ別順序が適用される場合、まず予測単位ＰＵ００についての輝度成分Ｙ００並びに２つの色差成分Ｃｂ００及びＣｒ００のイントラ予測処理が行われる。次に、予測単位ＰＵ０１についての輝度成分Ｙ０１並びに２つの色差成分Ｃｂ０１及びＣｒ０１のイントラ予測処理が行われる。その後、予測単位ＰＵ０２、ＰＵ０３、ＰＵ１０…の順に、３つの成分のイントラ予測処理が繰り返される。
【０１７９】
既存の手法である成分別順序では、ＬＭモードでのイントラ予測において参照される輝度成分の値を保持しておくためのメモリリソースの量は、最大の符号化単位のサイズに左右される。例えば、最大の符号化単位のサイズが１２８×１２８画素、クロマフォーマットが４：２：０、ビット深度が１０ビットであれば、６４×６４×１０ビットのメモリリソースを要する。一方、上述したＰＵ別順序では、ＬＭモードでのイントラ予測において参照される輝度成分の値を保持しておくためのメモリリソースの量は、最大の予測単位のサイズに左右される。例えば、符号化単位が４つ以上の予測単位に分割される場合には、ＰＵ別順序の場合に要するメモリリソースの量は、成分別順序の場合に要するメモリリソースの量の４分の１で済む。従って、上述したＰＵ別順序を採用することで、メモリリソースの消費量を削減することができる。
【０１８０】
＜６．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０１８１】
［６−１．第１の応用例］
図２９は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０１８２】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１８３】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic  Program  Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０１８４】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０１８５】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical  User  Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０１８６】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
【０１８７】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０１８８】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１８９】
制御部９１０は、ＣＰＵ（Central  Processing  Unit）などのプロセッサ、並びにＲＡＭ（Random  Access  Memory）及びＲＯＭ（Read  Only  Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０１９０】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０１９１】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０１９２】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、ＬＭモードが採用される場合にも、ブロックサイズの拡大に伴う処理コストの増加を抑制することができる。
【０１９３】
［６−２．第２の応用例］
図３０は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０１９４】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０１９５】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０１９６】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１９７】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０１９８】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０１９９】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
【０２００】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０２０１】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、ＬＭモードが採用される場合にも、ブロックサイズの拡大に伴う処理コストの増加を抑制することができる。
【０２０２】
［６−３．第３の応用例］
図３１は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０２０３】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard  Disk  Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen  Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０２０４】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０２０５】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０２０６】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０２０７】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０２０８】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０２０９】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０２１０】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０２１１】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０２１２】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０２１３】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０２１４】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、ＬＭモードが採用される場合にも、ブロックサイズの拡大に伴う処理コストの増加を抑制することができる。
【０２１５】
［６−４．第４の応用例］
図３２は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０２１６】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０２１７】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０２１８】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０２１９】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０２２０】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０２２１】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０２２２】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０２２３】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid  State  Drive）のような非可搬性の記憶部が構成されてもよい。
【０２２４】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０２２５】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０２２６】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、ＬＭモードが採用される場合にも、ブロックサイズの拡大に伴う処理コストの増加を抑制することができる。
【０２２７】
＜７．まとめ＞
ここまで、図１〜図３２を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０について説明した。本実施形態によれば、画像の符号化及び復号における色差成分のイントラ予測にあたり、対応する輝度成分の値の関数を用いるＬＭモードが採用される場合に、関数の係数の算出の際に参照される参照画素の数のブロックサイズに対する比率が、可変的に制御される。従って、ブロックサイズの拡大に伴う参照画素数の増大を抑制して、処理コストの増加を回避し又は緩和することができる。
【０２２８】
また、本実施形態によれば、ブロックサイズが所定のサイズを上回る場合に参照画素数が一定となるように上記比率が制御され得る。かかる構成によれば、複数のブロックサイズについて共通的な回路又はロジックを用いて、上記関数の係数を算出することができる。従って、ＬＭモードの採用に起因する回路規模又はロジックの規模の増大をも抑制することができる。
【０２２９】
また、本実施形態によれば、ブロックサイズが所定のサイズを下回る場合に参照画素が過剰に削減されることがない。従って、参照画素数の不足によってＬＭモードでの予測の精度が低下することが防がれる。なお、比較的大きいブロックサイズは、通常、ブロック内の画像が単調であって予測が容易である場合に設定され得る。従って、ブロックサイズがより大きい場合により多くの参照画素を削減したとしても、それにより予測の精度が著しく低下するリスクは小さい。
【０２３０】
また、本実施形態によれば、上記比率は、ブロックの垂直方向とブロックの水平方向とで別々に制御され得る。かかる構成によれば、クロマフォーマットに依存することなく、共通的な回路又はロジックを用いて上記関数の係数を算出することが可能となる。また、比較的少ないメモリアクセスで参照可能な水平方向に沿って並ぶ参照画素をより多く残し、垂直方向に沿って並ぶ参照画素をより多く削減することも可能となる。さらに、短距離イントラ予測法が用いられる場合に、ブロックの形状に応じて、削減すべき参照画素を適応的に変化させることも可能となる。
【０２３１】
また、上述した２つの変形例によれば、ＬＭモードの導入に関連するメモリリソースの消費量を効果的に削減することができる。
【０２３２】
なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０２３３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２３４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、
前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、
前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、
を備える画像処理装置。
（２）
前記制御部は、前記ブロックサイズに応じて前記比率を制御する、前記（１）に記載の画像処理装置。
（３）
前記制御部は、前記ブロックサイズが第１のサイズである場合の前記比率を、前記ブロックサイズが前記第１のサイズよりも小さい第２のサイズである場合の前記比率よりも小さくなるように制御する、前記（２）に記載の画像処理装置。
（４）
前記制御部は、前記ブロックサイズが所定のサイズを上回る場合に前記参照画素数が一定となるように、前記比率を制御する、前記（３）に記載の画像処理装置。
（５）
前記係数算出部は、前記所定のサイズを上回る複数のブロックサイズについて共通的な回路又はロジックを用いて前記係数を算出する、前記（４）に記載の画像処理装置。
（６）
前記制御部は、ブロックサイズと前記比率との間の予め定義されるマッピングに従って、前記比率を制御する、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記制御部は、前記係数の算出の際に間引かれる参照画素の数を変化させることにより、前記比率を制御する、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記制御部は、前記ブロックサイズが所定のサイズを下回る場合には、間引かれる参照画素の数をゼロとする、前記（７）に記載の画像処理装置。
（９）
前記制御部は、前記ブロックの垂直方向のサイズに対する前記ブロックの左の参照画素数の比率である第１の比率と、前記ブロックの水平方向のサイズに対する前記ブロックの上の参照画素数の比率である第２の比率とを別々に制御する、前記（１）に記載の画像処理装置
（１０）
前記制御部は、同じブロックサイズについて前記第１の比率が前記第２の比率以下となるように前記第１の比率又は前記第２の比率を制御する、前記（９）に記載の画像処理装置。
（１１）
前記制御部は、短距離イントラ予測法が用いられる場合には、前記第１の比率及び前記第２の比率のうちサイズのより大きい方向に対応する比率のみを制御する、前記（９）に記載の画像処理装置。
（１２）
前記制御部は、前記色差成分の解像度を表すクロマフォーマットが４：２：２である場合に、前記ブロックの左の参照画素数が前記ブロックの上の参照画素数と等しくなるように、前記第１の比率を制御する、前記（９）に記載の画像処理装置。
（１３）
前記制御部は、前記色差成分の解像度を表すクロマフォーマットに応じて前記比率を制御する、前記（１）に記載の画像処理装置。
（１４）
前記制御部は、前記クロマフォーマットが第１の解像度を表している場合の前記比率を、前記クロマフォーマットが前記第１の解像度よりも低い第２の解像度を表している場合の前記比率よりも小さくなるように制御する、前記（１３）に記載の画像処理装置。
（１５）
前記制御部は、装置のケイパビリティがより低い場合に前記比率がより小さくなるように、前記比率を制御する、前記（１）〜（１４）のいずれか１項に記載の画像処理装置。
（１６）
前記係数算出部は、画素値のビット深度が所定のビット数を上回る場合に、前記所定のビット数に削減された参照画素の画素値を用いて前記係数を算出する、前記（５）に記載の画像処理装置。
（１７）
復号される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、
前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、
前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、
を含む画像処理方法。
（１８）
符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成する予測部と、
前記予測部により使用される前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出する係数算出部と、
前記ブロックのブロックサイズに対する前記係数算出部により使用される参照画素数の比率を制御する制御部と、
を備える画像処理装置。
（１９）
符号化される画像の画素の色差成分の予測値を、対応する輝度成分の値の関数を用いて生成することと、
前記関数の係数を、前記画素が属するブロックの周辺の画素を参照して算出することと、
前記係数の算出の際に使用される参照画素数の前記ブロックのブロックサイズに対する比率を制御することと、
を含む画像処理方法。
（２０）
復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行う予測部と、
前記予測部によりイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第１の比率で間引く間引き部と、
を備える画像処理装置。
（２１）
前記予測部は、各色差成分に対応する輝度成分を第２の比率で間引き、間引かれた輝度成分に対応する各色差成分の予測値を、間引かれていない輝度成分の値を用いて生成する、前記（２０）に記載の画像処理装置。
（２２）
前記予測部は、前記第２の比率を前記第１の比率に応じて決定する、前記（２１）に記載の画像処理装置。
（２３）
前記予測部は、前記間引き部により間引かれる前記参照画素の位置に対応する位置の輝度成分を間引く、前記（２２）に記載の画像処理装置。
（２４）
前記予測部は、符号化ストリームのヘッダから取得されるパラメータに基づいて、前記第２の比率を決定する、前記（２１）に記載の画像処理装置。
（２５）
前記予測部は、符号化ストリームのヘッダから取得されるパラメータに基づいて、間引かれる輝度成分の位置を決定する、前記（２１）に記載の画像処理装置。
（２６）
復号される画像の輝度成分を用いて前記画像の色差成分のイントラ予測を行うことと、
前記色差成分のイントラ予測が行われる際に参照される参照画素を、予測ブロックサイズに応じた第１の比率で間引くことと、
を含む画像処理方法。
【符号の説明】
【０２３５】
１０      画像符号化装置（画像処理装置）
４２      予測制御部
４４      係数算出部（間引き部）
４６      予測部
６０      画像復号装置（画像処理装置）
９２      予測制御部
９４      係数算出部（間引き部）
９６      予測部
【図１】
2013034162.tif 000012
【図２】
2013034162.tif 000013
【図３】
2013034162.tif 000014
【図４】
2013034162.tif 000015
【図５】
2013034162.tif 000016
【図６】
2013034162.tif 000017
【図７】
2013034162.tif 000018
【図８】
2013034162.tif 000019
【図９Ａ】
2013034162.tif 000020
【図９Ｂ】
2013034162.tif 000021
【図１０】
2013034162.tif 000022
【図１１Ａ】
2013034162.tif 000023
【図１１Ｂ】
2013034162.tif 000024
【図１２】
2013034162.tif 000025
【図１３Ａ】
2013034162.tif 000026
【図１３Ｂ】
2013034162.tif 000027
【図１３Ｃ】
2013034162.tif 000028
【図１３Ｄ】
2013034162.tif 000029
【図１４】
2013034162.tif 000030
【図１５Ａ】
2013034162.tif 000031
【図１５Ｂ】
2013034162.tif 000032
【図１６】
2013034162.tif 000033
【図１７Ａ】
2013034162.tif 000034
【図１７Ｂ】
2013034162.tif 000035
【図１８Ａ】
2013034162.tif 000036
【図１８Ｂ】
2013034162.tif 000037
【図１９】
2013034162.tif 000038
【図２０】
2013034162.tif 000039
【図２１】
2013034162.tif 000040
【図２２】
2013034162.tif 000041
【図２３】
2013034162.tif 000042
【図２４】
2013034162.tif 000043
【図２５】
2013034162.tif 000044
【図２６Ａ】
2013034162.tif 000045
【図２６Ｂ】
2013034162.tif 000046
【図２６Ｃ】
2013034162.tif 000047
【図２７Ａ】
2013034162.tif 000048
【図２７Ｂ】
2013034162.tif 000049
【図２８】
2013034162.tif 000050
【図２９】
2013034162.tif 000051
【図３０】
2013034162.tif 000052
【図３１】
2013034162.tif 000053
【図３２】
2013034162.tif 000054