"符号化単位内の第1の輝度予測単位の輝度成分、前記第1の輝度予測単位に対応する第1の色差予測単位の色差成分、及び前記符号化単位内の前記第1の色差予測単位に対応しない第2の輝度予測単位の輝度成分を、前記第1の輝度予測単位の輝度成分、前記第1の色差予測単位の色差成分及び前記第2の輝度予測単位の輝度成分の順に復号する復号部、を備える画像処理装置。輝度成分に基づく色差成分の予測を表す線型モデルLMモードが指定された場合に、前記復号部により復号される前記第1の色差予測単位の色差成分の予測値を、前記第1の輝度予測単位の輝度成分の値に基づく関数を用いて生成する予測部、をさらに備える、請求項1に記載の画像処理装置。前記LMモードにおいて、1つの色差予測単位に対応する輝度予測単位の数は1つに制限される、請求項2に記載の画像処理装置。輝度予測単位のサイズが4×4画素である場合には、前記LMモードにおいて例外的に1つの色差予測単位に対応する輝度予測単位の数が複数となることが許容される、請求項3に記載の画像処理装置。前記復号部は、前記第1の輝度予測単位のサイズが4×4画素である場合には、前記第1の輝度予測単位を含む1つ以上の4×4画素の輝度予測単位の輝度成分を復号した後、前記第1の色差予測単位の色差成分を復号する、請求項4に記載の画像処理装置。前記予測部は、前記LMモードのための輝度成分のバッファとして、色差予測単位の最大サイズ以下のサイズのバッファを有する、請求項3に記載の画像処理装置。符号化単位内の第1の輝度予測単位の輝度成分、前記第1の輝度予測単位に対応する第1の色差予測単位の色差成分、及び前記符号化単位内の前記第1の色差予測単位に対応しない第2の輝度予測単位の輝度成分を、前記第1の輝度予測単位の輝度成分、前記第1の色差予測単位の色差成分及び前記第2の輝度予測単位の輝度成分の順に復号すること、を含む画像処理方法。符号化単位内の第1の輝度予測単位の輝度成分、前記第1の輝度予測単位に対応する第1の色差予測単位の色差成分、及び前記符号化単位内の前記第1の色差予測単位に対応しない第2の輝度予測単位の輝度成分を、前記第1の輝度予測単位の輝度成分、前記第1の色差予測単位の色差成分及び前記第2の輝度予測単位の輝度成分の順に符号化する符号化部、を備える画像処理装置。輝度成分に基づく色差成分の予測を表す線型モデルLMモードにおいて、前記第1の色差予測単位の色差成分の予測値を、前記第1の輝度予測単位の輝度成分の値に基づく関数を用いて生成する予測部、をさらに備える、請求項8に記載の画像処理装置。前記予測部は、色差予測単位のサイズが対応する輝度予測単位のサイズからクロマフォーマットに応じて定まるサイズよりも大きい場合には、当該色差予測単位について前記LMモードを探索しない、請求項9に記載の画像処理装置。前記予測部は、前記第1の色差予測単位及び前記第1の輝度予測単位のサイズがそれぞれ4×4画素である場合には、前記第1の色差予測単位について、前記第1の輝度予測単位を含む複数の輝度予測単位に基づく前記LMモードを例外的に探索する、請求項10に記載の画像処理装置。符号化単位内の第1の輝度予測単位の輝度成分、前記第1の輝度予測単位に対応する第1の色差予測単位の色差成分、及び前記符号化単位内の前記第1の色差予測単位に対応しない第2の輝度予測単位の輝度成分を、前記第1の輝度予測単位の輝度成分、前記第1の色差予測単位の色差成分及び前記第2の輝度予測単位の輝度成分の順に符号化すること、を含む画像処理方法。しかしながら、上記非特許文献2に記載されている手法では、LMモードの予測関数を構築するために要するメモリリソースが、参照画素が多くなるに従って増加する。特に、予測単位のサイズが最大で64×64画素にまで拡張されるHEVCでは、LMモードの採用のために大規模なメモリを用意する必要性が生じ、これはハードウェアの小型化又は低コスト化の障害となり得る。従って、LMモードのように、動的に構築される予測関数に基づくイントラ予測が行われる場合に必要とされるメモリリソースの量を削減することのできる手法が提供されることが望ましい。本開示によれば、符号化単位内の第1の輝度予測単位の輝度成分、前記第1の輝度予測単位に対応する第1の色差予測単位の色差成分、及び前記符号化単位内の前記第1の色差予測単位に対応しない第2の輝度予測単位の輝度成分を、前記第1の輝度予測単位の輝度成分、前記第1の色差予測単位の色差成分及び前記第2の輝度予測単位の輝度成分の順に復号する復号部、を備える画像処理装置が提供される。上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。また、本開示によれば、符号化単位内の第1の輝度予測単位の輝度成分、前記第1の輝度予測単位に対応する第1の色差予測単位の色差成分、及び前記符号化単位内の前記第1の色差予測単位に対応しない第2の輝度予測単位の輝度成分を、前記第1の輝度予測単位の輝度成分、前記第1の色差予測単位の色差成分及び前記第2の輝度予測単位の輝度成分の順に復号すること、を含む画像処理方法が提供される。また、本開示によれば、符号化単位内の第1の輝度予測単位の輝度成分、前記第1の輝度予測単位に対応する第1の色差予測単位の色差成分、及び前記符号化単位内の前記第1の色差予測単位に対応しない第2の輝度予測単位の輝度成分を、前記第1の輝度予測単位の輝度成分、前記第1の色差予測単位の色差成分及び前記第2の輝度予測単位の輝度成分の順に符号化する符号化部、を備える画像処理装置が提供される。上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。また、本開示によれば、符号化単位内の第1の輝度予測単位の輝度成分、前記第1の輝度予測単位に対応する第1の色差予測単位の色差成分、及び前記符号化単位内の前記第1の色差予測単位に対応しない第2の輝度予測単位の輝度成分を、前記第1の輝度予測単位の輝度成分、前記第1の色差予測単位の色差成分及び前記第2の輝度予測単位の輝度成分の順に符号化すること、を含む画像処理方法が提供される。本開示に係る技術によれば、動的に構築される予測関数に基づくイントラ予測が行われる場合に必要とされるメモリリソースの量を削減することができる。以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、以下の順序で説明を行う。1.一実施形態に係る画像符号化装置の構成例2.一実施形態に係る符号化時の処理の流れ3.一実施形態に係る画像復号装置の構成例4.一実施形態に係る復号時の処理の流れ5.変形例6.応用例7.まとめ<1.一実施形態に係る画像符号化装置の構成例>[1-1.全体的な構成例]図1は、一実施形態に係る画像符号化装置10の構成の一例を示すブロック図である。図1を参照すると、画像符号化装置10は、A/DAnaloguetoDigital変換部11、並び替えバッファ12、減算部13、直交変換部14、量子化部15、可逆符号化部16、蓄積バッファ17、レート制御部18、逆量子化部21、逆直交変換部22、加算部23、デブロックフィルタ24、フレームメモリ25、セレクタ26及び27、動き探索部30、並びにイントラ予測部40を備える。A/D変換部11は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並び替えバッファ12へ出力する。並び替えバッファ12は、A/D変換部11から入力される一連の画像データに含まれる画像を並び替える。並び替えバッファ12は、符号化処理に係るGOPGroupofPictures構造に応じて画像を並び替えた後、並び替え後の画像データを減算部13、動き探索部30及びイントラ予測部40へ出力する。減算部13には、並び替えバッファ12から入力される画像データ、及び後に説明する動き探索部30又はイントラ予測部40から入力される予測画像データが供給される。減算部13は、並び替えバッファ12から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部14へ出力する。直交変換部14は、減算部13から入力される予測誤差データについて直交変換を行う。直交変換部14により実行される直交変換は、例えば、離散コサイン変換DiscreteCosineTransform:DCT又はカルーネンレーベ変換などであってよい。直交変換部14は、直交変換処理により取得される変換係数データを量子化部15へ出力する。量子化部15には、直交変換部14から入力される変換係数データ、及び後に説明するレート制御部18からのレート制御信号が供給される。量子化部15は、変換係数データを量子化し、量子化後の変換係数データ以下、量子化データというを可逆符号化部16及び逆量子化部21へ出力する。また、量子化部15は、レート制御部18からのレート制御信号に基づいて量子化パラメータ量子化スケールを切り替えることにより、可逆符号化部16に入力される量子化データのビットレートを変化させる。可逆符号化部16は、量子化部15から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部16による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部16は、セレクタ27から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部16は、生成した符号化ストリームを蓄積バッファ17へ出力する。通常、1つの符号化単位CodingUnit:CUは、輝度成分Yについての1つ以上の予測単位と色差成分Cb,Crについてのそれぞれ1つ以上の予測単位とを含む。既存の手法では、これら予測単位の量子化データは、成分別の順序で符号化される。即ち、1つのCU内の輝度成分Yのデータが符号化された後、色差成分Cbのデータが符号化され、さらにその後色差成分Crのデータが符号化される。これに対し、本実施形態において、可逆符号化部16は、イントラ予測が行われる符号化単位について、PU別の順序で量子化データを符号化して符号化ストリームを生成する。このような符号化の順序について、後にさらに説明する。蓄積バッファ17は、可逆符号化部16から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ17は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部例えば、通信インタフェース又は周辺機器との接続インタフェースなどへ出力する。レート制御部18は、蓄積バッファ17の空き容量を監視する。そして、レート制御部18は、蓄積バッファ17の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部15へ出力する。例えば、レート制御部18は、蓄積バッファ17の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部18は、蓄積バッファ17の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。逆量子化部21は、量子化部15から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部21は、逆量子化処理により取得される変換係数データを、逆直交変換部22へ出力する。逆直交変換部22は、逆量子化部21から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部22は、復元した予測誤差データを加算部23へ出力する。加算部23は、逆直交変換部22から入力される復元された予測誤差データと動き探索部30又はイントラ予測部40から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部23は、生成した復号画像データをデブロックフィルタ24及びフレームメモリ25へ出力する。デブロックフィルタ24は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ24は、加算部23から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ25へ出力する。フレームメモリ25は、加算部23から入力される復号画像データ、及びデブロックフィルタ24から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。セレクタ26は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ25から読み出し、読み出した復号画像データを参照画像データとして動き探索部30に供給する。また、セレクタ26は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ25から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部40に供給する。セレクタ27は、インター予測モードにおいて、動き探索部30から出力されるインター予測の結果としての予測画像データを減算部13へ出力すると共に、インター予測に関する情報を可逆符号化部16へ出力する。また、セレクタ27は、イントラ予測モードにおいて、イントラ予測部40から出力されるイントラ予測の結果としての予測画像データを減算部13へ出力すると共に、イントラ予測に関する情報を可逆符号化部16へ出力する。セレクタ27は、インター予測モードとイントラ予測モードとを、動き探索部30及びイントラ予測部40から出力されるコスト関数値の大きさに応じて切り替える。動き探索部30は、並び替えバッファ12から入力される符号化対象の画像データ原画像データ、及びセレクタ26を介して供給される復号画像データに基づいて、インター予測処理フレーム間予測処理を行う。例えば、動き探索部30は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部30は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部30は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部30は、選択した最適な予測モードを表す予測モード情報、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ27へ出力する。イントラ予測部40は、並び替えバッファ12から入力される原画像データ、及びフレームメモリ25から供給される参照画像データとしての復号画像データに基づいて、画像内に設定されるブロックごとにイントラ予測処理を行う。そして、イントラ予測部40は、最適な予測モードを表す予測モード情報及びサイズ関連情報を含むイントラ予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ27へ出力する。イントラ予測部40により選択可能な予測モードは、既存のイントラ予測モードに加えて、色差成分についての線型モデルLMモードを含む。本実施形態におけるLMモードは、上記非特許文献2に記載されているLMモードとは異なり、ブロックサイズに対する参照画素数の比率が変化し得るという特徴を有する。このようなイントラ予測部40によるイントラ予測処理について、後により詳細に説明する。[1-2.イントラ予測部の構成例]図2は、図1に示した画像符号化装置10のイントラ予測部40の詳細な構成の一例を示すブロック図である。図2を参照すると、イントラ予測部40は、予測制御部42、係数算出部44、予測部46及びモード判定部48を有する。予測制御部42は、イントラ予測部40におけるイントラ予測処理を制御する。例えば、予測制御部42は、ある処理単位で輝度成分Yについてのイントラ予測処理を実行した後、色差成分Cb、Crについてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部42は、複数の予測モードで予測部46に各画素の予測画素値を生成させ、モード判定部48に輝度成分の最適な予測モードを判定させる。その結果、符号化単位内の予測単位の配置も決定される。色差成分についてのイントラ予測処理では、予測制御部42は、各予測単位について複数の予測モードで予測部46に各画素の予測画素値を生成させ、モード判定部48に色差成分の最適な予測モードを判定させる。輝度成分についての予測モードの候補は、H.264/AVCなどの既存の画像符号化方式において採用されている予測モードであってよく、他の予測モードを含んでもよい。色差成分についての予測モードの候補もまた、既存の画像符号化方式において採用されている予測モードを含み得る。さらに、色差成分についての予測モードの候補は、上述したLMモードを含む。但し、本実施形態において、LMモードは、色差成分の予測単位のサイズと対応する輝度成分の予測単位のサイズとが所定の条件を満たす場合にのみ、当該色差成分の予測単位についての予測モードの候補即ち、最適な予測モードの探索範囲に加えられる。所定の条件とは、色差成分の予測単位のサイズが、対応する輝度成分の予測単位のサイズからクロマフォーマットに応じて定まるサイズ以下であるという条件であってよい。ここで、対応する予測単位とは、少なくとも部分的に画素を共有する予測単位をいう。色差成分の予測単位のサイズは、輝度成分の予測単位のサイズに依存することなく決定され得る。従って、ある色差成分の予測単位について、対応する1つ又は複数の輝度成分の予測単位が存在し得る。上記条件における対応する輝度成分の予測単位のサイズからクロマフォーマットに応じて定まるサイズとは、輝度成分の予測単位のサイズをM×N画素とした場合、クロマフォーマットが4:2:0であればM/2×N/2画素、クロマフォーマットが4:2:2であればM/2×N画素、クロマフォーマットが4:4:4であればM×N画素である。このようなLMモードの探索の制限の意義について、後により詳細に説明する。また、上記非特許文献2に記載された手法では、LMモードの予測関数の係数を算出する際の参照画素数のブロックサイズに対する比率は一定である。従って、ブロックサイズが大きくなれば、それに応じて参照画素数は増大する。一方、本実施形態において、予測制御部42は、上記比率を可変的に制御する。ここでのブロックサイズとは、原則として予測単位のサイズをいう。本明細書では、予測制御部42により制御される上述した比率、即ちブロックサイズに対する参照画素数の比率を、参照比と呼ぶものとする。予測制御部42による参照比の制御は、典型的には、ブロックサイズに応じて行われ得る。さらに、予測制御部42は、色差成分のブロックサイズを左右するクロマフォーマットに応じて、参照比を制御してもよい。また、予測制御部42は、画像の符号化及び復号に関する装置のケイパビリティを定義付けるパラメータ例えば、プロファイル又はレベルに応じて、参照比を制御してもよい。予測制御部42による参照比の制御の複数のシナリオについて、後により詳細に説明する。係数算出部44は、LMモードにおいて予測部46により使用される予測関数の係数を、予測対象の画素が属する予測単位の周辺の画素、即ち参照画素を参照して算出する。予測部46により使用される予測関数は、典型的には、輝度成分の値の線型関数である。予測関数の係数の算出に際して係数算出部44により参照される参照画素の数は、上述したように、予測制御部42により制御される。予測部46は、予測制御部42による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、様々な予測モードの候補に従って予測する。予測部46により使用される予測モードの候補の例について、後により詳細に説明する。予測部46による予測の結果として生成される予測画像データは、予測モードごとにモード判定部48へ出力される。モード判定部48は、並び替えバッファ12から入力される原画像データと予測部46から入力される予測画像データとに基づいて、各予測モードのコスト関数値を算出する。そして、モード判定部48は、算出したコスト関数値に基づき、輝度成分についての最適な予測モードと符号化単位内の予測単位の配置とを決定する。同様に、モード判定部48は、色差成分についてのコスト関数値に基づき、色差成分についての最適な予測モードと予測単位の配置とを決定する。そして、モード判定部48は、決定した最適な予測モードを表す予測モード情報及びサイズ関連情報などを含むイントラ予測に関する情報、コスト関数値、並びに輝度成分及び色差成分の予測画素値を含む予測画像データを、セレクタ27へ出力する。モード判定部48から出力されるサイズ関連情報は、各予測単位のサイズを特定するための情報に加えて、クロマフォーマットを指定する情報を含んでもよい。[1-3.予測モードの候補]次に、イントラ予測部40の予測部46により使用され得る予測モードの候補について説明する。1輝度成分についての予測モードの候補輝度成分についての予測モードの候補は、H.264/AVCなどの既存の画像符号化方式において採用されている予測モードであってよい。図3~図5は、予測単位のサイズが4×4画素である場合のそうした予測モードの候補について説明するための説明図である。図3を参照すると、4×4画素の予測単位において使用され得る9種類の予測モードモード0~モード8が示されている。図4には、各モード番号にそれぞれ対応する予測方向が概略的に示されている。図5において、小文字のアルファベットa~pは、4×4画素の予測単位内の各画素即ち、予測対象画素の画素値を表す。予測単位の周囲のRzz=a,b,...,mは、符号化済みの参照画素の画素値を表す。例えば、モード0における予測方向は垂直方向であり、各予測画素値は、次のように計算される:a=e=i=m=Rab=f=j=n=Rbc=g=k=o=Rcd=h=l=p=Rdモード1における予測方向は水平方向であり、各予測画素値は、次のように計算される:a=b=c=d=Rie=f=g=h=Rji=j=k=l=Rkm=n=o=p=Rlモード2はDC予測平均値予測を表し、各予測画素値は、いずれの参照画素が利用可能かに応じて、次の4つの式のいずれかに従って計算される:a=b=...=p=RaRbRcRdRiRjRkRl4>>3a=b=...=p=RaRbRcRd2>>2a=b=...=p=RiRjRkRl2>>2a=b=...=p=128モード3における予測方向は斜め左下であり、各予測画素値は、次のように計算される:a=Ra2RbRc2>>2b=e=Rb2RcRd2>>2c=f=i=Rc2RdRe2>>2d=g=j=m=Rd2ReRf2>>2h=k=n=Re2RfRg2>>2l=o=Rf2RgRh2>>2p=Rg3Rh2>>2モード4における予測方向は斜め右下であり、各予測画素値は、次のように計算される:m=Rj2RkRl2>>2i=n=Ri2RjRk2>>2e=j=o=Rm2RiRj2>>2a=f=k=p=Ra2RmRi2>>2b=g=l=Rm2RaRb2>>2c=h=Ra2RbRc2>>2d=Rb2RcRd2>>2モード5における予測方向は垂直右であり、各予測画素値は、次のように計算される:a=j=RmRa1>>1b=k=RaRb1>>1c=l=RbRc1>>1d=RcRd1>>1e=n=Ri2RmRa2>>2f=o=Rm2RaRb2>>2g=p=Ra2RbRc2>>2h=Rb2RcRd2>>2i=Rm2RiRj2>>2m=Ri2RjRk2>>2モード6における予測方向は水平下であり、各予測画素値は、次のように計算される:a=g=RmRi1>>1b=h=Ri2RmRa2>>2c=Rm2RaRb2>>2d=Ra2RbRc2>>2e=k=RiRj1>>1f=l=Rm2RiRj2>>2i=o=RjRk1>>1j=p=Ri2RjRk2>>2m=RkRl1>>1n=Rj2RkRl2>>2モード7における予測方向は垂直左であり、各予測画素値は、次のように計算される:a=RaRb1>>1b=i=RbRc1>>1c=j=RcRd1>>1d=k=RdRe1>>1l=ReRf1>>1e=Ra2RbRc2>>2f=m=Rb2RcRd2>>2g=n=Rc2RdRe2>>2h=o=Rd2ReRf2>>2p=Re2RfRg2>>2モード8における予測方向は水平上であり、各予測画素値は、次のように計算される:a=RiRj1>>1b=Ri2RjRk2>>2c=e=RjRk1>>1d=f=Rj2RkRl2>>2g=i=RkRl1>>1h=j=Rk3Rl2>>2k=l=m=n=o=p=Rl図6を参照すると、8×8画素の予測単位において使用され得る9種類の予測モードモード0~モード8が示されている。モード0における予測方向は、垂直方向である。モード1における予測方向は、水平方向である。モード2は、DC予測平均値予測を表す。モード3における予測方向は、斜め左下である。モード4における予測方向は、斜め右下である。モード5における予測方向は、垂直右である。モード6における予測方向は、水平下である。モード7における予測方向は、垂直左である。モード8における予測方向は、水平上である。図7を参照すると、16×16画素の予測単位において使用され得る4種類の予測モードモード0~モード3が示されている。モード0における予測方向は、垂直方向である。モード1における予測方向は、水平方向である。モード2は、DC予測平均値予測を表す。モード3は、平面予測を表す。2色差成分についての予測モードの候補色差成分についての予測モードは、輝度成分についての予測モードとは独立して選択され得る。図8には、色差成分のブロックサイズが8×8画素である場合に使用され得る予測モードの候補のうち、H.264/AVCなどの既存の画像符号化方式において採用されている4つの予測モードモード0~モード3が示されている。モード0はDC予測平均値予測を表す。ここで、画素位置x,yの予測画素値をPrCx,y、左の8つの参照画素値をReC-1,n、上の8つの参照画素値をReCn,-1とする。下付き文字のCは、色差成分を意味する。nは0以上7以下の整数である。すると、予測画素値PrCx,yは、いずれの参照画素が利用可能かに応じて、次の3つの式のいずれかに従って計算される:モード1における予測方向は水平方向であり、予測画素値PrCx,yは、次のように計算される:モード2における予測方向は垂直方向であり、予測画素値PrCx,yは、次のように計算される:モード3は、平面予測を表す。予測画素値PrCx,yは、次のように計算される:さらに、本実施形態では、色差成分について、次項で説明するLMモードが例えばモード4として選択可能である。[1-4.LMモードの詳細]LMモードでは、色差成分についての予測画素値は、対応する輝度成分の値の線型関数を用いて計算される。例えば、LMモードにおいて使用される予測関数は、上記非特許文献2に記載されている次のような線型一次関数であってよい:式1において、ReL ́x,yは、復号画像いわゆるリコンストラクト画像の輝度成分のリサンプリング後の画素位置x,yの値を表す。輝度成分のリサンプリングは、クロマフォーマットに依存して色差成分の解像度が輝度成分の解像度と異なる場合に行われる。例えば、クロマフォーマットが4:2:0である場合には、水平方向及び垂直方向の双方について画素数が1/2となるように、次式に従って輝度成分のリサンプリングが行われる。なお、ReLu,vは、リサンプリング前の画素位置u,vの輝度成分の値を表す。クロマフォーマットが4:2:2である場合には、水平方向について画素数が1/2となるように、輝度成分のリサンプリングが行われる。クロマフォーマットが4:4:4である場合には、輝度成分のリサンプリングは行われない。式1の係数αは、次の式3に従って算出される。また、式1の係数βは、次の式4に従って算出され得る。式3及び式4において、Iは参照画素数を表す。例えば、色差成分のブロックサイズが8×8画素であって、左の8つの参照画素及び上の8つの参照画素が共に利用可能であれば、I=88=16である。[1-5.新たな符号化処理の順序]上述した式1~式4は、上記非特許文献2に記載されている式と同様である。式1の右辺のReL ́x,yは、復号画像エンコーダにおけるリコンストラクト画像又はデコーダにおける復号画像の輝度成分のリサンプリング後の画素位置x,yの値を表す。従って、予測画素値の計算がブロック単位で行われる場合には、色差成分についての予測画素値の計算が行われるまで、対応するブロックの輝度成分のリサンプリング後の画素値を少なくとも一時的に保持しておく必要性が生じる。図9は、既存の手法における処理の順序と本実施形態における処理の順序との違いについて説明するための説明図である。図9を参照すると、一例として、符号化単位CU0、CU1、CU2及びその他の符号化単位を含むLCU1が示されている。さらに、符号化単位CU0は、4つの予測単位PU00、PU01、PU02及びPU03に分割されている。符号化単位CU1は、4つの予測単位PU10、PU11、PU12及びPU13に分割されている。符号化単位CU2は、4つの予測単位PU20、PU21、PU22及びPU23に分割されている。ここでは、説明の簡明さのために、全ての色差成分の予測単位が、対応する輝度成分の予測単位のサイズからクロマフォーマットに応じて定まるサイズを有するものとする。即ち、輝度成分の予測単位と色差成分の予測単位とは、1対1の対応を有する。既存の手法では、このようなLCUについての画像データの符号化処理は、Y00→Y01→Y02→Y03→Cb00→Cb01→Cb02→Cb03→Cr00→Cr01→Cr02→Cr03→Y10→...のような順序で行われる。ここで、YNNは予測単位PUNNの輝度成分の符号化処理、CbNN及びCrNNは予測単位PUNNの色差成分の符号化処理をそれぞれ表す。イントラ予測処理についても同様である。即ち、既存の手法では、各符号化単位について、成分ごとに符号化処理が行われる。このような処理の順序を、本明細書では成分別順序という。一方、本実施形態では、各符号化単位について、予測単位ごとに画像データの符号化処理が行われる。このような新たな処理の順序を、本明細書ではPU別順序という。例えば、図9のLCU1にPU別順序が適用される場合、まず予測単位PU00についての輝度成分Y00並びに2つの色差成分Cb00及びCr00の符号化処理が行われる。次に、予測単位PU01についての輝度成分Y01並びに2つの色差成分Cb01及びCr01の符号化処理が行われる。その後、予測単位PU02、PU03、PU10...の順に、3つの成分の符号化処理が繰り返される。既存の手法である成分別順序では、LMモードでのイントラ予測において参照される輝度成分の値を保持しておくためのメモリリソースの所要量は、最大の符号化単位のサイズに左右される。例えば、最大の符号化単位のサイズが128×128画素、クロマフォーマットが4:2:0、ビット深度が10ビットであれば、64×64×10ビットのメモリリソースが消費され得る。一方、上述したPU別順序では、メモリリソースの所要量は、色差成分の最大の予測単位のサイズに左右される。HEVCにおいて、輝度成分の最大の予測単位のサイズは64×64画素である。従って、上述したPU別順序が採用される場合には、クロマフォーマットが4:2:0、ビット深度が10ビットであれば、メモリリソースの所要量は多くても32×32×10ビットとなる。さらに、本実施形態では、上述したように、LMモードの探索に制限が課される。即ち、色差成分の予測単位のサイズが対応する輝度成分の予測単位のサイズからクロマフォーマットに応じて定まるサイズ以下である場合にのみ、LMモードが、当該色差成分の予測単位についての予測モードの候補に加えられる。結果的に、LMモードが選択されるケースでは、1つの色差成分の予測単位には1つの輝度成分の予測単位のみが対応することになる。それにより、PU別順序を採用する場合において、第1の輝度成分の予測単位から第2の輝度成分の予測単位へ処理が移る際に、原則として第1の輝度成分の予測単位についてバッファリングされているデータをクリアすることができる。LMモードの探索の制限の意義について検討すると、一般的に、あるブロックが複数の予測単位に分割されるケースでは、当該複数の予測単位間の画像の相関は低い。互いに相関の低い複数の輝度成分の予測単位にわたる輝度成分の値に基づいて予測関数を決定したとしても、その予測関数は、輝度成分と色差成分との間の相関を十分な精度でモデル化できていないと考えられる。従って、LMモードの適用について上述した制限を課したとしても、高い予測精度を期待できない予測モードが予測モードの候補から除外されるのみであるため、大きなデメリットは生じず、むしろ処理コストの削減という利益が得られる。なお、輝度成分の予測単位のサイズが4×4画素であって、クロマフォーマットが4:2:0であれば、当該クロマフォーマットに応じて定まる色差成分の予測単位のサイズは2×2画素である。しかし、HEVCにおいて、2×2画素の予測単位は利用可能でない。その一方で、LMモードは、予測単位のサイズがより小さいほど符号化効率の向上により大きく貢献する、という報告がなされている。そこで、輝度成分の予測単位のサイズが小さい場合例えば4×4画素にのみ、例外的に複数の輝度成分の予測単位に基づくLMモードの適用を許容することも有益である。この場合、可逆符号化部16は、1つの色差成分の予測単位例えば、4×4画素に対応する複数の輝度成分の予測単位例えば、4つの4×4画素の予測単位を連続的に符号化した後、当該1つの色差成分の予測単位を符号化し得る。図10Aは、本実施形態において採用され得る新たな符号化処理の順序の第1の例について説明するための説明図である。図中左は、符号化単位CU1内の輝度成分の予測単位以下、輝度予測単位というの配置を示している。図中右は、符号化単位CU1内の色差成分の予測単位以下、色差予測単位というの配置を示している。符号化単位CU1のサイズは128×128画素、クロマフォーマットは4:2:0であるものとする。符号化単位CU1は、7個の輝度予測単位PU10~PU16を含む。輝度予測単位PU10、PU11及びPU16のサイズは64×64画素、輝度予測単位PU12~PU15のサイズは32×32画素である。符号化単位CU1は、7個の色差予測単位PU20~PU26を含む。色差予測単位PU20のサイズは32×32画素であり、色差予測単位PU20は輝度予測単位PU10に対応する。色差予測単位PU21~PU24のサイズは16×16画素であり、色差予測単位PU21~PU24は輝度予測単位PU11に対応する。色差予測単位PU25のサイズは32×32画素であり、色差予測単位PU25は輝度予測単位PU12~PU15に対応する。色差予測単位PU26のサイズは32×32画素であり、色差予測単位PU26は輝度予測単位PU16に対応する。これら色差予測単位PU20~PU26のうち色差予測単位PU25のサイズ32×32画素は、対応する輝度予測単位PU21~PU24のサイズ32×32画素からクロマフォーマットに応じて定まるサイズ16×16画素よりも大きい。従って、色差予測単位PU25については、LMモードが予測モードの候補から除外される。一方、他の色差予測単位については、LMモードが予測モードの候補から除外されない。図10Aの例において、符号化処理は、Y10→Cb20→Cr20→Y11→Cb21→Cr21→Cb22→Cr22→Cb23→Cr23→Cb24→Cr24→Y12→Y13→Y14→Y15→Cb25→Cr25→Y16→Cb26→Cr26という順序で行われる。即ち、例えば輝度予測単位PU10が符号化された後、輝度予測単位PU11が符号化される前に色差予測単位PU20が符号化される。また、輝度予測単位PU11が符号化された後、輝度予測単位PU12が符号化される前に色差予測単位PU21~PU24が符号化される。従って、バッファサイズが32×32画素であっても、各色差予測単位についてのイントラ予測の時点で対応する輝度予測単位の輝度成分のリサンプリング後の値が未だクリアされないため、各色差予測単位についてLMモードを利用することができる。図10Bは、本実施形態において採用され得る新たな符号化処理の順序の第2の例について説明するための説明図である。図中左は、符号化単位CU2内の輝度予測単位の配置を示している。図中右は、符号化単位CU2内の色差予測単位の配置を示している。符号化単位CU2のサイズは16×16画素、クロマフォーマットは4:2:0であるものとする。符号化単位CU2は、10個の輝度予測単位PU30~PU39を含む。輝度予測単位PU30及びPU39のサイズは8×8画素、輝度予測単位PU31~PU38のサイズは4×4画素である。符号化単位CU2は、4個の色差予測単位PU40~PU43を含む。色差予測単位PU40~PU43のサイズは4×4画素であり、これは色差予測単位について利用可能な最小のサイズである。色差予測単位PU40は輝度予測単位PU30に、色差予測単位PU41は輝度予測単位PU31~PU34に、色差予測単位PU42は輝度予測単位PU35~PU38に、色差予測単位PU43は輝度予測単位PU39にそれぞれ対応する。色差予測単位PU41及びPU42のサイズ4×4画素は、対応する輝度予測単位PU31~PU34及びPU35~PU38のサイズ4×4画素からクロマフォーマットに応じて定まるサイズ2×2画素よりも大きい。しかし、対応する輝度予測単位のサイズが4×4画素であることから、色差予測単位PU41及びPU42についても、LMモードの利用が許容され得る。従って、図10Bの例では、色差予測単位PU40~PU43の全てについてLMモードが探索の対象に加えられ得る。図10Bの例において、符号化処理は、Y30→Cb40→Cr40→Y31→Y32→Y33→Y34→Cb41→Cr41→Y35→Y36→Y37→Y38→Cb42→Cr42→Y39→Cb43→Cr43という順序で行われる。即ち、例えば色差予測単位PU41が符号化される前に、輝度予測単位PU31~PU34が符号化される。従って、4つの4×4画素の輝度予測単位PU31~PU34の輝度成分の値に基づいて、色差予測単位PU41についてLMモードでイントラ予測を行うことができる。同様に、色差予測単位PU42が符号化される前に、輝度予測単位PU35~PU38が符号化される。従って、4つの4×4画素の輝度予測単位PU35~PU38の輝度成分の値に基づいて、色差予測単位PU42についてLMモードでイントラ予測を行うことができる。[1-6.参照画素数の制御]図11A及び図11Bは、LMモードにおける参照画素についてさらに説明するための説明図である。図11Aの例において、予測単位PUのサイズは16×16画素、クロマフォーマットは4:2:0である。この場合、色差成分のブロックサイズは8×8画素である。色差成分の参照画素ReCiの数は、左及び上の双方の参照画素が利用可能であるとして88=16である。輝度成分の参照画素ReL ́iの数もまた、リサンプリングの結果として88=16である。図11Bの例において、予測単位PUのサイズは8×8画素、クロマフォーマットは4:2:0である。この場合、色差成分のブロックサイズは4×4画素である。色差成分の参照画素ReCiの数は、44=8である。輝度成分の参照画素ReL ́iの数もまた、リサンプリングの結果として44=8である。図11A及び図11Bの2つの例を比較すると、クロマフォーマットなどの他の条件が同じであるとすれば、ブロックサイズに対する参照画素数の比率は変わっていない。即ち、図11Aの例では予測単位の一辺のサイズが16画素であって参照画素数Iが16であるのに対し、図11Bの例では予測単位の一辺のサイズが8画素であって参照画素数Iが8である。このように、ブロックサイズが大きくなるにつれて参照画素数Iが増えれば、上記式3及び式4を用いた係数α及び係数βの算出に要する処理コストも増加する。特に式3に着目すれば理解されるように、画素値の乗算の回数は、参照画素数Iの二乗のオーダで増加する。従って、係数α及び係数βの算出に際して参照画素数を適切に制御しなければ、ブロックサイズが大きい場合に多大なメモリリソースを消費してしまう可能性が高い。そこで、予測制御部42は、係数算出部44がLMモードにおいて予測関数の係数α及び係数βを算出する際の参照画素数を可変的に制御する。典型的には、予測制御部42は、ブロックサイズに対する参照画素数の比率である参照比を、ブロックサイズがより大きいほどより小さくなるように制御する。それにより、ブロックサイズが拡大する場合の処理コストの増加が抑制される。予測制御部42は、処理コストが問題とならない程度にブロックサイズが小さい場合には、ブロックサイズが異なっても参照比を変化させなくてもよい。以下、図12~図20Bを用いて、参照比の制御の例示的な5つのシナリオについて説明する。1第1のシナリオ図12は、第1のシナリオにおける参照比の定義の一例を示す説明図である。第1のシナリオにおいて、予測単位PUのサイズが4×4画素である場合には、参照比は1:1である。参照比1:1は、図11A又は図11Bに示したような参照画素が全て使用されることを意味する。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、2垂直方向Iv2水平方向Ih=4となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、42=6となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、44=8となる。同様に、予測単位のサイズが8×8画素である場合にも、参照比は1:1である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、44=8となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、84=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、88=16となる。これに対し、予測単位のサイズが16×16画素である場合には、参照比は2:1である。参照比2:1は、図11A又は図11Bに示したような参照画素のうち半分の参照画素のみが使用されることを意味する。即ち、係数算出部44は、係数α及び係数βの算出の際に、半分の参照画素を間引いた上で、残りの参照画素のみを使用する。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、8/28/2=8となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、16/28/2=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、16/216/2=16となる。図13Aに、PUサイズが16×16画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図13Aの例では、色差成分の参照画素及び輝度成分の参照画素が、それぞれ1つおきに間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。さらに、予測単位のサイズが32×32画素である場合には、参照比は4:1である。参照比4:1は、図11A又は図11Bに示したような参照画素のうち4分の1の参照画素のみが使用されることを意味する。即ち、係数算出部44は、係数α及び係数βの算出の際に、4分の3の参照画素を間引いた上で、残りの参照画素のみを使用する。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、16/416/4=8となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、32/416/4=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、32/432/4=16となる。図13Bに、PUサイズが32×32画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図13Bの例では、色差成分の参照画素及び輝度成分の参照画素が、それぞれ、連続する4つにつき3つずつ間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。第1のシナリオのようなブロックサイズと参照比との間のマッピングによれば、ブロックサイズが8×8画素以上である場合には、クロマフォーマットが同一である限り参照画素数Iは一定となる。従って、ブロックサイズが拡大する場合の処理コストの増加が抑制される。また、このようにブロックサイズが所定のサイズを上回る場合に参照画素数が一定となるように参照比を制御することにより、係数算出部44における係数算出処理を小規模の共通的な回路又はロジックを用いて行うことが可能となる。それにより、回路規模又はロジックの規模の増大をも抑制することができる。また、ブロックサイズが所定のサイズを下回る場合に間引かれる参照画素の数をゼロとすることで、参照画素数が不足することによるLMモードの予測精度の低下が防がれる。特に、画像の内容が複雑である即ち画素値の空間的な変動が激しいことに起因してイントラ予測が比較的困難な場合には、より小さい予測単位が画像内に設定されやすい。そうした場合に十分な参照画素数を確保することで、LMモードの予測精度の低下を防ぐことができる。なお、ここでは、係数算出部44による係数の算出の際に間引かれる参照画素の数が参照比に応じて変化する、というように説明した。即ち、係数算出部44は、LMモードでのイントラ予測が行われる際に参照される参照画素を、予測対象のブロックサイズに応じた参照比で間引く間引き部としての役割をも有する。後に説明する画像復号装置60の係数算出部94についても同様である。しかしながら、参照画素数は、参照画素を間引く代わりに、複数の参照画素値から1つの代表値を導くことにより可変的に制御されてもよい。例えば、参照比が4:1であれば、連続する4つの参照画素の画素値の平均値又は中央値が1つの代表値として用いられてもよい。これは、本明細書で説明する他のシナリオにおいても同様である。参照画素を間引く処理は実装が極めて容易である一方、上述した代表値を使用すれば予測精度を向上させることができる。2第2のシナリオ図14は、第2のシナリオにおける参照比の定義の一例を示す説明図である。第2のシナリオでは、予測制御部42は、予測単位のサイズに加えてクロマフォーマットに応じて、参照比を制御する。また、予測制御部42は、垂直方向のサイズに対する左の参照画素数の比率である第1の参照比と、水平方向のサイズに対する上の参照画素数の比率である第2の参照比とを別々に制御する。第2のシナリオにおいて、予測単位のサイズが4×4画素、クロマフォーマットが4:2:0である場合には、垂直方向の参照比及び水平方向の参照比は共に1:1である。この場合、参照画素は間引かれず、参照画素数Iは、22=4となる。予測単位のサイズが4×4画素、クロマフォーマットが4:2:2である場合には、垂直方向の参照比は2:1、水平方向の参照比は1:1である。この場合、垂直方向の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Iは、4/22=4となる。予測単位のサイズが4×4画素、クロマフォーマットが4:4:4である場合には、垂直方向の参照比及び水平方向の参照比は共に2:1である。この場合、垂直方向及び水平方向の双方の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Iは、4/24/2=4となる。予測単位のサイズが8×8画素、クロマフォーマットが4:2:0である場合には、垂直方向の参照比及び水平方向の参照比は共に1:1である。この場合、参照画素は間引かれず、参照画素数Iは、44=8となる。予測単位のサイズが8×8画素、クロマフォーマットが4:2:2である場合には、垂直方向の参照比は2:1、水平方向の参照比は1:1である。この場合、垂直方向の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Iは、8/24=8となる。予測単位のサイズが8×8画素、クロマフォーマットが4:4:4である場合には、垂直方向の参照比及び水平方向の参照比は共に2:1である。この場合、垂直方向及び水平方向の双方の参照画素のうち半分の参照画素が間引かれる結果として、参照画素数Iは、8/28/2=8となる。図15Aに、PUサイズが8×8画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図15Aの例では、色差成分の参照画素及び輝度成分の参照画素は、共に間引かれていない。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。また、図15Bに、PUサイズが8×8画素、クロマフォーマットが4:2:2である場合の参照画素の設定の一例を示している。図15Bの例では、色差成分及び輝度成分の垂直方向の参照画素が1つおきに間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。さらに、図15Cに、PUサイズが8×8画素、クロマフォーマットが4:4:4である場合の参照画素の設定の一例を示している。図15Cの例では、色差成分及び輝度成分の垂直方向及び水平方向の参照画素が1つおきに間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。予測単位のサイズが16×16画素、クロマフォーマットが4:2:0である場合には、垂直方向の参照比及び水平方向の参照比は共に2:1である。この場合、参照画素数Iは、8/28/2=8となる。予測単位のサイズが16×16画素、クロマフォーマットが4:2:2である場合には、垂直方向の参照比は4:1、水平方向の参照比は2:1である。この場合、参照画素数Iは、16/48/2=8となる。予測単位のサイズが16×16画素、クロマフォーマットが4:4:4である場合には、垂直方向の参照比及び水平方向の参照比は共に4:1である。この場合、参照画素数Iは、16/416/4=8となる。図15Dに、PUサイズが16×16画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図15Dの例では、色差成分及び輝度成分の垂直方向及び水平方向の参照画素が1つおきに間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。予測単位のサイズが32×32画素、クロマフォーマットが4:2:0である場合には、垂直方向の参照比及び水平方向の参照比は共に4:1である。この場合、参照画素数Iは、16/416/4=8となる。予測単位のサイズが32×32画素、クロマフォーマットが4:2:2である場合には、垂直方向の参照比は8:1、水平方向の参照比は4:1である。この場合、参照画素数Iは、32/816/4=8となる。予測単位のサイズが32×32画素、クロマフォーマットが4:4:4である場合には、垂直方向の参照比及び水平方向の参照比は共に8:1である。この場合、参照画素数Iは、32/832/8=8となる。上述した説明から理解されるように、第2のシナリオでは、予測制御部42は、クロマフォーマットにより表される色差成分の解像度がより高いほど参照比がより小さくなるように、参照比を制御する。それにより、色差成分のブロックサイズの拡大に伴う処理コストの増加が抑制される。また、第2のシナリオでは、予測制御部42は、クロマフォーマットが4:2:2である場合に、ブロックの左の参照画素数がブロックの上の参照画素数と等しくなるように、垂直方向の参照比と水平方向の参照比とを別々に制御する。それにより、クロマフォーマットが互いに異なる複数のケースで参照画素数を同一にすることが可能となる。結果として、係数算出部44における係数算出処理をクロマフォーマットによらず共通的な回路又はロジックを用いて行うことが可能となる。従って、第2のシナリオによれば、回路又はロジックの効率的な実装が促進される。3第3のシナリオ図16は、第3のシナリオにおける参照比の定義の一例を示す説明図である。第3のシナリオにおいても、予測制御部42は、垂直方向のサイズに対する左の参照画素数の比率である第1の参照比と、水平方向のサイズに対する上の参照画素数の比率である第2の参照比とを別々に制御する。また、第3のシナリオでは、予測制御部42は、同じブロックサイズについて垂直方向の参照比が水平方向の参照比以下となるように、これら参照比を制御する。第3のシナリオにおいて、予測単位のサイズが4×4画素である場合には、垂直方向及び水平方向の参照比は、共に1:1である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、22=4となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、42=6となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、44=8となる。予測単位のサイズが8×8画素である場合には、垂直方向の参照比は2:1、水平方向の参照比は1:1である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、4/24=6となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、8/24=8となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、8/28=12となる。図17Aに、PUサイズが8×8画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図17Aの例では、色差成分の参照画素及び輝度成分の参照画素のうち、垂直方向の下半分の参照画素が間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に6つとなっている。予測単位のサイズが16×16画素である場合には、垂直方向の参照比は4:1、水平方向の参照比は1:1である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、8/48=10となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、16/48=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、16/416=20となる。図17Bに、PUサイズが16×16画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図17Bの例では、色差成分の参照画素及び輝度成分の参照画素のうち、垂直方向の下側4分の3の参照画素が間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に10個となっている。予測単位のサイズが32×32画素である場合には、垂直方向の参照比は8:1、水平方向の参照比は2:1である。この場合、クロマフォーマットが4:2:0であれば、参照画素数Iは、16/816/2=10となる。クロマフォーマットが4:2:2であれば、参照画素数Iは、32/816/2=12となる。クロマフォーマットが4:4:4であれば、参照画素数Iは、32/832/2=20となる。画像を符号化又は復号する装置において、参照画素値は、多くの場合フレームメモリ又はラインメモリに格納され、水平方向のライン単位でアクセスされる。従って、第3のシナリオのように垂直方向の参照比を水平方向の参照比よりも低くすれば、使用される参照画素の数が同じであっても、メモリへのアクセス回数をより少なくすることができる。それにより、係数算出部44における係数算出処理を高速に実行することが可能となる。また、第3のシナリオのように、よりブロックの上方のラインの参照画素を優先的に使用することで、メモリへの連続的なアクセスを通じて参照画素値を短時間で取得することができる。4第4のシナリオ図18は、第4のシナリオにおける参照比の定義の一例を示す説明図である。第4のシナリオにおいて、予測制御部42は、画像の符号化及び復号に関する装置のケイパビリティがより低い場合に参照比がより小さくなるように、参照比を制御する。HEVCでは、装置のケイパビリティを表すパラメータとして、例えばプロファイル若しくはレベル又はその双方を用いることができる。プロファイル及びレベルは、通常、符号化ストリームのシーケンスパラメータセット内で指定される。図18を参照すると、第4のシナリオにおいて、装置のケイパビリティが高及び低の2段階に区分されている。4×4画素のサイズを有する予測単位については、装置のケイパビリティに関わらず、参照比は1:1である。これに対し、8×8画素以上のサイズを有する予測単位については、ケイパビリティが低である場合の参照比は、ケイパビリティが高である場合の参照比の半分である。例えば、8×8画素の予測単位については、ケイパビリティが高であれば参照比は1:1である一方、ケイパビリティが低であれば参照比は2:1である。16×16画素の予測単位については、ケイパビリティが高であれば参照比は2:1である一方、ケイパビリティが低であれば参照比は4:1である。32×32画素の予測単位については、ケイパビリティが高であれば参照比は4:1である一方、ケイパビリティが低であれば参照比は8:1である。図19Aに、PUサイズが16×16画素、クロマフォーマットが4:2:0、ケイパビリティが高であって、参照比が2:1である場合の参照画素の設定の一例を示している。図19Aの例では、色差成分の参照画素及び輝度成分の参照画素のうち半分の参照画素が間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8つとなっている。また、図19Bに、PUサイズが16×16画素、クロマフォーマットが4:2:0、ケイパビリティが低であって、参照比が4:1である場合の参照画素の設定の一例を示している。図19Bの例では、色差成分の参照画素及び輝度成分の参照画素のうち4分の3の参照画素が間引かれている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に4つとなっている。第4のシナリオのように、装置のケイパビリティ例えばデコーダの処理能力の高さに応じて参照比を制御することで、ケイパビリティのより低い装置の使用が想定される場合に、参照画素数をより少なくすることができる。それにより、装置の処理能力を超える処理コストがLMモードでの係数算出処理において生じることを防ぐことができる。5第5のシナリオXiaoranCaoTsinghuaらは、CE6b1ReportonShortDistanceIntraPredictionMethodJCTVCE278,2011年3月において、サイズの小さい非正方形の予測単位を使用して符号化効率を向上させる、短距離イントラ予測法ShortDistanceIntraPredictionMethodを提案している。短距離イントラ予測法では、例えば1×4画素、2×8画素、4×16画素、4×1画素、8×2画素、16×4画素などの様々なサイズの予測単位が画像内に設定され得る。この場合、予測単位の垂直方向のサイズ及び水平方向のサイズのうちいずれのサイズがより大きいかは、予測単位の設定に依存する。そこで、第5のシナリオでは、予測制御部42は、短距離イントラ予測法が用いられる場合に、垂直方向の参照比及び水平方向の参照比のうちサイズのより大きい方向に対応する参照比を動的に選択し、選択した参照比を制御する。図20Aに、PUサイズが2×8画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図20Aの例では、水平方向のサイズが垂直方向のサイズよりも大きいため、垂直方向の参照比が1:1であるのに対し、水平方向の参照比は2:1とされている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に14/2=3つとなっている。また、図20Bに、PUサイズが16×4画素、クロマフォーマットが4:2:0である場合の参照画素の設定の一例を示している。図20Bの例では、垂直方向のサイズが水平方向のサイズよりも大きいため、水平方向の参照比が1:1であるのに対し、垂直方向の参照比は4:1とされている。結果として、色差成分の参照画素数IC及び輝度成分の参照画素数ILは、共に8/42=4つとなっている。第5のシナリオのように、短距離イントラ予測法が用いられる場合に、サイズのより大きい方向に対応する参照比を動的に選択してこれを制御することで、参照画素がより少ない方向について参照画素数の削減を回避し、予測精度の低下を防ぐことができる。ここまで、予測制御部42による参照比の制御の特徴的な5つのシナリオについて詳細に説明した。これらシナリオに沿った予測制御部42による参照比の制御は、例えば画像符号化方式の標準仕様において予め定義されるブロックサイズと参照比との間のマッピングに従って行われてよい。かかるマッピングを予め画一的に定義しておくことで、数多くの参照画素の設定パターンをサポートする必要性がなくなり、デコーダにおける回路又はロジックの共通化が容易となる。なお、多くの用途において利用される画像データのビット深度は8ビットである一方、10ビット又は12ビットなど、より大きいビット深度が一部の用途向けの画像データにおいて利用され得る。そこで、係数算出部44は、ビット深度が所定のビット数例えば8ビットを上回る場合に、参照画素値を上記所定のビット数に削減した上で、削減した参照画素値を用いて予測関数の係数α及び係数βを算出してもよい。それにより、ビット深度に関わらず共通的な小規模の回路又はロジックを用いて係数α及び係数βを算出することが可能となる。また、ここでは予測制御部42がブロックサイズに対する参照画素数の比率である参照比を制御する例について主に説明している。しかしながら、参照比と実質的に同等の概念が、例えば、削減される参照画素の比率を意味する削減比などの他の用語で表現されてもよい。参照比又は削減比は、1:1、2:1、4:1などの上述した形式で記述される代わりに、1000、5050若しくは2575などのパーセンテージ形式、又は0から1までの範囲内の数値形式で記述されてもよい。上述した5つのシナリオは、説明のための例に過ぎない。例えば、上述した5つのシナリオのうち2つ以上のシナリオが組み合わされてもよい。各シナリオにおいて示したようなブロックサイズと参照比又は削減比との間のマッピングは、予め定義される代わりに、適応的に選択されてもよい。その場合、選択されたマッピングを指定する情報が、符号化ストリームのパラメータセット又はヘッダ領域内で符号化側から復号側へ伝送され得る。<2.一実施形態に係る符号化時の処理の流れ>次に、図21及び図22を用いて、符号化時の処理の流れを説明する。図21は、図2に例示した構成を有するイントラ予測部40による符号化時のイントラ予測処理の流れの一例を示すフローチャートである。図21を参照すると、まず、処理対象の符号化単位の輝度成分について、予測部46により様々な予測モードで予測画像データが生成され、モード判定部48により最適な予測モード及び予測単位の配置が決定されるステップS100。次に、予測制御部42は、色差成分の最適な予測モードの探索のために符号化単位内に設定される1つ以上の色差予測単位のうちの1つに注目するステップS105。次に、予測制御部42は、注目色差PUのサイズが上述した所定の条件を満たすかを判定するステップS110。所定の条件とは、典型的には、注目色差PUのサイズが対応する輝度PUのサイズからクロマフォーマットに応じて定まるサイズ以下である、という条件である。かかる条件が満たされる場合には、注目色差PUに対応する輝度PUは1つである。また、予測制御部42は、注目色差PUに対応する輝度PUのサイズが4×4画素であるかを判定するステップS115。上記条件が満たされ、又は対応する輝度PUのサイズが4×4画素である場合には、係数算出部44及び予測部46により、注目色差PUについてLMモードでの予測処理が実行されるステップS120。上記条件が満たされず、かつ対応する輝度PUのサイズが8×8画素以上である場合には、ステップS120におけるLMモードでの予測処理はスキップされる。次に、予測部46により、注目色差PUについて非LMモード例えば、図8に例示したモード0~モード3でのイントラ予測処理が実行されるステップS125。次に、モード判定部48は、注目色差PUについて、各予測モードのコスト関数を原画像データと予測画像データとに基づいて算出するステップS130。これらステップS105~ステップS130の処理は、符号化単位内に設定される各色差PUについて繰り返されるステップS135。そして、モード判定部48は、コスト関数値を互いに比較することにより、符号化単位内の最適な色差PUの配置と各色差PUについての最適な予測モードとを決定するステップS140。図22は、図21のステップS120におけるLMモード予測処理の詳細な流れの一例を示すフローチャートである。図22を参照すると、まず、予測制御部42は、各予測単位について、予測単位のサイズ及びその他のパラメータ例えば、クロマフォーマット、プロファイル又はレベルなどに応じた参照比を取得するステップS121。次に、係数算出部44は、予測関数の係数を算出するための算出式例えば、上記式3及び式4において参照される参照画素を、予測制御部42により指示される参照比に従って設定するステップS122。ここで設定される参照画素の数は、参照比に応じて削減され得る。また、参照画素の輝度成分は、クロマフォーマットに依存してリサンプリングされ得る。次に、係数算出部44は、例えば上記式3に従い、設定した参照画素の画素値を用いて、予測関数の係数αを算出するステップS123。さらに、係数算出部44は、例えば上記式4に従い、設定した参照画素の画素値を用いて、予測関数の係数βを算出するステップS124。そして、予測部46は、対応する輝度成分の値を係数α及び係数βを用いて構築される予測関数例えば、上記式1に代入することにより、各予測対象画素の予測画素値を算出するステップS125。<3.一実施形態に係る画像復号装置の構成例>本節では、図23及び図24を用いて、一実施形態に係る画像復号装置の構成例について説明する。[3-1.全体的な構成例]図23は、一実施形態に係る画像復号装置60の構成の一例を示すブロック図である。図23を参照すると、画像復号装置60は、蓄積バッファ61、可逆復号部62、逆量子化部63、逆直交変換部64、加算部65、デブロックフィルタ66、並び替えバッファ67、D/ADigitaltoAnalogue変換部68、フレームメモリ69、セレクタ70及び71、動き補償部80、並びにイントラ予測部90を備える。蓄積バッファ61は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。可逆復号部62は、蓄積バッファ61から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部62は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、シーケンスパラメータセット内のプロファイル及びレベル、並びにブロックヘッダ内のインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部62は、インター予測に関する情報を動き補償部80へ出力する。また、可逆復号部62は、イントラ予測に関する情報をイントラ予測部90へ出力する。本実施形態において、可逆復号部62は、イントラ予測が行われる符号化単位について、上述したPU別順序で符号化ストリームから量子化データを復号する。即ち、可逆復号部62は、例えば、1つの符号化単位内の第1の輝度予測単位の輝度成分、第1の輝度予測単位に対応する第1の色差予測単位の色差成分、及び第1の色差予測単位に対応しない第1の輝度予測単位に後続する第2の輝度予測単位の輝度成分を、第1の輝度予測単位の輝度成分、第1の色差予測単位の色差成分及び第2の輝度予測単位の輝度成分の順に復号する。逆量子化部63は、可逆復号部62による復号後の量子化データを逆量子化する。逆直交変換部64は、符号化の際に使用された直交変換方式に従い、逆量子化部63から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部64は、生成した予測誤差データを加算部65へ出力する。加算部65は、逆直交変換部64から入力される予測誤差データと、セレクタ71から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部65は、生成した復号画像データをデブロックフィルタ66及びフレームメモリ69へ出力する。デブロックフィルタ66は、加算部65から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ67及びフレームメモリ69へ出力する。並び替えバッファ67は、デブロックフィルタ66から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ67は、生成した画像データをD/A変換部68へ出力する。D/A変換部68は、並び替えバッファ67から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、D/A変換部68は、例えば、画像復号装置60と接続されるディスプレイ図示せずにアナログ画像信号を出力することにより、画像を表示させる。フレームメモリ69は、加算部65から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ66から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。セレクタ70は、可逆復号部62により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ69からの画像データの出力先を動き補償部80とイントラ予測部90との間で切り替える。例えば、セレクタ70は、インター予測モードが指定された場合には、フレームメモリ69から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部80へ出力する。また、セレクタ70は、イントラ予測モードが指定された場合には、フレームメモリ69から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部90へ出力する。セレクタ71は、可逆復号部62により取得されるモード情報に応じて、加算部65へ供給すべき予測画像データの出力元を動き補償部80とイントラ予測部90との間で切り替える。例えば、セレクタ71は、インター予測モードが指定された場合には、動き補償部80から出力される予測画像データを加算部65へ供給する。また、セレクタ71は、イントラ予測モードが指定された場合には、イントラ予測部90から出力される予測画像データを加算部65へ供給する。動き補償部80は、可逆復号部62から入力されるインター予測に関する情報とフレームメモリ69からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部80は、生成した予測画像データをセレクタ71へ出力する。イントラ予測部90は、可逆復号部62から入力されるイントラ予測に関する情報とフレームメモリ69からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部90は、生成した予測画像データをセレクタ71へ出力する。このようなイントラ予測部90によるイントラ予測処理について、後により詳細に説明する。[3-2.イントラ予測部の構成例]図24は、図23に示した画像復号装置60のイントラ予測部90の詳細な構成の一例を示すブロック図である。図24を参照すると、イントラ予測部90は、予測制御部92、輝度成分バッファ93、係数算出部94及び予測部96を有する。予測制御部92は、イントラ予測部90におけるイントラ予測処理を制御する。例えば、予測制御部92は、イントラ予測に関する情報に含まれる予測モード情報に基づいて符号化単位内に輝度PUを設定し、設定した輝度PUについてイントラ予測処理を実行する。また、予測制御部92は、予測モード情報に基づいて符号化単位内に色差PUを設定し、設定した色差PUについてイントラ予測処理を実行する。これらイントラ予測処理は、上述したPU別順序に従って行われ得る。輝度PUについてのイントラ予測処理において、予測制御部92は、予測モード情報により指定される予測モードで予測部96に各画素の輝度成分の予測画素値を生成させる。同様に、色差PUについてのイントラ予測処理において、予測制御部92は、予測モード情報により指定される予測モードで予測部96に各画素の色差成分の予測画素値を生成させる。本実施形態では、色差PUについての予測モードの候補は、上述したLMモードを含む。そして、予測制御部92は、LMモードの予測関数の係数を算出する際の参照画素数のブロックサイズに対する比率、即ち参照比を、可変的に制御する。予測制御部92による参照比の制御は、典型的には、ブロックサイズに応じて行われ得る。例えば、予測制御部92は、ブロックサイズが所定のサイズを上回る場合に、予測関数の係数を算出する際の参照画素数が一定となるように、参照比を制御してもよい。ブロックサイズと参照比との間のマッピングは、予め定義され画像復号装置60の記憶媒体により記憶されていてもよく、又は符号化ストリームのヘッダ領域内で動的に指定されてもよい。さらに、予測制御部92は、クロマフォーマットに応じて、参照比を制御してもよい。また、予測制御部92は、装置のケイパビリティを定義付けるプロファイル又はレベルに応じて、参照比を制御してもよい。予測制御部92による参照比の制御は、上述した5つのシナリオのいずれか、それらの任意の組合せ、又は他のシナリオに従って行われ得る。輝度成分バッファ93は、色差PUについてのLMモードでのイントラ予測のために使用される輝度成分の値を一時的に記憶する。HEVCにおいて、利用可能な最大の輝度PUのサイズ及び利用可能な最大の色差PUのサイズは、共に64×64画素である。そして、本実施形態では、LMモードにおいて、1つの色差PUに対応する輝度PUの数は原則として1つに制限される。従って、クロマフォーマットが4:2:0である場合には、64×64画素の色差PUについてはLMモードは指定されることがない。LMモードが指定され得る色差PUの最大サイズは、32×32画素となる。さらに、本実施形態では、上述したPU別順序で符号化処理が行われる。そのため、輝度成分バッファ93のバッファサイズは、色差PUの最大サイズに相当する32×32画素で十分である。これは、図9を用いて説明した既存の手法の成分別順序が採用される場合のメモリリソースの所要量と比較して、4分の1である。第1の輝度PUに対応する第1の色差PUについてLMモードでイントラ予測が行われる際には、輝度成分バッファ93により記憶されている第1の輝度PUの輝度成分の値が参照され得る。その後、第1の色差PUに対応しない第2の輝度PUの輝度成分が復号されると、輝度成分バッファ93の内容はクリアされ、新たに第2の輝度PUの輝度成分の値が記憶され得る。なお、上述したように、輝度PUのサイズが4×4画素である場合には、例外的に複数の輝度PUに基づいて1つの色差PUについてLMモードでのイントラ予測が行われてよい。クロマフォーマットが4:2:0である場合には、4×4画素の1つの色差PUについてのLMモードでのイントラ予測のために、対応する4つの輝度PUの輝度成分の値が輝度成分バッファ93によりバッファリングされ得る。クロマフォーマットが4:2:2である場合には、4×4画素の1つの色差PUについてのLMモードでのイントラ予測のために、対応する2つの輝度PUの輝度成分の値が輝度成分バッファ93によりバッファリングされ得る。いずれの場合にも、輝度成分バッファ93のバッファサイズは、32×32画素で十分である。係数算出部94は、色差成分についてLMモードが指定された場合に予測部96により使用される予測関数の係数を、予測対象の画素が属する予測単位の周辺の画素、即ち参照画素を参照して算出する。予測部96により使用される予測関数は、典型的には輝度成分の値の線型関数であり、例えば上記式1により表される。予測関数の係数の算出に際して係数算出部94により参照される参照画素の数は、上述したように、予測制御部92により制御される。係数算出部94は、参照比が1:1でない場合には、例えば参照比に応じた数の参照画素を間引いた上で、残りの参照画素のみを用いて予測関数の係数を算出し得る。係数算出部94は、例えば、所定のサイズを上回る複数のブロックサイズについて共通的な回路又はロジックを用いて予測関数の係数を算出してもよい。また、係数算出部94は、画素値のビット深度が所定のビット数を上回る場合に、参照画素値を当該所定のビット数に削減した上で、削減した参照画素値を用いて予測関数の係数を算出してもよい。予測部96は、予測制御部92による制御の下、予測対象の画素の輝度成分の画素値及び色差成分の画素値を、フレームメモリ69からの参照画像データを用いて、指定された予測モードに従って生成する。予測部96により色差成分について使用される予測モードの候補は、上述したLMモードを含み得る。LMモードが指定された場合には、予測部96は、係数算出部94により算出される係数α及び係数βを用いて構築される予測関数に、対応する輝度成分の必要に応じてリサンプリングされた値を輝度成分バッファ93から読み出して代入することにより、色差成分の予測画素値を生成する。予測部96は、予測の結果として生成される予測画像データを、セレクタ71を介して加算部65へ出力する。<4.一実施形態に係る復号時の処理の流れ>次に、図25を用いて、復号時の処理の流れを説明する。図25は、図24に例示した構成を有するイントラ予測部90による復号時のイントラ予測処理の流れの一例を示すフローチャートである。図25を参照すると、まず、予測制御部92は、符号化ストリームから復号される順に、符号化単位内に1つの予測単位を設定するステップS200。次に、イントラ予測処理は、設定された予測単位が輝度成分の予測単位及び色差成分の予測単位のいずれであるかに応じて分岐するステップS205。設定された予測単位が輝度成分の予測単位である場合には、処理はステップS210へ進む。一方、設定された予測単位が色差成分の予測単位である場合には、処理はステップS230へ進む。ステップS210において、予測制御部92は、予測モード情報により指定されている輝度成分の予測モードを認識するステップS210。そして、予測部96は、予測単位内の各画素の輝度成分の予測画素値を、フレームメモリ69からの参照画像データを用いて、指定された予測モードに従って生成するステップS220。ステップS230において、予測制御部92は、予測モード情報により指定されている色差成分の予測モードを認識するステップS230。そして、予測制御部92は、LMモードが指定されているか否かを判定するステップS240。ここで、LMモードが指定されている場合には、予測制御部92は、係数算出部94及び予測部96に色差成分についてLMモードでの予測処理を実行させるステップS250。ステップS250におけるLMモード予測処理は、図22を用いて説明したLMモード予測処理と同様であってよい。一方、LMモードが指定されていない場合には、予測制御部92は、予測部96に色差成分について非LMモードでのイントラ予測処理を実行させるステップS260。その後、同じ符号化単位内に次の予測単位が存在する場合には、処理はステップS200へ戻り、次の予測単位を対象として上述した処理が繰り返されるステップS270。次の予測単位が存在しない場合には、図25のイントラ予測処理は終了する。<5.変形例>本節では、LMモードの導入に関連してメモリリソースの消費量を削減するための変形例を説明する。ここで説明する変形例において、画像符号化装置10の予測部46及び画像復号装置60の予測部96は、各色差成分に対応する輝度成分をある間引き率で間引く。各色差成分に対応する輝度成分とは、例えば上記式2に従ったリサンプリングの後の各輝度成分に相当する。そして、予測部46及び予測部96は、間引かれた輝度成分に対応する各色差成分の予測値を、間引かれていない輝度成分の値を用いて生成する。図26は、本変形例に係る間引き処理の一例について説明するための説明図である。図26を参照すると、一例として、8×8画素の予測単位PUが示されている。クロマフォーマットは4:2:0、間引き率は25であるものとする。なお、ここでの間引き率は、間引き前の画素数に対する間引き後の画素数の割合を示す。図26の例において、1つのPUに含まれる色差成分の数は4×4個である。各色差成分に対応する輝度成分の数もまた、リサンプリングによって4×4個となる。これらリサンプリング後の輝度成分が間引き率25で間引かれる結果、LMモードでの色差成分の予測に用いられる輝度成分の数は、2×2個となる。より具体的には、図26の右下の例において、4つの輝度成分Lu1~Lu4のうち、輝度成分Lu1以外の輝度成分Lu2、Lu3及びLu4が間引かれている。同様に、4つの輝度成分Lu5~Lu8のうち、輝度成分Lu5以外の輝度成分Lu6、Lu7及びLu8が間引かれている。図26の左下の色差成分Cu1は、間引かれていない輝度成分Lu1に対応する。従って、予測部46及び予測部96は、色差成分Cu1の予測値を、上記式1の右辺に輝度成分Lu1の値を代入することにより生成することができる。一方、例えば色差成分Cu2は、間引かれた輝度成分Lu2に対応する。この場合、予測部46及び予測部96は、色差成分Cu2の予測値を、間引かれていないいずれかの輝度成分の値を用いて生成する。例えば、色差成分Cu2の予測値は、色差成分Cu1の予測値の複製であってもよく、又は色差成分Cu1及びCu5の2つの予測値から線型補間された値であってもよい。より一般的には、例えば、間引き率25の場合の色差成分の予測画素値PrCx,yは、次の式5又は式6により表される手法に従って計算されてよい。式5は、隣接する画素からの予測値の複製を表現している。式6は、予測値の線形補間を表現している。なお、式5及び式6は一例に過ぎず、他の式が使用されてもよい。上述した間引き率は、輝度成分のリサンプリング後の画素値を保持しておくためのメモリリソースの量を左右する。間引かれる輝度成分の数が多いほど、メモリリソースの消費量は少なくなる。しかしながら、間引かれる輝度成分の数が多ければ、色差成分の予測の精度が低下する可能性がある。そこで、間引き率を指定するためのパラメータが、符号化ストリームのヘッダ例えばシーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダにおいて指定されてもよい。この場合、画像復号装置60の予測部96は、上記ヘッダから取得されるパラメータに基づいて、間引き率を決定する。それにより、装置ごとの要件例えばメモリリソースの節約及び符号化効率のいずれを優先するか、などに応じて、柔軟に間引き率を変更することが可能となる。図27A~図27Cを参照すると、図26の例とは異なり、間引き率はそれぞれ50である。これらの例においては、リサンプリング後の輝度成分のうち、半分の輝度成分が間引かれる。但し、間引き率が同じであっても、間引かれる輝度成分の位置のパターン以下、間引きパターンというは互いに異なる。図27Aの例において、4つの輝度成分Lu1~Lu4のうち、輝度成分Lu2及びLu4が間引かれている。同様に、4つの輝度成分Lu5~Lu8のうち、輝度成分Lu6及びLu8が間引かれている。この場合にも、例えば、間引かれた輝度成分Lu2に対応する色差成分Cu2の予測値は、色差成分Cu1の予測値の複製であってもよく、又は色差成分Cu1及びCu5の2つの予測値から線型補間された値であってもよい。図27Aの間引きパターンでは、間引かれる輝度成分がPU内で均一に分散している。そのため、図27Aの間引きパターンは、間引き率の等しい他の間引きパターンと比較して、より高い予測精度を実現し得る。図27Bの例においては、行単位で1行おきに輝度成分が間引かれている。このような間引きパターンは、例えばラインメモリによって画素値が保持される装置において、1回のメモリアクセスでより多くの輝度成分の値にアクセスできる点で有益である。一方、図27Cの例においては、列単位で1列おきに輝度成分が間引かれている。このような間引きパターンは、例えばクロマフォーマットが4:2:2であって垂直方向の画素数がより多い場合に、列方向の周波数成分をより多く維持できる点で有益である。これら複数の間引きパターンの候補からいずれかの間引きパターンを指定するためのパラメータが、符号化ストリームのヘッダにおいて指定されてよい。この場合、画像復号装置60の予測部96は、上記ヘッダから取得されるパラメータに基づいて、間引かれる輝度成分の位置を決定する。それにより、装置ごとの要件に応じて柔軟に間引きパターンを変更することが可能となる。また、予測部46及び予測部96は、上述した参照比に応じて間引き率を決定してもよい。例えば、予測関数の係数の算出の際に参照される参照画素数がより少なければ、より多くの輝度成分が間引かれ得る。その際、予測部46及び予測部96は、参照画素の間引き位置に対応する位置の輝度成分を間引いてよい。図28A及び図28Bは、それぞれ参照画素の間引き位置と輝度成分の間引き位置との対応の例を示している。図28Aの例において、PUサイズは16×16画素、クロマフォーマットは4:2:0、参照比は2:1である。この場合、例えば間引き率は25に決定され、図26の例と同様の間引きパターンが選択され得る。一方、図28Bの例において、PUサイズは16×16画素、クロマフォーマットは4:2:0、垂直方向の参照比は2:1、水平方向の参照比は1:1である。この場合、例えば間引き率は50に決定され、図27Bの例と同様の間引きパターンが選択され得る。図28Aの例においては、参照画素が間引かれる行について、予測対象ブロックの全ての輝度成分が間引かれている。参照画素が間引かれる列についても、予測対象ブロックの全ての輝度成分が間引かれている。このように間引き位置を決定することにより、間引き位置の判定が単純化されるため、本変形例に係る間引き処理の実装をより容易にすることができる。図28Bの例においても、参照画素が間引かれる行について、予測対象ブロックの全ての輝度成分が間引かれている。このように間引き位置を決定することにより、間引き位置に相当する行について、参照画素か予測対象画素かを問わず輝度成分へのアクセスを完全にスキップすることができる。それにより、間引き処理の実装がより容易になると共に、メモリアクセスの回数を減らして処理速度を高めることができる。<6.応用例>上述した実施形態に係る画像符号化装置10及び画像復号装置60は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。[6-1.第1の応用例]図29は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース909、制御部910、ユーザインタフェース911、及びバス912を備える。チューナ902は、アンテナ901を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ902は、復調により得られた符号化ビットストリームをデマルチプレクサ903へ出力する。即ち、チューナ902は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送手段としての役割を有する。デマルチプレクサ903は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ904へ出力する。また、デマルチプレクサ903は、符号化ビットストリームからEPGElectronicProgramGuideなどの補助的なデータを抽出し、抽出したデータを制御部910に供給する。なお、デマルチプレクサ903は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。デコーダ904は、デマルチプレクサ903から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ904は、復号処理により生成される映像データを映像信号処理部905へ出力する。また、デコーダ904は、復号処理により生成される音声データを音声信号処理部907へ出力する。映像信号処理部905は、デコーダ904から入力される映像データを再生し、表示部906に映像を表示させる。また、映像信号処理部905は、ネットワークを介して供給されるアプリケーション画面を表示部906に表示させてもよい。また、映像信号処理部905は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部905は、例えばメニュー、ボタン又はカーソルなどのGUIGraphicalUserInterfaceの画像を生成し、生成した画像を出力画像に重畳してもよい。表示部906は、映像信号処理部905から供給される駆動信号により駆動され、表示デバイス例えば、液晶ディスプレイ、プラズマディスプレイ又はOLEDなどの映像面上に映像又は画像を表示する。音声信号処理部907は、デコーダ904から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ908から音声を出力させる。また、音声信号処理部907は、音声データについてノイズ除去などの追加的な処理を行ってもよい。外部インタフェース909は、テレビジョン装置900と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース909を介して受信される映像ストリーム又は音声ストリームが、デコーダ904により復号されてもよい。即ち、外部インタフェース909もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置900における伝送手段としての役割を有する。制御部910は、CPUCentralProcessingUnitなどのプロセッサ、並びにRAMRandomAccessMemory及びROMReadOnlyMemoryなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置900の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース911から入力される操作信号に応じて、テレビジョン装置900の動作を制御する。ユーザインタフェース911は、制御部910と接続される。ユーザインタフェース911は、例えば、ユーザがテレビジョン装置900を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース911は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部910へ出力する。バス912は、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、音声信号処理部907、外部インタフェース909及び制御部910を相互に接続する。このように構成されたテレビジョン装置900において、デコーダ904は、上述した実施形態に係る画像復号装置60の機能を有する。それにより、テレビジョン装置900での画像の復号に際して、LMモードが採用される場合に、ブロックサイズの拡大に伴うメモリリソースの消費量の増大を抑制することができる。[6-2.第2の応用例]図30は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。アンテナ921は、通信部922に接続される。スピーカ924及びマイクロホン925は、音声コーデック923に接続される。操作部932は、制御部931に接続される。バス933は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、及び制御部931を相互に接続する。携帯電話機920は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。音声通話モードにおいて、マイクロホン925により生成されるアナログ音声信号は、音声コーデック923に供給される。音声コーデック923は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック923は、圧縮後の音声データを通信部922へ出力する。通信部922は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局図示せずへ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック923へ出力する。音声コーデック923は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。また、データ通信モードにおいて、例えば、制御部931は、操作部932を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部931は、文字を表示部930に表示させる。また、制御部931は、操作部932を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部922へ出力する。通信部922は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局図示せずへ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部922は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部931へ出力する。制御部931は、表示部930に電子メールの内容を表示させると共に、電子メールデータを記録再生部929の記憶媒体に記憶させる。記録再生部929は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。また、撮影モードにおいて、例えば、カメラ部926は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部927へ出力する。画像処理部927は、カメラ部926から入力される画像データを符号化し、符号化ストリームを記録再生部929の記憶媒体に記憶させる。また、テレビ電話モードにおいて、例えば、多重分離部928は、画像処理部927により符号化された映像ストリームと、音声コーデック923から入力される音声ストリームとを多重化し、多重化したストリームを通信部922へ出力する。通信部922は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部922は、生成した送信信号をアンテナ921を介して基地局図示せずへ送信する。また、通信部922は、アンテナ921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部922は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部928へ出力する。多重分離部928は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部927、音声ストリームを音声コーデック923へ出力する。画像処理部927は、映像ストリームを復号し、映像データを生成する。映像データは、表示部930に供給され、表示部930により一連の画像が表示される。音声コーデック923は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック923は、生成した音声信号をスピーカ924に供給して音声を出力させる。このように構成された携帯電話機920において、画像処理部927は、上述した実施形態に係る画像符号化装置10及び画像復号装置60の機能を有する。それにより、携帯電話機920での画像の符号化及び復号に際して、LMモードが採用される場合に、ブロックサイズの拡大に伴うメモリリソースの消費量の増大を抑制することができる。[6-3.第3の応用例]図31は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データ及び映像データを復号する。記録再生装置940は、チューナ941、外部インタフェース942、エンコーダ943、HDDHardDiskDrive944、ディスクドライブ945、セレクタ946、デコーダ947、OSDOnScreenDisplay948、制御部949、及びユーザインタフェース950を備える。チューナ941は、アンテナ図示せずを介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ941は、復調により得られた符号化ビットストリームをセレクタ946へ出力する。即ち、チューナ941は、記録再生装置940における伝送手段としての役割を有する。外部インタフェース942は、記録再生装置940と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース942は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース942を介して受信される映像データ及び音声データは、エンコーダ943へ入力される。即ち、外部インタフェース942は、記録再生装置940における伝送手段としての役割を有する。エンコーダ943は、外部インタフェース942から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ943は、符号化ビットストリームをセレクタ946へ出力する。HDD944は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、HDD944は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。ディスクドライブ945は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ945に装着される記録媒体は、例えばDVDディスクDVD-Video、DVD-RAM、DVD-R、DVD-RW、DVDR、DVDRW等又はBlu-ray登録商標ディスクなどであってよい。セレクタ946は、映像及び音声の記録時には、チューナ941又はエンコーダ943から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD944又はディスクドライブ945へ出力する。また、セレクタ946は、映像及び音声の再生時には、HDD944又はディスクドライブ945から入力される符号化ビットストリームをデコーダ947へ出力する。デコーダ947は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ947は、生成した映像データをOSD948へ出力する。また、デコーダ904は、生成した音声データを外部のスピーカへ出力する。OSD948は、デコーダ947から入力される映像データを再生し、映像を表示する。また、OSD948は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。制御部949は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置940の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース950から入力される操作信号に応じて、記録再生装置940の動作を制御する。ユーザインタフェース950は、制御部949と接続される。ユーザインタフェース950は、例えば、ユーザが記録再生装置940を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース950は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部949へ出力する。このように構成された記録再生装置940において、エンコーダ943は、上述した実施形態に係る画像符号化装置10の機能を有する。また、デコーダ947は、上述した実施形態に係る画像復号装置60の機能を有する。それにより、記録再生装置940での画像の符号化及び復号に際して、LMモードが採用される場合に、ブロックサイズの拡大に伴うメモリリソースの消費量の増大を抑制することができる。[6-4.第4の応用例]図32は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。撮像装置960は、光学ブロック961、撮像部962、信号処理部963、画像処理部964、表示部965、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、制御部970、ユーザインタフェース971、及びバス972を備える。光学ブロック961は、撮像部962に接続される。撮像部962は、信号処理部963に接続される。表示部965は、画像処理部964に接続される。ユーザインタフェース971は、制御部970に接続される。バス972は、画像処理部964、外部インタフェース966、メモリ967、メディアドライブ968、OSD969、及び制御部970を相互に接続する。光学ブロック961は、フォーカスレンズ及び絞り機構などを有する。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCD又はCMOSなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部962は、画像信号を信号処理部963へ出力する。信号処理部963は、撮像部962から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部963は、カメラ信号処理後の画像データを画像処理部964へ出力する。画像処理部964は、信号処理部963から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部964は、生成した符号化データを外部インタフェース966又はメディアドライブ968へ出力する。また、画像処理部964は、外部インタフェース966又はメディアドライブ968から入力される符号化データを復号し、画像データを生成する。そして、画像処理部964は、生成した画像データを表示部965へ出力する。また、画像処理部964は、信号処理部963から入力される画像データを表示部965へ出力して画像を表示させてもよい。また、画像処理部964は、OSD969から取得される表示用データを、表示部965へ出力する画像に重畳してもよい。OSD969は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部964へ出力する。外部インタフェース966は、例えばUSB入出力端子として構成される。外部インタフェース966は、例えば、画像の印刷時に、撮像装置960とプリンタとを接続する。また、外部インタフェース966には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置960にインストールされ得る。さらに、外部インタフェース966は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース966は、撮像装置960における伝送手段としての役割を有する。メディアドライブ968に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ968に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSDSolidStateDriveのような非可搬性の記憶部が構成されてもよい。制御部970は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置960の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース971から入力される操作信号に応じて、撮像装置960の動作を制御する。ユーザインタフェース971は、制御部970と接続される。ユーザインタフェース971は、例えば、ユーザが撮像装置960を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース971は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部970へ出力する。このように構成された撮像装置960において、画像処理部964は、上述した実施形態に係る画像符号化装置10及び画像復号装置60の機能を有する。それにより、撮像装置960での画像の符号化及び復号に際して、LMモードが採用される場合に、ブロックサイズの拡大に伴うメモリリソースの消費量の増大を抑制することができる。<7.まとめ>ここまで、図1~図32を用いて、一実施形態に係る画像符号化装置10及び画像復号装置60について説明した。本実施形態によれば、符号化単位内の第1の輝度予測単位の輝度成分が符号化された後、第1の輝度予測単位に対応する第1の色差予測単位の色差成分が、第1の色差予測単位に対応しない第2の輝度予測単位の輝度成分の前に符号化される。従って、そのような符号化の順序に従って符号化ストリームを復号する際、バッファリングされる第1の輝度予測単位の輝度成分の値に基づいて、第1の色差予測単位についてLMモードでイントラ予測を実行することができる。また、第1の色差予測単位についてイントラ予測が終了すれば、バッファをクリアして新たに第2の輝度予測単位の輝度成分の値をバッファリングすることができる。従って、LMモードの採用のために大規模なメモリを用意しなくてもよいこととなる。即ち、動的に構築される予測関数に基づくイントラ予測が行われる場合に必要とされるメモリリソースの量を削減することができる。また、本実施形態によれば、LMモードにおいては、1つの色差予測単位に対応する輝度予測単位の数は原則として1つに制限される。即ち、互いに相関の低い複数の輝度予測単位にわたる輝度成分の値に基づいて、1つの色差成分についてLMモードでイントラ予測が行われることがない。従って、高い予測精度を期待できない予測モードが探索の対象から除外されるため、画像の符号化に要する処理コストを低減することができる。但し、輝度予測単位のサイズが4×4画素である場合には、LMモードにおいて例外的に1つの色差予測単位に対応する輝度予測単位の数が複数となることが許容されてもよい。かかる構成によれば、予測単位のサイズが小さい場合に限ってLMモードが活用される機会を増やして符号化効率を高めることが可能となる。また、本実施形態によれば、画像の符号化及び復号における色差成分のイントラ予測にあたり、対応する輝度成分の値の関数を用いるLMモードが採用される場合に、関数の係数の算出の際に参照される参照画素の数のブロックサイズに対する比率が、可変的に制御される。従って、ブロックサイズの拡大に伴う参照画素数の増大を抑制して、処理コストの増加を回避し又は緩和することができる。また、本実施形態によれば、ブロックサイズが所定のサイズを上回る場合に参照画素数が一定となるように上記比率が制御され得る。かかる構成によれば、複数のブロックサイズについて共通的な回路又はロジックを用いて、上記関数の係数を算出することができる。従って、LMモードの採用に起因する回路規模又はロジックの規模の増大をも抑制することができる。また、本実施形態によれば、ブロックサイズが所定のサイズを下回る場合に参照画素が過剰に削減されることがない。従って、参照画素数の不足によってLMモードでの予測の精度が低下することが防がれる。なお、比較的大きいブロックサイズは、通常、ブロック内の画像が単調であって予測が容易である場合に設定され得る。従って、ブロックサイズがより大きい場合により多くの参照画素を削減したとしても、それにより予測の精度が著しく低下するリスクは小さい。また、本実施形態によれば、上記比率は、ブロックの垂直方向とブロックの水平方向とで別々に制御され得る。かかる構成によれば、クロマフォーマットに依存することなく、共通的な回路又はロジックを用いて上記関数の係数を算出することが可能となる。また、比較的少ないメモリアクセスで参照可能な水平方向に沿って並ぶ参照画素をより多く残し、垂直方向に沿って並ぶ参照画素をより多く削減することも可能となる。さらに、短距離イントラ予測法が用いられる場合に、ブロックの形状に応じて、削減すべき参照画素を適応的に変化させることも可能となる。また、上述した変形例によれば、LMモードの導入に関連するメモリリソースの消費量を一層効果的に削減することができる。なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、関連付けるという用語は、ビットストリームに含まれる画像スライス若しくはブロックなど、画像の一部であってもよいと当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像又はビットストリームとは別の伝送路上で伝送されてもよい。また、情報は、画像又はビットストリームとは別の記録媒体又は同一の記録媒体の別の記録エリアに記録されてもよい。さらに、情報と画像又はビットストリームとは、例えば、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。なお、以下のような構成も本開示の技術的範囲に属する。1符号化単位内の第1の輝度予測単位の輝度成分、前記第1の輝度予測単位に対応する第1の色差予測単位の色差成分、及び前記符号化単位内の前記第1の色差予測単位に対応しない第2の輝度予測単位の輝度成分を、前記第1の輝度予測単位の輝度成分、前記第1の色差予測単位の色差成分及び前記第2の輝度予測単位の輝度成分の順に復号する復号部、を備える画像処理装置。2輝度成分に基づく色差成分の予測を表す線型モデルLMモードが指定された場合に、前記復号部により復号される前記第1の色差予測単位の色差成分の予測値を、前記第1の輝度予測単位の輝度成分の値に基づく関数を用いて生成する予測部、をさらに備える、前記1に記載の画像処理装置。3前記LMモードにおいて、1つの色差予測単位に対応する輝度予測単位の数は1つに制限される、前記2に記載の画像処理装置。4輝度予測単位のサイズが4×4画素である場合には、前記LMモードにおいて例外的に1つの色差予測単位に対応する輝度予測単位の数が複数となることが許容される、前記3に記載の画像処理装置。5前記復号部は、前記第1の輝度予測単位のサイズが4×4画素である場合には、前記第1の輝度予測単位を含む1つ以上の4×4画素の輝度予測単位の輝度成分を復号した後、前記第1の色差予測単位の色差成分を復号する、前記4に記載の画像処理装置。6前記予測部は、前記LMモードのための輝度成分のバッファとして、色差予測単位の最大サイズ以下のサイズのバッファを有する、前記3~5のいずれか1項に記載の画像処理装置。7符号化単位内の第1の輝度予測単位の輝度成分、前記第1の輝度予測単位に対応する第1の色差予測単位の色差成分、及び前記符号化単位内の前記第1の色差予測単位に対応しない第2の輝度予測単位の輝度成分を、前記第1の輝度予測単位の輝度成分、前記第1の色差予測単位の色差成分及び前記第2の輝度予測単位の輝度成分の順に復号すること、を含む画像処理方法。8符号化単位内の第1の輝度予測単位の輝度成分、前記第1の輝度予測単位に対応する第1の色差予測単位の色差成分、及び前記符号化単位内の前記第1の色差予測単位に対応しない第2の輝度予測単位の輝度成分を、前記第1の輝度予測単位の輝度成分、前記第1の色差予測単位の色差成分及び前記第2の輝度予測単位の輝度成分の順に符号化する符号化部、を備える画像処理装置。9輝度成分に基づく色差成分の予測を表す線型モデルLMモードにおいて、前記第1の色差予測単位の色差成分の予測値を、前記第1の輝度予測単位の輝度成分の値に基づく関数を用いて生成する予測部、をさらに備える、前記8に記載の画像処理装置。10前記予測部は、色差予測単位のサイズが対応する輝度予測単位のサイズからクロマフォーマットに応じて定まるサイズよりも大きい場合には、当該色差予測単位について前記LMモードを探索しない、前記9に記載の画像処理装置。11前記予測部は、前記第1の色差予測単位及び前記第1の輝度予測単位のサイズがそれぞれ4×4画素である場合には、前記第1の色差予測単位について、前記第1の輝度予測単位を含む複数の輝度予測単位に基づく前記LMモードを例外的に探索する、前記10に記載の画像処理装置。12符号化単位内の第1の輝度予測単位の輝度成分、前記第1の輝度予測単位に対応する第1の色差予測単位の色差成分、及び前記符号化単位内の前記第1の色差予測単位に対応しない第2の輝度予測単位の輝度成分を、前記第1の輝度予測単位の輝度成分、前記第1の色差予測単位の色差成分及び前記第2の輝度予測単位の輝度成分の順に符号化すること、を含む画像処理方法。"