(57)【要約】【課題】増加する輝度成分の参照ラインを有効活用して様々な予測モードの予測精度を向上させること。【解決手段】イントラ予測を実行する際に、予測対象ブロックの上又は左の隣接ブロックの２つ以上の参照ラインが利用可能かを判定する制御部と、前記制御部により２つ以上の参照ラインが利用可能であると判定された場合に、当該２つ以上の参照ライン内の参照画素を用いて前記予測対象ブロックの予測画像を生成する予測部と、を備える画像処理装置を提供する。【選択図】図２２
2013141187.tif 000002
【特許請求の範囲】
【請求項１】
イントラ予測を実行する際に、予測対象ブロックの上又は左の隣接ブロックの２つ以上の参照ラインが利用可能かを判定する制御部と、
前記制御部により２つ以上の参照ラインが利用可能であると判定された場合に、当該２つ以上の参照ライン内の参照画素を用いて前記予測対象ブロックの予測画像を生成する予測部と、
を備える画像処理装置。
【請求項２】
前記制御部は、前記予測対象ブロックと同じＬＣＵ（Largest  Coding  Unit）に属する隣接ブロックについて、当該隣接ブロックの２つ以上の参照ラインが利用可能であると判定する、請求項１に記載の画像処理装置。
【請求項３】
前記予測部は、角度予測モードにおいて、前記制御部により２つ以上の参照ラインが利用可能であると判定された場合に、指定される角度に応じた位置の当該２つ以上の参照ライン内の参照画素を用いて、前記予測対象ブロックの予測画像を生成する、請求項１に記載の画像処理装置。
【請求項４】
前記予測部は、前記角度に応じた位置の第１の参照ライン内の第１の参照画素と、前記角度に応じた位置の第２の参照ライン内の第２の参照画素とを重み付け加算することにより、前記予測対象ブロックの予測画像を生成する、請求項３に記載の画像処理装置。
【請求項５】
前記予測部は、前記角度が垂直又は水平により近い場合に、当該角度に応じた位置の前記２つ以上の参照ライン内の参照画素を用いて、前記予測対象ブロックの予測画像を生成する、請求項３に記載の画像処理装置。
【請求項６】
前記予測部は、平均値予測モードにおいて、前記制御部により２つ以上の参照ラインが利用可能であると判定された場合に、当該２つ以上の参照ライン内の参照画素を平均値の計算に算入することにより、前記予測対象ブロックの予測画像を生成する、請求項１に記載の画像処理装置。
【請求項７】
前記予測部は、平面予測モードにおいて、前記制御部により２つ以上の参照ラインが利用可能であると判定され且つ第１の参照ライン内の所定の位置の参照画素が利用可能でない場合に、当該所定の位置の参照画素の代わりに第２の参照ライン内の参照画素を用いることにより、前記予測対象ブロックの予測画像を生成する、請求項１に記載の画像処理装置。
【請求項８】
前記制御部は、前記予測対象ブロックと異なるフレーム又は異なるスライスに属する隣接ブロックについて、当該隣接ブロックの参照ラインは利用可能でないと判定する、請求項１に記載の画像処理装置。
【請求項９】
前記制御部は、左の隣接ブロックが前記予測対象ブロックと同じスライスに属する場合には、当該左の隣接ブロックの２つ以上の参照ラインが利用可能であると判定する、請求項８に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、２つ以上の参照ラインを参照するモードが有効か否かを示す有効化パラメータを取得するパラメータ取得部、をさらに備え、
前記制御部は、２つ以上の参照ラインを参照するモードが有効であることを前記有効化パラメータが示している場合に、２つ以上の参照ラインが利用可能かを判定する、
請求項１に記載の画像処理装置。
【請求項１１】
前記画像処理装置は、利用可能な２つ以上の参照ラインを有する予測対象ブロックの各々について、当該２つ以上の参照ラインのうち第１及び第２の参照ライン内の参照画素を用いるべきかを指示する指示パラメータを取得するパラメータ取得部、をさらに備え、
前記予測部は、前記第１及び前記第２の参照ライン内の参照画素を用いるべきであることを前記指示パラメータが示している予測対象ブロックについて、前記第１及び前記第２の参照ライン内の参照画素を用いて前記予測画像を生成する、
請求項１に記載の画像処理装置。
【請求項１２】
イントラ予測を実行する際に、予測対象ブロックの上又は左の隣接ブロックの２つ以上の参照ラインが利用可能かを判定することと、
２つ以上の参照ラインが利用可能であると判定された場合に、当該２つ以上の参照ライン内の参照画素を用いて前記予測対象ブロックの予測画像を生成することと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタル画像のデータサイズを圧縮するための画像符号化方式において重要な技術の１つは、画面内予測、即ちイントラ予測である。イントラ予測は、画像内の隣り合うブロック間の相関を利用し、あるブロック内の画素値を隣り合う他のブロックの画素値から予測することで、符号化される情報量を削減する技術である。ＭＰＥＧ４以前の画像符号化方式では、直交変換係数の直流成分及び低周波成分のみがイントラ予測の対象とされていた。これに対し、Ｈ．２６４／ＡＶＣ（Advanced  Video  Coding）では、全ての成分についてイントラ予測が可能となった。イントラ予測を用いることで、例えば青空の画像のように、画素値の変化の緩やかな画像については、圧縮率の大幅な向上が見込まれる。
【０００３】
イントラ予測に際しては、通常、予測対象のブロックの画素値を予測するために最適な予測モードが、複数の予測モードから選択される。予測モードは、典型的には、参照画素から予測対象画素への予測方向によって区別され得る。例えば、Ｈ．２６４／ＡＶＣに続く次世代の画像符号化方式として標準化が進められているＨＥＶＣにおいて、輝度成分の予測に際しては、角度（Angular）予測モード、平均値（ＤＣ）予測モード及び平面（Planar）予測モードなどの多くの予測モードが選択可能である（下記非特許文献１参照）。
【０００４】
さらに、ＨＥＶＣにおいて、色差成分の予測に際しては、動的に構築される輝度成分の線型関数を予測関数として用いて色差成分の画素値を予測する、線型モデル（ＬＭ：Linear  Model）モードと呼ばれる追加的な予測モードが採用される見込みである（下記非特許文献２参照）。ＨＥＶＣの仕様は確定していないものの、ＬＭモードでは、予測関数の構築の際に参照される輝度成分の参照画素として、隣接ブロックの２つ以上の参照ライン内の参照画素が利用される可能性がある。下記非特許文献３は、ＬＣＵ境界の直下に位置する予測対象ブロックについて、隣接ブロックの参照ラインを１ラインのみに削減することを提案している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Benjamin  Bross，  et  al.  “WD4:  Working  Draft  4  of  High-Efficiency  Video  Coding”（JCTVC-F803_d6，2011年7月）
【非特許文献２】Jianle  Chen，  et  al.  “CE6.a.4:  Chroma  intra  prediction  by  reconstructed  luma  samples”（JCTVC-E266，2011年3月）
【非特許文献３】Mei  Guo，  et  al.  “Intra  Chroma  LM  Mode  with  Reduced  Line  Buffer”（JCTVC-F121，2011年7月）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般的に、参照ラインの増加は、必要とされるラインメモリの規模の増加というデメリットをもたらす。特に、イントラ予測に際して異なる色成分を参照するような予測モードがＬＭモードのみである状況において、ＬＭモードのためだけにラインメモリの規模を拡張することは、コスト対効果の面で合理的でない。但し、ＬＭモードそのものが符号化効率の向上に寄与することは実証されている。そこで、ＬＭモードの導入によって増加する輝度成分の参照ラインを他の予測モードの予測精度の向上のために有効活用することにより、符号化効率をさらに向上させて、ラインメモリの規模の拡張に伴うコスト対効果を改善するというアプローチが望ましい。
【課題を解決するための手段】
【０００７】
本開示によれば、イントラ予測を実行する際に、予測対象ブロックの上又は左の隣接ブロックの２つ以上の参照ラインが利用可能かを判定する制御部と、前記制御部により２つ以上の参照ラインが利用可能であると判定された場合に、当該２つ以上の参照ライン内の参照画素を用いて前記予測対象ブロックの予測画像を生成する予測部と、を備える画像処理装置が提供される。
【０００８】
また、本開示によれば、イントラ予測を実行する際に、予測対象ブロックの上又は左の隣接ブロックの２つ以上の参照ラインが利用可能かを判定することと、２つ以上の参照ラインが利用可能であると判定された場合に、当該２つ以上の参照ライン内の参照画素を用いて前記予測対象ブロックの予測画像を生成することと、を含む画像処理方法が提供される。
【発明の効果】
【０００９】
本開示に係る技術によれば、増加する輝度成分の参照ラインを有効活用して様々な予測モードの予測精度を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２】一実施形態に係る画像符号化装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図３】ＬＭモード以外の既存の予測モードにおいて用いられる参照画素について説明するための説明図である。
【図４】ＪＣＴＶＣ−Ｅ２６６により提案されているＬＭモードの手法において用いられる参照画素について説明するための説明図である。
【図５Ａ】ＪＣＴＶＣ−Ｆ１２１により提案されているＬＭモードの手法において用いられる参照画素について説明するための第１の説明図である。
【図５Ｂ】ＪＣＴＶＣ−Ｆ１２１により提案されているＬＭモードの手法において用いられる参照画素について説明するための第２の説明図である。
【図６】ＪＣＴＶＣ−Ｆ８０３＿ｄ６において説明されているイントラ予測の際の予測モード番号を示す説明図である。
【図７】ＪＣＴＶＣ−Ｆ８０３＿ｄ６において説明されているイントラ予測の際の予測モードごとの角度パラメータの値を示す説明図である。
【図８】参照画素のインデックスについて説明するための説明図である。
【図９】既存の角度予測モードにおける予測画素値の計算について説明するための説明図である。
【図１０】一実施形態において拡張される角度予測モードにおける予測画素値の計算について説明するための説明図である。
【図１１】一実施形態において拡張されるＤＣ予測モードにおける予測画素値の計算について説明するための説明図である。
【図１２】平面予測モードにおける参照画素の利用可能性の判定について説明するための説明図である。
【図１３】一実施形態において拡張される平面予測モードにおける予測画素値の計算について説明するための説明図である。
【図１４】一変形例に係る拡張されるＤＣ予測モードにおける予測画素値の計算について説明するための説明図である。
【図１５】一変形例に係る拡張される平面予測モードにおける予測画素値の計算について説明するための説明図である。
【図１６】一実施形態に係る符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【図１７】拡張された角度予測処理の詳細な流れの一例を示すフローチャートである。
【図１８】拡張されたＤＣ予測処理の詳細な流れの一例を示すフローチャートである。
【図１９】拡張された平面予測処理の詳細な流れの一例を示すフローチャートである。
【図２０】一実施形態に係る利用可能性判定処理の詳細な流れの一例を示すフローチャートである。
【図２１】一実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図２２】一実施形態に係る画像復号装置のイントラ予測部の詳細な構成の一例を示すブロック図である。
【図２３】一実施形態に係る復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【図２４】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図２５】携帯電話機の概略的な構成の一例を示すブロック図である。
【図２６】記録再生装置の概略的な構成の一例を示すブロック図である。
【図２７】撮像装置の概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、以下の順序で説明を行う。
１．一実施形態に係る画像符号化装置の構成例
２．一実施形態に係る符号化時の処理の流れ
３．一実施形態に係る画像復号装置の構成例
４．一実施形態に係る復号時の処理の流れ
５．応用例
６．まとめ
【００１３】
＜１．一実施形態に係る画像符号化装置の構成例＞
［１−１．全体的な構成例］
図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue  to  Digital）変換部１１、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２７、動き探索部３０、及びイントラ予測部４０を備える。
【００１４】
Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並び替えバッファ１２へ出力する。
【００１５】
並び替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並び替える。並び替えバッファ１２は、符号化処理に係るＧＯＰ（Group  of  Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、動き探索部３０及びイントラ予測部４０へ出力する。
【００１６】
減算部１３には、並び替えバッファ１２から入力される画像データ、及び後に説明する動き探索部３０又はイントラ予測部４０から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
【００１７】
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。ＨＥＶＣにおいて、直交変換部１４による直交変換は、変換単位（Transform  Unit：ＴＵ）ごとの２次元の離散コサイン変換（Discrete  Cosine  Transform：ＤＣＴ）である。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
【００１８】
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
【００１９】
可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、セレクタ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００２０】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
【００２１】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００２２】
逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
【００２３】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。逆直交変換部２２による逆直交変換は、ＴＵごとの２次元の逆離散コサイン変換（Inverse  Discrete  Cosine  Transform：ＩＤＣＴ）である。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【００２４】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データと動き探索部３０又はイントラ予測部４０から入力される予測画像データとを加算することにより、復号画像データを再構築（reconstruct）する。そして、加算部２３は、再構築した復号画像データをデブロックフィルタ２４及びイントラ予測部４０へ出力する。
【００２５】
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
【００２６】
フレームメモリ２５は、デブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。フレームメモリ２５により記憶される復号画像データは、動き探索部３０によるインター予測の際に参照される。
【００２７】
セレクタ２７は、インター予測モードにおいて、動き探索部３０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、イントラ予測モードにおいて、イントラ予測部４０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、インター予測モードとイントラ予測モードとを、動き探索部３０及びイントラ予測部４０から出力されるコスト関数値の大きさに応じて切り替える。
【００２８】
動き探索部３０は、並び替えバッファ１２から入力される符号化対象の画像データ（原画像データ）、及びフレームメモリ２５から読み出される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部３０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。そして、動き探索部３０は、選択した最適な予測モードを表す予測モード情報、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。
【００２９】
イントラ予測部４０は、並び替えバッファ１２から入力される原画像データ、及び加算部２３から入力される参照画像データとしての再構築画像データに基づいて、画像内に設定される予測対象ブロック（Prediction  Unit：ＰＵ、予測単位ともいう）ごとにイントラ予測処理を行う。そして、イントラ予測部４０は、最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。イントラ予測部４０により選択可能な予測モードは、輝度成分については、角度予測モード、ＤＣ予測モード及び平面予測モードを含み得る。なお、本明細書では、垂直（Vertical）予測及び水平（Horizontal）予測も角度予測の一種であるものとする。色差成分については、さらに上述した線型モデル（ＬＭ）モードが選択可能である。このようなイントラ予測部４０によるイントラ予測処理について、後により詳細に説明する。
【００３０】
［１−２．イントラ予測部の構成例］
図２は、図１に示した画像符号化装置１０のイントラ予測部４０の詳細な構成の一例を示すブロック図である。図２を参照すると、イントラ予測部４０は、予測制御部４１、参照ラインメモリ４２、係数算出部４３、フィルタ４４、予測部４５及びモード判定部４６を有する。このうち、係数算出部４３及びフィルタ４４は、ＬＭモードの導入のために設けられる。
【００３１】
予測制御部４１は、イントラ予測部４０におけるイントラ予測処理を制御する。本実施形態において、画像符号化装置１０による符号化処理は、画像内に設定されるＬＣＵ（Largest  Coding  Unit：最大符号化単位）ごとに逐次的に行われる。予測制御部４１は、各ＬＣＵ内の１つ以上の予測単位の各々を対象とし、輝度成分（Ｙ）についてのイントラ予測処理及び色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部４１は、複数の予測モードで予測部４５に予測対象ブロックの予測画像を生成させ、モード判定部４６に輝度成分の最適な予測モードを判定させる。色差成分についてのイントラ予測処理において、予測制御部４１は、ＬＭモードを含む複数の予測モードで予測部４５に予測対象ブロックの予測画像を生成させ、モード判定部４６に色差成分の最適な予測モードを判定させる。
【００３２】
既存の手法では、ＬＭモードを除くいずれの予測モードにおいても、通常、予測画素値の計算において使用される参照画素は、予測対象ブロックの上の隣接ブロックの下端の１ライン（１行）及び左の隣接ブロックの右端の１ライン（１列）のみである。図３は、そのような参照画素の一例を示している。例えば、参照画素値がラインメモリを用いて記憶される場合、上の隣接ブロックの参照画素値を記憶するラインメモリは、１ライン分のみでよい。
【００３３】
これに対し、ＪＣＴＶＣ−Ｅ２６６で提案されているＬＭモードでは、予測関数の係数を算出する際に、予測対象ブロックの上の隣接ブロックの２つ以上のライン（例えば２行）及び左の隣接ブロックの２つ以上のライン（例えば８列）が使用され得る。図４は、そのような参照画素の一例を示している。参照画素値がラインメモリを用いて記憶される場合、上の隣接ブロックの参照画素値を記憶するラインメモリの規模は、図３の例と比較すると１ライン分増加する。フレームサイズが４０９６×２０４８画素、ビット深度が８ビットであれば、メモリサイズの増加は、４０９６画素×８ビット＝４ｋｂｙｔｅに達する。
【００３４】
また、ＪＣＴＶＣ−Ｆ１２１での提案によれば、ＬＭモードにおいて予測関数の係数を算出する際に、上の隣接ブロックが予測対象ブロックと同じＬＣＵに属する場合には２つの参照ラインが使用され、そうでない場合には１つの参照ラインが使用され得る。図５Ａは、前者の場合の参照画素の一例を示している。図５Ｂは、後者の場合の参照画素の一例を示している。
【００３５】
このように、ＬＭモードが導入される場合には、色差成分についてのイントラ予測処理において輝度成分の参照画素値を格納するためにラインメモリの規模が拡張され得る。しかし、ＬＭモードのためだけにメモリの規模を拡張することはコスト対効果の面で合理的ではない。そこで、本実施形態に係るイントラ予測部４０は、２つ以上の参照ラインが利用可能な場合に、ＬＭモード以外の予測モードにおいて、予測精度が向上されるように、追加的に利用可能となる参照ラインをも用いて予測画像を生成する。
【００３６】
以下、それぞれ拡張される角度予測モード、ＤＣ予測モード及び平面予測モードについて具体的に説明する。なお、既存の手法におけるこれら予測モードの具体的な計算式は、ＪＣＴＶＣ−Ｆ８０３＿ｄ６において詳細に説明されている。本明細書では、説明の簡明さのために、これら予測モードが拡張される場合の既存の手法との違いを主に説明する。
【００３７】
（１）角度予測モード
ＨＥＶＣにおいて、個々の予測モードは、予測モード番号により識別される。図６は、ＪＣＴＶＣ−Ｆ８０３＿ｄ６において説明されている予測モード番号を示している。予測モード番号“０”は平面予測、“１”は垂直予測、“２”は水平予測、“３”はＤＣ予測、“４”〜“３４”はそれ以外の角度予測を表す。色差成分については、さらに、予測モード番号“３５”がＬＭモードを表す。図６は、角度予測モードにおける予測対象画素から参照画素への方向を矢印で示している。
【００３８】
角度予測モードにおける予測方向の角度は、次の表１に示す順序パラメータ（intraPredOrder）及び表２に示す角度パラメータ（intraPredAngle）を介して、予測モード番号（intraPredMode）とマッピングされる。なお、表１及び表２の内容は、ＪＣＴＶＣ−Ｆ８０３＿ｄ６において示されているものと同様である。図７は、図６の予測モード番号の代わりに、角度パラメータintraPredAngleの値を示している。
【００３９】
【表１】
2013141187.tif 000003
【００４０】
【表２】
2013141187.tif 000004
【００４１】
図８は、参照画素のインデックスについて説明するための説明図である。図８を参照すると、予測対象ブロックであるＰＵ内の画素は、画素位置［ｘ，ｙ］をインデックスとして用いて表現される。予測対象ブロックの上の隣接ブロックの参照ラインのうち下端の参照ラインＲ１（第１の参照ライン）内の参照画素は、水平方向のインデックスｘを用いてｐ（ｘ，−１）と表現される。参照ラインＲ１の１行上の参照ラインＲ２（第２の参照ライン）内の参照画素は、水平方向のインデックスｘを用いてｐ（ｘ，−２）と表現される。予測対象ブロックの左の隣接ブロックの参照ラインのうち右端の参照ラインＣ１（第１の参照ライン）内の参照画素は、垂直方向のインデックスｙを用いてｐ（−１，ｙ）と表現される。参照ラインＣ１の１列左の参照ラインＣ２（第２の参照ライン）内の参照画素は、垂直方向のインデックスｙを用いてｐ（−２，ｙ）と表現される。
【００４２】
既存の角度予測モードでは、ＪＣＴＶＣ−Ｆ８０３＿ｄ６において説明されているように、予測モード番号に対応する角度パラメータintraPredAngleの値（以下、単に角度という）が取得される。次に、取得された角度に応じて、１／３２画素精度の参照画素を算出するための重み係数iFact及びインデックス変数iIdxが計算される。そして、上の参照ラインＲ１又は左の参照ラインＣ１内の（整数画素精度の）参照画素と、計算された重み係数iFact及びインデックス変数iIdxとを用いて、予測対象ブロック内の各画素の予測画素値predSamples（ｘ，ｙ）が算出される。図９は、既存の角度予測モードにおけるこのような予測画素値の計算を概念的に示している。
【００４３】
本実施形態において拡張される角度予測モードにおいても、既存の手法と同様に、予測モード番号に対応する角度が取得される。順序パラメータintraPredOrderが１８よりも小さいケースは、いわゆる縦向き予測に相当し、予測部４５は、参照ラインメモリ４２により記憶されている上の参照ラインＲ２内の画素から次のように参照画素配列refMain2［ｘ］を形成する。なお、変数ｎＳは、予測対象ブロックのサイズ（一辺の画素数）を表す。
【００４４】
【数１】
2013141187.tif 000005
【００４５】
順序パラメータintraPredOrderが１８以上であるケースは、いわゆる横向き予測に相当し、予測部４５は、参照ラインメモリ４２により記憶されている左の参照ラインＣ２内の画素から次のように参照画素配列refMain2［ｘ］を形成する。
【００４６】
【数２】
2013141187.tif 000006
【００４７】
そして、予測部４５は、予測モード番号に対応する角度に応じて、参照ラインＲ２又はＣ２内の１／３２画素精度の参照画素を算出するための追加的な重み係数iFact2及びインデックス変数iIdx2を、次のように計算する。
【００４８】
【数３】
2013141187.tif 000007
【００４９】
そして、予測部４５は、予測対象ブロック内の各画素の予測画素値predSamples2［ｘ，ｙ］を、次のように算出する。
【００５０】
【数４】
2013141187.tif 000008
【００５１】
図１０は、拡張された角度予測モードにおけるこのような予測画素値の計算を概念的に示している。なお、予測部４５は、参照画素配列refMain［ｘ］をＪＣＴＶＣ−Ｆ８０３＿ｄ６において説明されている既存の手法と同様に形成してよい。
【００５２】
（２）ＤＣ予測モード
既存のＤＣ予測モードでは、ＪＣＴＶＣ−Ｆ８０３＿ｄ６において説明されているように、上の１つの参照ラインＲ１内の参照画素及び左の１つの参照ラインＣ１内の参照画素の画素値の平均値として、予測画素値が算出される。これに対し、本実施形態において拡張されるＤＣ予測モードでは、予測部４５は、上の第２の参照ラインＲ２内の参照画素及び左の第２の参照ラインＣ２内の参照画素のうち利用可能な参照画素の画素値を、平均の計算に算入する。
【００５３】
図１１は、拡張されたＤＣ予測モードにおいて計算に算入される参照画素を示している。上の２つの参照ラインＲ１及びＲ２、並びに左の２つの参照ラインＣ１及びＣ２が利用可能な場合、予測部４５は、予測対象ブロック内の各画素の予測画素値DCValを、次の式（１１）に従って算出する。
【００５４】
【数５】
2013141187.tif 000009
【００５５】
上の１つの参照ラインＲ１並びに左の２つの参照ラインＣ１及びＣ２が利用可能な場合、予測部４５は、予測対象ブロック内の各画素の予測画素値DCValを、次の式（１２）に従って算出する。
【００５６】
【数６】
2013141187.tif 000010
【００５７】
上の２つの参照ラインＲ１及びＲ２並びに左の１つの参照ラインＣ１が利用可能な場合、予測部４５は、予測対象ブロック内の各画素の予測画素値DCValを、次の式（１３）に従って算出する。
【００５８】
【数７】
2013141187.tif 000011
【００５９】
上の１つの参照ラインＲ１及び左の１つの参照ラインＣ１が利用可能な場合、予測部４５は、予測対象ブロック内の各画素の予測画素値DCValを、次の式（１４）に従って算出する。なお、式（１４）は、既存の手法における予測画素値の計算式と同様である。なお、式（１１）〜式（１４）におけるｋは、ｋ＝log2(ｎＳ)によって与えられる。
【００６０】
【数８】
2013141187.tif 000012
【００６１】
（３）平面予測モード
既存の平面予測モードでは、ＪＣＴＶＣ−Ｆ８０３＿ｄ６において説明されているように、上の参照ラインＲ１内の２つの参照画素（予測対象画素の直上及び右上）並びに左の参照ラインＣ１内の２つの参照画素（予測対象画素の直左及び左下）の画素値を用いて、予測画素値が算出される。但し、予測対象ブロックの位置に依存し、右上の参照画素及び左下の参照画素の一方又は双方が利用可能でないことがある。そこで、本実施形態において拡張される平面予測モードでは、予測部４５は、右上の参照画素が利用可能でない場合に、右上の参照画素の代わりに上の参照ラインＲ２内の代替的な参照画素を用いる。また、予測部４５は、左下の参照画素が利用可能でない場合に、左下の参照画素の代わりに左の参照ラインＣ２内の代替的な参照画素を用いる。
【００６２】
図１２は、平面予測モードにおける参照画素の利用可能性の判定について説明するための説明図である。図１２の例において、１つのＬＣＵ内に１６個の予測単位ＰＵ０〜ＰＵ１５が含まれている。これら予測単位のうち、予測単位ＰＵ７、ＰＵ１１及びＰＵ１５については、イントラ予測が実行される時点で右上の予測単位の再構築画像データの生成が終了していないため、右上の参照画素が利用可能でない。また、予測単位ＰＵ１２、ＰＵ１３、ＰＵ１４及びＰＵ１５については、イントラ予測が実行される時点で左下の予測単位の再構築画像データの生成が終了していないため、左下の参照画素が利用可能でない。このように、平面予測モードにおける参照画素の利用可能性は、予測対象ブロックの位置に応じて判定されてよい。
【００６３】
図１３は、拡張された平面予測モードにおける代替的な参照画素を示している。図１３には、予測対象画素pred（ｘ，ｙ）についての直上の参照画素ｐ（ｉ，−１）、右上の参照画素ｐ（ｎＳ，−１）、直左の参照画素ｐ（−１，ｊ）及び左下の参照画素（−１，ｎＳ）が示されている。ここで、右上の参照画素ｐ（ｎＳ，−１）が利用可能でない場合には、予測部４５は、代替的な参照画素ｐ（ｎＳ−１，−２）を用いる。左下の参照画素（−１，ｎＳ）が利用可能でない場合には、予測部４５は、代替的な参照画素ｐ（−２，ｎＳ−１）を用いる。２つの代替的な参照画素が用いられる場合の予測画素値predSamples［ｘ，ｙ］の計算式は、次の通りであってよい。
【００６４】
【数９】
2013141187.tif 000013
【００６５】
図２に戻り、イントラ予測部４０の構成の説明を継続する。予測制御部４１は、各ＬＣＵ内の１つ以上の予測単位の各々を予測対象ブロックとし、上述した様々な予測モードの候補に従って、予測部４５に予測画像を生成させる。その際、予測制御部４１は、予測対象ブロックの上の２つ以上の参照ライン又は左の隣接ブロックの２つ以上の参照ラインが利用可能かを判定する。
【００６６】
例えば、予測制御部４１は、予測対象ブロックと異なるフレーム又は異なるスライスに属する隣接ブロックについて、当該隣接ブロックの参照ラインは利用可能でないと判定し得る。また、予測制御部４１は、予測対象ブロックと同じＬＣＵに属する隣接ブロックについて、当該隣接ブロックの２つ以上の参照ラインが利用可能であると判定してもよい。但し、この場合、予測制御部４１は、左の隣接ブロックが予測対象ブロックと同じスライスに属する場合には、ＬＣＵが互いに異なっても当該左の隣接ブロックの２つ以上の参照ラインが利用可能であると判定してもよい。
【００６７】
そして、予測制御部４１は、上の隣接ブロックの２つ以上の参照ライン又は左の隣接ブロックの２つ以上の参照ラインが利用可能であると判定した場合に、上で説明したような拡張された予測モード（予測モードの候補）に従って、予測部４５に予測画像を生成させる。また、色差成分については、予測制御部４１は、係数算出部４３にＬＭモードのための予測関数の係数を算出させ、フィルタ４４に予測関数への代入値を算出させる。
【００６８】
参照ラインメモリ４２は、加算部２３から入力される再構築画像データを一時的に記憶する。本実施形態において、参照ラインメモリ４２は、予測対象ブロックが属する行及び予測対象ブロックの上の隣接ブロックの下端の２行の参照画素の再構築画素値を記憶する。ＬＭモードにおいて、参照ラインメモリ４２により記憶される再構築画像データは、係数算出部４３による予測関数の係数の算出のために用いられる。ＬＭモード以外の予測モードにおいて、参照ラインメモリ４２により記憶される再構築画像データは、予測部４５による予測画像の生成のために用いられる。
【００６９】
係数算出部４３は、予測制御部４１による制御の下、色差成分についてのイントラ予測処理において、参照ラインメモリ４２により記憶されている参照画素値を用いてＬＭモードの予測関数の係数を算出する。フィルタ４４は、係数算出部４３により算出される係数を有する予測関数に代入される輝度成分の値を、輝度成分の再構築画素値をフィルタリングすることにより算出する。
【００７０】
予測部４５は、予測対象ブロックの各々について予測画像を生成する。ある予測対象ブロックについて予測制御部４１により２つ以上の参照ラインが利用可能であると判定された場合には、予測部４５は、当該２つ以上の参照ライン内の参照画素を用いて当該予測対象ブロックの予測画像を生成する。
【００７１】
例えば、予測部４５は、角度予測モードにおいて、２つ以上の参照ラインが利用可能であれば、指定される角度に応じた位置の当該２つ以上の参照ライン内の参照画素を用いて予測画像を生成する。より具体的には、上記角度に応じた位置の第１の参照ライン内の第１の参照画素と第２の参照ライン内の第２の参照画素とが式（９）又は式（１０）に従って重み付け加算され得る。また、予測部４５は、ＤＣ予測モードにおいて、２つ以上の参照ラインが利用可能であれば、当該２つ以上の参照ライン内の参照画素を、式（１１）〜式（１３）のいずれかに従って平均値の計算に算入する。また、予測部４５は、平面予測モードにおいて、２つ以上の参照ラインが利用可能であって且つ第１の参照ライン内の所定の位置の参照画素が利用可能でない場合に、式（１５）のように当該所定の位置の参照画素の代わりに第２の参照ライン内の参照画素を用いることにより、予測画素値を算出する。
【００７２】
予測部４５は、予測制御部４１によりＬＭモードが指定された場合には、係数算出部４３により算出された係数を有する予測関数にフィルタ４４により算出される輝度成分の値を代入することにより、予測画素値を算出する。
【００７３】
モード判定部４６は、並び替えバッファ１２から入力される原画像データと予測部４５から入力される予測画像データとに基づいて、各予測モードのコスト関数値を算出する。そして、モード判定部４６は、算出したコスト関数値に基づき、各色成分についての最適な予測モードを決定する。そして、モード判定部４６は、決定した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、並びに各色成分の予測画素値を含む予測画像データを、セレクタ２７へ出力する。
【００７４】
［１−３．変形例］
拡張された予測モードの適用に関し、以下に説明するような変形例が採用されてもよい。
【００７５】
（１）予測方向に応じた切替え
角度予測モードにおいて、予測部４５は、予測モードに対応する角度が垂直又は水平により近い場合に限って、当該角度に応じた位置の２つ以上の参照ライン内の参照画素を使用してもよい。例えば、予測部４５は、予測モード番号に対応する角度パラメータintraPredAngleの値（図７参照）の絶対値が所定の閾値（例えば、１０又は２０など）を下回る場合に上述した拡張された予測モードに従って予測画像を生成し、それ以外の場合には既存の手法と同様に予測画像を生成してもよい。角度パラメータintraPredAngleの値が小さいことは、予測方向が垂直方向又は水平方向に近いことを意味する。予測方向が垂直方向により近ければ、予測対象ブロックと上の隣接ブロックとの画像の相関はより強い。予測方向が水平方向により近ければ、予測対象ブロックと左の隣接ブロックとの画像の相関はより強い。従って、このような場合に限って、予測対象ブロックに隣接するラインだけでなくより遠いラインをも参照ラインに加えることで、イントラ予測の予測精度を効果的に向上させることができる。
【００７６】
（２）ダウンサンプリング後の参照画素値の利用
例えばクロマフォーマットが４：２：０である場合、輝度成分と色差成分との間で画素密度が異なるため、ＬＭモードにおいて輝度成分の参照画素値がダウンサンプリングされ、ダウンサンプリング後の参照画素値が係数算出のために使用される。ダウンサンプリング後の参照画素値が参照ラインメモリ４２により記憶される場合には、上述した予測モードの各々において、ダウンサンプリング前の参照画素値の代わりにダウンサンプリング後の参照画素値が用いられてもよい。
【００７７】
例えば、ＤＣ予測モードにおいて、予測部４５は、図１４に示しているように、１／２の画素密度にダウンサンプリングされた第２の参照ライン内の参照画素値を平均の計算に算入してもよい。また、平面予測モードにおいて、予測部４５は、図１５に示しているように、右上及び左下の参照画素のための代替的な参照画素として、ダウンサンプリング後の参照画素ｐ（ｎＳ−２，−２）及び｛ｐ（−２，ｎＳ−２）＋ｐ（−２，ｎＳ−１）＋１｝／２をそれぞれ用いてもよい。
【００７８】
＜２．一実施形態に係る符号化時の処理の流れ＞
次に、図１６〜図２０を用いて、符号化時の処理の流れを説明する。なお、本節では、２つの参照ライン内の参照画素が予測画像の生成のために使用される例について主に説明する。しかしながら、使用される参照ラインの数は、かかる例に限定されない。例えば、３つ以上の左の参照ライン内の参照画素が、予測画像の生成のために使用されてもよい。
【００７９】
［２−１．イントラ予測処理］
図１６は、図２に例示した構成を有するイントラ予測部４０による符号化時のイントラ予測処理の流れの一例を示すフローチャートである。図１６に示したイントラ予測処理は、各ＬＣＵ内に設定される１つ以上の予測対象ブロックの各々を処理対象として実行される。
【００８０】
図１６の例において、ステップＳ１０１〜Ｓ１５０の処理は、探索の範囲に含まれる予測モード候補の各々について繰り返される。
【００８１】
例えば、ある予測モード候補の予測モード番号が角度予測モードを示している場合には（ステップＳ１０１）、予測制御部４１は、予測部４５に角度予測処理を実行させる（ステップＳ１１０）。また、予測制御部４１は、予測モード番号がＤＣ予測モードを示している場合には（ステップＳ１０３）、予測部４５にＤＣ予測処理を実行させる（ステップＳ１２０）。また、予測制御部４１は、予測モード番号が平面予測モードを示している場合には（ステップＳ１０５）、予測部４５に平面予測処理を実行させる（ステップＳ１３０）。さらに、予測制御部４１は、色差成分について予測モード番号がＬＭモードを示している場合には、予測部４５にＬＭモードでの予測処理を実行させる（ステップＳ１４０）。その後、予測制御部４１は、探索の終了していない次の予測モード候補が残っているかを判定する（ステップＳ１５０）。ここで、次の予測モード候補が残っていれば、当該次の予測モード候補についてステップＳ１０１〜Ｓ１５０の処理が行われる。全ての予測モード候補の探索が終了した場合には、処理はステップＳ１６０へ進む。
【００８２】
次に、モード判定部４６は、原画像データと予測画像データとを比較することにより各予測モードのコスト関数値を算出し、算出したコスト関数値に基づいて最適な予測モードを決定する（ステップＳ１６０）。そして、モード判定部４６は、予測モード情報を含むイントラ予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。
【００８３】
なお、予測制御部４１は、既存の予測モード及び拡張された予測モードの双方を探索の範囲に含めてもよい。かかるケースでは、拡張された予測モードがコスト関数値をより小さくする場合に、拡張された予測モードを示す予測モード情報が生成され得る。
【００８４】
このようなイントラ予測処理によって生成されるイントラ予測に関する情報は、可逆符号化部１６により符号化され、符号化ストリームのヘッダ領域内に多重化される。可逆符号化部１６は、さらに、２つ以上の参照ラインを参照するモード（即ち、上述した拡張された予測モード）が有効か否かを示す有効化パラメータを符号化してもよい。それにより、例えば、拡張された予測モードをサポートするエンコーダによって符号化ストリームが生成されたかをデコーダ側に明示的に示すことができる。
【００８５】
また、可逆符号化部１６は、利用可能な２つ以上の参照ラインを有する予測対象ブロックの各々について、複数の参照ライン内の参照画素を用いるべきかを指示する指示パラメータを符号化してもよい。それにより、拡張された予測モードで予測画像を生成すべきかを予測対象ブロックごとにデコーダ側に示すことができる。
【００８６】
［２−２．角度予測処理］
図１７は、拡張された角度予測処理の詳細な流れの一例を示すフローチャートである。
【００８７】
図１７を参照すると、まず、予測制御部４１は、例えば順序パラメータintraPredOrderを所定の閾値（例えば１８）と比較することにより、予測方向が縦向きであるか否かを判定する（ステップＳ１１１）。ここで、予測方向が縦向きでない場合には、処理はステップＳ１１２へ進む。一方、予測方向が縦向きである場合には、処理はステップＳ１１３へ進む。
【００８８】
ステップＳ１１２において、予測制御部４１は、予測対象ブロックの左の隣接ブロックの２つの参照ラインが利用可能かを判定する（ステップＳ１１２）。ここで、左の隣接ブロックの２つの参照ラインが利用可能でない場合には、処理はステップＳ１１４へ進む。一方、左の隣接ブロックの２つの参照ラインが利用可能である場合には、処理はステップＳ１１５へ進む。
【００８９】
ステップＳ１１３において、予測制御部４１は、予測対象ブロックの上の隣接ブロックの２つの参照ラインが利用可能かを判定する（ステップＳ１１３）。ここで、上の隣接ブロックの２つの参照ラインが利用可能でない場合には、処理はステップＳ１１４へ進む。一方、上の隣接ブロックの２つの参照ラインが利用可能である場合には、処理はステップＳ１１６へ進む。
【００９０】
ステップＳ１１４では、２つの参照ラインが利用可能ではないため、予測部４５は、既存の手法と同様に、１つの上又は左の参照ライン内の参照画素を用いて、角度予測モードに従って予測画像を生成する（ステップＳ１１４）。
【００９１】
ステップＳ１１５では、２つの左の参照ラインが利用可能であるため、予測部４５は、拡張された角度予測モードに従って、２つの左の参照ライン内の参照画素を用いて、予測画像を生成する（ステップＳ１１５）。
【００９２】
ステップＳ１１６では、２つの上の参照ラインが利用可能であるため、予測部４５は、拡張された角度予測モードに従って、２つの上の参照ライン内の参照画素を用いて、予測画像を生成する（ステップＳ１１６）。
【００９３】
［２−３．ＤＣ予測処理］
図１８は、拡張されたＤＣ予測処理の詳細な流れの一例を示すフローチャートである。
【００９４】
図１８を参照すると、まず、予測制御部４１は、例えばＬＣＵ内の予測対象ブロックの位置に応じて、予測対象ブロックの上の隣接ブロックの２つの参照ラインが利用可能かを判定する（ステップＳ１２１）。ここで、上の隣接ブロックの２つの参照ラインが利用可能でない場合には、処理はステップＳ１２２へ進む。一方、上の隣接ブロックの２つの参照ラインが利用可能である場合には、処理はステップＳ１２３へ進む。
【００９５】
ステップＳ１２２において、予測部４５は、１つの上の参照ライン内の参照画素の画素値を平均値の計算に算入する（ステップＳ１２２）。一方、ステップＳ１２３において、予測部４５は、２つの上の参照ライン内の参照画素の画素値を平均値の計算に算入する（ステップＳ１２３）。
【００９６】
次に、予測制御部４１は、例えばフレーム内の予測対象ブロックの位置に応じて、予測対象ブロックの左の隣接ブロックの２つの参照ラインが利用可能かを判定する（ステップＳ１２４）。ここで、左の隣接ブロックの２つの参照ラインが利用可能でない場合には、処理はステップＳ１２５へ進む。一方、左の隣接ブロックの２つの参照ラインが利用可能である場合には、処理はステップＳ１２６へ進む。
【００９７】
ステップＳ１２５において、予測部４５は、１つの左の参照ライン内の参照画素の画素値を平均値の計算に算入する（ステップＳ１２５）。一方、ステップＳ１２６において、予測部４５は、２つの左の参照ライン内の参照画素の画素値を平均値の計算に算入する（ステップＳ１２６）。
【００９８】
次に、予測部４５は、上述したステップＳ１２２又はＳ１２３及びステップＳ１２５又はＳ１２６において算入された合計の画素値から平均の画素値を計算することにより予測画素値を算出し、予測画像を生成する（ステップＳ１２７）。
【００９９】
［２−４．平面予測処理］
図１９は、拡張された平面予測処理の詳細な流れの一例を示すフローチャートである。
【０１００】
図１９を参照すると、まず、予測制御部４１は、予測対象ブロックの上の隣接ブロックの２つの参照ラインが利用可能であって、かつ右上の参照画素が利用可能でない、という条件が満たされるかを判定する（ステップＳ１３１）。ここで、当該条件が満たされる場合には、予測部４５は、右上の参照画素の代わりに、上の第２の参照ライン内の代替参照画素を用いることを決定する（ステップＳ１３２）。
【０１０１】
また、予測制御部４１は、予測対象ブロックの左の隣接ブロックの２つの参照ラインが利用可能であって、かつ左下の参照画素が利用可能でない、という条件が満たされるかを判定する（ステップＳ１３３）。ここで、当該条件が満たされる場合には、予測部４５は、左下の参照画素の代わりに、左の第２の参照ライン内の代替参照画素を用いることを決定する（ステップＳ１３４）。
【０１０２】
次に、予測部４５は、所定の位置の参照画素又は代替参照画素を用いて、平面予測の予測式に従って予測対象ブロック内の各画素の予測画素値を算出し、予測画像を生成する（ステップＳ１３５）。
【０１０３】
［２−５．利用可能性判定処理］
図２０は、一実施形態に係る利用可能性判定処理の詳細な流れの一例を示すフローチャートである。例えば、図１７のステップＳ１１２及びＳ１１３、図１８のステップＳ１２１及びＳ１２４、並びに図１９のステップＳ１３１及びＳ１３３の一部の判定は、ここで説明する流れに沿って行われてよい。
【０１０４】
図２０を参照すると、まず、予測制御部４１は、判定の対象である隣接ブロックが予測対象ブロックと同じフレーム内に存在するかを判定する（ステップＳ１９１）。ここで、隣接ブロックが予測対象ブロックと同じフレーム内に存在しない場合には、予測制御部４１は、利用可能な参照ラインはないと判定する（ステップＳ１９２）。
【０１０５】
また、予測制御部４１は、隣接ブロックが予測対象ブロックと同じフレーム内に存在する場合には、さらに当該隣接ブロックが予測対象ブロックと同じスライス内に存在するかを判定する（ステップＳ１９３）。ここで、隣接ブロックが予測対象ブロックと同じスライス内に存在しない場合には、予測制御部４１は、利用可能な参照ラインはないと判定する（ステップＳ１９２）。
【０１０６】
また、予測制御部４１は、隣接ブロックが予測対象ブロックと同じスライス内に存在する場合には、さらに当該隣接ブロックが予測対象ブロックと同じＬＣＵ内に存在するかを判定する（ステップＳ１９４）。ここで、隣接ブロックが予測対象ブロックと同じＬＣＵ内に存在しない場合には、予測制御部４１は、当該隣接ブロックの１つの参照ラインのみが利用可能であると判定する（ステップＳ１９５）。一方、隣接ブロックが予測対象ブロックと同じＬＣＵ内に存在する場合には、予測制御部４１は、当該隣接ブロックの２つの参照ラインが利用可能であると判定する（ステップＳ１９６）。
【０１０７】
なお、判定の対象が左の隣接ブロックである場合には、ステップＳ１９４は省略されてもよい。その場合、左の隣接ブロックが予測対象ブロックと同じスライス内に存在していれば、当該隣接ブロックの２つの参照ラインが利用可能であると判定され得る。
【０１０８】
＜３．一実施形態に係る画像復号装置の構成例＞
［３−１．全体的な構成例］
図２２は、一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図２２を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital  to  Analogue）変換部６８、フレームメモリ６９、セレクタ７１、動き補償部８０及びイントラ予測部９０を備える。
【０１０９】
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【０１１０】
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、上述したインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部６２は、インター予測に関する情報を動き補償部８０へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部９０へ出力する。
【０１１１】
逆量子化部６３は、可逆復号部６２による復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを復元する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【０１１２】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを再構築する。そして、加算部６５は、再構築した復号画像データをデブロックフィルタ６６及びイントラ予測部９０へ出力する。
【０１１３】
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
【０１１４】
並び替えバッファ６７は、デブロックフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【０１１５】
Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
【０１１６】
フレームメモリ６９は、デブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。フレームメモリ６９により記憶される復号画像データは、動き補償部８０によるインター予測の際に参照される。
【０１１７】
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元を動き補償部８０とイントラ予測部９０との間で切り替える。例えば、セレクタ７１は、インター予測モードが指定された場合には、動き補償部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部９０から出力される予測画像データを加算部６５へ供給する。
【０１１８】
動き補償部８０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部８０は、生成した予測画像データをセレクタ７１へ出力する。
【０１１９】
イントラ予測部９０は、可逆復号部６２から入力されるイントラ予測に関する情報と加算部６５からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部９０は、生成した予測画像データをセレクタ７１へ出力する。このようなイントラ予測部９０によるイントラ予測処理について、後により詳細に説明する。
【０１２０】
［３−２．イントラ予測部の構成例］
図２２は、図２１に示した画像復号装置６０のイントラ予測部９０の詳細な構成の一例を示すブロック図である。図２２を参照すると、イントラ予測部９０は、予測制御部９１、参照ラインメモリ９２、係数算出部９３、フィルタ９４、予測部９５及びパラメータ取得部９６を有する。
【０１２１】
予測制御部９１は、イントラ予測部９０におけるイントラ予測処理を制御する。本実施形態において、画像復号装置６０による復号処理は、画像内に設定されるＬＣＵごとに逐次的に行われる。予測制御部９１は、各ＬＣＵ内の１つ以上の予測単位の各々を予測対象ブロックとし、輝度成分（Ｙ）についてのイントラ予測処理及び色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。より具体的には、予測制御部９１は、パラメータ取得部９６により取得される予測モード情報により示される予測モードに従って、予測部９５に予測対象ブロックの予測画像を生成させる。
【０１２２】
このようなイントラ予測処理に際して、予測制御部９１は、例えば予測対象ブロックの位置に応じて、予測対象ブロックの上の２つ以上の参照ライン又は左の隣接ブロックの２つ以上の参照ラインが利用可能かを判定する。そして、予測制御部９１は、上の隣接ブロックの２つ以上の参照ライン又は左の隣接ブロックの２つ以上の参照ラインが利用可能であると判定した場合に、上で説明したような拡張された予測モードに従って、予測部９５に予測画像を生成させる。
【０１２３】
参照ラインメモリ９２は、加算部６５から入力される再構築画像データを一時的に記憶する。本実施形態において、参照ラインメモリ９２は、予測対象ブロックが属する行及び予測対象ブロックの上の隣接ブロックの下端の２行の参照画素の再構築画素値を記憶する。ＬＭモードにおいて、参照ラインメモリ９２により記憶される再構築画像データは、係数算出部９３による予測関数の係数の算出のために用いられる。ＬＭモード以外の予測モードにおいて、参照ラインメモリ９２により記憶される再構築画像データは、予測部９５による予測画像の生成のために用いられる。
【０１２４】
係数算出部９３は、予測制御部９１によりＬＭモードが指定された場合に、参照ラインメモリ９２により記憶されている参照画素値を用いてＬＭモードの予測関数の係数を算出する。フィルタ４４は、係数算出部９３により算出される係数を有する予測関数に代入される輝度成分の値を、輝度成分の再構築画素値をフィルタリングすることにより算出する。
【０１２５】
予測部９５は、予測対象ブロックの各々について予測画像を生成する。ある予測対象ブロックについて予測制御部９１により２つ以上の参照ラインが利用可能であると判定された場合には、予測部９５は、当該２つ以上の参照ライン内の参照画素を用いて当該予測対象ブロックの予測画像を生成する。
【０１２６】
例えば、予測部９５は、画像符号化装置１０の予測部４５と同様に、角度予測モードにおいて、２つ以上の参照ラインが利用可能であれば、指定される角度に応じた位置の当該２つ以上の参照ライン内の参照画素を用いて予測画像を生成する。また、予測部９５は、ＤＣ予測モードにおいて、２つ以上の参照ラインが利用可能であれば、当該２つ以上の参照ライン内の参照画素を平均値の計算に算入する。また、予測部９５は、平面予測モードにおいて、２つ以上の参照ラインが利用可能であって且つ第１の参照ライン内の所定の位置の参照画素が利用可能でない場合に、当該所定の位置の参照画素の代わりに第２の参照ライン内の参照画素を用いることにより、予測画素値を算出する。
【０１２７】
予測部９５は、予測制御部９１によりＬＭモードが指定された場合には、係数算出部９３により算出された係数を有する予測関数にフィルタ４４により算出される輝度成分の値を代入することにより、予測画素値を算出する。
【０１２８】
パラメータ取得部９６は、可逆復号部６２により復号されるイントラ予測に関する情報を取得する。イントラ予測に関する情報には、予測対象ブロックごとに決定された予測モードを示す予測モード情報が含まれる。
【０１２９】
さらに、イントラ予測に関する情報には、上述した有効化パラメータもまた含まれ得る。例えば、予測制御部９１は、拡張された予測モードが有効であることを示す有効化パラメータが取得されない場合には、既存の手法に従って予測部９５に予測画像を生成させてもよい。拡張された予測モードが有効であることを有効化パラメータが示している場合には、予測制御部９１は、各予測対象ブロックについて２つ以上の参照ラインが利用可能かを判定し、判定結果に応じて、拡張された予測モードに従って予測部９５に予測画像を生成させる。
【０１３０】
また、イントラ予測に関する情報には、上述した指示パラメータも含まれ得る。例えば、予測制御部９１は、ある予測対象ブロックについて複数の参照ライン内の参照画素を用いるべきでないことを指示パラメータが指示している場合には、既存の手法に従って予測部９５に当該予測対象ブロックの予測画像を生成させてもよい。
【０１３１】
＜４．一実施形態に係る復号時の処理の流れ＞
次に、図２３を用いて、復号時の処理の流れを説明する。
【０１３２】
図２３は、図２２に例示した構成を有するイントラ予測部９０による復号時のイントラ予測処理の流れの一例を示すフローチャートである。図２３に示したイントラ予測処理は、各ＬＣＵ内に設定される１つ以上の予測対象ブロックの各々を処理対象として実行される。
【０１３３】
まず、パラメータ取得部９６は、可逆復号部６２により復号されるイントラ予測に関する情報から予測モード情報を取得する（ステップＳ２０１）。
【０１３４】
次に、取得された予測モード情報が角度予測モードを示している場合には（ステップＳ２０３）、予測制御部９１は、予測部９５に図１７に例示したような角度予測処理を実行させる（ステップＳ２１０）。また、予測制御部９１は、取得された予測モード情報がＤＣ予測モードを示している場合には（ステップＳ２０５）、予測部９５に図１８に例示したようなＤＣ予測処理を実行させる（ステップＳ２２０）。また、予測制御部９１は、取得された予測モード情報が平面予測モードを示している場合には（ステップＳ２０７）、予測部９５に図１９に例示したような平面予測処理を実行させる（ステップＳ２３０）。また、予測制御部９１は、色差成分について取得された予測モード情報がＬＭモードを示している場合には、予測部９５にＬＭモードでの予測処理を実行させる（ステップＳ２４０）。
【０１３５】
予測部９５は、これら予測処理において生成される予測画像データをセレクタ７１へ出力する。
【０１３６】
＜５．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０１３７】
［５−１．第１の応用例］
図２４は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０１３８】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１３９】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic  Program  Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０１４０】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０１４１】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical  User  Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０１４２】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
【０１４３】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０１４４】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１４５】
制御部９１０は、ＣＰＵ（Central  Processing  Unit）などのプロセッサ、並びにＲＡＭ（Random  Access  Memory）及びＲＯＭ（Read  Only  Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０１４６】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０１４７】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０１４８】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、ラインメモリの規模の拡張に伴うコスト対効果を改善することができる。
【０１４９】
［５−２．第２の応用例］
図２５は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０１５０】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０１５１】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０１５２】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１５３】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを再構築し、再構築した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０１５４】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０１５５】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
【０１５６】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを再構築し、再構築したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１５７】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、ラインメモリの規模の拡張に伴うコスト対効果を改善することができる。
【０１５８】
［５−３．第３の応用例］
図２６は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０１５９】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard  Disk  Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen  Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０１６０】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０１６１】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０１６２】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０１６３】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０１６４】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０１６５】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０１６６】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０１６７】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０１６８】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０１６９】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０１７０】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、ラインメモリの規模の拡張に伴うコスト対効果を改善することができる。
【０１７１】
［５−４．第４の応用例］
図２７は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０１７２】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０１７３】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０１７４】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０１７５】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０１７６】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０１７７】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０１７８】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０１７９】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid  State  Drive）のような非可搬性の記憶部が構成されてもよい。
【０１８０】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０１８１】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０１８２】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、ラインメモリの規模の拡張に伴うコスト対効果を改善することができる。
【０１８３】
＜６．まとめ＞
ここまで、図１〜図２７を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０について詳しく説明した。上述した実施形態によれば、画像の符号化及び復号におけるイントラ予測を実行する際に、予測対象ブロックの上又は左の隣接ブロックの２つ以上の参照ラインが利用可能であると判定された場合に、当該２つ以上の参照ライン内の参照画素を用いて予測画像が生成される。従って、例えばＬＭモードの導入を理由として増加する輝度成分の参照ラインを有効活用して、様々な予測モードの予測精度を向上させることができる。
【０１８４】
例えば、予測対象ブロックと同じＬＣＵに属する隣接ブロックについては、当該隣接ブロックの２つ以上の参照ラインが利用可能であると判定され得る。このような判定条件によれば、予測対象ブロックが属するＬＣＵとは異なるＬＣＵの画素値を記憶するラインメモリを１ライン分とする手法が採用されるようなケースで、参照ラインの利用可能性を適切に判定することができる。
【０１８５】
また、上述した実施形態によれば、２つ以上の参照ライン内の参照画素を用いるように、角度予測モードが拡張される。それにより、参照画素値のばらつきに対するロバスト性を高め、角度予測モードの予測精度を向上させることができる。また、２つ以上の参照ライン内の参照画素を用いるようにＤＣ予測モードが拡張される場合にも、ＤＣ予測モードの予測精度を向上させることができる。また、平面予測モードは、予測の基礎となる所定の位置の参照画素が利用可能でない場合に第２の参照ライン内の代替参照画素を用いるように拡張される。それにより、所定の位置の参照画素が利用可能でない場合の予測精度の低下を緩和することができる。
【０１８６】
なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０１８７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
イントラ予測を実行する際に、予測対象ブロックの上又は左の隣接ブロックの２つ以上の参照ラインが利用可能かを判定する制御部と、
前記制御部により２つ以上の参照ラインが利用可能であると判定された場合に、当該２つ以上の参照ライン内の参照画素を用いて前記予測対象ブロックの予測画像を生成する予測部と、
を備える画像処理装置。
（２）
前記制御部は、前記予測対象ブロックと同じＬＣＵ（Largest  Coding  Unit）に属する隣接ブロックについて、当該隣接ブロックの２つ以上の参照ラインが利用可能であると判定する、前記（１）に記載の画像処理装置。
（３）
前記予測部は、角度予測モードにおいて、前記制御部により２つ以上の参照ラインが利用可能であると判定された場合に、指定される角度に応じた位置の当該２つ以上の参照ライン内の参照画素を用いて、前記予測対象ブロックの予測画像を生成する、前記（１）又は前記（２）に記載の画像処理装置。
（４）
前記予測部は、前記角度に応じた位置の第１の参照ライン内の第１の参照画素と、前記角度に応じた位置の第２の参照ライン内の第２の参照画素とを重み付け加算することにより、前記予測対象ブロックの予測画像を生成する、前記（３）に記載の画像処理装置。
（５）
前記予測部は、前記角度が垂直又は水平により近い場合に、当該角度に応じた位置の前記２つ以上の参照ライン内の参照画素を用いて、前記予測対象ブロックの予測画像を生成する、前記（３）又は前記（４）に記載の画像処理装置。
（６）
前記予測部は、平均値予測モードにおいて、前記制御部により２つ以上の参照ラインが利用可能であると判定された場合に、当該２つ以上の参照ライン内の参照画素を平均値の計算に算入することにより、前記予測対象ブロックの予測画像を生成する、前記（１）又は前記（２）に記載の画像処理装置。
（７）
前記予測部は、平面予測モードにおいて、前記制御部により２つ以上の参照ラインが利用可能であると判定され且つ第１の参照ライン内の所定の位置の参照画素が利用可能でない場合に、当該所定の位置の参照画素の代わりに第２の参照ライン内の参照画素を用いることにより、前記予測対象ブロックの予測画像を生成する、前記（１）又は前記（２）に記載の画像処理装置。
（８）
前記制御部は、前記予測対象ブロックと異なるフレーム又は異なるスライスに属する隣接ブロックについて、当該隣接ブロックの参照ラインは利用可能でないと判定する、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）
前記制御部は、左の隣接ブロックが前記予測対象ブロックと同じスライスに属する場合には、当該左の隣接ブロックの２つ以上の参照ラインが利用可能であると判定する、前記（８）に記載の画像処理装置。
（１０）
前記画像処理装置は、２つ以上の参照ラインを参照するモードが有効か否かを示す有効化パラメータを取得するパラメータ取得部、をさらに備え、
前記制御部は、２つ以上の参照ラインを参照するモードが有効であることを前記有効化パラメータが示している場合に、２つ以上の参照ラインが利用可能かを判定する、
前記（１）〜（９）のいずれか１項に記載の画像処理装置。
（１１）
前記画像処理装置は、利用可能な２つ以上の参照ラインを有する予測対象ブロックの各々について、当該２つ以上の参照ラインのうち第１及び第２の参照ライン内の参照画素を用いるべきかを指示する指示パラメータを取得するパラメータ取得部、をさらに備え、
前記予測部は、前記第１及び前記第２の参照ライン内の参照画素を用いるべきであることを前記指示パラメータが示している予測対象ブロックについて、前記第１及び前記第２の参照ライン内の参照画素を用いて前記予測画像を生成する、
前記（１）〜（１０）のいずれか１項に記載の画像処理装置。
（１２）
イントラ予測を実行する際に、予測対象ブロックの上又は左の隣接ブロックの２つ以上の参照ラインが利用可能かを判定することと、
２つ以上の参照ラインが利用可能であると判定された場合に、当該２つ以上の参照ライン内の参照画素を用いて前記予測対象ブロックの予測画像を生成することと、
を含む画像処理方法。
【符号の説明】
【０１８９】
１０，６０      画像処理装置
４１，９１      予測制御部
４２，９２      参照ラインメモリ
４３，９３      係数算出部
４４，９４      フィルタ
４５，９５      予測部
９６            パラメータ取得部
【図１】
2013141187.tif 000014
【図２】
2013141187.tif 000015
【図３】
2013141187.tif 000016
【図４】
2013141187.tif 000017
【図５Ａ】
2013141187.tif 000018
【図５Ｂ】
2013141187.tif 000019
【図６】
2013141187.tif 000020
【図７】
2013141187.tif 000021
【図８】
2013141187.tif 000022
【図９】
2013141187.tif 000023
【図１０】
2013141187.tif 000024
【図１１】
2013141187.tif 000025
【図１２】
2013141187.tif 000026
【図１３】
2013141187.tif 000027
【図１４】
2013141187.tif 000028
【図１５】
2013141187.tif 000029
【図１６】
2013141187.tif 000030
【図１７】
2013141187.tif 000031
【図１８】
2013141187.tif 000032
【図１９】
2013141187.tif 000033
【図２０】
2013141187.tif 000034
【図２１】
2013141187.tif 000035
【図２２】
2013141187.tif 000036
【図２３】
2013141187.tif 000037
【図２４】
2013141187.tif 000038
【図２５】
2013141187.tif 000039
【図２６】
2013141187.tif 000040
【図２７】
2013141187.tif 000041