(57)【要約】【課題】符号化効率を向上させることができるようにする。【解決手段】画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する周辺用予測画像生成部と、前記周辺用予測画像生成部により生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶する記憶部と、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成する符号化用予測画像生成部とを備える。本開示は画像処理装置に適用することができる。【選択図】図１９
2012244354.tif 000002
【特許請求の範囲】
【請求項１】
画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する周辺用予測画像生成部と、
前記周辺用予測画像生成部により生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶する記憶部と、
前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成する符号化用予測画像生成部と、
入力画像と、前記符号化用予測画像生成部により生成された予測画像の差分画像を算出する演算部と、
前記演算部により算出された前記差分画像を符号化する符号化部と
を備える画像処理装置。
【請求項２】
前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する決定部をさらに備え、
前記周辺用予測画像生成部は、前記決定部により決定された処理単位のサイズの、前記決定部により決定された予測モードで、前記イントラ予測を行い、前記予測画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記決定部は、前記イントラ予測の予測モードを平均値予測に決定する
請求項２に記載の画像処理装置。
【請求項４】
前記決定部は、前記イントラ予測の予測モードを、直前に行われたイントラ予測の予測モードに決定する
請求項２に記載の画像処理装置。
【請求項５】
前記決定部は、前記イントラ予測の予測モードを、動きベクトルの単位ベクトルと予測モードの単位ベクトルとの内積が最大となる予測モードに決定する
請求項２に記載の画像処理装置。
【請求項６】
前記決定部は、前記イントラ予測の予測モードを、処理対象の領域に隣接する、イントラ予測が行われた他の領域の予測モードに決定する
請求項２に記載の画像処理装置。
【請求項７】
前記決定部は、前記他の領域の予測モードが複数存在する場合、所定の優先順に従って選択された領域の予測モードを、前記イントラ予測の予測モードに決定する
請求項２に記載の画像処理装置。
【請求項８】
前記周辺用予測画像生成部は、インター予測により生成された予測画像を用いて生成された再構成画像をイントラ予測において利用することを禁止するモードにおいて、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する
請求項１に記載の画像処理装置。
【請求項９】
前記記憶部は、前記処理対象の領域がイントラ予測される場合、前記イントラ予測により生成された予測画像を用いて生成された再構成画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、
前記符号化用予測画像生成部は、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、
前記符号化部は、前記符号化用予測画像生成部による前記イントラ予測の処理単位のサイズおよび予測モードに関するイントラ予測情報を、符号化した前記差分画像のビットストリームに付加する
請求項１に記載の画像処理装置。
【請求項１０】
画像処理装置の画像処理方法であって、
周辺用予測画像生成部が、画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成し、
記憶部が、生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、
符号化用予測画像生成部が、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、
演算部が、入力画像と、生成された予測画像の差分画像を算出し、
符号化部が、算出された前記差分画像を符号化する
画像処理方法。
【請求項１１】
画像が符号化されたビットストリームを復号する復号部と、
前記復号部により前記ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する周辺用予測画像生成部と、
前記周辺用予測画像生成部により生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶する記憶部と、
前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成する復号用予測画像生成部と、
差分画像に、前記復号用予測画像生成部により生成された予測画像を加算し、復号画像を生成する演算部と
を備える画像処理装置。
【請求項１２】
前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する決定部をさらに備え、
前記周辺用予測画像生成部は、前記決定部により決定された処理単位のサイズの、前記決定部により決定された予測モードで、前記イントラ予測を行い、前記予測画像を生成する
請求項１１に記載の画像処理装置。
【請求項１３】
前記決定部は、前記イントラ予測の予測モードを平均値予測に決定する
請求項１２に記載の画像処理装置。
【請求項１４】
前記決定部は、前記イントラ予測の予測モードを、直前に行われたイントラ予測の予測モードに決定する
請求項１２に記載の画像処理装置。
【請求項１５】
前記決定部は、前記イントラ予測の予測モードを、動きベクトルの単位ベクトルと予測モードの単位ベクトルとの内積が最大となる予測モードに決定する
請求項１２に記載の画像処理装置。
【請求項１６】
前記決定部は、前記イントラ予測の予測モードを、処理対象の領域に隣接する、イントラ予測が行われた他の領域の予測モードに決定する
請求項１２に記載の画像処理装置。
【請求項１７】
前記決定部は、前記他の領域の予測モードが複数存在する場合、所定の優先順に従って選択された領域の予測モードを、前記イントラ予測の予測モードに決定する
請求項１２に記載の画像処理装置。
【請求項１８】
前記決定部は、前記復号部により前記ビットストリームが復号されて得られた前記インター予測に関する情報に含まれる、前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する
請求項１２に記載の画像処理装置。
【請求項１９】
前記周辺用予測画像生成部は、インター予測により生成された予測画像を用いて生成された再構成画像をイントラ予測において利用することを禁止するモードにおいて、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する
請求項１１に記載の画像処理装置。
【請求項２０】
画像処理装置の画像処理方法であって、
復号部が、画像が符号化されたビットストリームを復号し、
周辺用予測画像生成部が、前記ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成し、
記憶部が、生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、
復号用予測画像生成部が、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、
演算部が、差分画像に、生成された予測画像を加算し、復号画像を生成する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、符号化効率を向上させることができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、MPEG2（ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission） 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
【０００５】
更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L （ITU-T（International Telecommunication Union Telecommunication Standardization Sector） Q6/16 VCEG（Video Coding Expert Group））という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。
【０００６】
標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）という名の元に国際標準となった。
【０００７】
更に、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCT（Discrete Cosine Transform）や量子化マトリクスをも含んだFRExt（Fidelity Range Extension）の標準化が２００５年２月に完了し、これにより、AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc等の幅広いアプリケーションに用いられる運びとなった。
【０００８】
しかしながら、昨今、ハイビジョン画像の４倍の、４０００×２０００画素程度の画像を圧縮したい、或いは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU-T傘下のVCEG（Video Coding Expert Group）において、符号化効率の改善に関する検討が継続され行なわれている。
【０００９】
ところで、従来のように、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；4000画素×2000画素）といった大きな画枠に対しては、最適ではない恐れがあった。
【００１０】
そこで、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている（例えば、非特許文献１参照）。
【００１１】
このHEVC符号化方式においては、AVCにおけるマクロブロックと同様の処理単位としてコーディングユニット（CU（Coding Unit））が定義されている。このCUは、AVCのマクロブロックのようにサイズが16×16画素に固定されず、それぞれのシーケンスにおいて、画像圧縮情報中において指定される。
【００１２】
ところで、AVCには、インターピクチャにおいて、インター予測（画面間予測）により再構成された画素からのイントラ予測（画面内予測）を禁止するモードが用意されている。このモードはインター予測、もしくはインター予測で参照する画像にエラー混入していた際に、そのエラーがイントラ予測に影響することを防ぐためのものである。AVCにおけるシンタックスではピクチャパラメータ中に存在するconstrained_intra_pred_flagで示させるフラグが１の時に上述したモードで復号されることが規定されている。
【００１３】
しかしながら、HEVCの場合、LCU内にインター予測を行うCUとイントラ予測を行うCUとが混在することができる。このような場合に、constrained_intra_pred_flag＝１であるとすると、イントラ予測において周辺画素の参照が不可能になることが頻発し、利用可能な予測モードの数が大幅に制限され、符号化効率が低減する恐れがあった。
【００１４】
そこで、constrained_intra_pred_flag＝１でのイントラ予測の場合、インター予測から構成されるブロック（単に、インター予測のブロックとも称する）の隣接画素を、そのブロックに隣接する、イントラ予測から構成されるブロック（単に、イントラ予測のブロックとも称する）の画素で置き換える方法が考えられた（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】Thomas Wiegand, Woo-Jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivan, "Working Draft 1 of High-Efficiency Video Coding ", JCTVC-C403, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG113rd Meeting: Guangzhou, CN, 7-15 October, 2010
【非特許文献２】Viktor Wahadaniah, ChongSoon Lim, Sue Mon Thet Naing, Xuan Jing, "Constrained Intra Prediction Scheme for Flexible-Sized Prediction Units in HEVC", JCTVC- D094, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG114th Meeting: Daegu, KR, 20-28 January, 2011
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、非特許文献２に記載の方法は、単純な線形補間計算のため、インター予測のブロックが大きい場合、隣接するイントラ予測のブロックの画素を利用して算出された値とインター予測での値が大きく異なってしまう可能性がある。また、計算に使用されるイントラ予測のブロックの画素は、インター予測のブロックに隣接する最大２画素のみであるため、イントラ予測のブロックの画素を利用して算出される値は、そのイントラ予測のブロックの画素値にひきずられてしまい、実際の値（インター予測により求められる画素値）から大きく異なってしまう恐れがあった。
【００１７】
本開示は、このような状況に鑑みてなされたものであり、利用不可能なインター予測のブロックの画素を、より精度の高い画素を用いて置き換えることができるようにし、利用可能なイントラ予測モードを増大させ、符号化効率を向上させることができるようにすることを目的とする。
【課題を解決するための手段】
【００１８】
本開示の一側面は、画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する周辺用予測画像生成部と、前記周辺用予測画像生成部により生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶する記憶部と、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成する符号化用予測画像生成部と、入力画像と、前記符号化用予測画像生成部により生成された予測画像の差分画像を算出する演算部と、前記演算部により算出された前記差分画像を符号化する符号化部とを備える画像処理装置である。
【００１９】
前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する決定部をさらに備え、前記周辺用予測画像生成部は、前記決定部により決定された処理単位のサイズの、前記決定部により決定された予測モードで、前記イントラ予測を行い、前記予測画像を生成することができる。
【００２０】
前記決定部は、前記イントラ予測の予測モードを平均値予測に決定することができる。
【００２１】
前記決定部は、前記イントラ予測の予測モードを、直前に行われたイントラ予測の予測モードに決定することができる。
【００２２】
前記決定部は、前記イントラ予測の予測モードを、動きベクトルの単位ベクトルと予測モードの単位ベクトルとの内積が最大となる予測モードに決定することができる。
【００２３】
前記決定部は、前記イントラ予測の予測モードを、処理対象の領域に隣接する、イントラ予測が行われた他の領域の予測モードに決定することができる。
【００２４】
前記決定部は、前記他の領域の予測モードが複数存在する場合、所定の優先順に従って選択された領域の予測モードを、前記イントラ予測の予測モードに決定することができる。
【００２５】
前記周辺用予測画像生成部は、インター予測により生成された予測画像を用いて生成された再構成画像をイントラ予測において利用することを禁止するモードにおいて、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成することができる。
【００２６】
前記記憶部は、前記処理対象の領域がイントラ予測される場合、前記イントラ予測により生成された予測画像を用いて生成された再構成画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、前記符号化用予測画像生成部は、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、前記符号化部は、前記符号化用予測画像生成部による前記イントラ予測の処理単位のサイズおよび予測モードに関するイントラ予測情報を、符号化した前記差分画像のビットストリームに付加することができる。
【００２７】
本開示の一側面は、また、画像処理装置の画像処理方法であって、周辺用予測画像生成部が、画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成し、記憶部が、生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、符号化用予測画像生成部が、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、演算部が、入力画像と、生成された予測画像の差分画像を算出し、符号化部が、算出された前記差分画像を符号化する画像処理方法である。
【００２８】
本開示の他の側面は、画像が符号化されたビットストリームを復号する復号部と、前記復号部により前記ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する周辺用予測画像生成部と、前記周辺用予測画像生成部により生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶する記憶部と、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成する復号用予測画像生成部と、差分画像に、前記復号用予測画像生成部により生成された予測画像を加算し、復号画像を生成する演算部とを備える画像処理装置である。
【００２９】
前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する決定部をさらに備え、前記周辺用予測画像生成部は、前記決定部により決定された処理単位のサイズの、前記決定部により決定された予測モードで、前記イントラ予測を行い、前記予測画像を生成することができる。
【００３０】
前記決定部は、前記イントラ予測の予測モードを平均値予測に決定することができる。
【００３１】
前記決定部は、前記イントラ予測の予測モードを、直前に行われたイントラ予測の予測モードに決定することができる。
【００３２】
前記決定部は、前記イントラ予測の予測モードを、動きベクトルの単位ベクトルと予測モードの単位ベクトルとの内積が最大となる予測モードに決定することができる。
【００３３】
前記決定部は、前記イントラ予測の予測モードを、処理対象の領域に隣接する、イントラ予測が行われた他の領域の予測モードに決定することができる。
【００３４】
前記決定部は、前記他の領域の予測モードが複数存在する場合、所定の優先順に従って選択された領域の予測モードを、前記イントラ予測の予測モードに決定することができる。
【００３５】
前記決定部は、前記復号部により前記ビットストリームが復号されて得られた前記インター予測に関する情報に含まれる、前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定することができる。
【００３６】
前記周辺用予測画像生成部は、インター予測により生成された予測画像を用いて生成された再構成画像をイントラ予測において利用することを禁止するモードにおいて、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成することができる。
【００３７】
本開示の他の側面は、また、画像処理装置の画像処理方法であって、復号部が、画像が符号化されたビットストリームを復号し、周辺用予測画像生成部が、前記ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成し、記憶部が、生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、復号用予測画像生成部が、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、演算部が、差分画像に、生成された予測画像を加算し、復号画像を生成する画像処理方法である。
【００３８】
本発明の一側面においては、画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測が行われ、予測画像が生成され、生成された予測画像の、処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値が記憶され、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測が行われ、予測画像が生成され、入力画像と、生成された予測画像の差分画像が算出され、算出された差分画像が符号化される。
【００３９】
本発明の他の側面においては、画像が符号化されたビットストリームが復号され、ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測が行われ、予測画像が生成され、生成された予測画像の、処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値が記憶され、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測が行われ、予測画像が生成され、差分画像に、生成された予測画像が加算され、復号画像が生成される。
【発明の効果】
【００４０】
本開示によれば、画像を処理することができる。特に、符号化効率を向上させることができる。
【図面の簡単な説明】
【００４１】
【図１】画像符号化装置の主な構成例を示すブロック図である。
【図２】AVC符号化方式における１つのマクロブロックに含まれる４×４ブロックの処理順序を示した図である。
【図３】AVC符号化方式において定められているイントラ４×４予測モードを示す図である。
【図４】AVC符号化方式において定められているイントラ４×４予測モードを示す図である。
【図５】AVC符号化方式において定められているイントラ４×４予測モードの予測方向を示した図である。
【図６】AVC符号化方式において定められているイントラ４×４予測モードの予測方法を説明するための図である。
【図７】AVC符号化方式において定められているイントラ４×４予測モードの符号化方法を説明するための図である。
【図８】AVC符号化方式において定められているイントラ８×８予測モードを示した図である。
【図９】AVC符号化方式において定められているイントラ８×８予測モードを示した図である。
【図１０】AVC符号化方式において定められているイントラ１６×１６予測モードを示した図である。
【図１１】AVC符号化方式において定められているイントラ１６×１６予測モードを示した図である。
【図１２】AVC符号化方式において定められているイントラ１６×１６予測モードにおける予測値の算出方法を説明するための図である。
【図１３】AVC符号化方式において定められている色差信号に対する予測モードの例を示す図である。
【図１４】コーディングユニットの構成例を説明する図である。
【図１５】Angular Prediction イントラ予測方式を説明する図である。
【図１６】Arbitrary Directional Intra イントラ予測方式を説明する図である。
【図１７】LCUの構成例を説明する図である。
【図１８】イントラ予測の例を説明する図である。
【図１９】イントラ予測部の主な構成例を示すブロック図である。
【図２０】制御部の主な構成例を示すブロック図である。
【図２１】符号化処理の流れの例を説明するフローチャートである。
【図２２】予測処理の流れの例を説明するフローチャートである。
【図２３】イントラ予測処理の流れの例を説明するフローチャートである。
【図２４】イントラ予測関連処理の流れの例を説明するフローチャートである。
【図２５】予測モード決定処理の流れの例を説明するフローチャートである。
【図２６】予測モード決定処理の流れの、他の例を説明するフローチャートである。
【図２７】予測モード決定処理の流れの、さらに他の例を説明するフローチャートである。
【図２８】予測モード決定処理の流れの、さらに他の例を説明するフローチャートである。
【図２９】予測モード決定処理の流れの、さらに他の例を説明するフローチャートである。
【図３０】予測モード決定処理の流れの、さらに他の例を説明するフローチャートである。
【図３１】画像復号装置の主な構成例を示すブロック図である。
【図３２】イントラ予測部の主な構成例を示すブロック図である。
【図３３】制御部の他の構成例を示すブロック図である。
【図３４】復号処理の流れの例を説明するフローチャートである。
【図３５】予測処理の流れの例を説明するフローチャートである。
【図３６】パーソナルコンピュータの主な構成例を示すブロック図である。
【図３７】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図３８】携帯電話機の概略的な構成の一例を示すブロック図である。
【図３９】記録再生装置の概略的な構成の一例を示すブロック図である。
【図４０】撮像装置の概略的な構成の一例を示すブロック図である。
【発明を実施するための形態】
【００４２】
以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像復号装置）
２．第２の実施の形態（画像符号化装置）
３．第３の実施の形態（パーソナルコンピュータ）
４．第４の実施の形態（テレビジョン受像機）
５．第５の実施の形態（携帯電話機）
６．第６の実施の形態（記録再生装置）
７．第７の実施の形態（撮像装置）
【００４３】
＜１．第１の実施の形態＞
［画像符号化装置］
図１は、画像符号化装置の主な構成例を示すブロック図である。
【００４４】
図１に示される画像符号化装置１００は、H．264及びMPEG（Moving Picture Experts Group）4 Part10（AVC（Advanced Video Coding））符号化方式のように、予測処理を用いて画像データを符号化する。
【００４５】
図１に示されるように画像符号化装置１００は、A/D変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、ループフィルタ１１１、フレームメモリ１１２、イントラ予測部１１３、動き予測・補償部１１４、予測画像選択部１１５、およびレート制御部１１６を有する。
【００４６】
A/D変換部１０１は、入力された画像データをA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１０２に供給し、記憶させる。画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１０３に供給する。また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、イントラ予測部１１３および動き予測・補償部１１４にも供給する。
【００４７】
演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、予測画像選択部１１５を介してイントラ予測部１１３若しくは動き予測・補償部１１４から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。
【００４８】
例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、イントラ予測部１１３から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き予測・補償部１１４から供給される予測画像を減算する。
【００４９】
直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部１０４は、その変換係数を量子化部１０５に供給する。
【００５０】
量子化部１０５は、直交変換部１０４から供給される変換係数を量子化する。量子化部１０５は、レート制御部１１６から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
【００５１】
可逆符号化部１０６は、量子化部１０５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１１６の制御の下で量子化されているので、この符号量は、レート制御部１１６が設定した目標値となる（若しくは目標値に近似する）。
【００５２】
また、可逆符号化部１０６は、イントラ予測のモードを示す情報などをイントラ予測部１１３から取得し、インター予測のモードを示す情報や動きベクトル情報などを動き予測・補償部１１４から取得する。さらに、可逆符号化部１０６は、ループフィルタ１１１において使用されたフィルタ係数等を取得する。
【００５３】
可逆符号化部１０６は、これらの各種情報を任意の符号化方式で符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
【００５４】
可逆符号化部１０６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
【００５５】
蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持する。蓄積バッファ１０７は、所定のタイミングにおいて、保持している符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。
【００５６】
また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部１０５による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。
【００５７】
逆直交変換部１０９は、逆量子化部１０８から供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部１０４による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。
【００５８】
演算部１１０は、逆直交変換部１０９から供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部１１５を介してイントラ予測部１１３若しくは動き予測・補償部１１４から供給される予測画像を加算し、局部的に再構成された画像（以下、再構成画像と称する）を得る。その再構成画像は、ループフィルタ１１１またはイントラ予測部１１３に供給される。
【００５９】
ループフィルタ１１１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１１０から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１１１は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ１１１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
【００６０】
なお、ループフィルタ１１１が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１１１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１０６に供給し、それを符号化させるようにすることもできる。
【００６１】
ループフィルタ１１１は、フィルタ処理結果（以下、復号画像と称する）をフレームメモリ１１２に供給する。
【００６２】
フレームメモリ１１２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、動き予測・補償部１１４に供給する。
【００６３】
イントラ予測部１１３は、演算部１１０から供給される再構成画像を、処理対象領域の周辺に位置する周辺領域の画像（周辺画像）として保持する。イントラ予測部１１３は、この処理対象ピクチャ内の周辺画像の画素値を用いて、基本的にプレディクションユニット（PU）を処理単位として予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１３は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。
【００６４】
イントラ予測部１１３は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１０２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１１３は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１５に供給する。
【００６５】
また、イントラ予測部１１３は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１０６に供給し、符号化させる。
【００６６】
なお、イントラ予測部１１３は、予測画像選択部１１５により、インター予測により生成された予測画像が選択された場合、その領域の画像をイントラ予測により生成し、保持する。この画像は、他の領域に対するイントラ予測において、周辺画像として使用される。
【００６７】
動き予測・補償部１１４は、画面並べ替えバッファ１０２から供給される入力画像と、フレームメモリ１１２から供給される参照画像とを用いて、基本的にPUを処理単位として、動き予測（インター予測）を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１１４は、予め用意された複数のモード（インター予測モード）でこのようなインター予測を行う。
【００６８】
動き予測・補償部１１４は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１１４は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１５に供給する。
【００６９】
また、動き予測・補償部１１４は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１０６に供給し、符号化させる。
【００７０】
さらに、動き予測・補償部１１４は、予測画像選択部１１５によってインター予測の予測画像が選択された場合、その予測画像のモード（最適なインター予測モード）に関する情報（インター予測情報）をイントラ予測部１１３に通知する。イントラ予測部１１３は、そのインター予測情報を用いてイントラ予測のモードを決定する。
【００７１】
予測画像選択部１１５は、演算部１０３や演算部１１０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１１５は、予測画像の供給元としてイントラ予測部１１３を選択し、そのイントラ予測部１１３から供給される予測画像を演算部１０３や演算部１１０に供給する。また、例えば、インター符号化の場合、予測画像選択部１１５は、予測画像の供給元として動き予測・補償部１１４を選択し、その動き予測・補償部１１４から供給される予測画像を演算部１０３や演算部１１０に供給する。
【００７２】
レート制御部１１６は、蓄積バッファ１０７に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
【００７３】
［イントラ予測モード］
次に、AVC符号化方式で定められているイントラ予測方式について述べる。AVC符号化方式の場合、輝度信号については、イントラ４×４予測モードとイントラ８×８予測モード、イントラ１６×１６予測モードの３通りの方式が定められている。図２に示されるように、イントラ１６×１６予測モードの際には、各ブロックの直流成分を集めて４×４行列が生成され、これに対して、更に、直交変換が施される。
【００７４】
イントラ８×８予測モードに関しては、ハイプロファイル若しくはそれ以上のプロファイルで、当該マクロブロックに、８×８直交変換が施される場合についてのみ適用可能である。
【００７５】
［イントラ４×４予測モード］
以下では、まず、イントラ４×４予測モードについて述べる
【００７６】
AVC符号化方式において規定される９通りのイントラ４×４予測モードを、図３および図４に示す。このうち、DC予測（モード２）以外のモードに関しては、図５に示される通り、それぞれのモードが一定の方向を示している。つまり、イントラ４×４予測モードにおいては、９通りの予測方向（予測モード）が用意されている。
【００７７】
図６において、ａ乃至ｐは、当該ブロックの画素を示し、Ａ乃至Ｍは隣接ブロックに属する画素値を示す。表に示したそれぞれのモードについて、以下に述べるように、Ａ乃至Ｍを用いてａ乃至ｐの予測画素値を生成する。
【００７８】
モード０（Mode 0）はVertical Predictionであり、A,B,C,Dが "available" の場合のみ適用される。予測画素値は以下の通りである。
【００７９】
a, e, i, m :      A
b, f, j, n :      B
c, g, k, o :      C
d, h, l, p :      D
【００８０】
モード１（Mode 1）は、Horizontal Predictionであり、I,J,K,Lが "available" の場合のみ適用される。それぞれの予測画素値は以下のように生成される。
【００８１】
a, b, c, d :      I,
e, f, g, h :      J,
i, j, k, l :      K,
m, n, o, p :      L.
【００８２】
モード２（Mode 2）は、DC Predictionであり、A,B,C,D,I,J,K,Lが全て "available" である時、予測値は、以下の式（１）ように生成される。
【００８３】
【数１】
2012244354.tif 000003
・・・（１）
【００８４】
また、A,B,C,Dが全て "unavailable" である時、予測値は、以下の式（２）ように生成される。
【００８５】
【数２】
2012244354.tif 000004
・・・（２）
【００８６】
また、I,J,K,Lが全て "unavailable" である時、予測値は以下の式（３）ように生成される。
【００８７】
【数３】
2012244354.tif 000005
・・・（３）
【００８８】
A,B,C,D,I,J,K,Lが全て "unavailable" である時、128を予測値として用いる。
【００８９】
モード３（Mode 3）は、Diagonal_Down_Left Predictionであり、A,B,C,D,I,J,K,L,Mが "available" の場合のみ適用される。それぞれの予測値は以下のように生成される。
【００９０】
a :               (A + 2B + C + 2) >> 2
b, e :            (B + 2C + D + 2) >> 2
c, f, i :         (C + 2D + E + 2) >> 2
d, g, j, m :      (D + 2E + F + 2) >> 2
h, k, n :         (E + 2F + G + 2) >> 2
l, o :            (F + 2G + H + 2) >> 2
p :               (G + 3H + 2) >> 2
【００９１】
モード４（Mode 4）は、Diagonal_Down_Right Predictionであり、A,B,C,D,I,J,K,L,Mが "available" の場合のみ適用される。それぞれの予測値は以下のように生成される。
【００９２】
m :               (J + 2K + L + 2) >> 2
i, n :            (I + 2J + K + 2) >> 2
e, j, o :         (M + 2I + J + 2) >> 2
a, f, k, p :      (A + 2M + I + 2) >> 2
b, g, l :         (M + 2A + B + 2) >> 2
c, h :            (A + 2B + C + 2) >> 2
d :               (B + 2C + D + 2) >> 2
【００９３】
モード５（Mode 5）は、Diagonal_Vertical_Right Predictionであり、A,B,C,D,I,J,K,L,Mが "available" の場合のみ適用される。それぞれの予測値は以下のように生成される。
【００９４】
a, j :      (M + A + 1) >> 1
b, k :      (A + B + 1) >> 1
c, l :      (B + C + 1) >> 1
d :         (C + D + 1) >> 1
e, n :      (I + 2M + A + 2) >> 2
f, o :      (M + 2A + B + 2) >> 2
g, p :      (A + 2B + C + 2) >> 2
h :         (B + 2C + D + 2)  >> 2
i :         (M + 2I + J + 2) >> 2
m :         (I + 2J + K + 2) >> 2
【００９５】
モード６（Mode 6）は、Horizontal_Down Predictionであり、A,B,C,D,I,J,K,L,Mが "available" の場合のみ適用される。それぞれの予測値は以下のように生成される。
【００９６】
a, g :      (M + I + 1) >> 1
b, h :      (I + 2M + A+ 2) >> 2
c :         (M + 2A + B+ 2) >> 2
d :         (A + 2B + C+ 2) >> 2
e, k :      (I + J + 1) >> 1
f, l :      (M + 2I + J+ 2) >> 2
i, o :      (J + K + 1) >> 1
j, p :      (I + 2J + K+ 2) >> 2
m :         (K + L + 1) >> 1
n :         (J + 2K + L + 2) >> 2
【００９７】
モード７（Mode 7）は、Vertical_Left Predictionであり、A,B,C,D,I,J,K,L,Mが "available" の場合のみ適用される。それぞれの予測値は以下のように生成される。
【００９８】
a :         (A + B + 1) >> 1
b, i :      (B + C + 1) >> 1
c, j :      (C + D + 1) >> 1
d, k :      (D + E + 1) >> 1
l :         (E + F + 1) >> 1
e :         (A + 2B + C + 2) >> 2
f, m :      (B + 2C + D + 2) >> 2
g, n :      (C + 2D + E + 2) >> 2
h, o :      (D + 2E + F + 2) >> 2
p :         (E + 2F + G + 2) >> 2
【００９９】
モード８（Mode 8）は、Horizontal_Up Predictionであり、A,B,C,D,I,J,K,L,Mが "available" の場合のみ適用される。それぞれの予測値は以下のように生成される。
【０１００】
a :                     (I + J + 1) >> 1
b :                     (I + 2J + K + 2) >> 2
c, e :                  (J + K + 1) >> 1
d, f :                  (J + 2K + L + 2) >> 2
g, i :                  (K + L + 1) >> 1
h, j :                  (K + 3L + 2) >> 2
k, l, m, n, o, p :      L
【０１０１】
次に、イントラ４×４予測モード（Intra_4x4_pred_mode）の符号化方式について説明する。
【０１０２】
図７において、Ｃを当該4×4 ブロック、Ａ及びＢを隣接する４×４ブロックであるとすると、Ｃにおけるイントラ４×４予測モード（Intra_4x4_pred_mode）と、Ａ及びＢにおけるイントラ４×４予測モード（Intra_4x4_pred_mode）は高い相関があると考えられる。この事実を利用して、以下のように符号化処理を行うことにより、より高い符号化効率を実現することが可能である。
【０１０３】
すなわち、図７において、ＡおよびＢに対するイントラ４×４予測モード（Intra_4x4_pred_mode）をそれぞれイントラ４×４予測モードＡ（Intra_4x4_pred_modeA）およびイントラ４×４予測モードＢ（Intra_4x4_pred_modeB）として、MostProbableModeを以下の式（４）のように定義する。
【０１０４】
MostProbableMode=Min(Intra_4x4_pred_modeA, Intra_4x4_pred_modeB)  ・・・（４）
【０１０５】
すなわち、Ａ，Ｂのうち、より小さなモード番号（mode_number）を割り当てられている方をMostProbableModeとする。つまり、隣接ブロックＡおよびＢの予測モード（予測方向）を用いて、当該ブロックＣの予測モード（予測方向）を予測する。その予測値をMostProbableModeとする。
【０１０６】
ビットストリーム中には、当該４×４ブロックに対するパラメータとして、prev_intra4x4_pred_mode_flag［luma4x4BlkIdx］、および、rem_intra4x4_pred_mode［luma4x4BlkIdx］という２つの値が定義されており、以下に示される擬似コードに基づく処理により、復号処理が行われ、当該４×４ブロックに対するイントラ４×４予測モード（Intra_4x4_pred_mode）を示す、Intra4x4PredMode[luma4x4BlkIdx] の値を得ることが出来る。
【０１０７】
if(prev_intra4x4_pred_mode_flag[luma4x4BlkIdx])
Intra4x4PredMode[luma4x4BlkIdx] = MostProbableMode
else
if(rem_intra4x4_pred_mode[luma4x4BlkIdx] < MostProbableMode)
Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx]
else
Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx] + 1
【０１０８】
［イントラ８×８予測方式］
次に、イントラ８×８予測方式について説明する。
【０１０９】
AVCにおいては、図８および図９に示されるように、９通りのイントラ８×８予測モード（Intra_8x8_pred_mode）が定義されている。つまり、イントラ８×８予測モードには９通りの予測方向（予測モード）が用意されている。当該８×８ブロックにおける画素値をp[x,y]（０≦ｘ≦７；０≦ｙ≦７）とし、隣接ブロックの画素値をp[-1,-1],…,p[-1,15],p[-1,0],…p[-1,7]のように表すものとする。
【０１１０】
イントラ８×８予測モードについては、以下に述べるとおり、予測値を生成するに先立ち、隣接画素にローパスフィルタリング処理を施す。ここで、ローパスフィルタリング処理前の画素値をp[-1,-1],…,p[-1,15],p[-1,0],…p[-1,7]、処理後の画素値をp'[-1,-1],…,p'[-1,15],p'[-1,0],…p'[-1,7]と表すとする。
【０１１１】
まず、p[-1,-1] が "available" である場合、p'[0,-1]は、以下の式（５）のように算出される。
【０１１２】
p'[0,-1] = (p[-1,-1] + 2*p[0,-1] + p[1,-1] + 2) >> 2  ・・・（５）
【０１１３】
また、p[-1,-1] が "not available" である場合、p'[0,-1]は、以下の式（６）のように算出される。
【０１１４】
p'[0,-1] = (3*p[0,-1] + p[1,-1] + 2) >> 2  ・・・（６）
【０１１５】
p'[x,-1] (x=0,…,7)は、以下の式（７）のように算出される。
【０１１６】
p'[x,-1] = (p[x-1,-1] + 2*p[x,-1] + p[x+1,-1] + 2) >>2  ・・・（７）
【０１１７】
p[x,-1] (x=8,…,15) が "available" である場合、p'[x,-1] (x=8,…,15)は、以下の式（８）および式（９）のように算出される。
【０１１８】
p'[x,-1] = (p[x-1,-1] + 2*p[x,-1] + p[x+1,-1] + 2) >>2  ・・・（８）
p'[15,-1] = (p[14,-1] + 3*p[15,-1] + 2) >>2  ・・・（９）
【０１１９】
次にp[-1,-1]が "available" である場合について説明する。p[0,-1]及びp[-1,0]の双方がavailableである場合、p'[-1,-1]は、以下の式（１０）のように算出される。
【０１２０】
p'[-1,-1] = (p[0,-1] + 2*p[-1,-1] + p[-1,0] + 2) >>2  ・・・（１０）
【０１２１】
また、p[-1,0] が "unavailable" である場合、p'[-1,-1]は、以下の式（１１）のように算出される。
【０１２２】
p'[-1,-1] = (3*p[-1,-1] + p[0,-1] + 2) >>2  ・・・（１１）
【０１２３】
さらに、p[0,-1] が "unavailable" である場合、p'[-1,-1]は、以下の式（１２）のように算出される。
【０１２４】
p'[-1,-1] = (3*p[-1,-1] + p[-1,0] + 2) >>2  ・・・（１２）
【０１２５】
また、p'[-1,y] (y=0, … ,7) は、p[-1,y] (y=0, … ,7) が "available" の時、以下のように算出される。すなわち、まず、p[-1,-1]が "available" である場合、p'[-1,0]は、以下の式（１３）のように算出される。
【０１２６】
p'[-1,0] = (p[-1,-1] + 2*p[-1,0] + p[-1,1] + 2) >>2  ・・・（１３）
【０１２７】
また、p[-1,-1]が "unavailable" である場合、p'[-1,0]は、以下の式（１４）のように算出される。
【０１２８】
p'[-1,0] = (3*p[-1,0] + p[-1,1] + 2) >>2  ・・・（１４）
【０１２９】
なお、p'[-1,y] (y=1,…,6)は、以下の式（１５）のように算出される。
【０１３０】
p[-1,y] = (p[-1,y-1] + 2*p[-1,y] + p[-1,y+1] + 2) >>2  ・・・（１５）
【０１３１】
また、p'[-1,7]は、以下の式（１６）のように算出される。
【０１３２】
p'[-1,7] = (p[-1,6] + 3*p[-1,7] + 2) >>2  ・・・（１６）
【０１３３】
このように算出されたp'を用いて、図８に示された各イントラ予測モードにおける予測値は以下のように算出される。
【０１３４】
モード０（Mode 0）は、Vertical Predictionであり、p[x,-1] (x=0, … ,7) が "available" である時のみ適用される。予測値pred8x8L[x,y]は、以下の式（１７）のように算出される。
【０１３５】
pred8x8L[x,y] = p'[x,-1] x,y=0,...,7  ・・・（１７）
【０１３６】
モード１（Mode 1）は、Horizontal Predictionであり、p[-1,y] (y=0, … ,7) が "available" である時のみ適用される。予測値pred8x8L[x,y]は、以下の式（１８）のように算出される。
【０１３７】
pred8x8L[x,y] = p'[-1,y] x,y=0,...,7  ・・・（１８）
【０１３８】
モード２（Mode 2）は、DC Predictionであり、予測値pred8x8L[x,y]は以下の通り算出される。すなわち、p[x,-1] (x=0, … ,7) および p[-1,y] (y=0, … ,7) の両方が "available" である場合、予測値pred8x8L[x,y]は以下の式（１９）のように算出される。
【０１３９】
【数４】
2012244354.tif 000006
・・・（１９）
【０１４０】
p[x,-1] (x=0, … ,7) は、 "available" であるが、 p[-1,y] (y=0, … ,7) が "unavailable" である場合、予測値pred8x8L[x,y]は以下の式（２０）のように算出される。
【０１４１】
【数５】
2012244354.tif 000007
・・・（２０）
【０１４２】
p[x,-1] (x=0, … ,7) は、 "unavailable" であるが、 p[-1,y] (y=0, … ,7) が "available" である場合、予測値pred8x8L[x,y]は以下の式（２１）のように算出される。
【０１４３】
【数６】
2012244354.tif 000008
・・・（２１）
【０１４４】
p[x,-1] (x=0, … ,7) および p[-1,y] (y=0, … ,7) の両方が "unavailable" である場合、予測値pred8x8L[x,y]は以下の式（２２）のように算出される(但し8ビット入力の場合)。
【０１４５】
pred8x8L[x,y] = 128  ・・・（２２）
【０１４６】
モード３（Mode 3）は、Diagonal_Down_Left_predictionであり、予測値pred8x8L[x,y]は、以下の通り算出される。すなわち、Diagonal_Down_Left_predictionは、p[x,-1], x=0,…,15が "available" の時のみ適用され、x=7かつy=7のとき、予測値pred8x8L[x,y]は、以下の式（２３）のように算出される。
【０１４７】
pred8x8L[x,y] = (p'[14,-1] + 3*p[15,-1] + 2) >> 2  ・・・（２３）
【０１４８】
その他の予測値pred8x8L[x,y]は、以下の式（２４）のように算出される。
【０１４９】
pred8x8L[x,y] = (p'[x+y,-1] + 2*p'[x+y+1,-1] + p'[x+y+2,-1] + 2) >> 2
・・・（２４）
【０１５０】
モード４（Mode 4）は、Diagonal_Down_Right_predictionであり、予測値pred8x8L[x,y]は、以下の通り算出される。すなわち、Diagonal_Down_Right_predictionは、p[x,-1],x=0,…,7及びp[-1,y],y=0,…,7が "available"の時のみ適用され、x > y であるとき、予測値pred8x8L[x,y]は、以下の式（２５）のように算出される。
【０１５１】
pred8x8L[x,y] = (p'[x-y-2,-1] + 2*p'[x-y-1,-1] + p'[x-y,-1] + 2) >> 2
・・・（２５）
【０１５２】
また、x < y であるとき、予測値pred8x8L[x,y]は、以下の式（２６）のように算出される。
【０１５３】
pred8x8L[x,y] = (p'[-1,y-x-2] + 2*p'[-1,y-x-1] + p'[-1,y-x] + 2) >> 2
・・・（２６）
【０１５４】
さらに、x = yであるとき、予測値pred8x8L[x,y]は、以下の式（２７）のように算出される。
【０１５５】
pred8x8L[x,y] = (p'[0,-1] + 2*p'[-1,-1] + p'[-1,0] + 2) >> 2
・・・（２７）
【０１５６】
モード５（Mode 5）は、Vertical_Right_predictionであり、予測値pred8x8L[x,y]は以下の通り算出される。すなわち、Vertical_Right_predictionは、p[x,-1],x=0,…,7及びp[-1,y],y=-1,…,7が "available"の時のみ適用される。zVRを、以下の式（２８）のように定義する。
【０１５７】
zVR = 2*x - y  ・・・（２８）
【０１５８】
zVRが、0,2,4,6,8,10,12,14の場合、予測値pred8x8L[x,y]は、以下の式（２９）のように算出される。
【０１５９】
pred8x8L[x,y] = (p'[x-(y>>1)-1,-1] + p'[x-(y>>1),-1] + 1) >> 1
・・・（２９）
【０１６０】
また、zVRが1,3,5,7,9,11,13の場合、予測値pred8x8L[x,y]は、以下の式（３０）のように算出される。
【０１６１】
pred8x8L[x,y] = (p'[x-(y>>1)-2,-1] + 2*p'[x-(y>>1)-1,-1] + p'[x-(y>>1),-1] + 2) >> 2
・・・（３０）
【０１６２】
また、zVRが-1の場合、予測値pred8x8L[x,y]は、以下の式（３１）のように算出される。
【０１６３】
pred8x8L[x,y] = (p'[-1,0] + 2*p'[-1,-1] + p'[0,-1] + 2) >> 2
・・・（３１）
【０１６４】
これ以外の場合、すなわち、zVRが-2,-3,-4,-5,-6,-7の場合、以下の式（３２）のように算出される。
【０１６５】
pred8x8L[x,y] = (p'[-1,y-2*x-1] + 2*p'[-1,y-2*x-2] + p'[-1,y-2*x-3] + 2) >> 2
・・・（３２）
【０１６６】
モード６（Mode 6）は、Horizontal_Down_predictionであり、予測値pred8x8L[x,y]は以下の通り算出される。Horizontal_Down_predictionは、p[x,-1],x=0,…,7及びp[-1,y],y=-1,…,7が "available"の時のみ適用される。zVRを以下の式（３３）のように定義する。
【０１６７】
zHD = 2*y - x  ・・・（３３）
【０１６８】
zHDが0,2,4,6,8,10,12,14の場合、予測値pred8x8L[x,y]は、以下の式（３４）のように算出される。
【０１６９】
pred8x8L[x,y] = (p'[-1,y-(x>>1)-1] + p'[-1,y-(x>>1) + 1] >> 1
・・・（３４）
【０１７０】
また、zHDが1,3,5,7,9,11,13の場合、予測値pred8x8L[x,y]は、以下の式（３５）のように算出される。
【０１７１】
pred8x8L[x,y] = (p'[-1,y-(x>>1)-2] + 2*p'[-1,y-(x>>1)-1] + p'[-1,y-(x>>1)] + 2) >> 2
・・・（３５）
【０１７２】
また、zHDが-1の場合、予測値pred8x8L[x,y]は、以下の式（３６）のように算出される。
【０１７３】
pred8x8L[x,y] = (p'[-1,0] + 2*p[-1,-1] + p'[0,-1] + 2) >> 2
・・・（３６）
【０１７４】
また、zHDがこれ以外の値の場合、すなわち、-2,-3,-4,-5,-6,-7の場合、予測値pred8x8L[x,y]は、以下の式（３７）のように算出される。
【０１７５】
pred8x8L[x,y] = (p'[x-2*y-1,-1] + 2*p'[x-2*y-2,-1] + p'[x-2*y-3,-1] + 2) >> 2
・・・（３７）
【０１７６】
モード７（Mode 7）は、Vertical_Left_predictionであり、予測値pred8x8L[x,y]は以下の通り算出される。すなわち、Vertical_Left_predictionは、p[x,-1], x=0,…,15が "available" の時のみ適用され、y=0,2,4,6の場合、予測値pred8x8L[x,y]は、以下の式（３８）のように算出される。
【０１７７】
pred8x8L[x,y] = (p'[x+(y>>1),-1] + p'[x+(y>>1)+1,-1] + 1) >> 1
・・・（３８）
【０１７８】
それ以外の場合、すなわち、y=1,3,5,7の場合、予測値pred8x8L[x,y]は、以下の式（３９）のように算出される。
【０１７９】
pred8x8L[x,y] = (p'[x+(y>>1),-1] + 2*p'[x+(y>>1)+1,-1] + p'[x+(y>>1)+2,-1] + 2) >> 2
・・・（３９）
【０１８０】
モード８（Mode 8）は、Horizontal_Up_predictionであり、予測値pred8x8L[x,y]は以下の通り算出される。すなわち、Horizontal_Up_predictionは、p[-1,y], y=0,…,7 が "available" の時のみ適用される。以下では、zHUを以下の式（４０）のように定義する。
【０１８１】
zHU = x + 2*y  ・・・（４０）
【０１８２】
zHUの値が0,2,4,6,8,10,12の場合、予測値pred8x8L[x,y]は、以下の式（４１）のように算出される。
【０１８３】
pred8x8L[x,y] = (p'[-1,y+(x>>1)] + p'[-1,y+(x>>1)+1] + 1) >> 1
・・・（４１）
【０１８４】
zHUの値が1,3,5,7,9,11の場合、予測値pred8x8L[x,y]は、以下の式（４２）のように算出される。
【０１８５】
pred8x8L[x,y] = (p'[-1,y+(x>>1)]  ・・・（４２）
【０１８６】
zHUの値が13の場合、予測値pred8x8L[x,y]は、以下の式（４３）のように算出される。
【０１８７】
pred8x8L[x,y] = (p'[-1,6] + 3*p'[-1,7] + 2) >> 2  ・・・（４３）
【０１８８】
それ以外の場合、すなわち、zHUの値が13より大きい場合、予測画素値は、以下の式（４４）のように算出される。
【０１８９】
pred8x8L[x,y] = p'[-1,7]  ・・・（４４）
【０１９０】
［イントラ１６×１６予測方式］
次に、イントラ１６×１６予測方式について説明する。
【０１９１】
AVCにおいては、図１０および図１１に示されるように、4通りのイントラ１６×１６予測モード（Intra_16x16_pred_mode）が定義されている。つまり、イントラ１６×１６予測モードには、４通りの予測方向（予測モード）が用意されている。当該マクロブロックに含まれる画素値、並びに、隣接画素値を図１２のように定義すると、それぞれの予測値は、以下のように生成される。
【０１９２】
モード０（Mode 0）は、Vertical Predictionであり、P(x,-1); x,y=-1..15が "available" である時のみ適用される。それぞれの予測値は以下の式（４５）のように算出される。
【０１９３】
【数７】
2012244354.tif 000009
・・・（４５）
【０１９４】
モード１（Mode 1）は、Horizontal Predictionであり、P(-1,y); x,y=-1..15が "available" である時のみ適用される。それぞれの予測値は以下の式（４６）のように算出される。
【０１９５】
【数８】
2012244354.tif 000010
・・・（４６）
【０１９６】
モード２（Mode 2）は、DC Predictionであり、P(x,-1)及びP(-1,y); x,y=-1..15が全て "available" である場合、予測値は以下の式（４７）のように算出される。
【０１９７】
【数９】
2012244354.tif 000011
・・・（４７）
【０１９８】
また、P(x,-1); x,y=-1..15が "not available" である場合、予測値は以下の式（４８）のように生成される。
【０１９９】
【数１０】
2012244354.tif 000012
・・・（４８）
【０２００】
P(-1,y); x,y=-1..15が "not available" である場合、予測値は以下の式（４９）のように生成される。
【０２０１】
【数１１】
2012244354.tif 000013
・・・（４９）
【０２０２】
なお、P(x,-1)及びP(-1,y); x,y=-1..15が全て "not available" である場合、予測値として128が用いられる。
【０２０３】
モード３（Mode 3）は、Plane Predictionであり、P(x,-1)及びP(-1,y); x,y=-1..15が全て "available" の場合のみ適用される。それぞれの予測値は以下の式（５０）乃至式（５５）のように生成される。
【０２０４】
【数１２】
2012244354.tif 000014
・・・（５０）
【数１３】
2012244354.tif 000015
・・・（５１）
【数１４】
2012244354.tif 000016
・・・（５２）
【数１５】
2012244354.tif 000017
・・・（５３）
【数１６】
2012244354.tif 000018
・・・（５４）
【数１７】
2012244354.tif 000019
・・・（５５）
【０２０５】
［色差信号に対するイントラ予測モード］
次に、色差信号に対するイントラ予測モードについて述べる。色差信号に対するイントラ予測モードは、以下の通り、イントラ１６×１６予測モードに順ずる。但し、イントラ１６×１６予測モードが、１６×１６ブロックを対象としているのに対し、色差信号に対するイントラ予測モードは８×８ブロックを対象としている。更に、また、モード番号（mode番号）と、対応するモード（mode）が異なっていることに注意されたい。
【０２０６】
色差信号に対する予測モードは、輝度信号に対するモードとは独立に設定することが可能である。
【０２０７】
以下では、当該マクロブロック（Macroblock）に含まれる画素値及び隣接画素値の定義については、イントラ１６×１６モード（Intra16x16Mode）の場合に順ずる。それぞれのIntra_chroma_pred_modeにおける予測値の生成は以下の通りである。
【０２０８】
Intra_chroma_pred_modeには、図１３に示されるように、モード０乃至モード３の４つのモードがある。
【０２０９】
モード０（Mode 0）は、DC Predictionであり、P(x,-1)及びP(-1,y)が "available" である場合、予測値は、以下の式（５６）のように算出される。
【０２１０】
【数１８】
2012244354.tif 000020
・・・（５６）
【０２１１】
また、P(-1,y)が "not available" である場合、予測値は、以下の式（５７）のように算出される。
【０２１２】
【数１９】
2012244354.tif 000021
・・・（５７）
【０２１３】
また、P(x,-1)が "not available" である場合、予測値は、以下の式（５８）のように算出される。
【０２１４】
【数２０】
2012244354.tif 000022
・・・（５８）
【０２１５】
モード１（Mode 1）は、Horizontal Predictionであり、P(-1,y) が "available" の場合にのみ適用される。予測値は、以下の式（５９）のように生成される。
【０２１６】
【数２１】
2012244354.tif 000023
・・・（５９）
【０２１７】
モード２（Mode 2）は、Vertical Predictionであり、P(x,-1) が "available" の場合にのみ適用される。予測値は、以下の式（６０）のように生成される。
【０２１８】
【数２２】
2012244354.tif 000024
・・・（６０）
【０２１９】
モード３（Mode 3）は、Plane Predictionであり、P(x,-1)及びP(-1,y) が "available" の場合にのみ適用される。予測値は、以下の式（６１）乃至式（６６）のように生成される。
【０２２０】
【数２３】
2012244354.tif 000025
・・・（６１）
【数２４】
2012244354.tif 000026
・・・（６２）
【数２５】
2012244354.tif 000027
・・・（６３）
【数２６】
2012244354.tif 000028
・・・（６４）
【数２７】
2012244354.tif 000029
・・・（６５）
【数２８】
2012244354.tif 000030
・・・（６６）
【０２２１】
［コスト関数］
ところで、ＡＶＣ符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。
【０２２２】
かかる選択方式の例として、http://iphome.hhi.de/suehring/tml/index.htm において公開されている、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエアに実装されている方法を挙げることが出来る。
【０２２３】
JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。
【０２２４】
High Complexity Modeにおけるコスト関数は、以下の式（６７）のようになる。
【０２２５】
Cost(Mode∈Ω) = D + λ*R  ・・・（６７）
【０２２６】
ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードModeで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Rは、直交変換係数を含んだ、当該モードModeで符号化した場合の総符号量である。
【０２２７】
つまり、High Complexity Modeでの符号化を行うには、上記パラメータD及びRを算出するため、全ての候補モードModeにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
【０２２８】
Low Complexity Modeにおけるコスト関数は、以下の式（６８）のようになる。
【０２２９】
Cost(Mode∈Ω) = D + QP2Quant(QP) * HeaderBit  ・・・（６８）
【０２３０】
ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP) は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
【０２３１】
すなわち、Low Complexity Modeにおいては、それぞれの候補モードModeに関して、予測処理を行う必要があるが、復号化画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
【０２３２】
ところで、4000×2000画素といった、より高解像度の画像においては、マクロブロックの大きさを、３２×３２画素、６４×６４画素といったように、拡張された大きさのマクロブロックを用いた符号化処理を行うことで、符号化効率を向上させることが可能である。非特許文献１においては、かかる方式を、イントラスライスに適用した例が提案されている。
【０２３３】
ところで、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。2010年9月現在、Draftとして、"Test Model under Consideration",JCTVC-B205（以下において、非特許文献３と称する）が発行されている。
【０２３４】
［コーディングユニット］
以下では、まず、HEVC符号化方式において定められている、コーディングユニット（Coding Unit）について説明する。
【０２３５】
Coding Unit（CU）は、Coding Tree Block（CTB）とも呼ばれ、AVCにおけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
【０２３６】
特に、最大の大きさを持つCUを、LCU（Largest Coding Unit）と呼び、また、最小の大きさを持つCUをSCU（Smallest Coding Unit）と称する。例えば画像圧縮情報に含まれるシーケンスパラメータセットにおいて、これらの領域のサイズが指定されることになるが、それぞれ、正方形で、２の冪乗で表される大きさに限定される。
【０２３７】
図１４に、HEVCで定義されているコーディングユニット（Coding Unit）の例を示す。図１４の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。
【０２３８】
更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。
【０２３９】
なお、以下において、「領域」には、上述した各種領域（例えば、マクロブロック、サブマクロブロック、LCU、CU、SCU、PU、およびTU等）を全て含む（それらのいずれであってもよい）。もちろん、上述した以外の単位が含まれてもよいし、説明の内容に応じて不可能な単位は、適宜、除外するものとする。
【０２４０】
［HEVCイントラ予測方式］
次に、HEVCにおいて定められているイントラ予測方式について説明する。
【０２４１】
HEVCにおいては、イントラ予測のためのPUの単位は、４×４、８×８、１６×１６、３２×３２若しくは６４×６４である。
【０２４２】
４×４の大きさに関しては、AVCと同様のイントラ予測処理が行われる。
【０２４３】
８×８の大きさに関しては、後述する、Angular Predictionと呼ばれる方式に基づいてイントラ予測処理が行われる。
【０２４４】
１６×１６及び３２×３２及び６４×６４の大きさに関しては、後述するArbitrary Directional Intra（ADI）と呼ばれる方式に基づいて、イントラ予測処理が行われる。
【０２４５】
更に、イントラ予測を行うに先立ち、符号化効率を向上させる場合には、係数（1,2,1）によるローパスフィルタ処理が、周辺画素値に施される。施す・施さないに関する情報が、それぞれのPU毎に、画像圧縮情報中に伝送されることになる。
【０２４６】
以下では、HEVC符号化方式において規定されている、Angular Predictionイントラ予測方式について述べる。
【０２４７】
［Angular Predictionイントラ予測方式］
図１５に、Angular Predictionイントラ予測方式を説明するための図を示す。
【０２４８】
すなわち、Angular Predictionにおいては、図１５Ａに示されるような角度のイントラ予測処理を行うことが可能である。
【０２４９】
また、図１５Ａのような角度のイントラ予測を行うためには、図１５Ｂに示されるように、周辺画素の間の画素値を用いる必要が生じるが、このため、Angular Predictionにおいては、１／８画素精度の線形内挿処理を行うことが可能となっている。
【０２５０】
［Arbitrary Directional Intra（ADI）イントラ予測方式］
次に、HEVC符号化方式において規定されている、Arbitrary Directional Intra（ADI）イントラ予測方式について述べる。
【０２５１】
図１６に、Arbitrary Directional Intra（ADI）イントラ予測方式を説明するための図を示す。
【０２５２】
Arbitrary Directional Intra（ADI）イントラ予測方式においては、図１６Ａに示されるように、左下に位置する隣接画素値も用いられる。
【０２５３】
AVC符号化方式の場合と同様に、Vertical，Horizontal，DC，Diagonal Down-Left，Diagonal Down-Right，Vertical-Right，Horizontal-Down，Vertical-Left、およびHorizontal-Upの各予測モードが定義されているが、その他のモードに関しては、図１６Ｂに示されるように、（dx,dy）を符号化情報として画像圧縮情報中に伝送される。
【０２５４】
［constrained_intra_pred_flag］
ところで、例えばAVCやHEVCにおいては、インターピクチャにおいて、インター予測により再構成された画素からのイントラ予測を禁止するモードが用意されている。このモードは、インター予測の画像、若しくは、インター予測で参照する画像にエラー混入していた場合においても、そのエラーのイントラ予測への影響を抑制するためのモードである。
【０２５５】
例えば、シンタックスのピクチャパラメータ中にconstrained_intra_pred_flagが設けられ、その値が、「１」の場合、上述したようなモードが採用される。
【０２５６】
ところが、HEVCの場合、例えば、図１７に示されるように、１つのLCU内に、インター予測を行うCUとイントラ予測を行うCUを混在させることが可能である。
【０２５７】
このような場合、constrained_intra_pred_flag＝１（すなわちインター予測によって再構成された画素をイントラ予測で利用しないモード）であるとすると、イントラ予測において多くの周辺画素が参照できなくなる可能性が高い。その結果、利用できる予測モードの数が大幅に抑制され、符号化効率が低減する可能性がある。
【０２５８】
図１８を参照して、具体的に説明する。イントラ予測の処理対象のCU(イントラ予測  ＣＵ＃n)が１６×１６画素であるとする。図１８には、このCUをイントラ予測をするために必要な周辺の隣接画素と、その隣接画素が含まれる周辺CUでのインター予測・イントラ予測の状態の例が図示してある。
【０２５９】
周辺CUの内、Ａ、Ｃ、Ｄ、Ｇ、Ｈ、Ｌ、およびＭがインター予測されたＣＵであり、Ｂ、Ｅ、Ｆ、Ｊ、Ｋ、およびＮがイントラ予測されたＣＵである。
【０２６０】
図１８に示されるように、処理対象の領域ＣＵ＃nの周辺隣接画素はインター予測された画素とイントラ予測された画素が混在している。このため、インター予測によって再構成された画素をイントラ予測で利用しないモード（constrained_intra_pred_flag＝１）の場合、利用可能なイントラ予測モードがＤＣ（平均値）予測モードのみになってしまう。しかも既存の規格では周辺画素が利用できないために画素値を固定の１２８で予測することになる。
【０２６１】
このようにHEVCのインターピクチャにおけるイントラ予測において、インター予測によって再構成された画素をイントラ予測で利用しないモード（constrained_intra_pred_flag＝１）の場合、周辺のすべての画素が利用可能でないために、利用できるイントラ予測モードが大幅に制限されてしまう可能性があった。
【０２６２】
特にHEVCのIntra Angular Predictionではイントラ予測の予測方向が３３方向とAVC
等における従来のイントラ予測に比べて細かく設定することにより符号化効率の向上を目指しているため、上述の制限は符号化効率の大幅な低下を招くことになる可能性があった。
【０２６３】
これに対して、constrained_intra_pred_flag＝１の場合のインターピクチャでのイントラ予測において、図１８のような周辺画素の構成になっていた場合に、以下の式でインター予測から構成される周辺画素値を計算する方法が、非特許文献２に開示されている。
【０２６４】
例えば、
PT：インター予測から構成される周辺画素領域
PRA：PTの右もしくは上に隣接するイントラ予測から構成される画素
PLD：PTの左もしくは下に隣接するイントラ予測から構成される画素
とする。
【０２６５】
領域PTの左右もしくは上下両方に隣接するイントラ予測から構成される画素が存在する場合、以下の式（６９）のように、インター予測画素から構成される周辺画素をイントラ予測から構成される画素から計算し、周辺画素をすべて利用可能な状態にしてイントラ予測を行う。
【０２６６】
PT＝（PRA＋PLD＋1） >> 1  ・・・（６９）
【０２６７】
また、左右もしくは上下のうち一方に隣接するイントラ予測から構成される画素しか存在しない場合、以下の式（７０）のように、インター予測画素から構成される周辺画素をイントラ予測から構成される画素から計算し、周辺画素をすべて利用可能な状態にしてイントラ予測を行う。
【０２６８】
PT＝PRA          若しくは  PT＝PLD  ・・・（７０）
【０２６９】
図１８の例の場合、P[8,-1]乃至P[15,-1]は、以下の式（７１）のように算出される値に置き換え、利用可能な状態とする。
【０２７０】
PT＝（P[7,-1]＋P[16,-1]＋1） >> 1  ・・・（７１）
【０２７１】
また、P(24,-1)乃至P(31,-1)は、以下の式（７２）のように算出される値に置き換え、利用可能な状態とする。
【０２７２】
PT＝P[23,-1]  ・・・（７２）
【０２７３】
しかしながら、この方法の場合、単純な線形補間計算により置き換えが行われるため、置き換えられる値が置き換える前の値と大きく異なってしまう可能性がある。特に、PTの領域が大きい場合、その誤差はより顕著になる可能性が高くなる。
【０２７４】
また、置き換える値を算出するのに用いられる画素値が、最大２画素のみであるため、算出結果は、その画素値に大きく影響され易い。したがって、置き換えられる値が置き換える前の値と大きく異なってしまう可能性がある。
【０２７５】
そこで、イントラ予測部１１３は、インター予測が採用される領域に対して、constrained_intra_pred_flag＝１の場合、そのインター予測結果の代わりに、イントラ予測結果を保持し、そのイントラ予測結果を、その領域より時間的に後に処理される領域に対するイントラ予測において、周辺画素の画素値として利用する。
【０２７６】
なお、このconstrained_intra_pred_flagは、シーケンスパラメータセットやピクチャパラメータセットに含められて、ビットストリームとして復号側に伝送される。
【０２７７】
［イントラ予測部］
図１９は、図１のイントラ予測部１１３の主な構成例を示すブロック図である。
【０２７８】
図１９に示されるように、イントラ予測部１１３は、周辺画素バッファ１３１、候補予測画像生成部１３２、コスト関数値算出部１３３、予測モード判定部１３４、PUサイズ判定部１３５、および、符号化用予測画像生成部１３６を有する。また、イントラ予測部１１３は、制御部１４１および周辺用予測画像生成部１４２をさらに有する。
【０２７９】
周辺画素バッファ１３１は、処理対象とする領域の周辺画素として利用される画素値を記憶する。例えば、周辺画素バッファ１３１は、演算部１１０から供給される再構成画像の画素値（再構成画素）を記憶する。また、例えば、周辺画素バッファ１３１は、周辺用予測画像生成部１４２が生成する予測画像の画素値（予測画素値）を記憶する。これらの画素値は、周辺画素バッファ１３１が記憶する時点では、処理対象の領域の画素値である。
【０２８０】
周辺画素バッファ１３１は、その領域よりも時間的に後に処理される他の領域に対するイントラ予測において、記憶している画素値を、周辺画素の画素値（周辺画素値）として、候補予測画像生成部１３２、符号化用予測画像生成部１３６、および周辺用予測画像生成部１４２に供給する。つまり、周辺画素バッファ１３１は、処理対象の領域のイントラ予測において、周辺画素値を提供する。
【０２８１】
図１８の例の場合、周辺画素バッファ１３１は、領域Ａが処理対象であるときに、領域Ａの左端と下端の各画素の画素値を記憶する。領域Ｂ乃至領域Ｎについても同様であり、周辺画素バッファ１３１は、各領域を処理対象とするときに、各領域の左端と下端の各画素の画素値を記憶する。
【０２８２】
その際、領域Ｂ、Ｅ、Ｆ、Ｊ、Ｋ、およびＮは、イントラ予測が選択される領域であるので、周辺画素バッファ１３１は、演算部１１０から供給される再構成画素を記憶する。これに対して、領域Ａ、Ｃ、Ｄ、Ｇ、Ｈ、Ｌ、およびＭは、インター予測が選択される領域であるので、周辺画素バッファ１３１は、周辺用予測画像生成部１４２がイントラ予測を用いて生成した予測画素値を記憶する。
【０２８３】
そして、領域CU#nを処理対象とするイントラ予測において、周辺画素バッファ１３１は、必要に応じて、画素P[-1,-1]乃至画素P[31,-1]、並びに、画素P[-1,-1]乃至画素P[-1,31]の一部または全部を、候補予測画像生成部１３２、符号化用予測画像生成部１３６、および周辺用予測画像生成部１４２に供給する。
【０２８４】
候補予測画像生成部１３２は、周辺画素バッファ１３１から周辺画素値を取得し、その周辺画素値を用いて、処理対象の領域（CU）について全てのモードでイントラ予測を行い、各モードの予測画像を生成する。つまり、候補予測画像生成部１３２は、全てのPUサイズのそれぞれについて、全ての予測モード（予測方向）で予測画像を生成し、予測画像の候補（候補予測画像）を生成する。候補予測画像生成部１３２は、その予測画像の画素値（予測画像画素値）をコスト関数値算出部１３３に供給する。
【０２８５】
コスト関数値算出部１３３は、候補予測画像生成部１３２から予測画像画素値を取得するとともに、画面並べ替えバッファ１０２から入力画像画素値を取得する。コスト関数値算出部１３３は、これらの画素値から、全てのモード（全てのPUサイズの、全ての予測モード（予測方向））について、入力画像と予測画像の差分画像を生成し、その差分画像のコスト関数値を算出する。コスト関数値算出部１３３は、算出した全てのモードのコスト関数値を予測モード判定部１３４に供給する。
【０２８６】
予測モード判定部１３４は、コスト関数値算出部１３３から取得したコスト関数値に基づいて、PUサイズ毎に最適な予測モード（予測方向）を決定する。例えば予測モード判定部１３４は、コスト関数値算出部１３３から取得したコスト関数値群のうち、最も値の小さいものをPUサイズ毎に選択し、そのコスト関数値に対応する予測モード（予測方向）を、そのPUサイズの最適な予測モード（最適モード）と判定する。予測モード判定部１３４は、以上のように決定した各PUサイズの最適モード（最適な予測方向）のコスト関数値をPUサイズ判定部１３５に供給する。
【０２８７】
PUサイズ判定部１３５は、予測モード判定部１３４から各PUサイズの最適モードのコスト関数値を取得し、それらのコスト関数値を用いて、最適なPUサイズ（最適PUサイズ）を判定する。その判定結果に基づいて、PUサイズ判定部１３５は、最適PUサイズと判定されたPUサイズの最適モードを示す情報（最適PUサイズ予測モード）を符号化用予測画像生成部１３６に供給する。
【０２８８】
符号化用予測画像生成部１３６は、PUサイズ判定部１３５から供給される最適PUサイズ予測モードを取得すると、そのPUサイズに対応する周辺画素値を、周辺画素バッファ１３１から取得する。符号化用予測画像生成部１３６は、その周辺画素値を用いて、PUサイズ判定部１３５から取得した最適PUサイズ予測モードにより示されるPUサイズおよび予測モード（予測方向）で、符号化用の予測画像を生成する。符号化用予測画像生成部１３６は、生成した符号化用の予測画像の画素値（予測画像画素値）を予測画像選択部１１５に供給する。この予測画像は、上述したように、予測画像選択部１１５によりイントラ予測が選択されると、演算部１０３に供給され、入力画像との差分が算出され、その差分画像が符号化される。
【０２８９】
また、符号化用予測画像生成部１３６は、その最適PUサイズ予測モードである当該PUサイズの予測モード（予測方向）を示す情報（当該PUサイズ予測モード）を含むイントラ予測情報を可逆符号化部１０６に供給する。このイントラ予測情報（当該PUサイズ予測モード）は、ビットストリームの所定の位置に付加され、復号側に伝送される。なお、この符号化用予測画像生成部１３６は、制御部１４１の制御に従って動作する。
【０２９０】
制御部１４１は、予測画像選択部１１５から、イントラ予測が選択されたか、若しくは、インター予測が選択されたかを示す予測選択情報を取得する。制御部１４１は、その情報と、constrained_intra_pred_flagの値に基づいて、符号化用予測画像生成部１３６および周辺用予測画像生成部１４２の動作を制御する。
【０２９１】
例えば、予測画像選択部１１５がイントラ予測を選択した場合、制御部１４１は、符号化用予測画像生成部１３６に対して、イントラ予測情報（当該PUサイズ予測モード）を出力させるように指示するイントラ予測情報出力指示を供給する。符号化用予測画像生成部１３６は、その出力指示に従って、当該PUサイズ予測モードを含むイントラ予測情報を可逆符号化部１０６に出力し、ビットストリームに付加させる。
【０２９２】
また、例えば、制御部１４１は、予測画像選択部１１５がインター予測を選択し、かつ、constrained_intra_pred_flag＝０である場合、符号化用予測画像生成部１３６および周辺用予測画像生成部１４２が動作しないように制御する。
【０２９３】
さらに、例えば、制御部１４１は、予測画像選択部１１５がインター予測を選択し、かつ、constrained_intra_pred_flag＝１である場合、動き予測・補償部１１４から、最適モードとして採用されたインター予測モードに関する情報であるインター予測情報を取得する。制御部１４１は、その情報に基づいて、周辺画素を得るための予測画像を生成するイントラ予測のPUサイズと予測モード（予測方向）を決定し、それらを示す情報を、周辺用予測画像生成部１４２に供給する。
【０２９４】
周辺用予測画像生成部１４２は、制御部１４１から通知されるPUサイズと予測モード（予測方向）に対応する周辺画素値を周辺画素バッファ１３１から取得する。周辺用予測画像生成部１４２は、その周辺画素値を用いて、制御部１４１から通知されるPUサイズと予測モード（予測方向）でイントラ予測を行い、予測画像を生成する。周辺用予測画像生成部１４２は、生成した予測画像の画素値（予測画素値）を周辺画素バッファ１３１に供給し、保持させる。
【０２９５】
つまり、周辺用予測画像生成部１４２は、イントラ予測によって、周辺画素値として利用する画素値を得るための予測画像を生成する。すなわち、constrained_intra_pred_flag＝１である場合、周辺用予測画像生成部１４２は、インター予測が選択された領域において、動き予測・補償部１１４において作成されたインター予測画像から生成された再構成画像に置き換える予測画像を、イントラ予測により生成する。
【０２９６】
図１８の例において、constrained_intra_pred_flag＝１であるとすると、領域Ａ、Ｃ、Ｄ、Ｇ、Ｈ、Ｌ、およびＭにおいて、周辺用予測画像生成部１４２が、予測画素値を生成し、周辺画素バッファ１３１に供給し、演算部１１０において得られる再構成画素値の代わりに記憶させる。
【０２９７】
このようにすることにより、イントラ予測部１１３は、constrained_intra_pred_flagの値が１であることによって利用不可能となるインター予測の領域の周辺画素値を、イントラ予測の画素値に置き換えることができる。つまり、イントラ予測部１１３は、constrained_intra_pred_flagの値が１であっても、インター予測の領域の周辺画素値を利用することができるようにすることができる。したがって、イントラ予測部１１３は、利用可能なイントラ予測モードの数の低減を抑制することができ、符号化効率を向上させることができる。
【０２９８】
その際、イントラ予測部１１３は、上述したように、インター予測の領域の周辺画素値を、イントラ予測によって精度良く予測することができる。つまり、イントラ予測部１１３は、利用不可能なインター予測の領域の画素を、より精度の高い画素を用いて置き換えることができる。これにより、イントラ予測部１１３は、利用可能なイントラ予測モードをさらに増大させ、符号化効率を向上させることができる。
【０２９９】
なお、constrained_intra_pred_flag＝１であっても、インター予測が選択されたときは、フレームメモリ１１２に格納される復号画像は、インター予測画像から生成される。つまり、インター予測に用いられる参照画像は、このフラグの値に関わらず、インター予測画像から生成される。
【０３００】
［制御部］
図２０は、図１９の制御部１４１の主な構成例を示すブロック図である。図２０に示されるように、制御部１４１は、予測方法判定部１５１、イントラ予測情報出力指示部１５２、動き予測情報取得部１５３、予測モード決定部１５４、および周辺用予測画像生成指示部１５５を有する。
【０３０１】
予測方法判定部１５１は、予測画像選択部１１５から予測選択情報を取得し、その情報に基づいて、採用された予測方法（インター予測かイントラ予測か）を判定する。また、予測方法判定部１５１は、constrained_intra_pred_flagの値も判定する。予測画像選択部１１５によりイントラ予測の予測画像が選択されたと判定した場合、予測方法判定部１５１は、constrained_intra_pred_flagの値に関わらず、その判定結果をイントラ予測情報出力指示部１５２に供給する。この場合、符号化用予測画像生成部１３６により、イントラ予測情報（当該PUサイズ予測モード等）が生成され、可逆符号化部１０６に供給され、ビットストリームに付加される。
【０３０２】
また、例えば、予測画像選択部１１５によりインター予測の予測画像が選択され、かつ、constrained_intra_pred_flag＝０であると判定した場合、予測方法判定部１５１は、判定結果の供給を行わず、イントラ予測情報の出力も、周辺用予測画像の生成も行わせないように制御する。この場合、周辺画素バッファ１３１には、演算部１１０から供給される再構成画素値（インター予測により生成された予測画像の再構成画像）が記憶される。
【０３０３】
さらに、例えば、予測画像選択部１１５によりインター予測の予測画像が選択され、かつ、constrained_intra_pred_flag＝１であると判定した場合、予測方法判定部１５１は、その判定結果を動き予測情報取得部１５３に供給する。この場合、周辺用予測画像生成部１４２により、周辺画素値として利用される予測画像がイントラ予測により生成され、周辺画素バッファ１３１に記憶される。
【０３０４】
イントラ予測情報出力指示部１５２は、予測方法判定部１５１から、予測画像選択部１１５によってイントラ予測が選択されたことを通知されると、当該PUサイズ予測モードを含むイントラ予測情報を出力するように指示するイントラ予測情報出力指示を生成し、それを符号化用予測画像生成部１３６に供給する。このイントラ予測情報出力指示を受け取ると符号化用予測画像生成部１３６は、予測画像選択部１１５に供給した予測画像についての当該PUサイズ予測モードを含むイントラ予測情報を生成し、それを可逆符号化部１０６に供給し、ビットストリームに付加させる。
【０３０５】
動き予測情報取得部１５３は、予測方法判定部１５１から、予測画像選択部１１５によってインター予測が選択され、かつ、constrained_intra_pred_flag＝１であることを通知されると、動き予測・補償部１１４から、その選択されたインター予測画像のPUサイズやインター予測モードに関する情報を含むインター予測情報を取得する。動き予測情報取得部１５３は、取得したインター予測情報を予測モード決定部１５４に供給する。
【０３０６】
予測モード決定部１５４は、動き予測情報取得部１５３からインター予測情報を取得し、そのインター予測情報に基づいて、周辺画素を得るための予測画像を生成する際のイントラ予測のPUサイズと予測モード（予測方向）を決定する。PUサイズは、基本的に、インター予測のPUサイズと同一に設定される。予測モード（予測方向）は、任意の方法で決定することができる。
【０３０７】
例えば、予測モード決定部１５４が、イントラ予測の予測モード（予測方向）を、インター予測モードに関わらず、常に、平均値（DC）予測とするようにしてもよい。
【０３０８】
また、例えば、予測モード決定部１５４が、イントラ予測の予測モード（予測方向）を、直前に行われたイントラ予測の予測モード（予測方向）とするようにしてもよい。ただし、この場合、周辺画素の利用可能状況等により、直前に行われたイントラ予測の予測モード（予測方向）を当該領域において再利用することができない場合が考えられる。例えば、スライス端や画面端等において、直前に行われたイントラ予測の際には無かった予測モード（予測方向）の制限が発生する場合が考えられる。このような場合、予測モード決定部１５４が、イントラ予測の予測モード（予測方向）を平均値（DC）予測とするようにしてもよい。
【０３０９】
さらに、例えば、予測モード決定部１５４が、インター予測の動きベクトルを用いてイントラ予測の予測モード（予測方向）を算出するようにしてもよい。例えば、予測モード決定部１５４が、動きベクトルの単位ベクトルと予測モード（予測方向）の単位ベクトルとの内積を求め、その値が最大となる予測モード（予測方向）を採用するようにしてもよい。
【０３１０】
より具体的に説明すると、予測モード決定部１５４は、まず、インター予測ブロックの動きベクトルｖを用いて単位ベクトルｅｖを、以下の式（７３）のように算出する。
【０３１１】
ｅｖ＝ｖ／｜ｖ｜  ・・・（７３）
（ただし、｜ｖ｜は、動きベクトルｖの長さ）
【０３１２】
次に、予測モード決定部１５４は、平均値(DC)予測、Plane予測以外のイントラ予測の予測方向のベクトルをａｉとして、その単位ベクトルｅａｉを、以下の式（７４）のように算出する。
【０３１３】
ｅａｉ＝ａｉ／｜ａｉ｜  ・・・（７４）
（ただし、｜ａｉ｜は、動きベクトルａｉの長さ）
【０３１４】
そして、予測モード決定部１５４は、単位ベクトルｅｖと単位ベクトルｅａｉの内積Ｐａｉを算出する（式（７５））。
【０３１５】
Ｐａｉ＝<ｅｖ，ｅａｉ>  ・・・（７５）
【０３１６】
予測モード決定部１５４は、利用可能な予測モード（予測方向）の中で、このような内積Ｐａｉの値が最大となるベクトルａｉに対応する予測モード（予測方向）を、イントラ予測の予測モード（予測方向）として決定する。なお、周辺画素の利用状況等からイントラ予測として利用可能な予測モード（予測方向）が存在しない場合、予測モード決定部１５４が、イントラ予測の予測モード（予測方向）を平均値（DC）予測とするようにしてもよい。
【０３１７】
また、予測モード決定部１５４が、全ての予測モード（予測方向）について式（７５）のように内積Ｐａｉを算出し、その中で内積Ｐａｉが最大となる予測モード（予測方向）を決定するようにしてもよい。そして、予測モード決定部１５４が、その予測モード（予測方向）が周辺の隣接画素の利用可能状況により利用可能であるか否かを判定し、その予測モード（予測方向）が利用不可であった場合、イントラ予測の予測モード（予測方向）を平均値（DC）予測とするようにしてもよい。
【０３１８】
さらに、例えば、予測モード決定部１５４が、予測イントラ予測の予測モード（予測方向）を、処理対象の領域の左若しくは上に隣接する領域、または、処理対象の領域の左上に位置する領域の内、イントラ予測で符号化されている領域の予測モード（予測方向）と同じものとするようにしてもよい。
【０３１９】
図１８を参照してより具体的に説明すると、CU#nを処理対象の領域とすると、この領域の左若しくは上に隣接する領域、または左上に位置する領域の中でイントラ予測された領域は、領域Ｂ、J、およびＫである。
【０３２０】
予測モード決定部１５４は、これらの領域の予測モード（予測方向）の内、CU#nのイントラ予測において利用可能な予測モード（予測方向）を、CU#nのイントラ予測の予測モード（予測方向）として採用する。なお、CU#nのイントラ予測において利用可能な予測モード（予測方向）が存在しない場合、予測モード決定部１５４は、CU#nのイントラ予測の予測モード（予測方向）として平均値（DC）予測を採用する。また、CU#nのイントラ予測において利用可能な予測モード（予測方向）が複数存在する場合、予測モード決定部１５４は、所定の方法で、その中から１つを選択する。
【０３２１】
例えば、予測モード決定部１５４が、処理対象の領域（CU#n）の左に隣接するイントラ予測された領域の中で、一番上に位置する領域の予測モードを優先して選択するようにしてもよい。また、例えば、予測モード決定部１５４が、処理対象の領域（CU#n）の上に隣接するイントラ予測された領域の中で、一番左に位置する領域の予測モードを優先して選択するようにしてもよい。
【０３２２】
また、例えば、予測モード決定部１５４が、予測イントラ予測の予測モード（予測方向）の決定において、全ての予測モードの中からではなく、一部のモードの中から選択し、決定するようにしてもよい。
【０３２３】
例えば、予測モード決定部１５４が、予測イントラ予測の予測モード（予測方向）を、上述した各種方法によって決定するが、全ての予測モードを候補とするのではなく、予め定められた一部の予測モードのみを候補とするようにしてもよい。例えば、垂直方向予測(Intra_Vertical)、水平方向予測(Intra_Horizontal)、および平均値（DC）予測のみを候補とするようにしてもよい。この場合、予測モード決定部１５４は、上述した各種方法のいずれかと同様の方法で、この中からいずれか１つを選択する。
【０３２４】
このように予測モード（予測方向）の候補の数を抑制することにより、この予測モード（予測方向）の決定のための処理量を低減させることができる。
【０３２５】
予測モード決定部１５４は、決定したイントラ予測のPUサイズと予測モード（予測方向）を周辺用予測画像生成指示部１５５に供給する。
【０３２６】
周辺用予測画像生成指示部１５５は、周辺画素を得るための予測画像を生成するように指示する周辺用予測画像生成指示を、予測モード決定部１５４から指定されるPUサイズおよび予測モード（予測方向）とともに、周辺用予測画像生成部１４２に供給する。
【０３２７】
この周辺用予測画像生成指示を受けた周辺用予測画像生成部１４２は、指定されるPUサイズおよび予測モード（予測方向）によってイントラ予測を行い、予測画像を生成する。この予測画像の左端の画素群と下端の画素群が周辺画素値として周辺画素バッファ１３１に記憶される。つまり、インター予測される領域の周辺画素値が、このイントラ予測された予測画像の画素値で置き換えられる。
【０３２８】
以上のように、制御部１４１は、予測画像選択部１１５の選択結果とconstrained_intra_pred_flagの値に基づいて各部を制御する。これにより、イントラ予測部１１３は、constrained_intra_pred_flagの値が１であることによって利用不可能となるインター予測の領域の周辺画素値を、イントラ予測の画素値に置き換えることができる。つまり、イントラ予測部１１３は、利用可能なイントラ予測モードの数の低減を抑制することができ、符号化効率を向上させることができる。
【０３２９】
［符号化処理の流れ］
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図２１のフローチャートを参照して、符号化処理の流れの例を説明する。
【０３３０】
ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【０３３１】
ステップＳ１０３において、イントラ予測部１１３、動き予測・補償部１１４、および予測画像選択部１１５は、予測処理を行い、予測画像を生成する。
【０３３２】
ステップＳ１０４において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、ステップＳ１０３の処理により生成された予測画像との差分を演算する（差分画像を生成する）。生成された差分画像は元の画像に較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【０３３３】
ステップＳ１０５において、直交変換部１０４は、ステップＳ１０４の処理により生成された差分画像を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、直交変換係数が出力される。ステップＳ１０６において、量子化部１０５は、ステップＳ１０５の処理により得られた直交変換係数を量子化する。
【０３３４】
ステップＳ１０６の処理により量子化された差分画像は、次のようにして局部的に復号される。すなわち、ステップＳ１０７において、逆量子化部１０８は、ステップＳ１０６の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５の特性に対応する特性で逆量子化する。ステップＳ１０８において、逆直交変換部１０９は、ステップＳ１０７の処理により得られた直交変換係数を、直交変換部１０４の特性に対応する特性で逆直交変換する。これにより再構成画像が得られる。
【０３３５】
ステップＳ１０９において、演算部１１０は、ステップＳ１０３において生成された予測画像を、ステップＳ１０８において生成された再構成画像に加算し、局部的に復号された復号画像（演算部１０３への入力に対応する画像）を生成する。ステップＳ１１０において、イントラ予測部１１３の周辺画素バッファ１３１は、ステップＳ１０９において生成された再構成画像を記憶する。なお、ステップＳ１０３の処理によりインター予測が選択され、かつ、constrained_intra_pred_flag＝１の領域については、この再構成画像は、イントラ予測部１１３がイントラ予測により生成した予測画像によって置き換えられる。したがって、このような領域については、ステップＳ１１０の処理を省略するようにしてもよい。
【０３３６】
ステップＳ１１１において、ループフィルタ４１１は、ステップＳ１０９の処理により得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行い、復号画像を生成する。
【０３３７】
ステップＳ１１２において、フレームメモリ１１２は、ステップＳ１１１の処理により生成された復号画像を記憶する。
【０３３８】
ステップＳ１１３において、可逆符号化部１０６は、ステップＳ１０６の処理により量子化された直交変換係数を符号化する。すなわち、差分画像に対して、可変長符号化や算術符号化等の可逆符号化が行われる。なお、可逆符号化部１０６は、予測に関する情報や、量子化に関する情報等を符号化し、ビットストリームに付加する。
【０３３９】
ステップＳ１１４において、蓄積バッファ１０７は、ステップＳ１１３の処理により得られたビットストリームを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
【０３４０】
ステップＳ１１５においてレート制御部１１６は、ステップＳ１１４の処理により蓄積バッファ１０７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
【０３４１】
ステップＳ１１５の処理が終了すると、符号化処理が終了される。
【０３４２】
［予測処理の流れ］
次に、図２３のフローチャートを参照して、図２１のステップＳ１０３において実行される予測処理の流れの例を説明する。
【０３４３】
ステップＳ１３１において、イントラ予測部１１３は、イントラ予測処理を行い、予測画像を生成する。ステップＳ１３２において、動き予測・補償部１１４は、インター予測処理を行い、予測画像を生成する。ステップＳ１３３において、予測画像選択部１１５は、ステップＳ１３１において生成された予測画像、および、ステップＳ１３２において生成された予測画像の内、いずれか一方を選択する。
【０３４４】
ステップＳ１３４において、イントラ予測部１１３は、ステップＳ１３３においてインター予測（の予測画像）が選択されたか否かを判定する。インター予測が選択されたと判定された場合、動き予測・補償部１１４は、ステップＳ１３５において、インター予測に関する情報であるインター予測情報を生成し、可逆符号化部１０６に出力する。
【０３４５】
ステップＳ１３５の処理が終了すると、動き予測・補償部１１４は、処理をステップＳ１３６に進める。また、ステップＳ１３４において、イントラ予測が選択されたと判定された場合、イントラ予測部１１３は、処理をステップＳ１３６に進める。
【０３４６】
ステップＳ１３６において、イントラ予測部１１３は、周辺画素を得るための予測画像を生成する等のイントラ予測関連処理を行う。
【０３４７】
ステップＳ１３６の処理を終了すると、イントラ予測部１１３は、予測処理を終了し、処理を図２１に戻す。
【０３４８】
［イントラ予測処理の流れ］
次に、図２３のフローチャートを参照して、図２２のステップＳ１３１において実行されるイントラ予測処理の流れの例を説明する。
【０３４９】
イントラ予測処理が開始されると、イントラ予測部１１３の候補予測画像生成部１３２は、周辺画素バッファ１３１に記憶される周辺画素を用いて、全てのPUサイズの、全ての予測モード（予測方向）についての候補予測画像を生成する。
【０３５０】
ステップＳ１５２において、コスト関数値算出部１３３は、入力画素値を用いて、全てのPUサイズの、全ての候補予測モードに関するコスト関数値を算出する。ステップＳ１５３において、予測モード判定部１３４は、ステップＳ１５２において算出されたコスト関数値に基づいて、各PUサイズにおける、最適な予測モード（予測方向）を選択する。ステップＳ１５４において、PUサイズ判定部１３５は、ステップＳ１５２において算出されたコスト関数値に基づいて、最適なPUサイズを選択する。
【０３５１】
ステップＳ１５５において、符号化用予測画像生成部１３６は、ステップＳ１５３およびステップＳ１５４において選択された最適なPUサイズおよび予測モード（予測方向）でイントラ予測を行い、予測画像を生成する。
【０３５２】
ステップＳ１５６において、符号化用予測画像生成部１３６は、ステップＳ１５５において生成した予測画像を予測画像選択部１１５に出力する。ステップＳ１５６の処理が終了すると、符号化用予測画像生成部１３６は、イントラ予測処理を終了し、処理を図２２に戻す。
【０３５３】
［イントラ予測関連処理の流れ］
次に、図２４のフローチャートを参照して、図２２のステップＳ１３６において実行されるイントラ予測関連処理の流れの例を説明する。
【０３５４】
イントラ予測関連処理が開始されると、ステップＳ１７１において、制御部１４１の予測方法判定部１５１は、予測選択情報に基づいて、図２２のステップＳ１３３においてインター予測が選択されたか否かを判定する。インター予測が選択されたと判定された場合、予測方法判定部１５１は、処理をステップＳ１７２に進める。
【０３５５】
ステップＳ１７２において、予測方法判定部１５１は、constrained_intra_pred_flagの値が１であるか否かを判定する。constrained_intra_pred_flagの値が１であると判定された場合、予測方法判定部１５１は、処理をステップＳ１７３に進める。
【０３５６】
ステップＳ１７３において、動き予測情報取得部１５３は、動き予測・補償部１１４から、図２２のステップＳ１３３において選択されたインター予測の予測画像に関するインター予測情報を取得する。
【０３５７】
ステップＳ１７４において、予測モード決定部１５４は、ステップＳ１７３において取得されたインター予測情報に含まれるインター予測のPUサイズ等に基づいて、周辺画素を得るためのイントラ予測のPUサイズを決定する。
【０３５８】
ステップＳ１７５において、予測モード決定部１５４は、ステップＳ１７３において取得されたインター予測情報に含まれるインター予測の予測モード等に基づいて、周辺画素を得るためのイントラ予測の予測モードを決定する。
【０３５９】
ステップＳ１７６において、周辺用予測画像生成指示部１５５は、ステップＳ１７４において決定されたPUサイズ、および、ステップＳ１７５において決定された予測モードで、周辺画素を得るためのイントラ予測を実行するように指示を行う。周辺用予測画像生成部１４２は、その指示に従ってイントラ予測を行い、予測画像を生成する。
【０３６０】
ステップＳ１７７において、周辺画素バッファ１３１は、ステップＳ１７６において生成された予測画像に含まれる、周辺画素として利用可能な予測画素を記憶する。つまり、周辺画素バッファ１３１は、この場合、インター予測された領域についても、イントラ予測の予測画素を周辺画素として記憶する。この場合、周辺画素バッファ１３１は、図２１のステップＳ１１０において記憶される再構成画素を、この予測画素により置き換えるようにしてもよいし、図２１のステップＳ１１０の処理を省略するようにしてもよい。ステップＳ、１７７の処理が終了すると、周辺画素バッファ１３１は、イントラ予測関連処理を終了し、処理を図２２に戻す。
【０３６１】
また、ステップＳ１７２において、constrained_intra_pred_flagの値が０であると判定された場合、予測方法判定部１５１は、イントラ予測関連処理を終了し、処理を図２２に戻す。
【０３６２】
さらに、ステップＳ１７１において、イントラ予測が選択されたと判定された場合、予測方法判定部１５１は、処理をステップＳ１７８に進める。
【０３６３】
ステップＳ１７８において、イントラ予測情報出力指示部１５２は、図２２のステップＳ１３３において選択されたイントラ予測の予測画像に関するイントラ予測情報を出力するように、符号化用予測画像生成部１３６に指示する。符号化用予測画像生成部１３６は、その指示に従って、イントラ予測情報を可逆符号化部１０６に供給し、ビットストリームに付加させる。
【０３６４】
ステップＳ１７８の処理が終了すると、符号化用予測画像生成部１３６は、イントラ予測関連処理を終了し、処理を図２２に戻す。
【０３６５】
［予測モード決定処理の流れ］
図２４のステップＳ１７５における予測モード（予測方向）の決定は、任意の方法で行うようにしてもよい。
【０３６６】
例えば、予測モード決定部１５４が、イントラ予測の予測モード（予測方向）を、インター予測モードに関わらず、常に、平均値（DC）予測とするようにしてもよい。
【０３６７】
図２５のフローチャートを参照して、その場合に、図２４のステップＳ１７５において実行される予測モード決定処理の流れの例を説明する。
【０３６８】
予測モード決定処理が開始されると、予測モード決定部１５４は、ステップＳ２０１において、イントラ予測の予測モードを平均値（DC）予測に決定する。ステップＳ２０１の処理が終了すると、予測モード決定部１５４は、予測モード決定処理を終了し、処理を図２４に戻す。
【０３６９】
また、例えば、予測モード決定部１５４が、イントラ予測の予測モード（予測方向）を、直前に行われたイントラ予測の予測モード（予測方向）とし、直前に行われたイントラ予測の予測モード（予測方向）を当該領域において再利用することができない場合、イントラ予測の予測モード（予測方向）を平均値（DC）予測とするようにしてもよい。
【０３７０】
図２６のフローチャートを参照して、その場合に、図２４のステップＳ１７５において実行される予測モード決定処理の流れの例を説明する。
【０３７１】
予測モード決定処理が開始されると、予測モード決定部１５４は、ステップＳ２１１において、直前に行われたイントラ予測の予測モード（予測方向）を利用可能であるか否かを判定する。利用可能であると判定した場合、予測モード決定部１５４は、処理をステップＳ２１２に進める。
【０３７２】
ステップＳ２１２において、予測モード決定部１５４は、イントラ予測の予測モード（予測方向）を、直前に行われたイントラ予測の予測モード（予測方向）に決定し、予測モード決定処理を終了し、処理を図２４に戻す。
【０３７３】
また、ステップＳ２１１において、直前に行われたイントラ予測の予測モード（予測方向）を利用不可能であると判定された場合、予測モード決定部１５４は、処理をステップＳ２１３に進める。
【０３７４】
ステップＳ２１３において、予測モード決定部１５４は、イントラ予測の予測モードを平均値（DC）予測に決定し、予測モード決定処理を終了し、処理を図２４に戻す。
【０３７５】
さらに、例えば、予測モード決定部１５４が、インター予測の動きベクトルの単位ベクトルと、イントラ予測の予測モード（予測方向）の単位ベクトルとの内積を算出し、その内積が最大となる予測モード（予測方向）を採用するようにしてもよい。
【０３７６】
図２７のフローチャートを参照して、その場合に、図２４のステップＳ１７５において実行される予測モード決定処理の流れの例を説明する。
【０３７７】
予測モード決定処理が開始されると、予測モード決定部１５４は、ステップＳ２２１において、処理対象の領域において利用可能な予測モードが存在するか否かを判定する。存在すると判定された場合、予測モード決定部１５４は、処理をステップＳ２２２に進める。
【０３７８】
ステップＳ２２２において、予測モード決定部１５４は、インター予測の動きベクトルの単位ベクトルと、イントラ予測の、利用可能な予測モード（予測方向）の単位ベクトルとの内積を求める。
【０３７９】
ステップＳ２２３において、予測モード決定部１５４は、イントラ予測の予測モード（予測方向）を、ステップＳ２２２において算出した内積が最大となる予測モードに決定し、予測モード決定処理を終了し、処理を図２４に戻す。
【０３８０】
また、ステップＳ２２１において、利用可能な予測モード（予測方向）が存在しないと判定された場合、予測モード決定部１５４は、処理をステップＳ２２４に進める。
【０３８１】
ステップＳ２２４において、予測モード決定部１５４は、イントラ予測の予測モードを平均値（DC）予測に決定し、予測モード決定処理を終了し、処理を図２４に戻す。
【０３８２】
また、予測モード決定部１５４が、全ての予測モード（予測方向）について内積を算出し、その中で内積が最大となる予測モード（予測方向）を選択し、その予測モード（予測方向）が利用可能であった場合、その予測モード（予測方向）をイントラ予測の予測モード（予測方向）として決定し、その予測モード（予測方向）が利用不可能であった場合、イントラ予測の予測モード（予測方向）を平均値（DC）予測とするようにしてもよい。
【０３８３】
図２８のフローチャートを参照して、その場合に、図２４のステップＳ１７５において実行される予測モード決定処理の流れの例を説明する。
【０３８４】
予測モード決定処理が開始されると、予測モード決定部１５４は、ステップＳ２３１において、イントラ予測の全ての予測モード（予測方向）について、インター予測の動きベクトルの単位ベクトルと、イントラ予測の各予測モード（予測方向）の単位ベクトルとの内積を求める。
【０３８５】
ステップＳ２３２において、予測モード決定部１５４は、ステップＳ２３１において算出した内積が最大となる予測モードを選択する。
【０３８６】
ステップＳ２３３において、予測モード決定部１５４は、選択された予測モードが当該領域において利用可能であるか否かを判定する。利用可能であると判定した場合、予測モード決定部１５４は、ステップＳ２３４において、イントラ予測の予測モードを、選択された予測モードに決定し、予測モード決定処理を終了し、処理を図２４に戻す。
【０３８７】
また、ステップＳ２３３において、利用不可能であると判定した場合、予測モード決定部１５４は、ステップＳ２３５において、イントラ予測の予測モードを平均値（DC）予測に決定し、予測モード決定処理を終了し、処理を図２４に戻す。
【０３８８】
さらに、例えば、予測モード決定部１５４が、予測イントラ予測の予測モード（予測方向）を、処理対象の領域の左若しくは上に隣接する領域、または、処理対象の領域の左上に位置する領域の内、イントラ予測で符号化されている領域の予測モード（予測方向）と同じものとするようにしてもよい。
【０３８９】
図２９のフローチャートを参照して、その場合に、図２４のステップＳ１７５において実行される予測モード決定処理の流れの例を説明する。
【０３９０】
予測モード決定処理が開始されると、予測モード決定部１５４は、ステップＳ２４１において、当該領域の上若しくは左に隣接するイントラ予測の領域、または、当該領域の左上に位置するイントラ予測の領域が存在するか否かを判定する。存在すると判定された場合、予測モード決定部１５４は、処理をステップＳ２４２に進める。
【０３９１】
ステップＳ２４２において、予測モード決定部１５４は、ステップＳ２４１の条件に該当する領域が複数存在するか否かを判定する。複数存在すると判定された場合、予測モード決定部１５４は、処理をステップＳ２４３に進める。
【０３９２】
ステップＳ２４３において、予測モード決定部１５４は、ステップＳ２４１の条件に該当する領域が、当該領域の左若しくは左上に存在するか否かを判定する。存在すると判定された場合、予測モード決定部１５４は、処理をステップＳ２４４に進める。
【０３９３】
ステップＳ２４４において、予測モード決定部１５４は、イントラ予測の予測モード（予測方向）を、当該領域の左若しくは左上に位置し、かつ、１番上に位置するイントラ予測の領域の予測モードに決定し、予測モード決定処理を終了し、処理を図２４に戻す。
【０３９４】
また、ステップＳ２４３において、ステップＳ２４１の条件に該当する領域が、当該領域の左若しくは左上に存在しないと判定された場合、予測モード決定部１５４は、処理をステップＳ２４５に進める。
【０３９５】
ステップＳ２４５において、予測モード決定部１５４は、イントラ予測の予測モード（予測方向）を、当該領域の上若しくは左上に位置し、かつ、１番左に位置するイントラ予測の領域の予測モードに決定し、予測モード決定処理を終了し、処理を図２４に戻す。
【０３９６】
また、ステップＳ２４２において、ステップＳ２４１の条件に該当する領域が複数存在しないと判定された場合、予測モード決定部１５４は、処理をステップＳ２４６に進める。
【０３９７】
ステップＳ２４６において、予測モード決定部１５４は、イントラ予測の予測モード（予測方向）を、ステップＳ２４１の条件に該当する唯一の領域の予測モードに決定し、予測モード決定処理を終了し、処理を図２４に戻す。
【０３９８】
また、ステップＳ２４１において、条件に該当する領域が存在しないと判定された場合、予測モード決定部１５４は、処理をステップＳ２４７に進め、予測の予測モードを平均値（DC）予測に決定し、予測モード決定処理を終了し、処理を図２４に戻す。
【０３９９】
なお、図２９のフローチャートは、処理対象の領域の左若しくは左上に位置するイントラ予測された領域の中で、一番上に位置する領域の予測モードを優先して選択する場合の例を説明するものである。ただし、ステップＳ２４１の条件に該当する領域が複数存在する場合の、予測モードを選択する領域の優先順は、任意であり、この例に限らない。
【０４００】
例えば、上述したように、処理対象の領域の上若しくは左上に位置するイントラ予測された領域の中で、一番左に位置する領域の予測モードが優先して選択されるようにしてもよい。その場合、ステップＳ２４３において、ステップＳ２４１の条件に該当する領域が処理対象の領域の上若しくは左上に存在するか否かが判定され、存在する場合、ステップＳ２４５の処理が行われ、存在しない場合、ステップＳ２４４の処理が行われるようにすればよい。
【０４０１】
優先順がその他の場合であっても、これらの手順と基本的に同様であり、予測モード決定部１５４が、より優先する位置の領域を探索し、その領域の予測モードを、イントラ予測の予測モードとして選択するようにすればよい。
【０４０２】
また、例えば、予測モード決定部１５４が、予測イントラ予測の予測モード（予測方向）の決定において、全ての予測モードの中からではなく、一部のモードの中から選択し、決定するようにしてもよい。その場合、任意の予測モード決定方法（例えば、上述した各種の方法）において、候補とする予測モードを予め制限すればよい（候補を少なくすればよい）。
【０４０３】
図３０のフローチャートを参照して、その場合に、図２４のステップＳ１７５において実行される予測モード決定処理の流れの例を説明する。
【０４０４】
予測モード決定処理が開始されると、ステップＳ２５１において、予測モード決定部１５４は、予め定められた設定に従って、イントラ予測の予測モードの候補とする予測モードの種類を制限する。
【０４０５】
ステップＳ２５２において、予測モード決定部１５４は、任意の予測モード決定方法（例えば、上述した各種の方法）によって、制限された候補の中から、イントラ予測の予測モードを決定し、予測モード決定処理を終了し、処理を図２４に戻す。
【０４０６】
以上のように各種処理を行うことにより、画像符号化装置１００は、constrained_intra_pred_flagの値が１であっても、利用可能なイントラ予測モードの数の低減を抑制することができ、符号化効率を向上させることができる。
【０４０７】
［当該領域のサイズ制限］
なお、当該領域内のPUサイズが所定のサイズ以下の場合のみ、イントラ予測部１１３が、以上のように、インター予測される領域をイントラ予測することができるようにしてもよい。
【０４０８】
上述したようにインター予測される領域をイントラ予測することによって、符号化処理の処理量が増大する（処理の複雑度が増大する）可能性がある。また、PUサイズが大きくなると、より遠くの画素からの予測となるため、インター予測の代わりに使用されるイントラ予測での予測画素値が実際のインター予測での画素値から乖離してしまう可能性が高くなる。
【０４０９】
そこで、符号化効率の向上と本方式における処理の複雑さの増加の低減を考慮し、上述したように、当該領域のPUサイズに上限を設けるようにしてもよい。この上限のPUサイズを大きくすると、処理の複雑さは増加するが、より多くの領域がイントラ予測の制限を受けないため符号化効率は向上する。また、この上限のPUサイズを小さくすると、インター予測でイントラ予測を行う処理の複雑さは削減されるが、constrained_intre_pred_flag=１時にイントラ予測で利用できない周辺画素が増加するため、符号化効率の向上の程度は削減される。
【０４１０】
なお、当該領域内のPUサイズの下限を設けるようにしてもよい。つまり、当該領域内のPUサイズが所定のサイズ以上の場合のみ、イントラ予測部１１３が、インター予測される領域をイントラ予測することができるようにしてもよい。
【０４１１】
PUサイズが小さい場合、非特許文献２に記載の方法で周辺画素の置き換えを行っても、誤差が少ない可能性が高い。そこで、PUサイズが所定のサイズより小さい場合、非特許文献２に記載の方法で周辺画素の置き換えを行うようにし、PUサイズが所定のサイズ以上である場合、上述したように、イントラ予測を行い、その予測画素値でインター予測される領域の周辺画素の置き換えを行うようにしてもよい。
【０４１２】
なお、以上に説明した、インター予測された領域に対して行う、周辺画素を得るためのイントラ予測の予測方式として、Angular Predictionイントラ予測方式や、Arbitrary Directional Intra（ADI）イントラ予測方式を適用するようにしてもよい。
【０４１３】
＜２．第２の実施の形態＞
［画像復号装置］
次に、以上のように符号化された符号化データの復号について説明する。図３１は、図１の画像符号化装置１００に対応する画像復号装置の主な構成例を示すブロック図である。
【０４１４】
図３１に示される画像復号装置３００は、画像符号化装置１００が生成した符号化データを、その符号化方法に対応する復号方法で復号する。
【０４１５】
図３１に示されるように画像復号装置３００は、蓄積バッファ３０１、可逆復号部３０２、逆量子化部３０３、逆直交変換部３０４、演算部３０５、ループフィルタ３０６、画面並べ替えバッファ３０７、およびD/A変換部３０８を有する。また、画像復号装置３００は、フレームメモリ３０９、イントラ予測部３１０、動き予測・補償部３１１、および選択部３１２を有する。
【０４１６】
蓄積バッファ３０１は伝送されてきた符号化データを蓄積し、所定のタイミングにおいてその符号化データを可逆復号部３０２に供給する。可逆復号部３０２は、蓄積バッファ３０１より供給された、図１の可逆符号化部１０６により符号化された情報を、可逆符号化部１０６の符号化方式に対応する方式で復号する。可逆復号部３０２は、復号して得られた差分画像の量子化された係数データを、逆量子化部３０３に供給する。
【０４１７】
また、可逆復号部３０２は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部３１０および動き予測・補償部３１１の内、選択されたと判定したモードの方に供給する。つまり、例えば、画像符号化装置１００において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報であるイントラ予測情報がイントラ予測部３１０に供給される。また、例えば、画像符号化装置１００において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報であるインター予測情報が動き予測・補償部３１１に供給される。なお、可逆復号部３０２は、シーケンスパラメータセットやピクチャパラメータセット等に記述されたconstrained_intra_pred_flagの値が１である場合、インター予測情報を、イントラ予測部３１０にも供給する。
【０４１８】
逆量子化部３０３は、可逆復号部３０２により復号されて得られた量子化された係数データを、図１の量子化部１０５の量子化方式に対応する方式で逆量子化し、得られた係数データを逆直交変換部３０４に供給する。
【０４１９】
逆直交変換部３０４は、図１の直交変換部１０４の直交変換方式に対応する方式で逆量子化部３０３から供給される係数データを逆直交変換する。逆直交変換部３０４は、この逆直交変換処理により、画像符号化装置１００において直交変換される前の差分画像に対応する差分画像を得る。
【０４２０】
逆直交変換されて得られた差分画像は、演算部３０５に供給される。また、演算部３０５には、選択部３１２を介して、イントラ予測部３１０若しくは動き予測・補償部３１１から予測画像が供給される。
【０４２１】
演算部３０５は、差分画像と予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像に対応する再構成画像を得る。演算部３０５は、その再構成画像をイントラ予測部３１０およびループフィルタ３０６に供給する。
【０４２２】
ループフィルタ３０６は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ３０６は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ３０６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
【０４２３】
なお、ループフィルタ３０６が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ３０６が、図１の画像符号化装置１００から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。
【０４２４】
ループフィルタ３０６は、フィルタ処理結果である復号画像を画面並べ替えバッファ３０７およびフレームメモリ３０９に供給する。
【０４２５】
画面並べ替えバッファ３０７は、供給された復号画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部３０８は、画面並べ替えバッファ３０７から供給された復号画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
【０４２６】
フレームメモリ３０９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、動き予測・補償部３１１等の外部の要求に基づいて、記憶している復号画像を参照画像として、動き予測・補償部３１１に供給する。
【０４２７】
イントラ予測部３１０は、図１のイントラ予測部１１３と基本的に同様の処理を行う。ただし、イントラ予測部３１０は、符号化の際にイントラ予測により予測画像が生成された領域に対してのみ、イントラ予測を行う。
【０４２８】
イントラ予測部３１０は、可逆復号部３０２から供給されたイントラ予測情報に基づいて、処理対象領域がイントラ予測された領域であることを識別し、PUサイズと予測モードを決定し、イントラ予測を行う。イントラ予測部３１０は、このイントラ予測により生成した予測画像を選択部３１２に供給する。また、イントラ予測部３１０は、この予測画像を用いて生成される再構成画像を周辺画素として記憶する。
【０４２９】
また、イントラ予測部３１０は、constrained_intra_pred_flagの値が１である場合、符号化の際にインター予測により予測画像が生成された領域に対して、イントラ予測部１１３の場合と同様の、周辺画素を得るためのイントラ予想を行う。ただし、イントラ予測部３１０は、例えばシーケンスパラメータセットやピクチャパラメータセット等に記述されたconstrained_intra_pred_flagの値を参照する。このイントラ予測により生成された予測画像は、周辺画素として記憶される。
【０４３０】
このように、イントラ予測部３１０は、constrained_intra_pred_flagの値が１であることによって利用不可能となるインター予測の領域の周辺画素値を、イントラ予測の画素値に置き換えることができる。つまり、イントラ予測部３１０は、画像符号化装置１００のイントラ予測部１１３と同様に周辺画素値の置き換えを行うことができる。したがって、画像復号装置３００は、画像符号化装置１００が符号化したビットストリームを正しく復号することができ、利用可能なイントラ予測モードの数の低減を抑制することができ、符号化効率を向上させることができる。
【０４３１】
動き予測・補償部３１１は、動き予測・補償部１１４と同様に、インター予測を行う。ただし、動き予測・補償部３１１は、可逆復号部３０２から供給されるインター予測情報に基づいて、符号化の際にインター予測が行われた領域に対してのみ、インター予測を行う。動き予測・補償部３１１は、生成した予測画像を選択部３１２に供給する。
【０４３２】
選択部３１２は、イントラ予測部３１０から供給される予測画像、若しくは、動き予測・補償部３１１から供給される予測画像を演算部３０５に供給する。
【０４３３】
［イントラ予測部］
図３２は、図３１のイントラ予測部３１０の主な構成例を示すブロック図である。図３２に示されるように、イントラ予測部３１０は、制御部３３１、周辺画素バッファ３３２、復号用予測画像生成部３３３、および周辺用予測画像生成部３３４を有する。
【０４３４】
制御部３３１は、可逆復号部３０２から供給されるイントラ予測情報およびインター予測情報を取得し、それらの情報に基づいて、予測画像の生成を制御する。例えば、イントラ予測情報が供給された場合、制御部３３１は、復号用予測画像生成部３３３に対して、予測画像の生成を指示する。この予測画像は、演算部３０５において差分画像との加算、つまり、復号画像（再構成画像）の生成に用いられる。制御部３３１は、イントラ予測情報に基づいて、符号化の際に採用されたPUサイズおよび予測モード（予測方向）を特定し、その情報を復号用予測画像生成部３３３に供給する。
【０４３５】
また、例えば、インター予測情報が供給された場合、制御部３３１は、周辺用予測画像生成部３３４に対して、予測画像の生成を指示する。この予測画像は、周辺画素を得るためのものであり、その左端の画素群と下端の画素群が、周辺画素バッファ３３２に供給され、記憶される。これらの画素は、当該領域よりも時間的に後に処理される他の領域に対するイントラ予測において、周辺画素として利用される。制御部３３１は、インター予測情報に基づいて、符号化の際に採用されたインター予測のPUサイズおよび予測モードを特定し、それらの情報に基づいて、イントラ予測のPUサイズおよび予測モード（予測方法）を決定し、その情報を周辺用予測画像生成部３３４に供給する。
【０４３６】
周辺画素バッファ３３２は、イントラ予測において利用される周辺画素を記憶する。周辺画素バッファ３３２は、演算部３０５から供給される再構成画素の画素値（再構成画素値）を取得し、記憶する。また、周辺画素バッファ３３２は、周辺用予測画像生成部３３４において生成された予測画像の、周辺画素として利用可能な画素の画素値（予測画素値）を取得し、記憶する。より具体的には、周辺画素バッファ３３２は、予測画像の左端の画素群と下端の画素群を予測画素値として取得し、記憶する。
【０４３７】
周辺画素バッファ３３２は、記憶している画素値を、周辺画素値として、復号用予測画像生成部３３３や周辺用予測画像生成部３３４に供給する。
【０４３８】
復号用予測画像生成部３３３は、制御部３３１の制御に従って、周辺画素バッファ３３２から周辺画素値を取得し、その周辺画素値を用いて、制御部３３１により指定されるPUサイズおよび予測モードで、処理対象の領域に対して、イントラ予測を行い、予測画像を生成する。復号用予測画像生成部３３３は、その予測画像の各画素の画素値である予測画素値を選択部３１２に供給する。
【０４３９】
周辺用予測画像生成部３３４は、制御部３３１の制御に従って、周辺画素バッファ３３２から周辺画素値を取得し、その周辺画素値を用いて、制御部３３１により指定されるPUサイズおよび予測モードで、処理対象の領域に対して、イントラ予測を行い、予測画像を生成する。周辺用予測画像生成部３３４は、その予測画像の各画素の画素値である予測画素値を周辺画素バッファ３３２に供給し、記憶させる。
【０４４０】
［制御部］
図３３は、図３２の制御部３３１の主な構成例を示すブロック図である。図３３に示されるように、制御部３３１は、予測方法判定部３５１、復号用予測画像生成指示部３５２、予測モード決定部３５３、および周辺用予測画像生成指示部３５４を有する。
【０４４１】
予測方法判定部３５１は、可逆復号部３０２からイントラ予測情報およびインター予測情報を取得する。イントラ予測情報が供給された場合、予測方法判定部３５１は、当該領域の符号化の際にイントラ予測が選択されたと判定し、その判定結果を、イントラ予測情報とともに、復号用予測画像生成指示部３５２に供給する。
【０４４２】
また、インター予測情報が供給された場合、予測方法判定部３５１は、当該領域の符号化の際にインター予測が選択されたと判定する。シーケンスパラメータセットやピクチャパラメータセット等に記述されたconstrained_intra_pred_flagの値が１である場合、予測方法判定部３５１は、周辺画素を得るためのイントラ予測が行われるように、当該領域の符号化の際にインター予測が選択されたとの判定結果を、インター予測情報とともに、予測モード決定部３５３に供給する。
【０４４３】
なお、constrained_intra_pred_flagの値が０である場合、予測方法判定部３５１は、インター予測のみが行われるように、復号用予測画像生成指示部３５２にも、予測モード決定部３５３にも判定結果を通知しない。
【０４４４】
復号用予測画像生成指示部３５２は、供給されたイントラ予測情報から、当該領域の符号化の際のPUサイズおよび予測モード（予測方向）を抽出する。復号用予測画像生成指示部３５２は、それらの抽出した情報とともに、予測画像を生成するように指示する制御情報である復号用予測画像生成指示を、復号用予測画像生成部３３３に供給する。
【０４４５】
予測モード決定部３５３は、予測方法判定部３５１から供給されたインター予測情報に含まれるインター予測のPUサイズおよび予測モードに基づいて、周辺画素値を得るためのイントラ予測のPUサイズおよび予測モード（予測方向）を、予測モード決定部１５４と同一の方法で決定する。
【０４４６】
予測モードの決定方法は、予測モード決定部１５４と同一であれば、どのような方法であっても良い。画像符号化装置１００と画像復号装置３００とが、予め定められた予測モードの決定方法を供給するようにしてもよい。また、画像符号化装置１００において採用された決定方法を、画像復号装置３００に通知するようにしてもよい。
【０４４７】
予測モード決定部３５３は、決定したPUサイズおよび予測モード（予測方向）を周辺用予測画像生成指示部３５４に供給する。
【０４４８】
周辺用予測画像生成指示部３５４は、予測モード決定部３５３から供給されるPUサイズおよび予測モード（予測方向）とともに、予測画像を生成するように指示する制御情報である周辺用予測画像生成指示を、周辺用予測画像生成部３３４に供給する。
【０４４９】
以上のように、制御部３３１がビットストリームに含まれて伝送されたイントラ予測情報やインター予測情報に基づいて、上述したように制御を行うことにより、イントラ予測部３１０は、イントラ予測部１１３と同様のイントラ予測を行うことができる。これにより、画像復号装置３００は、画像符号化装置１００が符号化したビットストリームを正しく復号することができ、利用可能なイントラ予測モードの数の低減を抑制することができ、符号化効率を向上させることができる。
【０４５０】
［復号処理の流れ］
次に、以上のような画像復号装置３００により実行される各処理の流れについて説明する。最初に、図３４のフローチャートを参照して、復号処理の流れの例を説明する。
【０４５１】
復号処理が開始されると、ステップＳ３０１において、蓄積バッファ３０１は、伝送されてきたビットストリームを蓄積する。ステップＳ３０２において、可逆復号部３０２は、蓄積バッファ３０１から供給されるビットストリーム（符号化された差分画像情報）を復号する。
【０４５２】
このとき、イントラ予測情報やインター予測情報等、ビットストリームに含められた差分画像情報以外の各種情報も復号される。
【０４５３】
ステップＳ３０３において、逆量子化部３０３は、ステップＳ３０２の処理により得られた、量子化された直交変換係数を逆量子化する。ステップＳ３０４において逆直交変換部３０４は、ステップＳ３０３において逆量子化された直交変換係数を逆直交変換する。
【０４５４】
ステップＳ３０５において、イントラ予測部３１０若しくは動き予測・補償部３１１は、供給された情報を用いて予測処理を行う。ステップＳ３０６において、選択部３１２は、ステップＳ３０５において生成された予測画像を選択する。ステップＳ３０７において、演算部３０５は、ステップＳ３０４において逆直交変換されて得られた差分画像情報に、ステップＳ３０６において選択された予測画像を加算する。これにより再構成画像が生成される。
【０４５５】
ステップＳ３０８において、イントラ予測部３１０の周辺画素バッファ３３２は、ステップＳ３０７において生成された再構成画像の、周辺画素として利用可能な画素の画素値（再構成画素値）を記憶する。なお、当該領域が符号化の際にインター予測された領域である場合、イントラ予測部３１０の周辺画素バッファ３３２に記憶される再構成画素値は、イントラ予測部３１０において生成される予測画像の、周辺画素として利用可能な画素の画素値（予測画素値）に置き換えられる。したがって、当該領域が符号化の際にインター予測された領域である場合、このステップＳ３０８の処理は省略されるようにしてもよい。
【０４５６】
ステップＳ３０９において、ループフィルタ３０６は、ステップＳ３０７において得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。
【０４５７】
ステップＳ３１０において、画面並べ替えバッファ３０７は、ステップＳ３０９においてフィルタ処理されて生成された復号画像の並べ替えを行う。すなわち画像符号化装置１００の画面並べ替えバッファ１０２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０４５８】
ステップＳ３１１において、D/A変換部３０８は、ステップＳ３１０においてフレームの順序が並べ替えられた復号画像をD/A変換する。この復号画像が図示せぬディスプレイに出力され、表示される。
【０４５９】
ステップＳ３１２において、フレームメモリ３０９は、ステップＳ３０９においてフィルタ処理されて得られた復号画像を記憶する。この復号画像は、インター予測処理において参照画像として利用される。
【０４６０】
ステップＳ３１２の処理が終了すると、復号処理が終了される。
【０４６１】
［予測処理の流れ］
次に、図３５のフローチャートを参照して、図３４のステップＳ３０５において実行される予測処理の流れの例を説明する。
【０４６２】
予測処理が開始されると、イントラ予測部３１０の制御部３３１の予測方法判定部３５１は、ステップＳ３３１において、可逆復号部３０２から供給されるイントラ予測情報若しくはインター予測情報に基づいて、処理対象の領域が符号化の際にイントラ予測が行われたか否かを判定する。イントラ予測が行われたと判定された場合、予測方法判定部３５１は、処理をステップＳ３３２に進める。
【０４６３】
ステップＳ３３２において、復号用予測画像生成指示部３５２は、復号用予測画像生成部３３３に対して、予測画像の生成を指示する。復号用予測画像生成部３３３は、その指示に従って、イントラ予測を行い、予測画像（イントラ予測画像）を生成する。ステップＳ３３３において、復号用予測画像生成部３３３は、その生成した予測画像を選択部３１２に出力する。ステップＳ３３３の処理が終了すると、復号用予測画像生成部３３３は、予測処理を終了し、処理を図３４に戻す。
【０４６４】
また、ステップＳ３３１において、イントラ予測が行われていないと判定された場合、予測方法判定部３５１は、処理をステップＳ３３４に進める。
【０４６５】
ステップＳ３３４において、動き予測・補償部３１１は、インター予測を行い、予測画像（インター予測画像）を生成する。ステップＳ３３５において、動き予測・補償部３１１は、その生成した予測画像を選択部３１２に出力する。
【０４６６】
ステップＳ３３６において、予測方法判定部３５１は、シーケンスパラメータセットやピクチャパラメータセット等に記述されたconstrained_intra_pred_flagの値が１であるか否かを判定する。constrained_intra_pred_flagの値が１であると判定された場合、予測方法判定部３５１は、処理をステップＳ３３７に進める。
【０４６７】
ステップＳ３３７において、予測モード決定部３５３は、符号化の際にインター予測された当該領域において周辺画素を得るために行うイントラ予測のPUサイズを決定する。ステップＳ３３８において、予測モード決定部３５３は、予測モードを決定する。この予測モードの決定方法は、図２４のステップＳ１７５の場合と同様であればどのような方法であっても良い。例えば、図２５乃至図３０のフローチャートを参照して説明したような各種の方法であってもよいし、それ以外の方法であってもよい。
【０４６８】
ステップＳ３３９において、周辺用予測画像生成指示部３５４は、周辺用予測画像生成部３３４に対して、予測画像の生成を指示する。周辺用予測画像生成部３３４は、その指示に従って、イントラ予測を行い、予測画像（イントラ予測画像）を生成する。ステップＳ３４０において、周辺画素バッファ３３２は、その生成した予測画像の、周辺画素として利用可能な画素の画素値（予測画素値）を記憶する。ステップＳ３４０の処理が終了すると、周辺画素バッファ３３２は、予測処理を終了し、処理を図３４に戻す。
【０４６９】
また、ステップＳ３３６において、constrained_intra_pred_flagの値が０であると判定された場合、予測方法判定部３５１は、予測処理を終了し、処理を図３４に戻す。
【０４７０】
以上のように、各処理を行うことにより、画像復号装置３００は、画像符号化装置１００が符号化したビットストリームを正しく復号することができ、利用可能なイントラ予測モードの数の低減を抑制することができ、符号化効率を向上させることができる。
【０４７１】
［当該領域のサイズ制限］
なお、画像符号化装置１００の場合と同様に、画像復号装置３００においても、当該領域内のPUサイズが所定のサイズ以下の場合のみ、イントラ予測部３１０が、以上のように、インター予測される領域をイントラ予測することができるようにしてもよい。また、逆に、当該領域内のPUサイズの下限を設けるようにしてもよい。つまり、当該領域内のPUサイズが所定のサイズ以上の場合のみ、イントラ予測部３１０が、インター予測される領域をイントラ予測することができるようにしてもよい。
【０４７２】
また、画像符号化装置１００の場合と同様に、画像復号装置３００においても、インター予測された領域に対して行う、周辺画素を得るためのイントラ予測の予測方式として、Angular Predictionイントラ予測方式や、Arbitrary Directional Intra（ADI）イントラ予測方式を適用するようにしてもよい。
【０４７３】
なお、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本技術は、それらの画像符号化装置および画像復号装置などに含まれるイントラ予測装置にも適用することができる。
【０４７４】
＜３．第３の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０４７５】
図３６において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０４７６】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。
【０４７７】
入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０４７８】
入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。
【０４７９】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０４８０】
この記録媒体は、例えば、図３６に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。
【０４８１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０４８２】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４８３】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０４８４】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４８５】
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０４８６】
＜４．第４の実施の形態＞
［第１の応用例：テレビジョン受像機］
図３７は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０４８７】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０４８８】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０４８９】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０４９０】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０４９１】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
【０４９２】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０４９３】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０４９４】
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０４９５】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０４９６】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０４９７】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、利用可能なイントラ予測モードを増大させることができ、符号化効率の向上を実現させることができる。
【０４９８】
＜５．第５の実施の形態＞
［第２の応用例：携帯電話機］
図３８は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０４９９】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０５００】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０５０１】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０５０２】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０５０３】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０５０４】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
【０５０５】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０５０６】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、利用可能なイントラ予測モードを増大させることができ、符号化効率を向上させることができる。
【０５０７】
＜６．第６の実施の形態＞
［第３の応用例：記録再生装置］
図３９は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０５０８】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０５０９】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０５１０】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０５１１】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０５１２】
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０５１３】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
【０５１４】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０５１５】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０５１６】
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
【０５１７】
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０５１８】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０５１９】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、利用可能なイントラ予測モードを増大させることができ、符号化効率を向上させることができる。
【０５２０】
＜７．第７の実施の形態＞
［第４の応用例：撮像装置］
図４０は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０５２１】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０５２２】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
【０５２３】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０５２４】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０５２５】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０５２６】
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０５２７】
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０５２８】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０５２９】
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０５３０】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０５３１】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、利用可能なイントラ予測モードを増大させることができ、符号化効率を向上させることができる。
【０５３２】
なお、本明細書では、予測モード情報やconstrained_intra_pred_flagなどの様々な情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０５３３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０５３４】
なお、本技術は以下のような構成も取ることができる。
（１）  画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する周辺用予測画像生成部と、
前記周辺用予測画像生成部により生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶する記憶部と、
前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成する符号化用予測画像生成部と、
入力画像と、前記符号化用予測画像生成部により生成された予測画像の差分画像を算出する演算部と、
前記演算部により算出された前記差分画像を符号化する符号化部と
を備える画像処理装置。
（２）  前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する決定部をさらに備え、
前記周辺用予測画像生成部は、前記決定部により決定された処理単位のサイズの、前記決定部により決定された予測モードで、前記イントラ予測を行い、前記予測画像を生成する
前記（１）に記載の画像処理装置。
（３）  前記決定部は、前記イントラ予測の予測モードを平均値予測に決定する
前記（２）に記載の画像処理装置。
（４）  前記決定部は、前記イントラ予測の予測モードを、直前に行われたイントラ予測の予測モードに決定する
前記（２）に記載の画像処理装置。
（５）  前記決定部は、前記イントラ予測の予測モードを、動きベクトルの単位ベクトルと予測モードの単位ベクトルとの内積が最大となる予測モードに決定する
前記（２）に記載の画像処理装置。
（６）  前記決定部は、前記イントラ予測の予測モードを、処理対象の領域に隣接する、イントラ予測が行われた他の領域の予測モードに決定する
前記（２）に記載の画像処理装置。
（７）  前記決定部は、前記他の領域の予測モードが複数存在する場合、所定の優先順に従って選択された領域の予測モードを、前記イントラ予測の予測モードに決定する
前記（２）に記載の画像処理装置。
（８）  前記周辺用予測画像生成部は、インター予測により生成された予測画像を用いて生成された再構成画像をイントラ予測において利用することを禁止するモードにおいて、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する
前記（１）乃至（７）に記載の画像処理装置。
（９）  前記記憶部は、前記処理対象の領域がイントラ予測される場合、前記イントラ予測により生成された予測画像を用いて生成された再構成画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、
前記符号化用予測画像生成部は、前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、
前記符号化部は、前記符号化用予測画像生成部による前記イントラ予測の処理単位のサイズおよび予測モードに関するイントラ予測情報を、符号化した前記差分画像のビットストリームに付加する
前記（１）乃至（８）に記載の画像処理装置。
（１０）  画像処理装置の画像処理方法であって、
周辺用予測画像生成部が、画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成し、
記憶部が、生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、
符号化用予測画像生成部が、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、
演算部が、入力画像と、生成された予測画像の差分画像を算出し、
符号化部が、算出された前記差分画像を符号化する
画像処理方法。
（１１）  画像が符号化されたビットストリームを復号する復号部と、
前記復号部により前記ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する周辺用予測画像生成部と、
前記周辺用予測画像生成部により生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶する記憶部と、
前記記憶部に記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成する復号用予測画像生成部と、
差分画像に、前記復号用予測画像生成部により生成された予測画像を加算し、復号画像を生成する演算部と
を備える画像処理装置。
（１２）  前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する決定部をさらに備え、
前記周辺用予測画像生成部は、前記決定部により決定された処理単位のサイズの、前記決定部により決定された予測モードで、前記イントラ予測を行い、前記予測画像を生成する
前記（１１）に記載の画像処理装置。
（１３）  前記決定部は、前記イントラ予測の予測モードを平均値予測に決定する
前記（１２）に記載の画像処理装置。
（１４）  前記決定部は、前記イントラ予測の予測モードを、直前に行われたイントラ予測の予測モードに決定する
前記（１２）に記載の画像処理装置。
（１５）  前記決定部は、前記イントラ予測の予測モードを、動きベクトルの単位ベクトルと予測モードの単位ベクトルとの内積が最大となる予測モードに決定する
前記（１２）に記載の画像処理装置。
（１６）  前記決定部は、前記イントラ予測の予測モードを、処理対象の領域に隣接する、イントラ予測が行われた他の領域の予測モードに決定する
前記（１２）に記載の画像処理装置。
（１７）  前記決定部は、前記他の領域の予測モードが複数存在する場合、所定の優先順に従って選択された領域の予測モードを、前記イントラ予測の予測モードに決定する
前記（１２）に記載の画像処理装置。
（１８）  前記決定部は、前記復号部により前記ビットストリームが復号されて得られた前記インター予測に関する情報に含まれる、前記インター予測の処理単位のサイズと予測モードに基づいて、前記周辺用予測画像生成部により行われるイントラ予測の処理単位のサイズと予測モードを決定する
前記（１２）乃至（１７）に記載の画像処理装置。
（１９）  前記周辺用予測画像生成部は、インター予測により生成された予測画像を用いて生成された再構成画像をイントラ予測において利用することを禁止するモードにおいて、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成する
前記（１１）乃至（１８）に記載の画像処理装置。
（２０）  画像処理装置の画像処理方法であって、
復号部が、画像が符号化されたビットストリームを復号し、
周辺用予測画像生成部が、前記ビットストリームが復号されて得られた画像の所定の領域毎に行う予測処理において、インター予測される処理対象の領域に対してイントラ予測を行い、予測画像を生成し、
記憶部が、生成された前記予測画像の、前記処理対象の領域よりも時間的に後に処理される領域に対するイントラ予測において周辺画素として利用可能な画素の画素値を記憶し、
復号用予測画像生成部が、記憶される周辺画素の画素値を用いて、処理対象の領域に対してイントラ予測を行い、予測画像を生成し、
演算部が、差分画像に、生成された予測画像を加算し、復号画像を生成する
画像処理方法。
【符号の説明】
【０５３５】
１００  画像符号化装置，  １１３  イントラ予測部，  １３１  周辺画素バッファ，  １３６  符号化用予測画像生成部，  １４１  制御部，  １４２  周辺用予測画像生成部，  １５１  予測方法判定部，  １５２  イントラ予測情報出力指示部，  １５３  動き予測情報取得部，  １５４  予測モード決定部，  １５５  周辺用予測画像生成指示部，  ３００  画像復号装置，  ３１０  イントラ予測部，  ３３１  制御部，  ３３２  周辺画素バッファ，  ３３３  復号用予測画像生成部，  ３３４  周辺用予測画像生成部，  ３５１  予測方法判定部，  ３５２  復号用予測画像生成指示部，  ３５３  予測モード決定部，  ３５４  周辺用予測画像生成指示部
【図１】
2012244354.tif 000031
【図２】
2012244354.tif 000032
【図３】
2012244354.tif 000033
【図４】
2012244354.tif 000034
【図５】
2012244354.tif 000035
【図６】
2012244354.tif 000036
【図７】
2012244354.tif 000037
【図８】
2012244354.tif 000038
【図９】
2012244354.tif 000039
【図１０】
2012244354.tif 000040
【図１１】
2012244354.tif 000041
【図１２】
2012244354.tif 000042
【図１３】
2012244354.tif 000043
【図１４】
2012244354.tif 000044
【図１５】
2012244354.tif 000045
【図１６】
2012244354.tif 000046
【図１７】
2012244354.tif 000047
【図１８】
2012244354.tif 000048
【図１９】
2012244354.tif 000049
【図２０】
2012244354.tif 000050
【図２１】
2012244354.tif 000051
【図２２】
2012244354.tif 000052
【図２３】
2012244354.tif 000053
【図２４】
2012244354.tif 000054
【図２５】
2012244354.tif 000055
【図２６】
2012244354.tif 000056
【図２７】
2012244354.tif 000057
【図２８】
2012244354.tif 000058
【図２９】
2012244354.tif 000059
【図３０】
2012244354.tif 000060
【図３１】
2012244354.tif 000061
【図３２】
2012244354.tif 000062
【図３３】
2012244354.tif 000063
【図３４】
2012244354.tif 000064
【図３５】
2012244354.tif 000065
【図３６】
2012244354.tif 000066
【図３７】
2012244354.tif 000067
【図３８】
2012244354.tif 000068
【図３９】
2012244354.tif 000069
【図４０】
2012244354.tif 000070