(57)【要約】  予測セット決定部（１３）は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、予測セットを選択する。また、予測モード決定部（１１）は、選択された予測セットから、予測モードを選択する。エントロピー符号化部（４）は、選択された予測セットおよび予測モードならびに当該予測セットおよび予測モードから作成した予測画像と入力画像との残差データを符号化する。これにより、画像符号化装置において、より多様な角度からの予測を可能とし、予測効率を向上させることができる。
2009004985.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を符号化する画像符号化装置であって、
予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットであって、当該予測セットを複数含む予測セット群から、画像を構成する所定の単位毎に、上記予測セット群の中から１つの予測セットを選択する第１の選択手段と、
所定の単位に含まれるサブブロック毎に、上記第１の選択手段において選択された上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第２の選択手段と、
選択された上記予測セットおよび上記予測モードを用いて、上記サブブロックの予測画像を作成する予測手段と、
入力画像と予測画像との残差データならびに選択した上記予測セットおよび上記予測モードを符号化する符号化手段と、
を備えていることを特徴とする画像符号化装置。
【請求項２】
上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出手段を備えていることを特徴とする請求の範囲第１項に記載の画像符号化装置。
【請求項３】
符号化対象サブブロックである当該サブブロックの予測モードの推定に用いる符号化済み隣接サブブロックの参照方向を決定する第１の決定手段と、
選択された上記予測セットおよび決定された上記参照方向により定まる符号化済み隣接サブブロックの予測モードに基づいて、当該サブブロックの予測モードの推定値を決定する第１の推定手段と、
決定した上記予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成手段と、
生成した上記相対情報ならびに決定した上記参照方向を符号化する符号化手段と、
を備えていることを特徴とする請求の範囲第１項に記載の画像符号化装置。
【請求項４】
互いに異なる上記予測セット群を複数備え、上記複数の予測セット群の中から符号化対象ブロックである当該ブロックに用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択手段を備えていることを特徴とする請求の範囲第１項に記載の画像符号化装置。
【請求項５】
上記予測セット群に含まれる複数の上記予測セットおよび当該予測セットに含まれる複数の上記予測モードから、上記エッジ情報に基づいて予測セットおよび予測モードを設定する設定手段と、
設定された上記予測セットおよび予測モードに対応する、予測方向および予測方法の情報を符号化する符号化手段と、
を備えていることを特徴とする請求の範囲第２項に記載の画像符号化装置。
【請求項６】
入力画像を符号化する画像符号化装置であって、
予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットを１つ備え、所定の単位に含まれるサブブロック毎に、上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第１の選択手段と、
上記予測セットおよび選択された上記予測モードを用いて、上記サブブロックの予測画像を作成する予測手段と、
入力画像と予測画像との残差データならびに選択した上記予測モードを符号化する符号化手段とを備えており、
上記予測モードを符号化する符号化手段は、
選択された上記予測モードの推定に用いる符号化済み隣接サブブロックを所定の評価基準に基づき決定する第１の決定手段と、
上記決定された符号化済み隣接サブブロックの予測モードに基づいて、符号化対象サブブロックである当該サブブロックの予測モードの推定値を決定する第１の推定手段と、
決定した上記予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成手段と、
生成した上記相対情報を符号化する符号化手段と、
を備えていることを特徴とする画像符号化装置。
【請求項７】
画像の符号化データを復号する画像復号装置であって、
互いに異なる予測方向および予測方法に対応した予測モードを複数含む予測セットから、符号化データより画像を構成する所定の単位毎に予測セットを復号すると共に、所定の単位に含まれるサブブロック毎に予測モードと差分データを復号する復号手段と、
復号された上記予測セットおよび上記予測モードを用いて、上記サブブロックの予測画像を作成する予測手段と、
上記差分データと上記予測画像とを加算する加算手段と、
を備えていることを特徴とする画像復号装置。
【請求項８】
上記予測セットおよび上記予測モードに対応する予測方法および予測方法に関する情報を復号する復号手段と、
復号した上記予測方向および上記予測方法を、上記予測セットおよび上記の予測モードに設定する設定手段と、
を備えていることを特徴とする請求の範囲第７項に記載の画像復号装置。
【請求項９】
互いに異なる上記予測セット群を複数備え、上記複数の予測セット群の中から復号対象ブロックである当該ブロックに用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択手段を備えていることを特徴とする請求の範囲第７項に記載の画像復号装置。
【請求項１０】
上記予測モードの相対情報ならびに復号対象サブブロックである当該サブブロックの予測モードの推定に用いる復号済み隣接サブブロックの方向を表す参照方向を復号する復号手段と、
復号された上記予測セットおよび復号された上記参照方向により定まる復号済み隣接サブブロックの予測モードに基づいて、当該サブブロックの予測モードの推定値を決定する第１の推定手段と、
決定した上記予測モードの推定値と復号した上記予測モードの相対情報から当該サブブロックに用いる予測モードを復号する復号手段と、
を備えていることを特徴とする請求の範囲第７項に記載の画像復号装置。
【請求項１１】
画像の符号化データを復号する画像復号装置であって、
互いに異なる予測方向および予測方法に対応した予測モードを複数含む１つの予測セットから、符号化データより画像を構成する所定の単位に含まれるサブブロック毎に予測モードと差分データを復号する復号手段と、
復号された上記予測モードを用いて、上記サブブロックの予測画像を作成する予測手段と、
上記差分データと上記予測画像とを加算する加算手段と、
を備えており、
上記予測モードを復号する復号手段は、
上記予測モードの相対情報を復号する復号手段と、
上記予測モードの推定に用いる復号済み隣接サブブロックを所定の評価基準に基づき決定する第１の決定手段と、
決定された上記復号済み隣接サブブロックの予測モードに基づいて、復号対象サブブロックである当該サブブロックの予測モードの推定値を決定する第１の推定手段と、
決定した上記予測モードの推定値と上記復号された予測モードの相対情報から当該サブブロックの予測モードを復号する復号手段と、
を備えていることを特徴とする画像復号装置。
【請求項１２】
入力画像を符号化する画像符号化方法であって、
予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットであって、当該予測セットを複数含む予測セット群から、画像を構成する所定の単位毎に、上記予測セット群の中から１つの予測セットを選択する第１の選択ステップと、
所定の単位に含まれるサブブロック毎に、上記第１の選択手段において選択された上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第２の選択ステップと、
選択された上記予測セットおよび上記予測モードを用いて、上記サブブロックの予測画像を作成する予測ステップと、
入力画像と予測画像との残差データならびに選択した上記予測セットおよび上記予測モードを符号化する符号化ステップと、
を含むことを特徴とする画像符号化方法。
【請求項１３】
上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出ステップを含むことを特徴とする請求の範囲第１２項に記載の画像符号化方法。
【請求項１４】
上記予測セット群に含まれる複数の上記予測セットおよび当該予測セットに含まれる複数の上記予測モードから、上記エッジ情報に基づいて予測セットおよび予測モードを設定する設定ステップと、
設定された上記予測セットおよび予測モードに対応する、予測方向および予測方法の情報を符号化する符号化ステップと、
を含むことを特徴とする請求の範囲第１３項に記載の画像符号化方法。
【請求項１５】
符号化対象サブブロックである当該サブブロックの予測モードの推定に用いる符号化済み隣接サブブロックの参照方向を決定する第１の決定ステップと、
選択された上記予測セットおよび決定された上記参照方向により定まる符号化済み隣接サブブロックの予測モードに基づいて、当該サブブロックの予測モードの推定値を決定する第１の推定ステップと、
決定した上記予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成ステップと、
生成した上記相対情報ならびに上記決定した参照方向を符号化する符号化ステップと、
を含むことを特徴とする請求の範囲第１４項に記載の画像符号化方法。
【請求項１６】
互いに異なる上記予測セット群を複数備え、上記複数の予測セット群の中から符号化対象ブロックである当該ブロックに用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択ステップを含むことを特徴とする請求の範囲第１４項に記載の画像符号化方法。
【請求項１７】
入力画像を符号化する画像符号化方法であって、
予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットを１つ備え、所定の単位に含まれるサブブロック毎に、上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第１の選択ステップと、
上記予測セットおよび選択された上記予測モードを用いて、上記サブブロックの予測画像を作成する予測ステップと、
入力画像と予測画像との残差データならびに選択した上記予測モードを符号化する符号化ステップとを含み、
上記予測モードを符号化する符号化ステップは、
選択された上記予測モードの推定に用いる符号化済み隣接サブブロックを所定の評価基準に基づき決定する第１の決定ステップと、
決定された上記符号化済み隣接サブブロックの予測モードに基づいて、符号化対象サブブロックである当該サブブロックの予測モードの推定値を決定する第１の推定ステップと、
決定した上記予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成ステップと、
生成した上記相対情報を符号化する符号化ステップと、
を含むことを特徴とする画像符号化方法。
【請求項１８】
画像の符号化データを復号する画像復号方法であって、
互いに異なる予測方向および予測方法に対応した予測モードを複数含む予測セットから、符号化データより画像を構成する所定の単位毎に予測セットを復号すると共に、所定の単位に含まれるサブブロック毎に予測モードと差分データを復号する復号ステップと、
復号された上記予測セットおよび上記予測モードを用いて、上記サブブロックの予測画像を作成する予測ステップと、
上記差分データと上記予測画像とを加算する加算ステップと、
を含むことを特徴とする画像復号方法。
【請求項１９】
上記予測モードの相対情報ならびに復号対象サブブロックである当該サブブロックの予測モードの推定に用いる復号済み隣接サブブロックの方向を表す参照方向を復号する復号ステップと、
復号された上記予測セットおよび上記復号された参照方向により定まる復号済み隣接サブブロックの予測モードに基づいて、当該サブブロックの予測モードの推定値を決定する第１の推定ステップと、
決定した上記予測モードの推定値と復号した上記予測モードの相対情報から当該サブブロックに用いる予測モードを復号する復号ステップと、
を含むことを特徴とする請求の範囲第１８項に記載の画像復号方法。
【請求項２０】
互いに異なる上記予測セット群を複数備え、上記複数の予測セット群の中から復号対象ブロックである当該ブロックに用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択ステップを備えていることを特徴とする請求の範囲第１８項に記載の画像復号方法。
【請求項２１】
上記予測セットおよび上記予測モードに対応する予測方法および予測方法に関する情報を復号する復号ステップと、
復号した上記予測方向および上記予測方法を、上記予測セットおよび上記の予測モードに設定する設定ステップと、
を含むことを特徴とする請求の範囲第１８項に記載の画像復号方法。
【請求項２２】
画像の符号化データを復号する画像復号方法であって、
互いに異なる予測方向および予測方法に対応した予測モードを複数含む１つの予測セットから、符号化データより画像を構成する所定の単位に含まれるサブブロック毎に予測モードと差分データを復号する復号ステップと、
復号された上記予測モードを用いて、上記サブブロックの予測画像を作成する予測ステップと、
上記差分データと上記予測画像とを加算する加算ステップと、
を含み、
上記予測モードを復号する復号ステップは、
上記予測モードの相対情報を復号する復号ステップと、
上記予測モードの推定に用いる復号済み隣接サブブロックを所定の評価基準に基づき決定する第１の決定ステップと、
決定された上記復号済み隣接サブブロックの予測モードに基づいて、復号対象サブブロックである当該サブブロックの予測モードの推定値を決定する第１の推定ステップと、
上記決定した予測モードの推定値と上記復号された予測モードの相対情報から当該サブブロックの予測モードを復号する復号ステップと、
を含むことを特徴とする画像復号方法。
【請求項２３】
請求の範囲第１項から第６項のいずれか１項に記載の画像符号化装置、または請求の範囲第７項から第１１項のいずれか１項に記載の画像復号装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。
【請求項２４】
請求の範囲第２３項に記載の各プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を符号化する画像符号化装置、画像符号化方法、プログラム、および記録媒体に関する。また、符号化された画像を復号する画像復号装置、画像復号方法、プログラム、および記録媒体に関する。
【背景技術】
【０００２】
画像符号化技術は、現在、身近にある多くの映像装置に応用されている。応用の対象はたとえば、映画などの映像コンテンツを気軽に楽しむためのＤＶＤから、テレビ放送などの映像コンテンツを記録するためのハードディスクレコーダ、デジタルテレビ符号化方式、ＤＶＤカメラ、画像処理の可能な携帯電話まであり、非常に幅広い。【０００３】
非特許文献１には、画像の持つ空間的相関または時間的相関を利用して符号化を行う画像符号化装置、および画像符号化装置によって符号化された符号化データを復号する画像復号装置が開示されている。これらの装置について空間的相関を利用した技術を、図６５〜７０を参照して、以下に説明する。【０００４】
（画像符号化装置３００の構成）
従来技術に係る画像符号化装置３００について、図６５を参照して以下に説明する。【０００５】
図６５は、従来技術に係る画像符号化装置３００の要部構成を示すブロック図である。画像符号化装置３００は、差分演算部１、直交変換部２、量子化部３、エントロピー符号化部３０４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部３１０、予測モード決定部３１１を備えている（図６５）。以下、画像符号化装置３００の各構成要素について説明する。【０００６】
（差分演算部１）
差分演算部１は、符号化対象ブロック（Ｍ×Ｍ画素ブロックサイズ）と、イントラ予測部３１０により生成された予測画像との差分である予測残差データを出力する。【０００７】
（直交変換部２および逆直交変換部７）
直交変換部２は、差分演算部１より入力された予測残差データを直交変換して出力する。逆直交変換部７は、逆量子化部６より入力された予測残差データの直交変換係数を逆直交変換して出力する。直交変換および逆直交変換の方式として、離散コサイン変換、アダマール変換、離散フーリエ変換、離散サイン変換、ハール変換、スラント変換，またはカルーネン／レーベン変換などが用いられる。【０００８】
（量子化部３および逆量子化部６）
量子化部３は、直交変換部２より入力された予測残差データの直交変換係数を量子化して出力する。逆量子化部６は、量子化部３より入力された予測残差データの量子化係数を逆量子化して出力する。量子化および逆量子化として、スカラー量子化，またはベクトル量子化を利用する。【０００９】
（エントロピー符号化部３０４）
エントロピー符号化部３０４は、ブロックタイプ、予測モード情報、量子化パラメータなどの符号化モードに関する情報と予測残差データをエントロピー符号化する。ここで「エントロピー符号化」とは、算術符号化、ハフマン符号化、ゴロム符号化などの可変長符号化、または固定長符号化である。【００１０】
（加算演算部８）
加算演算部８は、逆量子化および逆直交変換された予測残差データと、イントラ予測部３１０により生成された予測画像とを加算することによって、局所復号画像を生成し出力する。【００１１】
（メモリ９）
メモリ９は、入力された局所復号画像を記憶する。【００１２】
（イントラ予測部３１０）
イントラ予測部３１０は、メモリ９に記憶された局所復号画像を用いて、予測モード情報が表すイントラ予測を行い、予測画像を生成する。ここで「イントラ予測」とは、画面内予測、またはフレーム内予測と同じ意味であり、画像の空間的相関を利用した予測である。このとき、あらかじめ定められたモード０〜８で表される９種類の予測方式を利用することによって、符号化対象ブロック（Ｍ×Ｍ画素ブロックサイズ）をイントラ予測する。図６６に、予測モードの一例を示す。図６６は、従来技術に係るイントラ予測に用いる予測モードを示す図である。この図の例では、ブロックサイズは４×４画素ブロックである。また、画素Ａ〜Ｍは、符号化対象ブロックの予測に用いる符号化済の画素である。【００１３】
各モードを以下に具体的に説明する。モード０では、画素Ａ〜Ｄを用いて垂直方向へ空間予測する。モード１では、画素Ｉ〜Ｌを用いて水平方向へ空間予測する。予測モード２では、画素Ａ〜ＤおよびＩ〜Ｌを用いてＤＣ予測する。モード３では、画素Ａ〜Ｈを用いて斜め左下方向へ空間予測する。モード４では、画素Ａ〜ＤおよびＩ〜Ｍを用いて斜め右下方向へ空間予測する。モード５では、画素Ａ〜ＤおよびＩ〜ＫおよびＭを用いて垂直右方向へ空間予測する。モード６では、画素Ａ〜ＣおよびＩ〜Ｍを用いて水平下方向へ空間予測する。モード７では、画素Ａ〜Ｅを用いて垂直左方向へ空間予測する。モード８では、画素Ｉ、Ｊ、ＫおよびＬを用いて水平上方向へ空間予測する。イントラ予測部３１０は、上述したいずれかのモードに対応する予測方式を用いて、予測画素を生成する。【００１４】
（予測モード決定部３１１）
予測モード決定部３１１は、入力された符号化対象ブロックの原画像、およびメモリ９から入力された局所復号画像に基づいて、図６６に示した複数の予測モードから符号化対象ブロックの予測に用いる予測モードを１つ決定し、決定した予測モードに関する情報（以降、予測モード情報とする）を、イントラ予測部３１０およびエントロピー符号化部３０４へ出力する。【００１５】
予測モード決定時、一般に、予測残差コストを評価する方法（以降、予測残差コスト最小化法とする）、またはレート歪最適化手法を利用する。【００１６】
予測残差コスト最小化手法は、入力された符号化対象ブロックの原画像と、メモリ９から入力された局所復号画像より生成した各予測モードに対応する予測画像との類似度（以降、予測残差コストとする）を求め、全予測モードのうち、予測残差コストが最小となる予測モードを選択する方法である。予測残差コストの尺度Ｓとして、予測残差データの絶対値和、予測残差データの自乗和、予測残差データの変換係数の絶対値和、および予測残差データの変換係数の自乗和がある。これらの値を、下記式（１）〜（４）を用いて算出する。【００１７】
【数１】
2009004985.tif 000003
【００１８】
上記式（１）〜（４）中、ｆ（ｘ，ｙ）は原画像を、ｐ（ｘ，ｙ）は予測画像を、ｘ，ｙは符号化対象ブロックを、そしてｉ，ｊは符号化対象ブロック内における画素位置をそれぞれ表す。Ｔ｛｝は、離散コサイン変換、離散サイン変換およびアダマール変換などの直交変換操作を表す。【００１９】
レート歪最適化手法では、以下の工程により予測モードを選択する。まず、メモリ９から入力された局所復号画像より各予測モードに対応する予測画像を生成し、生成した各予測画像と、入力された符号化対象ブロックの原画像より予測残差データを求める。さらにこれらを仮符号化して、符号化対象ブロックの原画像と復号画像との予測誤差Ｄと符号化対象ブロックの符号化に要する符号量Ｒを算出する。最後に、ＤおよびＲに基づいて、下記式（５）によって算出される符号化コストＪを最小化する予測モードを選択する。【００２０】
【数２】
2009004985.tif 000004
【００２１】
予測誤差Ｄは、量子化前の予測残差データと量子化後の予測残差データ間の誤差である。符号量Ｒは、予測残差データの符号量および予測モード情報の符号量の合計である。【００２２】
上記式（５）中、ｍｏｄｅは予測モードを、そしてｑは量子化パラメータをそれぞれ表す。λは量子化パラメータｑに依存する重み係数を表し、一般的には、下記式（６）によって算出される値である。【００２３】
【数３】
2009004985.tif 000005
【００２４】
（画像符号化装置３００の符号化プロセス）
画像符号化装置３００の動作について以下に説明する。【００２５】
まず、所定のブロックサイズ（Ｍ×Ｍ画素ブロック）に分割された符号化対象画像（以下、符号化対象ブロックとする）が入力画像として画像符号化装置３００に入力される。【００２６】
予測モード決定部３１１において、入力された符号化対象ブロックと、メモリ９から入力された符号化済み隣接ブロックにおける局所復号画像より、予測残差コスト最小化法、またはレート歪最適化手法に基づいて、符号化対象ブロックの予測に用いる予測モードが決定され、予測モード情報がイントラ予測部３１０、およびエントロピー符号化部３０４へ出力される。【００２７】
イントラ予測部３１０において、メモリ９から入力された符号化済み隣接ブロックの局所復号画像より、入力された予測モード情報により表されるイントラ予測をして、符号化対象ブロックの予測画像（Ｍ×Ｍ画素ブロック）が生成され、差分演算部１へ出力される。【００２８】
次に、差分演算部１において、符号化対象ブロックと生成された予測画像との差分である予測残差データが算出され、直交変換部２へ出力される。【００２９】
差分演算部１より入力された予測残差データは、直交変換部２、量子化部３の順に入力され、直交変換・量子化されてエントロピー符号化部３０４および逆量子化部６へ出力される。【００３０】
直交変換・量子化された予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８へ出力される。【００３１】
加算演算部８において、逆量子化・逆直交変換された予測残差データは、符号化対象ブロックに適用する予測モードに対応する予測画像と合成され、符号化対象ブロックの局所復号画像（Ｍ×Ｍ画素ブロック）がメモリ９へ出力される。【００３２】
メモリ９において、加算演算部８より入力された符号化対象ブロックの局所復号画像は、記憶されて以降の隣接ブロックにおけるイントラ予測に用いられる。【００３３】
エントロピー符号化部３０４において、予測モード決定部３１１より入力された予測モード情報などの符号化パラメータと、直交変換・量子化された予測残差データとが可変長符号化などの符号化処理され、符号化対象ブロックの符号化データが出力される。【００３４】
画像符号化装置３００は、以上の処理を符号化対象画像を構成する全ての符号化対象ブロックについて繰り返す。【００３５】
上述したように、画像符号化装置３００では、たとえば、図６６に示す予め定められたモード０〜８の９種類の予測方式を画像の特性に応じて使い分ける。これにより高符号化効率を達成する。具体的には、モード２のＤＣ予測は、平坦な画像領域の予測に有効である。一方、モード０、１、３〜８は、特定方向のエッジを含む画像の予測に有効である。【００３６】
画像符号化装置３００におけるイントラ予測の具体例を、図６７の（ａ）および（ｂ）に示す。図６７の（ａ）は、縦方向にエッジが形成されている縦縞模様の画像Ｆ４１と、復号画像を基に垂直方向予測（図６６におけるモード０）により生成された予測画像Ｆ４２とから、差分である予測残差データＦ４３を得る具体例である。また、図６７の（ｂ）は、斜め右方向にエッジが形成されている斜縞模様の画像Ｆ４４と、復号画像を基に斜右下方向予測（図６６におけるモード４）により生成された予測画像Ｆ４５とから、差分である予測残差データＦ４６を得る具体例である。【００３７】
図６７の（ａ）および（ｂ）いずれの場合であっても、予測画像Ｆ４２およびＦ４５は、原画像である画像Ｆ４１およびＦ４４の模様部分を再現している。そのため、原画像と予測画像との差分を算出すると、原画像と予測画像の模様部分とは互いに打ち消される。結果として、予測画像では打ち消すことができない原画像における画素が、予測残差データとなる。図６７の（ａ）および（ｂ）では、予測方向と原画像における模様の方向とが一致しているため、予測残差データを効果的に削減できる。【００３８】
（予測モード情報の予測符号化方法）
次に、予測モード情報の予測符号化方法について説明する。【００３９】
非特許文献１の空間的相関を利用した画像符号化装置において、４×４画素ブロック、８×８画素ブロックのイントラ予測では、図６８に示すように９種類の予測モードがある。非特許文献１では、当該ブロックの予測モード情報を符号化する際、図６９に示す当該ブロックＢ１に隣接する左ブロックＢ２と上ブロックＢ４において適用された予測モードのうち、予測モードの値が小さい予測モードを推定値とする。そして、推定値と当該ブロックの予測モードの値を比較して、一致する場合は、フラグ「１」を符号化する。それ以外の場合は、フラグ「０」と、推定値を除く残りの８種類の予測モードの中で、いずれの予測モードであるかを表す相対予測モード情報を符号化する。【００４０】
また特許文献１では、当該ブロックの予測モード情報を符号化する際、後述する第１予測手段によって決定された推定値１、後述する第２予測手段によって決定された推定値２を用いて、当該ブロックに適用された予測モードを推定する。【００４１】
上述した第１予測手段では、図７０に示す当該ブロックＣ１の左に位置する符号化済み領域Ｃ２（例えば、マクロブロック、スライス）、または、当該ブロックＣ１の上に位置する符号化済み領域Ｃ３に含まれるブロックにおいて適用された予測モードのうち、最も使用頻度の多い予測モードを推定値１とする。また、上述した第２予測手段では、図６９に示す当該ブロックＢ１に隣接する符号化済みブロックＢ２、Ｂ３、Ｂ４上のＬ字領域Ｂ５（右下斜線部）の復号画像を用いる。すなわち、Ｌ字領域Ｂ６（左下斜線部）の復号画像に対して、Ｌ字領域Ｂ５の復号画像を用い、図６８に示す９種類のイントラ予測方法に応じた予測画像を生成する。そして、Ｌ字領域Ｂ６の復号済み画像と予測画像との差分値が最小となる予測モードを推定値２とする。【００４２】
（画像復号装置３５０の構成）
最後に、従来の画像復号装置について、図７１を参照して以下に説明する。図７１は、従来の画像復号装置３５０の構成を示すブロック図である。画像復号装置３５０は、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、エントロピー復号部３０５、イントラ予測部３１０を備えている（図７１）。これらの構成要素のうち、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、およびイントラ予測部３１０は上述済みであるため、以下では、エントロピー復号部３０５についてのみ説明する。【００４３】
（エントロピー復号部３０５）
エントロピー復号部３０５は、復号対象ブロックの予測残差データおよび予測モード情報などの符号化パラメータを表す符号化データを復号処理（たとえば可変長復号処理）する。【００４４】
（画像復号装置３５０の復号プロセス）
画像復号装置３５０における画像の復号処理について以下に説明する。まず、エントロピー復号部３０５は、入力された復号対象ブロックの符号化データをエントロピー復号し、復号対象ブロックの予測残差データおよび予測モード情報などの符号化パラメータを出力する。復号された予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化および逆直交変換される。【００４５】
次に、イントラ予測部３１０は、メモリ９に記憶されている復号済みの隣接ブロックにおける局所復号画像を用いて、復号対象ブロックの予測画像（Ｍ×Ｍ画素ブロック）を生成する。【００４６】
続いて、加算演算部８は、逆量子化・逆直交変換された予測残差データと、イントラ予測部３１０において生成された予測画像とを加算し、復号対象ブロックにおける復号画像を生成する。メモリ９は、生成された復号画像（Ｍ×Ｍ画素ブロック）を記憶し、記憶された復号画像は、隣接ブロックにおけるイントラ予測に用いられる。画像復号装置３５０は、以上の処理を復号対象画像を構成する全ての復号対象ブロックについて繰り返す。
【非特許文献１】ISO/IEC 14496-10:2004 Advanced Video Coding
【非特許文献２】Asker M. Bazen, Sabih H. Gerez. “Systematic Methods for the Computation of the Directional Fields and Singular Points of Fingerprints”, IEEE Trans. On Pattern Analysis and Machine Intelligence, Vol.24, No7 July 2002
【特許文献１】日本国公開特許公報「特開２００７−１１６３５１号公報（公開日：平成１９年５月１０日）」
【発明の開示】
【００４７】
従来の画像符号化装置３００におけるイントラ予測では、予測効率が低下する問題がある。この具体例を図７２の（ａ）および（ｂ）に示す。図７２の（ａ）は、縦縞模様の画像Ｆ５１と、復号画像を基に垂直方向予測（図６６におけるモード０）により生成された予測画像Ｆ５２とから、差分である予測残差データＦ５３を得る具体例を示す図である。また、図７２の（ｂ）は、斜め右方向にエッジが形成されている斜縞模様の画像Ｆ５４と、復号画像を基に斜右下方向予測（図６６におけるモード４）により生成された予測画像Ｆ５５とから、差分である予測残差データＦ５６を得る具体例を示す図である。
【００４８】
図７２の（ａ）および（ｂ）のいずれの場合であっても、予測画像Ｆ５２およびＦ５５では、原画像である画像Ｆ５１およびＦ５４の模様部分の一部しか再現できない。さらに原画像にはない画素が形成されている。結果として、予測画像では打ち消すことができない原画像上の画素だけでなく、原画像にはない画素値が予測残差データとなってしまう。
【００４９】
図６７の（ａ）における予測残差データＦ４３の上記式（１）による予測残差コストは「１２７５」である。一方、図７２の（ａ）における予測残差データＦ５３の予測残差コストは「５３５５」である。つまり後者の方が大きい。
【００５０】
また、図６７の（ｂ）における予測残差データＦ４６の予測残差コストは「７６５」である。一方、図７２の（ｂ）における予測残差データＦ５６の予測残差コストは「４８４５」である。つまりこれらを絶対値和により比較すると、後者の方が大きい。
【００５１】
一般的に、予測残差コストが大きくなるほど予測残差データを符号化するために要する符号量は増加する。結果、図７２の（ａ）および（ｂ）の場合には予測効率が低下する。
【００５２】
すなわち、従来の画像符号化装置では、予測対象画像の模様（エッジ）の方向が予め固定されたモード０〜８の予測方式の予測方向のいずれとも異なる場合には、予測効率が低下する問題を有している。
【００５３】
本発明は、上記の問題点に鑑みてなされたものであり、その主たる目的は、より多様な角度からの予測を可能とし、予測効率を向上させた画像符号化装置、画像符号化方法、プログラム、および記録媒体を提供することにある。また、当該符号化された画像を復号する画像復号装置および画像復号方法を提供することも、本発明の目的である。
【００５４】
また、非特許文献１の場合、予測モードの推定値は予測モードの値の大小に依存し、図６９において、当該ブロックＢ１に隣接する左ブロックＢ２、上ブロックＢ４のいずれの予測モードを推定値とするかを任意に選択することができない。したがって、当該ブロックＢ１と隣接ブロックＢ２、Ｂ４の相関性を十分に利用できず予測精度が低いため、予測モードを表すのに要する符号量が増加する問題がある。
【００５５】
上記の問題点について、図７３を参照して以下に説明する。具体的には、図６８に示す９種類の予測モードの中の推定値を除く残り８種類のいずれかであるかを表す相対予測モード情報の３ビットと、当該ブロックにおける予測モードが推定値と一致する場合におけるフラグ「１」、または、一致しない場合におけるフラグ「０」の１ビットとの計４ビットで固定長符号化する場合を例に挙げて説明する。
【００５６】
図７３は、当該ブロックＤ１の予測モード「５」を、隣接する左ブロックＤ２の予測モード「５」、および上ブロックＤ３の予測モード「３」により予測符号化する例を表した図である。図７３では、当該ブロックＤ１の予測モードの推定値は、左ブロックＤ２、上ブロックＤ３の予測モードのうち、予測モードの値が小さい「３」となる。当該ブロックＤ１の予測モード「５」を符号化するには、推定値が当該ブロックの予測モードと異なるため、４ビット必要となる。しかし、仮に左ブロックＤ２の予測モード「５」を推定値とすることが出来れば、符号量は１ビットで良い。
【００５７】
特許文献１では、第１予測手段による推定値１を決定するために、図７０における符号化済み領域Ｃ２または符号化済み領域Ｃ３内のブロックにおいて用いられた予測モードをすべて記憶して保持する必要があるため、メモリを多く必要とする。さらに、第２予測手段による推定値２を決定するためには、上述したように、図６８に示すイントラ予測方法に応じた予測画像を再度生成し、予測画像と復号画像との差分とる必要があるため、計算量が増加するという欠点がある。
【００５８】
本発明は、上記の各問題点に鑑みてなされたものであり、その主たる目的は、予測モードに関する符号量を効率的に削減する画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、プログラムおよび記録媒体を提供することである。
【００５９】
本発明に係る第１の画像符号化装置は、上記の課題を解決するために、
入力画像を符号化する画像符号化装置であって、
予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットであって、当該予測セットを複数含む予測セット群から、画像を構成する所定の単位毎に、上記予測セット群の中から１つの予測セットを選択する第１の選択手段と、
所定の単位に含まれるサブブロック毎に、上記第１の選択手段において選択された上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第２の選択手段と、
選択された上記予測セットおよび上記予測モードを用いて、上記サブブロックの予測画像を作成する予測手段と、
入力画像と予測画像との残差データならびに選択した上記予測セットおよび上記予測モードを符号化する符号化手段と、
を備えていることを特徴としている。
【００６０】
上記の構成によれば、画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、予測セットおよび予測モードを選択する。そして、選択した予測セットおよび予測モードを用いて画像を符号化する。したがって、従来よりも多様な角度からの予測が可能になるので、画像の符号量をより減らすことができ、かつ、画質を向上させることができる効果を奏する。
【００６１】
また上記画像符号化装置は、予測方式を予測セット情報と予測モード情報で階層的に表現することによって、予測方式を選択する自由度が高まり、予測方式を表すのに必要な符号量の増加を防ぎつつ、予測効率を上げることができる効果を奏する。
【００６２】
本発明に係る画像符号化方法は、上記の課題を解決するために、
入力画像を符号化する画像符号化方法であって、
予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットであって、当該予測セットを複数含む予測セット群から、画像を構成する所定の単位毎に、上記予測セット群の中から１つの予測セットを選択する第１の選択ステップと、
所定の単位に含まれるサブブロック毎に、上記第１の選択手段において選択された上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第２の選択ステップと、
選択された上記予測セットおよび上記予測モードを用いて、上記サブブロックの予測画像を作成する予測ステップと、
入力画像と予測画像との残差データならびに選択した上記予測セットおよび上記予測モードを符号化する符号化ステップと、
を含むことを特徴としている。
【００６３】
上記の構成によれば、本発明に係る第１の画像符号化装置と同様の作用効果を奏する。
【００６４】
本発明に係る第２の画像符号化装置は、さらに、上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出手段を備えていることが好ましい。
【００６５】
上記の構成によれば、画像を構成する所定の単位毎に、当該画像のエッジ情報を算出する。たとえば、エッジ情報として、画像のエッジ方向、エッジ強度あるいはこれらの分布情報を算出する。すなわち、第２の画像符号化装置は、予測セット群から、算出したエッジ情報に応じた予測セットを選択し、また当該予測セットから算出したエッジ情報に応じた予測モードを選択する。たとえば、エッジ情報が水平方向のエッジが偏っていることを表しているなら、水平方向の予測を重視した予測セットを用いて画像を符号化する。一方、エッジ情報が垂直方向のエッジが偏っていることを表しているなら、垂直方向の予測を重視した予測セットを用いて符号化する。
【００６６】
これによりよって、画像のエッジ情報に応じた最適な予測セットを用いて、画像を符号化する。したがって、従来よりも多様な角度からの予測が可能になるため、画像の符号量をより減らすことができ、かつ、画質を向上させることができる効果を奏する。
【００６７】
本発明に係る第２の画像符号化方法は、さらに、上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出ステップを含むことが好ましい。
【００６８】
上記の構成によれば、本発明に係る第２の画像符号化装置と同様の作用効果を奏する。
【００６９】
本発明に係る第３の画像符号化装置は、さらに、上記予測セット群に含まれる複数の上記予測セットおよび当該予測セットに含まれる複数の上記予測モードから、上記エッジ情報に基づいて予測セットおよび予測モードを設定する設定手段と、
設定された上記予測セットおよび予測モードに対応する、予測方向および予測方法の情報を符号化する符号化手段と、
を備えていることが好ましい。
【００７０】
上記の構成によれば、画像を構成する各フレームから、当該フレームのエッジ情報を算出する。たとえばエッジ情報として、画像のエッジ方向、エッジ強度、あるいはこれらの分布情報を算出する。したがって、画像符号化装置は、エッジ方向に関する分布情報に基づいて、エッジ方向を効率良く近似する複数の予測方向を決定し、各予測セットを構成する予測モードの組み合わせを決定する。
【００７１】
たとえば、エッジ方向に関する分布情報が、水平方向のエッジが偏っていることを表しているなら、水平方向の予測を細かく、垂直方向の予測を粗くした最適な予測モードの組み合わせによる複数の予測セットが自動的に決定される。これにより、水平方向の予測に適した複数の予測セットの中より、符号化対象ブロックのエッジ方向に応じた予測セットを切り替えて画像を符号化する。一方、エッジ方向に関する分布情報が垂直方向のエッジが偏っていることを表しているなら、垂直方向の予測を細かく、水平方向の予測を粗くした最適な予測モードの組み合わせによる複数の予測セットが自動的に決定される。
【００７２】
これによって、垂直方向の予測に適した複数の予測セットの中より、符号化対象ブロックのエッジ方向に応じた予測セットを切り替えて画像を符号化できる。
【００７３】
すなわち、画像符号化装置は、画像に応じて、予測セット中の予測モードを自動的に組み合わせた画像に最適な複数の予測セットを作成し、この中から符号化対象ブロックのエッジ方向に応じた予測セットを切り替えることによって、予め定められた予測セットを使用する場合よりもさらに予測効率を上げることができる効果を奏する。
【００７４】
本発明に係る第３の画像符号化方法は、さらに、上記予測セット群に含まれる複数の上記予測セットおよび当該予測セットに含まれる複数の上記予測モードから、上記エッジ情報に基づいて予測セットおよび予測モードを設定する設定ステップと、
設定された上記予測セットおよび予測モードに対応する、予測方向および予測方法の情報を符号化する符号化ステップと、
を含むことが好ましい。
【００７５】
上記の構成によれば、本発明に係る第３の画像符号化装置と同様の作用効果を奏する。
【００７６】
本発明に係る第１の画像復号装置は、上記課題を解決するために、
画像の符号化データを復号する画像復号装置であって、
互いに異なる予測方向および予測方法に対応した予測モードを複数含む予測セットから、符号化データより画像を構成する所定の単位毎に予測セットを復号すると共に、所定の単位に含まれるサブブロック毎に予測モードと差分データを復号する復号手段と、
復号された上記予測セットおよび上記予測モードを用いて、上記サブブロックの予測画像を作成する予測手段と、
上記差分データと上記予測画像とを加算する加算手段と、
を備えていることを特徴としている。
【００７７】
上記の構成によれば、画像復号装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群を有している。画像復号装置は、画像を構成する各ブロックにおいて、予測セット群から、復号対象ブロックにいずれの予測セットを用いるかを表す予測セット情報を、相対予測セット情報と復号済み予測セット情報より復号する。復号対象ブロックをさらに分割したサブブロック毎に、当該サブブロックに隣接するサブブロックの局所復号画像を用いて、当該ブロックを構成する全サブブロックに共通に用いる予測セット情報と当該サブブロックにおいて復号された予測モード情報から定まるイントラ予測を行い、当該サブブロックの予測画像を生成し、その予測画像と当該サブブロックの復号予測残差データを合成して、当該サブブロックの画像を復元する。
【００７８】
たとえば、予測セット情報が水平方向の予測を重視した予測セットを表すならば、水平方向を中心により細かい角度からの予測画像を生成することができる。また予測セット情報が垂直方向の予測を重視した予測セットを表すならば、垂直方向を中心により細かい角度からの予測画像を生成することができる。
【００７９】
したがって、画像復号装置は、従来よりも多様な角度からの予測を用いた復号処理が可能になるので、より効率良くエッジ部を再現することができ、これにより画質を向上させることができる効果を奏する。
【００８０】
また、画像復号装置は、予測セットと予測モードの２段階で予測することによって、高い予測精度を実現しつつ、符号量の増加を防ぐことができる効果を奏する。
【００８１】
本発明に係る第１の画像復号方法は、上記課題を解決するために、
画像の符号化データを復号する画像復号方法であって、
互いに異なる予測方向および予測方法に対応した予測モードを複数含む予測セットから、符号化データより画像を構成する所定の単位毎に予測セットを復号すると共に、所定の単位に含まれるサブブロック毎に予測モードと差分データを復号する復号ステップと、
復号された上記予測セットおよび上記予測モードを用いて、上記サブブロックの予測画像を作成する予測ステップと、
上記差分データと上記予測画像とを加算する加算ステップと、
を含むことを特徴としている。
【００８２】
上記の構成によれば、本発明に係る第１の画像復号装置と同様の作用効果を奏する。
【００８３】
本発明に係る第２の画像復号装置は、さらに、上記予測セットおよび上記予測モードに対応する予測方法および予測方法に関する情報を復号する復号手段と、
復号した上記予測方向および上記予測方法を、上記予測セットおよび上記の予測モードに設定する設定手段と、
を備えていることが好ましい。
【００８４】
上記構成によれば、画像の符号化データを構成する各フレームにおいて、復号対象フレームに用いる複数の予測セット中の各予測モードに割り当てる予測方式を表す予測セット定義情報を，相対予測セット定義情報と復号済み予測セット定義情報より作成する。そして、復号対象フレームを構成するブロック（Ｍ×Ｍ画素ブロック）毎に、当該ブロックに用いる予測セットを復号する。さらに、ブロックを構成するサブブロック（Ｎ×Ｎ画素ブロック）毎に、当該サブブロックに隣接するサブブロックの局所復号画像を用いると共に、予測セット定義情報を参照し、当該ブロックを構成する全サブブロックにおいて共通で用いる予測セット情報と当該サブブロックにおいて復号された予測モード情報とによって定まるイントラ予測を行い、当該サブブロックの予測画像を生成する。最後に、生成した予測画像と当該サブブロックの復号予測残差データとを合成し、当該サブブロックの画像を復元する。
【００８５】
これによって、たとえば、予測セット定義情報が水平方向の予測を重視した予測セット定義を表すならば、水平方向を中心により細かい角度からの予測画像を生成することができる。また予測セット定義情報が垂直方向の予測を重視した予測セットを表すならば、垂直方向を中心により細かい角度からの予測画像を生成することができる。
【００８６】
したがって、画像復号装置は、画像に応じて複数の予測セット中の予測モードを適応的に定義することが可能であり、この中から、復号対象ブロックのエッジ方向に最適な予測をすることができる。その結果、予め定められた予測セットを使用する場合よりも、さらに予測効率を上げることができる効果を奏する。
【００８７】
また予測方式を予測セットと予測モードを用いて階層的に表現しているため、符号量を増加させることなく、予測効率を上げることができる効果を奏する。
【００８８】
本発明に係る第２の画像復号方法は、さらに、上記予測セットおよび上記予測モードに対応する予測方法および予測方法に関する情報を復号する復号ステップと、
復号した上記予測方向および上記予測方法を、上記予測セットおよび上記の予測モードに設定する設定ステップと、
を含むことが好ましい。
上記の構成によれば、本発明に係る第２の画像復号方法と同様の作用効果を奏する。
【００８９】
本発明に係る第４の画像符号化装置は、さらに、
当該サブブロックの予測モードの推定に用いる符号化済み隣接サブブロックの参照方向を決定する第１の決定手段と、
選択された上記予測セットおよび上記決定された参照方向により定まる符号化済み隣接サブブロックの予測モードに基づいて、当該サブブロックの予測モードの推定値を決定する第１の推定手段と、
上記決定した予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成手段と、
上記生成した相対情報ならびに上記決定した参照方向を符号化する符号化手段と、
を備えていることが好ましい。
【００９０】
上記の構成によれば、画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、予測セットおよび予測モードを選択する。そして、選択した予測セットおよび予測モードを用いて画像を符号化する。したがって、従来よりも多様な角度からの予測が可能になるので、画像の符号量をより減らすことができ、かつ、画質を向上させることができる効果を奏する。
【００９１】
また上記構成によれば、画像符号化装置は、予測モードの推定に用いる符号化済み隣接サブブロックを指定することが可能となるため、予測モードの推定効率が高まり、予測モードを表すのに要する符号量を効率的に削減させることができる効果を奏する。
【００９２】
本発明に係る第４の画像符号化方法は、さらに、
当該サブブロックの予測モードの推定に用いる符号化済み隣接サブブロックの参照方向を決定する第１の決定ステップと、
選択された上記予測セットおよび上記決定された参照方向により定まる符号化済み隣接サブブロックの予測モードに基づいて、当該サブブロックの予測モードの推定値を決定する第１の推定ステップと、
上記決定した予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成ステップと、
上記生成した相対情報ならびに上記決定した参照方向を符号化する符号化ステップと、
を含むことが好ましい。
【００９３】
上記の構成によれば、本発明に係る第４の画像符号化装置と同様の作用効果を奏する。
【００９４】
本発明に係る第４の画像復号装置は、さらに、
上記予測モードの相対情報ならびに当該サブブロックの予測モードの推定に用いる復号済み隣接サブブロックの方向を表す参照方向を復号する復号手段と、
復号された上記予測セットおよび上記復号された参照方向により定まる復号済み隣接サブブロックの予測モードに基づいて、当該サブブロックの予測モードの推定値を決定する第１の推定手段と、
上記決定した予測モードの推定値と上記復号した予測モードの相対情報から当該サブブロックに用いる予測モードを復号する復号手段と、
を備えていることが好ましい。
【００９５】
上記の構成によれば、画像復号装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群を有している。画像復号装置は、画像を構成する各ブロックにおいて、予測セット群から、復号対象ブロックにいずれの予測セットを用いるかを表す予測セット情報を、相対予測セット情報と復号済み予測セット情報より復号する。復号対象ブロックをさらに分割したサブブロック毎に、当該サブブロックに隣接するサブブロックの局所復号画像を用いて、当該ブロックを構成する全サブブロックに共通に用いる予測セット情報と当該サブブロックにおいて復号された予測モード情報から定まるイントラ予測を行い、当該サブブロックの予測画像を生成し、その予測画像と当該サブブロックの復号予測残差データを合成して、当該サブブロックの画像を復元する。
【００９６】
たとえば、予測セット情報が水平方向の予測を重視した予測セットを表すならば、水平方向を中心により細かい角度からの予測画像を生成することができる。また予測セット情報が垂直方向の予測を重視した予測セットを表すならば、垂直方向を中心により細かい角度からの予測画像を生成することができる。
【００９７】
したがって、画像復号装置は、従来よりも多様な角度からの予測を用いた復号処理が可能になるので、より効率良くエッジ部を再現することができ、これにより画質を向上させることができる効果を奏する。
【００９８】
また上記構成によれば、画像復号装置は、予測モードの推定に用いる復号済み隣接サブブロックを指定することが可能となるため、予測モードの推定効率が高まり、予測モードを復号するのに要する符号量を効率的に削減させることができる効果を奏する。
【００９９】
本発明に係る第４の画像復号方法は、さらに、
上記予測モードの相対情報ならびに当該サブブロックの予測モードの推定に用いる復号済み隣接サブブロックの方向を表す参照方向を復号する復号ステップと、
復号された上記予測セットおよび上記復号された参照方向により定まる復号済み隣接サブブロックの予測モードに基づいて、当該サブブロックの予測モードの推定値を決定する第１の推定ステップと、
上記決定した予測モードの推定値と上記復号した予測モードの相対情報から当該サブブロックに用いる予測モードを復号する復号ステップと、
を含むことが好ましい。
【０１００】
上記の構成によれば、本発明に係る第４の画像復号装置と同様の作用効果を奏する。
【０１０１】
本発明に係る第５の画像符号化装置は、さらに、
互いに異なる複数の上記予測セット群を備え、上記複数の予測セット群の中から当該ブロックに用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択手段を備えていることが好ましい。
【０１０２】
上記の構成によれば、画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群であって、互いに異なる上記予測セット群を複数備え、上記複数の予測セット群から、予測せセット群、予測セットならびに予測モードを選択する。そして、選択した予測セット群、予測セットおよび予測モードを用いて画像を符号化する。したがって、従来よりも多様な角度からの予測が可能になるので、画像の符号量をより減らすことができ、かつ、画質を向上させることができる効果を奏する。
【０１０３】
本発明に係る第５の画像符号化方法は、さらに、
互いに異なる上記予測セット群を複数備え、上記複数の予測セット群の中から当該ブロックに用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択ステップを含むことが好ましい。
【０１０４】
上記の構成によれば、本発明に係る第５の画像符号化装置と同様の作用効果を奏する。
【０１０５】
本発明に係る第５の画像復号装置は、さらに、
互いに異なる上記予測セット群を複数備え、上記複数の予測セット群の中から当該ブロックに用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択手段と、
を備えていることが好ましい。
【０１０６】
上記の構成によれば、画像復号装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群であって、互いに異なる前記予測セット群を複数備えている。画像復号装置は、画像を構成する各ブロックにおいて、複数の予測セット群から、復号対象ブロックにいずれの予測セット群を用いるかを、所定の評価基準に基づき決定する。そして、決定された予測セット群から、復号対象ブロックにいずれの予測セットを用いるかを表す予測セット情報を、相対予測セット情報と復号済み予測セット情報より復号する。復号対象ブロックをさらに分割したサブブロック毎に、当該サブブロックに隣接するサブブロックの局所復号画像を用いて、当該ブロックを構成する全サブブロックに共通に用いる予測セット情報と当該サブブロックにおいて復号された予測モード情報から定まるイントラ予測を行い、当該サブブロックの予測画像を生成し、その予測画像と当該サブブロックの復号予測残差データを合成して、当該サブブロックの画像を復元する。
【０１０７】
したがって、画像復号装置は、さらに多様な角度からの予測を用いた復号処理が可能になるので、より効率良くエッジ部を再現することができ、これにより画質を向上させることができる効果を奏する。
【０１０８】
本発明に係る第５の画像復号方法は、さらに、
互いに異なる上記予測セット群を複数備え、上記複数の予測セット群の中から当該ブロックに用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択ステップを備えていることが好ましい。
【０１０９】
上記の構成によれば、本発明に係る第５の画像復号装置と同様の作用効果を奏する。
【０１１０】
本発明に係る第６の画像符号化装置は、上記の課題を解決するために、
入力画像を符号化する画像符号化装置であって、
予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットを１つ備え、所定の単位に含まれるサブブロック毎に、上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第１の選択手段と、
上記予測セットおよび選択された上記予測モードを用いて、上記サブブロックの予測画像を作成する予測手段と、
入力画像と予測画像との残差データならびに選択した上記予測モードを符号化する符号化手段とを備えており、
上記予測モードを符号化する符号化手段は、
選択された上記予測モードの推定に用いる符号化済み隣接サブブロックを所定の評価基準に基づき決定する第１の決定手段と、
上記決定された符号化済み隣接サブブロックの予測モードに基づいて、符号化対象サブブロックである当該サブブロックの予測モードの推定値を決定する第１の推定手段と、
決定した上記予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成手段と、
生成した上記相対情報を符号化する符号化手段と、
を備えていることを特徴としている。
【０１１１】
上記の構成によれば、画像符号化装置は、符号化対象サブブロックと最も相関の高い符号化済み隣接サブブロックより予測モードの推定することが可能となるため、予測モードの推定効率が高まり、予測モードを表すのに要する符号量を効率的に削減させ、従来よりもさらに符号化効率を高めることができる効果を奏する。
【０１１２】
本発明に係る第６の画像符号化方法は、上記の課題を解決するために、
入力画像を符号化する画像符号化方法であって、
予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットを１つ備え、所定の単位に含まれるサブブロック毎に、上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第１の選択ステップと、
上記予測セットおよび選択された上記予測モードを用いて、上記サブブロックの予測画像を作成する予測ステップと、
入力画像と予測画像との残差データならびに選択した上記予測モードを符号化する符号化ステップとを含み、
上記予測モードを符号化する符号化ステップは、
選択された上記予測モードの推定に用いる符号化済み隣接サブブロックを所定の評価基準に基づき決定する第１の決定ステップと、
決定された上記符号化済み隣接サブブロックの予測モードに基づいて、符号化対象サブブロックである当該サブブロックの予測モードの推定値を決定する第１の推定ステップと、
決定した上記予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成ステップと、
生成した上記相対情報を符号化する符号化ステップと、
を含むことを特徴としている。
【０１１３】
上記の構成によれば、本発明に係る第６の画像符号化装置と同様の作用効果を奏する。
【０１１４】
本発明に係る第６の画像復号装置は、上記課題を解決するために、
画像の符号化データを復号する画像復号装置であって、
互いに異なる予測方向および予測方法に対応した予測モードを複数含む１つの予測セットから、符号化データより画像を構成する所定の単位に含まれるサブブロック毎に予測モードと差分データを復号する復号手段と、
復号された上記予測モードを用いて、上記サブブロックの予測画像を作成する予測手段と、
上記差分データと上記予測画像とを加算する加算手段と、
を備えており、
上記予測モードを復号する復号手段は、
上記予測モードの相対情報を復号する復号手段と、
上記予測モードの推定に用いる復号済み隣接サブブロックを所定の評価基準に基づき決定する第１の決定手段と、
決定された上記復号済み隣接サブブロックの予測モードに基づいて、復号対象サブブロックである当該サブブロックの予測モードの推定値を決定する第１の推定手段と、
決定した上記予測モードの推定値と上記復号された予測モードの相対情報から当該サブブロックの予測モードを復号する復号手段と、
を備えていることを特徴としている。
【０１１５】
上記の構成によれば、画像復号装置は、復号対象サブブロックと最も相関の高い復号済み隣接サブブロックより予測モードの推定することが可能となるため、予測モードの推定効率が高まり、予測モードを復号するのに要する符号量を効率的に削減させ、従来よりもさらに復号効率を高めることができる効果を奏する。
【０１１６】
本発明に係る第６の画像復号方法は、上記課題を解決するために、
画像の符号化データを復号する画像復号方法であって、
互いに異なる予測方向および予測方法に対応した予測モードを複数含む１つの予測セットから、符号化データより画像を構成する所定の単位に含まれるサブブロック毎に予測モードと差分データを復号する復号ステップと、
復号された上記予測モードを用いて、上記サブブロックの予測画像を作成する予測ステップと、
上記差分データと上記予測画像とを加算する加算ステップと、
を含み、
上記予測モードを復号する復号ステップは、
上記予測モードの相対情報を復号する復号ステップと、
上記予測モードの推定に用いる復号済み隣接サブブロックを所定の評価基準に基づき決定する第１の決定ステップと、
決定された上記復号済み隣接サブブロックの予測モードに基づいて、復号対象サブブロックである当該サブブロックの予測モードの推定値を決定する第１の推定ステップと、
上記決定した予測モードの推定値と上記復号された予測モードの相対情報から当該サブブロックの予測モードを復号する復号ステップと、
を含むことを特徴としている。
【０１１７】
上記の構成によれば、本発明に係る第６の画像復号装置と同様の作用効果を奏する。
【０１１８】
なお、上記画像符号化装置および上記画像復号装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記画像符号化装置または上記画像復号装置をコンピュータにおいて実現するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１１９】
本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。
【図面の簡単な説明】
【０１２０】
【図１】実施形態１に係る画像符号化装置の要部構成を示すブロック図である。
【図２】実施形態１に係る画像符号化プロセスの概要を示すフローチャートである。
【図３】実施形態１に係るエッジ情報の詳細な決定プロセスを示すフローチャートである。
【図４】エッジ解析部において検出されるエッジの具体例を示した図であり、（ａ）は横縞模様が形成された原画像であり、（ｂ）はそれから検出されるエッジ画像であり、（ｃ）は縦縞模様が形成された原画像であり、（ｄ）はそれから検出されるエッジ画像であり、（ｅ）はねじれ模様が形成された原画像であり、（ｆ）はそれから検出されるエッジ画像である。
【図５】エッジ解析部において検出したエッジ画像におけるエッジ方向分布を示した図であり、（ａ）は水平方向にエッジが集中している場合であり、（ｂ）は垂直方向にエッジが集中している場合であり、（ｃ）は水平方向および垂直方向にエッジが集中している場合である。
【図６】実施形態１における各予測セットのうち、ＤＣ予測を除いた残りの予測モードを示す図であり、（ａ）〜（ｄ）はそれぞれ予測セット０〜３に対応している。
【図７】予測セット情報の詳細な決定プロセスを示すフローチャートである。
【図８】実施形態１に係る画像符号化装置における相対予測セット情報作成部の構成を示すブロック図である。
【図９】予測セット情報予測部における予測に用いる符号化済みブロックの位置の一例を示す図である。
【図１０】相対予測セット情報作成部における予測セット情報の符号化プロセスを示すフローチャートである。
【図１１】予測方向θからの予測画像生成方法について示した図である。
【図１２】予測方向θからの予測画像生成方法において用いる参照画素領域の一例を示す図であり、（ａ）はＫ＝２Ｎ、Ｌ＝２Ｎの場合であり、（ｂ）はＫ＝Ｎ、Ｌ＝２Ｎの場合であり、（ｃ）はＫ＝２Ｎ，Ｌ＝Ｎの場合であり、（ｄ）はＫ＝Ｎ、Ｌ＝Ｎの場合であり、（ｅ）はＫ＝０、Ｌ＝２Ｎの場合であり、（ｆ）はＫ＝Ｎ、Ｌ＝０の場合である。
【図１３】本発明に係る符号化単位の関係を模式的に示した図であり、（ａ）はＧＯＰを示し、（ｂ）はピクチャ（フレーム）を示し、（ｃ）はスライスを示し、（ｄ）はマクロブロックを示し、（e）はブロックを示す。
【図１４】実施形態２に係る画像復号装置の要部構成を示すブロック図である。
【図１５】実施形態２に係る画像復号プロセスの概要を示すフローチャートである。
【図１６】実施形態２に係る画像復号装置における予測セット情報作成部の構成を示すブロック図である。
【図１７】予測セット情報作成部における予測セット情報の作成プロセスを示すフローチャートである。
【図１８】実施形態３に係る画像符号化装置の要部構成を示すブロック図である。
【図１９】実施形態３に係る画像符号化プロセスの概要を示すフローチャートである。
【図２０】予測セット情報の詳細な決定プロセスを示すフローチャートである。
【図２１】水平方向にエッジが集中している場合のエッジ方向ヒストグラムを示す図である。
【図２２】水平方向にエッジが集中している場合のエッジ方向ヒストグラムから得られるエッジ方向累積度数分布を示す図である。
【図２３】予測方向θnと予測方向θn+1との位置関係を表す図である。
【図２４】実施形態３に係る画像符号化装置における相対予測セット定義情報作成部の構成を示すブロック図である。
【図２５】相対予測セット定義情報作成部における予測セット定義情報の符号化プロセスを示すフローチャートである。
【図２６】実施形態４に係る画像復号装置の要部構成を示すブロック図である。
【図２７】実施形態４に係る画像復号プロセスの概要を示すフローチャートである。
【図２８】実施形態４に係る画像復号装置における予測セット定義情報作成部の構成を示すブロック図である。
【図２９】予測セット定義情報作成部における予測セット定義情報の作成プロセスを示すフローチャートである。
【図３０】実施形態５に係る画像符号化装置の要部構成を示すブロック図である。
【図３１】相対予測モード情報作成部の構成を示すブロック図である。
【図３２】実施形態５に係る画像符号化プロセスの概要を示すフローチャートである。
【図３３】サブブロックグループを説明する図であり、（ａ）は対象ブロックおよびサブブロックのサイズＭ、ＮがＮ＝Ｍ／４である場合のサブブロックグループであり、（ｂ）は、対象ブロックおよびサブブロックのサイズＭ、ＮがＮ＝Ｍ／２である場合のサブブロックグループである。
【図３４】参照方向組み合わせテーブルに基づく参照サブブロックの方向を示した図である。
【図３５】符号化対象サブブロックと参照サブブロックの位置関係を表す図であり、（ａ）は、参照方向「０」における符号化対象サブブロックＰと参照サブブロックＱの位置関係であり、（ｂ）は、参照方向「１」における符号化対象サブブロックＰと参照サブブロックＱの位置関係である。
【図３６】相対予測モード情報を生成する詳細なプロセスを示すフローチャートである。
【図３７】符号化パラメータ（ｓ, ｐ, Ｍ）の決定のプロセスを表すフローチャートである。
【図３８】実施形態６に係る画像復号装置の要部構成を示すブロック図である。
【図３９】予測モード情報作成部の構成を示すブロック図である。
【図４０】実施形態６に係る画像復号プロセスの概要を示すフローチャートである。
【図４１】予測モード情報を生成する詳細なプロセスを示すフローチャートである。
【図４２】実施形態７に係る画像符号化装置の要部構成を示すブロック図である。
【図４３】相対予測モード情報作成部の構成を示すブロック図である。
【図４４】当該サブブロックおよびその周辺に位置する符号化済みサブブロックを示す図である。
【図４５】実施形態７に係る画像符号化プロセスの概要を示すフローチャートである。
【図４６】対象サブブロックＰを基点（０，０）として、水平方向をＸ軸、垂直方向をＹ軸と定めるときの、Ｐに対するＱの相対位置を表す図である。
【図４７】相対予測モード情報を生成する詳細なプロセスを示すフローチャートである。
【図４８】実施形態７に係る画像符号化装置の変形例の要部構成を示すブロック図である。
【図４９】変形例における相対予測モード情報作成部の構成を示すブロック図である。
【図５０】実施形態８に係る画像復号装置の要部構成を示すブロック図である。
【図５１】予測モード情報作成部の構成を示すブロック図である。
【図５２】実施形態８に係る画像復号プロセスの概要を示すフローチャートである。
【図５３】予測モード情報を生成する詳細なプロセスを示すフローチャートである。
【図５４】実施形態８に係る画像復号装置の変形例の要部構成を示すブロック図である。
【図５５】変形例における予測モード情報作成部の構成を示すブロック図である。
【図５６】実施形態９に係る画像符号化装置の要部構成を示すブロック図である。
【図５７】相対予測セット情報作成部の構成を示すブロック図である。
【図５８】実施形態９に係る画像符号化プロセスの概要を示すフローチャートである。
【図５９】予測セット群選択時の動作プロセスを示すフローチャートである。
【図６０】相対予測セット情報作成部の動作プロセスを示すフローチャートである。
【図６１】実施形態１０に係る画像復号装置の要部構成を示すブロック図である。
【図６２】予測セット情報作成部の構成を示すブロック図である。
【図６３】実施形態１０に係る画像復号プロセスの概要を示すフローチャートである
【図６４】予測セット情報作成部の動作プロセスを示すフローチャートである。
【図６５】従来の画像符号化装置の要部構成を示すブロック図である。
【図６６】符号化対象ブロックをイントラ予測するための予測モードの一例を示した図である。
【図６７】従来の画像符号化装置におけるイントラ予測の具体例を示す図であり、（ａ）は縦縞模様の画像から予測残差データを得る具体例であり、（ｂ）は斜縞模様の画像から予測残差データを得る具体例である。
【図６８】４×４画素ブロック、８×８画素ブロックのイントラ予測における予測モードを示す図である。
【図６９】当該ブロックと隣接ブロックとの位置関係を示す図である。
【図７０】当該ブロックと符号化済み領域との位置関係を示す図である。
【図７１】従来の画像復号装置の要部構成を示すブロック図である。
【図７２】従来の画像符号化装置におけるイントラ予測の他の具体例を示す図であり、（ａ）は縦縞模様の画像から予測残差データを得る具体例であり、（ｂ）は斜縞模様の画像から予測残差データを得る具体例である。
【図７３】当該ブロックＤ１の予測モードを、隣接する左ブロックＤ２の予測モード、および上ブロックＤ３の予測モードにより予測符号化する場合を示す図である。
【符号の説明】
【０１２１】
１        差分演算部
２        直交変換部
３        量子化部
４        エントロピー符号化部（符号化手段）
５        エントロピー復号部（復号手段）
６        逆量子化部
７        逆直交変換部
８        加算演算部
９        メモリ
１０      イントラ予測部（符号化手段、復号手段）
１１      予測モード決定部（第２の選択手段）
１２      エッジ解析部（算出手段）
１３      予測セット決定部（第１の選択手段）
１４      符号化パラメータ決定部（選択手段）
１５      予測セット群選択部（選択手段）
５１      相対予測セット情報作成部（符号化手段）
５２      予測セット情報作成部（復号手段）
５３      相対予測セット定義情報作成部（符号化手段）
５４      予測セット定義情報作成部（復号手段）
６１      相対予測モード情報作成部（符号化手段）
６２      予測モード情報作成部（復号手段）
１００    画像符号化装置
１５０    画像復号装置
２００    画像符号化装置
２０４    エントロピー符号化部（符号化手段）
２０５    エントロピー復号部（復号手段）
２１０    イントラ予測部（符号化手段、復号手段）
２１１    予測モード決定部（第２の選択手段）
２１２    エッジ解析部（算出手段）
２１３    予測セット決定部（第１の選択手段）
２１４    予測セット定義決定部
２５０    画像復号装置
３００    画像符号化装置
３０４    エントロピー符号化部（符号化手段）
３０５    エントロピー復号部
３１０    イントラ予測部
３１１    予測モード決定部
３５０    画像復号装置
５００    画像符号化装置
５０４    エントロピー符号化部
５０５    エントロピー復号部
５１１    相対予測セット予測情報生成部
５１２    予測セット情報予測部
５１３    予測セット情報格納部
５２１    予測セット情報生成部
５３１    相対予測セット定義情報生成部
５３２    予測セット定義情報予測部
５３３    予測セット定義情報格納部
５４１    予測セット定義情報生成部
５５０    画像復号装置
６００    画像符号化装置
６００ｂ  画像符号化装置
６５０    画像復号装置
６５０ｂ  画像復号装置
６６１    相対予測モード情報作成部
６６１ｂ  相対予測モード情報作成部
６６２    格納部
６６３    参照位置決定部
６６３ｂ  参照位置決定部
６６４    予測モード情報推定部
６６５    相対予測モード情報生成部
６６６    予測モード情報作成部
６６６ｂ  予測モード情報作成部
６６７    格納部
６６８    参照位置決定部
６６８ｂ  参照位置決定部
６６９    予測モード情報推定部
６７０    予測モード情報生成部
７００    画像符号化装置
７１０    イントラ予測部（符号化手段、復号手段）
７１４    符号化パラメータ決定部（選択手段）
７５０    画像復号装置
７５１    相対予測セット情報作成部（符号化手段）
７５２    格納部
７５３    予測セット情報予測部
７５４    相対予測セット情報生成部
７５５    予測セット情報作成部（復号手段）
７５６    格納部
７５７    予測セット情報予測部
７５８    予測セット情報生成部
【発明を実施するための最良の形態】
【０１２２】
〔実施形態１〕
本発明に係る画像符号化装置を実施形態１として、図１〜図１３を参照して以下に説明する。【０１２３】
（画像符号化装置１００の構成）
まず、本実施形態に係る画像符号化装置１００の構成について、図１を参照して以下に説明する。図１は、本実施形態に係る画像符号化装置１００の構成を示すブロック図である。画像符号化装置１００は、差分演算部１、直交変換部２、量子化部３、エントロピー符号化部４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部１０、予測モード決定部１１、エッジ解析部１２、予測セット決定部１３、および相対予測セット情報作成部５１を備えている（図１）。なお本実施形態では、従来技術において説明していない構成要素であるエントロピー符号化部４、イントラ予測部１０、予測モード決定部１１、エッジ解析部１２、予測セット決定部１３、相対予測セット情報作成部５１について以下に説明する。【０１２４】
（エントロピー符号化部４）
エントロピー符号化部４は、予測残差データ、予測モード情報、相対予測セット情報などをエントロピー符号化し、符号化データを出力する。【０１２５】
（イントラ予測部１０）
イントラ予測部１０は、メモリ９に記憶された局所復号画像を用いて、予測セット情報と予測モード情報により表されるイントラ予測を行い、予測画像を生成する。なお、予測画素の詳細な生成方法について下記に詳述する。【０１２６】
（予測モード決定部１１）
予測モード決定部１１は、入力された符号化対象ブロックの原画像、およびメモリ９から入力された局所復号画像に基づいて、予測セット決定部１３より入力された予測セット情報が表す複数の予測モードから符号化対象ブロックの予測に用いる予測モードを１つ決定する。そして、決定した予測モードを表す予測モード情報を、イントラ予測部１０およびエントロピー符号化部４へ出力する。なお、予測モードの決定には、予測残差コスト最小化法、またはレート歪最適化手法を用いることができる。【０１２７】
（エッジ解析部１２）
エッジ解析部１２は、検出したエッジからエッジ強度およびエッジ方向を算出する。具体的には、入力されたＭ×Ｍ画素ブロックの符号化対象ブロックをさらに分割したＮ×Ｎ画素ブロックのサブブロックごとにエッジ検出を行い、検出したエッジからエッジ強度およびエッジ方向を算出する。【０１２８】
（予測セット決定部１３）
予測セット決定部１３は、符号化対象ブロックに適用する予測セットを決定する。具体的には、エッジ解析部１２において算出された符号化対象ブロックのエッジ方向およびエッジ強度に基づいて、予め定められた予測セット群の中から符号化対象ブロックに適用する予測セットを決定し、決定した予測セットを表す予測セット情報を出力する。なお、予測セット（群）の詳細については、下記に詳述する。【０１２９】
（相対予測セット情報作成部５１）
相対予測セット情報作成部５１は、予測セット決定部１３において決定された符号化対象ブロックに適用する予測セットを表す予測セット情報を、符号化済みの予測セットを表す情報に基づいて予測し、予測に基づくフラグと差分とから予測セットを表した情報（相対予測セット情報）を出力する。なお、相対予測セット情報作成部５１の詳細については、下記に詳述する。【０１３０】
（画像符号化プロセスの概要）
画像符号化装置１００における画像符号化プロセスの概要について、図２を参照して以下に説明する。図２は、画像符号化装置１００における画像符号化プロセスの概要を示すフローチャートである。【０１３１】
（符号化対象ブロックの入力およびエッジ情報の算出）
Ｍ×Ｍ画素ブロックの符号化対象ブロックが画像符号化装置１００に入力されると（ステップＳ１）、エッジ解析部１２は、Ｍ×Ｍ画素ブロックの符号化対象ブロックをＮ×Ｎ画素ブロック（Ｎ≦Ｍ）のサブブロックにさらに分割する（ステップＳ２）。続いて、エッジ解析部１２は、Ｍ×Ｍ画素ブロックを構成する全サブブロックのエッジ強度およびエッジ方向をエッジ情報として算出する（ステップＳ３）。なお、エッジ情報の詳細な算出方法については下記に詳述する。【０１３２】
（予測セットの決定、予測セット情報の符号化）
予測セット決定部１３は、ステップＳ３において算出されたエッジ情報に基づいて、符号化対象ブロックに適用する予測セットを決定し、決定した予測セットを表す情報（以下、予測セット情報とも称する）を予測モード決定部１１、相対予測セット情報作成部５１およびイントラ予測部１０に出力する（ステップＳ４）。予測セット決定部１３から予測セット情報を受けた相対予測セット情報作成部５１は、予測セット情報を符号化済みの予測セットを表す情報に基づいて予測し、相対予測セット情報をエントロピー符号化部４へ出力する（ステップＳ５）。エントロピー符号化部４は、相対予測セット情報をエントロピー符号化して出力する（ステップＳ６）。なお、予測セットの詳細な決定方法、ならびに予測セット情報の詳細な符号化方法および予測セット情報のデータ構造については下記に詳述する。【０１３３】
（予測モードの決定、および予測モード情報の符号化）
予測モード決定部１１は、メモリ９から入力された符号化済み隣接サブブロックにおける局所復号画像より、予測セット決定部１３より入力された予測セット情報の表す複数の予測モードから符号化対象サブブロックの予測に用いる予測モードを決定し、決定した予測モード情報をイントラ予測部１０、およびエントロピー符号化部４へ出力する（ステップＳ７）。エントロピー符号化部４は、入力された予測モード情報をエントロピー符号化し、予測モード情報の符号化データを出力する（ステップＳ８）。ここで、符号化対象サブブロックとは、符号化対象ブロックをＮ×Ｎ画素ブロックに分割して得られたサブブロックを意味している。【０１３４】
（予測画像の生成）
イントラ予測部１０は、メモリ９から入力された符号化済み隣接サブブロックにおける局所復号画像を用いて、上記ステップＳ４で決定された予測セットおよび上記ステップＳ７で決定された予測モードにより定まるイントラ予測を行い、符号化対象サブブロックの予測画像を生成し、差分演算部１、および加算演算部８へ出力する（ステップＳ９）。【０１３５】
（予測残差データの算出）
差分演算部１は、入力された符号化対象サブブロックの原画像と、上記ステップＳ９で生成された予測画像との差分であるＮ×Ｎ画素ブロックの予測残差データを算出し、出力する（ステップＳ１０）。【０１３６】
（直交変換および量子化）
上記ステップＳ１０で算出された予測残差データは、直交変換部２、量子化部３の順に入力され、直交変換・量子化されてエントロピー符号化部４および逆量子化部６へ出力される（ステップＳ１１）。【０１３７】
（逆直交変換および逆量子化）
直交変換・量子化された予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８へ出力される(ステップＳ１２)。【０１３８】
（局所復号画像の生成）
加算演算部８は、ステップＳ１２において逆量子化および逆直交変換された予測残差データと、ステップＳ９において生成した予測画像とを加算し、Ｎ×Ｎ画素ブロックの局所復号画像を生成する（ステップＳ１３）。なお、生成した局所復号画像は、メモリ９に記憶される。【０１３９】
（予測残差データの符号化）
エントロピー符号化部４は、符号化対象サブブロックの量子化済み予測残差データをエントロピー符号化して予測残差データの符号化データを出力する（ステップＳ１４）。【０１４０】
なお、ステップＳ７〜Ｓ１４における処理は、符号化対象ブロックを構成する全てのサブブロックについて行われる。また、ステップＳ１〜Ｓ１４における処理は、符号化対象画像を構成する全てのブロックについて行われる。【０１４１】
（付記事項）
本実施形態では、画像符号化装置１００の符号化プロセスをステップＳ１〜Ｓ１４の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。【０１４２】
（エッジ解析部１２の詳細な動作およびエッジ情報のデータ構造）
エッジ解析部１２において算出するエッジ情報のデータ構造を表１に示す。なお、表１において、「bk」は符号化対象ブロックにおけるサブブロックの位置を表すカウンタを表し、「end_bk」は符号化対象ブロックにおける終端サブブロックの番号を表す。【０１４３】
【表１】
2009004985.tif 000006
【０１４４】
エッジ解析部１２の詳細な動作について、図３を参照して以下に説明する。図３は、エッジ情報の詳細な決定プロセスを示すフローチャートである。【０１４５】
Ｍ×Ｍ画素ブロック（Ｍ≧Ｎ）の符号化対象ブロックが入力されると、エッジ解析部１２は、入力された符号化対象ブロックをさらにＮ×Ｎ画素ブロックのサブブロックに分割し（ステップＳ２０）、符号化対象ブロックにおけるサブブロックの位置を表すカウンタbkをゼロ値に初期化する（ステップＳ２１）。【０１４６】
次に、エッジ解析部１２は、カウンタbkが示すサブブロック（以下、対象サブブロックとも称する）の全画素における勾配ベクトル（水平成分，垂直成分）をオペレータによって算出する（ステップＳ２２）。勾配ベクトルを算出するオペレータとしては、Sobelオペレータ、Prewittオペレータなどを挙げることができる。また、勾配ベクトルは、下記式（７）のように勾配ベクトルを算出する画素位置の上下左右にある画素値の差分により算出してもよい。【０１４７】
【数４】
2009004985.tif 000007
【０１４８】
式中、Ｉ（ｘ，ｙ）は対象サブブロック中の画素位置（ｘ，ｙ）における画素値を示し、Ｇ（ｘ，ｙ）は画素位置（ｘ，ｙ）における勾配ベクトルを示す。【０１４９】
エッジ解析部１２は、ステップＳ２２において算出した対象サブブロック内の全画素単位の勾配ベクトルから、エッジ情報を算出する（ステップＳ２３）。なお、本明細書において、「エッジ情報」とは、対象サブブロックのエッジ方向であるedge_orientation[bk]およびエッジ強度であるedge_strength[bk]を意味する。エッジ方向およびエッジ強度の算出方法については、下記に詳述する。【０１５０】
エッジ解析部１２は、ステップＳ２３において算出した、対象サブブロックのエッジ方向およびエッジ強度をエッジ情報edge_data()に格納し（ステップＳ２４）、カウンタｂｋの値を１つ加算する（ステップＳ２５）。【０１５１】
続いて、エッジ解析部１２は、カウンタbkの値がend_bkの値よりも大きいか否かを判定する（ステップＳ２６）。カウンタbkの示す値が符号化対象ブロックにおける終端サブブロックの位置であるend_bk以下であれば（ステップＳ２６においてＹｅｓ）、次のサブブロック内の全画素における勾配ベクトルを算出する。すなわち、再度ステップＳ２２に戻る。カウンタｂｋの示す値が符号化対象ブロックにおける終端サブブロックの位置であるend_bkより大きい値であれば（ステップＳ２６においてＮｏ）、エッジ情報edge_data()を出力して符号対象化ブロックにおけるエッジ解析の動作を終了する（ステップＳ２７）。【０１５２】
（エッジ方向およびエッジ強度の詳細な算出方法）
ここで、エッジ方向およびエッジ強度の算出方法の具体例について以下に説明する。【０１５３】
エッジ強度は、対象サブブロックにおける画素単位の勾配ベクトルの平均強度を表し、下記式（８）または（９）によって算出することができる。ここで、Ｇｘ、Ｇｙは、それぞれ勾配ベクトルＧ（ｘ，ｙ）のｘ成分、ｙ成分を表す。【０１５４】
【数５】
2009004985.tif 000008
【０１５５】
エッジ方向は、多様な方法によって算出することができ、特に限定されるものではない。本実施形態では、非特許文献２に記載の方法を用いた場合を例に挙げて、エッジ方向の算出方法を以下に説明する。なお、非特許文献２には、指紋検出の際に利用されるエッジ方向導入手法について記載されている。【０１５６】
まず、対象サブブロック内の画素位置における勾配ベクトルを、下記式（１０）によって算出する。ここで、下記式（１０）中のsign()は、下記式（１１）に示すように、０以上の場合には「１」を返し、負の場合には「−１」を返す関数である。次に、平方勾配ベクトルＧｓ（ｘ，ｙ）を、算出した対象サブブロック内の画素位置（ｘ，ｙ）における勾配ベクトルＧ（ｘ，ｙ）を用いて下記式（１２）により算出する。さらに、対象サブブロックの平均平方ベクトルを、対象サブブロック内の全画素について求めた平方勾配ベクトルを用いて下記式（１３）により算出する。【０１５７】
【数６】
2009004985.tif 000009
【０１５８】
次に、Ｇｘｘ、ＧｙｙおよびＧｘｙを、下記式（１４）として定義する。対象サブブロックの勾配ベクトルの方向φは、定義したＧｘｘ、ＧｙｙおよびＧｘｙを用いて、下記式（１５）によって算出する。ここで、∠（ｘ，ｙ）は、下記式（１６）により定義される。また、下記式（１６）中の[rad]は、弧度法における角度単位である。【０１５９】
【数７】
2009004985.tif 000010
【０１６０】
対象サブブロックのエッジ方向θは、対象サブブロックの勾配方向に直交するため、下記式（１７）によって算出することができる。なお、対象サブブロックのエッジ方向θを度数法によって表す場合には、下記式（１８）によって変換することができる。ここで、下記式（１８）中の[deg]は、度数法における角度単位である。【０１６１】
なお、上記エッジ方向の算出方法およびエッジ強度の算出方法は、後述の実施形態３における画像符号化装置２００のエッジ解析部２１２において適用される。【０１６２】
【数８】
2009004985.tif 000011
【０１６３】
（エッジ検出の具体例）
エッジ解析部１２によって検出されるエッジの具体例について、図４の（ａ）〜（ｆ）を参照して以下に説明する。図４の（ａ）〜（ｆ）は、エッジ解析部１２において検出されるエッジの具体例を示した図であり、（ａ）は横縞模様が形成された原画像であり、（ｂ）はそれから検出されるエッジ画像であり、（ｃ）は縦縞模様が形成された原画像であり、（ｄ）はそれから検出されるエッジ画像であり、（ｅ）はねじれ模様が形成された原画像であり、（ｆ）はそれから検出されるエッジ画像である。なお、いずれのエッジ画像においても、黒色部分は平坦部を表し、白色部分はエッジ部を表す。【０１６４】
図４の（ａ）に示す横縞模様の場合には、図４の（ｂ）に示すように水平方向にエッジが多く検出される。したがって、図５の（ａ）に示すようなエッジ方向分布となる。図４の（ｃ）に示す縦縞模様の場合には、図４の（ｄ）に示すように垂直方向にエッジが多く検出される。したがって、図５の（ｂ）に示すようなエッジ方向分布となる。図４の（ｅ）に示すねじれ模様の場合には、図４の（ｆ）に示すように水平方向および垂直方向にエッジが多く検出される。したがって、図５の（ｃ）に示すようなエッジ方向分布となる。【０１６５】
なお、図５の（ａ）〜（ｃ）は、図４の（ｂ）、（ｄ）および（ｆ）に示すエッジ画像のエッジ方向分布を示した図であり、（ａ）は図４の（ｂ）のエッジ方向分布を示し、（ｂ）は図４の（ｄ）のエッジ方向分布を示し、（ｃ）は図４の（ｆ）のエッジ方向分布を示す。【０１６６】
（予測セット決定部１３の動作および予測セットの詳細）
予測セット決定部１３の動作および予測セットの詳細について、図６および７を参照して以下に説明する。上述したように、予測セット決定部１３は、主として、エッジ解析部１２において算出された符号化対象ブロックのエッジ情報に基づいて、予測セット群の中から、符号化対象ブロックに適用する予測セットを決定する。【０１６７】
（予測セットの詳細）
本明細書等における予測セット群は、Ｌ個の予測セットからなる集合である。また、予測セット群内の各予測セットｉ（０≦ｉ≦Ｌ−１）は、Ｋｉ個の異なる予測方式を定義した予測モードの集合である。なお、ｉはそれぞれの予測セットを識別するために用いる番号を表す。【０１６８】
また、予測セット内の予測方式は、予測方向（エッジ方向）θによって定義される空間予測およびＤＣ予測の他にも平面予測、周波数予測、またはテンプレートマッチングなどの予測方式によって構成されていてもよい。さらに、予測セットｉ（０≦ｉ≦Ｌ−１）ごとに予測モード数Ｋｉ（０≦ｉ≦Ｌ−１）が異なっていてもよい。【０１６９】
（予測セット群および予測セットの具体例）
予測セット群および予測セットの具体例を、表２および図６を参照して以下に説明する。表２には、予測セット数Ｌ＝４、予測モード数Ｋ０＝Ｋ１＝Ｋ２＝Ｋ３＝９の場合の予測セット群の一例を示す。なお、表２中の「０」[deg]、「−９０」[deg]、「±１５」[deg]、「±２２．５」[deg]、「±３０」[deg]、「±４５」[deg]、「±６７．５」[deg]、「±７５」[deg]は、予測方向θによって定義される空間予測を表し、「ＤＣ」はＤＣ予測を表している。【０１７０】
【表２】
2009004985.tif 000012
【０１７１】
図６の（ａ）〜（ｄ）は、表２における各予測セットのうち、ＤＣ予測を除いた残りの予測モードを示す図であり、（ａ）〜（ｄ）はそれぞれ予測セット０〜３に対応している。【０１７２】
図６の（ａ）に示す予測セット０は、従来技術におけるイントラ予測と同一であるため、ここではその説明を省略する。【０１７３】
図６の（ｂ）に示す予測セット１は、水平方向の予測を重視した予測セットであり、図５の（ａ）に示すような水平方向（０[deg]近傍）にエッジが集中している場合に有効である。なお、水平方向にエッジが集中している画像としては、図４の（ａ）に示したような横縞模様の画像を挙げることができる。【０１７４】
図６の（ｃ）に示す予測セット２は、垂直方向の予測を重視した予測セットであり、図５の（ｂ）に示すような垂直方向（±９０[deg]近傍）にエッジが集中している場合に有効である。なお、垂直方向にエッジが集中している画像としては、図４の（ｃ）に示したような縦縞模様の画像を挙げることができる。【０１７５】
図６の（ｄ）に示す予測セット３は、水平方向および垂直方向の予測を重視した予測セットであり、図５の（ｃ）に示すような垂直方向（±９０[deg]近傍）および水平方向（０[deg]近傍）の双方にエッジが集中している場合に有効である。なお、垂直方向および水平方向の双方にエッジが集中している画像としては、図４の（ｅ）に示したようなねじれ模様の画像を挙げることができる。【０１７６】
以上のように、予測セット０〜３のような異なる特定方向の予測を重視した予測セットを複数予め定めておき、予め定められた予測セットを符号化対象ブロックごとに切り替えることによって、従来の画像符号化装置では対応できない方向の予測を可能としている。【０１７７】
（予測セット情報の決定プロセスの詳細）
予測セット情報の詳細な決定プロセスについて、図７を参照して以下に説明する。図７は、予測セット決定部１３の詳細な動作を示すフローチャートである。また、予測セット決定部１３の動作説明に用いるパラメータの定義を表３に示す。【０１７８】
【表３】
2009004985.tif 000013
【０１７９】
エッジ情報edge_data()を入力された予測セット決定部１３は（ステップＳ３０）、カウンタset_numにゼロ値を設定し、min_sum_of_delta_angleに初期値を設定して初期化する（ステップＳ３１）。次に、カウンタbkおよびsum_of_delta_angle[set_num]にゼロ値を設定し、min_delta_angleに初期値を設定して初期化する（ステップＳ３２）。【０１８０】
続いて、予測セット決定部１３は、カウンタbkが示す符号化対象ブロック内のサブブロック（以下、対象サブブロックとも称する）におけるエッジ強度edge_strength[bk]が閾値Ｔｈ以上であるか否かを判定する（ステップＳ３３）。なお、閾値Ｔｈは、あらかじめ適当な値を設定してもよく、また適宜設定してもよい。【０１８１】
edge_strength[bk]が閾値Ｔｈ以上の場合（ステップＳ３３においてＹｅｓ）、予測セット決定部１３は、予測セット内における対象サブブロックにおけるエッジ方向edge_angle[bk]と、予測セット番号set_numが示す予測セットにおける予測モード番号mode_numが示す予測モードの予測方向pred_angle[set_num][mode_num]との差分角度の絶対値の最小値（以下、最小絶対差分角度）min_delta_angleを算出する（ステップＳ３４）。算出には下記式（１９）を用いる。【０１８２】
【数９】
2009004985.tif 000014
【０１８３】
なお、予測方向pred_angle[set_num][mode_num]には、表２に示す予測セット中の各予測モードが表す予測方向の値が代入される。たとえば、表２の予測セット１（すなわち、set_num＝１）における予測モード６（すなわち、mode_num＝６）であれば、予測方向は１５[deg]であるため、pred_angle[１][６]＝１５[deg]となる。【０１８４】
予測セット決定部１３は、最小絶対差分角度min_delta_angleを算出すると、算出したmin_delta_angleに定数αを乗算し、これをコストsum_of_delta_angle[set_num]に加算する（ステップＳ３５）。なお、定数αは絶対差分角度の大きさに応じた所定の重み係数である。【０１８５】
次に、予測セット決定部１３は、カウンタbkを１つ加算し、次のサブブロック番号をセットする（ステップＳ３６）。そして、カウンタbkがend_bk以下であるか否かを判定する（ステップＳ３７）。カウンタbkの値が符号化対象ブロック内の終端サブブロック番号であるend_bk以下である場合（ステップＳ３７においてＹｅｓ）、予測セット決定部１３は、再度ステップＳ３３から処理を行う。カウンタbkの値がend_bkより大きい場合（ステップＳ３７においてＮｏ）には、カウンタset_numを１加算し、次の予測セット番号をセットする（ステップＳ３８）。【０１８６】
なお、ステップＳ３２〜Ｓ３８までの処理は、予測セット番号set_numによって表される予測セットにおいて定義されている予測方向が、符号化対象ブロック内の全サブブロックのエッジ方向とどれだけ近似しているかを表す類似度を算出する処理である。すなわち、予測セットにおいて定義されている予測方向が全サブブロックのエッジ方向と近似しているほど、類似度sum_of_delta_angle[set_num]の値は小さくなる。【０１８７】
続いて、予測セット決定部１３は、カウンタset_numの予測セットと、終端番号であるend_set_numとの大小を判定する（ステップＳ３９）。カウンタset_numが、end_set_num以下である場合には（ステップＳ３９においてＹｅｓ）、再度ステップＳ３２から処理を行う。カウンタset_numが、end_set_numより大きい場合には（ステップＳ３９においてＮｏ）、算出されたsum_of_delta_angle[set_num]の値が最小値となる予測セット番号set_numで表される予測セットを、符号化対象ブロックに適用する予測セットpred_setとする（ステップＳ４０）。そして、予測セット決定部１３は、予測セットpred_setを表す予測セット情報をイントラ予測部１０、予測モード決定部１１および相対予測セット情報作成部５１へ出力する（ステップＳ４１）。予測セットpred_setは、下記式（２０）を用いて、sum_of_delta_angle[set_num]を最小化する予測セットの番号を決定する。ここで、式（２０）中のset_groupは、予測セット群を表す。なお、予測セット情報のデータ構造を表４に示す。【０１８８】
【数１０】
2009004985.tif 000015
【０１８９】
【表４】
2009004985.tif 000016
【０１９０】
（予測セット情報の符号化プロセス）
予測セット情報を符号化する詳細なプロセスについて、以下に説明する。ここで、相対予測セット情報作成部５１は、予測セット決定部１３において決定した符号化対象ブロックに適用する予測セット情報を、符号化済みの予測セット情報に基づいて予測し、予測セットを予測に基づくフラグと差分とにより表した情報（以降、相対予測セット情報）としてエントロピー符号化部４へ出力するものである。なお、エントロピー符号化部４においては、相対予測セット情報の代わりに、予測セット情報を直接エントロピー符号化してもよい。【０１９１】
相対予測セット情報のデータ構造を表５に示す。ここで、表５中、relative_prediction_set_data()中のprobable_pred_set_flagは、符号化対象ブロックに適用する予測セットが予測した予測セットと同じか否かを表すフラグである。また、rem_pred_setは、予測に用いた予測セットprobable_pred_setを除く残りの予測セットのいずれかを表す情報である。なお、相対予測セット情報は、符号化対象ブロックに適用する予測セットpred_setの値でもよいし、符号化対象ブロックに適用する予測セットpred_setの値と予測値probable_pred_setの値との差分値としてもよい。【０１９２】
【表５】
2009004985.tif 000017
【０１９３】
（相対予測セット情報作成部５１の構成）
相対予測セット情報作成部５１の動作の説明に先立って、相対予測セット情報作成部５１の構成について、図８を参照して以下に説明する。図８は、相対予測セット情報作成部５１の構成を示すブロック図である。相対予測セット情報作成部５１は、相対予測セット情報生成部５１１、予測セット情報予測部５１２、および予測セット情報格納部５１３を備えている。これらの構成要素について、以下に説明する。【０１９４】
（相対予測セット情報生成部５１１）
相対予測セット情報生成部５１１は、入力された予測セット情報を、予測セット情報予測部５１２において決定された予測値に基づいて予測し、相対予測セット情報を出力する。【０１９５】
（予測セット情報予測部５１２）
予測セット情報予測部５１２は、予測セット情報格納部５１３に記憶した符号化済み予測セット情報に基づいて符号化対象ブロックに適用する予測セットの予測値を決定し、出力する。【０１９６】
ここで、符号化対象ブロックに適用する予測セットの予測値の決定には、下記（１）〜（５）のいずれかの方法を用いる。なお、画像領域におけるブロックの位置を理解しやすいように、予測セット情報の予測に用いるブロックの位置を図９に示す。
（１）図９中の符号化対象ブロック６１の近傍に位置するブロック（６０ａ〜６０ｋ）において適用された予測セットの中のうち、最も出現頻度の高い予測セットを予測値とする。
（２）図９中の符号化対象ブロック６１の近傍に位置するブロック（６０ａ〜６０ｃ、または６０ａ、６０ｃおよび６０ｄ）において適用された予測セットのメディアンを予測値とする。
（３）図９中の符号化対象ブロック６１の左部に位置する符号化済みブロック（６０ａ）に適用された予測セットを予測値とする。
（４）図９中の符号化対象ブロック６１の上部に位置する符号化済みブロック（６０ｃ）において適用された予測セットを予測値とする。
（５）図９中の符号化対象フレーム内で符号化対象ブロック６１より以前に符号化されたブロック（図９中の符号化済み画像領域６０、すなわち符号化済みブロック６０ｓ、６０ｔ、６０ｕ、６０ｖ、６０ａ、６０ｂ、６０ｃおよび６０ｄにより囲まれる領域を構成する全ブロック）において適用された予測セットの中のうち、最も出現頻度の高い予測セットを予測値とする。【０１９７】
なお、符号化済みの予測セット情報が存在しない場合には、あらかじめ設定された所定の予測セットをprobable_pred_setとして設定する。【０１９８】
（予測セット情報格納部５１３）
予測セット情報格納部５１３は、入力された予測セット情報を記憶する。【０１９９】
（予測セット情報の予測プロセスの詳細）
予測セット情報の予測プロセスの詳細について、図１０を参照して以下に説明する。図１０は、相対予測セット情報作成部５１における予測セット情報の予測プロセスを示すフローチャートである。【０２００】
予測セット情報予測部５１２は、予測セット情報格納部５１３に記憶された符号化済み予測セット情報に基づいて予測セットの予測値を決定し出力する(ステップＳ５０)。次に、相対予測セット情報作成部５１へ入力された予測セット情報は、予測セット情報格納部５１３と相対予測セット情報生成部５１１へ入力される（ステップＳ５１）。予測セット情報格納部５１３は、入力された予測セット情報を記憶する（ステップＳ５２）。そして、相対予測セット情報生成部５１１は、符号化対象ブロックに適用する予測セットpred_setと、予測セット情報予測部５１２において上記（１）〜（５）にいずれかの方法によって決定された予測セットの予測値probable_pred_setとを比較する（ステップＳ５３）。【０２０１】
予測セットpred_setと予測セットの予測値probable_pred_setとが同一の予測セットである場合（ステップＳ５３においてＹｅｓ）、相対予測セット情報生成部５１１は、「一致する」を表す情報をprobable_pred_set_flagに設定し（probable_pred_set_flag＝1）（ステップＳ５４）、相対予測セット情報としてエントロピー符号化部４へ出力する（ステップＳ５８）。【０２０２】
予測セットpred_setと予測セットprobable_pred_setとが異なる場合（ステップＳ５３においてＮｏ）、相対予測セット情報生成部５１１は、「一致しない」を表す情報をprobable_pred_set_flagに設定し（probable_pred_set_flag＝０）、残りの予測セットのいずれかを表す情報(rem_pred_set)を求める。【０２０３】
具体的には、まずpred_setとprobable_pred_setの値を比較する（ステップＳ５５）。pred_setが、probable_pred_setよりも小さい場合(ステップＳ５５においてＹｅｓ)、probable_pred_set_flag＝０、およびrem_pred_set＝pred_setと設定し（ステップＳ５６）、相対予測セット情報として出力する（ステップＳ５８）。pred_setが、probable_pred_set以上の場合（ステップＳ５５においてＮｏ）には、probable_pred_set_flag＝０、およびrem_pred_set＝pred_set−１と設定し（ステップＳ５７）、相対予測セット情報を出力する（ステップＳ５８）。【０２０４】
（予測方向θからの予測画像生成方法の詳細）
予測方向θからの予測画像生成方法について、図１１を参照して以下に説明する。図１１は、Ｘ−Ｙ平面にある点Ｐ（ｘｐ，ｙｐ）上の画素値Ｉ（ｘｐ，ｙｐ）を、点Ｐを通過する直線ｌの方向から予測する場合において、Ｎ×Ｎ画素ブロックの予測画像の生成方法を示す図である。なお、図１１におけるグリッドの交点は、整数画素位置を表し、Ｘ軸上およびＹ軸上は、参照画素領域を表す。【０２０５】
さらに、Ｘ−Ｙ平面上において、０＜ｘ≦Ｎ、かつ０＜ｙ≦Ｎを満たす領域を予測対象画素領域とし、０≦ｘ≦Ｌかつｙ≦０またはｘ≦０かつｙ≦０またはｘ≦０かつ０≦ｙ≦Ｋを満たす領域を符号化画素領域とし、それ以外の領域を未符号化画素領域とする。また、参照画素領域は、符号化画素領域中の０≦ｘ≦Ｌかつｙ＝０またはｘ＝０かつｙ＝０またはｘ＝０かつ０≦ｙ≦Ｋの領域とする。【０２０６】
また、予測方向としては、領域（０≦ｘ≦Ｌかつｙ＝０）上の参照画素領域から点Ｐの画素値を予測する場合、または領域（ｘ＝０かつ０≦ｙ≦Ｋ）上の参照画素領域から点Ｐの画素値を予測する場合の２通りを挙げることができる。【０２０７】
なお、上述した「Ｎ」、「Ｌ」および「Ｋ」について、図１２の（ａ）〜（ｆ）を参照して説明する。図１２の（ａ）〜（ｆ）に示すように、「Ｎ」は、予測対象画像領域の縦および横のサイズを表し、「Ｌ」および「Ｋ」は参照画素領域のサイズを表す。より具体的には、「Ｋ」は、予測対象画素領域の左部に位置する参照画素領域の縦のサイズを表し、「Ｌ」は、予測対象画素領域の上部に位置する参照画素領域の横のサイズを表す。【０２０８】
図１２の（ａ）〜（ｆ）に示すように、「Ｌ」および「Ｋ」はいずれも、０、「Ｎ」または「２Ｎ」のいずれかの値をとる。なお、図１２の（ａ）〜（ｆ）には、それぞれ、「Ｌ」および「Ｋ」が０、「Ｎ」または「２Ｎ」の値をとるときに形成される参照画素領域の例について示しているが、ここに示す例は一例であり、「Ｌ」および「Ｋ」がここに示す以外の値の組み合わせであってもよい。【０２０９】
予測方向θの方向ベクトルをベクトルＲ＝（ｒｘ，ｒｙ）とすると、Ｘ軸と直線ｌとの交点ＡおよびＹ軸と直線ｌとの交点Ｂは、それぞれ下記式（２１）および（２２）によって表すことができる。【０２１０】
【数１１】
2009004985.tif 000018
【０２１１】
交点Ａおよび交点Ｂが、下記に示す条件（１）〜（４）の条件を満たすとき、交点Ａまたは交点Ｂを、点Ｐにおける予測画素とする。（１）予測方向θが、−π／２≦θ≦ψのとき、交点Ａを予測画素とする。（２）予測方向θが、ψ＜θ≦０のとき、交点Ｂを予測画素とする。（３）予測方向θが、０＜θ＜π／２であり、かつｘａ≧０かつｙｂ≦０のとき、交点Ａを予測画素とする。（４）予測方向θが、０＜θ＜π／２であり、かつｘａ＜０かつｙｂ≧０のとき、交点Ｂを予測画素とする。ここで、ψは−π／２＜ψ＜０を満たす。【０２１２】
交点Ａにおける予測画素値ＩＡおよび交点Ｂにおける予測画素値ＩＢは、隣接する画素を用いた線形補間または３次補間などの補間処理によって生成することができる。ただし、交点Ａおよび交点Ｂが整数画素位置に存在する場合には、たとえば、３タップフィルタなどのｎタップフィルタによるフィルタ処理を行ってもよい。【０２１３】
交点Ａおよび交点Ｂにおける予測画素値ＩＡおよびＩＢは、線形補間および３タップフィルタを用いる場合、下記式（２３）および（２４）によって表すことができる。ただし、下記式（２３）および（２４）中、Ｉｒｅｃ（ｘ，ｙ）は、局所復号画像の画素値を表している。ここで、Floor{ｘ}は、ｘより大きくない最大の整数を求める演算であり、Ceil{ｘ}は、ｘより小さくない最小の整数を求める演算である。また、Ｚは整数の集合を表す。【０２１４】
【数１２】
2009004985.tif 000019
【０２１５】
なお、上記式（２３）および（２４）において、（Ceil{ｘａ}，０）、（ｘａ＋１，０）、（０，Ceil{ｙｂ}）および（０，ｙｂ＋１）の位置にある画素が、未符号化画素領域にある場合には、（Ceil{ｘａ}，０）、（ｘａ＋１，０）は（Ｌ，０）に、（０，Ceil{ｙｂ}）および（０，ｙｂ＋１）は（０，Ｋ）に位置する画素値を代わりに用いる。【０２１６】
そして、予測対象画素領域全体の予測画素は、予測対象画素領域上の点Ｐに関する予測画素生成を予測対象画素領域上の整数画素位置にある全ての点について適用することによって、生成できる。【０２１７】
なお、本実施形態では予測セットの符号化単位をＭ×Ｍ画素ブロックとして説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）を予測セットの符号化単位としてもよい。例えば、スライス単位で予測セットを切り替える場合、スライスの先頭で選択した予測セットに関する情報を符号化する必要がある。予測セットの符号化単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよく、符号化データの先頭、ピクチャ、ＧＯＰヘッダの中で指定してもよい。あるいは画像符号化装置・画像復号装置ではなく外部の手段を使って通知することも可能である。【０２１８】
本明細書におけるマクロブロック、スライス、ピクチャ（フレーム）およびＧＯＰを、図１３の（ａ）〜（ｅ）に示す。図１３の（ａ）〜（ｅ）は、本発明に係る符号化単位の関係を模式的に示した図であり、（ａ）はＧＯＰを示し、（ｂ）はピクチャ（フレーム）を示し、（ｃ）はスライスを示し、（ｄ）はマクロブロックを示し、（ｄ）はサブブロックを示す。なお、図１３ではサブブロックをＭ＝２Ｎとしているがこれに限らない。例えば、Ｍ＝Ｎ、２Ｎ、４Ｎ、８Ｎ、１６Ｎなどであってもよい。【０２１９】
（作用効果）
以上のように、画像符号化装置１００は、画像を構成する各ブロックから、当該画像のエッジ情報を算出する。たとえばエッジ情報として、画像のエッジ方向、エッジ強度、あるいはこれらの分布情報を算出する。画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、算出したエッジ情報に応じた予測セットを選択する。そして、選択した予測セットを用いて画像を符号化する。たとえば、エッジ情報が水平方向のエッジが偏っていることを表しているなら、水平方向の予測を重視した予測セットを用いて画像を符号化する。一方、エッジ情報が垂直方向のエッジが偏っていることを表しているなら、垂直方向の予測を重視した予測セットを用いて符号化する。【０２２０】
これにより画像符号化装置１００は、画像のエッジ情報に応じた最適な予測セットを用いて、画像を符号化する。したがって、従来よりも多様な角度からの予測が可能になるので、画像の符号量をより減らすことができ、かつ、画質を向上させることができる。【０２２１】
また画像符号化装置１００は、予測方式を予測セット情報と予測モード情報とにより階層的に表現することによって、予測方式を選択する自由度を高めることができる。これによって、予測方式を表すために必要な符号量の増加を防ぎつつ、予測効率を上げることができる。【０２２２】
（付記事項）
ここで、本実施形態では、予測セット群の例として、予測セット数Ｌ＝４、予測モード数Ｋi＝９（i＝０、１、２、３）の場合について説明したが、これに限定されるものではない。例えば、予測セット群は、予測セット数Ｌ＝５または９であってもよいし、それ以外の自然数であってもよい。表６および表７にそれぞれ、予測セット数Ｌ＝５、Ｌ＝９の場合の予測セット群および予測セットの例を示す。なお、表６は、予測セット数Ｌ＝５、予測モード数Ｋｉ＝９（０≦ｉ＜５、ｉ∈整数）の場合の予測セット群および予測セットの例であり、表７は、予測セット数Ｌ＝９、予測モード数Ｋｉ＝９（０≦ｉ＜９、ｉ∈整数）の場合の予測セット群および予測セットの例である。【０２２３】
【表６】
2009004985.tif 000020
【０２２４】
【表７】
2009004985.tif 000021
【０２２５】
〔実施形態２〕
本発明に係る画像復号装置について実施形態２として、図１４〜図１７を参照して以下に説明する。なお、実施形態１と同様の構成要素については同一の符号を付し、その説明を省略する。
（画像復号装置１５０の構成）
実施形態２に係る画像復号装置１５０の構成について、図１４を参照して以下に説明する。図１４は、画像復号装置１５０の構成を示すブロック図である。【０２２６】
図１４に示すように、画像復号装置１５０は、主として、エントロピー復号部５、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部１０および予測セット情報作成部５２を備えている。本実施形態では、上記において説明されていないエントロピー復号部５および予測セット情報作成部５２についてのみ以下に説明する。【０２２７】
（エントロピー復号部５）
エントロピー復号部５は、予測残差データ、予測モード情報、相対予測セット情報などの符号化データをエントロピー復号し、出力する。【０２２８】
（予測セット情報作成部５２）
予測セット情報作成部５２は、エントロピー復号された相対予測セット情報および復号済み予測セット情報より、注目ブロックの予測セット情報を作成する。なお、予測セット情報作成部５２の構成および動作は後述する。【０２２９】
（画像復号プロセスの概要）
次に、画像復号装置１５０における画像復号プロセスの概要について、図１５を参照して以下に説明する。図１５は、画像復号装置１５０における画像復号プロセスの概要を示すフローチャートである。【０２３０】
（符号化データの入力および予測セット情報の作成）
Ｍ×Ｍ画素ブロックの符号化データが画像復号装置１５０に入力されると（ステップＳ６０）、エントロピー復号部５は、入力された符号化データ中のＭ×Ｍ画素ブロックからなる復号対象画像（以下、復号対象ブロックとも称する）に用いる予測セットの相対予測セット情報をエントロピー復号し（ステップＳ６１）、予測セット情報作成部５２は、エントロピー復号された相対予測セット情報および復号済み予測セット情報より、復号対象ブロックの予測セット情報を作成する（ステップＳ６２）。なお、予測セット情報作成部５２における予測セット情報の作成処理の詳細なプロセスについては下記に詳述する。【０２３１】
（予測残差データおよび予測モード情報の復号）
エントロピー復号部５は、さらに所定のブロックサイズ（Ｎ×Ｎ画素ブロック）に分割された各復号対象サブブロックについても、予測残差データの量子化値および予測モード情報をエントロピー復号する（ステップＳ６３）。【０２３２】
（予測画像の生成）
イントラ予測部１０は、メモリ９に記憶された復号済みの隣接サブブロックにおける局所復号画像を用いて、復号された予測セット情報および予測モード情報が表す復号対象サブブロックに適用する予測モードに応じた予測画像（Ｎ×Ｎ画素ブロック）をイントラ予測して生成する（ステップＳ６４）。イントラ予測による予測画像の生成方法は、実施形態１において説明したため、ここではその説明を省略する。【０２３３】
（逆量子化および逆直交変換）
逆量子化部６は、ステップＳ６３において復号した予測残差データを逆量子化した後、逆直交変換部７に出力し（ステップＳ６５）、逆直交変換部７は、逆量子化された予測残差データを逆直交変換し、加算演算部８に出力する（ステップＳ６６）。【０２３４】
（復号対象サブブロックの復号画像の生成）
加算演算部８は、ステップＳ６４において生成した予測画像と、ステップＳ６６において出力された予測残差データとを加算し、復号対象サブブロックの復号画像（Ｎ×Ｎ画素ブロック）として出力する（ステップＳ６７）。【０２３５】
メモリ９は、出力された復号対象サブブロックにおける復号画像を記憶する（ステップＳ６８）。【０２３６】
（付記事項）
画像復号装置１５０は、復号対象ブロックを構成する全てのサブブロックについてステップＳ６３〜Ｓ６８を繰り返し、また復号対象画像を構成する全てのブロックについてステップＳ６０〜Ｓ６８の処理を繰り返す。【０２３７】
（予測セット情報作成部５２の詳細）
次に、予測セット情報作成部５２の詳細について説明する。【０２３８】
予測セット情報作成部５２は、相対予測セット情報作成部５１の逆処理にあたり、相対予測セット情報および復号済み予測セット情報から予測セット情報を作成する。【０２３９】
（予測セット情報作成部５２の構成）
まず、予測セット情報作成部５２の構成について、図１６を参照して以下に説明する。図１６は、予測セット情報作成部５２の構成を示すブロック図である。予測セット情報作成部５２は、予測セット情報生成部５２１、予測セット情報予測部５１２、および予測セット情報格納部５１３を備えている。以下では、上記において説明されていない予測セット情報生成部５２１について説明する。【０２４０】
（予測セット情報生成部５２１）
予測セット情報生成部５２１は、エントロピー復号部５においてエントロピー復号された相対予測セット情報および予測セット情報予測部５１２において決定された予測値に基づいて予測セット情報を生成し、出力する。【０２４１】
（予測セット情報の作成プロセスの詳細）
予測セット情報の作成プロセスの詳細について、図１７を参照して以下に説明する。図１７は、予測セット情報作成部５２における予測セット情報の作成プロセスを示すフローチャートである。【０２４２】
予測セット情報予測部５１２は、予測セット情報格納部５１３で記憶されている復号済み予測セット情報より、復号対象ブロックに適用する予測セットの予測値probable_pred_setを決定し、出力する（ステップＳ７０）。なお、復号対象ブロックに適用する予測セットの予測値の決定は、実施形態１の画像符号化装置１００における予測セットの予測値決定方法と同様であるため、説明を省略する。【０２４３】
次に、相対予測セット情報が予測セット情報生成部５２１へ入力され（ステップＳ７１）、予測セット情報生成部５２１は、入力された相対予測セット情報内のprobable_pred_set_flagの値が「１」であるか否かを判定する（ステップＳ７２）。probable_pred_set_flagの値が「１」である場合（ステップＳ７２においてＹｅｓ）、予測セット情報生成部５２１は、復号対象ブロックに適用する予測セットを表す予測セット情報prediction_set_data()中のpred_setにprobable_pred_setの値を設定し、pred_setの値を出力する（ステップＳ７３）。すなわち、この場合には、pred_set＝probable_pred_setとなる。【０２４４】
probable_pred_set_flagの値が「０」である場合（ステップＳ７２においてＮｏ）、予測セット情報生成部５２１は、rem_pred_setとprobable_pred_setに基づいてpred_setを設定し、pred_setの値を出力する。具体的には、まずrem_pred_setとprobable_pred_setの値を比較する（ステップＳ７４）。rem_pred_setがprobable_pred_setよりも小さい場合（ステップＳ７４においてＹｅｓ）には、pred_set＝rem_pred_setとする（ステップＳ７５）。rem_pred_setがprobable_pred_set以上の場合（ステップＳ７４においてＮｏ）には、pred_set＝rem_pred_set＋１とする（ステップＳ７６）。【０２４５】
その後、予測セット情報格納部５１３は、復号された予測セット情報prediction_set_data()を記憶し、出力する（ステップＳ７７)。【０２４６】
なお、本実施形態では予測セットの復号単位をＭ×Ｍ画素ブロックとして説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）を予測セットの復号単位としてもよい。例えば、スライス単位で、予測セットを切り替える場合、スライスの先頭で、選択された予測セットに関する情報を復号する必要がある。予測セットの復号単位は、予め画像符号化装置、画像復号装置間で取り決めておいても良く、符号化データの先頭、ピクチャ、ＧＯＰヘッダの中で指定してもよい。あるいは画像符号化装置・画像復号装置ではなく外部の手段を使って通知することも可能である。【０２４７】
また本実施例では、相対予測セット情報の符号化データをエントロピー復号し、復号された相対予測セット情報より予測セット情報を作成しているが、相対予測セット情報の代わりに、予測セット情報の符号化データをエントロピー復号し、復号された予測セット情報によって、予測セットを切り替えてもよい。【０２４８】
（作用効果）
以上のように、画像復号装置１５０は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群を有している。画像復号装置１５０は、画像を構成する各ブロックにおいて、復号対象ブロックに用いる予測セット情報を、相対予測セット情報と復号済み予測セット情報を用いて復号する。次に、復号対象ブロックをさらに分割したサブブロックごとに、そのサブブロックに隣接するサブブロックの局所復号画像を用いてイントラ予測を行い、サブブロックの予測画像を生成する。そして、生成した予測画像とサブブロックの復号予測残差データを合成し、サブブロックの画像を復元する。【０２４９】
これによって、たとえば、復号した予測セット情報が水平方向の予測を重視した予測セットを表すときには、水平方向を中心により細かい角度からの予測画像を生成することができる。また、復号した予測セット情報が垂直方向の予測を重視した予測セットを表すときには、垂直方向を中心により細かい角度からの予測画像を生成することができる。したがって、画像復号装置１５０では、従来よりも多様な角度からの予測を用いた復号処理が可能になるため、より効率良くエッジ部を再現することができる。これによって、画質の向上した画像を復元することができる。【０２５０】
また、画像復号装置１５０では、予測セットと予測モードの２段階で予測することによって、高い予測精度を実現しつつ、符号量の増加を防ぐことが可能である。【０２５１】
〔実施形態３〕
本発明に係る画像符号化装置の他の形態について、実施形態３として図１８〜図２５を参照して以下に説明する。なお、実施形態１および２と同一の構成要素には同一の符号を付し、その説明を省略する。実施形態１では、予め定められた複数の予測セットの中から、符号化対象ブロックのエッジ方向に応じて予測セットを所定の画素ブロック単位に切り替えることで、従来技術より多様な予測を可能とする画像符号化装置について説明した。一方、実施形態３では、画像に応じて、予測セット中の予測モードを自動的に組み合わせた予測セットを作成し、この中から符号化対象ブロックのエッジ方向に応じて予測セットを切り替えることで、さらに予測効率を上げることが可能な画像符号化装置について説明する。【０２５２】
（画像符号化装置２００の構成）
まず、本実施形態に係る画像符号化装置２００の構成について、図１８を参照して以下に説明する。図１８は、本実施形態に係る画像符号化装置２００の構成を示すブロック図である。画像符号化装置２００は、図１８に示すように、主として、差分演算部１、直交変換部２、量子化部３、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部２１０、予測モード決定部２１１、エントロピー符号化部２０４、エッジ解析部２１２、予測セット決定部２１３、相対予測セット情報作成部５１、予測セット定義決定部２１４および相対予測セット定義情報作成部５３を備えている。本実施の形態では、実施形態１および２において説明していないエントロピー符号化部２０４、予測モード決定部２１１、エッジ解析部２１２、予測セット決定部２１３、予測セット定義決定部２１４および相対予測セット定義情報作成部５３についてのみ以下に説明する。【０２５３】
（エッジ解析部２１２）
エッジ解析部２１２は、エッジ強度およびエッジ方向（以下、エッジ強度およびエッジ方向をまとめてエッジ情報とも称する）を算出する。具体的には、入力された符号化対象フレームをＮ×Ｎ画素ブロックにさらに分割したサブブロックごとのエッジ情報を算出し、符号化対象フレームを構成する全てのサブブロックのエッジ情報を出力する。【０２５４】
（予測セット定義決定部２１４）
予測セット定義決定部２１４は、エッジ解析部２１２で求められた符号化対象フレームのエッジ情報に基づいて、符号化対象フレームに適用する複数の予測セットの定義（予測セットに含まれる予測モード）を決定し、イントラ予測部２１０、予測モード決定部２１１および予測セット決定部２１３において参照する予測モードおよび予測セットの表（表２）を更新し、その予測モードおよび予測セットの表を表す予測セット定義情報prediction_method_data()を出力する。【０２５５】
（相対予測セット定義情報作成部５３）
相対予測セット定義情報作成部５３は、予測セット定義決定部２１４において決定された符号化対象フレームに適用する予測セットの定義情報を、符号化済み予測セット定義情報より予測し、相対予測セット定義情報を出力する。【０２５６】
（エントロピー符号化部２０４）
エントロピー符号化部２０４は、予測残差データ、予測モード情報、相対予測セット情報および相対予測セット定義情報などをエントロピー符号化し、符号化データを出力する。【０２５７】
（予測セット決定部２１３）
予測セット決定部２１３は、エッジ解析部２１２から入力されたエッジ情報に基づいて、予測セット定義決定部２１４から入力された予測セット定義情報にある複数の予測セットの中から符号化対象ブロックに適用する予測セットを決定し、決定した予測セットを表す予測セット情報を出力する。予測セットの決定方法は、実施形態１と同様であるため、本実施形態においてその説明は省略する。【０２５８】
（予測モード決定部２１１）
予測モード決定部２１１は、入力された符号化対象ブロックの原画像、およびメモリ９から入力された局所復号画像に基づいて、入力された予測セット定義情報および予測セット情報から定まる複数の予測モードの中より、符号化対象ブロックの予測に用いる予測モードを１つ決定し、決定した予測モードを表す予測モード情報を、イントラ予測部２１０およびエントロピー符号化部２０４へ出力する。なお、予測モードの決定方法は実施形態１と同様であるため、本実施形態においてその説明は省略する。【０２５９】
（イントラ予測部２１０）
イントラ予測部２１０は、メモリ９に記憶された局所復号画像を用いて、予測セット情報、予測セット定義情報と予測モード情報により表されるイントラ予測を行い、予測画像を生成する。【０２６０】
（画像符号化プロセスの概要）
次に、画像符号化装置２００における画像符号化プロセスの概要について、図１９を参照して以下に説明する。図１９は、画像符号化装置２００における画像符号化プロセスの概要を示すフローチャートである。【０２６１】
（符号化対象フレームの入力およびエッジ情報の算出）
複数個のＭ×Ｍ画素ブロックから形成されるフレーム（以下、符号化対象フレームとも称する）が画像符号化装置２００に入力されると（ステップＳ８０）、エッジ解析部２１２は、符号化対象フレームをＮ×Ｎ画素ブロック（Ｎ≦Ｍ）のサブブロックにさらに分割し（ステップＳ８１）、符号化対象フレームを構成する全サブブロックごとのエッジ情報を算出する（ステップＳ８２）。【０２６２】
（予測セット定義情報の決定、および予測セット定義情報の符号化）
続いて、予測セット定義決定部２１４は、ステップＳ８２において算出したエッジ情報に基づいて、符号化対象フレームに適用する各予測セットに含まれる複数の予測モードに割り当てる予測方式を決定し、予測モードと予測セットの表を更新する。決定した各予測セット中の予測モードの組み合わせを表す情報（以下、予測セット定義情報とも称する）を、イントラ予測部２１０、予測モード決定部２１１、予測セット決定部２１３および相対予測セット定義情報作成部５３に出力する（ステップＳ８３）。なお、予測セット定義の詳細な決定方法については下記に詳述する。なお、予測方式には、ＤＣ予測、テンプレートマッチング、予測方向などの予測方法が含まれる。【０２６３】
相対予測セット定義情報作成部５３では、予測セット定義情報を符号化済み予測セット定義情報より予測し、相対予測セット定義情報を出力する（ステップＳ８４）。なお、相対予測セット定義情報作成部５３の構成、および予測セット定義情報の詳細な予測プロセスについては下記に詳述する。【０２６４】
エントロピー符号化部２０４において、相対予測セット定義情報作成部５３より入力された相対予測セット定義情報はエントロピー符号化され、相対予測セット定義情報の符号化データが出力される（ステップＳ８５）。【０２６５】
（予測セットの決定、予測セット情報の符号化）
予測セット決定部２１３において、ステップＳ８２において算出されたエッジ情報に基づいて、符号化対象フレームを構成するＭ×Ｍ画素ブロック（以下、符号化対象ブロック）毎に適用する予測セットを決定し、決定した予測セットを表す情報（以下、予測セット情報とも称する）を予測モード決定部２１１、相対予測セット情報作成部５１およびイントラ予測部２１０に出力する（ステップＳ８６）。【０２６６】
予測セット決定部２１３から予測セット情報を受けた相対予測セット情報作成部５１は、予測セット情報を符号化済みの予測セットを表す情報に基づいて予測し、相対予測セット情報をエントロピー符号化部２０４へ出力する（ステップＳ８７）。エントロピー符号化部２０４は、相対予測セット情報をエントロピー符号化して出力する（ステップＳ８８）。なお、予測セットの詳細な決定方法、予測セット情報の詳細な符号化方法および予測セット情報のデータ構造は実施形態１と同様である。【０２６７】
（予測モードの決定、および予測モード情報の符号化）
予測モード決定部２１１において、符号化対象ブロックを更にＮ×Ｎ画素ブロックに分割してサブブロック（以下、符号化対象サブブロック）を得る。予測モード決定部２１１は、メモリ９から入力された符号化済み隣接サブブロックにおける局所復号画像より、予測セット定義決定部２１４で更新された予測セット定義情報を参照して、予測セット決定部２１３より入力された予測セット情報が表す予測セット中の予測モードから符号化対象サブブロックに用いる最適な予測モードを決定し、予測モード情報をイントラ予測部２１０、およびエントロピー符号化部２０４へ出力する（ステップＳ８９）。【０２６８】
エントロピー符号化部２０４は、入力された予測モード情報をエントロピー符号化し、予測モード情報の符号化データを出力する（ステップＳ９０）。【０２６９】
（予測画像の生成）
イントラ予測部２１０は、メモリ９から入力された符号化済み隣接サブブロックにおける局所復号画像を用いて、上記ステップＳ８３で決定された予測セット定義情報を参照して、上記Ｓ８６で決定された予測セット情報および上記ステップＳ８９で決定された予測モード情報により定まるイントラ予測を行い、符号化対象サブブロックの予測画像を生成し、差分演算部１、および加算演算部８へ出力する（ステップＳ９１）。【０２７０】
（予測残差データの算出）
差分演算部１は、入力された符号化対象サブブロックと、上記ステップＳ９１で生成された予測画像との差分であるＮ×Ｎ画素ブロックの予測残差データを算出し、出力する（ステップＳ９２）。【０２７１】
（直交変換および量子化）
上記ステップＳ９２で算出された予測残差データは、直交変換部２、量子化部３の順に入力され、直交変換・量子化されてエントロピー符号化部２０４および逆量子化部６へ出力される（ステップＳ９３）。【０２７２】
（逆直交変換および逆量子化）
直交変換・量子化された予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８へ出力される(ステップＳ９４)。【０２７３】
（局所復号画像の生成）
加算演算部８は、ステップＳ９４において逆量子化および逆直交変換された予測残差データと、ステップＳ９１において生成した予測画像とを加算し、Ｎ×Ｎ画素ブロックの局所復号画像を生成する（ステップＳ９５）。なお、生成した局所復号画像は、メモリ９に記憶される。【０２７４】
（予測残差データの符号化）
エントロピー符号化部２０４は、符号化対象サブブロックの量子化済み予測残差データをエントロピー符号化して予測残差データの符号化データを出力する（ステップＳ９６）。【０２７５】
なお、ステップＳ８９〜Ｓ９６における処理は、Ｍ×Ｍ画素ブロックを構成する全てのサブブロックについて行われる。また、ステップＳ８６〜Ｓ９６における処理は、符号化対象フレームを構成する全てのブロックについて行われる。また、ステップＳ８０〜Ｓ９６における処理は、符号化対象画像を構成する全てのフレームについて行われる。【０２７６】
（付記事項）
本実施形態では、画像符号化装置２００の符号化プロセスをステップＳ８０〜Ｓ９６の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。【０２７７】
（予測セット定義の詳細な決定方法）
次に、予測セット定義決定部２１４の詳細な動作について以下に説明する。なお、予測セット定義決定部２１４は、エッジ解析部２１２において算出されたエッジ情報に基づいて、符号化対象フレームに適用する複数の予測セット中の各予測モードに割り当てる予測方式を決定し、割り当てた予測方式を表す予測セット定義情報を出力する。【０２７８】
予測セット定義情報の詳細な決定方法について、図２０を参照して以下に説明する。図２０は、予測セット定義情報の詳細な決定プロセスを示すフローチャートである。【０２７９】
（エッジ情報の入力）
エッジ解析部２１２より符号化対象フレームのエッジ情報が、予測セット定義決定部２１４に入力される（ステップＳ１００）。【０２８０】
（エッジ方向ヒストグラムの算出）
予測セット定義決定部２１４は、入力されたエッジ情報に基づき、所定の閾値Ｔｈ以上のエッジ強度をもつブロック（Ｎ×Ｎ画素ブロック）のエッジ方向ヒストグラムｆ（θ）を算出し、エッジ方向ヒストグラム情報histogram_data()を求める（ステップＳ１０１）。なお、閾値Ｔｈは、あらかじめ適当な値を設定してもよく、また適宜設定してもよい。また、エッジ方向ヒストグラムとは、例えば、エッジ方向を1[deg]単位の角度で表すとき、−９０[deg]〜８９[deg]までの各角度におけるエッジ方向の出現頻度数を表す。例として、水平方向にエッジが集中しているときに得られるエッジ方向ヒストグラムを図２１に示す。また、具体的に算出するエッジ方向ヒストグラム情報のデータ構造を表８に示す。ここで、表８中のangle_idxは、エッジ方向の角度を示すインデックスであり、total_angle_idxは、角度の分割数を表すインデックスである。【０２８１】
【表８】
2009004985.tif 000022
【０２８２】
（エッジ方向累積度数分布の算出）
予測セット定義決定部２１４は、上記ステップＳ１０１において算出したエッジ方向ヒストグラム情報に基づいて、エッジ方向累積度数分布を算出する（ステップＳ１０２）。例えば、エッジ方向を１[deg]単位の角度で表すとき、−９０[deg]から、あるエッジ方向θ[deg]までのエッジ方向累積度数は下記式（２５）により算出される。−９０[deg]〜８９[deg]までの全エッジ方向におけるエッジ方向の累積度数を求めれば、エッジ方向累積度数分布Ｆ(θ)を得ることができる。これによって、図２１に示すエッジ方向ヒストグラムから、図２２に示すエッジ方向累積度数分布を得ることができる。なお、図２２は、所定の閾値以上のエッジ強度を有するブロック数により正規化したグラフである。【０２８３】
【数１３】
2009004985.tif 000023
【０２８４】
（累積度数に対するエッジ方向の分布の算出）
予測セット定義決定部２１４は、ステップＳ１０２において算出したエッジ方向累積度数分布を用いて、累積度数に対するエッジ方向の分布（エッジ方向累積度数分布の逆関数）Ｇ（ｘ）を算出する（ステップＳ１０３）。【０２８５】
（割り当てる予測方向の中心方向を決定）
予測セット定義決定部２１４は、ステップＳ１０２において算出したエッジ方向累積度数分布を用いて、どの方向を中心として予測方向を割り当てるか決定する。（ステップＳ１０４）。具体的には、まず水平(０[deg])、垂直(−９０[deg])のいずれの方向を中心として予測方向を定めるかを、下記式（２６）により表されるエッジ集中度Ｓ(θc,Δθ)により判定する。ここで、エッジ集中度Ｓ(θc,Δθ)とは、あるエッジ方向θc[deg]を中心に、±Δθ[deg]の範囲に出現するエッジ方向の出現頻度を表す。また、Ｆ（θ）は、エッジ方向θにおけるエッジ方向の累積度数を表す。【０２８６】
【数１４】
2009004985.tif 000024
【０２８７】
水平方向のエッジ集中度Ｓ(０,Δθ)が、垂直方向のエッジ集中度Ｓ（−９０,Δθ）以上の場合、水平方向(０[deg])を中心に予測方向を割り当てるものとし、それ以外の場合は、垂直方向（−９０[deg]）を中心に予測方向を割り当てるものとする。【０２８８】
（各予測モードに割り当てる予測方式の決定）
予測セット定義決定部２１４は、ステップＳ１０３において算出した累積度数に対するエッジ方向、ステップＳ１０４において決定した予測方向の中心θｃ[deg]と、予め定められた予測方式テーブル（表１０）とに基づいて、各予測モードに割り当てる予測方式を決定する（ステップＳ１０５）。【０２８９】
具体的には、予測方向の中心θｃ[deg]より大きい角度の予測方向θｎ[deg]は、下記式（２７）の漸化式を用いて、予測方向の中心θｃ[deg]より小さい角度の予測方向θｎ[deg]は、下記式（２８）の漸化式を用いて、隣り合う予測方向間（θnとθn+1）のエッジ方向累積度数の差（閾値）がｄになるように決定される。ただし、ｎ＝０のときは、θo＝θｃとし、ｄは、累積度数の最大値を予測方向の総数で割った値である。θnとθn+1との位置関係を図２３に示す。ただし、θnは下記式（２９）を満たすものとする。また、図２３中のエッジ方向に対する累積確率Ｆ’(θ)は、エッジ方向に対する累積度数Ｆ（θ）を正規化したものである。【０２９０】
【数１５】
2009004985.tif 000025
【０２９１】
続いて、図２２のエッジ方向累積度数分布における予測方向θnを決定する例を説明する。なお、ここでは、予測セット数Ｌ＝３、予測モード数Ｋ＝９とし、各予測セット中のモード番号０〜２には、予め０[deg]、−９０[deg]、ＤＣ予測を割り当て、残りの各予測セット中のモード番号３〜８へ割り当てる予測方向（１８方向）を決定する場合を例に挙げて説明する。【０２９２】
図２２は水平方向（０[deg]）に多くのエッジが集中するため、水平方向(０[deg])を中心に、各予測方向間のエッジ方向累積確率の差（閾値）が等しくなるように予測方向を決定する。ここで、決定する予測方向の数が１８であることと、予め定めた予測方向０[deg]、−９０［deg］の２つであることを踏まえ、予測方向間のエッジ方向累積確率の差（閾値）ｄを５．０[％]（＝１００／(１８＋２)）とする。その後、角度０[deg]を初期値として各予測方向間の累積確率の差が５．０[％]となる角度を累積度数に対するエッジ方向の分布、上記式（２７）および上記式（２８）の漸化式より算出することで、表９に示す予測方向θnが得られる。【０２９３】
【表９】
2009004985.tif 000026
【０２９４】
表１０の予測方向θnの割り当て方に基づいて、求めた正の予測方向θn（表９（ａ））を小さい順に、各予測セットのモード番号３、５、７に予測方向を割り当てる。また、求めた負の予測方向θn（表９（ｂ））を大きい順に、各予測セットのモード番号４、６、８に割り当てる。以上の操作によって得られた予測セットの定義例を表１１に示す。また定まった予測セットの定義を表１２に示す予測セット定義情報prediction_method_data()のデータ構造に格納する。ここで、表１２においてtotal_setとは予測セットの総数を表し、total_modeは予測セットに含まれる予測モードの総数を表す。表１１の予測セットおよび予測モードはイントラ予測部２１０、予測モード決定部２１１、予測セット決定部２１４において参照される。なお、予測セット定義情報中の予測セットset_idxにおける予測モードmode_idxに割り当てる予測方式pred_method[set_idx][mode_idx]には、表１３に示す予測方式を予め定義したテーブル上の予測方式番号を設定してもよい。なお、表１３中には、平面予測、周波数領域予測、テンプレートマッチングなどの予測方法を定義しておいてもよい。なお、予測セット定義情報としては、予測方式を変更した一部の予測セットと予測モードに関する情報でもよい。例えば、表１０中の予測セット番号０〜Ｌ−１中のモード番号３〜８の予測方向θnに関する情報でもよい。また、所定の単位で用いる予測セットの総数を可変にしてもよい。その場合には、予測セット定義情報に、予測セットの個数に関する情報を追加する。【０２９５】
【表１０】
2009004985.tif 000027
【０２９６】
【表１１】
2009004985.tif 000028
【０２９７】
【表１２】
2009004985.tif 000029
【０２９８】
【表１３】
2009004985.tif 000030
【０２９９】
（予測セット定義情報の出力）
予測セット定義決定部２１４は、Ｓ１０５で決まった予測セット定義情報を出力する（ステップＳ１０６）。【０３００】
以上のようにすれば、エッジが集中する方向に対して細かい予測方向を決定することが可能となる。【０３０１】
（予測セット定義情報の符号化プロセス）
予測セット定義情報を符号化する詳細なプロセスについて、以下に説明する。相対予測セット定義情報作成部５３は、予測セット定義決定部２１４において決定された符号化対象フレームに適用する予測セットの定義を表す情報（予測セット定義情報）を、符号化済みの予測セット定義情報に基づいて予測し、相対予測セット定義情報を作成する。なお、エントロピー符号化部２０４においては、相対予測セット定義情報の代わりに、予測セット定義情報を直接エントロピー符号化しても良い。【０３０２】
（相対予測セット定義情報作成部５３の構成）
まず、相対予測セット定義情報作成部５３の構成について、図２４を参照して以下に説明する。図２４は、相対予測セット定義情報作成部５３の構成を示すブロック図である。相対予測セット定義情報作成部５３は、相対予測セット定義情報生成部５３１、予測セット定義情報予測部５３２、および予測セット定義情報格納部５３３を備えている（図２４）。【０３０３】
（相対予測セット定義情報生成部５３１）
相対予測セット定義情報生成部５３１は、入力された予測セット定義情報を、符号化済み予測セット定義情報に基づいて決定された予測値（予測セット定義情報予測部５３２において決定する）に基づいて予測し、相対予測セット定義情報を出力する。相対予測セット定義情報のデータ構造を表１４に示す。【０３０４】
【表１４】
2009004985.tif 000031
【０３０５】
なお、相対予測セット定義情報は、上述した以外にも、符号化対象フレームに適用する各予測セットset_idx中の各予測モードmode_idxが表す予測方式pred_method[set_idx][mode_idx]の値であってもよいし、符号化対象フレームに適用する各予測セットset_idx中の各予測モードmode_idxが表す予測方式pred_method[set_idx][mode_idx]の値と、予測値probable_pred_method[set_idx][mode_idx]の値との差分値であってもよい。【０３０６】
（予測セット定義情報予測部５３２）
予測セット定義情報予測部５３２は、予測セット定義情報格納部５３３に記憶した符号化済み予測セット定義情報に基づいて符号化対象フレームに適用する予測セット定義情報の予測値を決定し、出力する。【０３０７】
ここで、符号化対象フレームに適用する予測セット定義情報の予測には、下記（１）〜（３）のいずれかの方法を用いる。
（１）符号化対象フレームの前に符号化されたフレームのうち、各予測モードで最も出現頻度の高い予測方式を予測値とする。
（２）符号化対象フレームの１つ前に符号化処理されたフレームにおいて適用された各予測セット中の各予測モードの予測方式を予測値とする。
（３）予め定められた複数の予測セット中の各予測モードに割り当てられた予測方式を予測値とする。【０３０８】
なお、符号化済の予測セット定義情報がない場合には、予測モード番号mode_idxの予測値probable_pred_method[set_idx][mode_idx]の初期値を表１５に示す予測方式の予測値とする。このとき、probable_pred_method[set_idx][mode_idx]＝init_pred_method[mode_idx]である。【０３０９】
【表１５】
2009004985.tif 000032
【０３１０】
（予測セット定義情報格納部５３３）
予測セット定義情報格納部５３３は、入力された予測セット定義情報を記憶する。【０３１１】
（予測セット定義情報の予測プロセスの詳細）
次に、予測セット定義情報を予測する詳細なプロセスについて、図２５を参照して以下に説明する。図２５は、予測セット定義情報を予測する詳細なプロセスを示すフローチャートである。【０３１２】
予測セット定義情報予測部５３２は、予測セット定義情報格納部５３３に記憶された符号化済み予測セット定義情報に基づいて予測セットの予測値を決定し出力する（ステップＳ１１０）。【０３１３】
予測セット定義情報は、予測セット定義情報格納部５３３および相対予測セット定義情報生成部５３１へ入力される（ステップＳ１１１）。予測セット定義情報格納部５３３は、予測セット定義情報を記憶する（ステップＳ１１２）。相対予測セット定義情報生成部５３１は、予測セット番号を表すカウンタset_idxを初期化し(set_idx=０)（ステップＳ１１３）、予測モード番号を表すカウンタmode_idxを初期化（mode_idx＝０）する（ステップＳ１１４）。次に、相対予測セット定義情報生成部５３１は、適用する予測セットset_idx内の予測モードmode_idxが表す予測方式pred_method[set_idx][mode_idx]と、上記（１）〜（３）のいずれかの方法で決定された予測セットset_idx内の予測モードmode_idxの予測方式の予測値probable_pred_method[set_idx][ mode_idx ]とを比較する（ステップＳ１１５）。【０３１４】
予測モードmode_idxにおける予測方式が同一である場合（ステップＳ１１５においてＹｅｓ）、相対予測セット定義情報生成部５３１は、「一致する」を表す「１」の値をprobable_pred_method_flag[set_idx][mode_idx]に設定する（ステップＳ１１６）。予測モードmode_idxにおける予測方式が異なる場合（ステップＳ１１５においてＮｏ）、相対予測セット定義情報生成部５３１は、「一致しない」を表す「０」の値をprobable_pred_method_flag[set_idx][mode_idx]に設定し、また残りの予測方式のいずれかを表す情報をrem_pred_method[set_idx][mode_idx]に設定する（ステップＳ１１７）。なお、rem_pred_method[set_idx][mode_idx]への値の設定は、以下の（１）および（２）の場合に基づいて設定する。（１）pred_method[set_idx][mode_idx]が、probable_pred_method[set_idx][mode_idx]よりも小さい場合には、rem_pred_method[set_idx][mode_idx]＝pred_method[set_idx][mode_idx]とする。（２）pred_method[set_idx][mode_idx]が、probable_pred_method[set_idx][mode_idx]以上の場合には、rem_pred_method[set_idx][mode_idx]＝pred_method[set_idx][mode_idx]−１とする。【０３１５】
続いて、相対予測セット定義情報生成部５３１は、カウンタmode_idxに１を加算し（ステップＳ１１８）、カウンタmode_idxと予測モード数total_modeとを比較する（ステップＳ１１９）。【０３１６】
カウンタmode_idxが、予測モード数total_modeよりも小さい場合（ステップＳ１１９においてＹｅｓ）、相対予測セット定義情報生成部５３１は、再度ステップＳ１１５の処理から繰り返す。カウンタmode_idxが、予測モード数total_mode以上の場合（ステップＳ１１９においてＮｏ）には、カウンタset_idxに１を加算し（ステップＳ１２０）、カウンタset_idxと予測セット数total_setとを比較する（ステップＳ１２１）。カウンタset_idxが、予測セット数total_setよりも小さい場合（ステップＳ１２１においてＹｅｓ）、相対予測セット定義情報生成部５３１は、再度ステップ１１４の処理から繰り返す。カウンタset_idxが、予測セット数total_set以上の場合（ステップＳ１２１においてＮｏ）、相対予測セット定義情報生成部５３１は、相対予測セット定義情報 relative_prediction_method_data()の符号化データを出力する（ステップＳ１２２）。【０３１７】
なお、本実施形態では予測セット定義情報の符号化単位をフレーム単位として説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）を予測セット定義情報の符号化単位としてもよい。たとえば、スライス単位で予測セット定義情報を作成する場合、スライスの先頭で、新たに更新した予測セット定義情報を符号化し、予測セットと予測モードの表（表１１）を書き換える必要がある。符号化単位が小さくなると、局所的な画像の性質にあった予測セットを作成することができるため、予測効率が向上する。どの符号化単位を使用するかは、予め画像符号化装置と画像復号装置で、使用する符号化単位を取り決めておいてもよいし、符号化データの先頭や、ピクチャ、ＧＯＰの先頭で指定してもよい。また、外部の手段を使って通知することも可能である。【０３１８】
実施形態３では、予測セットの選択は、ブロック単位としたが、マクロブロック単位、所定数のブロック単位など、ブロックに限るものではない。予測セットを選択する単位を可変にすることで、画像の性質により合った予測セットを選択することが可能である。【０３１９】
以上の述べたように、予測セット定義情報の符号化単位、予測セットの選択単位は小さい方が画像の局所的な性質にあった予測が可能である。しかしながら、符号化単位、選択単位を小さくすると、これらを符号化するための符号量が増加し、符号化効率の点から必ずしも最適ではない。【０３２０】
そのため、予測方式を予測セット定義情報、予測セット情報、予測モード情報で階層的に表現することで、従来よりも選択の自由度が高まり、符号量の増加を防ぎつつ、予測効率を上げることが可能である。【０３２１】
（作用効果）
以上のように、画像符号化装置２００は、画像を構成する各フレームから、当該フレームのエッジ情報を算出する。たとえばエッジ情報として、画像のエッジ方向、エッジ強度、あるいはこれらの分布情報を算出する。画像符号化装置２００は、エッジ方向に関する分布情報に基づいて、エッジ方向を効率良く近似する複数の予測方向を決定し、各予測セットを構成する予測モードの組み合わせを決定する。【０３２２】
たとえば、エッジ方向に関する分布情報が、水平方向のエッジが偏っていることを表しているなら、水平方向の予測を細かく、垂直方向の予測を粗くした最適な予測モードの組み合わせによる複数の予測セットが自動的に決定される。これにより、水平方向の予測に適した複数の予測セットの中より、符号化対象ブロックのエッジ方向に応じた予測セットを切り替えて画像を符号化する。一方、エッジ方向に関する分布情報が垂直方向のエッジが偏っていることを表しているなら、垂直方向の予測を細かく、水平方向の予測を粗くした最適な予測モードの組み合わせによる複数の予測セットが自動的に決定される。これにより、垂直方向の予測に適した複数の予測セットの中より、符号化対象ブロックのエッジ方向に応じた予測セットを切り替えて画像を符号化する。【０３２３】
以上のように画像符号化装置２００は、画像に応じて、予測セット中の予測モードを自動的に組み合わせた画像に最適な複数の予測セットを作成し、この中から符号化対象ブロックのエッジ方向に応じた予測セットを切り替えることで、予め定められた予測セットを使用する場合よりもさらに予測効率を上げることができる。【０３２４】
〔実施形態４〕
本発明に係る画像復号装置の他の形態について、実施形態４として図２６〜図２９を参照して以下に説明する。なお、実施形態１〜３と同様の構成要素には同一の符号を付し、その説明を省略する。【０３２５】
実施形態２では、所定の画素ブロック単位において、予め定められた複数の予測セットの中から、復号対象ブロックに用いる予測セットを選択することによって、従来技術より多様な角度からの予測を可能とする画像復号装置について説明した。本実施形態では、符号化データより、予測セット中の予測モードを自動的に組み合わせた複数の予測セットを作成し、この中から復号対象ブロックに用いる予測セットを選択することによって、さらに多様な角度からの予測を可能とする画像復号装置について説明する。【０３２６】
（画像復号装置２５０の構成）
実施形態４に係る画像復号装置２５０の構成について、図２６を参照して以下に説明する。図２６は、画像復号装置２５０の構成を示すブロック図である。【０３２７】
図２６に示すように、画像復号装置２５０は、主として、エントロピー復号部２０５、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部２１０、予測セット情報作成部５２および予測セット定義情報作成部５４を備えている。本実施形態では、上記において説明されていないエントロピー復号部２０５および予測セット定義情報作成部５４についてのみ以下に説明する。【０３２８】
（エントロピー復号部２０５）
エントロピー復号部２０５は、実施形態１のエントロピー復号部５の機能に加えて、相対予測セット定義情報の符号化データをエントロピー復号し、相対予測セット定義情報を出力する。【０３２９】
（予測セット定義情報作成部５４）
予測セット定義情報作成部５４は、エントロピー復号された相対予測セット定義情報および復号済み予測セット定義情報より、予測セット定義情報を作成する。なお、予測セット定義情報作成部５４の構成および動作については後述する。【０３３０】
（画像復号プロセスの概要）
次に、画像復号装置２５０における画像復号プロセスの概要について、図２７を参照して以下に説明する。図２７は、画像復号装置２５０における画像復号プロセスの概要を示すフローチャートである。【０３３１】
（符号化データの入力および予測セット定義情報の作成）
復号対象フレームの符号化データが画像復号装置２５０に入力されると（ステップＳ１３０）、エントロピー復号部２０５は、入力された符号化データ中より復号対象フレームに用いる予測セットと予測モードの表（表１１）を表す予測セット定義情報の相対情報（相対予測セット定義情報）を取り出し、取り出した相対予測セット定義情報をエントロピー復号する（ステップＳ１３１）。予測セット定義情報作成部５４は、エントロピー復号された相対予測セット定義情報および復号済み予測セット定義情報より、予測セット定義情報を作成して、復号対象フレームに適用する予測セットと予測モードの表（表１１）を更新し、作成した予測セット定義情報をイントラ予測部２１０へ出力する（ステップＳ１３２）。【０３３２】
なお、予測セット定義情報作成部５４における予測セット定義情報の作成処理の詳細なプロセスについては下記に詳述する。【０３３３】
（予測セット情報の作成）
エントロピー復号部２０５は、入力された復号対象フレームの符号化データ中のＭ×Ｍ画素ブロックからなる復号対象画像（以下、復号対象ブロックとも称する）に用いる予測セットの相対予測セット情報をエントロピー復号する（ステップＳ１３３）。予測セット情報作成部５２は、エントロピー復号された相対予測セット情報および復号済み予測セット情報より、復号対象ブロックの予測セット情報を作成する（ステップＳ１３４）。なお、予測セット情報作成部５２における予測セット情報の作成処理は、実施形態１と同じである。【０３３４】
（予測残差データおよび予測モード情報の復号）
エントロピー復号部２０５は、さらに所定のブロックサイズ（Ｎ×Ｎ画素ブロック）に分割された各復号対象サブブロックについても、予測残差データの量子化値および予測モード情報をエントロピー復号する（ステップＳ１３５）。【０３３５】
（予測画像の生成）
イントラ予測部２１０は、予測セット定義情報およびメモリ９に記憶された復号済みの隣接サブブロックにおける局所復号画像を用いて、予測セット情報および予測モード情報が表す復号対象サブブロックに適用する予測モードに応じた予測画像（Ｎ×Ｎ画素ブロック）をイントラ予測して生成する（ステップＳ１３６）。【０３３６】
（逆量子化および逆直交変換）
逆量子化部６は、ステップＳ１３５において復号した予測残差データを逆量子化した後、逆直交変換部７に出力し（ステップＳ１３７）、逆直交変換部７は、逆量子化された予測残差データを逆直交変換し、加算演算部８に出力する（ステップＳ１３８）。【０３３７】
（復号対象サブブロックの復号画像の生成）
加算演算部８は、ステップＳ１３６において生成した予測画像と、ステップＳ１３８において出力された予測残差データとを加算し、復号対象サブブロックの復号画像（Ｎ×Ｎ画素ブロック）として出力する（ステップＳ１３９）。【０３３８】
メモリ９は、出力された復号対象サブブロックにおける復号画像を記憶する（ステップＳ１４０）
（付記事項）
画像復号装置２５０は、復号対象ブロック（Ｍ×Ｍ画素ブロック）を構成する全てのサブブロック（Ｎ×Ｎ画素ブロック）についてステップＳ１３５〜Ｓ１４０の処理を繰り返す。また、復号対象フレームを構成する全ての復号対象ブロックについてステップＳ１３３〜Ｓ１４０の処理を繰り返し、復号対象画像を構成する全フレームについて上記のＳ１３０〜Ｓ１４０の処理を繰り返す。なお、Ｓ１３５〜Ｓ１４０までの処理は、Ｎ×Ｎ画素ブロックのサブブロック単位で行われているが、Ｍ×Ｍ画素ブロックのブロック単位でもよい。【０３３９】
（予測セット定義情報の作成プロセス）
予測セット定義情報を作成する詳細なプロセスについて、以下に説明する。予測セット定義情報作成部５４は、エントロピー復号された相対予測セット定義情報と、および復号済み予測セット定義情報より、予測セット定義情報を作成する。【０３４０】
（予測セット定義情報作成部５４の構成）
まず、予測セット定義情報作成部５４の構成について、図２８を参照して以下に説明する。図２８は、予測セット定義情報作成部５４の構成を示すブロック図である。予測セット定義情報作成部５４は、予測セット定義情報生成部５４１、予測セット定義情報予測部５３２、および予測セット定義情報格納部５３３を備えている。上記において説明していない予測セット定義情報生成部５４１について述べる。【０３４１】
（予測セット定義情報生成部５４１）
予測セット定義情報生成部５４１は、エントロピー復号部２０５においてエントロピー復号された相対予測セット定義情報と、予測セット定義情報予測部５３２において復号済み予測セット定義情報に基づいて決定された予測値とに基づいて、予測セット定義情報を生成し、出力する。【０３４２】
（予測セット定義情報の生成プロセス）
次に、予測セット定義情報を生成する詳細なプロセスについて、図２９を参照して以下に説明する。図２９は、予測セット定義情報を生成する詳細なプロセスを示すフローチャートである。【０３４３】
予測セット定義情報予測部５３２は、予測セット定義情報格納部５３３に記憶されている復号済み予測セット定義情報から、復号対象フレームに適用する複数の予測セット中の予測モードに割り当てる予測方式に関する予測値を決定し出力する（ステップＳ１５０）。なお、復号対象フレームに適用する複数の予測セット中の予測モードに割り当てる予測方式に関する予測値の決定方法は、実施形態３の画像符号化装置２００における予測セット定義の予測値決定方法と同様であるため、その説明を省略する。予測セット定義情報作成部５４へ入力された相対予測セット定義情報は、予測セット定義情報生成部５４１へ出力される（ステップＳ１５１）。【０３４４】
次に、予測セット定義情報生成部５４１は、予測セット番号を表すカウンタset_idxを初期化（set_idx＝０）し（ステップＳ１５２）、予測モード番号を表すカウンタmode_idxを初期化（mode_idx＝０）し（ステップＳ１５３）、予測セットset_idxにおける予測モードmode_idxと予測値とが一致するか否かを表すprobable_pred_method_flag[set_idx][mode_idx]の値について判定する（ステップＳ１５４）。【０３４５】
probable_pred_method_flag[set_idx][mode_idx]の値が「１」である場合（ステップ１５４においてＹｅｓ）、予測セット定義情報生成部５４１は、pred_method[set_idx][mode_idx]に予測値probable_pred_method[set_idx][mode_idx]を設定する（ステップＳ１５５）。すなわち、この場合には、pred_method[set_idx][mode_idx]=probable_pred_method[set_idx][mode_idx]となる。【０３４６】
probable_pred_method_flag[set_idx][mode_idx]の値が「０」である場合（ステップ１５４においてＮｏ）、予測セット定義情報生成部５４１は、rem_pred_method[set_idx][mode_idx]および予測値probable_pred_method[set_idx][mode_idx]に基づいてpred_method[set_idx][mode_idx]を設定する（ステップＳ１５６）。具体的には、pred_method[set_idx][mode_idx]の値を以下の（１）、（２）に基づいて設定する。（１）rem_pred_method[set_idx][mode_idx]が、probable_pred_method[set_idx][mode_idx]よりも小さい場合には、pred_method[set_idx][mode_idx]＝rem_pred_method[set_idx][mode_idx]とする。（２）rem_pred_method[set_idx][mode_idx]が、probable_pred_method[set_idx][mode_idx]以上の場合には、pred_method[set_idx][mode_idx]＝rem_pred_method[set_idx][mode_idx]＋１とする。【０３４７】
続いて、予測セット定義情報生成部５４１は、カウンタmode_idxに１を加算し（ステップＳ１５７）、カウンタmode_idxと予測モード数total_modeとを比較する（ステップＳ１５８）。【０３４８】
カウンタmode_idxが予測モード数total_modeよりも小さい場合（ステップＳ１５８においてＹｅｓ）、予測セット定義情報生成部５４１は、再度ステップＳ１５４の処理から繰り返す。カウンタmode_idxが予測モード数total_mode以上の場合（ステップＳ１５８においてＮｏ）には、カウンタset_idxに１を加算し（ステップＳ１５９）、カウンタset_idxと予測セット数total_setとを比較する（ステップＳ１６０）。【０３４９】
カウンタset_idxが予測セット数total_setよりも小さい場合（ステップＳ１６０においてＹｅｓ）、再度ステップＳ１５３の処理から繰り返す。カウンタset_idxが予測セット数total_set以上の場合（ステップＳ１６０においてＮｏ）、予測セット定義情報prediction_method_data()を予測セット定義情報格納部５３３に記憶し、出力する（ステップＳ１６１）。【０３５０】
なお、本実施形態では予測セット定義情報の復号単位をフレーム単位として説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）を予測セット定義情報の復号単位としてもよい。たとえば、スライス単位で予測セット定義情報を作成する場合、スライスの先頭で、予測セット定義情報に関する符号化データを復号する必要がある。どの復号単位を使用するかは、予め画像符号化装置と画像復号装置で、使用する復号単位を取り決めておいても良いし、符号化データの先頭や、ピクチャ、ＧＯＰの先頭で指定しても良い。また、外部の手段を使って通知することも可能である。【０３５１】
なお、実施形態４では、予測セットの選択は、ブロック単位としたが、マクロブロック単位、所定のブロック単位など、ブロックに限るものではない。予測セットを選択する単位を可変にすることで、画像の性質により合った予測セットを選択することが可能である。【０３５２】
また本実施例では、相対予測セット定義情報の符号化データをエントロピー復号し、復号された相対定義予測セット情報より予測セット定義情報を作成しているが、相対予測セット定義情報の代わりに、予測セット定義情報の符号化データをエントロピー復号し、復号された予測セット定義情報によって、復号対象フレームに用いる複数の予測セット中の各予測モードに割り当てる予測方式を決定してもよい。【０３５３】
また画像復号装置２５０は、予測方式を予測セット定義情報、予測セット情報、予測モード情報により階層的に表現することによって、従来よりも選択の自由度が高めることができる。これによって、予測効率を上げることができる。【０３５４】
（作用効果）
以上にように、画像復号装置２５０は、画像の符号化データを構成する各フレームにおいて、復号対象フレームに用いる複数の予測セット中の各予測モードに割り当てる予測方式を表す予測セット定義情報を、相対予測セット定義情報と復号済み予測セット定義情報より作成する。そして、復号対象フレームを構成するブロック（Ｍ×Ｍ画素ブロック）ごとに、そのブロックに用いる予測セットを復号する。さらにブロックを構成するサブブロック（Ｎ×Ｎ画素ブロック）ごとに、イントラ予測を行い、サブブロックの予測画像を生成する。そして、生成した予測画像とサブブロックの復号予測残差データとを合成し、サブブロックにおける画像を復元する。【０３５５】
これによって、たとえば、予測セット定義情報が水平方向の予測を重視した予測セット定義を表すときには、水平方向を中心により細かい角度からの予測画像を生成することができる。また、予測セット定義情報が垂直方向の予測を重視した予測セットを表すときには、垂直方向を中心により細かい角度からの予測画像を生成することができる。したがって、画像復号装置２５０は、画像に応じて、複数の予測セット中の予測モードを適応的に定義することが可能であり、この中から、復号対象ブロックのエッジ方向に最適な予測をすることができる。これによって、予め定められた予測セットを使用する場合よりも、さらに予測効率を上げることができる。【０３５６】
また、予測方式を予測セットと予測モードを用いて階層的に表現しているため、符号量を増加させることなく、予測効率を上げることができる。【０３５７】
〔実施形態５〕
本発明に係る画像符号化装置の他の形態について、実施形態５として図３０〜図３７を参照して以下に説明する。なお、実施形態１〜４と同様の構成要素については同一の符号を付し、その説明を省略する。実施形態１では、予め定められた複数の予測セットの中から、符号化対象ブロックに用いる予測セットを所定の画素ブロック単位に切り替えることで、従来技術より多様な予測を可能とする画像符号化装置について説明した。一方、実施形態５では、実施形態１の機能に加えて、選択した予測セットと、符号化対象サブブロックの予測モードの推定に用いる符号化済み隣接サブブロックの方向を表すフラグと、符号化対象サブブロックの位置に基づいて、符号化対象ブロック中の各サブブロックに用いる予測モードを推定することで、予測モードを表すのに要する符号量を効率的に削減し、さらに符号化効率を上げることが可能な画像符号化装置について説明する。【０３５８】
（画像符号化装置５００の構成）
まず、本実施形態に係る画像符号化装置５００の構成について、図３０を参照して以下に説明する。図３０は、本実施形態に係る画像符号化装置５００の構成を示すブロック図である。画像符号化装置５００は、差分演算部１、直交変換部２、量子化部３、エントロピー符号化部５０４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部１０、符号化パラメータ決定部１４、相対予測セット情報作成部５１、相対予測モード情報作成部６１を備えている。エントロピー符号化部５０４、相対予測モード情報作成部６１および符号化パラメータ決定部１４について以下に説明する。【０３５９】
（符号化パラメータ決定部１４）
符号化パラメータ決定部１４は、入力された符号化対象ブロックの原画像およびメモリ９に記憶された局所復号画像から、符号化対象ブロックに用いる予測セット、符号化対象ブロック中の各サブブロックの予測モードの推定に用いる参照サブブロックの組み合わせ情報（参照方向組合せインデクス）、および各サブブロックに用いる予測モードなどの符号化パラメータを決定する。その後、決定された予測セットを、イントラ予測部１０、相対予測セット情報作成部５１および相対予測モード情報作成部６１へ出力する。【０３６０】
また、決定された参照方向組合せインデクスを、相対予測モード情報作成部６１、およびエントロピー符号化部５０４へ出力する。また、決定された各サブブロックの予測モードを、イントラ予測部１０、および相対予測モード情報作成部６１へ出力する。【０３６１】
（エントロピー符号化部５０４）
エントロピー符号化部５０４は、予測残差データ、相対予測モード情報、相対予測セット情報、および参照方向組合せインデクスなどをエントロピー符号化し、符号化データを出力する。【０３６２】
なお、参照方向組合せインデクスは、エントロピー符号化部５０４において、参照方向の組合せの出現頻度の偏りを考慮し、下記に説明する参照方向組合せインデクス符号表を利用して可変長の符号へエントロピー符号化される。【０３６３】
具体的には、参照方向組合せインデクスのとりうる値の範囲が下記表２０の参照方向組合せテーブル１の値域０〜４である場合には、表１６の参照方向組合せインデクス符号表を用いる。また、参照方向組合せインデクスの取りうる値が下記表２１の参照方向組合せテーブル２の値域０〜１である場合には、表１７の参照方向組合せインデクス符号表を用いる。なお、参照方向組合せインデクスの符号は、表１６および表１７に限定されるものではない。例えば、参照方向組合せインデクスの符号は、ゴロム符号を用いてもよいし、固定長符号を用いてもよい。また、符号に算術符号を用いる場合は、参照方向組合せインデクス符号表をバイナリ値への変換表として利用してもよい。【０３６４】
【表１６】
2009004985.tif 000033
【０３６５】
【表１７】
2009004985.tif 000034
【０３６６】
（相対予測モード情報作成部６１）
相対予測モード情報作成部６１は、符号化パラメータ決定部１４より入力された予測セット情報、予測モード情報および参照方向組合せインデクスと、相対予測モード情報作成部６１の内部で記憶されている当該サブブロックに隣接する符号化済みサブブロックの予測セット情報および予測モード情報とに基づいて、当該サブブロックの相対予測モード情報を作成し、出力する。【０３６７】
次に、相対予測モード情報作成部６１の構成について、図３１を参照して説明する。図３１は、相対予測モード情報作成部６１の構成を示すブロック図である。【０３６８】
相対予測モード情報作成部６１は、図３１に示すように、格納部６１１ａ、格納部６１１ｂ、参照方向決定部６１２、予測モード情報推定部６１３、および相対予測モード情報生成部６１４を備えている。各部材について、以下に説明する。【０３６９】
（格納部６１１a、６１１ｂ）
格納部６１１a、６１１ｂは、入力情報を一時的に格納する。格納部６１１ａは、入力された当該サブブロックの予測モード情報を格納する。格納部６１１ｂは、当該サブブロックの予測セット情報を格納する。なお、格納された予測モード情報、および予測セット情報は当該サブブロックより後に符号化されるサブブロックにおける予測モード情報の推定に利用される。【０３７０】
（参照方向決定部６１２）
参照方向決定部６１２は、入力された予測セット情報および参照方向組合せインデクスと、当該サブブロックの位置（内部的にカウントする）に基づいて、下記表２０に示す参照方向組合せテーブルより、当該サブブロックの予測モード情報の推定に利用する符号化済み隣接サブブロック（参照サブブロック）の方向（参照方向）を決定し、参照方向を予測モード情報推定部６１３へ出力する。【０３７１】
（予測モード情報推定部６１３）
予測モード情報推定部６１３は、入力された予測セット情報、参照方向決定部６１２において決定された参照方向、格納部６１１ａおよび６１１ｂにそれぞれ格納された符号化済み隣接サブブロックの予測モード情報および予測セット情報に基づいて、当該サブブロックに用いる予測モード情報の推定値を所定の方法で決定する。そして、決定した推定値を、相対予測モード情報生成部６１４へ出力する。【０３７２】
（相対予測モード情報生成部６１４）
相対予測モード情報生成部６１４は、入力された予測モード情報と、予測モード情報推定部６１３において決定された予測モード情報の推定値probable_modeと、に基づいて、推定値に対する予測モードの相対情報（相対予測モード情報）を生成する。そして、生成された相対予測モード情報を、エントロピー符号化部５０４へ出力する。【０３７３】
ここで、相対予測モード情報relative_mode_data( )のデータ構造を表１８に示す。表１８におけるrelative_mode_data( )中のprobable_mode_flagは、当該サブブロックに適用する予測モードが予測モード情報推定部６１３で決定された推定値と一致するか否かを表すフラグである。probable_mode_flagの値が「１」の場合は、推定値と一致することを表し、probable_mode_flagの値が「０」の場合は、推定値と異なることを表す。なお、probable_mode_flagの値が「０」の場合は、さらに推定値を除く残りの予測モードのいずれかを表す情報であるrem_modeを用いて相対予測モード情報を表す。なお、相対予測モード情報は、当該サブブロックに適用する予測モードの値と推定値との差分としてもよい。【０３７４】
【表１８】
2009004985.tif 000035
【０３７５】
（画像符号化プロセスの概要）
画像符号化装置５００における画像符号化プロセスの概要について、図３２を参照して以下に説明する。図３２は、画像符号化装置５００における画像符号化プロセスの概要を示すフローチャートである。【０３７６】
まず、符号化対象ブロック（Ｍ×Ｍ画素ブロック）を画像符号化装置５００に入力する（ステップＳ１７０）。【０３７７】
符号化パラメータ決定部１４は、符号化対象ブロックの原画像と、メモリ９に記憶された局所復号画像とから、レート歪最適化手法を用いて符号化パラメータ（予測セット、参照方向組合せインデクス、および全サブブロックの予測モード）を決定する（ステップＳ１７１）。なお、決定した予測セットは、イントラ予測部１０、相対予測セット情報作成部５１および相対予測モード情報作成部６１へ出力される。また、決定した参照方向組合せインデクスは、相対予測モード情報作成部６１、およびエントロピー符号化部５０４へ出力される。さらに、決定した全サブブロックの予測モード情報は、イントラ予測部１０、および相対予測モード情報作成部６１へ出力される。【０３７８】
次に、相対予測セット情報作成部５１は、ステップＳ１７１において決定した予測セット情報を符号化済みの予測セットに基づいて、相対予測セット情報を作成してエントロピー符号化部５０４へ出力する（ステップＳ１７２）。【０３７９】
エントロピー符号化部５０４は、ステップＳ１７２において作成した相対予測セット情報と、ステップＳ１７１で決定した参照方向組合せインデクスとをそれぞれエントロピー符号化して出力する（ステップＳ１７３）。【０３８０】
相対予測モード情報作成部６１は、符号化パラメータ決定部１４より入力した予測セット情報、参照方向組合せインデクスおよび符号化対象サブブロックの予測モード情報と、参照サブブロックの予測セット情報および予測モード情報とに基づいて、符号化対象サブブロックの相対予測モード情報を作成し、出力する（ステップＳ１７４）。【０３８１】
エントロピー符号化部５０４は、作成した相対予測モード情報をエントロピー符号化し、相対予測モード情報の符号化データを出力する（ステップＳ１７５）。【０３８２】
イントラ予測部１０は、メモリ９から取得した符号化済み隣接サブブロックにおける局所復号画像を用いて、ステップＳ１７１で決定された予測セットおよび予測モードにより定まるイントラ予測を行い、符号化対象サブブロックの予測画像を生成する（ステップＳ１７６）。生成された符号化対象サブブロックの予測画像は、差分演算部１、および加算演算部８へ出力される。【０３８３】
差分演算部１は、入力された符号化対象サブブロックの原画像と、ステップＳ１７６で生成された予測画像との差分である符号化対象サブブロックの予測残差データを算出し、出力する（ステップＳ１７７）。【０３８４】
ステップＳ１７７で算出した予測残差データは、直交変換部２、量子化部３の順に入力され、直交変換・量子化されてエントロピー符号化部５０４および逆量子化部６へ出力される（ステップＳ１７８）。【０３８５】
直交変換・量子化された予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８へ出力される(ステップＳ１７９)。【０３８６】
加算演算部８は、ステップＳ１７９において逆量子化および逆直交変換された予測残差データと、ステップＳ１７６において生成した予測画像とを加算し、符号化対象サブブロックの局所復号画像を生成する（ステップＳ１８０）。生成した局所復号画像は、メモリ９に記憶される。【０３８７】
エントロピー符号化部５０４は、符号化対象サブブロックの量子化済み予測残差データをエントロピー符号化して、予測残差データの符号化データを出力する（ステップＳ１８１）。【０３８８】
なお、ステップＳ１７４〜Ｓ１８１における処理は、符号化対象ブロックを構成する全てのサブブロックについて行う。また、ステップＳ１７０〜Ｓ１８１における処理は、符号化対象画像を構成する全てのブロックについて行う。【０３８９】
本実施形態では、画像符号化装置５００の符号化プロセスをステップＳ１７０〜Ｓ１８１の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。【０３９０】
（参照方向の決定方法）
次に、参照方向の決定方法について説明する。初めに、サブブロックグループ、参照方向、参照方向組合せインデクス、参照方向組合せテーブルについて説明する。【０３９１】
サブブロックグループについて図３３の（ａ）および（ｂ）を参照して説明する。図３３の（ａ）および（ｂ）は、サブブロックグループを説明する図であり、（ａ）は対象ブロックおよびサブブロックのサイズＭ、ＮがＮ＝Ｍ／４である場合のサブブロックグループであり、（ｂ）は、対象ブロックおよびサブブロックのサイズＭ、ＮがＮ＝Ｍ／２である場合のサブブロックグループである。【０３９２】
図３３の（ａ）のサブブロックグループＢ１は、４つのサブブロックａ、ｂ、ｃ、ｄからなる集合である。同様に、サブブロックグループＢ２は、４つのサブブロックｅ、ｆ、ｇ、ｈからなる集合であり、サブブロックグループＢ３は、４つのサブブロックｉ、ｊ、ｋ、ｌからなる集合であり、サブブロックグループＢ４は、４つのサブブロックｍ、ｎ、ｏ、ｐからなる集合である。また図３３の（ｂ）のサブブロックグループＢ１はサブブロックａ〜ｄからなる集合である。なお、サブブロックグループのサブブロック同士の組合せはこれに限定されるものではない。
「参照方向」とは、サブブロックグループ内に含まれる各サブブロックの予測モードを推定する時に参照する共通の符号化済みサブブロックの相対位置（参照サブブロック位置）である。例えば、参照方向「０」は、参照サブブロックが当該サブブロックの左部の符号化済みサブブロックであることを表す。また、参照方向「１」は、参照サブブロックが当該サブブロックの上部の符号化済みサブブロックを表す。ただし、参照方向が表す値は二値に限定されるものではない。例えば、表１９のように参照方向「２」は左上、参照方向「３」は右上に隣接する符号化済みサブブロックを表してもよい。また、参照方向の値と参照サブブロックの位置の対応付けは表１９に限定されるものではない。【０３９３】
【表１９】
2009004985.tif 000036
【０３９４】
「参照方向組合せインデクス」とは、サブブロックグループＢ１〜Ｂ４の参照方向の組合せに対して付加したインデクスである。【０３９５】
「参照方向組合せテーブル」とは、参照方向組合せインデクスとサブブロックグループの参照方向との対応関係を予め定めた表である。ただし、当該サブブロックのサイズに応じて、参照方向を決定する際に用いる参照方向組合せテーブルは異なる。詳細については、以下に説明する。【０３９６】
（１）サブブロックのサイズがＮ＝Ｍ／４のとき；
表２０は、サブブロックのサイズがＮ＝Ｍ／４のときに用いる参照方向組合せテーブルの例である。表２０中の予測セットフラグは、「０」のとき予測セット情報が水平方向の予測を重視した予測セットを表し、「１」のとき垂直方向の予測を重視した予測セットを表す。また、図３４は、表２０において予測セットフラグ「０」、参照方向組合せインデクス「２」である場合の参照サブブロックの方向を示したものである。図３４において、サブブロックグループＢ１、Ｂ２、Ｂ４では、参照方向が「０」であるため、サブブロックグループ内の各サブブロックでは、左の符号化済みサブブロックを参照サブブロックとする（図３４における右向きの矢印）。同様に、サブブロックグループＢ３の参照方向は「１」であるため、サブブロックグループＢ３内の各サブブロックは、左の符号化済みサブブロックを参照サブブロックとする（図３４における下向きの矢印）。なお、予測セットフラグが水平、垂直方向のどちらを重視しているかによって、参照方向組合せインデクスとサブブロックグループの参照方向との対応関係は異なる。【０３９７】
【表２０】
2009004985.tif 000037
【０３９８】
（２）サブブロックのサイズがＮ＝Ｍ／２のとき；
サブブロックのサイズがＮ＝Ｍ／２のときは、予測セット情報によらず、表２１に示す参照方向組合せテーブルを用いる。【０３９９】
【表２１】
2009004985.tif 000038
【０４００】
以上説明したように、参照方向決定部６１２は、当該サブブロックのサイズがＮ＝Ｍ／４であるときは、入力された予測セット情報、参照方向組合せインデクスおよび当該サブブロックの位置（サブブロックグループＢｉのいずれに属しているかを表す）に基づいて、表２０よりサブブロックグループＢｉの参照方向を取得し、取得した参照方向を出力する。【０４０１】
また、当該サブブロックのサイズがＮ＝Ｍ／２であるときは、入力された参照方向組合せインデクスに基づいて、表２１よりサブブロックグループＢ１の参照方向を取得し、取得した参照方向を出力する。【０４０２】
（予測モード情報の推定値の決定方法）
続いて、予測モード情報推定部６１３における予測モード情報の推定値の決定方法について説明する。なお、本実施形態では、参照方向が示す符号化対象サブブロックＰと参照サブブロックＱとの位置関係が、図３５の（ａ）および（ｂ）に示す場合であると仮定した場合を例に挙げて説明する。図３５の（ａ）は、参照方向「０」における符号化対象サブブロック（図中Ｐ）と参照サブブロック（図中Ｑ）の位置関係を表し、図３５の（ｂ）は、参照方向「１」における符号化対象サブブロックＰと参照サブブロックＱの位置関係を表している。【０４０３】
まず、予測モード情報推定部６１３は、参照方向に基づいて、参照サブブロックＱの予測モード情報および予測セット情報を、それぞれ格納部６１１ａ、格納部６１１ｂより取得する。【０４０４】
次に、符号化対象サブブロックＰと参照サブブロックＱの予測セットに応じて、以下の２種類の方法によって予測モードの推定を行う。【０４０５】
（１）符号化対象サブブロックＰと参照サブブロックＱの予測セットが同じ場合；
予測モードの推定値を参照サブブロックＱの予測モードの値とする。ただし、参照サブブロックＱの予測モード情報を取得できない場合は、予測モードの推定値には所定の予測モードの値を設定する。【０４０６】
（２）符号化対象サブブロックＰと参照サブブロックＱの予測セットが異なる場合；
後述の予測モード対応表を参照して、参照サブブロックＱの予測モードが符号化対象サブブロックＰの予測セット中のいずれの予測モードと対応するかを求める。そして、対応する予測モードを符号化対象サブブロックＰの予測モードに対する推定値とする。ただし、参照サブブロックＱの予測モード情報、または予測セット情報を、それぞれ、格納部６１１ａ、６１１ｂより取得できない場合は、所定の予測モードを推定値とする。なお、参照サブブロックＱの予測モード情報、または予測セット情報を取得できない場合とは、例えば、符号化対象サブブロックＰが符号化対象画像の端に位置し、参照サブブロックＱが存在しない場合が該当する。【０４０７】
表２２は、参照サブブロックＱの予測セットを表２中の予測セット１、符号化対象サブブロックＰの予測セットを表２中の予測セット０の場合における予測モード対応表の例である。【０４０８】
【表２２】
2009004985.tif 000039
【０４０９】
予測モード対応表には、参照サブブロックＱに用いた予測セットＸ中の予測モードｘ、および符号化対象サブブロックＰに用いる予測セットＹにおいて、一致する（予測方法が同じ）または最も類似する（予測方向の差の絶対値が最も小さい）予測モードｙの値を予め設定しておくことが好ましい。例えば、表２中の予測セット１の予測モード０、および予測セット２の予測モード０は、いずれも予測方向−９０［ｄｅｇ］であるため、表２２中の予測セット１の予測モード０の行には、予測セット２の予測モード０を設定する。また、表２中の予測セット１の予測モード２、および予測セット２の予測モード２は、いずれもＤＣ予測であるため、表２２中の予測セット１の予測モード２の行には、予測セット２の予測モード２を設定する。また、予測セット１中の予測モード３（予測方向−３０［ｄｅｇ］）が、予測セット２中のいずれの予測モードと一致または類似するかに注目すると、予測セット中の予測モード８（予測方向−３０［ｄｅｇ］）と最も類似していることがわかる（予測方向の差の絶対値は０［ｄｅｇ］で最小）。そのため、表２２中の予測セット１の予測モード３の行には予測セット２の予測モード８を設定する。【０４１０】
ただし、注目する予測セットＸ中の予測モードｘと、予測セットＹ中の予測モードｙとの中で一致または類似する予測モードが２つ以上ある場合は、予測モードｙの値が小さい方を設定する。例えば、予測セット１中の予測モード６（予測方向１５［ｄｅｇ］）が予測セット２中のいずれの予測モードと一致もしくは類似するかに注目すると、予測セット２中の予測モード１（予測方向０［ｄｅｇ］）と、予測モード６（予測方向３０［ｄｅｇ］）との２つが候補となる。このときは、予測モードの値が小さい１を、表２２中の予測セット１の予測モード６の行に設定することが好ましい。【０４１１】
ここで、表２２を用いた予測モードの推定値の具体的な決定方法について以下に説明する。なお、参照サブブロックＱにおける予測セットを１、符号化対象サブブロックＰの予測セットを２とする。例えば、参照サブブロックＱの予測モードが「０」であれば、表２２より、符号化対象サブブロックＰの予測モードの推定値を「０」とする。また、参照サブブロックＱの予測モードが「６」であれば、表２２より、符号化対象サブブロックＰの予測モードの推定値を「１」とする。【０４１２】
上記の予測モード対応表を利用することによって、符号化対象サブブロックＰと参照サブブロックＱの予測セットが異なる場合、参照サブブロックの予測モードを符号化対象サブブロックの予測セット中の最も類似する予測モードへ変換するため、符号化対象サブブロックＰの予測モードに対する推定値の精度を向上させることできる。【０４１３】
（相対予測モード情報の詳細な作成プロセス）
次に、相対予測モード情報を作成するプロセスについて、図３６を参照して以下に説明する。図３６は、相対予測モード情報を生成する詳細なプロセスを示すフローチャートである。【０４１４】
まず、格納部６１１ａ、６１１ｂは、それぞれ入力した予測セット情報、および予測モード情報を格納する（ステップＳ１９０）。次に、参照方向決定部６１２は、入力した予測セット情報と参照方向組合せインデクス、および当該サブブロックの位置に基づいて、参照方向組合せテーブルより、当該サブブロックの予測モード情報の推定に用いる参照サブブロックの参照方向を決定し、決定した参照方向を予測モード情報推定部６１３へ出力する（ステップＳ１９１）。【０４１５】
予測モード情報推定部６１３は、入力した参照方向が示す符号化済み隣接サブブロック（参照サブブロック）の予測モード情報、および予測セット情報をそれぞれ格納部６１１ａ、格納部６１１ｂから取得する（ステップＳ１９２）。そして、取得した参照サブブロックにおける予測モード情報と予測セット情報、当該サブブロックにおける予測セット情報に基づいて、予測モード対応表より、予測モード情報の推定値を決定し、決定した推定値を相対予測モード情報生成部６１４へ出力する（ステップＳ１９３）。【０４１６】
相対予測モード情報生成部６１４は、入力した予測モード情報と、予測モード情報の推定値とに基づいて、当該サブブロックにおける相対予測モード情報を生成し、出力する（ステップＳ１９４）。【０４１７】
（符号化パラメータの詳細な決定プロセス）
次に、符号化パラメータ決定部１４における符号化パラメータ（ｓ，ｐ，Ｍ）の決定方法について説明する。なお、符号化パラメータの決定方法の説明に先立って、符号化パラメータの決定方法において使用する用語を以下に記載する。
s：予測セット
ｐ：参照方向組合せインデクス
ｂｋ：サブブロック
ｍ(ｂｋ)：サブブロックｂｋにおける予測モード
Ｍ：符号化対象ブロックに含まれる全サブブロックの予測モード
Ｍ＝(ｍ(０),ｍ(１)，・・・,ｍ(ｂｋ),・・・)
Ｗ：符号化対象ブロック
Ｊ(ｓ，ｐ，Ｍ)：レート歪最適化手法に基づく符号化コスト
Ｊｍｉｎ ：符号化コストの最小値
ｓｂｅｓｔ：符号化に用いる予測セット
ｐｂｅｓｔ：符号化に用いる参照方向組合せインデクス
ｍｂｅｓｔ(ｂｋ)：サブブロックｂｋにおける符号化に用いる予測モード
Ｍｂｅｓｔ：符号化対象ブロックに含まれる全サブブロックの符号化に用いる予測モード
Ｍｂｅｓｔ＝(ｍｂｅｓｔ(０),ｍｂｅｓｔ(１)，・・・,ｍｂｅｓｔ(ｂｋ),・・・)
Ｒs（s）：予測セットsの符号化に要する符号量
Ｒｐ(ｐ)：参照方向組合せインデクスｐの符号化に要する符号量
Ｒｍ(ｓ，ｐ，ｍ(ｂｋ))：予測セットｓ、参照方向組合せインデクスｐを適用する場合のサブブロックｂｋに用いる予測モードｍ（ｂｋ）の符号化に要する符号量
Ｒｄ(ｓ, ｐ, ｍ（ｂｋ))：サブブロックｂｋを予測セットs、参照方向組合せインデクスｐ、および予測モードｍ(ｂｋ)で符号化するときに要する予測残差データの符号量
Ｄｄ(ｓ, ｐ, ｍ（ｂｋ))：サブブロックｂｋを予測セットs、参照方向組合せインデクスｐ、および予測モードｍ(ｂｋ)で符号化するときに発生する符号化歪
λｓ：予測セットｓに関するラグランジュ乗数
λｐ：参照方向組合せインデクスｐに関するラグランジュ乗数
λｍ：予測モードｍ（ｂｋ）に関するラグランジュ乗数
λｄ：符号化歪に関するラグランジュ乗数。【０４１８】
各種パラメータを決定する際には、レート歪最適化手法に基づいて、下記式（３０）に示す符号化コストＪ（ｓ，ｐ，Ｍ）を、各予測セットs、各参照方向組合せインデクスｐ、および符号化対象ブロックに含まれる全サブブロックの予測モードＭ＝(ｍ(０), ｍ(１)，・・・, ｍ(ｂｋ), ・・・ ) の全ての組み合わせについて算出する。そして、符号化コストＪ(ｓ,ｐ，Ｍ)を最小化するパラメータ（ｓｂｅｓｔ, ｐｂｅｓｔ, Ｍｂｅｓｔ）を符号化対象ブロックの符号化に用いるパラメータとして決定する。【０４１９】
符号化コストＪ(ｓ，ｐ，Ｍ)を算出するためには、各種パラメータの符号量、およびサブブロックｂｋにおける符号量と符号化歪を求める必要があるため、符号化パラメータ決定部１４には図示されない差分演算部１、直交変換部２、量子化部３、エントロピー符号化部５０４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部１０、相対予測セット情報作成部５１、相対予測モード情報作成部６１に相当する機能ブロックを備えている。【０４２０】
【数１６】
2009004985.tif 000040
【０４２１】
符号化パラメータ（s, p, Ｍ）の決定のプロセスについて図３７を参照して以下に説明する。図３７は符号化パラメータ決定部１４における符号化パラメータ（s, p, Ｍ）の決定のプロセスを表すフローチャートである。【０４２２】
まず、符号化パラメータ決定部１４は、符号化コストの最小値Ｊｍｉｎを十分大きな値で初期化する。また、符号化パラメータ（ｓ，ｐ，Ｍ）を所定の初期値に設定する（ステップＳ２００）。そして、予測セットｓ、参照方向組合せインデクスｐを用いて、符号化対象ブロックＷに含まれる全サブブロックを予測モードＭの組み合わせで符号化する場合の符号化コストＪ（ｓ，ｐ，Ｍ）を算出する（ステップＳ２０１）。【０４２３】
次に、符号化コストの最小値Ｊｍｉｎ、とその時の符号化パラメータ（ｓｂｅｓｔ，ｐｂｅｓｔ，Ｍｂｅｓｔ）および（ｓ，ｐ，Ｍ）の更新制御を行う。【０４２４】
ここで、Ｊ（ｓ，ｐ，Ｍ）＜Ｊｍｉｎを満たす場合には、符号化コストの最小値Ｊｍｉｎの値をＪ（ｓ，ｐ，Ｍ）とする。また、符号化パラメータ（ｓｂｅｓｔ, ｐｂｅｓｔ, Ｍｂｅｓｔ）の値を、（ｓ，ｐ，Ｍ）の値とする。Ｊ（ｓ，ｐ，Ｍ）≧Ｊｍｉｎの場合には、Ｊｍｉｎおよび符号化パラメータ（ｓｂｅｓｔ, ｐｂｅｓｔ, Ｍｂｅｓｔ）の更新を行わない。また、次の符号化コストを算出する符号化パラメータの組み合わせを（ｓ，ｐ，Ｍ）に設定する（ステップＳ２０２）。【０４２５】
続いて、全ての符号化パラメータ（ｓ，ｐ，Ｍ）についてステップＳ２０１〜Ｓ２０２の処理を終了したか否かを判定する。符号化パラメータ（ｓ，ｐ，Ｍ）の全ての組み合わせに対し、符号化コストを算出している場合には（ステップＳ２０３においてＹｅｓ）、ステップＳ２０４を実行する。算出していないものがあれば（ステップＳ２０３においてＮｏ）、ステップＳ２０１から再度実行する。つまり、ステップＳ２０１およびＳ２０２の処理を、予測セットｓ、参照方向組合せインデクスｐ、符号化対象ブロックに含まれる全サブブロックの予測モードＭの全ての組み合わせについて反復する。【０４２６】
ステップＳ２０１〜Ｓ２０３の処理を経て取得した符号化コストのうち、最小値Ｊｍｉｎを与える符号化パラメータ（ｓｂｅｓｔ, ｐｂｅｓｔ, Ｍｂｅｓｔ）を、実際の符号化に用いるパラメータとして決定する（ステップＳ２０４）。決定した予測セットｓｂｅｓｔは、イントラ予測部１０、相対予測セット情報作成部５１および相対予測モード情報作成部６１へ出力される。また、決定した参照方向組合せインデクスｐｂｅｓｔは、相対予測モード情報作成部６１、およびエントロピー符号化部５０４へ出力される。また、決定した符号化対象ブロックに含まれる全サブブロックの予測モードＭｂｅｓｔはイントラ予測部１０、および相対予測モード情報作成部６１へ出力される。【０４２７】
（付記事項）
本実形態では、参照方向決定部６１３においてサブブロックサイズがＮ＝Ｍ／４の場合の参照方向組合せテーブルの例として表２０を示したがこれに限定されるものではない。例えば、表２０の代わりに、表２３を用いてもよい。表２３を用いる場合、エントロピー符号化部５０４は、表２４に示す参照方向組合せインデクス符号表を用いることが好ましい。また、本実施形態では、予測セット情報が水平、垂直方向のどちらを重視しているかによって、参照方向組合せインデクスとサブブロックグループの参照方向との対応関係が異なる参照方向組合せテーブルを用いるが、予測セット情報によらず、表２５や表２６に示す参照方向組合せテーブルを用いてもよい。表２５を用いる場合は、エントロピー符号化部５０４は、表２７に示す参照方向組合せインデクス符号表を用いることが好ましい。
また、表２６を用いる場合は、エントロピー符号化部５０４は、表２８に示す参照方向組合せインデクス符号表を用いることが好ましい。【０４２８】
【表２３】
2009004985.tif 000041
【０４２９】
【表２４】
2009004985.tif 000042
【０４３０】
【表２５】
2009004985.tif 000043
【０４３１】
【表２６】
2009004985.tif 000044
【０４３２】
【表２７】
2009004985.tif 000045
【０４３３】
【表２８】
2009004985.tif 000046
【０４３４】
なお、本実施形態では予測セットならびに参照方向組合せインデクスの符号化単位をＭ×Ｍ画素ブロックとして説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）を予測セットの符号化単位としてもよい。例えば、スライス単位で予測セットならびに参照方向の組合せを切り替える場合、スライスの先頭で選択した予測セットに関する情報を符号化する必要がある。予測セットならびに参照方向組合せインデクスの符号化単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよく、符号化データの先頭、ピクチャ、ＧＯＰヘッダの中で指定してもよい。あるいは画像符号化装置・画像復号装置ではなく外部の手段を使って通知することも可能である。【０４３５】
（作用効果）
以上のように、画像符号化装置５００は、画像を構成する各ブロック単位に、当該ブロックに用いる予測セットと、当該ブロック中の所定数のサブブロックで構成されるサブブロックグループで予測モードの推定に共通に用いる符号化済み隣接サブブロックの参照方向と、当該ブロック中の全予測モードを符号化コストに基づいて決定する。また画像符号化装置５００は、さらに前記ブロックを構成する各サブブロック単位に、前記決定した予測セットと、前記決定した参照方向と、当該サブブロックに隣接する符号化済みサブロックにおける予測セットと予測モードと、当該サブブロックの位置に基づいて、当該サブブロックの予測モードを推定して符号化する。したがって、画像符号化装置５００は、当該サブブロックの予測モードの推定に用いる参照サブブロックを選択することが可能となるため、予測モードの推定精度が高まり、予測モードを表すのに要する符号量を効率的に削減し、さらに符号化効率を上げることができる。また、画像符号化装置５００は、当該サブブロックの予測セットと、予測モードの推定に用いる参照サブブロックの予測セットが異なる場合、上記予測モード対応表を利用することで、参照サブブロックの予測モードを当該サブブロックの予測セット中の最も類似する予測モードへ変換するため、当該サブブロックの予測モードの推定精度を向上させ、予測モードを表すのに要する符号量を効率的に削減し、さらに符号化効率を上げることができる。また、画像符号化装置５００は、予測モードの推定に用いる参照方向の組合せを表す情報（参照方向組合せインデクス）を出現頻度の偏りに応じた可変長符号化を行うため、参照方向組合せインデクスに必要な符号量の増加を抑制することが可能である。【０４３６】
〔実施形態６〕
本発明に係る画像復号装置の他の形態について、実施形態６として図３８〜図４１を参照して以下に説明する。なお、実施形態１〜５と同様の構成要素については同一の符号を付し、その説明を省略する。【０４３７】
（画像復号装置５５０の構成）
実施形態６に係る画像復号装置５５０の構成について、図３８を参照して以下に説明する。図３８は、画像復号装置５５０の構成を示すブロック図である。【０４３８】
図３８に示すように、画像復号装置５５０は、主として、エントロピー復号部５０５、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部１０、予測セット情報作成部５２および予測モード情報作成部６２を備えている。本実施形態では、まだ説明されていないエントロピー復号部５０５、予測モード情報作成部６２についてのみ以下に説明する。【０４３９】
（エントロピー復号部５０５）
エントロピー復号部５０５は、エントロピー符号化部５０４の逆処理を実行するものであり、予測残差データ、相対予測モード情報、参照方向組合せインデクス、相対予測セット情報などの符号化データをエントロピー復号し、出力する。【０４４０】
なお、エントロピー復号部５０５において、参照方向組合せインデクスの符号化データ（符号）は、参照方向組合せインデクス符号表を参照して、符号に対応する参照方向組合せインデクスへエントロピー復号され、復号された参照方向組合せインデクスは予測モード情報作成部６２へ出力される。このとき、参照方向組合せインデクス符号表は、画像符号化装置５００と同じものを用いることが好ましい。また、参照方向組合せインデクス符号表は、実施形態５の画像符号化装置５００と本実施形態の画像復号装置５５０との間において、予め共通に用いる参照方向組合せインデクス符号表を取り決めておいてもよいし、外部の通知手段を用いて指定してもよい。【０４４１】
（予測モード情報作成部６２）
予測モード情報作成部６２は、相対予測モード情報作成部６１の逆処理を実行するものであり、予測セット情報作成部５２において復元された予測セット情報と、エントロピー復号された相対予測モード情報および参照方向組合せインデクスと、隣接サブブロックの復号済み予測セット情報および復号済み予測モード情報とから、当該サブブロックの予測モード情報を作成し、出力する。【０４４２】
ここで、予測モード情報作成部６２の構成について下記に説明する。図３９は、予測モード情報作成部６２の構成を示すブロック図である。予測モード情報作成部６２は、図３９に示すように、格納部６２１ａ、格納部６２１ｂ、参照方向決定部６２２、予測モード情報推定部６２３、および予測モード情報生成部６２４を備えている。各部材について、以下に説明する。【０４４３】
（格納部６２１ａ、格納部６２１ｂ）
格納部６２１ａ、６２１ｂは、相対予測モード情報作成部６１における格納部６１１ａ、６１１ｂと同様に、入力情報を一時的に記憶する。格納部６２１ａは、予測モード情報生成部６２４で生成された当該サブブロックの予測モード情報を格納する。また、格納部６２１ｂは、入力された予測セット情報を格納する。なお、格納された予測モード情報、および予測セット情報は、当該サブブロックより後に復号されるサブブロックにおける予測モード情報の推定に利用される。【０４４４】
（参照方向決定部６２２）
参照方向決定部６２２は、相対予測モード情報作成部６１における参照方向決定部６１２と同様に、予測セット情報および参照方向組合せインデクスを入力とし、サブブロックの予測モード情報の推定に利用する符号化済み隣接サブブロック（参照サブブロック）の参照方向を予測モード情報推定部６２３へ出力する。参照方向は、入力された予測セット情報、参照方向組合せインデクスおよび当該サブブロックの位置（内部的にカウントする）に基づいて、参照方向組合せテーブルより決定される。このとき、参照方向組合せテーブルは、画像符号化装置５００と同じものを用いることが好ましい。また、実施形態５の画像符号化装置５００と本実施形態の画像復号装置５５０との間において、予め共通に用いる参照方向組合せテーブルを取り決めておいてもよいし、外部の通知手段を用いて指定してもよい。なお、参照方向の決定方法は実施形態５に記載した方法と同じであるため、ここではその説明を省略する。【０４４５】
（予測モード情報推定部６２３）
予測モード情報推定部６２３は、入力された予測セット情報と、参照方向決定部６２２において決定された参照方向、格納部６２１ａ、６２１ｂに格納された復号済み隣接サブブロックの予測モード情報および予測セット情報に基づいて、当該サブブロックに用いる予測モード情報の推定値を所定の方法で決定する。そして、決定した推定値を予測モード情報生成部６２４へ出力する。なお、予測モード情報の推定値の決定方法は、実施形態５における予測モード情報推定部６１３と同じであるため、ここではその説明を省略する。【０４４６】
（予測モード情報生成部６２４）
予測モード情報生成部６２４は、相対予測モード生成部６１４の逆処理を実行するものであり、入力された相対予測モード情報と、予測モード情報推定部６２３において決定された予測モード情報との推定値probable_modeに基づいて、当該サブブロックに用いる予測モード情報を生成する。また、生成された予測モード情報は、格納部６２１ａ、およびイントラ予測部１０へ出力される。ここで、予測モード情報mode_data( )のデータ構造を表２９に示す。【０４４７】
【表２９】
2009004985.tif 000047
【０４４８】
画像復号装置５５０における画像復号プロセスの概要について、図４０を参照して以下に説明する。図４０は、画像復号装置５５０における画像復号プロセスの概要を示すフローチャートである。【０４４９】
復号対象ブロック（Ｍ×Ｍ画素ブロック）の符号化データを画像復号装置５５０に入力する（ステップＳ２１０）。【０４５０】
エントロピー復号部５０５は、入力した符号化データ中の復号対象ブロックにおける相対予測セット情報と参照方向組合せインデクスをそれぞれエントロピー復号し、出力する（ステップＳ２１１）。【０４５１】
予測セット情報作成部５２は、ステップＳ２１１においてエントロピー復号した相対予測セット情報と、記憶してある復号済み予測セット情報とに基づいて、復号対象ブロックの予測セット情報を作成する（ステップＳ２１２）。【０４５２】
エントロピー復号部５０５は、相対予測モード情報の符号化データをエントロピー復号して、相対予測モード情報を予測モード情報作成部６２へ出力する(ステップＳ２１３)。【０４５３】
予測モード情報作成部６２は、入力された予測セット情報、参照方向組合せインデクス、および当該サブブロックにおける相対予測モード情報と、当該サブブロックに隣接する復号済みサブブロックの予測セット情報および予測モード情報に基づいて、当該サブブロックの予測モード情報を作成する（ステップＳ２１４）。【０４５４】
エントロピー復号部５０５は、さらに所定のブロックサイズ（Ｎ×Ｎ画素ブロック）に分割した各復号対象サブブロックについても、予測残差データの量子化値をエントロピー復号する（ステップＳ２１５）。【０４５５】
イントラ予測部１０は、メモリ９に格納した復号済みの隣接サブブロックにおける局所復号画像を用いて、復号対象サブブロックに適用する予測モードに応じた予測画像（Ｎ×Ｎ画素ブロック）をイントラ予測して生成する（ステップＳ２１６）。イントラ予測による予測画像の生成方法は、実施形態１において説明したため、ここではその説明を省略する。【０４５６】
ステップＳ２１５において復号した予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８に出力される（ステップＳ２１７）。【０４５７】
加算演算部８は、ステップＳ２１６で生成した予測画像と、ステップＳ２１７で逆量子化・逆直交変換した予測残差データとを加算し、復号対象サブブロックの復号画像（Ｎ×Ｎ画素ブロック）を出力する（ステップＳ２１８）。【０４５８】
メモリ９は、ステップＳ２１８で生成した復号対象サブブロックにおける復号画像を記憶する（ステップＳ２１９）。【０４５９】
なお、画像復号装置５５０は、復号対象ブロックを構成する全てのサブブロックについてステップＳ２１３〜Ｓ２１９を繰り返し、また復号対象画像を構成する全てのブロックについてステップＳ２１０〜Ｓ２１９の処理を繰り返す。【０４６０】
本実施形態では、画像復号装置５５０の復号プロセスをステップＳ２１０〜Ｓ２１９の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。【０４６１】
（予測モード情報の詳細な作成プロセス）
次に、予測モード情報を作成するプロセスについて、図４１を参照して以下に説明する。図４１は、予測モード情報を生成する詳細なプロセスを示すフローチャートである。【０４６２】
まず、参照方向決定部６２２は、入力した予測セット情報および参照方向組合せインデクスと、当該サブブロックの位置とに基づいて、参照方向組合せテーブルから、予測モード情報の推定に用いる参照サブブロックの参照方向を決定する（ステップＳ２２０）。そして、決定した参照方向を予測モード情報推定部６２３へ出力する。【０４６３】
予測モード情報推定部６２３は、入力した参照方向が示す参照サブブロックの予測モード情報および予測セット情報をそれぞれ格納部６２１ａ、格納部６２１ｂより取得する(ステップＳ２２１)。続いて、予測モード情報推定部６２３は、取得した参照サブブロックにおける予測モード情報と予測セット情報、ならびに当該サブブロックにおける予測セット情報に基づいて、予測モード対応表より、予測モード情報の推定値を決定する（ステップＳ２２２）。なお、決定した推定値は予測モード情報生成部６２４へ出力される。【０４６４】
予測モード情報生成部６２４は、入力した相対予測モード情報と予測モード情報の推定値に基づいて、当該サブブロックにおける予測モード情報を生成し、出力する（ステップＳ２２３）。【０４６５】
最後に、格納部６２１ａ、６２１ｂは、当該サブブロックにおける予測モード情報および予測セット情報をそれぞれ記憶する（ステップＳ２２４）。【０４６６】
なお、本実施形態では予測セットならびに参照方向組合せインデクスの復号単位をＭ×Ｍ画素ブロックとして説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）を復号単位としてもよい。例えば、スライス単位で予測セットならびに参照方向の組合せを切り替える場合、スライスの先頭で選択した予測セットならびに参照方向の組合せに関する情報を復号する必要がある。予測セットならびに参照方向組合せインデクスの復号単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよく、符号化データの先頭、ピクチャ、ＧＯＰヘッダの中で指定してもよい。あるいは画像符号化装置・画像復号装置ではなく外部の手段を使って通知することも可能である。【０４６７】
（作用効果）
以上のように、画像復号装置５５０は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群を備えている。画像復号装置５５０は、画像を構成する各ブロックにおいて、復号対象ブロックに用いる予測セット情報を、相対予測セット情報と復号済み予測セット情報を用いて復号する。次に、当該ブロック中の全サブブロックの予測モードの推定に用いる参照方向の組合せを表す参照方向組合せインデクスを復号する。そして、画像復号装置５５０は、前記ブロックをさらに分割したサブブロック単位に、前記復号した予測セット情報と、前記復号した参照方向組合せインデクスと、当該サブブロックに隣接する復号済みサブブロックの予測セット情報と予測モード情報から当該サブブロックの予測モードを推定し、前記推定値と相対予測モード情報に基づいて、予測モード情報を復号する。したがって、画像復号装置５５０は、当該サブブロックの予測モードの推定に用いる参照サブブロックを選択することが可能となるため、予測モードの推定精度が高まり、予測モードを復号するのに要する符号量を削減することが可能である。また、画像復号装置５５０は、当該サブブロックの予測セットと、予測モードの推定に用いる参照サブブロックの予測セットが異なる場合、上記予測モード対応表を利用することで、参照サブブロックの予測モードを当該サブブロックの予測セット中の最も類似する予測モードへ変換するため、当該サブブロックの予測モードの推定精度を向上させ、予測モードを復号するのに要する符号量をさらに効率的に削減することが可能である。また、画像復号装置５５０は、前記参照方向組合せインデクスを出現頻度の偏りに応じた可変長符号により復号を行うため、参照方向組合せインデクスの復号に要する符号量の増加を抑制することが可能である。【０４６８】
〔実施形態７〕
本発明に係る画像符号化装置の他の形態を実施形態７として、図４２〜図４９を参照して以下に説明する。なお、実施形態１〜６と同様の構成要素については同一の符号を付し、その説明を省略する。【０４６９】
実施形態５では、当該サブブロックの予測モードの推定に用いる参照サブブロックの決定に予測セット情報を利用する場合について説明している。本実施形態では、予測セット情報を利用することなく、当該サブブロックの周辺にある符号化済みサブブロックにおける予測モードを用いて、当該サブブロックの予測モードの推定に用いる参照サブブロックを決定する画像符号化装置について説明する。【０４７０】
（画像符号化装置６００の構成）
本実施形態に係る画像符号化装置６００の構成について、図４２を参照して以下に説明する。図４２は、本実施形態に係る画像符号化装置６００の構成を示すブロック図である。画像符号化装置６００は、差分演算部１、直交変換部２、量子化部３、エントロピー符号化部３０４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部３１０、予測モード決定部３１１、相対予測モード情報作成部６６１を備えている。本実施形態では、まだ説明されていない相対予測モード情報作成部６６１について以下に説明する。【０４７１】
（相対予測モード情報作成部６６１）
相対予測モード情報作成部６６１は、予測モード決定部３１１より入力された予測モード情報、および相対予測モード情報作成部６６１の内部で記憶されている当該サブブロックに隣接する符号化済みサブブロックの予測モード情報に基づいて、当該サブブロックの相対予測モード情報を作成する。【０４７２】
相対予測モード情報作成部６６１の構成について、図４３を参照して以下に説明する。図４３は、相対予測モード情報作成部６６１の構成を示すブロック図である。【０４７３】
相対予測モード情報作成部６６１は、図４３に示すように、格納部６６２、参照位置決定部６６３、予測モード情報推定部６６４、および相対予測モード情報生成部６６５を備えている。【０４７４】
（格納部６６２）
格納部６６２は、入力された当該サブブロックの予測モード情報を格納する。なお、格納された予測モード情報は当該サブブロックより後に符号化されるサブブロックにおける予測モード情報の推定に利用される。【０４７５】
（参照位置決定部６６３）
参照位置決定部６６３は、当該サブブロックの周辺に位置する符号化済みサブブロックの予測モード情報を利用して、当該サブブロックに隣接する４箇所のサブブロック（図４４中の隣接サブブロックＡ、Ｂ、Ｃ、Ｄ）のうち、当該サブブロックと最も相関の高いサブブロック（参照サブブロック）を決定し、決定した参照サブブロックの位置情報（参照位置情報）を予測モード情報推定部６６４へ出力する。ここでは、当該サブブロックを当該サブブロックＯと称する。【０４７６】
（予測モード情報推定部６６４）
予測モード情報推定部６６４は、参照位置決定部６６３において決定された参照位置情報、および格納部６６２に格納された復号済み隣接サブブロックの予測モード情報に基づいて、当該サブブロックに用いる予測モード情報の推定値を所定の方法で決定し、決定した推定値を予測モード情報生成部６６５へ出力する。【０４７７】
（相対予測モード情報生成部６６５）
相対予測モード情報生成部６６５は、相対予測モード情報生成部６１４と同じ機能を有しており、入力された予測モード情報と、予測モード情報推定部６６４において決定された予測モード情報の推定値probable_modeに基づいて、推定値に対する予測モードの相対情報（相対予測モード情報）を生成する。また、生成された相対予測モード情報は、エントロピー符号化部３０４へ出力される。ここで、相対予測モード情報relative_mode_data( )のデータ構造は表１８と同じである。【０４７８】
（画像符号化プロセスの概要）
画像符号化装置６００における画像符号化プロセスの概要について、図４５を参照して以下に説明する。図４５は、画像符号化装置６００における画像符号化プロセスの概要を示すフローチャートである。【０４７９】
符号化対象サブブロック（Ｎ×Ｎ画素ブロック）を画像符号化装置６００に入力する（ステップＳ２３０）。【０４８０】
予測モード決定部３１１は、符号化対象サブブロックの原画像と、メモリ９に格納した局所復号画像（Ｎ×Ｎ画素ブロック）とに基づいて、符号化対象サブブロックの予測モードを決定する（ステップＳ２３１）。なお、決定した予測モードに関する予測モード情報はイントラ予測部３１０、および相対予測モード情報作成部６６１へ出力される。【０４８１】
相対予測モード情報作成部６６１は、予測モード決定部３１１から入力した符号化対象サブブロックにおける予測モード情報を、参照サブブロックの予測モード情報に基づいて、符号化対象サブブロックの相対予測モード情報を作成し、出力する（ステップＳ２３２）。【０４８２】
エントロピー符号化部３０４は、入力した相対予測モード情報を、エントロピー符号化して、相対予測モード情報の符号化データを出力する（ステップＳ２３３）。【０４８３】
イントラ予測部３１０は、メモリ９から取得した符号化済み隣接サブブロックにおける局所復号画像を用いて、上記ステップＳ２３１で決定した予測モードにより定まるイントラ予測を行い、符号化対象サブブロックの予測画像を生成する（ステップＳ２３４）。生成された符号化対象サブブロックの予測画像は、差分演算部１、および加算演算部８へ出力される。なお、予測画像の生成方法は従来技術と同じであるため、ここではその説明を省略する。【０４８４】
差分演算部１は、入力した符号化対象サブブロックの原画像と、ステップＳ２３４で生成した予測画像との差分である符号化対象サブブロックの予測残差データを算出し、出力する（ステップＳ２３５）。【０４８５】
ステップＳ２３５で算出した予測残差データは、直交変換部２、量子化部３の順に入力され、直交変換・量子化されてエントロピー符号化部３０４および逆量子化部６へ出力される（ステップＳ２３６）。【０４８６】
直交変換・量子化された予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換され、加算演算部８へ出力される(ステップＳ２３７)。【０４８７】
加算演算部８は、ステップＳ２３７において逆量子化および逆直交変換した予測残差データと、ステップＳ２３４において生成した予測画像とを加算し、符号化対象サブブロックの局所復号画像を生成する（ステップＳ２３８）。なお、生成した局所復号画像は、メモリ９に格納される。【０４８８】
エントロピー符号化部３０４は、符号化対象サブブロックの量子化済み予測残差データをエントロピー符号化して、予測残差データの符号化データを出力する（ステップＳ２３９）。【０４８９】
なお、画像符号化装置６００は、ステップＳ２３０〜Ｓ２３９における処理を、符号化対象画像を構成する全てのサブブロックについて行う。【０４９０】
本実施形態では、画像符号化装置６００の符号化プロセスをステップＳ２３０〜Ｓ２３９の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。【０４９１】
（参照サブブロックの詳細な決定プロセス）
参照サブブロックの決定方法について、以下に説明する。まず、対象サブブロックＰに対するサブブロックＱの相対位置について説明する。図４６に示すように、対象サブブロックＰを基点（０，０）として、水平方向をＸ軸（右を正）、垂直方向をＹ軸（下を正）と軸を定めるとき、Ｐに対するＱの相対位置を（ｘ，ｙ）で表すものとする。例えば、当該サブブロックに隣接するサブブロックＡ、Ｂ、Ｃ、Ｄの相対位置はそれぞれ（−１，０）、（０，−１）、（−１，−１）、（１，−１）で表される。【０４９２】
次に、対象サブブロックＰに対する相対位置（ｘ，ｙ）にあるサブブロックＱの連結度をＳｐ（ｘ，ｙ）と定義する。ここで、連結度Ｓｐ（ｘ，ｙ）は、対象サブブロックＰと、相対位置（ｘ，ｙ）にあるサブブロックＱとの相関の程度を表すコスト関数であり、式（３１）で表される。なお、連結度Ｓｐ（ｘ，ｙ）は、その値が大きいほどサブブロックＰとサブブロックＱの相関が強いことを表す。【０４９３】
【数１７】
2009004985.tif 000048
【０４９４】
ここで、上記式（３１）中のｗｐは、サブブロックＰにおける予測モードｍｐがサブブロックＱにおいて予測モードｍｐと類似する予測モードの出現する程度を表した重み係数である。同様に、ｗｑは、サブブロックＱにおける予測モードｍｑがサブブロックＱに対してサブブロックＰにおいて予測モードｍｑと類似する予測モードの出現する程度を表した重み係数である。【０４９５】
重み係数ｗｐ、ｗｑは、表３０を参照して、予測モードｍｐ、ｍｑと相対位置（ｘ，ｙ）により定められる。なお、表３０中の重み係数ｗ１、ｗ２には、下記式（３２）に示す大小関係があり、重み係数ｗｉの値が大きいほど、類似する予測モードが出現しやすいことを表している。【０４９６】
【数１８】
2009004985.tif 000049
【０４９７】
【表３０】
2009004985.tif 000050
【０４９８】
例えば、対象サブブロックＰにおける予測モードｍｐが予測モード１（水平方向の予測）である場合には、４種類の相対位置のうち、対象サブブロックＰの左に位置する（相対位置(−1，０)にある）サブブロックにおいて類似する予測モードが出現しやすい。そのため、相対位置(−1，０)は重み係数を大きい値ｗ１に設定し、その他の相対位置（０，−１）、（−１，−１）、（１，−１）は小さい値ｗ２に設定する。ただし、重み係数の値は、ｗ１、ｗ２の２種類に限定されるものではない。【０４９９】
また、上記式（３１）中のｄは、対象サブブロックＰの予測モードｍｐとサブブロックＱの予測モードｍｑとの予測方向がどれだけ近いかを表す類似度であり、表３１を用いて算出される。表３１中のｄｉ（ｉ＝１，２，３，４，５）は、類似度を表す所定の値であり、各ｄｉの間には下記式（３３）に示す大小関係がある。すなわち、ｄｉの値が大きいほど、類似度が高いことを表している。【０５００】
【数１９】
2009004985.tif 000051
【０５０１】
【表３１】
2009004985.tif 000052
【０５０２】
例えば、予測モードｍｐが予測モード１（水平方向の予測）である場合、予測モードｍｑも同様に予測モード１であれば、予測方向が一致する。そのため、類似度には値の大きいｄ１を設定する。また、ｍｑが図６８において予測モード１に最近接する予測モード６、８である場合には、ｄ２を設定する。また、ｍｑが図６８において予測モード１と２番目に近接する予測モード３、４である場合には、ｄ３を設定する。また、ｍｑが図６８において予測モード１と３番目に近接する予測モード５、７である場合には、ｄ４を設定する。さらに、ｍｑが図６８において予測モード１と最も離れている予測モード０である場合には、ｄ５を設定する。なお、ｍｑが予測モード２である場合は、ｄ１〜ｄ５の中間値であるｄ３を設定する。ただし、類似度の値は、ｄ１〜ｄ５の５種類に限定されるものではない。類似度ｄは、対象サブブロックＰの予測モードｍｐが出現する場合、隣接サブブロックにおいてより類似した予測モードが出現しやすい特性に基づいて設定することが好ましい。例えば、予め求めた予測モードｍｐに対する予測モードｍｑの出現確率（同時生起確率）に基づいて設定することが好ましい。【０５０３】
次に当該サブブロックＯに隣接するサブブロックＡ、Ｂ、Ｃ、Ｄそれぞれにおいて、４つの相対位置（−１，０）、（０，−１）、（−１，−１）、（１，−１）との連結度Ｓｐ（ｘ，ｙ）（ｐ＝ａ、ｂ、ｃ、ｄ）を求める。例えば、隣接サブブロックＡであれば、Ｓａ（−１，０）、Ｓａ（０，−１）、Ｓａ（−１，−１）、Ｓａ（１，−１）を求める。【０５０４】
各隣接サブブロックＡ、Ｂ、Ｃ、Ｄにおいて求めた連結度Ｓｐ（ｘ，ｙ）に基づいて、当該サブブロックＯに対して相対位置（−１，０）、（０，−１）、（−１，−１）、（１，−１）における連結度Ｓｏ（ｘ，ｙ）を、下記式（３４）〜（３７）を用いて推定する。なお下記式（３４）〜（３７）では、隣接サブブロックＡ、Ｂ、Ｃ、Ｄの連結度Ｓｐ（ｘ，ｙ）のうち、取得することができないものがある場合（例えば、隣接サブブロックが符号化対象画像の外に位置する場合など）には、所定の値を代入することが好ましい。【０５０５】
【数２０】
2009004985.tif 000053
【０５０６】
上記式（３４）〜（３７）により推定した連結度Ｓｏ（ｘ，ｙ）の中で、最も値の大きい連結度を与える相対位置（ｘ，ｙ）を当該サブブロックＯの参照サブブロックとする。なお、値が等しい連結度が複数ある場合は、所定の相対位置（ｘ，ｙ）を当該サブブロックＯの参照サブブロックとすることが好ましい。【０５０７】
（相対予測モード情報作成部６６１の動作プロセス）
次に、相対予測モード情報作成部６６１において相対予測モード情報を作成するプロセスについて、図４７を参照して以下に説明する。図４７は、相対予測モード情報を生成する詳細なプロセスを示すフローチャートである。【０５０８】
まず、格納部６６２は、入力した予測モード情報を格納する（ステップＳ２４０）。次に、参照位置決定部６６３は、格納部６６２に格納された当該サブブロックの周辺に位置する複数の符号化済みサブブロックの予測モード情報に基づいて、当該サブブロックと隣接サブブロック（Ａ、Ｂ、Ｃ、Ｄ）間の相関を推定する（ステップＳ２４１）。【０５０９】
ステップＳ２４１により求めた相関に基づいて、当該サブブロックの予測モード情報の推定に用いる参照サブブロックを隣接サブブロックＡ、Ｂ、Ｃ、Ｄの中より決定する（ステップＳ２４２）。なお、決定した参照サブブロックの位置を表す参照位置情報は、予測モード情報推定部６６４へ出力される。【０５１０】
予測モード情報推定部６６４は、入力した参照位置情報が示す参照サブブロックの予測モード情報を格納部６６２より取得する（ステップＳ２４３）。次に、取得した参照サブブロックにおける予測モード情報に基づき、予測モード情報の推定値を決定し、決定した推定値を相対予測モード情報生成部６６５へ出力する（ステップＳ２４４）。【０５１１】
相対予測モード情報生成部６６５は、入力した予測モード情報と、予測モード情報の推定値とに基づいて、当該サブブロックにおける相対予測モード情報を生成し、出力する（ステップＳ２４５）。【０５１２】
（変形例）
隣接する符号化済みサブブロックの予測モード情報の代わりに、隣接する符号化済みサブブロックの局所復号画像を利用して、参照サブブロックを決定する相対予測モード情報作成部６６１ｂについて、実施形態７の変形例として説明する。【０５１３】
なお、本実施形態７の相対予測モード情報作成部６６１は、隣接する符号化済みサブブロックの予測モード情報に基づいて、符号化対象サブブロックの予測モードの推定時に利用する参照サブブロックを決定する場合について例示している。【０５１４】
（画像符号化装置６００ｂの構成）
相対予測モード情報作成部６６１ｂを用いる場合の画像符号化装置６００ｂの構成について図４８を参照して以下に説明する。画像符号化装置６００ｂは、主として、差分演算部１、直交変換部２、量子化部３、エントロピー符号化部３０４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部３１０、予測モード決定部３１１、および相対予測モード情報作成部６６１ｂを備えている。相対予測モード情報作成部６６１ｂについて以下に説明する。【０５１５】
（相対予測モード情報作成部６６１ｂ）
相対予測モード情報作成部６６１ｂは、予測モード決定部３１１より入力された予測モード情報と、メモリ９に記憶されている当該サブブロックに隣接する符号化済みサブブロックの局所復号画像とに基づいて、当該サブブロックの相対予測モード情報を作成する。【０５１６】
相対予測モード情報作成部６６１ｂの構成について、図４９を参照して以下に説明する。図４９は、相対予測モード情報作成部６６１ｂの構成を示すブロック図である。【０５１７】
相対予測モード情報作成部６６１ｂは、図４９に示すように、格納部６６２、参照位置決定部６６３ｂ、予測モード情報推定部６６４、および相対予測モード情報生成部６６５を備えている。参照位置決定部６６３ｂについて、以下に説明する。【０５１８】
（参照位置決定部６６３ｂ）
参照位置決定部６６３ｂは、当該サブブロックの周辺に位置する符号化済みサブブロックの局所復号画像を利用して、当該サブブロックに隣接する４箇所のサブブロック（図４４中の隣接サブブロックＡ、Ｂ、Ｃ、Ｄ）のうち、当該サブブロックと最も相関の高いサブブロック（参照サブブロック）を決定する。そして、決定した参照サブブロックの位置情報（参照位置情報）を予測モード情報推定部６６４へ出力する。ここでは、当該サブブロックを当該サブブロックＯと称する。【０５１９】
（画像符号化プロセスの概要）
画像符号化装置６００ｂにおける画像符号化プロセスは、ステップＳ２３２を除いて、画像符号化装置６００の画像符号化プロセスとほぼ同じであるためその説明を省略する。なお、画像符号化装置６００の画像符号化プロセスと相違するステップＳ２３２は以下の通りである。【０５２０】
相対予測モード情報作成部６６１ｂは、予測モード決定部３１１から入力した符号化対象サブブロックにおける予測モード情報を、メモリ９より入力された符号化対象サブブロックの周辺に位置する符号化済みサブブロックの局所復号画像に基づいて、符号化対象サブブロックの相対予測モード情報を作成し、出力する（ステップＳ２３２）。【０５２１】
（参照サブブロック位置の詳細な決定プロセス）
当該サブブロックの周辺に位置する符号化済みサブブロックの局所復号画像を利用した参照サブブロック位置の決定方法について、以下に説明する。【０５２２】
参照位置決定部６６３ｂでは対象サブブロックと相対位置（ｘ，ｙ）にあるサブブロックＱの相関を評価するために、連結度Ｓｐ（ｘ，ｙ）の代わりにコスト関数ｆ（θｐ，θｑ，Ｔｐ，Ｔｑ）を用いる。ここで、変数θｐ，θｑは、それぞれ、対象サブブロックＰ、相対位置（ｘ，ｙ）にあるサブブロックＱにおける支配的なエッジ方向である。また、Ｔｐ、Ｔｑは、それぞれ、対象サブブロックＰ、相対位置（ｘ，ｙ）におけるサブブロックＱにおけるエッジ強度を表す。なお、エッジ方向、エッジ強度の算出方法は、実施形態１で説明しているため省略する。
コスト関数ｆ（θｐ，θｑ，Ｔｐ，Ｔｑ）の具体的な例としては、下記式（３８）、（３９）が挙げられる。【０５２３】
【数２１】
2009004985.tif 000054
【０５２４】
上記式（３８）は、エッジ方向θｐとθｑとの差分の絶対値と、エッジ強度ＴｐとＴｑとの差分の絶対値の積で与えられるコスト関数ｆ（θｐ，θｑ，Ｔｐ，Ｔｑ）である。また、上記式（３９）は、エッジ方向θｐとθｑとの差分の絶対値と、エッジ強度ＴｐとＴｑとの差分の絶対値の和で与えられるコスト関数ｆ（θｐ，θｑ，Ｔｐ，Ｔｑ）である。なお、式（３８）、（３９）におけるパラメータα、β、γ、εは所定のスケーリング変数である。【０５２５】
上記式（３８）、（３９）で表されるコスト関数ｆ（θｐ，θｑ，Ｔｐ，Ｔｑ）は、値が小さいほど、対象サブブロックＰと相対位置（ｘ，ｙ）にあるサブブロックＱとの相関が強いことを表している。ここで便宜上、対象サブブロックＰに対する相対位置（ｘ，ｙ）にあるサブブロックＱとのコスト関数ｆ（θｐ，θｑ，Ｔｐ，Ｔｑ）をｆｐ（ｘ，ｙ）と表記する。【０５２６】
次に、図４４中の当該サブブロックＯに隣接するサブブロックＡ、Ｂ、Ｃ、Ｄそれぞれと、４つの相対位置（−１，０）、（０，−１）、（−１，−１）、（１，−１）とのコスト関数ｆｐ（ｘ，ｙ）を求める。例えば、隣接サブブロックＡであれば、ｆａ（−１，０），ｆａ（０，−１）、ｆａ（−１，−１）、ｆａ（１，−１）を求める。【０５２７】
そして、各隣接サブブロックＡ、Ｂ、Ｃ、Ｄにおいて求めたコスト関数ｆｐ（ｘ，ｙ）に基づいて、当該サブブロックＯに対して相対位置（−１，０）、（０，−１）、（−１，−１）、（１，−１）におけるコスト関数ｆｏ（ｘ，ｙ）を下記式（４０）〜（４３）により推定する。なお、下記式（４０）〜（４３）において、隣接サブブロックＡ、Ｂ、Ｃ、Ｄのコスト関数ｆｐ（ｘ，ｙ）のうち、取得することができないものがある場合は、所定の値を代入するものとすることが好ましい。【０５２８】
【数２２】
2009004985.tif 000055
【０５２９】
上記式（４０）〜（４３）により推定したコスト関数ｆｏ（ｘ，ｙ）の中で、最も小さいコストを与える相対位置（ｘ，ｙ）を当該サブブロックＯの参照サブブロックとする。なお、値が等しいコストが複数ある場合は、所定の相対位置（ｘ，ｙ）を当該サブブロックＯの参照サブブロックとすることが好ましい。【０５３０】
（相対予測モード情報の詳細な作成プロセス）
相対予測モード情報を作成するプロセスは、ステップＳ２４１を除いて、相対予測モード情報作成部６６１の動作プロセスとほぼ同じであるため、その説明を省略する。なお、相対予測モード情報作成部６６１の動作プロセスと相違するステップＳ２４１は以下の通りである。【０５３１】
参照位置決定部６６３ｂは、メモリ９に格納された当該サブブロックの周辺に位置する複数の符号化済みサブブロックの局所復号画像よりエッジ情報を算出し、算出したエッジ情報に基づいて、当該サブブロックと隣接サブブロック（Ａ、Ｂ、Ｃ、Ｄ）間の相関を推定する（ステップＳ２４１）。【０５３２】
（付記事項）
なお、本実施形態ならびに本実施形態の変形例では、予測モードの推定に用いるサブブロック位置の選択単位をサブブロックとしてとして説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）をサブブロック位置の選択単位としてもよい。予測モードの推定に用いるサブブロック位置の選択単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよく、符号化データの先頭、ピクチャ、ＧＯＰヘッダの中で指定してもよい。あるいは画像符号化装置・画像復号装置ではなく外部の手段を使って通知することも可能である。また、本実施形態ならびに本実施形態の変形例では、予測モードの推定に用いる隣接サブブロックを図４４中のサブブロックＡ、Ｂ、Ｃ、Ｄとしているが、これに限定されるものではない。例えば、サブブロックＡ、Ｂのみでもよいし、Ａ、Ｂ、Ｃ、Ｄ及びそれ以外の符号化対象サブブロックに近接する符号化済みサブブロックを用いてもよい。【０５３３】
（作用効果）
以上のように、本実施形態に係る画像符号化装置６００は、互いに異なる予測方向に応じた予測モードを複数含む予測セットを少なくとも１つ有している。【０５３４】
画像符号化装置６００は、画像を構成する各ブロックにおいて、符号化対象ブロックをさらに分割したサブブロック毎に、符号化済み隣接サブブロックの予測モード情報、または符号化済み隣接サブブロックの復号画像より所定の方法に基づいて、当該サブブロックと隣接サブブロックとの相関を推定する。そして、推定した相関の結果に基づいて、当該サブブロックと最も相関の高い符号化済み隣接サブブロックを選択し、選択した符号化済みサブブロックの予測モードにより、当該サブブロックの予測モードを推定して符号化する。【０５３５】
したがって、画像符号化装置６００は、当該サブブロックと最も相関の高いサブブロックを選択することができるため、当該サブブロックの予測モードの推定精度が高まり、予測モードを表すのに要する符号量を削減し、符号化効率を高めることが可能である。【０５３６】
〔実施形態８〕
本発明に係る画像復号装置の他の形態について、実施形態８として図５０〜図５５を参照して以下に説明する。なお、実施形態１〜７と同様の構成要素については同一の符号を付し、その説明を省略する。【０５３７】
（画像復号装置６５０の構成）
実施形態８に係る画像復号装置６５０の構成について、図５０を参照して以下に説明する。図５０は、画像復号装置６５０の構成を示すブロック図である。【０５３８】
図５０に示すように、画像復号装置６５０は、主として、エントロピー復号部３０５、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部３１０、予測モード情報作成部６６６を備えている。本実施形態では、予測モード情報作成部６６２についてのみ以下に説明する。【０５３９】
（予測モード情報作成部６６６）
予測モード情報作成部６６６は、実施形態７における相対予測モード情報作成部６６１の逆処理を実行するものであり、エントロピー復号された復号対象サブブロックの相対予測モード情報と、予測モード情報作成部６６６の内部で記憶されている当該サブブロックの周辺に位置する復号済みサブブロックの予測モード情報に基づいて、当該サブブロックの予測モード情報を作成する。【０５４０】
予測モード情報作成部６６６の構成について、図５１を参照して以下に説明する。図５１は、予測モード情報作成部６６２の構成を示すブロック図である。予測モード情報作成部６６６は、図５１に示すように、格納部６６７、参照位置決定部６６８、予測モード情報推定部６６９、および予測モード情報生成部６７０を備えている。【０５４１】
（格納部６６７）
格納部６６７は、相対予測モード情報作成部６６１における格納部６６２と同等の機能を有しており、予測モード情報生成部６７０で生成された当該サブブロックの予測モード情報を格納する。なお、格納された予測モード情報は当該サブブロックより後に復号されるサブブロックにおける予測モード情報の推定に利用される。【０５４２】
（参照位置決定部６６８）
参照位置決定部６６８は、相対予測モード情報作成部６６１における参照位置決定部６６３と同等の機能を有している。すなわち、当該サブブロックの周辺に位置する復号済みサブブロックの予測モード情報を利用し、当該サブブロックに隣接する４箇所のサブブロック（図４４中の隣接サブブロックＡ、Ｂ、Ｃ、Ｄ）のうち、当該サブブロックと最も相関の高いサブブロック（参照サブブロック）を決定する。そして、決定した参照サブブロックの位置情報（参照位置情報）を予測モード情報推定部６６９へ出力する。なお、参照サブブロックの決定方法は、実施形態７における参照位置決定部６６３と同じであるため、ここではその説明を省略する。【０５４３】
（予測モード情報推定部６６９）
予測モード情報推定部６６９は、相対予測モード情報作成部６６１における予測モード情報推定部６６４と同等の機能を有している。すなわち、参照位置決定部６６８において決定された参照位置情報、および格納部６６７に格納された復号済み隣接サブブロックの予測モード情報に基づいて、当該サブブロックに用いる予測モード情報の推定値を所定の方法で決定し、決定した推定値を予測モード情報生成部６７０へ出力する。【０５４４】
（予測モード情報生成部６７０）
予測モード情報生成部６７０は、相対予測モード情報生成部６６５の逆処理を実行するものである。すなわち、入力された相対予測モード情報と、予測モード情報推定部６６９において決定された予測モード情報の推定値probable_modeとに基づいて、当該サブブロックに用いる予測モード情報を生成する。また、生成された予測モード情報は、格納部６６６およびイントラ予測部３１０へ出力される。なお、予測モード情報mode_data( )のデータ構造は表２９と同じである。【０５４５】
（画像復号プロセスの概要）
画像復号装置６５０における画像復号プロセスの概要について、図５２を参照して説明する。図５２は、画像復号装置６５０における画像復号プロセスの概要を示すフローチャートである。【０５４６】
復号対象サブブロック（Ｎ×Ｎ画素ブロック）の符号化データを画像復号装置６５０に入力する（ステップＳ２５０）。【０５４７】
エントロピー復号部３０５は、入力した符号化データ中の復号対象サブブロックに用いる相対予測モード情報の符号化データをエントロピー復号して、相対予測モード情報を予測モード情報作成部６６６へ出力する(ステップＳ２５１)。【０５４８】
予測モード情報作成部６６６は、入力した復号対象サブブロックにおける相対予測モード情報と、復号対象サブブロックの周辺に位置する復号済みサブブロックの予測モード情報とに基づいて、当該サブブロックの予測モード情報を作成する（ステップＳ２５２）。【０５４９】
エントロピー復号部３０５は、予測残差データの符号化データをエントロピー復号する（ステップＳ２５３）。【０５５０】
イントラ予測部３１０は、メモリ９に格納した復号済みの隣接サブブロックにおける局所復号画像を用いて、復号された予測モード情報に応じたイントラ予測をして、復号対象サブブロックの予測画像（Ｎ×Ｎ画素ブロック）を生成する（ステップＳ２５４）。なお、予測画像の生成方法は従来技術と同じであるため、ここではその説明を省略する。【０５５１】
ステップＳ２５３において復号した予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８に出力される（ステップＳ２５５）。【０５５２】
加算演算部８は、ステップＳ２５４において生成した予測画像と、ステップＳ２５５において逆量子化・逆直交変換した予測残差データとを加算し、復号対象サブブロックの復号画像（Ｎ×Ｎ画素ブロック）を生成して出力する（ステップＳ２５６）。【０５５３】
メモリ９は、生成した復号対象サブブロックにおける復号画像を記憶する（ステップＳ２５７）。【０５５４】
なお、画像復号装置６５０は、復号対象画像を構成する全てのサブブロックについてステップＳ２５０〜Ｓ２５７の処理を繰り返す。【０５５５】
本実施形態では、画像復号装置６５０の復号プロセスをステップＳ２５０〜Ｓ２５７の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。【０５５６】
（予測モード情報作成部６６２の動作プロセス）
次に、予測モード情報を作成するプロセスの詳細について、図５３を参照して以下に説明する。図５３は、予測モード情報を生成する詳細なプロセスを示すフローチャートである。【０５５７】
まず、参照位置決定部６６８は、格納部６６７に記憶した当該サブブロックの周辺に位置する複数の復号済みサブブロックの予測モード情報に基づいて、当該サブブロックと隣接サブブロック（Ａ、Ｂ、Ｃ、Ｄ）間の相関を推定する（ステップＳ２６０）。次に、ステップＳ２６０で求めた相関に基づいて、当該サブブロックの予測モード情報の推定に用いる参照サブブロックを隣接サブブロックＡ、Ｂ、Ｃ、Ｄの中より決定し、決定した参照サブブロックの位置を表す参照位置情報を予測モード情報推定部６６９へ出力する（ステップＳ２６１）。【０５５８】
予測モード情報推定部６６９は、入力した参照位置情報が示す参照サブブロックの予測モード情報を格納部６６７より取得する（ステップＳ２６２）。次に、取得した参照サブブロックにおける予測モード情報に基づいて予測モード情報の推定値を決定し、決定した推定値を相対予測モード情報生成部６７０へ出力する（ステップＳ２６３）。【０５５９】
相対予測モード情報生成部６７０は、入力した相対予測モード情報と、予測モード情報の推定値とに基づいて、当該サブブロックにおける予測モード情報を生成し、出力する（ステップＳ２６４）。【０５６０】
最後に、格納部６６７は、生成した当該サブブロックの予測モード情報を格納する（ステップＳ２６５）。【０５６１】
（変形例）
隣接する復号済みサブブロックの予測モード情報の代わりに、隣接する復号済みサブブロックの局所復号画像を利用して、参照サブブロックを決定する予測モード情報作成部６６２ｂを備えた画像復号装置を、変形例として以下に説明する。【０５６２】
なお、実施形態８の予測モード情報作成部６６６は、隣接する復号済みサブブロックの予測モード情報に基づいて、当該サブブロックの予測モードの推定時に利用する参照サブブロックを決定する場合について例示している。【０５６３】
（画像復号装置６５０ｂの構成）
予測モード情報作成部６６６ｂを備える場合の画像符号化装置６５０ｂの構成について図５４を参照して以下に説明する。図５４は、画像復号装置６５０ｂの構成を示すブロック図である。【０５６４】
図５４に示すように、画像復号装置６５０ｂは、主として、エントロピー復号部３０５、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、イントラ予測部３１０、予測モード情報作成部６６６ｂを備えている。本実施形態では、予測モード情報作成部６６２ｂについてのみ以下に説明する。【０５６５】
（予測モード情報作成部６６６ｂ）
予測モード情報作成部６６６ｂは、実施形態７の変形例として示した画像符号化装置６００ｂに備えられている相対予測モード情報作成部６６１ｂの逆処理を実行するものである。すなわち、エントロピー復号された復号対象サブブロックの相対予測モード情報と、メモリ９に記憶されている復号対象サブブロックに隣接する復号済みサブブロックの局所復号画像とに基づいて、当該サブブロックの予測モード情報を作成する。【０５６６】
次に、予測モード情報作成部６６６ｂの構成について説明する。図５５は、予測モード情報作成部６６６ｂの構成を示すブロック図である。予測モード情報作成部６６６ｂは、図５５に示すように、格納部６６７、参照位置決定部６６８ｂ、予測モード情報推定部６６９、および予測モード情報生成部６７０を備えている。ここでは、参照位置決定部６６８ｂについてのみ以下に説明する。【０５６７】
（参照位置決定部６６８ｂ）
参照位置決定部６６８ｂは、画像符号化装置６００ｂに備えられている相対予測モード情報作成部６６１ｂにおける参照位置決定部６６３ｂと同等の機能を有している。すなわち、当該サブブロックの周辺に位置する復号済みサブブロックの局所復号画像を利用して、当該サブブロックに隣接する４箇所のサブブロック（図４４中の隣接サブブロックＡ、Ｂ、Ｃ、Ｄ）より、参照サブブロックを決定する。そして、決定した参照サブブロックの位置を表す参照位置情報を予測モード情報推定部６６９へ出力する。なお、参照サブブロックの決定方法は、実施形態７における参照位置決定部６６３ｂと同じであるため、ここではその説明を省略する。【０５６８】
（画像復号プロセスの概要）
画像復号装置６５０ｂにおける画像復号プロセスは、ステップＳ２５２を除いて、画像復号装置６５０の画像復号プロセスとほぼ同じであるためその説明を省略する。なお、画像復号装置６５０の画像復号プロセスと相違するステップＳ２５２は以下の通りである。【０５６９】
予測モード情報作成部６６６ｂは、入力した復号対象サブブロックにおける相対予測モード情報と、メモリ９に記憶されている復号対象サブブロックの周辺に位置する復号済みサブブロックの局所復号画像に基づいて、当該サブブロックの予測モード情報を作成する（ステップＳ２５２）。【０５７０】
（予測モード情報の詳細な作成プロセス）
予測モード情報を作成するプロセスは、ステップＳ２６１を除いて、相対予測モード情報作成部６６１の動作プロセスとほぼ同じであるため、その説明を省略する。なお、相対予測モード情報作成部６６１の動作プロセスと相違するステップＳ２４１は以下の通りである。【０５７１】
参照位置決定部６６８ｂは、メモリ９に格納された当該サブブロックの周辺に位置する複数の復号済みサブブロックの復号よりエッジ情報を算出し、算出したエッジ情報に基づいて、当該サブブロックと隣接サブブロック（Ａ、Ｂ、Ｃ、Ｄ）間の相関を推定する（ステップＳ２４１）。【０５７２】
（付記事項）
なお、本実施形態ならびに本実施形態の変形例では、予測モードの推定に用いるサブブロック位置の選択単位をサブブロックとしてとして説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）またはＧＯＰ（Group Of Picture）をサブブロック位置の選択単位としてもよい。予測モードの推定に用いるサブブロック位置の選択単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよく、符号化データの先頭、ピクチャ、ＧＯＰヘッダの中で指定してもよい。あるいは画像符号化装置・画像復号装置ではなく外部の手段を使って通知することも可能である。また、本実施形態ならびに本実施形態の変形例では、予測モードの推定に用いる隣接サブブロックを図４４中のサブブロックＡ、Ｂ、Ｃ、Ｄとしているが、これに限定されるものではない。例えば、サブブロックＡ、Ｂのみでもよいし、Ａ、Ｂ、Ｃ、Ｄ及びそれ以外の復号対象サブブロックに近接する復号済みサブブロックを用いてもよい。【０５７３】
（作用効果）
以上のように、本実施形態に係る画像復号装置６５０は、互い異なる予測方向に応じた予測モードを複数含む予測セットを少なくとも１つ有している。【０５７４】
画像復号装置６５０は、画像を構成する各ブロックにおいて、復号対象ブロックをさらに分割したサブブロック毎に、復号済み隣接サブブロックの予測モード情報、あるいは復号済み隣接サブブロックの復号画像より所定の方法に基づいて、当該サブブロックと隣接サブブロックとの相関を推定する。そして、推定した相関の結果に基づいて、当該サブブロックと最も相関の高い復号済みサブブロックを選択し、選択した復号済みサブブロックの予測モードにより、当該サブブロックの予測モードを推定し、推定結果と当該サブブロックの相対予測モード情報に基づき、予測モード情報を復号する。【０５７５】
したがって、画像復号装置６５０は、当該サブブロックと最も相関の高いサブブロックを選択することができるため、当該サブブロックの予測モードの推定精度を高まり、予測モードを復号するのに要する符号量を削減することが可能である。【０５７６】
〔実施形態９〕
本発明に係る画像符号化装置の他の形態について、実施形態９として図５６〜図６０を参照して以下に説明する。なお、実施形態１〜８と同様の構成要素については同一の符号を付し、その説明を省略する。【０５７７】
ここで、実施形態１に係る画像符号化装置１００では、予め定められた１つの予測セット群（例えば、表２）より、符号化対象ブロック（Ｍ×Ｍ画素ブロック）に用いる予測セットを１つ決定する場合について例示している。本実施形態では、符号化済み隣接ブロックの情報（例えば、符号化済み隣接ブロック内に含まれるサブブロックに用いたイントラ予測の予測方向）を利用して、予め定められた複数の予測セット群より１つの予測セット群を、ブロック単位に選択し、選択された予測セット群より、符号化対象ブロックに用いる予測セットを１つ決定する画像符号化装置について説明する。【０５７８】
（画像符号化装置７００の構成）
本実施形態に係る画像符号化装置７００の構成について、図５６を参照して以下に説明する。図５６は、本実施形態に係る画像符号化装置７００の構成を示すブロック図である。【０５７９】
画像符号化装置７００は、差分演算部１、直交変換部２、量子化部３、エントロピー符号化部４、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、予測セット群選択部１５、イントラ予測部７１０、符号化パラメータ決定部７１４、および相対予測セット情報作成部７５１を備えている。予測セット群選択部１５、イントラ予測部７１０、符号化パラメータ決定部７１４、および相対予測セット情報作成部７５１について以下に説明する。【０５８０】
（予測セット群選択部１５）
予測セット群選択部１５は、定められた複数の予測セット群より、符号化対象ブロックに適用する予測セット群を、符号化済み隣接ブロックの予測セット情報および符号化済み隣接ブロック内の全サブブロックの予測モード情報に基づいて選択する。そして、選択した予測セット群を表す予測セット群情報を出力する。【０５８１】
なお、符号化済み隣接ブロックの予測セット情報および符号化済み隣接ブロック中の各サブブロックの予測モード情報は、符号化パラメータ決定部７１４より入力され、予測セット群選択部１５の内部で記憶される。【０５８２】
（イントラ予測部７１０）
イントラ予測部７１０は、メモリ９に記憶された符号化済み隣接サブブロックの局所復号画像を用いて、予測セット群情報、予測セット情報、および予測モード情報により定まるイントラ予測を行い、予測画像を生成する。なお、予測画像の詳細な生成方法は、イントラ予測部１０と同一であるため、ここではその説明を省略する。【０５８３】
（符号化パラメータ決定部７１４）
符号化パラメータ決定部７１４は、符号化対象ブロックの原画像、メモリ９に記憶された符号化済み隣接ブロックの局所復号画像、および予測セット群選択部１５で選択された予測セット群情報を入力とし、符号化対象ブロックに用いる予測セット、および符号化対象ブロック中の各サブブロックに用いる予測モードなどの符号化パラメータを決定する。決定された予測セットは、イントラ予測部７１０、相対予測セット情報作成部７５１および予測セット群選択部１５へ出力される。また、決定された各サブブロックの予測モードは、予測セット群選択部１５、イントラ予測部７１０およびエントロピー符号化部４へ出力される。【０５８４】
なお、符号化パラメータ決定部７１４では、予測セット選択部１５で選択された予測セット群情報が示す予測セット群の中から、符号化対象ブロックに用いる予測セット、および符号化対象ブロック中の各サブブロックの予測モードを決定する。予測セット、および予測モードの決定には、符号化パラメータ決定部１４と同様にレート歪最適化手法を用いることが好ましい。【０５８５】
（相対予測セット情報作成部７５１）
相対予測セット情報作成部７５１は、予測セット群選択部１５より入力された予測セット群情報、および相対予測セット情報作成部７５１の内部で記憶している符号化済み隣接ブロックの予測セット情報に基づいて、符号化パラメータ決定部７１４より入力された符号化対象ブロックの予測セット情報から相対予測セット情報を作成し、出力する。【０５８６】
相対予測セット情報作成部７５１は、図５７に示すように、主として、格納部７５２ａ、格納部７５２ｂ、予測セット情報予測部７５３、および相対予測セット情報生成部７５４を備えている。図５７は、相対予測セット情報作成部７５１の構成を示すブロック図である。各部材について、以下に説明する。【０５８７】
（格納部７５２ａ、７５２ｂ）
格納部７５２ａ、７５２ｂは、入力情報を一時的に記憶する。格納部７５２ａは、入力された符号化対象ブロックの予測セット情報を格納する。そして、格納部７５２ｂは、予測セット群選択部１５より入力された符号化対象ブロックの予測セット群情報を格納する。なお、格納された予測セット情報、予測セット群情報は符号化対象ブロックより後に符号化されるブロックの予測セットの予測に利用される。【０５８８】
（予測セット情報予測部７５３）
予測セット情報予測部７５３は、入力された予測セット群情報ならびに、格納部７５２ａおよび格納部７５２ｂにそれぞれ格納された符号化済み隣接ブロックの予測セット群情報および予測セット情報に基づいて、符号化対象ブロックに用いる予測セットの予測値を所定の方法で決定する。そして、決定した予測値を相対予測セット情報生成部７５４へ出力する。【０５８９】
（相対予測セット情報生成部７５４）
相対予測セット情報生成部７５４は、実施形態１の相対予測セット情報生成部５１１と同一の機能を有している。相対予測セット情報生成部７５４は、入力された予測セット情報と、予測セット情報予測部７５３において決定された予測セットの予測値とに基づいて、相対予測セット情報を生成し、出力する。【０５９０】
（画像符号化プロセスの概要）
画像符号装置７００における画像符号化プロセスの概要について、図５８を参照して以下に説明する。図５８は、画像符号化装置７００における画像符号化プロセスの概要を示すフローチャートである。【０５９１】
符号化対象ブロックを画像符号化装置７００に入力する（ステップＳ２７０）。【０５９２】
予測セット群選択部１５は、符号化済み隣接ブロックの予測セット情報と符号化済み隣接ブロック中の各サブブロックの予測モード情報に基づいて、符号化対象ブロックに用いる予測セット群を選択する（ステップＳ２７１）。選択した予測セット群における予測セット群情報は、符号化パラメータ決定部７１４、相対予測セット情報作成部７５１およびイントラ予測部７１０へ出力される。【０５９３】
符号化パラメータ決定部７１４は、符号化対象ブロックの原画像、メモリ９に記憶された局所復号画像、および予測セット群選択部１５で選択された予測セット群情報から、符号化対象ブロックの予測セット、および符号化対象ブロック中の全サブブロックの予測モードを決定する（ステップＳ２７２）。なお、決定した予測セットは、イントラ予測部７１０、相対予測セット情報作成部７５１および予測セット群選択部１５へ出力される。また、決定した全サブブロックの予測モードは、イントラ予測部７１０および予測セット群選択部１５へ出力される。【０５９４】
相対予測セット情報作成部７５１は、符号化済み隣接ブロックの予測セット群情報と予測セット情報に基づいて、ステップＳ２７１において得られた予測セット群情報およびステップＳ２７２において得られた予測セット情報から、相対予測セット情報を作成し、エントロピー符号化部４へ出力する（ステップＳ２７３）。【０５９５】
エントロピー符号化部４は、ステップＳ２７３において作成した相対予測セット情報をエントロピー符号化して出力する（ステップＳ２７４）。また、ステップＳ２７２において決定した符号化対象サブブロックの予測モード情報をエントロピー符号化して、予測モード情報の符号化データを出力する（ステップＳ２７５）。【０５９６】
イントラ予測部７１０は、メモリ９に記憶された符号化済み隣接サブブロックにおける局所復号画像を用いて、ステップＳ２７１で選択された予測セット群、ステップＳ２７２で決定された予測セットおよび予測モードにより定まるイントラ予測を行い、符号化対象サブブロックの予測画像を生成する（ステップＳ２７６）。生成した符号化対象サブブロックの予測画像は、差分演算部１および加算演算部８へ出力される。【０５９７】
差分演算部１は、入力された符号化対象サブブロックの原画像と、ステップＳ２７６で生成された予測画像との差分である符号化対象サブブロックの予測残差データを算出し、出力する（ステップ２７７）。【０５９８】
ステップＳ２７７で算出した予測残差データは、直交変換部２、量子化部３の順に入力され、直交変換・量子化されてエントロピー符号化部４および逆量子化部６へ出力される（ステップＳ２７８）。【０５９９】
直交変換・量子化した予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８へ出力される(ステップＳ２７９)。【０６００】
加算演算部８は、ステップＳ２７９において逆量子化および逆直交変換された予測残差データと、ステップＳ２７６において生成した予測画像とを加算し、符号化対象サブブロックの局所復号画像を生成する（ステップＳ２８０）。生成された局所復号画像は、メモリ９に記憶される。【０６０１】
エントロピー符号化部４は、符号化対象サブブロックの量子化済み予測残差データをエントロピー符号化して予測残差データの符号化データを出力する（ステップＳ２８１）。【０６０２】
なお、ステップＳ２７５〜Ｓ２８１における処理は、符号化対象ブロックを構成する全てのサブブロックについて行われる。また、ステップＳ２７０〜Ｓ２８１における処理は、符号化対象画像を構成する全てのブロックについて行われる。【０６０３】
本実施形態では、画像符号化装置７００の画像符号化プロセスをステップＳ２７０〜Ｓ２８１の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。【０６０４】
（予測セット群の構成）
次に、予測セット群の数が３つである場合を例に挙げて、本実施形態において用いる予測セット群の構成の具体例を表３２〜表３４に示す。【０６０５】
表３２は、従来技術において用いられている予測セット０（従来予測セット）、水平方向の予測を重視した予測セット１（第１水平方向予測セット）、および垂直方向の予測を重視した予測セット２（第１垂直方向予測セット）から構成される第１予測セット群を表している。第１予測セット群には、水平方向／垂直方向を重視した予測セットの両方を含むことが好ましい。【０６０６】
表３３は、従来予測セットである予測セット０、第１水平方向予測セットである予測セット１、および第１水平予測セットとは異なる水平方向の予測を重視した予測セット２（第２水平方向予測セット）から構成される第２予測セット群を表している。【０６０７】
表３４は、従来予測セットである予測セット０、第１垂直方向予測セットである予測セット１、および第２垂直方向予測セットとは異なる垂直方向の予測を重視した予測セット２（第２垂直方向予測セット）から構成される第３予測セット群を表している。【０６０８】
【表３２】
2009004985.tif 000056
【０６０９】
【表３３】
2009004985.tif 000057
【０６１０】
【表３４】
2009004985.tif 000058
【０６１１】
第１予測セット群〜第３予測セット群のうち、符号化対象ブロックに用いる予測セット群は、図９において符号化対象ブロック６１に隣接する符号化済みブロック６０ａと６０ｃ、あるいは６０ａ〜６０ｄ、あるいは６０ａ〜６０ｅと６０ｈ、あるいは６０ａ〜６０ｋ中の全サブブロックにおいて適用されたイントラ予測から、下記（１）〜（６）の指標を用いて決定する。
（１）水平方向の予測方向θ（−４５［ｄｅｇ］＜θ≦４５［ｄｅｇ］）の出現頻度数Ｎｈ（≧０）
（２）垂直方向の予測方向θ（−９０［ｄｅｇ］≦θ≦−４５［ｄｅｇ］、４５［ｄｅｇ］＜θ＜９０［ｄｅｇ］）の出現頻度数Ｎｖ（≧０）
（３）ＮｈとＮｖとの合計値Ｎｍａｘ（＝Ｎｈ＋Ｎｖ）
（４）所定の閾値Ｔ０
（５）所定の閾値Ｔ１
（６）所定の閾値Ｔ２。【０６１２】
すなわち、符号化対象ブロックに用いる予測セット群は、下記式（４４）〜（４７）として示す不等式により算出される。【０６１３】
【数２３】
2009004985.tif 000059
【０６１４】
より具体的には、予測セット群は、以下の場合分けに基づいて決定する。【０６１５】
（１）不等式（４４）を満たすときは、符号化対象ブロックに用いる予測セット群を第１予測セット群とする。【０６１６】
（２）不等式（４４）を満たさないときであって、かつ、
（２−ａ）不等式（４５）を満たすときには、符号化対象ブロックにおいて水平方向の予測方向が垂直方向の予測方向よりも出現しやすいと判定し、第２予測セット群を符号化対象ブロックに用いる。
（２−ｂ）不等式（４６）を満たすときには、水平方向の予測方向と垂直方向の予測方向の出現頻度を同程度であると判定し、第１予測セット群を符号化対象ブロックに用いる。
（２−ｃ）不等式（４７）を満たすときには、符号化対象ブロックにおいて、垂直方向の予測方向が水平方向の予測方向よりも出現しやすいと判定し、第３予測セット群を符号化対象ブロックに用いる。【０６１７】
なお、閾値Ｔ１、閾値Ｔ２の値をそれぞれ、Ｔ１＝Ｎｍａｘ／３、Ｔ２＝２Ｎｍａｘ／３に設定してもよい。ここで、閾値Ｔ０は、参照可能な符号化済み隣接ブロック中のサブブロックの数に応じて決まる所定の値である。【０６１８】
（予測セット群の選択動作プロセス）
続いて、予測セット群選択部１５における予測セット群選択時の動作プロセスについて、図５９を参照して説明する。図５９は、予測セット群選択部１５の予測セット群選択時の動作プロセスを示すフローチャートである。【０６１９】
まず、予測セット群選択部１５は、符号化対象ブロックに隣接する符号化済みブロックにおいて参照可能なブロックがあるか否かを判定する（ステップＳ２９０）。参照可能なブロックがない場合には（ステップＳ２９０においてＮｏ）、符号化対象ブロックに用いる予測セット群を第１予測セット群と設定し、「第１予測セット群」であることを示す予測セット群情報を出力して、動作を終了する（ステップＳ２９１）。【０６２０】
参照可能なブロックがある場合には（ステップＳ２９０においてＹｅｓ）、参照可能な符号化済み隣接ブロックにおける全予測セット情報および全予測モード情報に基づいて、パラメータＮｈ、Ｎｖ、Ｎｍａｘ、Ｔ１、およびＴ２を算出する（ステップＳ２９２）。続いて、ステップＳ２９２において算出したＮｈ、Ｎｖ、Ｎｍａｘ、Ｔ１、およびＴ２を用いて符号化対象ブロックに用いる予測セット群を決定する。具体的には、上記式（４４）を満たすか否か判定する（ステップＳ２９３）。【０６２１】
上記式（４４）を満たす場合には（ステップＳ２９３においてＹｅｓ）、符号化対象ブロックに用いる予測セット群を第１予測セット群と設定し、「第１予測セット群」であることを示す予測セット群情報を出力して、動作を終了する（ステップＳ２９４）。【０６２２】
上記式（４４）を満たさない場合には（ステップＳ２９３においてＮｏ）、次に上記式（４５）を満たすか否か判定する（ステップＳ２９５）。【０６２３】
上記式（４５）を満たす場合には（ステップＳ２９５においてＹｅｓ）、符号化対象ブロックに用いる予測セット群を第２予測セット群と設定し、「第２予測セット群」であることを示す予測セット群情報を出力して、動作を終了する（ステップＳ２９６）。【０６２４】
上記式（４５）を満たさない場合には（ステップＳ２９５においてＮｏ）、さらに上記式（４６）を満たすか否か判定する（ステップＳ２９７）。【０６２５】
上記式（４６）を満たす場合には（ステップＳ２９７においてＹｅｓ）、符号化対象ブロックに用いる予測セット群を第１予測セット群と設定し、「第１予測セット群」であることを示す予測セット群情報を出力して、動作を終了する（ステップＳ２９８）。【０６２６】
上記式（４６）を満たさない場合には（ステップＳ２９７においてＮｏ）、上記式（４７）を満たすと判定し、符号化対象ブロック符号化対象ブロックに用いる予測セット群を第３予測セット群と設定し、「第３予測セット群」であることを示す予測セット群情報を出力して、動作を終了する（ステップＳ２９９）。【０６２７】
なお、予測セット群選択部１５は、出力する予測セット群情報を内部に保持しているメモリに記憶する。また、予測セット群選択部１５の予測セット群選択時の動作プロセスをステップＳ２９０〜Ｓ２９９の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。【０６２８】
以上のようにすることで、予測セット群選択部１５は、符号化対象ブロックの周辺に位置する符号化済み隣接ブロックの情報に基づき、符号化対象ブロックに用いる予測セット群を自動決定することが可能である。【０６２９】
例えば、符号化済み隣接ブロックおいて、水平方向の予測方向が垂直方向の予測方向よりも出現頻度が高い場合は、水平方向の予測を重視した予測セットを複数備えた予測セット群を符号化対象ブロックに用いる。また、符号化済み隣接ブロックおいて、垂直方向の予測方向が水平方向の予測方向よりも出現頻度が高い場合は、垂直方向の予測を重視した予測セットを複数備えた予測セット群を符号化対象ブロックに用いる。また、水平方向の予測方向と垂直方向の予測方向の出現頻度が同程度である場合は、水平方向／垂直方向を重視した予測セットを同数備えた予測セット群を選択する。【０６３０】
したがって、より画像の予測に適した予測セットを備えた予測セット群より、符号化対象ブロックを効率的に符号化することが可能となる。【０６３１】
また、上記予測セット群選択部１５は、画像復号装置においても同様に適用可能である。その場合は、復号済み隣接ブロックの情報に基づき、復号対象ブロックに用いる予測セット群を自動決定することが可能である。【０６３２】
（予測セットの予測値を決定する詳細なプロセス）
次に、予測セットの予測値を決定する詳細なプロセスついて説明する。【０６３３】
まず、予測セットの予測値を、下記（１）〜（３）のいずれかの方法によって仮決定する。
（１）図９中の符号化対象ブロック６１の近傍に位置するブロック（６０ａ〜６０ｋ）において適用された予測セットの中のうち、最も出現頻度の高い予測セットを予測値とする。
（２）図９中の符号化対象ブロック６１の左部に位置する符号化済みブロック（６０ａ）に適用された予測セットを予測値とする。
（３）図９中の符号化対象ブロック６１の上部に位置する符号化済みブロック（６０ｃ）において適用された予測セットを予測値とする。【０６３４】
なお決定した予測セットの予測値は、「「第ｉ予測セット群」に属する「予測セットi」」を示すものとする。【０６３５】
次に、決定した予測セットの予測値が示す「第ｉ予測セット群」と、符号化対象ブロックの予測セット群情報が示す「第ｋ予測セット群」とを比較する。予測セットの予測値の示す「第ｉ予測セット群」と、符号化対象ブロックの「第ｋセット群」とが同一予測セット群であった場合には、決定した予測値を相対予測セット情報生成部７５４へ出力する。【０６３６】
それ以外の場合には、後述する予測セット対応表を用いて、「決定した予測セットの予測値が、符号化対象ブロックに用いる予測セット群中のいずれの予測セットと対応するのか」を求め、対応する予測セットを予測値とする。そして、決定した予測値を相対予測セット情報生成部７５４へ出力する。【０６３７】
上記表３２〜表３４に示す第１予測セット群、第２予測セット群、および第３予測セット群の予測セット対応表の例を下記表３５〜３７に示す。【０６３８】
表３５に示す予測セット対応表は、第１予測セット群中の予測セットに類似するその他予測群中の予測セットを表している。表３６に示す予測セット対応表は、第２予測セット群中の予測セットに類似するその他予測群中の予測セットを表している。また、表３７に示す予測セット対応表は、第３予測セット群中の予測セットに類似するその他予測群中の予測セットとの対応を表している。具体的には、表３１において、第１予測セット群中の予測セット１は、第２予測セット群中の予測セット１、第３予測セット群中の予測セットに最も類似していることを表している。なお、予測セット対応表は、予め所定の方法により定めておくことが好ましい。【０６３９】
【表３５】
2009004985.tif 000060
【０６４０】
【表３６】
2009004985.tif 000061
【０６４１】
【表３７】
2009004985.tif 000062
【０６４２】
（相対予測セット情報作成部７５１の動作プロセス）
相対予測セット情報作成部７５１の動作プロセスについて、図６０を参照して以下に説明する。図６０は、相対予測セット情報作成部７５１の動作プロセスに関するフローチャートである。【０６４３】
まず、入力した符号化対象ブロックに関する予測セット情報と予測セット群情報を、それぞれ格納部７５２ａ、および格納部７５２ｂに記憶する（ステップＳ３００）。【０６４４】
次に、予測セット情報予測部７５３は、符号化済み隣接ブロックの予測セット群情報および予測セット情報から、予測セットの予測値を算出する（ステップＳ３０１）。続いて、ステップＳ３０１で算出した予測値を、予測値の示す予測セット群、および符号化対象ブロックの予測セット群に基づいて修正するか否かを判定する（ステップＳ３０２）。【０６４５】
予測値を修正しない場合（ステップＳ３０２においてＮｏ）、予測セット情報予測部７５３は、予測値を相対予測セット情報生成部７５４へ出力する。予測値を修正する場合（ステップＳ３０２においてＹｅｓ）、予測セット情報予測部７５３は、予測セット対応表に基づいて、ステップＳ３０１で算出した予測値を修正し、修正した予測値を相対予測セット情報生成部７５４へ出力する（ステップＳ３０３）。【０６４６】
相対予測セット情報生成部７５４は、入力した符号化対象ブロックの予測セット情報および予測セット情報予測部７５３より入力した予測値に基づいて、相対予測セット情報を生成し、出力する（ステップＳ３０４）。【０６４７】
以上のように、予測セット情報予測部７５３は、符号化対象ブロックの予測セットと所定の方法により求めた前記予測セットに対する予測値それぞれが示す予測セット群が異なる場合、上記予測セット対応表に基づいて、前記予測値を符号化対象ブロックの予測セット群中の予測セットへ修正することで、予測セットの予測精度が高まり、予測セットを表すのに要する符号量を削減することが可能である。【０６４８】
（付記事項）
本実施形態では、予め定められた各予測セット群（第１予測セット群、第２予測セット群、第３予測セット群）の構成例が、予測セット数Ｌ＝３、予測モード数Ｋｉ＝９（ｉ＝０，１，２）である場合について説明したが、これに限定されるものではない。例えば、各予測セット群は、予測セット数Ｌ＝５、またはＬ＝９であってもよいし、それ以外の自然数であってもよい。また、各予測セット群の予測セット数はそれぞれ異なってもよい。ただし、各予測セット群の構成を変える場合には、それに応じた予測セット対応表を定める必要がある。【０６４９】
また、本実施形態における予測セット群選択部１５は、符号化済み隣接ブロック中の全サブブロックのイントラ予測の予測方向に基づいて予測セット群の選択を行っているが、これに限定されるものではない。例えば、符号化対象ブロックの周囲にある符号化済み隣接ブロックの予測セットに基づいて予測セット群を選択してもよい。この場合には、水平方向予測セットの出現頻度が高ければ、第２予測セット群を選択し、垂直方向予測セットの出現頻度が高ければ、第３予測セット群を選択し、水平方向予測セットと垂直方向予測セットの出現頻度が同程度であれば、第１予測セット群を選択する。また、符号化対象ブロックの周囲の復号画像よりエッジ方向を算出し、算出したエッジ方向に基づいて予測セット群を選択してもよい。【０６５０】
さらに、本実施形態では、予測セット群の切り替え単位をＭ×Ｍ画素ブロックとして、説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）、ＧＯＰ(Group of Picture)を予測セット群の切り替え単位としてもよい。また、予測セット群の切り替え単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよい。あるいは画像符号化装置・画像復号装置ではなく外部手段を使って通知することも可能である。【０６５１】
（作用効果）
以上のように、画像符号化装置７００は、画像を構成する各ブロック単位に、符号化済み隣接ブロック中のイントラ予測の予測方向の出現頻度を算出する。例えば、予測方向の頻度として、水平方向の予測方向の出現頻度数と、垂直方向の予測方向の出現頻度数を算出する。【０６５２】
画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群を複数備えている。画像符号化装置は、前記イントラ予測の予測方向の出現頻度の傾向に応じた予測セット群を選択する。例えば、水平方向の予測方向の出現頻度数が高ければ、水平方向の予測を重視した予測セットを多く定めた予測セット群を選択する。また、垂直方向の予測方向の出現頻度数が高ければ、垂直方向の予測を重視した予測セットを多く定めた予測セット群を選択する。また、水平方向／垂直方向の出現頻度数が同程度であれば、水平方向の予測を重視した予測セットと垂直方向の予測を重視した予測セットを同数定めた予測セット群を選択する。【０６５３】
そして、前記選択した予測セット群の中より、符号化対象ブロックに最適な予測セットを選択し、前記選択した予測セットを用いて、符号化対象ブロックを符号化する。【０６５４】
これにより、画像符号化装置７００は、画像の特性に応じた最適な予測セットを用いて、画像を符号化する。したがって、従来よりも多様な角度からの予測が可能になるので、画像の符号量をより減らすことができ、かつ、画質を向上させることができる。【０６５５】
また画像符号化装置７００は、予測方式を予測セット情報と予測モード情報とにより階層的に表現することによって、予測方式を選択する自由度を高めることができる。これによって、予測方式を表すために必要な符号量の増加を防ぎつつ、予測効率を上げることができる。【０６５６】
また、画像符号化装置７００は、符号化対象ブロックの予測セットと所定の方法により求めた前記予測セットに対する予測値それぞれが示す予測セット群が異なる場合、上記予測セット対応表に基づいて、前記予測値を符号化対象ブロックの予測セット群中の予測セットへ修正することで、予測セットの予測精度が高まり、予測セットを表すの要する符号量を削減することが可能である。【０６５７】
〔実施形態１０〕
本発明に係る画像復号装置の他の形態について実施形態１０として、図６１〜図６４を参照して以下に説明する。【０６５８】
ここで、実施形態２の画像復号装置１５０は、復号した予測セット情報に基づいて、予め定められた１つの予測セット群（例えば、表２）より、復号対象ブロック（Ｍ×Ｍ画素ブロック）に用いる予測セットを１つ決定している場合について例示している。本実施形態では、復号済み隣接ブロックの情報（例えば、復号済み隣接ブロック内に含まれるサブブロックに用いられたイントラ予測の予測方向）を利用して、予め定められた複数の予測セット群より１つの予測セット群を、ブロック単位に選択し、選択された予測セット群より、復号した予測セット情報に基づいて、復号対象ブロックに用いる予測セットを１つ決定する画像復号装置について説明する。【０６５９】
（画像復号装置７５０の構成）
本実施形態に係る画像復号装置の構成について、図６１を参照して以下に説明する。図６１は、画像復号装置７５０の構成を示すブロック図である。画像復号装置７５０は、図６１に示すように、主として、エントロピー復号部５、逆量子化部６、逆直交変換部７、加算演算部８、メモリ９、予測セット群選択部１５、イントラ予測部７１０、および予測セット情報作成部７５２を備えている。本実施形態では上記で説明していない予測セット情報作成部７５５についてのみ以下に説明する。【０６６０】
（予測セット情報作成部７５５）
予測セット情報作成部７５５は、エントロピー復号部５より入力された復号対象ブロックの相対予測セット情報、予測セット群選択部１５より入力された復号対象ブロックの予測セット群情報、予測セット情報作成部７５５の内部で記憶している復号済み隣接ブロックの予測セット群情報、および予測セット情報に基づいて、復号対象ブロックの予測セット情報を作成し、出力する。【０６６１】
予測セット情報作成部７５５の構成について、図６２を参照して以下に説明する。図６２は、予測セット情報作成部７５５の構成を示すブロック図である。予測セット情報作成部７５５は、図６２に示すように、主として、格納部７５６ａ、格納部７５６ｂ、予測セット情報予測部７５７および予測セット情報生成部７５８を備えている。各部材について以下に説明する。【０６６２】
（格納部７５６ａ、７５６ｂ）
格納部７５６ａおよび７５６ｂは、入力情報を一時的に記憶する。格納部７５６ａは、入力された復号対象ブロックの予測セット情報を格納する。また、格納部７５６ｂは、予測セット群選択部１５より入力された復号対象ブロックの予測セット群情報を格納する。なお、格納された予測セット情報、予測セット群情報は復号対象ブロックより後に復号されるブロックにおける予測セットの予測に利用される。【０６６３】
（予測セット情報予測部７５７）
予測セット情報予測部７５７は、入力された予測セット群情報と、格納部７５６ａ、７５６ｂにそれぞれ格納された復号済み隣接ブロックの予測セット群情報、および予測セット情報に基づいて、復号対象ブロックに用いる予測セットの予測値を所定の方法で決定する。そして、決定した予測値を予測セット情報生成部７５８へ出力する。【０６６４】
なお、予測セットの予測値の決定方法は、予測セット情報予測部７５３と同一であるため、説明を省略する。【０６６５】
（予測セット情報生成部７５８）
予測セット情報生成部７５８は、実施形態２の予測セット情報生成部５２１と同一の機能を有している。すなわち、相対予測セット情報生成部７５８は、入力された相対予測セット情報および予測セット情報予測部７５７において決定された予測セットの予測値に基づいて、予測セット情報を生成し出力する。【０６６６】
（画像復号プロセスの概要）
画像復号装置７５０における画像復号プロセスの概要について、図６３を参照して以下に説明する。図６３は、画像復号装置７５０における画像復号プロセスの概要を示すフローチャートである。【０６６７】
まず、復号対象ブロックの符号化データを画像復号装置７５０に入力する（ステップＳ３１０）。【０６６８】
予測セット群選択部１５は、復号済み隣接ブロックの予測セット群および復号済み隣接ブロック中の各サブブロックの予測モード情報に基づいて、復号対象ブロックに用いる予測セット群を選択し、予測セット群情報を予測セット情報作成部７５５およびイントラ予測部７１０へ出力する（ステップＳ３１１）。【０６６９】
エントロピー復号部５は、入力した符号化データ中の復号対象ブロックにおける相対予測セット情報をエントロピー復号し、予測セット情報作成部７５５へ出力する（ステップＳ３１２）。【０６７０】
予測セット情報作成部７５５は、ステップＳ３１２でエントロピー復号した相対予測セット情報、ステップＳ３１１で選択した予測セット群情報、予測セット情報作成部７５５の内部に記憶している復号済み隣接ブロックの予測セット群情報および予測セット情報に基づいて、復号対象ブロックの予測セット情報を作成する（ステップＳ３１３）。作成した復号対象ブロックの予測セット情報は、予測セット群選択部１５およびイントラ予測部７１０へ出力される。【０６７１】
エントロピー復号部５は、さらに所定のブロックサイズ（Ｎ×Ｎ画素ブロック）に分割した各復号対象サブブロックの予測モード情報をエントロピー復号し、イントラ予測部７１０へ出力する（ステップＳ３１４）。また、復号対象サブブロックの予測残差データの量子化値もエントロピー復号する（ステップＳ３１５）。【０６７２】
イントラ予測部７１０は、メモリ９に格納した復号済み隣接サブブロックの局所復号画像を用いて、ステップＳ３１１で選択した予測セット群、ステップＳ３１３で作成した予測セット情報、およびステップＳ３１４でエントロピー復号した予測モード情報により定まるイントラ予測により、復号対象サブブロックの予測画像（Ｎ×Ｎ画素ブロック）を生成する（ステップ３１６）。【０６７３】
ステップＳ３１５において復号した予測残差データは、逆量子化部６、逆直交変換部７の順に入力され、逆量子化・逆直交変換されて、加算演算部８に出力される（ステップＳ３１７）。【０６７４】
加算演算部８は、ステップＳ３１６で生成した予測画像と、ステップＳ３１７で逆量子化・逆直交変換した予測残差データとを加算し、復号対象サブブロックの復号画像（Ｎ×Ｎ画素ブロック）を出力する（ステップＳ３１８）。【０６７５】
最後に、メモリ９は、ステップＳ３１８で生成した復号対象サブブロックの復号画像を記憶する（ステップＳ３１９）。【０６７６】
なお、画像復号装置７５０は、復号対象ブロックを構成する全てのサブブロックについてステップＳ３１４〜Ｓ３１９の処理を繰り返す。また、復号対象画像を構成する全てのブロックについてステップＳ３１０〜Ｓ３１９の処理を繰り返す。【０６７７】
本実施形態では、画像復号装置７５０の復号プロセスをステップＳ３１０〜Ｓ３１９の順に説明したが、これに限定されるものではなく、本発明を実施できる範囲において変更可能である。【０６７８】
（予測セット情報作成部７５５の動作プロセス）
予測セット情報作成部７５５の動作プロセスについて、図６４を用いて説明する。図６４は、予測セット情報作成部７５５の動作プロセスに関するフローチャートである。【０６７９】
まず、予測セット情報予測部７５７は、復号済み隣接ブロックの予測セット群情報および予測セット情報に基づいて、予測セットの予測値を算出する（ステップＳ３２０）。続いて、予測セット情報予測部７５７は、ステップＳ３２０で算出した予測値に関して、予測値の示す予測セット群、および復号対象ブロックの予測セット群に基づいて修正するか否かを判定する（ステップＳ３２１）。【０６８０】
予測値を修正しない場合（ステップＳ３２１においてＮｏ）、予測セット情報予測部７５７は、予測値を予測セット情報生成部７５８へ出力する。予測値を修正する場合（ステップＳ３２１においてＹｅｓ）、予測セット情報予測部７５７は、予測セット対応表に基づいて、ステップＳ３２０で算出した予測値を修正し、修正した予測値を予測セット情報生成部７５８へ出力する（ステップＳ３２２）。【０６８１】
予測セット情報生成部７５８は、予測セット情報を、入力した復号対象ブロックの相対予測セット情報、および予測セット情報予測部７５７より入力した予測値に基づいて生成し、出力する（ステップＳ３２３）。【０６８２】
最後に、格納部７５６ａ、格納部７５６ｂは、ステップＳ３２３において作成した復号対象ブロックの予測セット情報、および入力された復号対象ブロックの予測セット群情報をそれぞれ記憶する（ステップＳ３２４）。【０６８３】
以上のように、予測セット情報予測部７５７は、復号対象ブロックの予測セットと所定の方法により求めた前記予測セットに対する予測値それぞれが示す予測セット群が異なる場合、上記予測セット対応表に基づいて、前記予測値を復号対象ブロックの予測セット群中の予測セットへ修正することで、予測セットの予測精度が高まり、予測セットの復号に要する符号量を削減することが可能である。【０６８４】
（付記事項）
本実施形態では、予測セット群選択部１５において、復号済み隣接ブロック中の全サブブロックのイントラ予測の予測方向に基づいて、予測セット群の選択を行っているが、これに限定されるものではない。復号対象ブロックの周囲にある復号済み隣接ブロックの予測セットに基づいて予測セット群を選択してもよい。この場合は、水平方向予測セットの出現頻度が高ければ、第２予測セット群を選択し、垂直方向予測セットの出現頻度が高ければ、第３予測セット群を選択し、水平方向予測セットと垂直方向予測セットの出現頻度が同程度であれば、第１予測セット群を選択することが好ましい。また、復号対象ブロックの周囲の復号画像よりエッジ方向を算出し、算出したエッジ方向に基づいて予測セット群を選択してもよい。【０６８５】
さらに、本実施形態では、予測セット群の切り替え単位をＭ×Ｍ画素ブロックとして、説明したが、これに限定されるものではない。たとえば、マクロブロック、スライス、ピクチャ（フレーム）、ＧＯＰ(Group of Picture)を予測セット群の切り替え単位としてもよい。また、予測セット群の切り替え単位は、予め画像符号化装置、画像復号装置間で取り決めておいてもよい。あるいは画像符号化装置・画像復号装置ではなく外部手段を使って通知することも可能である。【０６８６】
（作用効果）
以上のように、画像復号装置７５０は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群を複数備えている。【０６８７】
画像復号装置７５０は、画像を構成する各ブロック単位に、復号済み隣接ブロック中のイントラ予測の予測方向の出現頻度を算出する。例えば、予測方向の出現頻度として、水平方向の予測方向の出現頻度数と、垂直方向の予測方向の出現頻度数を算出する。【０６８８】
次に、前記イントラ予測の予測方向の出現頻度の傾向に応じた予測セット群を選択する。例えば、水平方向の予測方向の出現頻度数が高ければ、水平方向の予測を重視した予測セットを多く定めた予測セット群を選択する。また、垂直方向の予測方向の出現頻度数が高ければ、垂直方向の予測を重視した予測セットを多く定めた予測セット群を選択する。また、水平方向／垂直方向の出現頻度数が同程度であれば、水平方向の予測を重視した予測セットと垂直方向の予測を重視した予測セットを同数定めた予測セット群を選択する。【０６８９】
続いて、画像を構成する各ブロックにおいて、復号対象ブロックに用いる予測セット情報を、予測セット群情報と相対予測セット情報と復号済み隣接ブロックの予測セット情報と予測セット群情報を用いて復号する。【０６９０】
最後に、復号対象ブロックをさらに分割したサブブロックごとに、そのサブブロックに隣接するサブブロックの局所復号画像を用いてイントラ予測を行い、サブブロックの予測画像を生成する。そして、生成した予測画像とサブブロックの復号予測残差データを合成し、サブブロックの画像を復元する。【０６９１】
これによって、例えば、復号した予測セット情報が水平方向の予測を重視した予測セットを表すときには、水平方向を中心により細かい角度からの予測画像を生成することができる。また、復号した予測セット情報が垂直方向の予測を重視した予測セットを表すときには、垂直方向を中心により細かい角度からの予測画像を生成することができる。したがって、画像復号装置７５０では、従来よりも多様な角度からの予測を用いた復号処理が可能になるため、より効率良くエッジ部を再現することができる。これによって、画質の向上した画像を復元することができる。【０６９２】
また、画像復号装置７５０では、予測セット群と予測セットと予測モードの３段階で予測することによって、高い予測精度を実現しつつ、符号量の増加を防ぐことが可能である。【０６９３】
また画像復号装置７５０は、復号対象ブロックの予測セットと所定の方法により求めた前記予測セットに対する予測値それぞれが示す予測セット群が異なる場合、上記予測セット対応表に基づいて、前記予測値を復号対象ブロックの予測セット群中の予測セットへ修正することで、予測セットの予測精度が高まり、予測セットの復号に要する符号量を削減することが可能である。【０６９４】
（プログラムおよび記録媒体）
最後に、画像符号化装置１００、２００、５００、５００ｂ、６００、６００ｂおよび７００ならびに画像復号装置１５０、２５０、５５０、５５０ｂ、６５０、６５０ｂおよび７５０の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。【０６９５】
すなわち、画像符号化装置１００、２００、５００、５００ｂ、６００、６００ｂおよび７００ならびに画像復号装置１５０、２５０、５５０、５５０ｂ、６５０、６５０ｂおよび７５０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像符号化装置１００、２００、５００、５００ｂ、６００、６００ｂおよび７００ならびに画像復号装置１５０、２５０、５５０、５５０ｂ、６５０、６５０ｂおよび７５０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像符号化装置１００、２００、５００、５００ｂ、６００、６００ｂおよび７００ならびに画像復号装置１５０、２５０、５５０、５５０ｂ、６５０、６５０ｂおよび７５０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。【０６９６】
上記記録媒体としては、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。【０６９７】
また、画像符号化装置１００、２００、５００、５００ｂ、６００、６００ｂおよび７００ならびに画像復号装置１５０、２５０、５５０、５５０ｂ、６５０、６５０ｂおよび７５０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、たとえば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、たとえば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。【０６９８】
本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。【０６９９】
（付記事項）
なお、本発明は、以下のように記載することもできる。【０７００】
（第１の構成）
画像を符号化する画像符号化装置であって、
上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出手段と、
互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、上記算出されたエッジ情報に応じた予測セットを選択する選択手段と、
上記選択された予測セットを用いて上記画像を符号化する符号化手段とを備えていることを特徴とする画像符号化装置。【０７０１】
上記の構成によれば、画像符号化装置は、画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する。たとえばエッジ情報として、画像のエッジ方向、エッジ強度、あるいはこれらの分布情報を算出する。画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、算出したエッジ情報に応じた予測セットを選択する。そして、選択した予測セットを用いて画像を符号化する。たとえば、エッジ情報が水平方向のエッジ方向を表しているなら、水平方向の予測を重視した予測セットを用いて画像を符号化する。一方、エッジ情報が垂直方向のエッジを表しているのであれば、垂直方向の予測を重視した予測セットを用いて符号化する。【０７０２】
以上のように、画像符号化装置は、画像のエッジ情報に応じた最適な予測セットを用いて、画像を符号化する。したがって、従来よりも細かい角度からの予測が可能になるので、画像の予測残差データに関する符号量をより減らすことができ、かつ、画質を向上させることができる。【０７０３】
（第２の構成）
上記画像を所定単位のブロックに分割する分割手段をさらに備え、
上記算出手段は、上記ブロックごとに上記エッジ情報を算出し、
上記選択手段は、上記ブロックごとに、上記算出したエッジ情報に応じた上記予測セットを選択し、
上記符号化手段は、上記予測セットを表す情報を符号化するとともに、上記ブロックごとに選択された上記予測セットを用いて、当該ブロックを符号化することを特徴とする第１の構成に記載の画像符号化装置。【０７０４】
上記の構成によれば、画像符号化装置は、画像を構成する所定単位の各ブロックを符号化する。このとき、ブロックごとに、当該ブロックのエッジ情報に応じた予測セットを用いる。たとえば、１枚の画像のうち、水平方向のエッジを多く持つブロックは、水平方向の予測を重視した予測セットを用いて符号化する。一方、同じ画像のうち、垂直方向のエッジを多く持つブロックは、垂直方向の予測を重視した予測セットを用いて符号化する。【０７０５】
以上により、画像符号化装置は、画質をさらに高めることができる。【０７０６】
（第３の構成）
上記ブロックを複数のサブブロックに分割するブロック分割手段をさらに備え、
上記エッジ情報は、上記サブブロックごとに、当該サブブロックのエッジ方向を表す上記エッジ情報を算出し、
上記選択手段は、上記複数の予測セットのうち、上記予測セットを構成する予測モードが表す予測方向と、上記ブロック内の全サブブロックの上記エッジ方向との類似度が最小になる予測セットを選択することを特徴とする第２の構成に記載の画像符号化装置。【０７０７】
上記の構成によれば、画像符号化装置は、画像を構成するブロックを、さらに複数のサブブロックに分割する。また、得られたサブブロックごとに、当該サブブロックのエッジ方向を表すエッジ情報を算出する。つまり、ブロックに含まれる複数のエッジ方向を求める。そして、画像符号化装置は、複数の予測セットのうち、予測セットを構成する予測モードが表す予測方向と、ブロック内の全サブブロックの上記エッジ方向との類似度が最小になる予測セットを選択する。【０７０８】
以上の処理によって、画像符号化装置は、複数の予測セットのうち、ブロックの符号化に最も適した予測セットを算出できる。したがって、画像の符号量の削減と画質の向上とを最大限に高めることができる。【０７０９】
（第４の構成）
画像を符号化する画像符号化装置であって、
上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出手段と、
予測セットを構成する複数の予測モードに応じた各予測方向を、上記算出したエッジ情報に応じて決定する決定手段と、
上記決定された予測セットを用いて上記画像を符号化する符号化手段とを備えていることを特徴とする画像符号化装置。【０７１０】
上記の構成によれば、画像符号化装置は、画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する。たとえばエッジ情報として、画像のエッジ方向、エッジ強度、あるいはこれらの分布情報を算出する。画像符号化装置は、予測セットを構成する複数の予測モードの各予測方向を、算出したエッジ方向に応じて決定する。たとえば、エッジ情報が水平方向のエッジ方向を表しているなら、水平方向の予測を重視した予測方向を決定する。これにより、水平方向の予測に適した予測セットを用いて画像を符号化する。一方、エッジ情報が垂直方向のエッジを表しているなら、垂直方向の予測を重視した予測方向を定義したセットを用いて符号化する。これにより、垂直方向の予測に適した予測セットを用いて画像を符号化する。【０７１１】
以上のように、画像符号化装置は、画像のエッジ情報に応じた最適な予測セットを用いて、画像を符号化する。したがって、従来よりも細かい角度からの予測が可能になるので、画像の符号量をより減らすことができ、かつ、画質を向上させることができる。【０７１２】
（第５の構成）
上記画像を所定単位のブロックに分割する分割手段をさらに備え、
上記算出手段は、上記ブロックごとに上記エッジ情報を算出し、
上記選択手段は、上記ブロックごとに、上記予測セットの予測方向を決定し、
上記符号化手段は、上記予測セットの予測方向を表す情報を符号化するとともに、上記ブロックごとに予測方向が決定された上記予測セットを用いて、当該ブロックを符号化することを特徴とする第４の構成に記載の画像符号化装置。【０７１３】
上記の構成によれば、画像符号化装置は、画像を構成する所定単位の各ブロックを符号化する。このとき、ブロックごとに、当該ブロックのエッジ情報に応じた予測セットを用いる。たとえば、１枚の画像のうち、水平方向のエッジを多く持つブロックは、水平方向の予測を重視した予測セットを用いて符号化する。一方、同じ画像のうち、垂直方向のエッジを多く持つブロックは、垂直方向の予測を重視した予測セットを用いて符号化する。【０７１４】
以上により、画像符号化装置は、画質をさらに高めることができる。【０７１５】
（第６の構成）
上記決定手段は、上記ブロックに含まれる複数のエッジ方向に関する、エッジ方向と当該エッジ方向の累積確率との関係を表すヒストグラムを算出し、当該ヒストグラムにおいて累積確率の差が均等になる複数のエッジ方向を、それぞれ、予測セットの予測方向として決定することを特徴とする第４または５の構成に記載の画像符号化装置。【０７１６】
上記の構成によれば、画像符号化装置は、符号化対象のブロックに含まれる複数のエッジ方向に関する、エッジ方向と、当該エッジ方向の累積確率との関係を表すヒストグラムを算出する。そして、算出したヒストグラムにおいてエッジ方向の累積確率の差が均等になる複数のエッジ方向を、それぞれ、予測セットの予測方向として決定する。これにより、たとえば１つのブロック内においてエッジ方向が水平方向に多く集中していた場合、決定する予測方向も水平に近いものが多くなる。逆に、１つのブロック内においてエッジ方向が垂直方向に多く集中していた場合、決定する予測方向も垂直方向近辺のものが多くなる。【０７１７】
したがって画像符号化装置は、ブロックに含まれるエッジ方向の予測に最適化した予測セットを用いて、ブロックを符号化できる。これにより、ブロックの符号量の削減および画質の向上を、最大限に高めることができる。【０７１８】
（第７の構成）
画像を符号化する画像符号化方法であって、
上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出ステップと、
互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、上記算出されたエッジ情報に応じた予測セットを選択する選択ステップと、
上記選択された予測セットを用いて上記画像を符号化する符号化ステップとを備えていることを特徴とする画像符号化方法。【０７１９】
上記の構成によれば、第１の構成と同様の作用効果を奏する。【０７２０】
（第８の構成）
画像を符号化する画像符号化方法であって、
上記画像を構成する各画像から、当該画像のエッジのうち少なくともエッジ方向に関するエッジ情報を算出する算出ステップと、
予測セットを構成する複数の予測モードの各予測方向を、上記算出したエッジ方向に応じて決定する決定ステップと、
上記決定された予測セットを用いて上記画像を符号化する符号化ステップとを備えていることを特徴とする画像符号化方法。【０７２１】
上記の構成によれば、第４の構成と同様の作用効果を奏する。【０７２２】
（第９の構成）
第１から６の構成のいずれか１つに記載の画像符号化装置によって符号化された画像を復号する画像復号装置であって、
上記符号化手段が上記画像の符号化に用いた予測セットを用いて、上記画像を復号する復号手段を備えていることを特徴とする画像復号装置。【０７２３】
上記の構成によれば、画像復号装置は、画像のエッジ情報に応じた最適な符号化された予測セットを用いて、画像符号化データを復号する。【０７２４】
したがって画像復号装置は、画質の向上を実現した画像を得られる。【０７２５】
また、画像復号装置は、符号化された画像を復号する際の予測残差データの復号処理量の削減を実現できる。【０７２６】
（第１０の構成）
第７または８の構成に記載の画像符号化方法によって符号化された画像を復号する画像復号方法であって、
上記符号化ステップにおいて上記画像の符号化に用いた予測セットを用いて、上記画像を復号する復号ステップを備えていることを特徴とする画像復号方法。【０７２７】
上記の構成によれば、第９の構成と同様の作用効果を奏する。【０７２８】
（第１１の構成）
第１から６の構成のいずれか１つに記載の画像符号化装置、または第９の構成に記載の画像復号装置を動作させるプログラムであって、コンピュータを上記の各手段として機能させるためのプログラム。【０７２９】
（第１２の構成）
第１１の構成に記載の各プログラムを記録しているコンピュータ読み取り可能な記録媒体。【０７３０】
本発明の画像符号化装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、予測セットを選択する選択手段と、上記選択された予測セットを用いて上記画像を符号化する符号化手段とを備えているため、より細かい角度からの予測を可能とし、予測効率が向上し、予測残差データの符号量を削減させることができる効果を奏する。【０７３１】
本発明の画像符号化装置は、互い異なる予測方向に応じた予測モードを複数含む予測セットを少なくとも１つ備え、上記予測セットより当該サブブロックに用いる予測モードを選択する選択手段と、上記選択された予測モードを用いて上記サブブロックの画像を符号化する符号化手段と、当該サブブロックに隣接する符号化済みサブブロックの予測モード情報、あるいは符号化済みサブブロックの復号画像から、当該サブブロックと相関の高い符号化済み隣接サブブロックを選択する選択手段と、上記選択した符号化済みサブブロックの予測モード情報に基づき、前記選択された予測モードを符号化する符号化手段を備えているため、予測モードを表すのに要する符号量を削減させることができる効果を奏する。【０７３２】
また、本発明に係る画像復号装置は、互いに異なる予測方向に応じた予測モードを複数含む予測セットであって、当該予測モードの組み合わせが互いに異なる予測セットが複数集まった予測セット群から、当該ブロックに用いるに予測セットを表す情報を復号する復号手段と、上記復号された予測セットを用いて上記ブロックの画像を復号する復号手段とを備えているため、より細かい角度から画像の特定方向のエッジ成分を効率良く復元することを可能とし、画質の向上を実現できる効果を奏する。【０７３３】
本発明の画像復号装置は、互い異なる予測方向に応じた予測モードを複数含む予測セットを少なくとも１つ備え、当該サブブロックに隣接する復号済みサブブロックの予測モード情報、あるいは復号済みサブブロックの復号画像から、当該サブブロックと相関の高い復号済み隣接サブブロックを選択する選択手段と、前記選択した復号済みサブブロックの予測モード情報に基づき、前記予測セットより当該サブブロックに用いる予測モードを復号する復号手段と、上記復号された予測モードを用いて上記サブブロックの画像を復号する復号手段を備えているため、予測モードを復号するのに要する符号量を削減させることができる効果を奏する。【０７３４】
発明の詳細な説明の項においてなされた具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する請求の範囲内で、いろいろと変更して実施することができるものである。
【産業上の利用可能性】
【０７３５】
本発明に係る画像符号化装置および画像復号装置は、デジタルテレビ、ハードディスクレコーダ、ＤＶＤカメラおよび画像処理が可能な携帯電話などの映像装置に応用することができる。
【図１】
2009004985.tif 000063
【図２】
2009004985.tif 000064
【図３】
2009004985.tif 000065
【図４】
2009004985.tif 000066
【図５】
2009004985.tif 000067
【図６】
2009004985.tif 000068
【図７】
2009004985.tif 000069
【図８】
2009004985.tif 000070
【図９】
2009004985.tif 000071
【図１０】
2009004985.tif 000072
【図１１】
2009004985.tif 000073
【図１２】
2009004985.tif 000074
【図１３】
2009004985.tif 000075
【図１４】
2009004985.tif 000076
【図１５】
2009004985.tif 000077
【図１６】
2009004985.tif 000078
【図１７】
2009004985.tif 000079
【図１８】
2009004985.tif 000080
【図１９】
2009004985.tif 000081
【図２０】
2009004985.tif 000082
【図２１】
2009004985.tif 000083
【図２２】
2009004985.tif 000084
【図２３】
2009004985.tif 000085
【図２４】
2009004985.tif 000086
【図２５】
2009004985.tif 000087
【図２６】
2009004985.tif 000088
【図２７】
2009004985.tif 000089
【図２８】
2009004985.tif 000090
【図２９】
2009004985.tif 000091
【図３０】
2009004985.tif 000092
【図３１】
2009004985.tif 000093
【図３２】
2009004985.tif 000094
【図３３】
2009004985.tif 000095
【図３４】
2009004985.tif 000096
【図３５】
2009004985.tif 000097
【図３６】
2009004985.tif 000098
【図３７】
2009004985.tif 000099
【図３８】
2009004985.tif 000100
【図３９】
2009004985.tif 000101
【図４０】
2009004985.tif 000102
【図４１】
2009004985.tif 000103
【図４２】
2009004985.tif 000104
【図４３】
2009004985.tif 000105
【図４４】
2009004985.tif 000106
【図４５】
2009004985.tif 000107
【図４６】
2009004985.tif 000108
【図４７】
2009004985.tif 000109
【図４８】
2009004985.tif 000110
【図４９】
2009004985.tif 000111
【図５０】
2009004985.tif 000112
【図５１】
2009004985.tif 000113
【図５２】
2009004985.tif 000114
【図５３】
2009004985.tif 000115
【図５４】
2009004985.tif 000116
【図５５】
2009004985.tif 000117
【図５６】
2009004985.tif 000118
【図５７】
2009004985.tif 000119
【図５８】
2009004985.tif 000120
【図５９】
2009004985.tif 000121
【図６０】
2009004985.tif 000122
【図６１】
2009004985.tif 000123
【図６２】
2009004985.tif 000124
【図６３】
2009004985.tif 000125
【図６４】
2009004985.tif 000126
【図６５】
2009004985.tif 000127
【図６６】
2009004985.tif 000128
【図６７】
2009004985.tif 000129
【図６８】
2009004985.tif 000130
【図６９】
2009004985.tif 000131
【図７０】
2009004985.tif 000132
【図７１】
2009004985.tif 000133
【図７２】
2009004985.tif 000134
【図７３】
2009004985.tif 000135
【手続補正書】
【提出日】平成21年11月16日(2009.11.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像を符号化する画像符号化装置であって、
予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットであって、当該予測セットを複数含む予測セット群から、画像を構成する所定の単位毎に、上記予測セット群の中から１つの予測セットを選択する第１の選択手段と、
所定の単位に含まれる符号化対象単位毎に、上記第１の選択手段において選択された上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第２の選択手段と、
選択された上記予測セットおよび上記予測モードを用いて、上記符号化対象単位の予測画像を作成する予測手段と、
入力画像と予測画像との残差データならびに選択した上記予測セットおよび上記予測モードを符号化する符号化手段と、
を備えていることを特徴とする画像符号化装置。
【請求項２】
上記符号化対象単位の予測モードの推定に用いる符号化済みの隣接符号化対象単位の参照方向を決定する第１の決定手段と、
選択された上記予測セットおよび決定された上記参照方向により定まる符号化済みの隣接符号化対象単位の予測モードに基づいて、当該符号化対象単位の予測モードの推定値を決定する第１の推定手段と、
決定した上記予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成手段と、
生成した上記相対情報ならびに決定した上記参照方向を符号化する符号化手段と、
を備えていることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
互いに異なる上記予測セット群を複数備え、上記複数の予測セット群の中から上記所定の単位に用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択手段を備えていることを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
入力画像を符号化する画像符号化装置であって、
予測方向および予測方法に対応した互いに異なる予測モードを複数含む予測セットを１つ備え、所定の単位に含まれる符号化対象単位毎に、上記予測セットに含まれる複数の上記予測モードから１つの予測モードを選択する第１の選択手段と、
上記予測セットおよび選択された上記予測モードを用いて、上記符号化対象単位の予測画像を作成する予測手段と、
入力画像と予測画像との残差データならびに選択した上記予測モードを符号化する符号化手段とを備えており、
上記予測モードを符号化する符号化手段は、
選択された上記予測モードの推定に用いる符号化済みの隣接符号化対象単位を所定の評価基準に基づき決定する第１の決定手段と、
上記決定された符号化済みの隣接符号化対象単位の予測モードに基づいて、上記符号化対象単位の予測モードの推定値を決定する第１の推定手段と、
決定した上記予測モードの推定値に対する選択された上記予測モードの相対情報を生成する生成手段と、
生成した上記相対情報を符号化する符号化手段と、
を備えていることを特徴とする画像符号化装置。
【請求項５】
画像の符号化データを復号する画像復号装置であって、
互いに異なる予測方向および予測方法に対応した予測モードを複数含む予測セットから、符号化データより画像を構成する所定の単位毎に予測セットを復号すると共に、所定の単位に含まれる復号対象単位毎に予測モードと差分データを復号する復号手段と、
復号された上記予測セットおよび上記予測モードを用いて、上記復号対象単位の予測画像を作成する予測手段と、
上記差分データと上記予測画像とを加算する加算手段と、
を備えていることを特徴とする画像復号装置。
【請求項６】
上記予測セットおよび上記予測モードに対応する予測方法および予測方法に関する情報を復号する復号手段と、
復号した上記予測方向および上記予測方法を、上記予測セットおよび上記の予測モードに設定する設定手段と、
を備えていることを特徴とする請求項５に記載の画像復号装置。
【請求項７】
互いに異なる上記予測セット群を複数備え、上記複数の予測セット群の中から上記所定の単位に用いる１つの予測セット群を所定の評価基準に基づき選択する第３の選択手段を備えていることを特徴とする請求項５に記載の画像復号装置。
【請求項８】
上記予測モードの相対情報ならびに復号対象単位の予測モードの推定に用いる復号済みの隣接単位の方向を表す参照方向を復号する復号手段と、
復号された上記予測セットおよび復号された上記参照方向により定まる復号済みの隣接復号対象単位の予測モードに基づいて、当該復号対象単位の予測モードの推定値を決定する第１の推定手段と、
決定した上記予測モードの推定値と復号した上記予測モードの相対情報から当該復号対象単位に用いる予測モードを復号する復号手段と、
を備えていることを特徴とする請求項５に記載の画像復号装置。
【請求項９】
画像の符号化データを復号する画像復号装置であって、
互いに異なる予測方向および予測方法に対応した予測モードを複数含む１つの予測セットから、符号化データより画像を構成する所定の単位に含まれる復号対象単位毎に予測モードと差分データを復号する復号手段と、
復号された上記予測モードを用いて、上記復号対象単位の予測画像を作成する予測手段と、
上記差分データと上記予測画像とを加算する加算手段と、
を備えており、
上記予測モードを復号する復号手段は、
上記予測モードの相対情報を復号する復号手段と、
上記予測モードの推定に用いる復号済みの隣接復号対象単位を所定の評価基準に基づき決定する第１の決定手段と、
決定された上記復号済みの隣接復号対象単位の予測モードに基づいて、上記復号対象単位の予測モードの推定値を決定する第１の推定手段と、
決定した上記予測モードの推定値と上記復号された予測モードの相対情報から当該復号対象単位の予測モードを復号する復号手段と、
を備えていることを特徴とする画像復号装置。
【国際調査報告】
2009004985.tif 000136
2009004985.tif 000137
2009004985.tif 000138
2009004985.tif 000139
2009004985.tif 000140
2009004985.tif 000141