(57)【要約】【課題】イントラ予測における予測モードを推定するイントラ予測モード推定装置、画像符号化装置、画像復号装置及びプログラムを提供する。【解決手段】本発明のイントラ予測モード推定装置１は、複数種のイントラ予測モードのそれぞれに応じて所定の参照領域の画像を参照領域内で予め定めた第１領域の画像と第２領域の画像に分割する参照領域決定部２と、第２領域の画像の画素値から第１領域の画像の画素値に対する予測値を生成する第１領域画素値予測部３と、第２領域の画像の画素値についてイントラ予測モードに応じて生成した予測値と、前記第１領域の画像の画素値との比較値を生成する比較部４と、イントラ予測モード毎に第１領域と第２領域との間で比較した各画素の比較値を集計してイントラ予測モード毎の評価値を定め、イントラ予測に最適なイントラ予測モードを推定するイントラ予測モード推定部５と、を備える。【選択図】図１
2013017128.tif 000002
【特許請求の範囲】
【請求項１】
参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測における予測モードを推定するイントラ予測モード推定装置であって、
予め定められた複数種のイントラ予測モードのそれぞれに応じて、所定の参照領域の画像を、前記参照領域内で予め定めた第１領域の画像と、前記第１領域とは異なる前記参照領域内で予め定めた第２領域の画像に分割する参照領域決定部と、
前記第２領域の画像の画素値から、イントラ予測モードに応じて関連付けた前記第１領域の画像の画素値に対する予測値を生成する第１領域画素値予測部と、
前記第２領域の画像の画素値についてイントラ予測モードに応じて生成した前記予測値と、前記第１領域の画像の画素値との比較値を生成する比較部と、
イントラ予測モード毎に前記第１領域と前記第２領域との間で比較した各画素の比較値を集計してイントラ予測モード毎の評価値を定め、イントラ予測に最適なイントラ予測モードを推定するイントラ予測モード推定部と、
を備えることを特徴とするイントラ予測モード推定装置。
【請求項２】
前記推定したイントラ予測モードに基づいて、前記第１領域の画像の画素値を用いて前記予測対象領域の各画素を予測した予測画像を生成する予測画像生成部を更に備えることを特徴とする、請求項１に記載のイントラ予測モード推定装置。
【請求項３】
前記イントラ予測は方向予測を含み、前記方向予測に関するイントラ予測モードを推定する際に、前記第１領域画素値予測部は、前記第２領域の画像の画素値から、イントラ予測の方向予測の予測方向とは逆方向の外挿で関連付けた前記第１領域の画像の予測値を生成することを特徴とする、請求項１又は２に記載のイントラ予測モード推定装置。
【請求項４】
前記イントラ予測は平均値予測を含み、前記平均値予測でイントラ予測モードを推定する際に、前記比較部は、前記第２領域の画像の画素値と前記第１領域の画像の画素値による平均値との比較値を生成することを特徴とする、請求項１〜３のいずれか一項に記載のイントラ予測モード推定装置。
【請求項５】
参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行なって画像を符号化する画像符号化装置であって、
入力画像信号と予測画像の信号との差分をとり、当該差分の結果である予測残差の信号を生成する減算部と、
直交変換を用いて前記予測残差の信号を変換して係数を求め、該係数を所定の量子化幅で量子化し、当該量子化の結果である変換係数を生成する直交変換・量子化部と、
前記変換係数に対してエントロピー符号化を施し、符号化ストリームを生成するエントロピー符号化部と、
前記変換係数に対して量子化及び直交変換の逆変換を行なう逆量子化・逆直交変換部と、
前記逆量子化・逆直交変換部の出力の信号と前記予測画像の信号とを加算し、当該加算の結果である復号画像を画像メモリに格納する加算部と、
前記画像メモリに格納され復号済みの画素群からなる参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行い、前記イントラ予測における予測モードを推定して当該イントラ予測の結果である前記予測画像を生成する請求項２に記載のイントラ予測モード推定装置と、
を備えることを特徴とする画像符号化装置。
【請求項６】
参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行なって画像を符号化する画像符号化装置であって、
入力画像信号とイントラ予測の予測画像の信号との差分をとり、当該差分の結果である予測残差の信号を生成する第１の減算部と、
直交変換を用いて前記予測残差の信号を変換して係数を求め、該係数を所定の量子化幅で量子化し、当該量子化の結果である変換係数を生成する直交変換・量子化部と、
前記変換係数に対してエントロピー符号化を施し、符号化ストリームを生成するエントロピー符号化部と、
前記変換係数に対して量子化及び直交変換の逆変換を行なう逆量子化・逆直交変換部と、
前記逆量子化・逆直交変換部の出力の信号と前記予測画像の信号とを加算し、当該加算の結果である復号画像を画像メモリに格納する加算部と、
前記画像メモリに格納され予測対象領域に近接する復号済みの画素群から予測対象領域の画像パターンを予測する前記イントラ予測を行い、当該イントラ予測の結果である前記予測画像を生成するとともに、前記イントラ予測における予測モードに関する情報をイントラ予測モード情報として生成するイントラ予測部と、
前記画像メモリに格納された復号画像を入力する請求項１に記載のイントラ予測モード推定装置と、
前記イントラ予測モード推定装置によって推定した当該イントラ予測に最適なイントラ予測モードに関する情報をイントラ予測モード推定情報として取得し、前記イントラ予測モード推定情報と前記イントラ予測モード情報との差分をイントラ予測モード差分情報として生成する第２の減算部とを備え、
前記エントロピー符号化部は、前記イントラ予測モード差分情報を加えて前記符号化ストリームを生成することを特徴とする画像符号化装置。
【請求項７】
参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行なって画像を復号する画像復号装置であって、
入力される符号化ストリームに対してエントロピー復号を施し、画像符号化側のイントラ予測における予測残差の信号に対して直交変換及び量子化が施された変換係数を抽出するエントロピー復号部と、
前記変換係数に対して逆量子化及び逆直交変換を行ない、当該予測残差の信号を生成する逆量子化・逆直交変換部と、
前記予測残差の信号と予測画像の信号とを加算して復号画像の信号を生成するとともに、当該復号画像を画像メモリに格納する加算部と、
前記画像メモリに格納される復号画像から予測画像を生成する請求項２に記載のイントラ予測モード推定装置とを備え、
前記イントラ予測モード推定装置は、前記画像メモリに格納され復号済みの画素群からなる参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行い、前記イントラ予測における予測モードを推定して当該イントラ予測の結果である前記予測画像を生成することを特徴とする画像復号装置。
【請求項８】
参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行なって画像を復号する画像復号装置であって、
入力される符号化ストリームに対してエントロピー復号を施し、画像符号化側のイントラ予測における予測残差の信号に対して直交変換及び量子化が施された変換係数を抽出するとともに、画像符号化側のイントラ予測における予測モードに関する情報としてのイントラ予測モード情報に対して差分を示す所定のイントラ予測モード差分情報を抽出するエントロピー復号部と、
前記変換係数に対して逆量子化及び逆直交変換を行ない、当該予測残差の信号を生成する逆量子化・逆直交変換部と、
前記予測残差の信号と、イントラ予測の予測画像の信号とを加算して復号画像の信号を生成するとともに、当該復号画像を画像メモリに格納する第１の加算部と、
前記画像メモリに格納された復号画像を入力する請求項１に記載のイントラ予測モード推定装置と、
前記イントラ予測モード推定装置によって推定した当該イントラ予測に最適なイントラ予測モードに関する情報をイントラ予測モード推定情報として取得し、前記イントラ予測モード推定情報を前記イントラ予測モード差分情報に加算して、前記イントラ予測モード情報を復元する第２の加算部と、
前記画像メモリに格納され予測対象領域に近接する復号済みの画素群及び前記復元されたイントラ予測モード情報を用いて予測対象領域の画像パターンを予測するイントラ予測を行い、当該イントラ予測の結果である前記予測画像を生成するイントラ予測部と、
を備えることを特徴とする画像復号装置。
【請求項９】
参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測における予測モードを推定するイントラ予測モード推定装置として機能するコンピュータに、
予め定められた複数種のイントラ予測モードのそれぞれに応じて、所定の参照領域の画像を、前記参照領域内で予め定めた第１領域の画像と、前記第１領域とは異なる前記参照領域内で予め定めた第２領域の画像に分割するステップと、
前記第２領域の画像の画素値から、イントラ予測モードに応じて関連付けた前記第１領域の画像の画素値に対する予測値を生成するステップと、
前記第２領域の画像の画素値についてイントラ予測モードに応じて生成した前記予測値と、前記第１領域の画像の画素値との比較値を生成するステップと、
イントラ予測モード毎に前記第１領域と前記第２領域との間で比較した各画素の比較値を集計してイントラ予測モード毎の評価値を定め、イントラ予測に最適なイントラ予測モードを推定するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測における予測モードを推定するイントラ予測モード推定装置、画像符号化装置、画像復号装置、及びプログラムに関する。
【背景技術】
【０００２】
イントラ予測を行う画像符号化技法においては、入力画像（又は動き補償後の残差画像）を複数のブロックに分割し、既に符号化済みの周囲の画素値群を復号して参照画素として保持しておき、この参照画素を用いて或る注目ブロック（予測ブロック）の画素値を内外挿補間することで予測を行うことが行われている（例えば、特許文献１乃至特許文献３参照）。その後、画像符号化技法は、イントラ予測の予測結果と入力画像（又は動き補償後の残差画像）との残差についてエントロピー符号化を施す。
【０００３】
図１１は、ＡＶＣ／Ｈ.２６４（ISO/IEC 14496-10/ITU_T Rec. H.264）などの従来の画像符号化装置のブロック図である。画像符号化装置５０は、減算部５１と、直交変換・量子化部５２と、逆量子化・逆直交変換部５３と、加算部５４と、画像メモリ５５と、イントラ予測部５６と、エントロピー符号化部５７とを備える。インター予測に関する説明は、本発明の主題と直接関係しないため省略する。
【０００４】
減算部５１は、入力画像信号と予測画像の信号との差分をとり、この差分の結果である予測残差を出力する。直交変換・量子化部５２は、離散コサイン変換などの直交変換を用いて、この予測残差を変換して係数を求め、該係数を所定の量子化幅で量子化し、この量子化の結果である変換係数を出力する。逆量子化・逆直交変換部５３は、直交変換・量子化部５２が出力した変換係数に対して、量子化及び直交変換の逆変換を行ない、この逆変換の結果である予測残差を出力する。加算部５４は、逆量子化・逆直交変換部５３が出力した予測残差と予測画像とを加算し、この加算の結果である復号画像を画像メモリ５５に格納する。イントラ予測部５６は、符号化の対象となっている入力画像信号のうち、画像メモリ５５に格納され既に符号化されたブロックの復号済みの画素を参照画素として、符号化対象のブロック（例えば、入力画像を垂直方向４画素毎、水平方向４画素毎に分割したブロック）の各画素についてイントラ予測を行い、このイントラ予測の結果である予測画像を出力する。エントロピー符号化部５７は、直交変換・量子化部５２が出力した変換係数に対して、エントロピー符号化（例えば、ランレングス符号化、ハフマン符号化又は算術符号化等の可変長符号化）を施し、符号化ストリームを生成する。
【０００５】
尚、イントラ予測部５６は、復号側に対してイントラ予測の予測方法を示すイントラ予測モード情報をエントロピー符号化部５７に出力し、エントロピー符号化部５７は、直交変換・量子化部５２が出力した変換係数に併せてイントラ予測モード情報に対してエントロピー符号化を施す。イントラ予測モード情報は、例えば、ＡＶＣ／Ｈ.２６４では図１３に例示するように、ＵＤＩ（非制限デジタル情報）として、イントラ予測の予測方法に対して予測モード番号を割り当てることができる。したがって、予め定めた予測モード番号をイントラ予測モード情報として復号側に伝送することで、復号側ではイントラ予測の予測方法を定義する予測モードを特定することができる。
【０００６】
図１２は、ＡＶＣ／Ｈ.２６４などの従来の画像復号装置のブロック図である。画像復号装置７０は、エントロピー復号部７１と、逆量子化・逆直交変換部７２と、加算部７３と、イントラ予測部７４と、画像メモリ７５とを備える。インター予測に関する説明は、本発明の主題と直接関係しないため省略する。
【０００７】
エントロピー復号部７１は、入力される符号化ストリームに対してエントロピー復号を施し、変換係数及びイントラ予測モード情報を抽出する。逆量子化・逆直交変換部７２は、変換係数に対して逆量子化及び逆直交変換を行ない、予測残差を出力する。加算部７３は、逆量子化・逆直交変換部７２が出力した予測残差と、イントラ予測部７４が生成した予測画像とを加算して復号画像の信号を外部に出力するとともに、画像メモリ７５に格納する。イントラ予測部７４は、イントラ予測モード情報から予測モードを取得し、復号対象の画像のうち、画像メモリ７５に格納され既に復号されたブロックの復号画像の画素を参照画素として、対象とするブロックの各画素について取得した予測モードにてイントラ予測を行い、このイントラ予測の結果である予測画像を出力する。
【０００８】
このように、例えばＡＶＣ／Ｈ.２６４規格のイントラ予測では予測ブロックの周辺画素からの０次ホールドでの予測を行うが、一般的には、最適な予測方向をレート対歪みの観点で複数試行の結果から特定している。これにより、符号化側のイントラ予測では最適な予測が行われるが、復号側に対して予測方法を示すイントラ予測モードの情報の伝送が必要である。
【０００９】
復号側に対して予測方向を示すイントラ予測モードの情報量の伝送を軽減するために、復号済みの参照画素や参照ブロックのテクスチャを分析して、イントラ予測の処理における予測モードを予測できれば、この予測モード自体を予測した予測値と、当該予測モードとの差分演算などによりエントロピー符号化の符号量の削減が可能となり、予測モードの情報伝送に関する符号化効率の向上が期待できる。
【００１０】
例えば、ＨＥＶＣ（High Efficiency Video Coding）において、復号済みの周囲の画素値群からなる参照ブロックに対してＳｏｂｅｌ演算子に基づく画像解析を適用した後、固有値を求めることで、最適と思われる予測モードを推定する技術がＤＣＩＭ（Differential Coding of Intra Modes）として提案されている（例えば、非特許文献１参照)。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００９−４９９６９号公報
【特許文献２】特開２００８−２４５０８８号公報
【特許文献３】特開２００８−２７１３７１号公報
【非特許文献】
【００１２】
【非特許文献１】E. Maani, W. Liu, “Differential Coding of Intra Modes (DCIM)”, Doc. JCTVC-B109, Geneva, Switzerland, Jul 2010
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ＡＶＣ／Ｈ.２６４などのイントラ予測の処理として、予測ブロックの周辺画素を含む参照ブロックの画像特徴から、その方向性を示す画素値の０次ホールドや平均値により、予測ブロックを予測する処理が挙げられる。しかしながら、非特許文献１で提案されるＤＣＩＭでは、このようなイントラ予測の処理とは直接的に関係のない演算手段（Ｓｏｂｅｌ演算子）を用いることによって、イントラ予測の処理における予測方向を推定している。したがって、イントラ予測の処理とＤＣＩＭとの間（挙動の異なる演算間）の相関があるものとして予測モード自体の予測に利用するものであるため、予測モード自体を予測するその予測の最適性には改善の余地がある。また、ＤＣＩＭでは、イントラ予測の処理とは別に、異なる演算を更に導入する必要があり、処理コストの観点からも改善の余地がある。
【００１４】
本発明の目的は、上述の問題に鑑みて、参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測における予測モードを推定するイントラ予測モード推定装置、画像符号化装置、画像復号装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１５】
前記した課題を解決するため、本発明によるイントラ予測モード推定装置は、参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測における予測モードを推定するイントラ予測モード推定装置であって、予め定められた複数種のイントラ予測モードのそれぞれに応じて、所定の参照領域の画像を、前記参照領域内で予め定めた第１領域の画像と、前記第１領域とは異なる前記参照領域内で予め定めた第２領域の画像に分割する参照領域決定部と、前記第２領域の画像の画素値から、イントラ予測モードに応じて関連付けた前記第１領域の画像の画素値に対する予測値を生成する第１領域画素値予測部と、前記第２領域の画像の画素値についてイントラ予測モードに応じて生成した前記予測値と、前記第１領域の画像の画素値との比較値を生成する比較部と、イントラ予測モード毎に前記第１領域と前記第２領域との間で比較した各画素の比較値を集計してイントラ予測モード毎の評価値を定め、イントラ予測に最適なイントラ予測モードを推定するイントラ予測モード推定部と、を備えることを特徴とする。
【００１６】
また、本発明によるイントラ予測モード推定装置において、前記推定したイントラ予測モードに基づいて、前記第１領域の画像の画素値を用いて前記予測対象領域の各画素を予測した予測画像を生成する予測画像生成部を更に備えることを特徴とする。
【００１７】
係る構成によれば、イントラ予測に用いる処理と相関性の高い処理によってイントラ予測モードの推定を行うことができる。このため、既存のイントラ予測に用いる処理に対して、本発明によるイントラ予測モード推定装置の処理を実行するハードウェアやソフトウェアの共通化が可能となり、ハードウェアやソフトウェアの規模や処理コストを縮小することができる。また、既存のイントラ予測に用いる処理に対して、本発明によるイントラ予測モード推定装置の処理が相関性の高い同様の演算子を用いて実行できるため、イントラ予測モードの推定の推定精度が向上する。本発明によるイントラ予測モード推定装置で推定されたイントラ予測モードは、そのままイントラ予測のモードの切り替えに用いることができるようになるし、他の任意の技法で決定されたイントラ予測モードのモード切替情報（即ち、イントラ予測モード情報）を指示するための事前情報（イントラ予測モード情報の予測値として機能するイントラ予測モード推定情報）に用いることができるようになる。
【００１８】
また、本発明によるイントラ予測モード推定装置において、前記イントラ予測は方向予測を含み、前記方向予測に関するイントラ予測モードを推定する際に、前記第１領域画素値予測部は、前記第２領域の画像の画素値から、イントラ予測の方向予測の予測方向とは逆方向の外挿で関連付けた前記第１領域の画像の予測値を生成することを特徴とする。
【００１９】
また、本発明によるイントラ予測モード推定装置において、前記イントラ予測は平均値予測を含み、前記平均値予測でイントラ予測モードを推定する際に、前記比較部は、前記第２領域の画像の画素値と前記第１領域の画像の画素値による平均値との比較値を生成することを特徴とする。
【００２０】
係る構成によれば、方向予測や平均値予測によるイントラ予測モードの中から、絵柄（テクスチャの方向性）を反映した適切なモードを推定することができる。
【００２１】
また、本発明による画像符号化装置は、参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行なって画像を符号化する画像符号化装置であって、入力画像信号と予測画像の信号との差分をとり、当該差分の結果である予測残差の信号を生成する減算部と、直交変換を用いて前記予測残差の信号を変換して係数を求め、該係数を所定の量子化幅で量子化し、当該量子化の結果である変換係数を生成する直交変換・量子化部と、前記変換係数に対してエントロピー符号化を施し、符号化ストリームを生成するエントロピー符号化部と、前記変換係数に対して量子化及び直交変換の逆変換を行なう逆量子化・逆直交変換部と、前記逆量子化・逆直交変換部の出力の信号と前記予測画像の信号とを加算し、当該加算の結果である復号画像を画像メモリに格納する加算部と、前記画像メモリに格納され復号済みの画素群からなる参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行い、前記イントラ予測における予測モードを推定して当該イントラ予測の結果である前記予測画像を生成する本発明のイントラ予測モード推定装置と、を備えることを特徴とする。
【００２２】
また、本発明による画像符号化装置は、参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行なって画像を符号化する画像符号化装置であって、入力画像信号とイントラ予測の予測画像の信号との差分をとり、当該差分の結果である予測残差の信号を生成する第１の減算部と、直交変換を用いて前記予測残差の信号を変換して係数を求め、該係数を所定の量子化幅で量子化し、当該量子化の結果である変換係数を生成する直交変換・量子化部と、前記変換係数に対してエントロピー符号化を施し、符号化ストリームを生成するエントロピー符号化部と、前記変換係数に対して量子化及び直交変換の逆変換を行なう逆量子化・逆直交変換部と、前記逆量子化・逆直交変換部の出力の信号と前記予測画像の信号とを加算し、当該加算の結果である復号画像を画像メモリに格納する加算部と、前記画像メモリに格納され予測対象領域に近接する復号済みの画素群から予測対象領域の画像パターンを予測する前記イントラ予測を行い、当該イントラ予測の結果である前記予測画像を生成するとともに、前記イントラ予測における予測モードに関する情報をイントラ予測モード情報として生成するイントラ予測部と、前記画像メモリに格納された復号画像を入力する本発明のイントラ予測モード推定装置と、前記イントラ予測モード推定装置によって推定した当該イントラ予測に最適なイントラ予測モードに関する情報をイントラ予測モード推定情報として取得し、前記イントラ予測モード推定情報と前記イントラ予測モード情報との差分をイントラ予測モード差分情報として生成する第２の減算部とを備え、前記エントロピー符号化部は、前記イントラ予測モード差分情報を加えて前記符号化ストリームを生成することを特徴とする。
【００２３】
また、本発明による画像復号装置は、参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行なって画像を復号する画像復号装置であって、入力される符号化ストリームに対してエントロピー復号を施し、画像符号化側のイントラ予測における予測残差の信号に対して直交変換及び量子化が施された変換係数を抽出するエントロピー復号部と、前記変換係数に対して逆量子化及び逆直交変換を行ない、当該予測残差の信号を生成する逆量子化・逆直交変換部と、前記予測残差の信号と予測画像の信号とを加算して復号画像の信号を生成するとともに、当該復号画像を画像メモリに格納する加算部と、前記画像メモリに格納される復号画像から予測画像を生成する本発明のイントラ予測モード推定装置とを備え、前記イントラ予測モード推定装置は、前記画像メモリに格納され復号済みの画素群からなる参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行い、前記イントラ予測における予測モードを推定して当該イントラ予測の結果である前記予測画像を生成することを特徴とする。
【００２４】
また、本発明による画像復号装置は、参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行なって画像を復号する画像復号装置であって、入力される符号化ストリームに対してエントロピー復号を施し、画像符号化側のイントラ予測における予測残差の信号に対して直交変換及び量子化が施された変換係数を抽出するとともに、画像符号化側のイントラ予測における予測モードに関する情報としてのイントラ予測モード情報に対して差分を示す所定のイントラ予測モード差分情報を抽出するエントロピー復号部と、前記変換係数に対して逆量子化及び逆直交変換を行ない、当該予測残差の信号を生成する逆量子化・逆直交変換部と、前記予測残差の信号と、イントラ予測の予測画像の信号とを加算して復号画像の信号を生成するとともに、当該復号画像を画像メモリに格納する第１の加算部と、前記画像メモリに格納された復号画像を入力する本発明のイントラ予測モード推定装置と、前記イントラ予測モード推定装置によって推定した当該イントラ予測に最適なイントラ予測モードに関する情報をイントラ予測モード推定情報として取得し、前記イントラ予測モード推定情報を前記イントラ予測モード差分情報に加算して、前記イントラ予測モード情報を復元する第２の加算部と、前記画像メモリに格納され予測対象領域に近接する復号済みの画素群及び前記復元されたイントラ予測モード情報を用いて予測対象領域の画像パターンを予測するイントラ予測を行い、当該イントラ予測の結果である前記予測画像を生成するイントラ予測部と、を備えることを特徴とする。
【００２５】
また、本発明のプログラムは、本発明のイントラ予測モード推定装置の各構成要素をコンピュータに実行させるためのプログラムとして構成することができる。
【発明の効果】
【００２６】
本発明によれば、イントラ予測の方向予測及び平均値予測にとって最適なイントラ予測モードを推定することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明による一実施形態のイントラ予測モード推定装置のブロック図である。
【図２】（Ａ）,（Ｂ）,（Ｃ）,（Ｄ）は、本発明による一実施形態のイントラ予測モード推定装置で利用可能とする、予測対象の複数の画素からなる予測ブロックと、復号済みの複数の画素からなる参照ブロックをそれぞれ例示する図である。
【図３】（Ａ）,（Ｂ）は、本発明による一実施形態のイントラ予測モード推定装置において、方向予測の一例についてイントラ予測モードに関する評価値の算出を説明する図である。
【図４】本発明による第１実施例のイントラ予測モード推定装置のブロック図である。
【図５】本発明による第２実施例のイントラ予測モード推定装置のブロック図である。
【図６】本発明による一実施形態のイントラ予測モード推定装置の動作を示すフロー図である。
【図７】本発明による一実施形態のイントラ予測モード推定装置を備える第１実施形態の画像符号化装置を示すブロック図である。
【図８】本発明による一実施形態のイントラ予測モード推定装置を備える第１実施形態の画像復号装置を示すブロック図である。
【図９】本発明による一実施形態のイントラ予測モード推定装置を備える第２実施形態の画像符号化装置を示すブロック図である。
【図１０】本発明による一実施形態のイントラ予測モード推定装置を備える第２実施形態の画像復号装置を示すブロック図である。
【図１１】従来の画像符号化装置を示すブロック図である。
【図１２】従来の画像復号装置を示すブロック図である。
【図１３】従来から利用されるイントラ予測の予測モード番号に関する説明図である。
【発明を実施するための形態】
【００２８】
先ず、「イントラ予測」及び「イントラ予測モード」と、本発明に係る「参照領域」、「参照画素」及び「対象画素」について説明する。
【００２９】
イントラ予測とは、画像符号化（又は映像符号化）において、復号済みの画像領域（参照ブロック）内の画素値列に基づき、未復号の画像領域（予測ブロック）内の画素値列を予測する技術を云う。
【００３０】
予測対象の複数の画素からなる予測ブロックと、復号済みの複数の画素からなる参照ブロックの例を図２に示す。図２（Ａ）乃至図２（Ｄ）において、予測ブロック１０１は、参照ブロック１０２内の一部の領域の参照画素１０３（斜線で示す画素列）を用いて外挿や平均値演算によって予測されることが多い。図２においては、予測ブロック１０１の形状を８画素×８画素の正方形として例示したが、必ずしも８画素四方である必要はないし、正方形である必要もない。また、参照画素１０３も予測ブロック１０１に隣接する画素列とする必要はなく、隣接する２行（又は２列）以上の画素列とすることもでき、包括して、予測ブロック１０１に近接する参照ブロック１０２内の一部の領域の画素を参照画素１０３とすることができる。
【００３１】
また、参照ブロック１０２もブロック状に限定する必要がないことから、本願明細書中、予測ブロック１０１の画素を予測するために参照する復号済みの複数の画素からなる画像領域を「参照領域」と称する。特に、後述で明らかとなるが、この参照領域の画素のうち外挿や平均値演算による予測ブロックの予測に用いる画素を「参照画素」と称して、複数の参照画素からなる領域を「参照画像領域（第１領域）」と称し、参照領域の画素のうちの参照画素以外の画素を「対象画素」と称して、複数の対象画素からなる領域を「対象画像領域（第２領域）」と称する。
【００３２】
イントラ予測の方法としては、例えば、参照ブロック内の所定位置の画素値を所定の方向へ外挿することで予測ブロックの画素値列を得たり、参照ブロック内の所定位置の複数の画素値に対する演算（例えば、平均値）の結果を以て予測ブロックの画素値列を決定したりする方法がある。
【００３３】
「イントラ予測モード」とは、複数種のイントラ予測の予測方法を区別するための識別子であり、本願明細書中では、図１３に例示するように、複数種のイントラ予測の予測方法を予測モード番号（ｍ＝０，１，２，…，Ｍ）によって識別することができる。図１３では、ＡＶＣ／Ｈ.２６４で用いられる代表的な９種類について例示しているが、例えば、非特許文献２のＤＣＩＭ（Differential Coding of Intra Modes）で提案されるように、３３種類の異なる方向予測と、１種類の平均値予測とからなる最大３４種類のイントラ予測モードを定義することもできる。尚、本願明細書中、イントラ予測モードを、単に「予測モード」とも称する。
【００３４】
以下、本発明による一実施形態のイントラ予測モード推定装置について説明する。
【００３５】
（イントラ予測モード推定装置）
図１は、本発明による一実施形態のイントラ予測モード推定装置のブロック図である。イントラ予測モード推定装置１は、復号済みの参照領域（例えば、図２に例示する参照ブロック１０２）の画像信号を入力し、参照領域の画像パターンから予測対象領域（例えば、図２に例示する予測ブロック１０１）の画像パターンを予測するイントラ予測における予測モードを推定する装置である。イントラ予測モードに応じて参照ブロック１０２の領域を異なるものに変化させるよう予め定義することができるが、以下に説明する例では、入力される参照領域の画像は、図２（Ａ）に示す参照ブロック１０２の画像を含む例を代表的に説明する。イントラ予測モード推定装置１は、複数のイントラ予測モードの中から最適な１つ又は複数の予測モードを推定するか、もしくは複数のイントラ予測モードを最適と推定されるものから順に整順して、その結果をイントラ予測モード推定情報として生成する。
【００３６】
図１に示すように、本発明による一実施形態のイントラ予測モード推定装置１は、参照領域決定部２と、第１領域画素値予測部３と、比較部４と、イントラ予測モード推定部５と、予測モード・画素走査制御部６と、予測画像生成部７とを備える。
【００３７】
参照領域決定部２は、所定の参照領域の画像を入力し、予め定められた複数種のイントラ予測モードのそれぞれに応じて、所定の参照領域の画像を、参照領域内で予め定めた第１領域（参照画像領域）の画像と、第１領域とは異なる参照領域内で予め定めた第２領域（対象画像領域）の画像に分割し、第１領域の画像を比較部４に送出し、第２領域の画像を第１領域画素値予測部３に出力する。
【００３８】
複数種のイントラ予測モードの情報や第１領域及び第２領域の情報は、予測モード・画素走査制御部６が保持するメモリ（図示せず）に格納されており、予測モード・画素走査制御部６は、複数種のイントラ予測モードのそれぞれを走査するよう参照領域決定部２を制御する。また、後述する図４及び図５を参照する実施例の説明で明らかとなるが、予測モード・画素走査制御部６は、参照領域決定部２に対して、それぞれのイントラ予測モードに応じて、第２領域（対象画像領域）の画像を構成する画素をそれぞれ走査させ、イントラ予測モードに応じた第２領域の画像の或る画素に対応する第１領域の画像の画素を決定させる。これにより、参照領域決定部２は、予め定められた複数種のイントラ予測モードのそれぞれに応じて分割した第１領域（参照画像領域）の画像の或る画素と第２領域（対象画像領域）の画像の画素を、走査するイントラ予測モードに応じて関連付けることができる。
【００３９】
第１領域画素値予測部３は、第２領域（対象画像領域）の画像の画素値から、走査するイントラ予測モードに応じて関連付けた第１領域（参照画像領域）の画像の画素値に対する予測値を生成し、比較部４に送出する。例えば、方向予測に関するイントラ予測モードを推定する際に、第１領域画素値予測部３は、第２領域（対象画像領域）の画像の画素値から、イントラ予測の方向予測の予測方向とは逆方向の外挿で関連付けた第１領域の画像の画素値に対する予測値を生成する。この予測値を生成するにあたり、第２領域（対象画像領域）における画素と第１領域における画素との間のユークリッド距離に応じた重みづけを第２領域（対象画像領域）の画像の画素値に施して、第１領域の画像の画素値に対する予測値を生成することができるし、単に、第２領域（対象画像領域）の画像の画素値を第１領域の画像の画素値に対する予測値としてもよい。
【００４０】
比較部４は、イントラ予測モード毎に第２領域（対象画像領域）で走査した全ての画素について、第２領域の画像の画素値についてイントラ予測モードに応じて生成した予測値と、第１領域（参照画像領域）の画像の画素値とを比較して、その比較結果を示す比較値をイントラ予測モード推定部５に送出する。例えば、比較部４は、第２領域（対象画像領域）で走査した全ての画素について、第２領域（対象画像領域）の画像の画素値と第１領域（参照画像領域）の画像の画素値との差分値を比較値としてイントラ予測モード推定部５に送出する。
【００４１】
また、平均値予測でイントラ予測モードを推定する際には、参照領域決定部２は、第１領域内の各画素の画素値による平均値を生成して比較部４に送出することができ、比較部４は、第２領域で走査した全ての画素について、第２領域の画像の画素値と第１領域内の各画素の画素値による平均値とを比較して、その比較結果を示す比較値を生成する。
【００４２】
イントラ予測モード推定部５は、イントラ予測モード毎に第２領域（対象画像領域）で走査した全ての画素についての比較値（つまり、第１領域と第２領域との間で比較した各画素の比較値）を集計して、イントラ予測モード毎の評価値を定め、複数種のイントラ予測モードの評価値に基づいてイントラ予測に最適なイントラ予測モードを推定する。評価値は、イントラ予測モード毎に関連付けた第１領域における画素と第２領域における画素との類似度を示すものであればよい。即ち、イントラ予測モード推定部５は、複数種のイントラ予測モードの評価値に基づいてイントラ予測に最適なイントラ予測モードを推定するにあたり、類似度を最大にする予測モードを、イントラ予測に最適なイントラ予測モードとして推定し、この推定したイントラ予測モードをイントラ予測モード推定情報として生成する。類似度を最大にする予測モードの例として、後述するように差分で得られる評価値を最小にする予測モードとするか、又は相互相関で得られる評価値を最大にする予測モードとすることができる。
【００４３】
尚、イントラ予測モード推定部５は、走査するイントラ予測モード毎の評価値を定めるたびに、その旨を予測モード・画素走査制御部６に送出する。また、イントラ予測モード推定部５は、予測モード・画素走査制御部６によるイントラ予測モード及び第２領域（対象画像領域）における画素に関する走査完了の情報を取得することで、走査するイントラ予測モード毎の評価値を定めることができる。
【００４４】
即ち、イントラ予測モード推定装置１は、複数種のイントラ予測モードに応じて第２領域（対象画像領域）の画像から予測した予測値と、第１領域（参照画像領域）の画像との比較にて最も類似するものを選定することにより、イントラ予測にとって最適なイントラ予測モードを推定する。後述する実施例では、第１領域（参照画像領域）の画像を１画素ずつ走査して比較しているが、イントラ予測モード毎の評価値を定めることができればよいので、２画素おきとするなど間欠走査してもよい。
【００４５】
特に、イントラ予測モード推定装置１において、イントラ予測モード推定部５は、第２領域（対象画像領域）の画像から第１領域（参照画像領域）を予測した画像と、元の第１領域（参照画像領域）の画像との類似度を最大にする予測モードを、イントラ予測に最適なイントラ予測モードとして推定する。より具体的には、イントラ予測モード推定部５は、第２領域（対象画像領域）の画像から第１領域（参照画像領域）を予測した画像と、元の第１領域（参照画像領域）の画像との差分に基づく評価値の最小化により、イントラ予測にとって最適なイントラ予測モードの推定を行うか、又は相互相関で得られる評価値の最大化により、イントラ予測にとって最適なイントラ予測モードの推定を行うことができる。尚、「差分に基づく評価値」と「相互相関で得られる評価値」に関して、実質的に同様な演算で評価値を定めるものであるが、「差分に基づく評価値」については最小化が最も高い類似度を示す目安となり、「相互相関で得られる評価値」については最大化が最も高い類似度を示す目安となることから区別している。
【００４６】
また、イントラ予測モード推定装置１において、イントラ予測モード毎の評価値は、第２領域（対象画像領域）の画像から第１領域（参照画像領域）を予測した画像と、元の第１領域（参照画像領域）の画像との差分の絶対値和とすることができる。
【００４７】
また、イントラ予測モード推定装置１において、イントラ予測モード毎の評価値は、第２領域（対象画像領域）の画像から第１領域（参照画像領域）を予測した画像と、元の第１領域（参照画像領域）の画像との差分の絶対値のｎ乗（ｎは正の整数)の和とすることができる。
【００４８】
尚、イントラ予測モード毎の評価値を差分の絶対値のｎ乗（ｎは正の整数)の和とする以外にも、単純な差分のｎ乗（ｎは正の整数)の和とすることも考えられ、即ち、イントラ予測モード毎の評価値は、第２領域（対象画像領域）の画像から第１領域（参照画像領域）を予測した画像と、元の第１領域（参照画像領域）の画像との差分のｎ乗の和とすることができる。
【００４９】
また、イントラ予測モード推定装置１において、イントラ予測モード毎の評価値は、第２領域（対象画像領域）の画像から第１領域（参照画像領域）を予測した画像と、元の第１領域（参照画像領域）の画像との差分の絶対値の最大値とすることができる。
【００５０】
これらのイントラ予測モード毎の評価値の算出は、差分演算や総和演算といった平易な演算操作によりイントラ予測モードの推定を行うことができ、更に、既存のイントラ予測との相関性の高い処理となるため、例えば、非特許文献１で提案されるＤＣＩＭよりも処理コストを低減させつつ、高信頼性の推定を行うことが可能である。
【００５１】
予測画像生成部７は、イントラ予測モード推定部５によって推定したイントラ予測モードに基づいて、第１領域（参照画像領域）の画像の画素値を用いて外挿又は平均値演算を行うことにより、予測ブロックの各画素を予測した予測画像を生成する。
【００５２】
本実施形態のイントラ予測モード推定装置１によって、図２に例示するように参照領域として予め定められた参照ブロック１０２内の画素値列から、図１３に例示する各イントラ予測モードの評価値を算出し、複数のイントラ予測モードの中から最適な「１つ」をモード推定値（最適として推定した予測モード番号）として選定する場合には、評価値を基に類似度を最大にする予測モードを以てモード推定値とし、このモード推定値をイントラ予測モード推定情報として生成する。
【００５３】
また、イントラ予測モード推定装置１ａが複数のイントラ予測モードの中から最適なものから複数個（Ｎ個とする）をモード推定値として選定する場合には、この評価値をｎ番目に最小（又は最大）にする予測モードをｎ∈｛１，２,… ,Ｎ｝について求め、これら予測モードの集合を以てモード推定値（ｎ番目に最適として推定した識別子を付した予測モード番号の集合）とし、このモード推定値をイントラ予測モード推定情報として生成する。
【００５４】
更に、イントラ予測モード推定装置１ａが複数のイントラ予測モードを最適と推定されるものから順に整順して、その結果をモード推定値とする場合には、この評価値をｎ番目に最小（又は最大）にする予測モードをｎ∈｛１, ２,… ,Ｎ｝について求め、これら予測モードをｎの昇順（又は降順）に整順した数列を以てモード推定値（最適として推定した順序を示すように整順した予測モード番号の集合）とし、このモード推定値をイントラ予測モード推定情報として生成する。
【００５５】
図３は、本実施形態のイントラ予測モード推定装置１において、方向予測の一例について予測モードに関する評価値の算出を説明する図である。図３（Ａ）及び図３（Ｂ）は、図２（Ａ）の参照ブロック１０２についてそれぞれの予測方向１０４で参照してイントラ予測モードの評価値を算出する算出法を示している。
【００５６】
通常のイントラ予測において、予測ブロック１０１の或る画素の予測値を求めるために、その画素から予測方向１０４の方向へ半直線を延ばし、この半直線がいずれの参照画素１０３の近傍を通過するかを求め、求められた参照画素１０３の画素値を以て予測画素値とすることで、予測方向１０４に沿った外挿を行う。
【００５７】
図３に示すように、本実施形態のイントラ予測モード推定装置１では、参照ブロック１０２内の各画素（対象画素）１０５について、予測方向１０４と逆方向の半直線１０６を引き、この半直線１０６がいずれの参照画素１０３を通過するかを求め、求めた参照画素１０７の画素値と、当該対象画素１０５の画素値とを比較する。本実施形態のイントラ予測モード推定装置１は、対象画素１０５を参照ブロック１０２内で走査し、それぞれ比較値を求め、これら比較値に基づいて評価値を定め、この評価値に基づいて最適なイントラ予測の予測モードを推定する。
【００５８】
例えば、予測モード番号ｍに対する評価値Ｅ（ｍ）を以下の手順で求める。参照画素１０３の集合をＬとおく。参照ブロック１０２の領域（領域Ｑとおく）から領域Ｌを除いた領域をＲとおく。参照画素１０３のうち水平に並ぶ参照画素群の中心を貫き且つ参照画素群の領域内に属する線分１０９と、参照画素１０３のうち垂直に並ぶ参照画素群の中心を貫き且つ参照画素群の領域内に属する線分１１０とを合わせた２線分をｄとおく。画像座標（位置ベクトル）ｘの画素値をＩ（ｘ）とおく。対象画素１０５の画像座標をｐ、対応する参照画素の画像座標ｒ（ｐ；ｍ）とおく。
【００５９】
対象画素１０５を始点とし、予測方向１０４とは平行且つ逆方向に向かう半直線１０６をｈ（ｐ；ｍ）とおく。このとき、参照画素１０７の画像座標ｒ（ｐ；ｍ）を、式（１）から求める。
【００６０】
【数１】
2013017128.tif 000003
【００６１】
尚、式（１）の右辺の条件を満たす画素が存在しない場合、ｒ（ｐ；ｍ）には「参照画素なし」を意味する例外値を設定する。ｒ（ｐ；ｍ）が「参照画素なし」ではない（参照画素があった）画素の集合（図３の例では太い点線１０８に囲まれた領域）をＳとおく。
【００６２】
予測モード番号ｍに対する評価値Ｅ（ｍ）は、例えば、式（２）を用いることができる。
【００６３】
【数２】
2013017128.tif 000004
【００６４】
ここに、ｎは実数である。ｎは、好ましくは正の実数である。例えば、ｎ＝１やｎ＝２を用いることができる。ｎ＝１のとき、式（１）は領域Ｓにおける予測残差の絶対値の平均値を表す。
【００６５】
また例えば、評価値Ｅ（ｍ）を、式（３）により求めてもよい。
【００６６】
【数３】
2013017128.tif 000005
【００６７】
予測モードには、平均値予測を含めても構わない（例えば、図１３に例示する予測モード番号ｍ＝２）。平均値予測による場合、評価値Ｅ（ｍ）は、式（４）又は式（５）により定めることができる。ここに、μは参照画素の集合Ｌにおける画素値の平均値である。尚、領域Ｓは、例えば、Ｓ＝Ｒとすることができる。
【００６８】
【数４】
2013017128.tif 000006
【００６９】
【数５】
2013017128.tif 000007
【００７０】
平均値予測を実装する方法の一例を述べる。先ず、画像Ｉ（ｘ）を記憶するメモリに、画素値データを記憶するのに足りる記憶領域を余分に確保する。この記憶領域を参照するアドレス（ここでは、当該記憶領域を参照する「例外的な画像座標値」)をＡａｖとおく。評価値Ｅ（ｍ＝平均値予測モード）を求めるのに先立って、集合Ｌに含まれる画素値の平均値μを求めておき、Ｉ（Ａａｖ）＝μ としてメモリに格納する。ｒ（ｐ；ｍ＝平均値予測モード）を、画像座標ｐによらずｒ（ｐ；ｍ＝平均値予測モード）＝Ａａｖと設定することで、式（４）は式（２）により演算可能となる。また、式（５）も式（３）により演算可能となる。
【００７１】
イントラ予測モード推定装置１は、異なる複数のモードｍ（評価対象とする予測モード番号ｍの集合をＷ＝｛０，１, ２,… ,Ｍ｝、集合Ｗの要素数をＴとする）に対する評価値Ｅに基づいてモード推定値Ｐをイントラ予測モード推定情報として出力する。
【００７２】
例えば、イントラ予測モード推定装置１は、評価値Ｅ（ｍ）を最小とする予測モード番号ｍ（又は評価値Ｅ（ｍ）を最大とする予測モードを基に推定する予測モード番号ｍ）を以て、モード推定値Ｐとする。評価値Ｅ（ｍ）の最小及び最大を求めるために、それぞれ式（６）及び式（７）のように定義することができる。
【００７３】
【数６】
2013017128.tif 000008
【００７４】
【数７】
2013017128.tif 000009
【００７５】
また、例えば、イントラ予測モード推定装置１は、評価値Ｅ（ｍ）を１乃至ｋ番目（２≦ｋ≦Ｔ、ｋは整数）に最小（又は最大）とする予測モード番号ｍの集合を以て、モード推定値Ｐとしてもよい。
【００７６】
更に、例えば、イントラ予測モード推定装置１は、評価値Ｅ（ｍ）を１乃至ｋ番目（２≦ｋ≦Ｔ、ｋは整数）に最小にする予測モード番号ｍ（もしくは最大にする予測モードから推定する最適な予測モード番号ｍ）を、ｋに関する昇順（又は降順）に並べた数列を以て、モード推定値Ｐとしてもよい。
【００７７】
本実施形態のイントラ予測モード推定装置１は、後述するように、画像符号化装置や画像復号装置に組み入れることができる。本実施形態のイントラ予測モード推定装置１によって生成されるイントラ予測モード情報や予測画像は、組み入れる画像符号化装置や画像復号装置の用途に応じて、イントラ予測モード情報及び予測画像、或いはイントラ予測モード情報と予測画像のうちのいずれか一方のみを利用することができることに留意する。したがって、予測画像生成部７は、用途によって必ずしも設ける必要はない。
【００７８】
以下、本発明による一実施形態のイントラ予測モード推定装置に基づいて、より具体的な実施例を説明する。以下の実施例では、第２領域（対象画像領域）の画素の画素値を第１領域（参照画像領域）の画素の予測値とする例を説明する。
【００７９】
（第１実施例のイントラ予測モード推定装置）
図４は、本発明による第１実施例のイントラ予測モード推定装置のブロック図である。第１実施例のイントラ予測モード推定装置１ａは、方向予測に関するイントラ予測モード推定装置の構成の一例を示すブロック図であり、画素走査部１１と、対象画素読出部１２と、モード走査部１３と、参照画素決定部１４と、参照画素読出部１５と、比較部１６と、集計部１７と、予測モード決定部１８と、画像メモリ２０とを備える。画像メモリ２０は、参照領域画像格納部として機能する一時記憶メモリである。入力された参照領域画像を保持する画像メモリ２０は、イントラ予測モード推定装置１の構成要素に含めてもよいし、イントラ予測モード推定装置１の外部に接続されるものとして構成してもよい。
【００８０】
先ず、第１実施例のイントラ予測モード推定装置１ａにおいて、図１に示すイントラ予測モード推定装置１と対応関係について説明する。第１実施例のイントラ予測モード推定装置１ａに入力される所定の参照領域の画像は、画像メモリ２０に格納される。図１における参照領域決定部２は、予め定められた複数種のイントラ予測モードのそれぞれに応じて、参照領域内で予め定めた第１領域（参照画像領域）の画像と、第１領域とは異なる参照領域内で予め定めた第２領域（対象画像領域）の画像に分割する。これは、図４における画素走査部１１、モード走査部１３、参照画素決定部１４及び参照画素読出部１５に対応する。図１における第１領域画素値予測部３は、第２領域（対象画像領域）の画像の画素値から、走査するイントラ予測モードに応じて関連付けた第１領域（参照画像領域）の画像の画素値に対する予測値を生成する。これは、図４における対象画素読出部１２に対応する。図１における比較部４は、図４における比較部１６に対応する。図１におけるイントラ予測モード推定部５は、図４における集計部１７及び予測モード決定部１８に対応する。図１における予測モード・画素走査制御部６は、図４では、クロックにより、画素走査部１１、モード走査部１３及び集計部１７を制御する例を示している。尚、図４では、図１における予測画像生成部７の記載は省略している。
【００８１】
画像メモリ２０に保持する参照領域画像は、符号化対象の画像１フレーム全体であっても構わないし、このフレームの一部分であっても構わない。ただし、画像メモリ２０には参照ブロック１０２の各画素値を含むものとする。
【００８２】
画素走査部１１は、参照ブロックＱのうち参照画素群Ｌを除いた領域Ｒに含まれる画素を走査するため、クロック信号に同期して、領域Ｒ内に含まれる画素の画像座標を所定の順序で順次出力する。この所定の順序としては、例えば、一般的なプログレッシブの走査線による画素走査と同様に、垂直方向の上から下へ移動する走査線上の画素を、水平方向の左から右へ順次選択する順序を用いることができる。この順序は、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリ上に配列をとり、この配列のアドレスの若い順に走査すべき画素の画像座標を順番に記憶させておき、クロックのタイミングに同期して計数するカウンタによってアドレスをメモリに与え、当該アドレスに記憶されている画像座標を読み出すことで実現することができる。画素走査部１１は、領域Ｒ内に含まれる画素を全て走査し終えたときに、画素走査完了信号を出力する。
【００８３】
対象画素読出部１２は、画像メモリ２０に記憶された参照領域の画像Ｉ（ｘ）のうち、指定された画像座標ｐにある画素（対象画素）の画素値Ｉ（ｐ）を読み出すため、画像座標に対応するメモリアドレスを画像メモリ２０へ出力し、画像メモリ２０からデータを読み出し、読み出されたデータを対象画素値として比較部１６へ出力する。
【００８４】
モード走査部１３は、画素走査完了信号の入力される都度、出力する予測モード番号ｍを順次変化させる。予測モード番号は、Ｍ個（Ｍは２以上の整数）の予測モードを区別するための識別子である。モード走査部１３は、例えば、Ｍ回の画像操作完了信号の入力を以て、Ｍ種類の全ての予測モード番号の出力を順次行う。また、例えば、モード走査部１３は、所定回数（２回以上Ｍ回未満）の画像操作完了信号の入力を以て、全予測モードのうち一部だけを走査するよう動作させても構わない。
【００８５】
モード走査部１３は、走査すべき所定の予測モード番号を全て走査し終えたときには、モード走査完了信号を出力する。
【００８６】
参照画素決定部１４は、入力された画像座標（対象画素の画像座標）ｐと、入力された予測モード番号ｍとから、参照画素の画像座標ｒ（ｐ；ｍ）を求め、これを出力する。例えば、図３の例では、対象画素の画像座標１０５と、予測モード番号ｍとに基づき、参照画素１０７の画像座標を求め、求めた画像座標を出力する。
【００８７】
予測方法が方向予測（directional mode）の場合には、対象画素の画像座標ｐと、予測モード番号ｍとから、参照画素の画像座標ｒ（ｐ；ｍ）は一意に決まる。このため、参照画素決定部１４は、例えば、対象画素の画像座標ｐと予測モード番号ｍとを引数にとるルックアップテーブルとして実装することができる。
【００８８】
参照画素読出部１５は、画像メモリ２０に記憶された画像Ｉ（ｘ）のうち、指定された画像座標ｒ（ｐ；ｍ）にある画素（参照画素）の画素値Ｉ（ｒ（ｐ；ｍ））を読み出すため、画像座標に対応するメモリアドレスを画像メモリ２０へ出力し、画像メモリ２０からデータを読み出し、読み出されたデータを参照画素値として比較部１６へ出力する。
【００８９】
比較部１６は、対象画素読出部１２から入力された対象画素値Ｉ（ｐ）と、参照画素読出部１５から入力された参照画素値Ｉ（ｒ（ｐ；ｍ））を比較し、比較結果を示す比較値ｄ（ｐ；ｍ）を出力する。
【００９０】
例えば、比較部１６は、対象画素値Ｉ（ｐ）と参照画素値Ｉ（ｒ（ｐ；ｍ））との差を比較値ｄ（ｐ；ｍ）とする。
【００９１】
【数８】
2013017128.tif 000010
【００９２】
集計部１７は、比較部１６から入力された比較値ｄ（ｐ；ｍ）を、対象画素の画像座標ｐに関して予測モード番号ｍ毎に集計する。集計部１７は、集計値ｔを所定のメモリ（図示せず）に記憶することができる。集計部１７は、画素走査完了信号が入力されたとき、その内部の記憶手段をクリアする（例えば、ｔ＝０とする)ものとする。集計部１７は、入力されたクロックのタイミングにおいて、入力された比較値ｄ（ｐ；ｍ）に基づいて、集計値ｔを更新する。
【００９３】
例えば、集計部１７は、式（９）により集計値ｔを更新する。
【００９４】
【数９】
2013017128.tif 000011
【００９５】
ここに、ｎは正の実定数とする。例えば、ｎ＝１のときには、集計部１７は対象画素値Ｉ（ｐ）と参照画素値Ｉ（ｒ（ｐ；ｍ））との差のＬ１ノルムを求めるよう動作する。また、例えば、ｎ＝２のときには、集計部１７は対象画素値Ｉ（ｐ）と参照画素値Ｉ（ｒ（ｐ；ｍ））との差のＬ２ノルム（ユークリッドノルム）の２乗を求めるよう動作する。尚、ｎが偶数の場合には式（９）の絶対値演算を省略することができる。
【００９６】
また、例えば、集計部１７は、式（１０）により集計値tを更新する。
【００９７】
【数１０】
2013017128.tif 000012
【００９８】
式（１０）によれば、集計部１７は対象画素値Ｉ（ｐ）と参照画素値Ｉ（ｒ（ｐ；ｍ））との差のＬ∞ノルムを求めるよう動作する。
【００９９】
予測モード決定部１８は、画素走査完了信号のタイミングで、集計値ｔの入力を受け付け、受け付けた集計値をｔ（ｍ）として評価値の算出に用いる（集計値ｔを受け付けた瞬間の予測モード番号がｍであったとする）。即ち、対象画素ｐに関する予測モード番号ｍにおける比較値ｄ（ｐ；ｍ）を、領域Ｒについて集計し終えたときの集計値ｔ（ｍ）とする。
【０１００】
予測モード決定部１８は、モード走査完了信号が入力される間隔毎に、予測モード番号ｍの集計値ｔ（ｍ）を、式（２）又は式（３）における評価値Ｅ（ｍ）とし、式（６）又は式（７）に基づいて最適なイントラ予測モードを推定し、この推定結果を示すモード推定値Ｐをイントラ予測モード推定情報として出力する。
【０１０１】
例えば、予測モード決定部１８は、式（１１）で示されるように、モード走査完了信号が入力される間隔内において、集計値ｔ（ｍ）が最も小さかった予測モード番号ｍを以て、モード推定値Ｐとする。尚、式（７）の説明と同様に、予測モード決定部１８は、集計値ｔ（ｍ）が最も大きかった予測モードを基に決定した予測モード番号ｍを以て、モード推定値Ｐとしてもよい。
【０１０２】
【数１１】
2013017128.tif 000013
【０１０３】
このほか、予測モード決定部１８は、例えば、集計値ｔ（ｍ）の小さい（又は大きい）方から所定の個数の予測モード番号集合をモード推定値Ｐとして決定してもよいし、集計値ｔ（ｍ）の小さい（又は大きい）順に所定個数の予測モード番号ｍを並べた数列をモード推定値Ｐとして決定してもよい。
【０１０４】
（第２実施例のイントラ予測モード推定装置）
図５は、本発明による第２実施例のイントラ予測モード推定装置のブロック図である。第２実施例のイントラ予測モード推定装置１ｂは、方向予測及び平均値予測に関するイントラ予測モード推定装置の構成の一例を示すブロック図であり、画素走査部１１と、対象画素読出部１２と、モード走査部１３と、参照画素決定部１４と、参照画素読出部１５と、比較部１６と、集計部１７と、予測モード決定部１８と、平均値設定部１９と、画像メモリ２０とを備える。画像メモリ２０は、参照領域画像格納部として機能する一時記憶メモリである。入力された参照領域画像を保持する画像メモリ２０は、イントラ予測モード推定装置１の構成要素に含めてもよいし、イントラ予測モード推定装置１の外部に接続されるものとして構成してもよい。
【０１０５】
第２実施例のイントラ予測モード推定装置１ｂは、第１実施例のイントラ予測モード推定装置１ａと比較して、予測モードに平均値予測を含めるために、平均値設定部１９を更に備える点で相違する。したがって、第２実施例のイントラ予測モード推定装置１ｂは、平均値設定部１９の処理以外については、第１実施例のイントラ予測モード推定装置１ａと同様であり、同様な構成要素には同一の参照番号を付している。以下、第１実施例とは相違する、「平均値予測」時の評価値を定める点について説明する。
【０１０６】
平均値設定部１９は、画像メモリ２０から、参照領域の画像Ｉ（ｘ）の画素群（参照画素１０３の領域Ｌ内の画素群）の画素値を読み出し、その平均値を計算し、画像メモリ２０に格納する。平均値の計算にあたっては、所定のビット未満（例えば、１未満）に対して丸め処理を行っても構わない。得られた平均値は、画像メモリ２０にて画像Ｉ（ｘ）と干渉しないメモリアドレスＡａｖに記憶する。
【０１０７】
参照画素決定部１４は、予測モード番号ｍが平均値予測（例えば、図１３における予測モード番号ｍ＝２）のときには、画素走査部１１から入力される対象画素の画像座標の如何によらず、常に、画像Ｉ（ｘ）内の画像座標とは異なる特別な画像座標（例えば、（−１,−１））を出力する。
【０１０８】
参照画素読出部１５は、この「特別な画像座標」が入力されたときには、画像メモリ２０からメモリアドレスＡａｖに記憶された画素値（即ち、式（４）又は式（５）に示される平均値μ）を読み出し、これを参照画素値として比較部１６へ出力する。
【０１０９】
比較部１６は、対象画素値Ｉ（ｐ）と平均値μとの差を比較値ｄ（ｐ；ｍ）とする。
【０１１０】
集計部１７は、第１実施例のイントラ予測モード推定装置１ａと同様に、比較部１６から入力された比較値ｄ（ｐ；ｍ）を、対象画素の画像座標ｐに関して集計する。
【０１１１】
予測モード決定部１８は、予測モード番号ｍが平均値予測を示すときの集計値ｔ（ｍ）を、式（４）又は式（５）における評価値Ｅ（ｍ）とする。
【０１１２】
これにより、予測モード決定部１８は、モード走査完了信号が入力される間隔毎に、方向予測及び平均値予測を含む予測モード番号ｍの集計値ｔ（ｍ）から評価値Ｅ（ｍ）を定め、式（６）又は式（７）に基づいて最適なイントラ予測モードを推定し、この推定結果を示すモード推定値Ｐをイントラ予測モード推定情報として出力する。
【０１１３】
例えば、予測モード決定部１８は、第１実施例のイントラ予測モード推定装置１ａと同様に、式（１１）で示されるように、モード走査完了信号が入力される間隔内において、集計値ｔ（ｍ）が最も小さかった予測モード番号ｍを以て、モード推定値Ｐとする。尚、式（７）の説明と同様に、予測モード決定部１８は、集計値ｔ（ｍ）が最も大きかった予測モードを基に決定した予測モード番号ｍを以て、モード推定値Ｐとしてもよい。
【０１１４】
以上の第１実施例及び第２実施例で説明したように、イントラ予測モード推定装置１は、イントラ予測モードに平均値予測を含む場合であっても動作させることが可能となる。
【０１１５】
次に、図１、図３及び図６を参照して、本実施形態のイントラ予測モード推定装置１の動作の一例を説明する。
【０１１６】
（装置動作）
先ず、参照領域決定部２によって、所定の参照領域の画像を入力し、予め定められた複数種のイントラ予測モードのうち特定の予測モード番号（例えば、ｍ＝０）について、参照領域内で予め定めた第１領域（参照画像領域）の画像と、第１領域とは異なる参照領域内で予め定めた第２領域（対象画像領域）の画像に分割する（ステップＳ１１）。
【０１１７】
次に、参照領域決定部２によって、図３を参照して説明したように、予測モード番号ｍの予測方法に対して、対象画素ｐに対応する参照画素ｒを決定する（ステップＳ１２）。
【０１１８】
次に、第１領域画素値予測部３によって、予測モード番号ｍの予測方法に応じて関連付けた対象画素ｐの画素値から、当該参照画素ｒの画素値に対する予測値を生成する（ステップＳ１３）。
【０１１９】
次に、比較部４によって、予測モード番号ｍの予測方法に応じて関連付けた対象画素ｐからの予測値と、当該参照画素ｒの画素値とを比較し、その比較結果を示す比較値を算出する（ステップＳ１４）。
【０１２０】
次に、予測モード・画素走査制御部６によって、予測モード番号ｍの予測方法について、対象画像領域にて走査する全ての対象画素を比較するまでステップＳ１２乃至Ｓ１４を繰り返し行うよう制御する（ステップＳ１５）。
【０１２１】
次に、イントラ予測モード推定部５によって、予測モード番号ｍにおける対象画像領域に関する全ての比較値を集計して、予測モード番号ｍにおける評価値を定める（ステップＳ１６）。
【０１２２】
次に、予測モード・画素走査制御部６によって、全ての予測モードに関して比較値を集計するまで、ステップＳ１２乃至Ｓ１６を繰り返し行うよう制御する（ステップＳ１７）。例えば、予測モード・画素走査制御部６は、予測モードが、図１３で示すようなイントラ予測番号ｍ∈｛０，１, ２,… ,Ｍ｝で与えられる場合に、ｍ＝０から開始したときは、ｍ＝ｍ＋１として、ステップＳ１２乃至Ｓ１６を繰り返し行うよう制御する（ステップＳ１８）。
【０１２３】
最終的に、イントラ予測モード推定部５によって、全ての予測モードで集計した比較値を基に評価値を定め、最適な予測モードを決定し、決定した予測モードをイントラ予測の予測モードとして推定する（ステップＳ１９）。
【０１２４】
このように、本実施形態のイントラ予測モード推定装置１は、方向予測及び平均値予測におけるイントラ予測にとって最適なイントラ予測モードを決定することができ、ＡＶＣ／Ｈ．２６４等の既存のイントラ予測に用いる処理との整合性の高い処理（つまり、相関性の高い処理）によってイントラ予測モードの推定を行うことができる。このため、イントラ予測処理を実行するハードウェアやソフトウェアの共通化も可能となり、差分演算や総和演算といった平易な演算操作によりイントラ予測モードの推定を行うことができることから、ハードウェアやソフトウェアの規模や処理コストを縮小することができる。また、既存のイントラ予測の処理との整合性が高い処理（つまり、相関性の高い処理）でイントラ予測モードの推定を行うことから、既存のイントラ予測で予測する予測モードに対する推定精度を向上させることができる。後述するように、イントラ予測モード推定装置１で推定されたイントラ予測モードは、そのままイントラ予測のモード切替に用いることができるようになるし、他の任意の技法で決定されたイントラ予測モードのモード切替情報（イントラ予測モード情報）を指示するための事前情報（イントラ予測モード情報の予測値）に用いることができるようになる。
【０１２５】
また、イントラ予測モード推定装置１は、方向予測に関する予測モードを推定する際には、第２領域（対象画像領域）の画素の画素値から、イントラ予測の方向予測の予測方向とは逆方向の外挿で関連付けた第１領域（参照画像領域）の画素の予測値を生成し、平均値予測でイントラ予測モードを推定する際には、参照領域（例えば、参照ブロック１０２）内の第１領域（参照画像領域）の各画素の画素値による平均値を用いることから、方向予測や平均値予測によるイントラ予測モードの中から、絵柄（テクスチャの方向性）を反映した適切なモードを推定することができるようになる。
【０１２６】
次に、本実施形態のイントラ予測モード推定装置１を画像符号装置及び画像復号装置に適用した例を説明する。
【０１２７】
〔第１実施形態の画像符号化装置及び画像復号装置〕
図７は、本発明による一実施形態のイントラ予測モード推定装置を備える第１実施形態の画像符号化装置を示すブロック図である。図８は、本発明による一実施形態のイントラ予測モード推定装置を備える第１実施形態の画像復号装置を示すブロック図である。
【０１２８】
（画像符号化装置）
本実施形態の画像符号化装置５０ａは、減算部５１と、直交変換・量子化部５２と、逆量子化・逆直交変換部５３と、加算部５４と、画像メモリ５５と、イントラ予測モード推定装置１と、エントロピー符号化部５７とを備える。インター予測に関する説明は、本発明の主題と直接関係しないため省略する。
【０１２９】
具体的には、本実施形態の画像符号化装置５０ａは、参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行なって画像を符号化する装置であり、本発明に係る予測画像を生成するイントラ予測モード推定装置１を備える。
【０１３０】
減算部５１は、入力画像信号とイントラ予測モード推定装置１によって生成した予測画像の信号との差分をとり、当該差分の結果である予測残差の信号を生成して直交変換・量子化部５２に送出する。
【０１３１】
直交変換・量子化部５２は、直交変換を用いて減算部５１から得られる予測残差の信号を変換して係数を求め、該係数を所定の量子化幅で量子化し、当該量子化の結果である変換係数を生成して逆量子化・逆直交変換部５３及びエントロピー符号化部５７に送出する。
【０１３２】
エントロピー符号化部５７は、直交変換・量子化部５２から得られる変換係数に対してエントロピー符号化を施し、符号化ストリームを生成する。
【０１３３】
逆量子化・逆直交変換部５３は、直交変換・量子化部５２から得られる変換係数に対して量子化及び直交変換の逆変換を行ない、当該逆変換の結果である予測残差の信号を生成して加算部５４に送出する。
【０１３４】
加算部５４は、予測残差の信号と予測画像の信号とを加算し、当該加算の結果である復号画像を画像メモリ５５に格納する。
【０１３５】
イントラ予測モード推定装置１は、画像メモリ５５に格納され復号済みの画素群からなる参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行い、イントラ予測における予測モードを推定して当該イントラ予測の結果である予測画像を生成して減算部５１及び加算部５４に送出する。
【０１３６】
ここで、エントロピー符号化部５７は、イントラ予測における予測モードに関する情報を外部に出力しないように符号化ストリームを生成する。
【０１３７】
（画像復号装置）
また、図８に示すように、本実施形態の画像復号装置７０ａは、エントロピー復号部７１と、逆量子化・逆直交変換部７２と、加算部７３と、イントラ予測モード推定装置１と、画像メモリ７５とを備える。
【０１３８】
具体的には、本実施形態の画像復号装置７０ａは、参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行なって画像を復号する装置であり、本発明に係る予測画像を生成するイントラ予測モード推定装置１を備える。
【０１３９】
エントロピー復号部７１は、入力される符号化ストリームに対してエントロピー復号を施し、画像符号化側（本例では、画像符号化装置５０ａ）のイントラ予測における予測残差の信号に対して直交変換及び量子化が施された変換係数を抽出し、逆量子化・逆直交変換部７２に送出する。
【０１４０】
逆量子化・逆直交変換部７２は、エントロピー復号部７１から得られる変換係数に対して逆量子化及び逆直交変換を行ない、当該予測残差の信号を生成し、加算部７３に送出する。
【０１４１】
加算部７３は、逆量子化・逆直交変換部７２から得られる予測残差の信号と、イントラ予測モード推定装置１によって生成される予測画像の信号とを加算して復号画像の信号を生成するとともに、当該復号画像を画像メモリ７５に格納する。
【０１４２】
イントラ予測モード推定装置１は、画像メモリ７５に格納され復号済みの画素群からなる参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行い、イントラ予測における予測モードを推定して当該イントラ予測の結果である予測画像を生成し、加算部７３に送出する。
【０１４３】
また、図７及び図８では、図１１に示す従来の画像符号化装置５０、及び図１２に示す画像復号装置７０と同様な構成要素には同一の参照番号を付しており、本実施形態の画像符号化装置５０ａ及び画像復号装置７０ａと、従来の画像符号化装置５０及び画像復号装置７０との比較において、本実施形態の画像符号化装置５０ａ及び画像復号装置７０ａは、イントラ予測部５６，７４の代わりに、イントラ予測モード推定装置１を用いる点で相違する。この相違点について、以下、詳細に説明する。
【０１４４】
従来の画像符号化装置５０におけるイントラ予測部５６は、ＵＤＩ（非制限デジタル情報）として、イントラ予測の予測方法に対して予測モード番号を割り当て、予め定めた予測モード番号をイントラ予測モード情報として画像復号装置７０に伝送することで、従来の画像復号装置７０ではイントラ予測の予測方法を定義する予測モードを特定することができるようにしていた。このため、画像情報のほかに、イントラ予測モード情報を伝送する必要があった。
【０１４５】
本実施形態の画像符号化装置５０ａ及び画像復号装置７０ａは、イントラ予測モード推定装置１を備えており、イントラ予測モード推定装置１は、画像メモリ５５，７５に格納される復号済みの画素を参照領域の画素として、複数種のイントラ予測モードに応じて予測したそれぞれの第１領域（参照画像領域）の画像と参照領域における第２領域（対象画像領域）の画像との比較にて最も類似するものを選定することにより、イントラ予測におけるイントラ予測モードを推定し、予測画像を生成する。
【０１４６】
したがって、第１実施形態の画像符号化装置５０ａ及び画像復号装置７０ａによれば、イントラ予測モード情報の伝送を不要にすることができ、伝送効率を高めることができる。更に、本実施形態の画像復号装置７０ａを、従来の画像符号化装置５０による符号化ストリームを復号する装置として利用することもできる。従来の画像符号化装置５０による符号化ストリームに含められるイントラ予測モード情報を全く用いることなくイントラ予測が可能であり、或いはまた、従来の画像符号化装置５０による符号化ストリームに含められるイントラ予測モード情報を参考値として用いるように構成してもよい。つまり、本実施形態の画像復号装置７０ａは、本実施形態の画像符号化装置５０ａと従来の画像符号化装置５０との区別なく利用することができる。
【０１４７】
〔第２実施形態の画像符号化装置及び画像復号装置〕
図９は、本発明による一実施形態のイントラ予測モード推定装置を備える第２実施形態の画像符号化装置を示すブロック図である。図１０は、本発明による一実施形態のイントラ予測モード推定装置を備える第２実施形態の画像復号装置を示すブロック図である。
【０１４８】
（画像符号化装置）
本実施形態の画像符号化装置５０ｂは、第１の減算部５１と、直交変換・量子化部５２と、逆量子化・逆直交変換部５３と、加算部５４と、画像メモリ５５と、イントラ予測部５６と、イントラ予測モード推定装置１と、エントロピー符号化部５７と、第２の減算部５８とを備える。インター予測に関する説明は、本発明の主題と直接関係しないため省略する。
【０１４９】
具体的には、本実施形態の画像符号化装置５０ｂは、参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行なって画像を符号化する装置であり、本発明に係るイントラ予測モード推定情報を生成するイントラ予測モード推定装置１を備える。
【０１５０】
第１の減算部５１は、入力画像信号とイントラ予測部５６によって生成される予測画像の信号との差分をとり、当該差分の結果である予測残差の信号を生成し、直交変換・量子化部５２に送出する。
【０１５１】
直交変換・量子化部５２は、直交変換を用いて第１の減算部５１から得られる予測残差の信号を変換して係数を求め、該係数を所定の量子化幅で量子化し、当該量子化の結果である変換係数を生成し、逆量子化・逆直交変換部５３及びエントロピー符号化部５７に送出する。
【０１５２】
エントロピー符号化部５７は、直交変換・量子化部５２から得られる変換係数に対してエントロピー符号化を施し、符号化ストリームを生成する。
【０１５３】
逆量子化・逆直交変換部５３は、直交変換・量子化部５２から得られる変換係数に対して量子化及び直交変換の逆変換を行ない、当該逆変換の結果である予測残差の信号を生成し、加算部５４に送出する。
【０１５４】
加算部５４は、逆量子化・逆直交変換部５３から得られる予測残差の信号と当該予測画像の信号とを加算し、当該加算の結果である復号画像を画像メモリ５５に格納する。
【０１５５】
イントラ予測部５６は、画像メモリ５５に格納され予測対象領域に近接する復号済みの画素群から予測対象領域の画像パターンを予測するイントラ予測を行い、当該イントラ予測の結果である予測画像を生成して第１の減算部５１及び加算部５４に送出するとともに、イントラ予測における予測モードに関する情報をイントラ予測モード情報として生成して第２の減算部５８に送出する。
【０１５６】
第２の減算部５８は、イントラ予測モード推定装置１によって推定した当該イントラ予測に最適なイントラ予測モードに関する情報をイントラ予測モード推定情報として取得し、このイントラ予測モード推定情報とイントラ予測部５６によるイントラ予測モード情報との差分をイントラ予測モード差分情報として生成し、エントロピー符号化部５７に送出する。
【０１５７】
エントロピー符号化部５７は、イントラ予測モード情報を外部に出力する代わりに、イントラ予測モード差分情報を外部に出力するように符号化ストリームを生成する。
【０１５８】
（画像復号装置）
また、図１０に示すように、本実施形態の画像復号装置７０ｂは、エントロピー復号部７１と、逆量子化・逆直交変換部７２と、第１の加算部７３と、イントラ予測部７４と、イントラ予測モード推定装置１と、画像メモリ７５と、第２の加算部７６とを備える。
【０１５９】
具体的には、本実施形態の画像復号装置７０ｂは、参照領域の画像パターンから予測対象領域の画像パターンを予測するイントラ予測を行なって画像を復号する装置であり、本発明に係るイントラ予測モード推定情報を生成するイントラ予測モード推定装置１を備える。
【０１６０】
エントロピー復号部７１は、入力される符号化ストリームに対してエントロピー復号を施し、画像符号化側（本例では、画像符号化装置５０ｂ）のイントラ予測における予測残差の信号に対して直交変換及び量子化が施された変換係数を抽出して逆量子化・逆直交変換部７２に送出するとともに、画像符号化側（本例では、画像符号化装置５０ｂ）のイントラ予測における予測モードに関する情報としてのイントラ予測モード情報に対して差分を示す所定のイントラ予測モード差分情報を抽出し、第２の加算部７６に送出する。
【０１６１】
逆量子化・逆直交変換部７２は、エントロピー復号部７１から得られる変換係数に対して逆量子化及び逆直交変換を行ない、当該予測残差の信号を生成し、第１の加算部７３に送出する。
【０１６２】
第１の加算部７３は、逆量子化・逆直交変換部７２から得られる予測残差の信号と、イントラ予測部７４によって生成される予測画像の信号とを加算して復号画像の信号を生成するとともに、当該復号画像を画像メモリ７５に格納する。
【０１６３】
イントラ予測部７４は、画像メモリ７５に格納され予測対象領域に近接する復号済みの画素群から予測対象領域の画像パターンを予測するイントラ予測を行い、当該イントラ予測の結果である予測画像を生成し、第１の加算部７３に送出する。
【０１６４】
第２の加算部７６は、イントラ予測モード推定装置１によって推定した当該イントラ予測に最適なイントラ予測モードに関する情報をイントラ予測モード推定情報として取得し、このイントラ予測モード推定情報をエントロピー復号部７１から得られるイントラ予測モード差分情報に加算して、イントラ予測部７４で用いるイントラ予測モード情報を復元する。
【０１６５】
これにより、イントラ予測部７４は、当該復元したイントラ予測モード情報を用いて予測画像を生成することができる。
【０１６６】
また、図９及び図１０では、図１１に示す従来の画像符号化装置５０、及び図１２に示す画像復号装置７０と同様な構成要素には同一の参照番号を付しており、本実施形態の画像符号化装置５０ｂ及び画像復号装置７０ｂと、従来の画像符号化装置５０及び画像復号装置７０との比較において、本実施形態の画像符号化装置５０ｂ及び画像復号装置７０ｂは、イントラ予測部５６，７４のほかに、イントラ予測モード推定装置１を備える点で相違しており、更に、本実施形態の画像符号化装置５０ｂは第２の減算部５８を備え、本実施形態の画像復号装置７０ｂは第２の加算部７６を備える点で相違する。この相違点について、以下、詳細に説明する。
【０１６７】
前述したように、従来の画像符号化装置５０におけるイントラ予測部５６は、ＵＤＩ（非制限デジタル情報）として、イントラ予測の予測方法に対して予測モード番号を割り当て、予め定めた予測モード番号をイントラ予測モード情報として画像復号装置７０に伝送することで、従来の画像復号装置７０ではイントラ予測の予測方法を定義する予測モードを特定することができるようにしていた。このため、画像情報のほかに、図１３で例示するようなＭ種の予測モードを識別するイントラ予測番号をイントラ予測モード情報として伝送する必要があった。
【０１６８】
本実施形態の画像符号化装置５０ｂ及び画像復号装置７０ｂは、イントラ予測モード推定装置１を備えており、イントラ予測モード推定装置１は、画像メモリ５５，７５に格納される復号済みの画素を参照領域の画素として、複数種のイントラ予測モードに応じて予測したそれぞれの第１領域（参照画像領域）の画像と参照領域における第２領域（対象画像領域）の画像との比較にて最も類似するものを選定することにより、イントラ予測におけるイントラ予測モードを推定し、モード推定値（イントラ予測番号の推定値）を生成する。本実施形態の画像符号化装置５０ｂ及び画像復号装置７０ｂにおけるイントラ予測モード推定装置１は、このモード推定値をイントラ予測モード推定情報として出力する。
【０１６９】
本実施形態の画像符号化装置５０ｂでは、第２の減算部５８により、イントラ予測部５６が出力するＭ種の予測モードを識別するイントラ予測モード情報（イントラ予測番号）と、イントラ予測モード推定装置１が出力するイントラ予測モード推定情報（イントラ予測番号の推定値）とを差分したイントラ予測モード差分情報を生成してエントロピー符号化部５７に送出する。エントロピー符号化部５７は、画像情報のほかに、このイントラ予測モード差分情報を伝送する符号化ストリームを生成する。
【０１７０】
一方、本実施形態の画像復号装置７０ｂでは、第２の加算部７６により、符号化ストリームから抽出したイントラ予測モード差分情報と、イントラ予測モード推定装置１が出力するイントラ予測モード推定情報（イントラ予測番号の推定値）とを加算して、Ｍ種の予測モードを識別するイントラ予測モード情報（イントラ予測番号）を復元し、イントラ予測部７４に送出する。イントラ予測部７４は、従来と同様の処理で、予測画像を生成する。
【０１７１】
したがって、第２実施形態の画像符号化装置５０ｂ及び画像復号装置７０ｂによれば、ゼロの多い情報となるイントラ予測モード差分情報の伝送で伝送効率を高めることができるとともに、既存のイントラ予測と同一の性能を保持することができ、符号化効率を高めることができる。
【０１７２】
本実施形態のイントラ予測モード推定装置１、画像符号化装置５０ａ，５０ｂ又は画像復号装置７０ａ，７０ｂをそれぞれコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリに記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本実施形態のイントラ予測モード推定装置１、画像符号化装置５０ａ，５０ｂ又は画像復号装置７０ａ，７０ｂの各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。
【産業上の利用可能性】
【０１７３】
本発明によれば、イントラ予測の方向予測及び平均値予測における最適なイントラ予測モードを推定することができるため、イントラ予測を用いる任意の用途に有用である。
【符号の説明】
【０１７４】
１，１ａ，１ｂ  イントラ予測モード推定装置
２  参照領域決定部
３  第１領域画素値予測部
４  比較部
５  イントラ予測モード推定部
６  予測モード・画素走査制御部
７  予測画像生成部
１１  画素走査部
１２  対象画素読出部
１３  モード走査部
１４  参照画素決定部
１５  参照画素読出部
１６  比較部
１７  集計部
１８  予測モード決定部
１９  平均値設定部
２０  画像メモリ
５０，５０ａ，５０ｂ  画像符号化装置
５１  減算部（第１の減算部）
５２  直交変換・量子化部
５３  逆量子化・逆直交変換部
５４  加算部（第１の加算部）
５５  画像メモリ
５６  イントラ予測部
５７  エントロピー符号化部
５８  第２の減算部
７０，７０ａ，７０ｂ  画像復号装置
７１  エントロピー復号部
７２  逆量子化・逆直交変換部
７３  加算部（第１の加算部）
７４  イントラ予測部
７５  画像メモリ
７６  第２の加算部
１０１  予測ブロック
１０２  参照ブロック
１０３  参照画素
１０４  予測方向
１０５  対象画素
１０６  予測方向と逆方向の半直線
１０７  予測方向と逆方向の半直線で求まる参照画素
１０８  方向予測で比較する参照画素が存在する、対象画素の領域
１０９  水平に並ぶ参照画素群の中心を貫き且つ参照画素群の領域内に属する線分
１１０  垂直に並ぶ参照画素群の中心を貫き且つ参照画素群の領域内に属する線分
【図１】
2013017128.tif 000014
【図２】
2013017128.tif 000015
【図３】
2013017128.tif 000016
【図４】
2013017128.tif 000017
【図５】
2013017128.tif 000018
【図６】
2013017128.tif 000019
【図７】
2013017128.tif 000020
【図８】
2013017128.tif 000021
【図９】
2013017128.tif 000022
【図１０】
2013017128.tif 000023
【図１１】
2013017128.tif 000024
【図１２】
2013017128.tif 000025
【図１３】
2013017128.tif 000026