(57)【要約】本発明に係るイントラ予測処理方法は、入力画像の複数画素で構成される符号化の処理対象ブロックを設定する処理ブロック設定工程と、前記処理対象ブロックを何れの方向の近接ブロックから、どの様に補間して予測画像を作るかを表す補間パターンである所定数の予測モードの候補を、前記処理対象ブロックの解像度情報に基づき、前記所定数より少ない複数の予測モードの候補に絞り込む予測モード候補限定工程と、前記予測モード候補限定工程において限定された前記予測モード候補の中から、予測符号化のコストが最小となる予測モードを予測符号化に用いる予測モードとして決定し、予測符号化処理に用いる予測モード決定工程と、前記予測モード決定工程で決定された予測モードにて、前記処理対象ブロックの予測画像を作成した後に、前記予測画像を用いて前記処理対象ブロックを符号化する予測符号化工程と、を備えたことを特徴とする。
2011129163.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の複数画素で構成される符号化の処理対処ブロックを設定する処理ブロック設定工程と、  前記処理対象ブロックを何れの方向の近接ブロックから、どの様に補間して予測画像を作るかを表す補間パターンである所定数の予測モードの候補を、前記処理対象ブロックの解像度情報に基づき、前記所定数より少ない複数の予測モード候補に絞り込む予測モード候補限定工程と、  前記予測モード候補限定工程において限定された前記予測モード候補の中から、予測符号化のコストが最小となる予測モードを予想符号化に用いる予測モードとして決定し、予測符号化処理に用いる予測モード決定工程と、  前記予測モード決定工程で決定された予測モードにて、前記処理対象ブロックの予測画像を作成した後に、前記予測画像を用いて前記処理対象ブロックを符号化する予測符号化工程と、を備えたことを特徴とするイントラ予測処理方法。
【請求項２】
前記予測モード候補限定工程においては、  前記複数の所定の予測モード候補について、それぞれの予測モード候補の示す方向と対応する前記解像度情報の方向成分に基づき、当該予測モード候補の優先度を判定することにより、限定された予測モード候補に絞り込むことを特徴とする請求項１に記載のイントラ予測処理方法。
【請求項３】
前記予測モード候補限定工程においては、  前記入力画像を撮像した撮像装置の光学特性を、前記解像度情報として用いることを特徴とする請求項１に記載のイントラ予測処理方法。
【請求項４】
前記撮像装置の光学特性は、ＭＴＦであることを特徴とする請求項３に記載のイントラ予測処理方法。
【請求項５】
前記予測モード候補限定工程においては、  前記入力画像の前処理における画像処理内容により決定される前記解像度情報を用いることを特徴とする請求項１に記載のイントラ予測処理方法。
【請求項６】
前記入力画像の撮像システムに関して、処理対象ブロック位置と前記予測モード候補限定工程において限定された前記予測モード候補とを対応づけた予測モード候補テーブルを保持する予測モード候補保持工程を有し、  前記予測モード決定工程においては、  同じ撮像システムについて保持されている前記予測モード候補テーブルの情報に基づいて前記限定された予測モード候補を設定することを特徴とする請求項１に記載のイントラ予測処理方法。
【請求項７】
コンピュータに、  入力画像の複数画素で構成される符号化の処理対処ブロックを設定する処理ブロック設定工程と、  前記処理対象ブロックを何れの方向の近接ブロックから、どの様に補間して予測画像を作るかを表す補間パターンである所定数の予測モードの候補を、前記処理対象ブロックの解像度情報に基づき、前記所定数より少ない複数の予測モード候補に絞り込む予測モード候補限定工程と、  前記予測モード候補限定工程において限定された前記予測モード候補の中から、予測符号化のコストが最小となる予測モードを予想符号化に用いる予測モードとして決定し、予測符号化処理に用いる予測モード決定工程と、  前記予測モード決定工程で決定された予測モードにて、前記処理対象ブロックの予測画像を作成した後に、前記予測画像を用いて前記処理対象ブロックを符号化する予測符号化工程と、を備えたことを特徴とするイントラ予測処理プログラム。
【請求項８】
前記予測モード候補限定工程においては、  前記複数の所定の予測モード候補について、それぞれの予測モード候補の示す方向と対応する前記解像度情報の方向成分に基づき、当該予測モード候補の優先度を判定することにより、限定された予測モード候補に絞り込むことを特徴とする請求項７に記載のイントラ予測処理プログラム。
【請求項９】
前記予測モード候補限定工程においては、  前記入力画像を撮像した撮像装置の光学特性を、前記解像度情報として用いることを特徴とする請求項７に記載のイントラ予測処理プログラム。
【請求項１０】
前記撮像装置の光学特性は、ＭＴＦであることを特徴とする請求項９に記載のイントラ予測処理プログラム。
【請求項１１】
前記予測モード候補限定工程においては、  前記入力画像の前処理における画像処理内容により決定される前記解像度情報を用いることを特徴とする請求項７に記載のイントラ予測処理プログラム。
【請求項１２】
前記コンピュータに、  前記入力画像の撮像システムに関して、処理対象ブロック位置と前記予測モード候補限定工程において限定された前記予測モード候補とを対応づけた予測モード候補テーブルを保持する予測モード候補保持工程を実行させ、  前記予測モード決定工程においては、  同じ撮像システムについて保持されている前記予測モード候補テーブルの情報に基づいて前記限定された予測モード候補を設定することを特徴とする請求項７に記載のイントラ予測処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、入力画像の予測符号化に用いるため、複数画素からなる処理対象ブロックについて、対応する予測ブロックを、予測モードに従って隣接ブロックから予測するイントラ予測処理方法、及びイントラ予測処理プログラムに関する。
【背景技術】
【０００２】  動画圧縮処理等において、同じフレーム内で予測を行うイントラ予測処理による符号化や、時間的に連続するフレーム間で予測を行うインター予測符号化などの予測符号化技術が知られている。【０００３】  これらは、画像符号化方式の国際標準・規格にも採用されており、例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以降、Ｈ．２６４と呼称する）方式のエンコーダは、図２に示すように構成されている。【０００４】  図２のＨ．２６４エンコーダ１のイントラ予測処理部２において、隣接ブロックから予測パターンを決定するイントラ予測処理が実行される。【０００５】  イントラ予測処理方法は、入力画像において、複数画素からなる処理対象ブロックを設定し、対応する予測ブロックを隣接ブロックから予測するものであり、この予測に基づき予測符号化処理を行う。【０００６】  予測ブロックが処理対象ブロックに近ければ近いほど、予測符号化のコストは小さくなる。すなわち、情報量としてより圧縮することができる。処理対象ブロックの画像は隣接するブロックの画像に近いと推定し、隣接ブロックから予測するのである。【０００７】  詳細は後述するが、どの隣接ブロックの画素からどのように予測するかによって、複数の予測モードが設定されている（図４に具体例を示す）。【０００８】  複数の予測モードは主にどの方向の隣接ブロックがより近いかを示すものであるが、どの予測モード（予測方向）を用いると予測精度がよくなるかは予め分からない。【０００９】  従って、すべての予測モードを実行してみて、最も予測精度のよい、すなわち符号化コストの最小となる予測モードを探索することが一般的に行われている。【００１０】  しかしながら、すべての予測モードを実行し、さらに符号化コストを算出し評価する段階まで処理を進めなければならないため、その演算量は膨大となる。【００１１】  このようにイントラ予測処理方法は、非常に計算量の多い処理として知られており、そのため、イントラ予測処理方法における予測モード決定のための計算量の削減が重要な技術課題として研究されてきた。【００１２】  例えば、特許文献１では、イントラ予測処理によって符号化済みの隣接ブロックの予測モードを参考にして、予測モードを絞り込む手法が提案されている。【００１３】  図４を参照して具体例を示すと、対象ブロックの上の隣接ブロックがモードＭ１、左の隣接ブロックがモードＭ５の場合には、Ｍ１、Ｍ５に加えて、それらの間の角度となるＭ４、Ｍ６（図４右下参照）との４つの予測モードを候補として限定している。【００１４】  また、特許文献２では、対象ブロックの空間的な位置、あるいは時間軸上の位置に応じて、予測モード候補数を限定し、予測モードを評価する演算量を削減している。【００１５】  特許文献２によれば、画像内のあるブロックにおいて、予測モードの候補数を限定するブロックを外部入力により決定している。限定するモード数も外部入力として与えられ、ブロックごとに可変である。【００１６】  このようにして、各ブロックにおいて決定された予測モードの候補数に基づき、優先順位が付けられた符号化済み近隣ブロックの予測モードから候補の予測モードを決定している。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００６−１２８７７０号公報
【特許文献２】特開２００６−１４８４１９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】  上に述べてきたように、予測符号化のためのイントラ予測処理は計算量が非常に多く、その処理を削減する方法が提案されてきた。【００１９】  特に予測モード候補の数を絞り込むことで計算量を抑制しようと、上記特許文献１や特許文献２に記載されたような技術が研究されてきた。【００２０】  しかしながら、絞り込んだ予測モード候補による予測の精度という点から考慮すると、例えば特許文献１や２に記載の従来の方法では、以下のような問題がある。【００２１】  第１に、予測モード候補を限定するために参照する符号化済み近隣ブロックの予測モード自体も、上述したように限定して決定した予測モードである。そのため、本当に最適な予測モードに決定できたかどうかは分からない。【００２２】  第２に、符号化済みの近隣ブロックしか参考にできない。そのため、未処理領域に似たような予測モードの傾向を示す領域が存在し、符号化処理済み領域には存在しない場合には、符号化処理済み領域の予測モードを用いて予測モードを限定することが最適とは言えない。【００２３】  第３に、イントラ予測処理を行うブロックの度に符号化済み近隣ブロックの予測モードを参照するようなこれらの手法は、リアルタイムでの処理に不向きである。例えば、超広角系のように常に一定の特徴が含まれる場合には、イントラ予測処理ブロックごとに近隣ブロックを参照する処理は冗長になってしまう。【００２４】  すなわち、上記のような従来手法では、予測モード候補の限定方法が、符号化処理済み領域での処理内容に依存したり、処理する入力画像に固有の特徴に依存したりして、簡単迅速に最適な予測モード候補に絞り込めるものとは言えなかった。【００２５】  本発明は、上記の技術的課題に鑑みてなされたものである。【００２６】  本発明の目的は、入力画像の予測符号化処理に際して、符号化処理済み領域の予測モードや処理対象画像に固有の特徴等に依存せずに、簡単迅速に最適な予測モード候補に絞り込み、予測モード決定のための計算量を削減することができるイントラ予測処理方法、及びイントラ予測処理プログラムを提供することである。
【課題を解決するための手段】
【００２７】  上記の課題を解決するために、本発明は以下の特徴を有するものである。【００２８】  第１の態様に係るイントラ予測処理方法は、入力画像の複数画素で構成される符号化の処理対処ブロックを設定する処理ブロック設定工程と、前記処理対象ブロックを何れの方向の近接ブロックから、どの様に補間して予測画像を作るかを表す補間パターンである所定数の予測モードの候補を、前記処理対象ブロックの解像度情報に基づき、前記所定数より少ない複数の予測モード候補に絞り込む予測モード候補限定工程と、前記予測モード候補限定工程において限定された前記予測モード候補の中から、予測符号化のコストが最小となる予測モードを予想符号化に用いる予測モードとして決定し、予測符号化処理に用いる予測モード決定工程と、前記予測モード決定工程で決定された予測モードにて、前記処理対象ブロックの予測画像を作成した後に、前記予測画像を用いて前記処理対象ブロックを符号化する予測符号化工程と、を備えたことを特徴とするイントラ予測処理方法。【００２９】  第２の態様に係るイントラ予測処理方法は、前記予測モード候補限定工程においては、前記複数の所定の予測モード候補について、それぞれの予測モード候補の示す方向と対応する前記解像度情報の方向成分に基づき、当該予測モード候補の優先度を判定することにより、限定された予測モード候補に絞り込むことを特徴とする第１の態様に係るイントラ予測処理方法。【００３０】  第３の態様に係るイントラ予測処理方法は、前記予測モード候補限定工程においては、前記入力画像を撮像した撮像装置の光学特性を、前記解像度情報として用いることを特徴とする第１または第２の態様に係るイントラ予測処理方法。【００３１】  第４の態様に係るイントラ予測処理方法は、前記撮像装置の光学特性は、ＭＴＦであることを特徴とする第３の態様に係るイントラ予測処理方法。【００３２】  第５の態様に係るイントラ予測処理方法は、前記予測モード候補限定工程においては、前記入力画像の前処理における画像処理内容により決定される前記解像度情報を用いることを特徴とする第１または第２の態様に係るイントラ予測処理方法。【００３３】  第６の態様に係るイントラ予測処理方法は、前記入力画像の撮像システムに関して、処理対象ブロック位置と前記予測モード候補限定工程において限定された前記予測モード候補とを対応づけた予測モード候補テーブルを保持する予測モード候補保持工程を有し、前記予測モード決定工程においては、同じ撮像システムについて保持されている前記予測モード候補テーブルの情報に基づいて前記限定された予測モード候補を設定することを特徴とする第１から第３の何れか１項の態様に係るイントラ予測処理方法。【００３４】  第７の態様に係るイントラ予測処理プログラムは、コンピュータに、入力画像の複数画素で構成される符号化の処理対処ブロックを設定する処理ブロック設定工程と、前記処理対象ブロックを何れの方向の近接ブロックから、どの様に補間して予測画像を作るかを表す補間パターンである所定数の予測モードの候補を、前記処理対象ブロックの解像度情報に基づき、前記所定数より少ない複数の予測モード候補に絞り込む予測モード候補限定工程と、��記予測モード候補限定工程において限定された前記予測モード候補の中から、予測符号化のコストが最小となる予測モードを予想符号化に用いる予測モードとして決定し、予測符号化処理に用いる予測モード決定工程と、前記予測モード決定工程で決定された予測モードにて、前記処理対象ブロックの予測画像を作成した後に、前記予測画像を用いて前記処理対象ブロックを符号化する予測符号化工程と、を備えたことを特徴とするイントラ予測処理プログラム。【００３５】  第８の態様に係るイントラ予測処理プログラムは、前記予測モード候補限定工程においては、前記複数の所定の予測モード候補について、それぞれの予測モード候補の示す方向と対応する前記解像度情報の方向成分に基づき、当該予測モード候補の優先度を判定することにより、限定された予測モード候補に絞り込むことを特徴とする第７の態様に係るイントラ予測処理プログラム。【００３６】  第９の態様に係るイントラ予測処理プログラムは、前記予測モード候補限定工程においては、前記入力画像を撮像した撮像装置の光学特性を、前記解像度情報として用いることを特徴とする第７または第８の態様に係るイントラ予測処理プログラム。【００３７】  第１０の態様に係るイントラ予測処理プログラムは、前記撮像装置の光学特性は、ＭＴＦであることを特徴とする第９の態様に係るイントラ予測処理プログラム。【００３８】  第１１の態様に係るイントラ予測処理プログラムは、前記予測モード候補限定工程においては、前記入力画像の前処理における画像処理内容により決定される前記解像度情報を用いることを特徴とする第７または第８の態様に係るイントラ予測処理プログラム。【００３９】  第１２の態様に係るイントラ予測処理プログラムは、前記コンピュータに、前記入力画像の撮像システムに関して、処理対象ブロック位置と前記予測モード候補限定工程において限定された前記予測モード候補とを対応づけた予測モード候補テーブルを保持する予測モード候補保持工程を実行させ、前記予測モード決定工程においては、同じ撮像システムについて保持されている前記予測モード候補テーブルの情報に基づいて前記限定された予測モード候補を設定することを特徴とする第７から第１０の何れか１項の態様に係るイントラ予測処理プログラム。
【発明の効果】
【００４０】  本発明に係るイントラ予測処理方法、及びイントラ予測処理プログラムによれば、入力画像の予測符号化処理に際して、入力画像における処理対象ブロックの位置での解像度情報に基づき、複数の所定の予測モード候補から限定された予測モード候補に絞り込み、処理対象ブロックに対応する予測ブロックを、隣接ブロックから予測する。【００４１】  これにより、符号化処理済み領域の予測モードや処理対象画像に固有の特徴等に依存せずに、簡単迅速に最適な予測モード候補に絞り込み、予測モード決定のための計算量を削減することができる。
【図面の簡単な説明】
【００４２】
【図１】図１は、本実施形態に係るイントラ予測処理方法の処理手順例を示すフローチャートである。
【図２】図２は、イントラ予測処理を実行するエンコーダの機能構成例を示すブロック図である。
【図３】図３は、イントラ予測処理の説明のための対象画像例を示した説明図である。
【図４】図４は、輝度信号のイントラ４×４予測モードのパターン図である。
【図５】図５は、輝度信号のイントラ１６×１６予測モードのパターン図である。
【図６】図６は、色差信号のイントラ８×８予測モードのパターン図である。
【図７】図７は、イントラ予測処理における予測モード決定手順の一例を示すフローチャートである。
【図８】図８は、ＭＴＦと像高の関係の代表的な例を示すグラフである。
【図９】図９は、任意角α、周波数ｋのときのＳａｇｉｔｔａｌ方向、Ｔａｎｇｅｎｔｉａｌ方向の周波数を表す図である。
【図１０】図１０は、撮像に光学系（レンズ）を用いた形態での予測モード候補限定工程の概要を説明するための図である。
【図１１】図１１は、対象画像における処理対象ブロックの位置を示すための図である。
【図１２】図１２は、点（ｉ，ｊ）におけるイントラ４×４予測モードの方向性を表す図である。
【図１３】図１３は、ｄ0方向のＭＴＦの算出を説明するための図である。
【図１４】図１４は、ｄ1方向のＭＴＦの算出を説明するための図である。
【図１５】図１５は、ｄ5方向のＭＴＦの算出を説明するための図である。
【図１６】図１６は、画像処理によりディストーションを補正した例を示す図である。
【図１７】図１７は、画像処理を構成に取り入れたＨ．２６４エンコーダの例を示す図である。
【発明を実施するための形態】
【００４３】  （第１の実施形態）  本発明に係るイントラ予測処理方法、及びイントラ予測処理プログラムの一実施形態を、以下に図を用いて説明する。
【００４４】  （イントラ予測処理の手順例）  図１は、本実施形態に係るイントラ予測処理方法の概略処理手順例を示すフローチャートである。図１を用いて、本実施形態に係るイントラ予測処理方法の概略処理手順例を説明する。
【００４５】  なお、以下に述べるイントラ予測処理方法の処理手順は、それらを実行するようにプログラムされたイントラ予測処理プログラムをコンピュータ等の情報処理装置に適用することにより実行される。
【００４６】  図１において、ステップＳ１は、入力画像のイントラ予測による予測符号化処理実行の対象となるブロックとして、対象画像に複数画素からなる処理対象ブロックを設定する。
【００４７】  ステップＳ２は、入力画像における、設定した処理対象ブロックの位置での解像度情報（例えばＭＴＦ）の方向成分を算出する、あるいは取得する。ＭＴＦは、Ｍｏｄｕｌｅｒ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎであり、詳細は後述する。
【００４８】  ステップＳ３は、予測モード候補限定工程であり、複数の所定の予測モード候補から、ステップＳ２で求められた解像度情報（以降、ＭＴＦとする）の方向成分に応じて、処理対象ブロックの予測モード候補を限定する。
【００４９】  なお予測モードとは、処理対象のブロックを隣接ブロックから予測するためのパターンを示すものであり、パターンの方向性の異なる複数のモードが候補として設定されている。詳細は後述する。
【００５０】  予測モード候補の限定数は、１つであっても複数であってもよい。本実施形態では、複数の候補に限定されたとして説明する。
【００５１】  ステップＳ３の解像度情報に基づく予測モード候補限定工程の詳細については、具体例を後述して、説明する。
【００５２】  ステップＳ４からステップＳ６は、予測モード決定工程であり、ステップＳ３で限定された予測モード候補について、予測符号化のコストが最小となる予測モード候補を予測モードとして決定する。
【００５３】  またそのために、ステップＳ４からステップＳ６では、それぞれの予測モード候補での予測符号化のコスト評価を行っている。
【００５４】  ステップＳ４は、設定した処理対象ブロックに対して、ステップＳ３で限定された予測モード候補ごとに、当該予測モードに従い隣接ブロックを参照し、予測ブロックを算出する。
【００５５】  ステップＳ５は、限定された予測モード候補ごとに算出された予測ブロックを用いて、処理対象ブロックのコスト計算処理を行う。予測モード候補ごとの予測符号化のコスト評価を比較するためである。
【００５６】  ステップＳ６は、ステップＳ５の予測符号化のコスト評価結果により、設定した処理対象ブロックに対する予測モードを１つに決定する。すなわち、予測モード候補のうち、符号化コストが最小となる予測モード候補を予測モードとして決定する。
【００５７】  ステップＳ４からステップＳ６の予測モード決定工程の詳細については、具体例を後述して、説明する。
【００５８】  ステップＳ７は、予測符号化工程であり、設定した処理対象ブロックについて、ステップＳ６で決定された予測モードでの予測符号化処理を行う。
【００５９】  なお、決定された予測モードでの予測符号化は、ステップＳ５で、コスト評価の際に予測符号化処理まで実行しておき、その処理結果を参照するようにしてもよい。
【００６０】  ステップＳ８は、処理対象の画像に対して、すべての処理対象ブロックを設定し、上記手順によるイントラ予測処理を終えたかどうかを判定する。
【００６１】  ステップＳ８で判定がＹｅｓの場合は、対象画像に対するイントラ予測処理は終了する。
【００６２】  ステップＳ８で判定がＮｏの場合は、ステップＳ１へ戻り、次の処理対象ブロックを設定し、ステップＳ８までを繰り返す。
【００６３】  ステップＳ１からステップＳ８の反復は、ステップＳ８で判定がＹｅｓとなり、対象画像に対するイントラ予測処理が終了するまで継続する。
【００６４】  本実施形態に係るイントラ予測処理方法とそれを実行するためのイントラ予測処理プログラムでは、このようにして予測モード決定工程の前に、符号化処理済み領域の予測モードや処理対象画像に固有の特徴等に依存しない解像度情報に基づく予測モード候補限定工程を実行する。
【００６５】  これにより、予測モードを決定するための符号化コスト評価の計算量を削減し、簡単迅速に最適な予測モード候補に絞り込めるよう図っている。
【００６６】  以下にまず、イントラ予測処理の従来技術としての予測モード決定工程について詳細を述べ、その後で光学特性としてのＭＴＦとその方向成分の算出について述べ、その解像度と方向成分に基づいた予測モード候補限定工程の処理例を説明する。
【００６７】  （予測モード決定工程）  上述したステップＳ４からステップＳ６の予測モード決定工程について詳細を説明する。
【００６８】  予測モード決定工程では、イントラ予測処理において設定されている複数の予測モード候補から、予測符号化に用いる予測モードを決定する処理が行われる。この工程は、従来の公知技術（画像符号化方式の国際標準・Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ）を用いる例を説明する。
【００６９】  イントラ予測処理は、従来の画像符号化装置においても適用されている予測符号化方法であり、フレーム内で予測を行う予測符号化処理である。
【００７０】  入力画像において、複数画素からなる処理対象ブロックを設定し、対応する予測ブロックを隣接ブロックから予測するものであり、この予測に基づき予測符号化処理を行う。
【００７１】  例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ方式のエンコーダの構成を、既に図２に示した。図２のＨ．２６４エンコーダ１のイントラ予測処理部２において、隣接ブロックから予測パターンを決定するイントラ予測処理が実行される。
【００７２】  図３は、イントラ予測処理について説明するための対象画像例を示した説明図である。イントラ予測処理部２で行われるイントラ予測処理について、図３を用いて説明する。
【００７３】  動画像（入力画像）から１枚のフレーム（対象画像）３を抽出したとき、通常は画像内の被写体はある程度の領域で分布しており、隣り合う画素において画素値（輝度や色）が類似していることが多い。このことを利用して、近傍にある隣接ブロック５の画素から、符号化の処理対象ブロック４の画素値の推定を行うのがイントラ予測処理である。
【００７４】  Ｈ．２６４では、符号化の処理対象ブロック４に対して、符号化済み領域６に含まれる上、左、右上、左上のブロックが隣接ブロック５として定義されている。
【００７５】  次に、具体的なイントラ予測処理について述べる。
【００７６】  ＜予測モードについて＞  どの隣接ブロックからどのように予測するかについては、複数の予測モードがパターンとして設定されている。
【００７７】  Ｈ．２６４では、輝度信号を用いる・イントラ４×４（画素）予測モード・イントラ１６×１６（画素）予測モードと、色差信号を用いる・イントラ８×８（画素）予測モードと、が定義されている。
【００７８】  それぞれの予測モードには、平均値と画素の予測方向とを表すモードと呼ばれる番号が定義されている。
【００７９】  例えば、図４に輝度信号のイントラ４×４予測モードのパターン図を示す。イントラ４×４予測モードでは、図４に示すように、平均値を表すＭｏｄｅ２（以降はＭｏｄｅＸ＝ＭXと表記する）と、方向を表すＭ0、Ｍ1、Ｍ3、Ｍ4、・・・、Ｍ8との９種類の予測モードが定義されている。
【００８０】  さらに輝度信号においては、画素単位を１６×１６画素サイズにしたイントラ１６×１６予測モードが図５のように４種類の予測モードで定義されている。図５に輝度信号のイントラ１６×１６予測モードのパターン図を示す。
【００８１】  同様にして、色差信号においても８×８画素のイントラ８×８予測モードが図６のように定義されている。図６に色差信号のイントラ８×８予測モードのパターン図を示す。
【００８２】  これらの予測モード番号と、そのモードで実際に予測した結果からの差分値とを符号化することで、画像そのものを符号化するよりも遥かに高い圧縮率を実現している。
【００８３】  図４のアルファベット記号を用いてより具体的に示す。
【００８４】  例えばイントラ４×４予測モードのＭ0のとき、隣接画素Ａ〜Ｄが符号化済みであれば、符号化の処理対象ブロックａ〜ｐは、  ａ，ｅ，ｉ，ｍ＝Ａ      （１）  ｂ，ｆ，ｊ，ｎ＝Ｂ      （２）  ｃ，ｇ，ｋ，ｏ＝Ｃ      （３）  ｄ，ｈ，ｌ，ｐ＝Ｄ      （４）と予測され、イントラ４×４予測モードのＭ1の場合、隣接画素Ｉ〜Ｌが符号化済みであれば、  ａ，ｂ，ｃ，ｄ＝Ｉ      （５）  ｅ，ｆ，ｇ，ｈ＝Ｊ      （６）  ｉ，ｊ，ｋ，ｌ＝Ｋ      （７）  ｍ，ｎ，ｏ，ｐ＝Ｌ      （８）と予測される。イントラ４×４予測モードのＭ2の場合は、  ａ〜ｐ＝（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｉ＋Ｊ＋Ｋ＋Ｌ＋４）＞＞３      （Ａ〜Ｄ，Ｉ〜Ｌが符号化済みのとき）  ａ〜ｐ＝（Ｉ＋Ｊ＋Ｋ＋Ｌ＋２）＞＞２      （Ａ〜Ｄのどれかが参照不可で、Ｉ〜Ｌがすべて符号化済みのとき）  ａ〜ｐ＝（Ａ＋Ｂ＋Ｃ＋Ｄ＋２）＞＞２      （Ａ〜Ｄがすべて符号化済みで、Ｉ〜Ｌのどれかが参照不可のとき）  ａ〜ｐ＝１２８      （Ａ〜ＤとＩ〜Ｌとに参照不可が含まれるとき）                                                            （９）と予測される。同様にしてＭ3、Ｍ4、・・・、Ｍ8も図４で示されている方向に従って予測される。
【００８５】  ＜予測モードの決定と計算量＞  Ｈ．２６４のイントラ予測処理は画素単位での予測を行うため、きめ細かい予測が可能となり、高画質で高圧縮な符号化を実現している。しかしながら、その一方で予測に要する演算処理量は激増している。
【００８６】  例えば、１６×１６画素の輝度信号マクロブロックの予測モードを決定する処理の例を、図７を用いて説明する。図７は、イントラ予測処理における予測モード決定手順の一例を示すフローチャートである。
【００８７】  図７の重要なステップのみ以下に述べる。
【００８８】  ステップＳ１１：イントラ１６×１６予測モードで予測を行う。予測モードは４種類（図５参照）あるため、符号化コスト算出処理を４回繰り返し、コストが最小となるＭαiを決定する。
【００８９】  ステップＳ１２：マクロブロック内にエッジが含まれるかどうかを判定する。エッジが含まれていなければ、当該マクロブロックの予測モードはイントラ１６×１６予測モードのＭαiとして決定する。
【００９０】  ステップＳ１３：マクロブロック内にエッジが含まれている場合は、４×４画素単位のサブマクロブロック１６個に分割し、各々のマクロブロックで９種類（図４参照）のイントラ４×４予測モードを検討する。つまり符号化コスト算出処理を最大９×１６回繰り返す。
【００９１】  ステップＳ１４：あるサブマクロブロックにおけるイントラ４×４予測モードが決まる度に、当該マクロブロックにおける現時点での累積符号化コスト（ΣＣｏｓｔ（Ｍβbj））（Σはｂ＝０〜１５）と、ステップＳ１１で得られたＭαiの符号化コストとを比較する。
【００９２】  Ｍαiの符号化コストの方が小さければサブマクロブロックでの計算を中止し、Ｍαiを当該マクロブロックの予測モードとして決定する。サブマクロブロックの累積符号化コストの方が小さければ、当該マクロブロックで１６個の予測モードＭβbj（０≦ｂ≦１５）を決定する。
【００９３】  以上のように、各ブロックですべての予測方向（予測モード）に対して符号化コストを評価する必要がある。符号化コストを評価するためには、その予測モードで符号化した場合にどれだけの符号量になるのかを判断するため、イントラ予測処理の次のステップまで処理を進める必要があり、その演算量は膨大になる。
【００９４】  そこで、この演算処理量を削減するために、従来から様々な手法が提案されている（例えば、特許文献２、３参照）。
【００９５】  これらは、既に述べたように、予測モード候補を限定して絞り込むことで、演算量を削減しようとするものであるが、予測モード候補の限定方法が、符号化処理済み領域での処理内容に依存したり、処理する入力画像に固有の特徴に依存したりして、簡単迅速に最適な予測モード候補に絞り込めるものとは言えない。
【００９６】  本実施形態は、予測モード決定工程に先立ち、予測モード候補限定工程を設け、その中で、入力画像における処理対象ブロックの位置での解像度情報に基づき、複数の所定の予測モード候補から限定された予測モード候補に絞り込む処理を行っている。
【００９７】  これにより、撮像時の光学特性（ＭＴＦ）等、入力画像に依存しない、すなわち符号化処理済み領域の予測モードや処理対象画像に固有の特徴等に依存しない解像度情報に基づくことで、簡単迅速に最適な予測モード候補に絞り込み、予測モードを決定するための符号化コスト評価の計算量を削減している。
【００９８】  また入力画像に依存しない解像度情報に基づくため、限定された予測モード候補をテーブルにして保持しておけば、絞り込みのための評価も、その都度演算する必要がなくなり、リアルタイムでの予測符号化処理も可能となる。
【００９９】  以下に、まず光学特性による解像度（方向成分）の低下について述べる。ＭＴＦを例に採っているが、光学特性（解像度情報）としては、ＯＴＦ、ＰＳＦなど、他の特性を用いてもよい。
【０１００】  ＜ＭＴＦ＞  カメラなどの撮像装置における光学系の性能を表す指標の１つにＭＴＦ（Ｍｏｄｕｌｅｒ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）がある。
【０１０１】  ＭＴＦは、被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数特性として表現したものである。空間周波数は、１［ｍｍ］当たりに含まれるパターン（正弦波など）数を示す。
【０１０２】  ＭＴＦは一般的に、周波数を固定（６０本／ｍｍ、１００本／ｍｍなど）して、横軸に画像中心からの距離（像高）をとったグラフにおいて、画像中心から放射状の方向（Ｓａｇｉｔｔａｌ）と同心円方向（Ｔａｎｇｅｎｔｉａｌ）の２方向についてプロットしたものとして表現される。
【０１０３】  図８は、ＭＴＦと像高の関係の代表的な例を示すグラフである。
【０１０４】  一般に、ＭＴＦは像高が高くなるに従って低下する傾向があり、また、放射状の方向（Ｓａｇｉｔｔａｌ）と同心円方向（Ｔａｎｇｅｎｔｉａｌ）で異なる値をとることがある。その差異は、広角な光学系においては、顕著に現れる。
【０１０５】  また、ＭＴＦを計測する方法として、特許文献（特開２００１−３２４４１３号公報）のような方法が開示されている。
【０１０６】  ＜画像処理＞  一方、撮像された画像をイントラ予測処理の前に画像処理する場合がある。そのような場合には、画像処理の結果としての解像度情報を用いてもよい。
【０１０７】  例えば、特許文献（特開２００９−２８４４２１号公報）では、広角な車載カメラで撮影した画像を歪み補正及び視点変換した画像を表示している。
【０１０８】  このような画像では、元の撮像系で撮影された画像に対して画像処理による拡大・縮小処理が行われており、特に拡大処理が行われている部分では解像度が低下している。
【０１０９】  生成される画像解像度は、同じ画像処理を適用している間は、画面のそれぞれの領域で一定である。
【０１１０】  （ＭＴＦの方向成分の算出）  ここでは、画像の解像度特性として撮像系のＭＴＦを用いる場合を説明する。ＭＴＦの方向成分に応じて予測モード候補を取捨選択するために、まず光学系の設計データから水平・垂直方向のＭＴＦ成分を算出する方法について述べる。
【０１１１】  ＜光学系の設計データからの算出＞  画像上の各座標における垂直及び水平方向のＭＴＦは、光学系の設計データを用いてシミュレーションによって求めることができる。
【０１１２】  画像上の任意の点におけるスポットダイヤグラム（点光源から瞳面上のＮ個の格子点を通る光線が画像上に作る点群。光線追跡によって求められる）のＮ個の点の座標をｘk、ｙkとする。Ｓａｇｉｔｔａｌ方向と画像の水平面のなす角をαとし、その方向の周波数をｗ本／ｍｍとすると、Ｓａｇｉｔｔａｌ方向の周波数ｓとＴａｎｇｅｎｔｉａｌ方向の周波数ｔは、図９からそれぞれ式（１０）及び式（１１）のようになる。
【０１１３】  ｓ＝ｗｃｏｓα                                            （１０）  ｔ＝ｗｓｉｎα                                            （１１）  ＭＴＦの水平及び垂直方向の値、ＭＴＦh（ｉ，ｊ）及びＭＴＦv（ｉ，ｊ）は、それぞれ式（１２）及び式（１３）のように表すことができ、スポットダイヤグラムから計算できる。
【０１１４】
【数１】
2011129163.tif 000003
【０１１５】  ＜像高に対するＭＴＦ値からの算出＞  ＭＴＦの水平及び垂直方向成分の値が算出されれば、説明は略すが、任意の方向の成分を求めることができる。
【０１１６】  ＜像高に対するＭＴＦ値からの算出＞  図８のようなＳａｇｉｔｔａｌ方向及びＴａｎｇｅｎｔｉａｌ方向のＭＴＦ値のみが得られるときの、ＭＴＦの任意の方向の成分を求める求め方については後で述べる。
【０１１７】  （予測モード候補限定工程）  既述した図１のイントラ予測処理手順における、ステップＳ３の予測モード候補限定工程について詳細を説明する。
【０１１８】  ＜解像度情報の方向成分による予測モード候補の限定＞  予測モード候補限定工程では、複数の所定の予測モード候補から、ステップＳ２で求められた解像度情報（ＭＴＦ）の方向成分に応じて、処理対象ブロックの予測モード候補を限定する。
【０１１９】  本実施形態におけるこの工程は、解像度情報を利用して予測モード候補を絞り込み、ステップＳ４からステップＳ６の工程でのイントラ予測処理の演算処理量を削減するためのものである。入力画像の解像度情報を利用するため、事前に画像解析を行ったり、入力画像を想定したパターンを生成したりする必要はない。
【０１２０】  本実施形態における予測モード候補限定工程の概要を、撮像に光学系（レンズ）を用いた形態を例にとって、図１０を用いて説明する。
【０１２１】  撮像対象の物体を光学系としてレンズを介して結像させると、レンズの中心位置からの距離によってその解像力が異なる。また、その解像力の分布は、レンズによって異なるパラメータである。
【０１２２】  この解像力情報を利用して、画質の劣化を招かないように演算処理量の削減を行う。
【０１２３】  図１０に示すように、レンズの解像力が高ければ（図１０上）一画素ずつ処理を行い、高画質、高圧縮を狙った予測を行う。
【０１２４】  一方で、レンズの解像力がそもそも低いのであれば（図１０下）、演算コストが高い一画素単位の処理を行う必要はない。方向を表す予測モードは考慮せずに、演算コストが低い予測モード候補、例えばＭ2（図４参照）と限定すれば、予測モードの評価処理を大幅に削減することができる。
【０１２５】  ところで、このようなレンズの解像力は、レンズの中心からの距離（像高）、またその位置での方向によっても異なる情報である。このため、各レンズによって、画像中の位置と、予測モードの方向とを加味して解像力を判断し、予測モード候補をその方向性と照らして取捨選択することにより、最適な演算処理量削減を行う。
【０１２６】  例えば、設定した処理対象ブロックの位置において、複数の所定の予測モード候補について、それぞれの予測モード候補の方向性と対応する解像度情報の方向成分に基づき、当該予測モード候補を取捨選択することにより、限定された予測モード候補に絞り込む。
【０１２７】  解像度の方向成分に応じて予測モード候補を限定する具体的な処理について、以下に説明する。
【０１２８】  ＜像高に対するＭＴＦ値からの方向成分算出＞  図１１は、対象画像３における処理対象ブロック４の位置を示すための図である。
【０１２９】  図１１に示す画素ｆ（ｉ，ｊ）を左上にした４×４画素の処理対象ブロック４のイントラ予測処理を行うとする。
【０１３０】  このとき、画像の中心を（ＣX，ＣY）とすれば、画像中心と対象画素とがなす角度θ、画像中心と対象画素との距離（像高）ｌは、それぞれ以下で表される。
【０１３１】  θ＝ａｒｃｔａｎ（｜ｊ−ＣY｜／｜ｉ−ＣX｜）            （１４）  ｌ＝｜（ｉ，ｊ）−（ＣX，ＣY）｜                        （１５）  さらに、画素ｆ（ｉ，ｊ）を左上にしたブロックを処理対象ブロック４とすると、点（ｉ，ｊ）におけるイントラ４×４予測モードの方向性を図１２のように表す。
【０１３２】  ここで方向ｄXは、ＭXを表す方向であるとする。また、図に示しているｓ、ｔはＳ（Ｓａｇｉｔｔａｌ）方向、Ｔ（Ｔａｎｇｅｎｔｉａｌ）方向を表しており、点（ｉ，ｊ）におけるＭＴＦを、像高ｌの関数としてＳ方向、Ｔ方向でそれぞれＳ（ｌ）、Ｔ（ｌ）として定義する。
【０１３３】  これらを用いて、点（ｉ，ｊ）におけるｄX（Ｘ＝｛０，１，３，４，・・・，８｝）方向のＭＴＦを以下のように定義する。
【０１３４】  ＭＴＦ（ｄX）＝｜Ｓ（ｌ）ｃｏｓδ｜＋｜Ｔ（ｌ）ｓｉｎδ｜  （１６）  ここで、δは以下の通りである。
【０１３５】  δ＝｜θ−（１／２）π｜              （ｄ0のとき）        （１７）  δ＝  θ                              （ｄ1のとき）        （１８）  δ＝｜θ−（３／４）π｜              （ｄ3のとき）        （１９）  δ＝｜θ−（１／４）π｜              （ｄ4のとき）        （２０）  δ＝｜θ−（３／８）π｜              （ｄ5のとき）        （２１）  δ＝｜θ−（１／８）π｜              （ｄ6のとき）        （２２）  δ＝｜θ−（５／８）π｜              （ｄ7のとき）        （２３）  δ＝｜θ＋（１／８）π｜              （ｄ8のとき）        （２４）  例えば、ｄ0方向のＭＴＦは、図１３のように捉えることができる。また同様に、ｄ1、ｄ5方向についても図１４、１５のように表すことができる。
【０１３６】  ＜予測モード候補の限定＞  上記のようにして求めた解像度（ＭＴＦ）のｄX方向成分に応じて、対応する方向性を有する予測モード候補を選別する処理例を説明する。
【０１３７】  例えば、求めたｄX（Ｘ＝｛０，１，３，４，・・・，８｝）方向のＭＴＦを、所定の閾値Ｈと比較して、  ＭＴＦ（ｄX）＜Ｈ                                        （２５）となるとき、ｄX方向に対応する（例えば垂直な）方向性を有する予測モードＭYは、予測モードの候補から削除するものとする。
【０１３８】  例えば、ｄ0方向のＭＴＦが閾値Ｈを下回るときは、予測モードＭ1は予測モードの候補から削除する。ｄ3方向のＭＴＦが閾値Ｈを下回るときは、予測モードＭ4は、予測モードの候補から削除する。
【０１３９】  ここで閾値Ｈは、撮像素子の画素ピッチ、及びＭＴＦデータの周波数により決定する。
【０１４０】  本実施形態の予測モード候補限定方法によれば、レンズの点像再現性に基づいて予測モードの候補を減らすことができるため、画質の劣化を招くことなく、演算処理量を削減することができる。
【０１４１】  もし、ＭＴＦ（ｄX）（Ｘ＝｛０，１，３，４，・・・，８｝）のすべてが閾値Ｈ以下であれば、当該ブロックの予測モードをＭ2に決定することができ、演算処理量を大幅に削減することができる。
【０１４２】  上述の予測モード候補限定の処理では、イントラ４×４予測モードに関してのみ述べたが、イントラ１６×１６予測モードなど他のイントラ予測モードにも適用できる。
【０１４３】  例えば、１６×１６画素のマクロブロックにおいて、平均値予測のＭ2に決定することができれば、図７で例示して説明したように４×４画素単位で処理をする必要はなく、演算処理量を抑えることができる。
【０１４４】  ＜予測モード候補の優先度＞  また、予測モードの候補数を決定するだけでなく、上述のＭＴＦ（ｄX）を降順に並べれば、優先順位として決定することができる。すなわち、解像力の低い方向に対応する方向性を有するモードから優先的に候補から削除する処理を行うこともできる。
【０１４５】  処理系によっては、予測モードの処理数に限界があり、すべての予測モード候補を計算できない可能性もあり、そのような場合には、適正な処理数になるまで、対応する解像力の方向成分に応じた優先度判定に従って、予測モード候補を候補から外していくようにしてもよい。
【０１４６】  （第２の実施形態）  上述の実施形態は、光学特性として撮像系のＭＴＦを用いて説明した。
【０１４７】  イントラ予測処理の前に画像処理が行われるような場合には、その画像処理に起因する画像のひずみ等、画像内の位置に依存する解像度の方向性を使用してもよい。
【０１４８】  例として以下に、本発明の第２の実施形態について述べる。
【０１４９】  広角系のレンズや歪曲収差を生じるレンズなどで撮影された画像を、画像処理を用いて補正する従来技術がある。例えば、図１６に示すように、歪曲している画像を補正する技術である。図１６では、画像処理前の（ａ）歪曲画像と、画像処理後の（ｂ）補正後画像を、格子状の画像として表している。
【０１５０】  このような画像処理は何らかの補間が行われるため、図中の格子形状からも分かるように、方向によって解像度の違いが生じる。
【０１５１】  この解像度情報は上述したＭＴＦと同じように扱うことができるため、同様に予測モード候補の選択に用いて優先順位付けを行うことができる。
【０１５２】  なお、第２の実施形態はＭＴＦのように静的なデータとは異なり、動的に変動する場合もある。例えば、車載カメラの視点変換の用途などでは、時間の経過に伴い画像処理が行われる。
【０１５３】  この画像処理を構成に取り入れたエンコーダの例を図１７に示す。
【０１５４】  図１７に示したエンコード処理では、撮像装置から取得した入力信号に対して、最初に画像処理８が行われる。画像処理８は、視点変換のための処理であったり、ズーム処理、パン処理、色補正処理などであったり、様々な処理がある。
【０１５５】  このときに生じたパラメータ情報を、第２の実施形態におけるイントラ予測処理部９に入力すれば、同様に解像度（方向成分）を算出し、画像処理８で処理した画像の特性に合わせてイントラ予測処理を行うことができる。
【０１５６】  以上のように、複数の予測モード候補に対して優先順位を付けることができる本発明は、静的にも動的にも適用することができる。
【０１５７】  なお本発明は、Ｈ．２６４のイントラ予測処理だけに限らず、処理対象ブロックを隣接ブロックから予測するイントラ予測処理一般に適用することができる。加重平均を用いた予測や何らかの変換を伴うような予測処理でも適用できる。
【０１５８】  ＜予測モード候補限定の結果保持及び活用＞  入力画像における解像度情報の処理対象ブロックの位置での方向成分に基づき、複数の所定の予測モード候補から限定された予測モード候補に絞り込んだ結果は、保存しておくことで、上記、イントラ予測処理の計算量削減に有効に活用することもできる。
【０１５９】  例えば、図１のイントラ予測処理の手順において、ステップＳ３の予測モード候補限定工程の終わった後、ステップＳ４からステップＳ６の予測モード決定工程の間、あるいはその前後において、予測モード候補保持工程を設けてもよい。
【０１６０】  予測モード候補保持工程では、入力画像の撮像システムに関しての予測モード候補限定工程の結果、すなわち、処理対象ブロック位置と限定された予測モード候補とを対応づけた予測モード候補テーブルを保持する。
【０１６１】  これにより、同じ撮像システムの入力画像に対しては、上記のように保持されている予測モード候補テーブルの情報に基づいて予測モード候補を設定する工程を設けることで、図１のステップＳ２及びステップＳ３の工程を省略することができる。
【０１６２】  このように、予測モード候補限定のために用いる解像度情報が入力画像に依存しないことで、一度求めた予測モード候補限定の結果が同じシステムの場合はそのまま適用できるのである。
【０１６３】  上述してきたように、本実施形態に係るイントラ予測処理方法、及びイントラ予測処理プログラムによれば、入力画像の予測符号化処理に際して、入力画像における処理対象ブロックの位置での解像度情報に基づき、複数の所定の予測モード候補から限定された予測モード候補に絞り込み、処理対象ブロックに対応する予測ブロックを、隣接ブロックから予測する。
【０１６４】  これにより、符号化処理済み領域の予測モードや処理対象画像に固有の特徴等に依存せずに、簡単迅速に最適な予測モード候補に絞り込み、予測モード決定のための計算量を削減することができる。
【０１６５】  なお、上述の実施形態は、すべての点で例示であって制限的なものではない。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１６６】  １  Ｈ．２６４エンコーダ  ２  イントラ予測処理部  ３  フレーム（イントラ予測処理の対象画像）  ４  処理対象ブロック  ５  隣接ブロック  ６  符号化済み領域  ７  未処理領域  ８  画像処理部  ９  イントラ予測処理部（第２の実施形態）
【図１】
2011129163.tif 000004
【図２】
2011129163.tif 000005
【図７】
2011129163.tif 000006
【図８】
2011129163.tif 000007
【図９】
2011129163.tif 000008
【図１１】
2011129163.tif 000009
【図１２】
2011129163.tif 000010
【図１３】
2011129163.tif 000011
【図１４】
2011129163.tif 000012
【図１５】
2011129163.tif 000013
【図１６】
2011129163.tif 000014
【図１７】
2011129163.tif 000015
【図３】
2011129163.tif 000016
【図４】
2011129163.tif 000017
【図５】
2011129163.tif 000018
【図６】
2011129163.tif 000019
【図１０】
2011129163.tif 000020
【手続補正書】
【提出日】平成24年9月24日(2012.9.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像の複数画素で構成される符号化の処理対象ブロックを設定する処理ブロック設定工程と、
前記処理対象ブロックを何れの方向の近接ブロックから、どの様に補間して予測画像を作るかを表す補間パターンである所定数の予測モードの候補を、前記処理対象ブロックの解像度情報に基づき、前記所定数より少ない複数の予測モード候補に絞り込む予測モード候補限定工程と、
前記予測モード候補限定工程において限定された前記予測モード候補の中から、予測符号化のコストが最小となる予測モードを予測符号化に用いる予測モードとして決定し、予測符号化処理に用いる予測モード決定工程と、
前記予測モード決定工程で決定された予測モードにて、前記処理対象ブロックの予測画像を作成した後に、前記予測画像を用いて前記処理対象ブロックを符号化する予測符号化工程と、
を備え、
前記予測モード候補限定工程においては、
前記複数の所定の予測モード候補について、それぞれの予測モード候補の示す方向と対応する前記解像度情報の方向成分に基づき、当該予測モード候補の優先度を判定することにより、限定された予測モード候補に絞り込むことを特徴とするイントラ予測処理方法。
【請求項２】
前記予測モード候補限定工程においては、
前記入力画像を撮像した撮像装置の光学特性を、前記解像度情報として用いることを特徴とする請求項１に記載のイントラ予測処理方法。
【請求項３】
前記撮像装置の光学特性は、ＭＴＦであることを特徴とする請求項２に記載のイントラ予測処理方法。
【請求項４】
前記予測モード候補限定工程においては、
前記入力画像の前処理における画像処理内容により決定される前記解像度情報を用いることを特徴とする請求項１に記載のイントラ予測処理方法。
【請求項５】
前記入力画像の撮像システムに関して、処理対象ブロック位置と前記予測モード候補限定工程において限定された前記予測モード候補とを対応づけた予測モード候補テーブルを保持する予測モード候補保持工程を有し、
前記予測モード決定工程においては、
同じ撮像システムについて保持されている前記予測モード候補テーブルの情報に基づいて前記限定された予測モード候補を設定することを特徴とする請求項１に記載のイントラ予測処理方法。
【請求項６】
コンピュータに、
入力画像の複数画素で構成される符号化の処理対象ブロックを設定する処理ブロック設定工程と、
前記処理対象ブロックを何れの方向の近接ブロックから、どの様に補間して予測画像を作るかを表す補間パターンである所定数の予測モードの候補を、前記処理対象ブロックの解像度情報に基づき、前記所定数より少ない複数の予測モード候補に絞り込む予測モード候補限定工程と、
前記予測モード候補限定工程において限定された前記予測モード候補の中から、予測符号化のコストが最小となる予測モードを予測符号化に用いる予測モードとして決定し、予測符号化処理に用いる予測モード決定工程と、
前記予測モード決定工程で決定された予測モードにて、前記処理対象ブロックの予測画像を作成した後に、前記予測画像を用いて前記処理対象ブロックを符号化する予測符号化工程と、
を備え、
前記予測モード候補限定工程においては、
前記複数の所定の予測モード候補について、それぞれの予測モード候補の示す方向と対応する前記解像度情報の方向成分に基づき、当該予測モード候補の優先度を判定することにより、限定された予測モード候補に絞り込むことを特徴とするイントラ予測処理プログラム。
【請求項７】
前記予測モード候補限定工程においては、
前記入力画像を撮像した撮像装置の光学特性を、前記解像度情報として用いることを特徴とする請求項６に記載のイントラ予測処理プログラム。
【請求項８】
前記撮像装置の光学特性は、ＭＴＦであることを特徴とする請求項７に記載のイントラ予測処理プログラム。
【請求項９】
前記予測モード候補限定工程においては、
前記入力画像の前処理における画像処理内容により決定される前記解像度情報を用いることを特徴とする請求項６に記載のイントラ予測処理プログラム。
【請求項１０】
前記コンピュータに、
前記入力画像の撮像システムに関して、処理対象ブロック位置と前記予測モード候補限定工程において限定された前記予測モード候補とを対応づけた予測モード候補テーブルを保持する予測モード候補保持工程を実行させ、
前記予測モード決定工程においては、
同じ撮像システムについて保持されている前記予測モード候補テーブルの情報に基づいて前記限定された予測モード候補を設定することを特徴とする請求項６に記載のイントラ予測処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
第１の態様に係るイントラ予測処理方法は、入力画像の複数画素で構成される符号化の処理対象ブロックを設定する処理ブロック設定工程と、前記処理対象ブロックを何れの方向の近接ブロックから、どの様に補間して予測画像を作るかを表す補間パターンである所定数の予測モードの候補を、前記処理対象ブロックの解像度情報に基づき、前記所定数より少ない複数の予測モード候補に絞り込む予測モード候補限定工程と、前記予測モード候補限定工程において限定された前記予測モード候補の中から、予測符号化のコストが最小となる予測モードを予測符号化に用いる予測モードとして決定し、予測符号化処理に用いる予測モード決定工程と、前記予測モード決定工程で決定された予測モードにて、前記処理対象ブロックの予測画像を作成した後に、前記予測画像を用いて前記処理対象ブロックを符号化する予測符号化工程と、を備え、前記予測モード候補限定工程においては、前記複数の所定の予測モード候補について、それぞれの予測モード候補の示す方向と対応する前記解像度情報の方向成分に基づき、当該予測モード候補の優先度を判定することにより、限定された予測モード候補に絞り込むことを特徴とするイントラ予測処理方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
第２の態様に係るイントラ予測処理方法は、前記予測モード候補限定工程においては、前記入力画像を撮像した撮像装置の光学特性を、前記解像度情報として用いることを特徴とする第１の態様に係るイントラ予測処理方法。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
第３の態様に係るイントラ予測処理方法は、前記撮像装置の光学特性は、ＭＴＦであることを特徴とする第２の態様に係るイントラ予測処理方法。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
第４の態様に係るイントラ予測処理方法は、前記予測モード候補限定工程においては、前記入力画像の前処理における画像処理内容により決定される前記解像度情報を用いることを特徴とする第１の態様に係るイントラ予測処理方法。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
第５の態様に係るイントラ予測処理方法は、前記入力画像の撮像システムに関して、処理対象ブロック位置と前記予測モード候補限定工程において限定された前記予測モード候補とを対応づけた予測モード候補テーブルを保持する予測モード候補保持工程を有し、前記予測モード決定工程においては、同じ撮像システムについて保持されている前記予測モード候補テーブルの情報に基づいて前記限定された予測モード候補を設定することを特徴とする第１の態様に係るイントラ予測処理方法。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
第６の態様に係るイントラ予測処理プログラムは、コンピュータに、入力画像の複数画素で構成される符号化の処理対象ブロックを設定する処理ブロック設定工程と、前記処理対象ブロックを何れの方向の近接ブロックから、どの様に補間して予測画像を作るかを表す補間パターンである所定数の予測モードの候補を、前記処理対象ブロックの解像度情報に基づき、前記所定数より少ない複数の予測モード候補に絞り込む予測モード候補限定工程と、前記予測モード候補限定工程において限定された前記予測モード候補の中から、予測符号化のコストが最小となる予測モードを予測符号化に用いる予測モードとして決定し、予測符号化処理に用いる予測モード決定工程と、前記予測モード決定工程で決定された予測モードにて、前記処理対象ブロックの予測画像を作成した後に、前記予測画像を用いて前記処理対象ブロックを符号化する予測符号化工程と、を備え、前記予測モード候補限定工程においては、前記複数の所定の予測モード候補について、それぞれの予測モード候補の示す方向と対応する前記解像度情報の方向成分に基づき、当該予測モード候補の優先度を判定することにより、限定された予測モード候補に絞り込むことを特徴とするイントラ予測処理プログラム。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
第７の態様に係るイントラ予測処理プログラムは、前記予測モード候補限定工程においては、前記入力画像を撮像した撮像装置の光学特性を、前記解像度情報として用いることを特徴とする第６の態様に係るイントラ予測処理プログラム。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
第８の態様に係るイントラ予測処理プログラムは、前記撮像装置の光学特性は、ＭＴＦであることを特徴とする第７の態様に係るイントラ予測処理プログラム。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
第９の態様に係るイントラ予測処理プログラムは、前記予測モード候補限定工程においては、前記入力画像の前処理における画像処理内容により決定される前記解像度情報を用いることを特徴とする第６の態様に係るイントラ予測処理プログラム。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
第１０の態様に係るイントラ予測処理プログラムは、前記コンピュータに、前記入力画像の撮像システムに関して、処理対象ブロック位置と前記予測モード候補限定工程において限定された前記予測モード候補とを対応づけた予測モード候補テーブルを保持する予測モード候補保持工程を実行させ、前記予測モード決定工程においては、同じ撮像システムについて保持されている前記予測モード候補テーブルの情報に基づいて前記限定された予測モード候補を設定することを特徴とする第６の態様に係るイントラ予測処理プログラム。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
そこで、この演算処理量を削減するために、従来から様々な手法が提案されている（例えば、特許文献１、２参照）。
【国際調査報告】
2011129163.tif 000021
2011129163.tif 000022