(57)【要約】【課題】符号化最適化処理のイントラ予測における演算量を削減することができる画像符号化方法を提供する。【解決手段】イントラ予測方向に対して近傍画素の予測画素と原画像の画素から参照画素を生成する参照画素生成ステップと、参照画素から疑似イントラ予測画素を生成する疑似イントラ予測画素生成ステップと、疑似イントラ予測画素と原画像の画素の誤差と疑似イントラ予測画素を生成する際の発生符号量からイントラ予測方向に対する符号化コストを算出する符号化コスト算出ステップと、符号化コストのうち最小となる符号化コストに対応するイントラ予測方向をイントラ予測方向として設定するイントラ予測方向設定ステップとを有する。【選択図】図１
2015026963.tif 000002
【特許請求の範囲】
【請求項１】
イントラ予測方向に対して近傍画素の予測画素と原画像の画素から参照画素を生成する参照画素生成ステップと、
前記参照画素から疑似イントラ予測画素を生成する疑似イントラ予測画素生成ステップと、
前記疑似イントラ予測画素と前記原画像の画素の誤差と前記疑似イントラ予測画素を生成する際の発生符号量から前記イントラ予測方向に対する符号化コストを算出する符号化コスト算出ステップと、
前記符号化コストのうち最小となる符号化コストに対応するイントラ予測方向をイントラ予測方向として設定するイントラ予測方向設定ステップと
を有することを特徴とする画像符号化方法。
【請求項２】
イントラ予測方向に対する近傍画素の予測画素の予測モードがスキップモードであるか否か判定するスキップモード判定ステップと、
前記スキップモード判定ステップの判定結果がスキップモードである場合には、前記近傍画素の予測画素を参照画素とし、前記参照画素からイントラ予測画素を生成し、スキップモード以外のモードである場合には、前記近傍画素の予測画素と原画像の画素から参照画素を生成し、当該参照画素とイントラ予測方向から疑似イントラ予測画素を生成するイントラ予測画素・疑似イントラ予測画素生成ステップと、
前記イントラ予測画素・疑似イントラ予測画素と前記原画像の画素の誤差と前記疑似イントラ予測画素を生成する際の発生符号量から前記イントラ予測方向に対する符号化コストを算出する符号化コスト算出ステップと、
前記符号化コストのうち最小となる符号化コストに対応するイントラ予測方向をイントラ予測方向として設定するイントラ予測方向設定ステップと
を有することを特徴とする画像符号化方法。
【請求項３】
イントラ予測方向に対する近傍画素の予測画素の量子化ステップサイズから疑似イントラ予測画像を生成する際に用いる重みづけ係数を生成する重みづけ係数生成ステップと、
前記近傍画素の予測画素と原画像の画素から前記重みづけ係数を用いて疑似イントラ予測画素を生成する疑似イントラ予測画素生成ステップと、
前記疑似イントラ予測画素と前記原画像の画素の誤差と前記疑似イントラ予測画素を生成する際の発生符号量から前記イントラ予測方向に対する符号化コストを算出する符号化コスト算出ステップと、
前記符号化コストのうち最小となる符号化コストに対応するイントラ予測方向をイントラ予測方向として設定するイントラ予測方向設定ステップと
を有することを特徴とする画像符号化方法。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像符号化方法によりブロック単位で設定したイントラ予測方向に対する符号化コストと他のモードに対する符号化コストを比較し、前記最適なイントラ予測方向に対する符号化コストの方が小さい場合には、当該ブロックについて近傍の復号画像を用いてイントラ予測をやり直すことを特徴とする画像符号化方法。
【請求項５】
イントラ予測方向に対して近傍画素の予測画素と原画像の画素から参照画素を生成する参照画素生成手段と、
前記参照画素から疑似イントラ予測画素を生成する疑似イントラ予測画素生成手段と、
前記疑似イントラ予測画素と前記原画像の画素の誤差と前記疑似イントラ予測画素を生成する際の発生符号量から前記イントラ予測方向に対する符号化コストを算出する符号化コスト算出手段と、
前記符号化コストのうち最小となる符号化コストに対応するイントラ予測方向をイントラ予測方向として設定するイントラ予測方向設定手段と
を備えることを特徴とする画像符号化装置。
【請求項６】
請求項１から請求項４のいずれか１項に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化方法、画像符号化装置及び画像符号化プログラムに関する。
【背景技術】
【０００２】
従来技術である規格Ｈ．２６４の次の映像符号化標準方式として策定されたＨＥＶＣは、規格Ｈ．２６４を上回る符号化効率を実現する符号化方式であるが、処理が複雑化し演算量が莫大であるため、実際に製品に利用するためにはその符号化演算コストを大幅に削減しなければならない、という問題を抱えている。特に、符号化を行う単位であるブロックサイズの選択肢が増加したため、最適なブロックサイズやモードの決定を行う符号化最適化に伴う処理が増大しており、この演算量を削減することが必要となっている。
【０００３】
映像符号化の際には、一般に画素をブロック単位で符号化しているが、ＨＥＶＣではその符号化を行うブロックとしてＬＣＵ及びＣＵ、また予測の単位にＰＵという概念を導入している。以下、ＬＣＵ、ＣＵ及びＰＵについて説明する。ＨＥＶＣでは、１枚のピクチャは、図１０に示すように一定サイズの正方形に均等に分割される。図１０は、ピクチャ（画像）の分割例を示す図である。図１０に示す正方形ブロックをＬＣＵと呼ぶ。ＬＣＵのサイズは、１６×１６画素、３２×３２画素、６４×６４画素から選択可能であるが、１枚のピクチャ内では全て同一である。
【０００４】
実際の符号化を行う単位であるＣＵは、ある一つのＬＣＵ内に存在する正方形ブロックであり、これを単位として予測モードが決定される。ＬＣＵと同一、あるいは図１０に示すようにＬＣＵを４つの正方形に分割（以下、これを田の字分割と呼ぶ）したもの、または上記田の字分割を繰り返したものである。ＣＵのサイズは、ＬＣＵのサイズが（２のＮ乗）×（２のＮ乗）であるとき、（２のＭ乗）×（２のＭ乗）（３≦Ｍ≦Ｎ、但しＮ、Ｍは整数）から選択可能である。
【０００５】
また、ＰＵは、ＣＵ内の予測方向を設定するための単位である。図１１は、ＰＵ分割の選択肢の例を示す図である。図１１に示すように、インター予測では８通り、イントラ予測ではＣＵサイズが８×８のときのみ２通りの分割方法から選択可能である。それ以外の場合は、ＰＵはＣＵと同一である。符号化効率向上のためには、各ＬＣＵに対し適切なＣＵ分割及び各ＣＵの予測モード設定が必要となる。特にＬＣＵのサイズが大きくなるほど、ＣＵの選択の自由度が増加し、適切なＣＵ分割を行うことで符号化効率の向上が期待される一方、選択肢となりうる全てのＣＵについて演算を行う必要があるため、その演算量が増加するという問題がある。
【０００６】
実際の１ＬＣＵにおけるＣＵ選択に関する処理について、ＨＥＶＣ標準ソフトウェア（ＨＭ）を例にして説明する。始めに図１２を参照して、１ＣＵ内でのＰＵ分割の形状のための符号化コスト計算の処理動作について説明する。図１２は、１ＣＵ内でのＰＵ分割の形状のための符号化コスト計算の処理動作を示すフローチャートである。まず、各ＰＵ分割タイプについて、インター予測を行う（ステップＳ７１）。そして、符号化コストが最小となる場合、最小符号化コストとそれを実現するＰＵ分割の形状、インター予測方向を保存する（ステップＳ７２）。
【０００７】
次に、各ＰＵ分割タイプのそれぞれについて、イントラ予測を行う（ステップＳ７３）。そして、符号化コストが最小となる場合、最小符号化コストとそれを実現するＰＵ分割の形状、イントラ予測方向を保存する（ステップＳ７４）。
次に、図１３を参照して、１ＬＣＵ内でのＣＵ分割の形状のための符号化コスト計算の処理動作について説明する。図１３は、１ＬＣＵ内でのＣＵ分割の形状のための符号化コスト計算の処理動作を示すフローチャートである。まず、１ＣＵ内において図１２に示すステップＳ７１〜Ｓ７４を繰り返し、すべてのサイズのＣＵについて、符号化コストを計算してＣＵサイズを決定する（ステップＳ７５）。ＬＣＵについて、分割または非分割符号化のコストを比較して最小符号化コストとなるＣＵの分割形状を選択し保存する（ステップＳ７６）。
【０００８】
なお、図１３には前述の説明では説明していないＱＰループなる記載があるが、これは、ＨＥＶＣでは固定ＱＰによるエンコードでない場合は、ＣＵごとに、量子化ステップサイズを定める量子化パラメータＱＰを設定することが可能となっており、参照ソフトウェア上ではそれを実現するためにＱＰの値を変更しながら最適な符号化コストを算出する構造が入っているため記載したものである。
【０００９】
このように、最小符号化コストを得るため最適なモードや分割形状を選択するための処理を、符号化最適化処理と呼ぶ。なお、以下ではＬＣＵ、ＣＵをより一般的にブロック、サブブロックとして呼ぶこととする。
【００１０】
次に、符号化最適化の処理動作を説明する。図１４は、符号化最適化の処理動作を示すフローチャートである。まず、インター予測モード・スキップモード・イントラ予測モードの符号化コストを算出する（ステップＳ７７）。続いて、符号化コストが最小となるものをそのブロックサイズの予測モードとして最適なモードの設定・保存を行う（ステップＳ７８）。この処理はＣＵサイズについて繰り返す。そして、符号化コスト最小となるＣＵ分割の組み合わせを決定する（ステップＳ７９）。
【００１１】
ここで、符号化コストとはＲＤコストは、（１）式に代表されるようなコストを意味し、最適化とは符号化コストが最小となるような符号化を意味する。
ＲＤコスト＝Ｄ＋λＲ  ・・・（１）
（１）式において、Ｄは復号画素と原画像の画素の二乗誤差和、Ｒは発生符号量である、λはラグランジアンパラメータである。また、符号化最適化処理の高速化のために、Ｄを予測画素と原画像の画素の絶対値和Ｄ’、Ｒを係数符号量以外の発生符号量Ｒ’と置き換えた疑似ＲＤコストを符号化コストとする手法も存在する。これ以降、符号化コストとはＲＤコストまたは疑似ＲＤコストに代表されるようなものを意味するものとする。
【００１２】
次に、図１５を参照して、イントラ予測の各予測方向を決定するための処理動作を説明する。図１５は、イントラ予測の各予測方向を決定するための処理動作を示すフローチャートである。まず、ある予測方向を選択しながら繰り返し処理を行う（ステップＳ８１）。次に、近傍の符号化済み画素を用いて、予測方向におけるイントラ予測画像を作成する（ステップＳ８２）。続いて、イントラ予測画像の画素と原画像の画素との誤差を算出する（ステップＳ８３）。
【００１３】
次に、発生符号量を算出し（ステップＳ８４）、誤差と発生符号量から符号化コストを算出する（ステップＳ８５）。そして、ステップＳ８２〜Ｓ８５を各予測方向について繰り返す。最後に、算出した符号化コストが最小となる方向をイントラ予測方向とすることにより、最適なイントラ予測方向の設定を行う（ステップＳ８６）。
【００１４】
符号化最適化処理においては、ある一定サイズのブロックに対し、そのブロックをさらに最適なサブブロックに分割して、サブブロックごとに最適な予測モードを決定している。ブロック単位で上記の最適なサブブロックサイズ及び予測モードを決定するため、前述したように、サブブロックサイズごとに最適な予測モードにおける符号化コストを求める必要がある。特に最適なイントラ予測方向の決定には、各予測方向に対する予測画像作成に必要な近傍の符号化済み画素の復号が必要である。これらの処理は、最適なサイズではないサブブロックに対しても行われるが、その場合には、近傍画素の復号結果は上記符号化コストの比較以外に用いられることはない。
【００１５】
特に、符号化最適化処理の高速化を目的とする手法の一つである疑似ＲＤコストを用いた判定の場合、Ｒ’の計算には予測誤差の符号化が不要であるが、Ｄ’は予測画像を用いるため、その算出に用いる近傍画素について符号化及び復号が必要である。そのため、各ブロックサイズの最適な符号化コストを求める際、疑似ＲＤコストを用いた高速化のみでは実際に演算処理が削減されるのは予測誤差係数の算術符号化処理のみとなり、演算量が多い復号処理については、各サブブロックサイズに対して行う必要が発生する。
なお、以下で発生符号量と記す場合は、係数の発生符号量を含む場合、含まない場合のどちらの場合も含むものとする。
【００１６】
従来技術による高速化を行う例として非特許文献１がある。非特許文献１では、原画像の画素、または原画像の画素にフィルタを適用したものを疑似イントラ予測画像として用いる手法が紹介されている。この手法によりサブブロックの各サイズの最適イントラ予測モードの算出に用いる参照画素は原画像の画素あるいは原画像の画素にフィルタを適用したもののみとなるため、近傍画素の復号が不要となり演算量を削減できる。
【先行技術文献】
【非特許文献】
【００１７】
【非特許文献１】Takafumi Bando, Naoyuki Hirai, Tian Song and Takashi Shimamoto, “New Prediction Modes for Parallel Processing of H.264/AVC", Proceedings of International Conference on Multimedia and Signal Processing (CMSP'11), pp.344--347, Guilin, China, May 2011.
【発明の概要】
【発明が解決しようとする課題】
【００１８】
非特許文献１の手法では、イントラ予測の参照画像に原画像の画素または原画像の画素に固定フィルタを適用したものを用いて疑似イントラ予測画像を生成している。
【００１９】
しかしながら、原画像の画素のみ、または原画像の画素に固定フィルタを用いるのみでは、本来の復号画像に影響を与えると考えられる量子化ステップサイズや選択された予測モードなどが使用されないため、正しい予測やコストの算出ができないという問題がある。
【００２０】
本発明は、このような事情に鑑みてなされたもので、符号化最適化処理のイントラ予測における演算量を削減することができる画像符号化方法、画像符号化装置及び画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明は、イントラ予測方向に対して近傍画素の予測画素と原画像の画素から参照画素を生成する参照画素生成ステップと、前記参照画素から疑似イントラ予測画素を生成する疑似イントラ予測画素生成ステップと、前記疑似イントラ予測画素と前記原画像の画素の誤差と前記疑似イントラ予測画素を生成する際の発生符号量から前記イントラ予測方向に対する符号化コストを算出する符号化コスト算出ステップと、前記符号化コストのうち最小となる符号化コストに対応するイントラ予測方向をイントラ予測方向として設定するイントラ予測方向設定ステップとを有することを特徴とする。
【００２２】
本発明は、イントラ予測方向に対する近傍画素の予測画素の予測モードがスキップモードであるか否か判定するスキップモード判定ステップと、前記スキップモード判定ステップの判定結果がスキップモードである場合には、前記近傍画素の予測画素を参照画素とし、前記参照画素からイントラ予測画素を生成し、スキップモード以外のモードである場合には、前記近傍画素の予測画素と原画像の画素から参照画素を生成し、当該参照画素とイントラ予測方向から疑似イントラ予測画素を生成するイントラ予測画素・疑似イントラ予測画素生成ステップと、前記イントラ予測画素・疑似イントラ予測画素と前記原画像の画素の誤差と前記疑似イントラ予測画素を生成する際の発生符号量から前記イントラ予測方向に対する符号化コストを算出する符号化コスト算出ステップと、前記符号化コストのうち最小となる符号化コストに対応するイントラ予測方向をイントラ予測方向として設定するイントラ予測方向設定ステップとを有することを特徴とする。
【００２３】
本発明は、イントラ予測方向に対する近傍画素の予測画素の量子化ステップサイズから疑似イントラ予測画像を生成する際に用いる重みづけ係数を生成する重みづけ係数生成ステップと、前記近傍画素の予測画素と原画像の画素から前記重みづけ係数を用いて疑似イントラ予測画素を生成する疑似イントラ予測画素生成ステップと、前記疑似イントラ予測画素と前記原画像の画素の誤差と前記疑似イントラ予測画素を生成する際の発生符号量から前記イントラ予測方向に対する符号化コストを算出する符号化コスト算出ステップと、前記符号化コストのうち最小となる符号化コストに対応するイントラ予測方向をイントラ予測方向として設定するイントラ予測方向設定ステップとを有することを特徴とする。
【００２４】
本発明は、前記画像符号化方法によりブロック単位で設定したイントラ予測方向に対する符号化コストと他のモードに対する符号化コストを比較し、前記最適なイントラ予測方向に対する符号化コストの方が小さい場合には、当該ブロックについて近傍の復号画像を用いてイントラ予測をやり直すことを特徴とする。
【００２５】
本発明は、イントラ予測方向に対して近傍画素の予測画素と原画像の画素から参照画素を生成する参照画素生成手段と、前記参照画素から疑似イントラ予測画素を生成する疑似イントラ予測画素生成手段と、前記疑似イントラ予測画素と前記原画像の画素の誤差と前記疑似イントラ予測画素を生成する際の発生符号量から前記イントラ予測方向に対する符号化コストを算出する符号化コスト算出手段と、前記符号化コストのうち最小となる符号化コストに対応するイントラ予測方向をイントラ予測方向として設定するイントラ予測方向設定手段とを備えることを特徴とする。
【００２６】
本発明は、前記画像符号化方法をコンピュータに実行させるための画像符号化プログラムである。
【発明の効果】
【００２７】
本発明によれば、符号化演算量を削減することができる。特に、符号化最適化処理のイントラ予測における演算量を削減することができるという効果が得られる。
【図面の簡単な説明】
【００２８】
【図１】本発明を適用する画像符号化装置の構成を示すブロック図である。
【図２】図１に示すイントラ予測処理部１０１の詳細な構成を示すブロック図である。
【図３】図２に示すイントラ予測処理部１０１における疑似復号画像を用いたイントラ予測の処理動作を示すフローチャートである。
【図４】従来処理における１ＬＣＵ内のＣＵ分割・予測モードを決定する処理動作を示すフローチャートである。
【図５】第１実施形態による１ＬＣＵ内のＣＵ分割・予測モードを決定する処理動作を示すフローチャートである。
【図６】図２に示すイントラ予測処理部１０１における疑似復号画像を用いたイントラ予測の処理動作を示すフローチャートである。
【図７】図２に示すイントラ予測処理部１０１における疑似復号画像を用いたイントラ予測の処理動作を示すフローチャートである。
【図８】図２に示すイントラ予測方向設定部１０１３におけるイントラ予測の正しい方向を算出する処理動作を示すフローチャートである。
【図９】第４実施形態における１ＬＣＵ内のＣＵ分割・予測モードを決定する処理動作を示すフローチャートである。
【図１０】ピクチャ（画像）の分割例を示す図である。
【図１１】ＰＵ分割の選択肢の例を示す図である。
【図１２】１ＣＵ内でのＰＵ分割の形状のための符号化コスト計算の処理動作を示すフローチャートである。
【図１３】１ＬＣＵ内でのＣＵ分割の形状のための符号化コスト計算の処理動作を示すフローチャートである。
【図１４】符号化最適化の処理動作を示すフローチャートである。
【図１５】イントラ予測の各予測方向を決定するための処理動作を示すフローチャートである。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、本発明を適用する画像符号化装置を説明する。図１は本発明を適用する画像符号化装置の構成を示すブロック図である。画像符号化装置１００は、イントラ予測処置部１０１、インター予測処理部１０２、加算部１０３、変換処理部１０４、量子化処理部１０５、逆量子化処理部１０６、逆変換処理部１０７、加算部１０８、フレームメモリ１０９、デブロッキングフィルタ処理部１１０、インター予測情報格納部１１１、イントラ予測情報格納部１１２及びエントロピー符号化処理部１１３を備えている。図１に示す画像符号化装置１００の構成は、ＨＥＶＣの映像符号化処理ブロックと同等であり、公知の構成であるため、詳細な説明を省略する。
【００３０】
次に、図２を参照して、図１に示すイントラ予測処理部１０１の詳細な構成を説明する。図２は、図１に示すイントラ予測処理部１０１の詳細な構成を示すブロック図である。図２において、符号１０１１は、疑似イントラ予測画像を生成する疑似イントラ予測画像生成部である。符号１０１２は、符号化コストを算出する符号化コスト算出部である。符号１０１３は、イントラ予測方向を設定するイントラ予測方向設定部である。イントラ予測処理部１０１は、イントラ予測の参照画素に、復号済み画素の代わりに近傍画素の予測画素と原画像の画素を用いて求めた画素を用いる。
【００３１】
＜第１実施形態＞
次に、図３を参照して、本発明の第１実施形態による疑似復号画像を用いたイントラ予測の処理動作を説明する。図３は、図２に示すイントラ予測処理部１０１における疑似復号画像を用いたイントラ予測の処理動作を示すフローチャートである。まず、疑似イントラ予測画像生成部１０１１は、１つのイントラ予測方向を選択する処理を繰り返す（ステップＳ０）。次に、疑似イントラ予測画像生成部１０１１は、疑似イントラ予測画素を、近傍画素の予測画素と原画像の画素を用いて求めた参照画素から生成する’ステップＳ１）。例えば、近傍画素の予測画素と同一位置の原画像の画素の画素値との平均値を参照画素の画素値として生成する。
【００３２】
次に、疑似イントラ予測画像生成部１０１１は、生成された疑似イントラ予測画素をもとに原画像の画素との誤差を算出する（ステップＳ２）。そして、疑似イントラ予測画像生成部１０１１は、疑似イントラ予測画素生成による発生符号量を算出する（ステップＳ３）。
【００３３】
次に、符号化コスト算出部１０１２は、各イントラ予測方向に対する符号化コストを算出する（ステップＳ４）。そして、すべてのイントラ予測方向を選択した後、イントラ世しく方向設定部１０１３は、コスト最小となるイントラ予測方向を最適なイントラ予測方向として設定する（ステップＳ５）。
【００３４】
このように、符号化最適化処理の高速化時のイントラ予測では、符号化コスト算出に復号済み画素を用いるため、適切なブロックサイズ、予測モードを決めるに当たり近傍画素の復号を逐次行う必要があるが、本実施形態では近傍の復号画素の代わりに近傍の予測画素と原画像の画素を用いて疑似イントラ予測画素を生成してイントラ予測の予測方向毎のコストを算出することにより適切な予測コストを導出しつつ上記復号処理が不要となるため、符号化最適化処理における符号化効率の低下を抑制しつつ演算量削減を実現できる。
【００３５】
次に、図４、図５を参照して、第１実施形態による演算削減対象について説明する。図４は、従来処理における１ＬＣＵ内のＣＵ分割・予測モードを決定する処理動作を示すフローチャートである。図５は、本実施形態による１ＬＣＵ内のＣＵ分割・予測モードを決定する処理動作を示すフローチャートである。従来処理では、図４のステップＳ１６に示すように、ＣＵサイズごとに復号画素を生成する必要がある。一方、本実施形態では、各イントラ予測において近傍の復号画素を用いなくてよいことから、図５のステップＳ２７に示すように復号画素生成は１ＬＣＵに対して一度のみ行えばよいこととなる。これにより演算量が削減されることとなる。
【００３６】
＜第２実施形態＞
次に、図６を参照して、本発明の第２実施形態による疑似復号画像を用いたイントラ予測の処理動作を説明する。図６は、図２に示すイントラ予測処理部１０１における疑似復号画像を用いたイントラ予測の処理動作を示すフローチャートである。図６に示す処理において、近傍画素の予測画素と原画像の画素を用いて参照画素を生成する際に近傍画素の予測画素の予測モードを考慮して求めた画素を用いる。まず、疑似イントラ予測画像生成部１０１１は、１つのイントラ予測方向を選択する処理を繰り返す（ステップＳ３１）。疑似イントラ予測画像生成部１０１１は、近傍画素の予測画素の予測モードが、スキップモードであるか否かの判定を行う（ステップＳ３２）。この判定の結果、『近傍画素の予測画素の予測モードがスキップモードである場合』、疑似イントラ予測画像生成部１０１１は、スキップモードの予測画素を用いて、イントラ予測画素を生成する（ステップＳ３３）。
【００３７】
一方、『近傍画素の予測画素の予測モードがスキップモード以外のモード（イントラ予測モードまたはインター予測モード）である場合』、疑似イントラ予測画像生成部１０１１は、スキップモードの予測画素と原画像の画素を用いて疑似イントラ予測画素を生成する（ステップＳ３４）。例えば、近傍画素の予測画素と同一位置の原画像の画素の画素値との平均値を参照画素の画素値として生成する。
【００３８】
次に、処理２―３．疑似イントラ予測画像生成部１０１は、生成されたイントラ予測画素／疑似イントラ予測画素をもとに原画像の画素との誤差を算出する（ステップＳ３５）。そして、疑似イントラ予測画像生成部１０１は、疑似イントラ予測画素生成による発生符号量を算出する（ステップＳ３６）。
【００３９】
次に、符号化コスト算出部１０１２は、各イントラ予測方向に対する符号化コストを算出する（ステップＳ３７）。そして、イントラ予測方向設定部１０１３は、符号化コスト最小となるイントラ予測方向を最適なイントラ予測方向として設定する（ステップＳ３８）。
【００４０】
このように、符号化最適化処理の高速化時のイントラ予測では、符号化コスト算出に復号済み画素を用いるため、適切なブロックサイズ、予測モードを決めるに当たり近傍画素の復号を逐次行う必要があるが、本実施形態では近傍の復号画素の代わりに近傍画素の予測画素と原画像の画素の重みづけ和、または近傍画素の予測画素を近傍画素の予測モードに応じて切り替え、疑似予測画素として用いることにより適切な予測コストを導出しつつ復号処理が不要となるため、符号化最適化処理における符号化効率の低下を抑制しつつ演算量削減を実現できる。
【００４１】
なお、ステップＳ３３の近傍画素の予測画素の予測モードがスキップモードの場合は、スキップモードの予測画素が復号画素であるため、疑似イントラ予測画素ではなくイントラ予測画素と表記している。
【００４２】
＜第３実施形態＞
次に、図７を参照して、本発明の第３実施形態による疑似復号画像を用いたイントラ予測の処理動作を説明する。図７は、図２に示すイントラ予測処理部１０１における疑似復号画像を用いたイントラ予測の処理動作を示すフローチャートである。図７に示す処理において、近傍画素の予測画素と原画像の画素を用いる際に近傍画素の量子化ステップサイズを考慮して求めた画素を用いる。まず、疑似イントラ予測画像生成部１０１１は、１つのイントラ予測方向を選択する処理を繰り返す（ステップＳ４１）。疑似イントラ予測画像生成部１０１１は、近傍画素の量子化ステップサイズから疑似イントラ予測画素の重みづけ係数を決定する（ステップＳ４２）。例えば、量子化ステップサイズが大きい場合は原画像の画素よりも近傍画素の予測画素に対して重みづけが大きくなるように重みづけ係数を調整し、量子化ステップサイズが小さい場合は近傍画素の予測画素よりも原画像の画素に対して重みづけが大きくなるように重みづけ係数を調整して決定する。
【００４３】
次に、疑似イントラ予測画像生成部１０１１は、疑似イントラ予測画素を、近傍画素の予測画素と原画像の画素から重みづけ係数により生成する（ステップＳ４３）。続いて、疑似イントラ予測画像生成部１０１１は、生成された疑似イントラ予測画素をもとに原画像の画素との誤差を算出する（ステップＳ４４）。そして、疑似イントラ予測画像生成部１０１１は、疑似イントラ予測画素生成による発生符号量を算出する（ステップＳ４５）。
【００４４】
次に、符号化コスト算出部１０１２は、各イントラ予測方向に対する符号化コストを算出する（ステップＳ４６）。そして、イントラ予測方向設定部１０１３は、符号化コスト最小となるイントラ予測方向を最適なイントラ予測方向として設定する（ステップＳ４７）。
【００４５】
このように、符号化最適化処理の高速化時のイントラ予測では、符号化コスト算出に復号済み画素を用いるため、適切なブロックサイズ、予測モードを決めるに当たり近傍画素の復号を逐次行う必要があるが、本実施形態では近傍の復号画素の代わりにその量子化ステップサイズをもとにした近傍の予測画素と原画像の画素の重みづけ和から疑似イントラ予測画素を導出して用いることにより適切な符号化コストを導出しつつ、復号処理が不要となるため、符号化最適化処理における符号化効率の低下を抑制しつつ演算量削減を実現できる。
【００４６】
＜第４実施形態＞
次に、図８を参照して、本発明の第４実施形態によるイントラ予測の正しい方向を算出する処理動作を説明する。図８は、図２に示すイントラ予測方向設定部１０１３におけるイントラ予測の正しい方向を算出する処理動作を示すフローチャートである。図７に示す処理は、第１〜第３実施形態により算出される疑似イントラ予測画素とその符号化コストを予測モード判定にのみ用い、そのブロックの最適モードがイントラの場合には、ブロックサイズ確定後に再度本来の復号画素を参照画素としてイントラ予測の正しい方向を算出する。まず、疑似イントラ予測画像生成部１０１１は、疑似イントラ予測画素を、近傍画素の予測画素と原画像の画素から生成する（ステップＳ５１）。続いて、符号化コスト算出部１０１２は、生成された疑似イントラ予測画素をもとに各イントラ予測方向における符号化コストを算出する（ステップＳ５２）。
【００４７】
次に、イントラ予測方向設定部１０１３は、符号化コスト最小となる方向を、仮のイントラ予測方向として設定する（ステップＳ５３）。イントラ予測方向設定部１０１３は、各予測モードに対する符号化コスト比較を行う（ステップＳ５４）。そして、イントラ予測方向設定部１０１３は、ブロックの分割形状を決定する（ステップＳ５５）。
【００４８】
次に、予測モードにイントラが選択されたサブブロックがあるか否かを判定し、予測モードとしてイントラが選択されたサブブロックがある場合、イントラ予測方向設定部１０１３は、該当するサブブロックのみ実際の復号画素を算出してイントラ予測をやり直し、その結果をそのサブブロックのイントラ予測方向として保存する（ステップＳ５６）。
【００４９】
このように、符号化最適化処理の高速化時のイントラ予測では、符号化コスト算出に復号済み画素を用いるため、適切なブロックサイズ、予測モードを決めるに当たり近傍画素の復号を逐次行う必要があるが、本実施形態ではブロックサイズ・最適予測モードの決定には近傍の復号画素の代わりに近傍の予測画素と原画像の画素の重みづけ和から導出して用いることにより適切な符号化コストを導出しつつ、復号処理が不要となる。また、ブロックサイズ決定後にイントラ予測が最適であるとされるブロックのみイントラ予測方向を再度行うことにより、不要な復号処理を増やすことなくより適切なイントラ予測が可能になるため、第１〜第３実施形態の処理に対し、符号化演算量の増加を抑制しつつ符号化効率向上を実現できる。
【００５０】
第４実施形態と第１〜第３実施形態の違いについて、図５と図９を参照して説明する。図９は、第４実施形態における１ＬＣＵ内のＣＵ分割・予測モードを決定する処理動作を示すフローチャートである。第１〜第３実施形態では最適モード及び分割形状決定のためのイントラ予測結果をそのまま用いるため、ブロックの最適モードがイントラである場合、適切なイントラ予測方向が選択されない可能性がある。しかし、第４実施形態では、ブロックの分割形状決定の後、最適モードがイントラである場合のみ、図９のステップＳ６７のように再度復号画素を用いてイントラ予測方向を求め直すこととするため、第１〜第３実施形態に対し、符号化演算量の増加を抑制しつつより適切なイントラ予測を行うことが可能となる。
【００５１】
次に、第１実施形態を図１２に示す処理動作に適用した場合の例を説明する。まず、入力画像を６４×６４ＬＣＵに分割する（処理１）。次に、左上ＬＣＵ内の左上隅にあるＮ×ＮサイズＣＵに対して、符号化済フレームを用いてインター予測モード・スキップモードの各予測モードの符号化コストを算出し、符号化コスト最小となるモードとその符号化コストＳ１を保存する（処理２）。
【００５２】
次に、Ｎ×ＮサイズＣＵのイントラ予測における符号化コストを求めるため、その近傍画素の予測モードに応じて参照画素を生成する（処理３）。そして、近傍画素の予測モードがスキップモードの場合、近傍画素の予測画素にイントラ予測の方向に応じたフィルタを適用して符号化対象ＣＵのイントラ予測画素を生成する（処理３−１）。一方、近傍画素の予測モードがスキップモード以外の場合、近傍画素の予測画素と同一位置の原画像の画素との平均値を算出して参照画素とし、その画素値にイントラ予測の方向に応じたフィルタを適用して符号化対象ＣＵの疑似イントラ予測画素を生成する（処理３−２）。
【００５３】
次に、処理３を各イントラ予測方向に対して行い、最小となる符号化コストＳ２とＳ１を比較し、Ｓ２が小さい場合はそのイントラ予測方向と符号化コストを保存し、Ｓ１が小さい場合はそのままＳ１を保存する（処理４）。つまり、Ｓ２に最小値が格納されるようにループ処理を進めることになる。
【００５４】
次に、処理２〜４を各ＣＵサイズ８×８〜６４×６４に対して繰り返し行い、左上ＬＣＵ内の全サイズのＣＵに対して最適予測モードとその符号化コストを算出する（処理５）。次に、左上隅の１６×１６ＣＵと、その内部の８×８ＣＵ４つの符号化コストの和を比較し、符号化コストが小さくなるほうを最適ＣＵとして選択してＣＵ分割情報と各ＣＵの予測モードと符号化コストを保存する（処理６）。そして、各１６×１６ＣＵに対して処理６を繰り返す（処理７）。
【００５５】
次に、左上隅の３２×３２ＣＵとその内部の１６×１６ＣＵ４つの符号化コストの和を比較する（処理８）。このとき、１６×１６ＣＵの符号化コストには、処理６で選択された最適ＣＵの符号化コストをそれぞれ用いる。比較結果、符号化コストが小さくなるほうを最適ＣＵとして選択肢、ＣＵ分割情報と各ＣＵの予測モードと符号化コストを保存する。そして、各３２×３２ＣＵに対して処理８を繰り返す（処理９）。
【００５６】
次に、６４×６４ＣＵとその内部の１６×１６ＣＵ４つの符号化コストの和を比較する（処理１０）。このとき、３２×３２ＣＵの符号化コストには、処理８で選択された最適ＣＵの符号化コストをそれぞれ用いる。比較結果、符号化コストが小さくなるほうを最適ＣＵとして選択肢、ＣＵ分割情報と各ＣＵの予測モードと符号化コストを保存する。そして、各ＬＣＵに対して処理２〜１０を繰り返す（処理１１）。
【００５７】
次に、第３実施形態を図１２に示す処理動作に適用した場合の例を説明する。まず、入力画像を６４×６４ＬＣＵに分割する（処理２１）。次に、左上ＬＣＵ内の左上隅にあるＮ×ＮサイズＣＵに対して、符号化済フレームを用いてインター予測モード・スキップモードの各予測モードの符号化コストを算出し、符号化コスト最小となるモードとその符号化コストＳ１を保存する（処理２２）。
【００５８】
次に、Ｎ×ＮサイズＣＵのイントラ予測における符号化コストを求めるため、その近傍画素の予測モードに応じて参照画素を生成する（処理２３）。近傍画素の予測モードがスキップモードの場合、近傍画素の予測画素にイントラ予測の方向に応じたフィルタを適用して符号化対象ＣＵのイントラ予測画素を生成する（処理２３−１）。一方、近傍画素の予測モードがスキップモード以外の場合、近傍画素の予測画素と同一位置の原画像の画素に対して、近傍画素の量子化ステップサイズに基づく重みづけ和を算出して参照画素とし、その画素値にイントラ予測の方向に応じたフィルタを適用して符号化対象ＣＵの疑似イントラ予測画素を生成する（処理２３−２）。重みづけ和の算出方法は次の通りとする。
【００５９】
近傍画素の予測モードがイントラ予測モードの場合
Ｐ（ｘ，ｙ）＝（１−（α−１）／（Ｎ−１）×１／２）Ｏ（ｘ，ｙ）＋（（α−１）／（Ｎ−１）×１／２）×Ｒ（ｘ，ｙ）
近傍画素の予測モードがインター予測モードの場合
Ｐ（ｘ，ｙ）＝（１−（α−１）／（Ｎ−１）×２／３）Ｏ（ｘ，ｙ）＋（（α−１）／（Ｎ−１）×２／３）×Ｒ（ｘ，ｙ）
ここで、
Ｏ（ｘ，ｙ）：原画像の画素
Ｒ（ｘ，ｙ）：参照画素
Ｐ（ｘ，ｙ）：疑似イントラ予測画素
α：量子化ステップサイズ（＝１，・・・，Ｎ）
Ｎ：量子化ステップサイズの最大値
である。
【００６０】
処理２３を各イントラ予測方向に対して行い、最小となる符号化コストＳ２とＳ１を比較し、Ｓ２が小さい場合はそのイントラ予測方向と符号化コストを保存し、Ｓ１が小さい場合はそのままＳ１を保存する（処理２４）。処理２２〜２４を各ＣＵサイズ８×８〜６４×６４に対して繰り返し行い、左上ＬＣＵ内の全サイズのＣＵに対して最適予測モードとその符号化コストを算出する（処理２５）。
【００６１】
次に、左上隅の１６×１６ＣＵと、その内部の８×８ＣＵ４つの符号化コストの和を比較し、符号化コストが小さくなるほうを最適ＣＵとして選択してＣＵ分割情報と各ＣＵの予測モードと符号化コストを保存する（処理２６）。そして、各１６×１６ＣＵに対して処理２６を繰り返す（処理２７）。次に、左上隅の３２×３２ＣＵとその内部の１６×１６ＣＵ４つの符号化コストの和を比較する（処理２８）。このとき、１６×１６ＣＵの符号化コストには、６で選択された最適ＣＵの符号化コストをそれぞれ用いる。比較結果、符号化コストが小さくなるほうを最適ＣＵとして選択肢、ＣＵ分割情報と各ＣＵの予測モードと符号化コストを保存する。そして、各３２×３２ＣＵに対して処理２８を繰り返す（処理２９）。
【００６２】
次に、６４×６４ＣＵとその内部の１６×１６ＣＵ４つの符号化コストの和を比較する（処理３０）。このとき、３２×３２ＣＵの符号化コストには、処理２８で選択された最適ＣＵの符号化コストをそれぞれ用いる。比較結果、符号化コストが小さくなるほうを最適ＣＵとして選択肢、ＣＵ分割情報と各ＣＵの予測モードと符号化コストを保存する。そして、各ＬＣＵに対して処理２２〜３０を繰り返す（処理３１）。
【００６３】
次に、第３、第４実施形態を図１２に示す処理動作に適用した場合の例を説明する。まず、入力画像を６４×６４ＬＣＵに分割する（処理４１）。次に、左上ＬＣＵ内の左上隅にあるＮ×ＮサイズＣＵに対して、符号化済フレームを用いてインター予測モード・スキップモードの各予測モードの符号化コストを算出し、符号化コスト最小となるモードとその符号化コストＳ１を保存する（処理４２）。
【００６４】
次に、Ｎ×ＮサイズＣＵのイントラ予測における符号化コストを求めるため、その近傍画素の予測モードに応じて参照画素を生成する（処理４３）。近傍画素の予測モードがスキップモードの場合、近傍画素の予測画素にイントラ予測の方向に応じたフィルタを適用して符号化対象ＣＵのイントラ予測画素を生成する（処理４３−１）。一方、近傍画素の予測モードがスキップモード以外の場合、近傍画素の予測画素と同一位置の原画像の画素に対して、近傍画素の量子化ステップサイズに基づく重みづけ和を算出して参照画素とし、その画素値にイントラ予測の方向に応じたフィルタを適用して符号化対象ＣＵの疑似イントラ予測画素を生成する（処理４３−２）。重みづけ和の算出方法は次の通りとする。
【００６５】
近傍画素の予測モードがイントラ予測モードの場合
Ｐ（ｘ，ｙ）＝（１−（α−１）／（Ｎ−１）×１／２）Ｏ（ｘ，ｙ）＋（（α−１）／（Ｎ−１）×１／２）×Ｒ（ｘ，ｙ）
近傍画素の予測モードがインター予測モードの場合
Ｐ（ｘ，ｙ）＝（１−（α−１）／（Ｎ−１）×２／３）Ｏ（ｘ，ｙ）＋（（α−１）／（Ｎ−１）×２／３）×Ｒ（ｘ，ｙ）
ここで、
Ｏ（ｘ，ｙ）：原画像の画素
Ｒ（ｘ，ｙ）：参照画素
Ｐ（ｘ，ｙ）：疑似イントラ予測画素
α：量子化ステップサイズ（＝１，・・・，Ｎ） 
Ｎ：量子化ステップサイズの最大値
である。
【００６６】
次に、処理４３を各イントラ予測方向に対して行い、最小となる符号化コストＳ２とＳ１を比較し、Ｓ２が小さい場合はそのイントラ予測方向と符号化コストを保存し、Ｓ１が小さい場合はそのままＳ１を保存する（処理４４）。次に、処理４２〜４４を各ＣＵサイズ８×８〜６４×６４に対して繰り返し行い、左上ＬＣＵ内の全サイズのＣＵに対して最適予測モードとその符号化コストを算出する（処理４５）。
【００６７】
次に、左上隅の１６×１６ＣＵと、その内部の８×８ＣＵ４つの符号化コストの和を比較し、符号化コストが小さくなるほうを最適ＣＵとして選択してＣＵ分割情報と各ＣＵの予測モードと符号化コストを保存する（処理４６）。そして、各１６×１６ＣＵに対して処理４６を繰り返す（処理４７）。
【００６８】
次に、左上隅の３２×３２ＣＵとその内部の１６×１６ＣＵ４つの符号化コストの和を比較する（処理４８）。このとき、１６×１６ＣＵの符号化コストには、処理４６で選択された最適ＣＵの符号化コストをそれぞれ用いる。比較結果、符号化コストが小さくなるほうを最適ＣＵとして選択肢、ＣＵ分割情報と各ＣＵの予測モードと符号化コストを保存する。そして、各３２×３２ＣＵに対して処理４８を繰り返す（処理４９）。
【００６９】
次に、６４×６４ＣＵとその内部の１６×１６ＣＵ４つの符号化コストの和を比較する（処理５０）。このとき、３２×３２ＣＵの符号化コストには、処理４８で選択された最適ＣＵの符号化コストをそれぞれ用いる。比較結果、符号化コストが小さくなるほうを最適ＣＵとして選択肢、ＣＵ分割情報と各ＣＵの予測モードと符号化コストを保存する。
【００７０】
次に、ＬＣＵ内で最終的に保存されたＣＵの中にイントラ予測モードを最適な予測モードとするものがある場合は、固定されたＣＵの分割形状・モードで周辺画素の復号を順に行い、イントラ予測の箇所についてのみ最適なイントラ予測方向を求めなおして保存する（処理５１）。そして、各ＬＣＵに対して処理４２〜５１を繰り返す。
【００７１】
以上説明したように、近傍の復号画素の代わりに近傍画素の予測画素と原画像の画素を用いて生成した疑似イントラ予測画像に対する符号化コストを算出、当該符号化コストを基準に最適な予測方向を決定することにより、イントラ予測に必要な演算量を削減することが可能になる。
【００７２】
前述した実施形態におけるイントラ予測処理部１０１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００７３】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００７４】
近傍の復号画素の代わりに近傍画素の予測画素と原画像の画素を用いて生成した疑似イントラ予測画像に対する符号化コストを算出、当該符号化コストを基準に最適な予測方向を決定することにより、イントラ予測に必要な演算量を削減することが不可欠な用途に適用できる。
【符号の説明】
【００７５】
１０１・・・イントラ予測処理部、１０１１・・・疑似イントラ予測画像生成部、１０１２・・・符号化コスト算出部、１０１３・・・イントラ予測方向設定部
【図１】
2015026963.tif 000003
【図２】
2015026963.tif 000004
【図３】
2015026963.tif 000005
【図４】
2015026963.tif 000006
【図５】
2015026963.tif 000007
【図６】
2015026963.tif 000008
【図７】
2015026963.tif 000009
【図８】
2015026963.tif 000010
【図９】
2015026963.tif 000011
【図１０】
2015026963.tif 000012
【図１１】
2015026963.tif 000013
【図１２】
2015026963.tif 000014
【図１３】
2015026963.tif 000015
【図１４】
2015026963.tif 000016
【図１５】
2015026963.tif 000017