(57)【要約】【課題】画素値の変化傾向を考慮することによって、イントラ予測符号化のための適切な分割ブロックサイズを容易に選択できるようにする。【解決手段】符号化対象の画像ブロックに隣接する画像ブロックの画素値を用いてイントラ予測符号化を行なう動画像符号化装置であって、イントラ予測された画像データを出力する予測手段と、符号化対象の画像ブロックが低周波帯域の画像である場合に画像ブロック内の画素値の変化を検出して該画像ブロックがグラデーション画像を含むかを判定する判定手段と、グラデーション画像を含むと判定された場合、予測手段において最小のブロックサイズが優先されるようにイントラ予測のブロックサイズを決定するブロックサイズ決定手段とを備える。【選択図】図１
2011239365.tif 000002
【特許請求の範囲】
【請求項１】
画像を複数の画像ブロックに分割し、符号化対象の画像ブロックに隣接する画像ブロックの画素値を用いて前記符号化対象の画像ブロックのイントラ予測符号化を行なう動画像符号化装置であって、
複数の分割ブロックサイズに対応した複数のイントラ予測モードのうちのいずれかに従ってイントラ予測を行い、前記符号化対象の画像ブロックに対するイントラ予測された画像データを出力する予測手段と、
前記符号化対象の画像ブロックが低周波帯域の画像である場合に、画像ブロック内の画素値の変化を検出することによって、前記符号化対象の画像ブロックがグラデーション画像を含むかどうかを判定する判定手段と、
前記判定手段によって前記符号化対象の画像ブロックがグラデーション画像を含むと判定された場合、前記予測手段において前記複数の分割ブロックサイズのうち最小のブロックサイズが優先されるように前記イントラ予測のブロックサイズを決定するブロックサイズ決定手段と
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記判定手段は、前記符号化対象の画像ブロックについて画素の分散値を算出し、
前記分散値が第１の閾値よりも大きい場合には、前記符号化対象の画像ブロックを低周波帯域の画像でないと判定し、
前記分散値が前記第１の閾値以下の場合には、前記符号化対象の画像ブロックを低周波帯域の画像であると判定する
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記判定手段が前記符号化対象の画像ブロックを低周波帯域の画像であると判定し、かつ、前記分散値が、前記第１の閾値よりも小さい第２の閾値より小さい場合に、
前記ブロックサイズ決定手段は、前記分割ブロックサイズを、前記複数の分割ブロックサイズのうち、最大のブロックサイズに決定することを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
前記判定手段は、前記符号化対象の画像ブロック内の輝度の最大値と輝度の最小値との差分が第３の閾値よりも大きい場合に、前記符号化対象の画像ブロックが前記グラデーション画像を含むと判定することを特徴とする請求項１に記載の動画像符号化装置。
【請求項５】
前記複数の分割ブロックサイズには、４×４、８×８及び１６×１６のブロックサイズが含まれ、前記最小のブロックサイズが４×４であることを特徴とする請求項１に記載の動画像符号化装置。
【請求項６】
画像を複数の画像ブロックに分割し、符号化対象の画像ブロックに隣接する画像ブロックの画素値を用いて前記符号化対象の画像ブロックのイントラ予測符号化を行なう動画像符号化方法であって、
出力手段が、複数の分割ブロックサイズに対応した複数のイントラ予測モードのうちのいずれかに従ってイントラ予測を行い、前記符号化対象の画像ブロックに対するイントラ予測された画像データを出力する工程と、
判定手段が、前記符号化対象の画像ブロックが低周波帯域の画像である場合に、画像ブロック内の画素値の変化を検出することによって、前記符号化対象の画像ブロックがグラデーション画像を含むかどうかを判定する工程と、
決定手段が、前記判定によって前記符号化対象の画像ブロックがグラデーション画像を含むと判定された場合、前記イントラ予測において前記複数の分割ブロックサイズのうち最小のブロックサイズが優先されるように前記イントラ予測のブロックサイズを決定する工程と
を備えることを特徴とする動画像符号化方法。
【請求項７】
コンピュータを請求項１乃至６のいずれか１項に記載の動画像符号化装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置及びその制御方法、コンピュータプログラムに関する。
【背景技術】
【０００２】
近年、動画像データを高能率符号化するための技術として、ＭＰＥＧ１，２といった符号化方式が確立されている。ディジタル化された動画像は膨大なデータ量となる。そこで、上記したＭＰＥＧ１，２などよりも更なる高圧縮が望める動画像の符号化方式が研究され続けてきた。そしてＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）とＩＳＯ（国際標準化機構）によりＨ．２６４／ＭＰＥＧ−４  ｐａｒｔ１０という符号化方式（以下、Ｈ．２６４と称す）が近年標準化された。Ｈ．２６４は、ＭＰＥＧ１，２等の従来の符号化方式に比べ、その符号化又は復号化により多くの演算量が要求されるが、より高い符号化効率が実現されることが知られている。
【０００３】
ところで、Ｈ．２６４には、フレーム内画素値を用いて同一フレーム内画素値を予測するイントラ予測という予測方式が存在する。このイントラ予測においては、複数のイントラ予測モードが存在し、これらを選択的に用いることが規定されている。このとき入力画像に適したイントラ予測モードが選択されることにより、高レベルな圧縮を施しても劣化が少ない符号化データが生成されることになる。
【０００４】
ところで、入力画像の例として、フレーム内で連続する画素の値が徐々に変化している絵柄の場合、イントラ予測が困難であることが知られている。これに対し、画素値の変化の方向に応じて、イントラ予測モードの方向を推定する方法が提案されている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４５０８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
通常、Ｈ．２６４の規格に対応した画像符号化装置では、複数のイントラ予測モードの中から最適な１つのイントラ予測モードを選択するために、用意された全てのイントラ予測の分割ブロックサイズを試してから選ぶ方法を用いる。このような場合、画像符号化装置における演算量の増加につながり、ひいては符号化処理時間の超過や、消費電力の浪費につながっていた。すなわち、イントラ予測の際に、符号化対象画像に適したブロックサイズを効率的に選定することは、画像符号化装置における演算量削減の観点から重要である。
【０００７】
しかしながら、上記従来技術の方法は、イントラ予測に用いる画素の数を増加させるものであり、規格よりも複雑な画素予測処理を行うものであるから、更なる演算量の増加につながってしまう。なおかつ上記従来技術の方法では、画素値の変化傾向とイントラ予測時の分割ブロックサイズとを関連付けてはいない。
【０００８】
そこで本発明は、画素値の変化傾向を考慮することによって、イントラ予測符号化のための適切な分割ブロックサイズを容易に選択できるようにする。
【０００９】
そして、イントラ予測が困難な、画素値が徐々に変化する画像を符号化する場合であっても、演算量の増加を軽減する。
【課題を解決するための手段】
【００１０】
上記課題を解決するための本発明は、画像を複数の画像ブロックに分割し、符号化対象の画像ブロックに隣接する画像ブロックの画素値を用いて前記符号化対象の画像ブロックのイントラ予測符号化を行なう動画像符号化装置であって、
複数の分割ブロックサイズに対応した複数のイントラ予測モードのうちのいずれかに従ってイントラ予測を行い、前記符号化対象の画像ブロックに対するイントラ予測された画像データを出力する予測手段と、
前記符号化対象の画像ブロックが低周波帯域の画像である場合に、画像ブロック内の画素値の変化を検出することによって、前記符号化対象の画像ブロックがグラデーション画像を含むかどうかを判定する判定手段と、
前記判定手段によって前記符号化対象の画像ブロックがグラデーション画像を含むと判定された場合、前記予測手段において前記複数の分割ブロックサイズのうち最小のブロックサイズが優先されるように前記イントラ予測のブロックサイズを決定するブロックサイズ決定手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画素値の変化傾向を考慮することによって、イントラ予測符号化のための適切な分割ブロックサイズを容易に選択できる。また、イントラ予測が困難な、画素値が徐々に変化する画像を符号化する場合であっても、演算量の増加を軽減することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る動画像符号化装置の構成例を示すブロック図。
【図２】分割ブロックサイズについて説明するための概念図。
【図３】本発明の実施形態に係るイントラ予測部の構成例を示すブロック図。
【図４】符号化対象マクロブロック内を更に小ブロックに分割した例を示す図。
【図５】分割ブロックサイズ決定処理のフローチャート。
【図６】符号化対象マクロブロック周辺を更に小ブロックに分割した例を示す図。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら本発明の実施の形態を説明する。
【００１４】
図１は、本実施形態に係る動画像符号化装置１００の構成例を示すブロック図である。ここでは、レンズや撮像素子等のカメラ部を含む撮像部１０１と、フレームメモリ１０２と、動きベクトルを探索する動きベクトル決定部１０３と、動きベクトルに基づきインター予測画像データを生成するフレーム間動き補償部１０４を備える。また、イントラ予測画像データを生成するイントラ予測部１０５、インター予測画像データとイントラ予測画像データとのいずれかを選択する選択部１０６と、減算器１０７と、整数変換部１０８と、量子化部１０９とを備えている。さらに、逆量子化部１１０と、逆整数変換部１１１と、加算器１１２と、ループ内フィルタ１１３と、エントロピー符号化部１１５と、量子化制御部１１６と、符号量制御部１１７と、記録部１１８とを備えている。また、動画像符号化装置１００には記録媒体１１９が装着されており、フレームメモリ１０２は、インター予測に用いる参照画像を記憶する参照画像メモリ１１４を備えている。
【００１５】
図１の動画像符号化装置１００において、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵが実行することにより、ソフトウェア的に構成されてもよい。
【００１６】
撮像部１０１により撮像して得られた動画像データは、第１フレーム、第２フレーム、第３フレーム、・・・のように生成順序で、フレームメモリ１０２に順次格納される。フレームメモリ１０２からは、例えば、第３フレーム、第１フレーム、第２フレーム、・・・と、符号化を行う順序で画像データを取り出していく。
【００１７】
ここで、符号化方法には、フレーム内の画像データのみで符号化するイントラ予測符号化と、フレーム間での予測も含めて符号化するインター予測符号化とがある。インター予測符号化を行うピクチャは、動き補償の単位（ＭＣブロック）に対して１枚の参照フレームとの予測を行うＰピクチャと、ＭＣブロックに対して２枚までの参照フレームとの予測を行うＢピクチャとがある。一方、イントラ予測符号化を行うピクチャは、Ｉピクチャである。なお、符号化するフレームの順番が入力されたフレームの順番と異なるのは、過去のフレームだけではなく、時間的に未来のフレームとの予測（後方予測）を可能にするためである。
【００１８】
イントラ予測符号化を行う場合、符号化単位となる符号化対象ブロックの画像データがフレームメモリ１０２から読み出されて、イントラ予測部１０５へ入力される。本実施形態では、１つの符号化対象ブロックの単位を横１６画素×縦１６画素とする。また、読み出された符号化対象ブロックに隣接する画素のデータもフレームメモリ１０２から読み出されて、イントラ予測部１０５へ入力される。
【００１９】
イントラ予測部１０５は、符号化対象ブロックと、その符号化対象ブロックに隣接する画素のデータから生成される複数のイントラ予測画像データとのブロックマッチングをそれぞれに行う。その際、本実施形態に対応して決定された分割ブロックサイズに基づいて１６×１６画素のマクロブロックを分割する。そして、最も相関の高いイントラ予測画像データを選択して選択部１０６へ出力する。イントラ予測符号化を行う場合は、選択部１０６は常にイントラ予測部１０５からの出力を選択し、イントラ予測画像データを減算器１０７に出力する。
【００２０】
減算器１０７には、イントラ予測画像データとフレームメモリ１０２から読み出される符号化対象画像の画像ブロックのデータとが入力され、符号化対象画像の画像ブロックとイントラ予測画像との画素値の差分画像データを整数変換部１０８へ出力する。整数変換部１０８は、入力された画素値の差分画像データに整数変換を施し、量子化部１０９は、整数変換部１０８により整数変換された信号に対して量子化処理を行う。
【００２１】
エントロピー符号化部１１５は、量子化部１０９により量子化された変換係数をエントロピー符号化し、データストリームとして記録部１１８に出力する。ここで、量子化部１０９における量子化係数は、エントロピー符号化部１１５で発生した符号量や、符号量制御部１１７から設定される目標符号量などから量子化制御部１１６が算出する。記録部１１８は、エントロピー符号化部１１５から出力されたデータストリームを記録媒体１１９に記録する。
【００２２】
また、量子化部１０９により量子化された変換係数は、逆量子化部１１０にも入力される。逆量子化部１１０は、入力された変換係数を逆量子化し、逆整数変換部１１１は、逆量子化された信号に対して逆整数変換処理を施す。
【００２３】
加算器１１２には、逆整数変換されたデータと、イントラ予測部１０５で生成されたイントラ予測画像データとが入力されて加算される。加算後のデータは復号された再構成画像データとなり、イントラ予測部１０５に入力されてイントラ予測画像データの生成に用いられる。また、再構成画像データは、ループ内フィルタ１１３によって符号化歪の軽減処理が施され、後述するインター予測符号化の際に用いる参照画像データとして参照画像メモリ１１４に記憶される。
【００２４】
一方、インター予測符号化を行う場合、符号化単位となる符号化対象画像の画像ブロックがフレームメモリ１０２から読み出されて、動きベクトル決定部１０３へ入力される。また、動きベクトル決定部１０３は、参照画像データを参照画像メモリ１１４から読み出し、符号化対象画像の画像ブロックと参照画像とから動きベクトルを決定して、フレーム間動き補償部１０４に通知する。
【００２５】
フレーム間動き補償部１０４は、動きベクトル決定部１０３で決定された動きベクトルと、フレームメモリ１０２から得られた参照画像とを用いてインター予測画像データを生成し、動きベクトルと共に選択部１０６に提供する。選択部１０６は、インター予測符号化を行う場合には、インター予測画像データを選択して減算器１０７に提供する。
【００２６】
なお、フレームによっては、符号化対象ブロックごとにインター予測かイントラ予測かを選択することができる。イントラ予測を行う場合は前述のように動作し、イントラ予測の結果を選択部１０６へ通知する。インター予測を行う場合、選択部１０６はフレーム間動き補償部１０４からのインター予測画像データを選択して減算器１０７に出力する。選択部１０６は、動きベクトル決定部１０３におけるインター予測結果とイントラ予測部１０５におけるイントラ予測結果とに基づき、例えば、差分値が小さい方の予測方法を選択することができる。
【００２７】
減算器１０７では、符号化対象画像の画像ブロックと予測画像との差分を計算し、差分画像データが生成される。差分画像データは整数変換部１０８に出力され、その後の処理は前述したイントラ予測符号化の場合と同様である。
【００２８】
Ｈ．２６４では、マクロブロックにつき、予め用意された複数のブロックサイズのうち、符号量及び画質に基づき最適なものを選択する必要がある。本実施形態では、特にイントラ予測の分割ブロックサイズを決定する発明について述べる。イントラ予測の分割ブロックサイズには４×４、８×８、１６×１６（数値は画素数）の３種類があり、イントラ予測部１０５が符号化対象画像の絵柄（特徴）に基づき最適な分割ブロックサイズを選択する。
【００２９】
一般に、低周波数帯域の画像では、マクロブロック境界で発生するブロックノイズが、通常よりも視覚的に目立ちやすい。このため、低周波数帯域の画像について、符号量効率の点から分割ブロックサイズの大きいものを選択してしまうと、ブロックノイズが発生してしまう。これは、グラデーション掛かった空や、肌等が符号化対象画像である場合に顕著となり、イントラ予測にとって困難な画像（効率的に符号化できない画像）にあたる。
【００３０】
以下、図２を参照して、そのような低周波帯域の画像の構造について説明する。図２(a)は、８×８画素分の符号化対象画像のデータを示している。Ａは横方向の８画素分の断面を表し、図２Ｂは、断面Ａにおける輝度値を高さとして示している。図２(b)から分かるように、この画像では輝度値が図の左から右にかけてなだらかに下降しており、連続する画素値が徐々に変化している傾向、所謂グラデーションを構成している。図２(c)は、断面Ａの８画素を分割ブロックサイズ８×８で符号化したときの輝度値を高さで示している。また、図２(d)は、断面Ａの８画素を分割ブロックサイズ４×４で符号化したときの輝度値を高さで示している。
【００３１】
図２(b)から図２(d)を比較すると、４×４で符号化した方がブロックが小さいため、８×８で符号化した場合に比べて誤差（量子化誤差）が小さくなる。即ち、グラデーション画像においては、誤差は１６×１６、８×８、４×４の順で少なくなる。しかし、分割数が多ければ、それに伴いヘッダ等の情報量が増える。輝度値が変わらず同じ数値であれば１６×１６が最も効率的である。そこで、本実施形態では、１６×１６のブロックを優先的に使用しながらも、画素値の変化傾向に応じて適応的に８×８又は４×４ブロックを選択するように構成されたイントラ予測部を説明する。
【００３２】
本実施形態ではイントラ予測部１０５において、分割ブロックサイズの選択を最適化する方法を提供する。以下、イントラ予測部１０５内の分割ブロックサイズの決定処理について詳細に説明する。図３は、本実施形態に係るイントラ予測部１０５を詳細に記したブロック図である。入力端子３０１は、加算器１１２に接続され、符号化された後に局所復号化された画像（ローカルデコード画像）をモード評価部３０３に入力する。
【００３３】
入力端子３０２は、フレームメモリ１０２に接続され、符号化対象ブロックの画像を入力する。入力端子３０２から入力された画像ブロックは、モード評価部３０３、帯域演算部３０４、及びブロック傾斜演算部３０５にそれぞれ供給される。帯域演算部３０４とブロック傾斜演算部３０５とがグラデーション判定部３０８を構成する。
【００３４】
モード評価部３０３は、各イントラ予測モードの予測方向に従って、予測画素値と実画素値の差分絶対値和を評価値αとして算出する。評価値αは、複数のイントラ予測モードのそれぞれについて算出され、各イントラ予測モードの評価値を表す。算出された評価値αは分割ブロックサイズ決定部３０６に入力される。
【００３５】
帯域演算部３０４は、マクロブロック画像における周波数帯域を判定するため、画像ブロック内に含まれる画素値の分散値(Ｖａｒ)を算出し、その大きさで帯域を判定する。即ち、分散値が大きいほど高周波帯域側の画像と判定でき、分散値が小さいほど低周波帯域側の画像と判定することができる。また、周波数帯域の判定は、ＤＣＴ変換などの直交変換を行って得られた交流周波数成分の係数に基づいて行ってもよい。このようにして周波数帯域を判定した後、低周波数帯域以外の画像は、符号量及び上記の評価値αに基づいて最適な分割ブロックサイズを決定する通常の処理を行えばよい。一方、本発明を適用すべき低周波数帯域に属する画像については、これ以降で説明する処理を行い、上記の評価値αとグラデーション判定結果とに基づいて最適な分割ブロックサイズを決定する。
【００３６】
図４は、１６×１６画素のマクロブロックを更に小ブロックに分割した例を示す。本実施形態では、マクロブロック４００内を４×４画素で小ブロック４０１に分割した場合を例に説明を行う。即ち、１６×１６画素のマクロブロック４００は、１６個の小ブロック４０１で構成される。各小ブロック４０１については、それぞれに含まれる１６画素の輝度平均がＢij（Ｂ１１からＢ４４）として求められる。
【００３７】
次に、本実施形態に対応する分割ブロックサイズ決定処理を、図５のフローチャートを参照して説明する。まず、帯域演算部３０４が、Ｓ５０１で入力された符号化対象画像の１６×１６画素の画像ブロックについて分散値Ｖａｒを演算し、続くＳ５０２で分散値Ｖａｒと、第１の閾値Ｔｈ１との大小比較を行う。もし、分散値Ｖａｒが第１の閾値以下の場合（Ｓ５０２で「ＮＯ」）、Ｓ５０３に移行する。一方、分散値Ｖａｒが第１の閾値より大きい場合（Ｓ５０２で「ＹＥＳ」）、グラデーション判定部３０８が当該画像は低周波帯域画像では無いと判定する。そして、符号量及び評価値αから最適な分割ブロックサイズを決定する通常のイントラ予測を行い、本フローを終了する。通常のイントラ予測とは、具体的には、１６×１６サイズを優先的に使用するようにブロックサイズが決定されるものである。
【００３８】
ここで、第１の閾値Ｔｈ１は、低周波帯域の画像とそれ以外の画像とを分離するための閾値である。当該第１の閾値Ｔｈ１は、複数のサンプル画像について得られた分散値に基づき、低周波帯域の画像とそれ以外の画像とを適切に分離可能な値として設定することができる。
【００３９】
続くＳ５０３で分散値Ｖａｒと第２の閾値Ｔｈ２との大小比較を行う。ここで、第２の閾値Ｔｈ２は０に近い数値とし、平坦部の中にあってもＡＣ成分が殆どない画像ブロックを検出可能とする。もし、分散値Ｖａｒが第２の閾値Ｔｈ２より小さい場合（Ｓ５０３で「ＹＥＳ」）、グラデーション判定部３０８が、符号化対象画像が低周波帯域画像ではあるがグラデーションではないと判定し、Ｓ５１１に移行する。Ｓ５１１では、帯域演算部３０４が分割ブロックサイズ決定部３０６に対して、第２の閾値Ｔｈ２に基づく判定の結果を通知する。分割ブロックサイズ決定部３０６は、当該判定結果に従って、当該符号化対象ブロックの分割ブロックサイズを最大の１６×１６に決定する。Ｓ５１１では、１６×１６サイズに固定する以外に、１６×１６サイズが優先的に選択されるようにブロックサイズの決定に係る重み付け処理を行うようにしても良い。一方、分散値Ｖａｒが第２の閾値以上の場合（Ｓ５０３で「ＮＯ」）、Ｓ５０４へ移行する。
【００４０】
Ｓ５０４では、ブロック傾斜演算部３０５が、各小ブロック４０１について輝度平均Ｂ１１からＢ４４を計算し、その中から最大値Ｂmaxと最小値Ｂminとを決定する。続くＳ５０５では、ＢmaxからＢminまでの変化を算出する。具体的に、上記ＢmaxからＢminを引くことで、Ｂdiffを算出する。Ｂdiffは小ブロックの輝度レンジとなり、これが大きいとブロックノイズが見えやすくなる。このためＳ５０６では、Ｂdiffと輝度閾値Ｔｈ３との大小比較を行う。
【００４１】
Ｂdiffが第３の閾値であるところの輝度閾値Ｔｈ３より大きい場合（Ｓ５０６で「ＹＥＳ」）、グラデーション判定部３０８が、符号化対象画像がグラデーション画像を含むと判定し、Ｓ５０９に移行する。Ｓ５０９では、ブロック傾斜演算部３０５が分割ブロックサイズ決定部３０６に対して、輝度閾値Ｔｈ３に基づく判定の結果を通知する。分割ブロックサイズ決定部３０６は、当該判定結果に従って符号化対象ブロックの分割ブロックサイズを最小の４×４に決定する。Ｓ５０９では、４×４サイズに固定する以外に、４×４サイズが優先的に選択されるようにブロックサイズの決定に係る重み付け処理を行うようにしても良い。
一方、Ｂdiffが輝度閾値以下の場合（Ｓ５０６で「ＮＯ」）、ブロック傾斜演算部３０５は、Ｓ５０７でＢdeltaを算出する。Ｂdeltaは隣接する小ブロック４０１間での差分絶対値を計算することで求められる。
【００４２】
例えば、Ｂ１１に隣接するブロックはＢ１２、Ｂ２１、Ｂ２２であり、｜Ｂ１１−Ｂ１２｜、｜Ｂ１１−Ｂ２１｜、｜Ｂ１１−Ｂ２２｜を求める。
【００４３】
このようにして全ての隣接するブロック間の差分絶対値を求める。次に、求めたＢdeltaの最大値をMaxＢdeltaとし、Ｓ５０８ではMaxＢdeltaと第４の閾値であるところの差分閾値Ｔｈ４の大小比較を行う。MaxＢdeltaが差分閾値Ｔｈ４より大きい場合（Ｓ５０８で「ＹＥＳ」）、グラデーション判定部３０８が、符号化対象画像がグラデーション画像を含むと判定し、Ｓ５０９に移行する。Ｓ５０９では、ブロック傾斜演算部３０５が分割ブロックサイズ決定部３０６に対して、差分閾値Ｔｈ４に基づく判定の結果を通知する。分割ブロックサイズ決定部３０６は、当該判定結果に従って符号化対象ブロックの分割ブロックサイズを４×４に決定する。Ｓ５０９では、４×４サイズに固定する以外に、４×４サイズが優先的に選択されるようにブロックサイズの決定に係る重み付け処理を行うようにしても良い。
【００４４】
また、MaxＢdeltaが差分閾値Ｔｈ４以下の場合（Ｓ５０８で「ＮＯ」）、Ｓ５１０に移行する。Ｓ５１０では、ブロック傾斜演算部３０５が分割ブロックサイズ決定部３０６に対して、差分閾値Ｔｈ４に基づく判定の結果を通知する。分割ブロックサイズ決定部３０６は、当該判定結果に従って符号化対象ブロックの分割ブロックサイズを８×８に決定する。Ｓ５１０では、８×８サイズに固定する以外に、８×８サイズが優先的に選択されるようにブロックサイズの決定に係る重み付け処理を行うようにしても良い。
【００４５】
イントラ予測部１０５では、以上の手順決定された分割ブロックサイズに基づいて、モード評価部３０３で得られた複数のイントラ予測モードによる評価値から対応するブロックサイズの最適な評価値を選択する。そして、そのイントラ予測の結果であるイントラ予測画像データを出力端子３０７から出力し、選択部１０６に供給する。
【００４６】
なお、図５では低周波帯域の画像とそれ以外の画像との分離を分散値に基づいて行う場合を説明したが、その代わりに直交変換を行って得られた交流周波数成分の係数に基づいて行ってもよい。この場合、交流周波数成分のうち、高周波帯域に属する成分について有意な係数が存在するか否かによって、分離することができる。
【００４７】
なお、上記では、符号化対象の画像ブロックであるマクロブロック内に閉じた処理を説明したが、図６に示すようにマクロブロックの外側に位置する、隣接小ブロックを考慮して分割ブロックサイズを決定することもできる。この場合、図５のＳ５０７でＢdeltaの代わりにＡＢdeltaを算出する。ＡＢdeltaは上記のＢdeltaに加え、マクロブロック外の隣接する小ブロックで差分絶対値を計算することで求める。例えば、Ｂ１１に隣接するマクロブロック外の小ブロックはＡ００、Ａ０１、Ａ０２、Ａ１０、Ａ２０であり、｜Ｂ１１−Ａ００｜、｜Ｂ１１−Ａ０１｜、｜Ｂ１１−Ａ０２｜、｜Ｂ１１−Ａ１０｜、｜Ｂ１１−Ａ２０｜と求めていく。ただし、図６におけるＡ５０から横にＡ５５まで、及びＡ０５から縦にＡ４５までの小ブロックは参照しなくてもよい。
【００４８】
このようにしてマクロブロック内外の全ての隣接するブロック間の差分絶対値を求め、その内の最大値MaxＡＢdeltaを決定する。そして、続くＳ５０８では、MaxＡＢdeltaと差分閾値Ｔｈ４との大小比較を行う。MaxＡＢdeltaが差分閾値Ｔｈ４より大きい場合、Ｓ５０９で分割ブロックサイズは４×４に決定する。また、MaxＡＢdeltaが差分閾値以下の場合、Ｓ５１０で分割ブロックサイズは８×８に決定する。
【００４９】
以上のようにして、本実施形態では、マクロブロックの分散値、マクロブロック内或いはマクロブロック周辺を含めた輝度レンジ、小ブロック間の差分絶対値に基づいて、適用すべき分割ブロックサイズを選択することができる。これにより、低周波数帯域となる画像の部分において好ましいイントラ予測時の分割ブロックサイズを容易に選択でき、符号化時の演算処理を軽減させることができる。また、複数のパラメータを用いて閾値との比較によって、適応的に分割ブロックサイズを決定するので、グラデーション含む画像を符号化した際に発生するブロックノイズによる縞模様を軽減することができる。
【００５０】
なお、上述の実施形態において用いられる閾値は固定的でなくてもよく、分散値Varの大きさに応じて、複数の組合せを用意してもよい。また、本実施形態では、４×４が最小のブロックサイズとして説明したが、最小ブロックのサイズは４×４よりも大きくてもよいし、或いは、小さくてもよい。また、１画素単位に処理してもよい。
【００５１】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2011239365.tif 000003
【図２】
2011239365.tif 000004
【図３】
2011239365.tif 000005
【図４】
2011239365.tif 000006
【図５】
2011239365.tif 000007
【図６】
2011239365.tif 000008