(57)【要約】【課題】符号化に使用可能な複数のブロック形状から符号化効率の調査を行うことなく、簡単な演算で符号化に用いるブロック形状を決定若しくは限定することができる画像符号化装置を提供する。【解決手段】Ｐ−ピクチャの入力画像は、動き評価／符号化制御部１０に入力され、差分値算出部２１は、動き予測に使用可能な複数のブロック形状に対応して設定された代表画素値の差分値を算出し、比較判定部２２は差分値を閾値と比較し、その比較結果により動き予測に使用する１つのブロック形状を、符号化効率の調査を行うことなく決定する。【選択図】図１
2008005243.tif 000002
【特許請求の範囲】
【請求項１】
第１のブロック形状と、該第１のブロック形状を分割した第２のブロック形状とを含む複数のブロック形状から選択されたブロック形状を処理単位として、符号化対象となる画像の符号化を行う符号化手段と、
前記複数のブロック形状に対して複数の代表画素値を設定し、前記複数の代表画素値間の差分値を算出する差分値算出手段と、
前記差分値を閾値と比較した比較結果から前記複数のブロック形状における前記符号化手段により使用する又は使用しないブロック形状を判定する判定手段と、
を具備したことを特徴とする画像符号化装置。
【請求項２】
前記符号化手段が、既に符号化された別画面の参照画像を参照して画像の符号化を行うインター符号化の場合には、前記判定手段は、前記インター符号化に使用するブロック形状を判定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記符号化手段が、符号化対象の画像内における別の領域を参照して符号化を行うイントラ符号化の場合には、前記判定手段は、前記イントラ符号化に使用しないブロック形状を判定することを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記第２のブロック形状が前記第１のブロックを水平及び垂直方向に分割して形成される複数の配列ブロックからなる場合、前記差分値算出手段は、前記各配列ブロックにおける前記複数の代表画素値間の差分値の算出の他に、隣接する配列ブロック間でさらに前記差分値の差分値を算出することを特徴とする請求項３に記載の画像符号化装置。
【請求項５】
前記ブロック形状は、水平及び垂直方向の画素数が、１６×１６、１６×８，８×１６，８×８の４種類のものを含むことを特徴とする請求項２に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を所定のブロックサイズを用いて符号化する画像符号化装置に関する。
【背景技術】
【０００２】
動画像を符号化する方法としてＭＰＥＧ（Moving Picture Experts Group）２が普及しているが、さらに効率率を向上して符号化する方法としてＨ．２６４が標準化された。    Ｈ．２６４の符号化方法は、符号化を行う際に、複数のブロック形状から選択してフレーム間のインター（inter)符号化やフレーム内のイントラ(intra)符号化を行う。  
このように符号化する場合、符号化効率（圧縮率）が高いブロック形状を選択して符号化することが望ましい。  
動画像を符号化する場合、符号化対象のフレーム内の画像で符号化するイントラ符号化と、他のフレームの画像を参照し、その画像からの動きを示す動きベクトルを求めて、他のフレームの画像をも利用して符号化するインター符号化とがある。
【０００３】
例えば特許文献１の従来例は、複数のブロック形状を用いてイントラ或いはインターの予測画像を作成する場合、複数のブロック形状各々で予測の誤差を計算する。そしてこの従来例は、その誤差が閾値より小さくなる場合のブロック形状において、最も大きい分割モードのブロック形状を選択する。  
この従来例は、符号化を行う際に利用できるブロック形状が複数ある場合、複数の各ブロック形状で夫々予測の誤差の算出を行い、その算出結果により、実際に用いるブロック形状を決定する。このため、この従来例は、実際に用いるブロック形状を決定するまでに、多大な計算が必要になる欠点があった。  
このため、通常の符号化方法は、例えば前のフレームから後のフレームの画像を予測符号化するＰ−チクチャと呼ばれる画像を符号化する場合、Ｈ．２６４の規格上で利用できる全てのブロック形状を利用しないで、その一部となる複数のブロック形状に対してのみ符号化効率を調査し、その調査結果から使用するブロック形状を決定していた。
【０００４】
この方法は、全てのブロック形状に対して符号化効率を調査する場合に比べると、選択使用する数を減らしたことにより、符号化効率を調査する処理量を削減できる。  
しかし、この場合のような符号化効率を調査することを行わないで簡単な（換言すると遙かに少ない）演算で、実質的に同等の画質が得られるようにブロック形状を決定若しくは限定できる装置を実現できると、非常に有用となる。
【特許文献１】特開２００５−２６８８７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は上述した点に鑑みてなされたもので、符号化に使用可能な複数のブロック形状から符号化効率の調査を行うことなく、簡単な演算で符号化に用いるブロック形状を決定若しくは限定することができる画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像符号化装置は、第１のブロック形状と、該第１のブロック形状を分割した第２のブロック形状とを含む複数のブロック形状から選択されたブロック形状を処理単位として、符号化対象となる画像の符号化を行う符号化手段と、
前記複数のブロック形状に対して複数の代表画素値を設定し、前記複数の代表画素値間の差分値を算出する差分値算出手段と、
前記差分値を閾値と比較した比較結果から前記複数のブロック形状における前記符号化手段により使用する又は使用しないブロック形状を判定する判定手段と、
を具備したことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、符号化に使用可能な複数のブロック形状から符号化効率の調査を行うことなく、簡単な演算で符号化に用いるブロック形状を決定若しくは限定することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施例を説明する。  
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像符号化装置１の構成を示す。この画像符号化装置１には、撮像装置としてのビデオカメラ２により撮像され、信号処理されたデジタルのビデオ信号が入力画像として入力される。  
入力画像は、Ｉ−ピクチャ（フレーム内符号化ピクチャ）の画像の場合には、減算器３をスルーして離散コサイン変換（ＤＣＴ）＆量子化部４に入力される。このＤＣＴ＆量子化部４は、所定ブロックサイズの領域に分割された画像に対してＤＣＴ処理を行い、冗長な情報を圧縮すると共に、量子化する。  
このＤＣＴ＆量子化部４の出力は、エントロピー符号化部５に入力されると共に、逆量子化＆逆ＤＣＴ部６に入力される。エントロピー符号化部５は、量子化された画像に対して可変長の符号化を行い、符号化データを出力する。
【０００９】
また、逆量子化＆逆ＤＣＴ部６は、量子化された画像に対して逆量子化を行い、さらに逆ＤＣＴ処理を行い、変換前の画像を生成し、加算器７を経てブロックノイズを除去するデブロックンギフィルタ８に出力する。デブロックンギフィルタ８が通された画像は、フレームメモリ９に格納され、予測する場合の参照画像として使用される。  
また、ビデオカメラ２からの入力画像は、動き評価と符号化制御を行う動き評価／符号化制御部１０に入力される。  
この動き評価／符号化制御部１０は、Ｐ−ピクチャ（前方向予測ピクチャ）の画像の場合には、インター符号化する場合の処理単位となるブロック形状を複数のブロック形状から簡単な演算により決定（判定）すると共に、決定したブロック形状ですでに符号化済みの参照画像と符号化の対象となる画像とで誤差が最も小さくなる予測符号化ブロック形状（の位置）を検出する。  この場合、参照画像側のブロック形状の位置から符号化対象の画像側における予測形状ブロック形状への動き量が動きベクトルとなる。
【００１０】
そして、動きベクトルが入力される（インター符号化手段を構成する）動き補償部１１は、（フレームメモリ９に格納された既に符号化されたフレームの）参照画像を参照して、動き補償の予測符号化を（決定されたブロック形状の処理単位で）行い、予測符号化された画像を減算器３と加算器７に出力する。  
なお、この減算器３には、イントラ予測が使用された場合には、（イントラ符号化手段を構成する）イントラ予測部１２から符号化対象のフレームにおける既に符号化された領域から予測された画像が（決定されたブロック形状の処理単位で）切替スイッチ１３を経て入力される。  
減算器３は、入力画像から予測されたブロック形状の画像を減算して、その差分信号をＤＣＴ＆量子化部４に出力し、ＤＣＴ＆量子化部４は、この差分信号に対してＤＣＴ処理及び量子化をする。また、加算器７は、逆量子化＆逆ＤＣＴ部６を経て生成された差分信号に対して予測された画像部分を加算して参照画像を生成する。
【００１１】
また、動き評価／符号化制御部１０は、ＤＣＴ＆量子化部４及びエントロピー符号化部５により発生する情報量を目的値に近づける制御処理や、イントラ予測部１２による符号化を選択する。また、動き補償／符号化制御部１０は、切替スイッチ１３の切替の制御をする。  
本実施の形態においては、動き評価／符号化制御部１０は、動き予測を行う際に使用するブロック形状を決定するために、符号化する入力画像におけるマクロブロック内の画像データを代表となる代表画素値の差分値により簡単に解析し、その解析結果により、符号化の処理単位となるブロック形状を決定（判定）する。この場合、代表画素値として、以下のように境界画素の画素値を用いる。
【００１２】
動き評価／符号化制御部１０は、（最も小さい画素数サイズの）ブロック形状の境界画素から差分値を算出する差分値算出部２１と、その算出された結果を閾値と比較して、所定の条件を満たすか否かの判定を行う比較判定部２２とを備えている。そして、この動き評価／符号化制御部１０は、比較判定部２２による判定結果から動き予測の符号化を行う際の処理単位となるブロック形状を決定（判定）する。  
そして、動き評価／符号化制御部１０は、そのブロック形状で動きベクトルを算出し、動き補償部１１は、そのブロック形状で動き予測を行う。  
このように本実施の形態は、簡単な方法で符号化する画像のマクロブロック内の画像データを、境界画素を用いて簡単に解析する。  
以下、本実施の形態に係る画像符号化装置１による動き予測の符号化に使用するブロック形状を決定する方法を具体的に説明する。
【００１３】
入力画像としてフレーム間の順方向の予測符号化画像、いわゆるＰ−ピクチャとして符号化される画像が動き評価／符号化制御部１０に入力された場合、Ｈ．２６４の規格上では図２に示す８種類のブロック形状が動き予測の場合に使用可能である。  
上述したように実際には、図２における（１）から（４）までの４種類のブロック形状が主に採用されている。つまり、水平及び垂直方向の画素数が16x16,16x8，8x16,8x8のブロック形状のものであり、16x8，8x16,8x8のブロック形状のものは、最大のブロック形状となる16x16のマクロブロックを分割して形成されるものとなっている。  
このため、本実施の形態に係る画像符号化装置１は、上述した差分値算出部２１と比較判定部２２とを用いて、図３に示す簡単な方法により、図２の（１）から（４）までのブロック形状の中から１つの種類を決定する。  
そして、この画像符号化装置１は、１つの種類のブロック形状を用いて予測符号化を行い、残りの３つの種類のブロック形状に対しては符号化効率の調査を行わない。これにより、本実施の形態は、４つの種類のブロック形状に対して符号化効率の調査を行う従来例の場合（この方法で符号化した場合を普通の方法と記す。そして後述の図１５及び図１６で比較して示す）よりも、処理量を大幅に削減する。
【００１４】
Ｐ−ピクチャの画像が動き評価／符号化制御部１０に入力されると、図３のステップＳ１に示すように差分値算出部２１は、図２の（１）から（４）までのブロック形状に対応して、ブロック形状の境界画素値に対する差分値を算出（取得）する処理を行う。  
この場合におけるブロック形状の境界画素値は、図４に示すマクロブロック内の画素表示に対して、図５に示すように定義される。  
図４に示すように16x16のマクロブロックは、水平（横）方向に、最上位の行に沿ったa(0,0）からa(15,0)までの画素から垂直（縦）方向の最下位の行に沿ったa(0,15)からa(15,15)までの画素が配置されたものとなる。  
なお、本明細書においては、簡単化のため画素a(0,0)の画素値もa(0,0)により記載する。
【００１５】
図２の（１）から（４）までの４種類のブロック形状において、（４）の8x8のブロック形状が最も小さいブロックであるため、この8x8のブロック形状に対応してブロック形状の境界画素が図５に示すように定義されている。  
具体的には、中央の画素a(8,8)と、この画素a(8,8)の縦方向の上、下の画素a(8,0)、a(8,15)と、横方向の右、左の画素a(0,8)、a(15,8)との５画素が差分値取得のための境界画素として定義される。そして、この図５に示すように上下、左右方向の境界画素の差分値が算出される。上記差分値算出部２１は、図５或いは以下に示す差分値を算出する。
【００１６】
sub0 = a(8,8)−a(8,0)
sub1 = a(8,8)−a(0,8)
sub2 = a(8,8)−a(15,8)
sub3 = a(8,8)−a(8,15)
これらの差分値は、図３のステップＳ２に示すように比較判定部２２に入力され、比較判定部２２は予め用意された、条件判定のための閾値inter_thresholdと比較する比較処理を行う。なお、この閾値inter_thresholdは、固定値でも変動する値でも良い。後述する他の閾値に関しても同様に固定値でも変動する値に設定しても良い。なお、後述する普通方法の場合との比較に利用した例では、閾値inter_threshold＝120に設定した場合で示している。
【００１７】
上記のように境界画素に対して差分値を算出して、その差分値の絶対値が閾値を超えるか否かを判定することにより、その部分にエッジのような（冗長でない）絵柄のデータが含まれるか否かを判定する。  
そして、本実施の形態は、以下のようにエッジのような絵柄の有無を、閾値を超える場合の差分値で検出した場合には、基本的な指針としてその絵柄部分を含む画像部分を動き予測の符号化を行う処理単位のブロック形状としてより小さくする、つまり分割するようにしてブロック形状を決定する。  
また、この比較処理により、比較判定部２２は、さらにステップＳ３に示すように以下の条件1，或いは条件2を満たすか否かに対する判定を行う。
【００１８】
条件1：|sub0| > inter_threshold もしくは|sub3| > inter_threshold
条件2：|sub1| > inter_threshold もしくは|sub2| > inter_threshold
そして、比較判定部２２は、上記の条件1，或いは条件2を満たすか否かの判定結果に応じて、図６に示すようにブロック形状を決定（判定）する。  
つまり、比較判定部２２は、条件1及び条件2を満たす場合には8x8ブロック形状を、条件1を満たし、かつ条件2を満たさない場合には16x8ブロック形状を、条件1を満たさないで、かつ条件2を満たす場合には8x16ブロック形状を、条件1及び条件2のをいずれも満たさない場合には16x16ブロック形状を符号化に用いる処理単位とするように決定（判定）する。  
そして、この動き評価／符号化制御部１０は、決定されたブロック形状を用いて、参照画像から予測誤差が最も小さくなる動き量の動きベクトルを算出し、決定したブロック形状の情報と共に動きベクトルを動き補償部１１に送る。
【００１９】
この動き補償部１１は、動きベクトルにより、決定されたブロック形状部分の動き予測画像（符号化画像）を参照画像から生成して、減算器３に出力する。そして、減算器３は、入力画像との差分信号を生成し、ＤＣＴ／量子化部４に出力する。  
このように本実施の形態に係る画像符号化装置１は、Ｐーピクチャの画像を動き予測でインター符号化する場合、代表画素値の差分値が閾値を超えるか否か条件に応じて、Ｈ．２６４の規格上選択できる複数のブロック形状から１つを決定する。この決定により、画像符号化装置１は、夫々のグロック形状で符号化効率の調査を行う従来例の場合（普通の方法の場合）よりも、その処理量を大幅に削減することができる。  
また、この画像符号化装置１は、普通の方法の場合と比較して、標準画像における画質を殆ど劣化させることなく、符号化することができる。
【００２０】
例えば図１５及び図１６は、本実施の形態に係る画像符号化装置１の符号化方法と、上記普通の方法とにより、標準画像としてのforeman ＣＩＦの３００フレームのＰＳＮＲと、処理ステップ数との比較例を示す。なお、図１６は、測定時間の短縮のため、foreman ＣＩＦの３０フレームの場合で示している。  
図１５及び図１６は、本実施の形態の処理の他に、以下の第２、第３の実施の形態の内容も関係しているが、画質を殆ど低下することなく、普通の方法に比較して処理量を大幅に削減（図１６では３割程度）できることを示している。  
本実施の形態に係る画像符号化装置によるブロック形状を決める方法は、第２、第３の実施の形態の場合よりも、より有効にブロック形状を決定すると考えられるため、処理量を削減できるその効果は非常に大きいと考えられる。  
なお、本実施の形態において、図２における16x16のマクロブロック、16x8、8x16、8x8の４種類のブロック形状から１つの種類のブロック形状を決定する構成と方法を説明したが、8x8、8x4、4x8、4x4のサブブロックの場合にも同様の処理で１つの種類のブロック形状を決定することが出来る。
【００２１】
この場合には、図４における16x16ブロックサイズを8x8ブロックサイズにし、境界画素値もこの変更に応じて同様に変更すれば容易に適用できることは明らかである。  
このように本実施の形態に係る画像符号化装置１は、符号化する画像のマクロブロック内のデータを代表画素値の差分値から簡単な演算により解析し、その解析結果により(1)から(4)までの複数のブロック形状から符号化に用いる１種類のブロック形状を決定する。  
このように画像符号化装置１は、複数のブロック形状の場合においてそれぞれ符号化効率を調査する処理を不要とし、かつ少なくとも標準的な画像の場合には実質的にその画質を殆ど劣化させずに符号化することができる。このため、画像符号化装置１は、従来例よりも高速に画像の符号化処理ができる。
【００２２】
（第２の実施の形態）
次に本発明の第２の実施の形態を説明する。Ｐ−ピクチャを符号化する場合には、第１の実施の形態で説明したように既に符号化された前フレーム（前画面）の画像を参照画像としてインター符号化を行うことができる。  
Ｐ−ピクチャを符号化する場合には、このインター符号化の他に、同じ符号化対象の画像における別の領域を参照画像としてイントラ予測（イントラ符号化）を行うこともできる。  
本実施の形態に係る方法は、第１の実施の形態に係る方法に類似した方法で、イントラ符号化を行う際に選択使用できる複数のブロック形状から使用しないブロック形状の決定（判定）する。これにより、複数のブロック形状から符号化効率の調査に必要なブロック形状の数をより少なくなるように限定する。
【００２３】
従って、使用しないブロック形状を簡単に（つまり少ない処理量で）決定（判定）することにより、符号化効率の調査が必要に使用な処理量を削減する。  
換言すると、簡単な演算により使用しないブロック形状を決定できるため、少なくともこの使用しないブロック形状での符号化効率の調査を不用とし、その場合の処理量を削減できる。  
本実施の形態に係る画像符号化装置は、図１に示した画像符号化装置１と同じ構成である。  
第１の実施の形態においては、動き評価／符号化制御部１０は、その動き評価の機能を主に利用していた。これに対して、本実施の形態は、動き評価／符号化制御部１０は、最初にイントラ予測部１２によるイントラ符号化を行う際のブロック形状を複数のブロック形状から限定する処理を行うことになる。より分かり易く述べると、本実施の形態は、イントラ符号化を行う際に選択使用できる複数種類のブロック形状に対して、使用しないブロック形状を決定（判定）する処理を行う。
【００２４】
この処理により、イントラ符号化のためのブロック形状が適当でないと判定した場合には、第１の実施の形態で説明したようにインター符号化が行われる。  
イントラ符号化を行う場合におけるＨ．２６４の規格上では、その場合の処理単位として１個の16x16のブロック形状か、１６個の4x4のブロック形状のものから選択できる（baseline-profile）。  
本実施の形態に係る動き評価／符号化制御部１０は、これらの処理単位に対応して、16x16のブロック形状の場合には、その代表画素値を図７に示すように決定する。  
そして、差分値算出部２１は、この図７或いは以下に示すように差分値を算出する。
【００２５】
sub0'= a(8,15)−a(8,0)
sub1'= a(15,8)−a(0,8)
また、これらの差分値（の絶対値）から比較判定部２２は、以下の閾値intra16x16_thresholdを超える条件式を満たすか否かの判定を行う。  
条件3：|sub0'| > intra16x16_threshold
条件4：|sub1'| > intra16x16_threshold
なお、図１５及び図１６の評価に用いた場合には、intra16x16_threshold=3である。    また、比較判定部２２は、上記の条件式を満たすか否かの判定結果により、条件3及び条件4における一方を満たす場合には、この16x16のブロック形状でのイントラ符号化を行わないように決定（判定）する。
【００２６】
このように本実施の形態は、簡単な解析処理により、この16x16のブロック形状でのイントラ符号化を行わないように決め、これにより、画質の劣化を抑制してその処理を省く。  
また、このように16x16のブロック形状でのイントラ符号化を行わないとした場合には、残りの選択肢となる4x4のブロック形状に対して、同様に使用しないか否かを決定（判定）する処理を行う。  
この場合には、4x4のブロック形状が縦及び横方向に４個づつ配置されたものになるため、ここでは各4x4のブロック形状部分に対して、それぞれ代表画素値を図８に示すように設定して各代表画素値の差分値を以下のように算出する。
【００２７】
sub(x,y,0)=a(4x+2,4y+3)−a(4x+2,4y)
sub(x,y,1)=a(4x+3,4y+2)−a(4x,4y+2)
ただし，0<= x,y < 4。  
なお、sub(x,y,z)におけるz=0は、横方向の差分値、z=１は縦方向の差分値を示す。そして、上記のような差分値に対して、図９或いは以下のように縦及び横方向に隣接する差分値に対する差分値（つまり、代表画素値の差分値に対する差分値）を算出する。なお、図８における差分値は、図９においては点線で示している。
【００２８】
sub_x(x,y)=sub(x+1,y,0)−sub(x,y,0)            0<=x,y<3
sub_y(x,y)=sub(x,y+1,1)−sub(x,y,1)            0<=x,y<3
このようにして、比較判定部２２は、算出された差分値（の絶対値）が、以下の閾値intra4x4_thresholdを超えるか否かの条件の判定を行う。  
条件5：|sub_x(x,y)|>intra4x4_threshold（0<=x,y<3）のどれかで上式を満たした場合
条件6：|sub_y(x,y)|>intra4x4_threshold（0<=x,y<3）のどれかで上式を満たした場合
なお、図１５及び図１６の評価に用いた場合には、intra4x4_threshold=25である。  
そして、 処理実行の条件として、条件5と条件6をともに満たす場合は4x4のブロック形状での処理を省く。換言すると、条件5と条件6を満たさない場合及びその一方のみを満たす場合は、4x4のブロック形状での処理を行うことが可能と判定する。
【００２９】
上述したＰ−ピクチャの入力画像に対して本実施の形態に係る符号化を行うブロック形状を限定する方法は、図１０に示すようになる。この方法は、Ｐ−ピクチャを符号化する場合、最初にイントラ符号化を行うためのブロック形状を限定する判定を行い、その判定結果によりイントラ符号化若しくはインター符号化を行うことになる。  
Ｐ−ピクチャが入力されると、ステップＳ１１に示すように差分値算出部２１は、図７に示した16x16のブロック形状に対応して設定した代表画素値を用いて差分値算出を行う。そして、次のステップＳ１２において比較判定部２２は、閾値と比較して、条件3及び条件4の少なくともその一方の条件を満たすか否かの判定処理を行う。  
そして、一方の条件を満たすと判定した場合には、ステップＳ１３に示すように比較判定部２２は、16x16のブロック形状を使用しないと決定して、次のステップＳ１４に進む。
【００３０】
ステップＳ１４において、差分値算出部２１は、図８に示した4x4のブロック形状に対応して設定した代表画素値の差分値、さらに図９に示すようにその差分値の算出を行う。そして、次のステップＳ１５において比較判定部２２は、閾値と比較して、条件5及び条件6の両方の条件を満たすか否かの判定処理を行う。  
そして、両方の条件を満たすと判定した場合には、ステップＳ１６に示すように比較判定部２２は、4x4のブロック形状を使用しないと決定（判定）して、次のステップＳ１９に進む。ステップＳ１９は、ステップＳ１１からＳ１６までの処理により、イントラ符号化に適さないと判定されたため、インター符号化を行うブロック形状の決定処理を行う。このブロック形状の決定処理方法は、第１の実施の形態で説明した方法となる。
【００３１】
一方、ステップＳ１２の判定において、一方の条件を満たさないと判定した場合には、ステップＳ１７に示すように比較判定部２２は16x16ブロック形状をイントラ符号化に使用可能と決定（判定）する。  
また、ステップＳ１５の判定において、両方の条件を満たさないと判定した場合には、ステップＳ１８に示すように比較判定部２２は、4x4ブロック形状をイントラ符号化に使用可能と決定（判定）する。  
このように本実施の形態によれば、イントラ符号化を行う際の処理単位となるブロック形状を簡単な処理で使用しないものを決めることができる。そして、本実施の形態は、使用しないブロック形状を簡単な処理で決めることにより、そのブロック形状で符号化効率の調査を行う処理量を省く（削減する）ことができることになる。
【００３２】
なお、上述した4x4のブロック形状をイントラ符号化に用いるか否かの決定（判定）方法を説明したが、本実施の形態はこれに限定されるものではなく，8x8ブロック形状でイントラ符号化する場合の決定（判定）方法として拡張して利用することができる。  
また、上記の説明では、Ｐ−ピクチャの入力画像の場合に対して説明したが、イントラピクチャの場合に適用しても良い。この場合には、Ｈ．２６４の規格上では２つの種類のブロック形状のみから選択使用できる。  
このため、例えばより演算が簡単に済む16x16のブロック形状に対してそのブロック形状を使用しないか否かの判定を行う。そして、条件3及び条件4の少なくとも一方に該当する場合には、この16x16のブロック形状を符号化に使用しないで、4x4のブロック形状を利用する。一方、条件3及び条件4の少なくとも一方に該当する場合には、この16x16のブロック形状を使用するようにすれば良い。
【００３３】
（第３の実施の形態）
次に本発明の第３の実施の形態を説明する。本実施の形態は、イントラ符号化を所定のブロック形状で行う場合における複数のモードから実際に使用するモードを、簡単に決定する装置及びその方法に関する。  
本実施の形態は、代表画素値の差分値を算出して、その差分値を閾値とを比較した比較結果により使用するモードを決定（判定）する。この方法を採用することにより、モード決定に要する処理量を削減することができる。  
本実施の形態に係る画像符号化装置は、第２の実施の形態と同様の構成であり、第２の実施の形態において、イントラ予測部１２が4x4のブロック形状でイントラ予測を行う場合における、そのモードを決定する。
【００３４】
4x4のブロック形状でイントラ予測の符号化を行う場合、Ｈ．２６４の規格上では９モード存在する。普通、良く利用されるのは図１１の（１）から（３）までに示す垂直、水平、平均値の３つのモードである。  
なお、図１１の（１）の垂直モードは、黒丸で示す画素値で、垂直方向の下側の画素を予測（置換）する。水平モードは、水平方向に同様の予測（置換）を行うものであり、平均値モードは平均値で置換する。  
本実施の形態に係る動き評価／符号化制御部１０は、これら３つのモードでイントラ予測の符号化を行う場合、図８に示した差分値の計算結果を利用することでモードの限定を実現する。
【００３５】
この場合の差分値の算出は、上述した場合と同じ以下の式となる。  
sub(x,y,0)=a(4x+2,4y+3)−a(4x+2,4y)
sub(x,y,1)=a(4x+3,4y+2)−a(4x,4y+2)
ただし，0<= x,y < 4．  
なお、図８に示した差分値を記憶しておくことにより、上記の差分値の計算を省略することもできる。  
そして、比較判定部２２は、算出された差分値（の絶対値）が閾値intra4x4pre_thresholdを超えるか否かの判定を16個の4x4ブロック形状それぞれに対して行う。つまり、比較判定部２２は、以下の条件7及び条件8を満たすか否かの判定を行う。  
条件7：|sub(x,y,0)|>intra4x4pre_threshold       
条件8：|sub(x,y,1)|>intra4x4pre_threshold       
なお、図１５及び図１６の評価に用いた場合には、intra4x4pre_threshold=40である。  そして、この比較判定部２２は、条件7及び条件8に対する判定結果により、処理を実行しないモードを図１２に示すように決める。
【００３６】
つまり、条件7を満たす場合には、図１１の（１）の垂直モードを使用しない。また、条件8を満たす場合には、図１１の（２）の水平モードを使用しない。  
また、4x4のイントラ予測の場合と同様に16x16のブロック形状でのイントラ予測には、Ｈ．２６４の規格上では４モード存在するが、良く利用されるのは図１１に示した３つのモードである（但し、ブロックのサイズは16x16である）。  
そして、図７の差分値を計算し，その結果を閾値と比較することでモードの限定を実現する。  
つまり、上述したように差分値算出部２１は、以下の差分値を算出する。  
sub0'=a(8,0)−a(8,15)
sub1'=a(0,8)−a(15,8)
そして、比較判定部２２は、算出された差分値（の絶対値）が閾値intra16x16pred_thresholdを超えるかにより、以下の条件を満たすかの判定を行う。
【００３７】
条件9：|sub0'|>intra16x16pred_threshold
条件10：|sub1'|>intra16x16pred_threshold
なお、図１５及び図１６の評価に用いた場合には、intra16x16pre_threshold=50である。  
そして、条件9及び条件10を満たすか否かの判定結果により図１３に示すように実行に使用しないモードを決める。図１３は図１２とブロックサイズが異なるが基本的には、同様の決定方法である。  
本実施の形態に係る使用しないモードを決定する方法の処理は図１４に示すようになる。ステップＳ２１において、差分値算出部２１は、代表画素値から差分値を算出する。そして、ステップＳ２２に示すように比較判定部２２は、差分値と閾値との比較処理を行う。さらに次のステップＳ２３において比較判定部２２は、上記条件7及び条件8或いは条件9及び条件10を満たすか否かの条件判定を行い、その判定結果から使用しないモードを決定（判定）する。
【００３８】
本実施の形態は、第２の実施の形態の場合と類似して、簡単に使用しないモードを決定することができる。このため、本実施の形態は、この使用しないモードを符号化効率の調査により決定するのに要する処理量を削減することができる。  
なお、この方法は、同様に8x8のイントラ予測を行うモード限定にも拡張して利用することが出来る。なお、上述した各実施の形態において、代表画素値などは図示したものに限定されるものでなく、例えばその代表画素値に隣接する画素値などを用いても良い。    また、閾値等も上述した値に限定されるものでない。また、上述した実施の形態においては、Ｈ．２６４の規格の沿って説明したが、本発明はこれに限定されるものでなく、例えばＭＰＥＧ４等、他の規格の画像符号化装置の場合にも広く適用できるものである。
【図面の簡単な説明】
【００３９】
【図１】本発明の第１の実施の形態に係る画像符号化装置の構成を示すブロック図。
【図２】Ｈ．２６４の規格上で使用可能な動き予測用の複数のブロック形状を示す図。
【図３】複数のブロック形状から動き予測の符号化に使用するブロック形状を決定する方法を示すフローチャート。
【図４】マクロブロックにおける画素値表示を示す図。
【図５】図４のマクロブロックに設定される代表画素値及び差分値算出の説明図。
【図６】算出された差分値と閾値との条件判定結果により符号化に使用されるブロック形状を示す図。
【図７】本発明の第２の実施の形態に係るマクロブロックに設定される代表画素値及び差分値算出の説明図。
【図８】イントラ符号化に使用される4x4のブロック形状に設定される代表画素値及び差分値算出の説明図。
【図９】図８の差分値の差分値算出の説明図。
【図１０】複数のブロック形状からイントラ／インター符号化に使用するブロック形状を決定する方法を示すフローチャート。
【図１１】本発明の第３の実施の形態に係り、4x4のブロック形状でイントラ符号化に良く利用される３つのモードを示す図。
【図１２】算出された差分値と閾値との条件判定結果により符号化に使用しないモードを示す図。
【図１３】算出された差分値と閾値との条件判定結果により符号化に使用しないモードを示す図。
【図１４】本発明の第３の実施の形態に係る方法により複数のモードから符号化に使用しないモードを決定する方法のフローチャート。
【図１５】本実施の形態に係る画像符号化装置により標準画像としてのforeman CIF ３００フレームを符号化した場合のＰＳＮＲの評価結果を、普通の方法と比較して示す図。
【図１６】本実施の形態に係る画像符号化装置により標準画像としてのforeman CIF ３０フレームを符号化した場合の処理ステップ数の測定結果を、普通の方法と比較して示す図。
【符号の説明】
【００４０】
１…画像符号化装置
４…ＤＣＴ＆量子化部
９…フレームメモリ
１０…動き評価／符号化制御部
１１…動き補償部
１２…イントラ予測部
２１…差分値算出部
２２…比較判定部
【図１】
2008005243.tif 000003
【図２】
2008005243.tif 000004
【図３】
2008005243.tif 000005
【図４】
2008005243.tif 000006
【図５】
2008005243.tif 000007
【図６】
2008005243.tif 000008
【図７】
2008005243.tif 000009
【図８】
2008005243.tif 000010
【図９】
2008005243.tif 000011
【図１０】
2008005243.tif 000012
【図１１】
2008005243.tif 000013
【図１２】
2008005243.tif 000014
【図１３】
2008005243.tif 000015
【図１４】
2008005243.tif 000016
【図１５】
2008005243.tif 000017
【図１６】
2008005243.tif 000018