(57)【要約】【課題】少ない符号量で、縞模様のような視覚的雑音が発生しない復号画像を得ることができるようにする。【解決手段】減算器５から出力された予測差分信号を離散コサイン変換して、その離散コサイン変換結果を示すＤＣＴ係数を出力するとともに、減算器５から出力された予測差分信号をスラント変換して、そのスラント変換結果を示すスラント変換係数を出力する変換部６と、変換部６から出力されたＤＣＴ係数を量子化するとともに、変換部６から出力されたスラント変換係数を量子化し、量子化後のスラント変換係数におけるＡＣ成分の分布を参照して、量子化後のＤＣＴ係数又は量子化後のスラント変換係数を選択する量子化部８とを設ける。【選択図】図１
2011166592.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を示す画像信号から予測画像を生成し、上記予測画像を示す予測信号を出力する予測画像生成手段と、上記予測画像生成手段から出力された予測信号と上記入力画像を示す画像信号の差分を算出し、その差分を示す予測差分信号を出力する予測差分信号算出手段と、上記予測差分信号算出手段から出力された予測差分信号を離散コサイン変換して、その離散コサイン変換結果を示す離散コサイン変換係数を出力するとともに、上記予測差分信号算出手段から出力された予測差分信号をスラント変換して、そのスラント変換結果を示すスラント変換係数を出力する信号変換手段と、上記信号変換手段から出力された離散コサイン変換係数を量子化するとともに、上記信号変換手段から出力されたスラント変換係数を量子化し、量子化後のスラント変換係数におけるＡＣ成分の分布を参照して、量子化後の離散コサイン変換係数又は量子化後のスラント変換係数を選択する量子化手段と、上記量子化手段により選択された量子化後の変換係数を可変長符号化し、その符号化結果である符号化データを出力する可変長符号化手段とを備えた画像符号化装置。
【請求項２】
量子化手段は、量子化後のスラント変換係数におけるＡＣ成分のうち、水平方向で最も低周波に位置しているＡＣ成分及び垂直方向で最も低周波に位置しているＡＣ成分以外のＡＣ成分において、非ゼロのＡＣ成分が含まれていなければ、量子化後のスラント変換係数を選択し、非ゼロのＡＣ成分が含まれていれば、量子化後の離散コサイン変換係数を選択することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
入力画像を示す画像信号から予測画像を生成し、上記予測画像を示す予測信号を出力する予測画像生成手段と、上記予測画像生成手段から出力された予測信号と上記入力画像を示す画像信号の差分を算出し、その差分を示す予測差分信号を出力する予測差分信号算出手段と、上記予測差分信号算出手段から出力された予測差分信号を離散コサイン変換して、その離散コサイン変換結果を示す離散コサイン変換係数を出力する信号変換手段と、上記信号変換手段から出力された離散コサイン変換係数を量子化する量子化手段と、上記量子化手段により量子化された離散コサイン変換係数を可変長符号化し、その符号化結果である符号化データを出力する可変長符号化手段とを備えた画像符号化装置において、上記量子化手段は、上記信号変換手段から出力された離散コサイン変換係数の分布を参照して、上記入力画像を示す画像信号がグラデーション信号であるか否かを判定し、上記画像信号がグラデーション信号であれば、水平方向で最も低周波に位置しているＡＣ成分及び垂直方向で最も低周波に位置しているＡＣ成分以外のＡＣ成分がゼロになるように上記離散コサイン変換係数を量子化することを特徴とする画像符号化装置。
【請求項４】
量子化手段は、入力画像を示す画像信号がグラデーション信号である場合、上記画像信号がグラデーション信号でない場合よりも、信号変換手段から出力された離散コサイン変換係数を高精度に量子化を行うことを特徴とする請求項３記載の画像符号化装置。
【請求項５】
予測画像生成手段は、入力画像を示す画像信号から予測画像を生成する際、上記画像信号がグラデーション信号であるか否かを判定し、上記画像信号がグラデーション信号であれば、方向性を持っていないＤＣイントラ予測の符号化方式を使用して予測画像を生成することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像符号化装置。
【請求項６】
符号化データから変換係数を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された変換係数を逆量子化する逆量子化手段と、上記逆量子化手段による逆量子化後の変換係数におけるＡＣ成分の分布を参照して、上記変換係数に対する逆変換方式として逆離散コサイン変換又は逆スラント変換を選択する逆変換方式選択手段と、上記逆変換方式選択手段により選択された逆変換方式が逆離散コサイン変換であれば、上記変換係数を逆離散コサイン変換して予測誤差信号を算出し、上記逆変換方式が逆スラント変換であれば、上記変換係数を逆スラント変換して予測誤差信号を算出する逆変換手段と、上記逆変換手段により算出された予測誤差信号から復号画像を示す復号画像信号を生成する復号画像生成手段とを備えた画像復号装置。
【請求項７】
逆変換方式選択手段は、逆量子化手段による逆量子化後の変換係数におけるＡＣ成分のうち、水平方向で最も低周波に位置しているＡＣ成分及び垂直方向で最も低周波に位置しているＡＣ成分以外のＡＣ成分において、非ゼロのＡＣ成分が含まれていなければ、逆変換方式として逆スラント変換を選択し、非ゼロのＡＣ成分が含まれていれば、逆変換方式として逆離散コサイン変換を選択することを特徴とする請求項６記載の画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像信号を符号化する画像符号化装置と、画像符号化装置により符号化された画像信号を復号する画像復号装置とに関するものである。
【背景技術】
【０００２】
図１７は非特許文献１に開示されている従来の画像符号化装置を示す構成図であり、図１８は非特許文献１に開示されている従来の画像復号装置を示す構成図である。
図１７の画像符号化装置及び図１８の画像復号装置では、国際標準方式であるＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ  １４４９６−１０｜ＩＴＵ−Ｔ  Ｈ．２６４）に規定されている画像信号の符号化処理や復号処理を行う。
以下、従来の画像符号化装置及び画像復号装置の処理内容を説明する。
【０００３】
ＡＶＣ／Ｈ．２６４（以下、「ＡＶＣ」と称する）では、入力画像を示す画像信号の各フレームが１６×１６のサイズのマクロブロックに分割されて画像符号化装置に入力される。
なお、マクロブロック単位の画像信号は、輝度信号１６×１６画素と、その輝度信号１６×１６画素に対応する色差信号８×８画素とから構成されている。
【０００４】
画像符号化装置のイントラ予測部１０１は、マクロブロック単位の画像信号を入力すると、イントラ予測用メモリ１１２に格納されている局部復号信号を使用して、その画像信号を構成している輝度信号および色差信号に対するイントラ予測処理を実施する。
ＡＶＣでは、輝度信号に対するイントラ予測処理として、４×４ブロックを一単位とする方式で９種類、８×８ブロックを一単位とする方式で９種類、１６×１６ブロックを一単位とする方式で４種類が、色差信号に対するイントラ予測処理として４種類がそれぞれ定義されており、イントラ予測部１０１では、これら定義されているイントラ予測方式の中から、使用するイントラ予測方式を決定し、そのイントラ予測方式でイントラ予測処理を実施する。
イントラ予測部１０１は、入力信号に対するイントラ予測処理を実施することで予測画像を生成すると、その予測画像を示すイントラ予測信号を選択スイッチ１０４に出力し、その決定したイントラ予測方式を示すイントラ予測方式情報をエントロピー符号化部１１５に出力する。
【０００５】
動き検出部１０２は、マクロブロック単位の画像信号を入力すると、その画像信号と動き補償予測用フレームメモリ１１４に格納されている局部復号画像信号との間で動きを検出し、その動きを示す動きベクトルを動き補償予測部１０３及びエントロピー符号化部１１５に出力する。
動き補償予測部１０３は、動き検出部１０２から動きベクトルを受けると、その動きベクトルと動き補償予測用フレームメモリ１１４に格納されている局部復号画像信号を用いて予測画像を生成し、その予測画像を示す動き補償予測信号を選択スイッチ１０４に出力する。
【０００６】
選択スイッチ１０４は、イントラ予測部１０１からイントラ予測信号を受け、動き補償予測部１０３から動き補償予測信号を受けると、例えば、符号化制御部１０７の指示の下、イントラ予測信号又は動き補償予測信号のいずれか一方を予測信号として選択し、その予測信号を減算器１０５及び加算器１１１に出力する。
また、選択スイッチ１０４は、イントラ予測信号又は動き補償予測信号のいずれを選択したかを示す予測信号選択情報をエントロピー符号化部１１５に出力する。
【０００７】
減算器１０５は、マクロブロック単位の画像信号と選択スイッチ１０４から出力された予測信号の差分を算出し、その差分を示す予測差分信号を変換部１０６に出力する。
変換部１０６は、減算器１０５から予測差分信号を受けると、その予測差分信号を離散コサイン変換（ＤＣＴ）することで、その予測差分信号を空間領域から時間領域に変換し、その離散コサイン変換結果を示すＤＣＴ係数を量子化部１０８に出力する。
量子化部１０８は、変換部１０６からＤＣＴ係数を受けると、符号化制御部１０７から出力された量子化パラメータにしたがってＤＣＴ係数を量子化し、量子化後のＤＣＴ係数を示す量子化係数を逆量子化部１０９及びエントロピー符号化部１１５に出力する。
【０００８】
逆量子化部１０９は、量子化部１０８から量子化係数を受けると、符号化制御部１０７から出力された量子化パラメータにしたがって、量子化部１０８の量子化処理に対応する逆量子化処理を実施することで、その量子化係数を逆量子化して、変換部１０６から出力されたＤＣＴ係数に相当するＤＣＴ係数（量子化係数の逆量子化結果）を逆変換部１１０に出力する。
逆変換部１１０は、逆量子化部１０９からＤＣＴ係数を受けると、そのＤＣＴ係数を逆離散コサイン変換（逆ＤＣＴ）することで、その予測差分信号を時間領域から空間領域に戻し、その逆離散コサイン変換結果を示す予測誤差信号（減算器１０５から出力された予測差分信号に相当する信号）を加算器１１１に出力する。
【０００９】
加算器１１１は、選択スイッチ１０４から予測信号を受け、逆変換部１１０から予測誤差信号を受けると、その予測信号と予測誤差信号を加算することで局部復号信号を算出し、その局部復号信号をイントラ予測用メモリ１１２に格納する。
ループフィルタ１１３は、イントラ予測用メモリ１１２に格納されている局部復号信号に対してデブロッキングフィルタ処理を実施し、フィルタ処理後の局部復号信号である局部復号画像信号を動き補償予測用フレームメモリ１１４に格納する。
【００１０】
エントロピー符号化部１１５は、イントラ予測部１０１から出力されたイントラ予測方式情報、動き検出部１０２から出力された動きベクトル、選択スイッチ１０４から出力された予測信号選択情報、符号化制御部１０７から出力された量子化パラメータ及び量子化部１０８から出力された量子化係数をエントロピー符号化し、その符号化結果を示す符号化データを出力する。
なお、エントロピー符号化部１１５は、必要に応じて上記に記載していない情報も符号化データに含めて出力する。
【００１１】
次に、画像復号装置のエントロピー復号部１２１は、図１７の画像符号化装置から出力された符号化データを入力すると、その符号化データからイントラ予測方式情報、動きベクトル、予測信号選択情報、量子化パラメータ及び量子化係数をエントロピー復号し、その量子化パラメータ及び量子化係数を逆量子化部１２２に出力する。
また、エントロピー復号部１２１は、そのイントラ予測方式情報をイントラ予測部１２４に出力し、その動きベクトルを動き補償予測部１２５に出力し、その予測信号選択情報を選択スイッチ１２６に出力する。
【００１２】
逆量子化部１２２は、エントロピー復号部１２１から量子化係数を受けると、エントロピー復号部１２１から出力された量子化パラメータにしたがって、図１７の量子化部１０８の量子化処理に対応する逆量子化処理を実施することで、その量子化係数を逆量子化し、図１７の変換部１０６から出力されたＤＣＴ係数に相当するＤＣＴ係数（量子化係数の逆量子化結果）を逆変換部１２３に出力する。
逆変換部１２３は、逆量子化部１２２からＤＣＴ係数を受けると、そのＤＣＴ係数を逆離散コサイン変換（逆ＤＣＴ）し、その逆離散コサイン変換結果を示す予測誤差信号（図１７の減算器１０５から出力された予測差分信号に相当する信号）を加算器１２７に出力する。
【００１３】
イントラ予測部１２４は、エントロピー復号部１２１からイントラ予測方式情報を受けると、イントラ予測用メモリ１２８に格納されている復号信号を使用して、そのイントラ予測方式情報が示すイントラ予測方式でイントラ予測処理を実施することにより予測画像を生成し、その予測画像を示すイントラ予測信号を選択スイッチ１２６に出力する。
動き補償予測部１２５は、エントロピー復号部１２１から動きベクトルを受けると、その動きベクトルと動き補償予測用フレームメモリ１３０に格納されている復号画像信号を用いて予測画像を生成し、その予測画像を示す動き補償予測信号を選択スイッチ１２６に出力する。
【００１４】
選択スイッチ１２６は、エントロピー復号部１２１から出力された予測信号選択情報が、図１７の選択スイッチ１０４でイントラ予測信号を選択している旨を示していれば、イントラ予測部１２４から出力されたイントラ予測信号を予測信号として選択し、その予測信号を加算器１２７に出力する。
一方、エントロピー復号部１２１から出力された予測信号選択情報が、図１７の選択スイッチ１０４で動き補償予測信号を選択している旨を示していれば、動き補償予測部１２５から出力された動き補償予測信号を予測信号として選択し、その予測信号を加算器１２７に出力する。
【００１５】
加算器１２７は、選択スイッチ１２６から予測信号を受け、逆変換部１２３から予測誤差信号を受けると、その予測信号と予測誤差信号を加算することで復号信号を算出し、その復号信号をイントラ予測用メモリ１２８に格納する。
ループフィルタ１２９は、イントラ予測用メモリ１２８に格納されている復号信号に対してデブロッキングフィルタ処理を実施し、フィルタ処理後の復号信号である復号画像信号を動き補償予測用フレームメモリ１３０に格納するとともに、その復号画像信号を外部に出力する。
【００１６】
従来の画像符号化装置と画像復号装置は上記のように構成されており、画像符号化装置の変換部１０６及び逆変換部１１０と、画像復号装置の逆変換部１２３とでは、ＭＰＥＧ−２やＭＰＥＧ−４が適用される場合、離散コサイン変換（ＤＣＴ）・逆離散コサイン変換（逆ＤＣＴ）が使用され、ＡＶＣが適用される場合、整数計算のみで変換・逆変換が可能になるようにＤＣＴを変形した整数変換が使用されている。
以下、８×８ブロックサイズのＤＣＴを用いる場合の変換処理について説明する。
図６は変換部によって得られる６４個の変換係数のインデックスを示す説明図である。
図６において、「ＤＣ」は変換係数におけるＤＣ成分であり、「ＡＣ」は変換係数におけるＡＣ成分であり、特に、ＡＣ（０，１）は変換係数における全てのＡＣ成分のうち、水平方向で最も低周波に位置しているＡＣ成分である。また、ＡＣ（１，０）は変換係数における全てのＡＣ成分のうち、垂直方向で最も低周波に位置しているＡＣ成分である。
【００１７】
例えば、比較的変化が少ない空や壁を表しているグラデーション信号（画像信号）を符号化する場合、復号画像の画素値の変化が階段状になり、縞模様が出現するなどの符号化雑音が発生することが知られている（例えば、特許文献１を参照）。
図７は入力画像を示す画像信号が直線的に滑らかに変化するグラデーション信号である場合の予測差分信号の一例を示す説明図である。
図７に示すように、水平方向にのみ２ずつ滑らかに変化する予測差分信号に対してＤＣＴを行うと、その予測差分信号の変換係数であるＤＣＴ係数は、図８に示すように、ＤＣ成分と４個のＡＣ成分が非ゼロになる。
したがって、符号化雑音が出現しないように符号化するには、４個のＡＣ成分を符号化する必要があるため符号量が増加する。
【００１８】
ここで、画像の符号化では、ＡＣ（０，３）、ＡＣ（０，５）、ＡＣ（０，７）のように成分値が小さく、かつ、高周波領域のＡＣ成分に対しては、粗く量子化して符号量を減らすのが通例であるが、これらのＡＣ成分をゼロに量子化してしまうと、得られる復号画像は図９のようになる。
元の画像信号では、２ずつ一定の値で滑らかに変化していた信号が（図７を参照）、１〜３の範囲で変化することになる（図９を参照）。そのため、縞模様のような符号化雑音が発生する。
このように、縞模様のような符号化雑音が発生する原因は、ＤＣＴがコサイン関数を基底とする変換だからであり、直線的に滑らかに変化する予測差分信号をＤＣＴで変換すると、図８に示すように、多くのＡＣ成分が発生することになる。
このため、綺麗な復号画像を得るためには多くの符号量が必要となり、符号量を少なくすると、符号化雑音が目立つ復号画像になる。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２００７−２３５３７７号公報
【非特許文献】
【００２０】
【非特許文献１】ＭＰＥＧ−４  ＡＶＣ（ＩＳＯ／ＩＥＣ  １４４９６−１０）／ＩＴＵ−Ｔ  Ｈ．２６４規格
【発明の概要】
【発明が解決しようとする課題】
【００２１】
従来の画像符号化装置は以上のように構成されているので、入力画像を示す画像信号がグラデーション信号であるか否かに拘らず、常に予測差分信号をＤＣＴで変換している。このため、入力画像を示す画像信号がグラデーション信号である場合、ＤＣＴ係数の中に多くのＡＣ成分が発生する。その結果、綺麗な復号画像を得るためには多くの符号量が必要となり、符号量を少なくすると、符号化雑音が目立つ復号画像になってしまうなどの課題があった。
【００２２】
この発明は上記のような課題を解決するためになされたもので、少ない符号量で、縞模様のような視覚的雑音が発生しない復号画像を得ることができる画像符号化装置及び画像復号装置を得ることを目的とする。
【課題を解決するための手段】
【００２３】
この発明に係る画像符号化装置は、予測差分信号算出手段から出力された予測差分信号を離散コサイン変換して、その離散コサイン変換結果を示す離散コサイン変換係数を出力するとともに、予測差分信号算出手段から出力された予測差分信号をスラント変換して、そのスラント変換結果を示すスラント変換係数を出力する信号変換手段と、信号変換手段から出力された離散コサイン変換係数を量子化するとともに、信号変換手段から出力されたスラント変換係数を量子化し、量子化後のスラント変換係数におけるＡＣ成分の分布を参照して、量子化後の離散コサイン変換係数又は量子化後のスラント変換係数を選択する量子化手段とを設け、可変長符号化手段が量子化手段により選択された量子化後の変換係数を可変長符号化し、その符号化結果である符号化データを出力するようにしたものである。
【発明の効果】
【００２４】
この発明によれば、予測差分信号算出手段から出力された予測差分信号を離散コサイン変換して、その離散コサイン変換結果を示す離散コサイン変換係数を出力するとともに、予測差分信号算出手段から出力された予測差分信号をスラント変換して、そのスラント変換結果を示すスラント変換係数を出力する信号変換手段と、信号変換手段から出力された離散コサイン変換係数を量子化するとともに、信号変換手段から出力されたスラント変換係数を量子化し、量子化後のスラント変換係数におけるＡＣ成分の分布を参照して、量子化後の離散コサイン変換係数又は量子化後のスラント変換係数を選択する量子化手段とを設け、可変長符号化手段が量子化手段により選択された量子化後の変換係数を可変長符号化し、その符号化結果である符号化データを出力するように構成したので、少ない符号量で、縞模様のような視覚的雑音が発生しない復号画像を得ることができる効果がある。
【図面の簡単な説明】
【００２５】
【図１】この発明の実施の形態１による画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による画像符号化装置の変換部６及び量子化部８の内部を示す構成図である。
【図３】この発明の実施の形態１による画像符号化装置の逆変換部１０の内部を示す構成図である。
【図４】この発明の実施の形態１による画像復号装置を示す構成図である。
【図５】この発明の実施の形態１による画像復号装置の逆変換部４３の内部を示す構成図である。
【図６】変換部６によって得られる６４個の変換係数のインデックスを示す説明図である。
【図７】入力画像を示す画像信号が直線的に滑らかに変化するグラデーション信号である場合の予測差分信号の一例を示す説明図である。
【図８】図７の予測差分信号がＤＣＴで変換された場合の変換係数の一例を示す説明図である。
【図９】ＡＣ（０，３）、ＡＣ（０，５）、ＡＣ（０，７）をゼロに量子化した場合の復号画像を示す説明図である。
【図１０】図７の予測差分信号がスラント変換された場合の変換係数の一例を示す説明図である。
【図１１】この発明の実施の形態２による画像符号化装置を示す構成図である。
【図１２】この発明の実施の形態３による画像符号化装置を示す構成図である。
【図１３】この発明の実施の形態４による画像符号化装置を示す構成図である。
【図１４】この発明の実施の形態５による画像符号化装置を示す構成図である。
【図１５】入力画像を示す画像信号が緩やかなグラデーション信号である場合の予測差分信号の一例を示す説明図である。
【図１６】図１５の予測差分信号がＤＣＴで変換された場合の変換係数の一例を示す説明図である。
【図１７】非特許文献１に開示されている従来の画像符号化装置を示す構成図である。
【図１８】非特許文献１に開示されている従来の画像復号装置を示す構成図である。
【発明を実施するための形態】
【００２６】
実施の形態１．
この実施の形態１では、画像符号化装置及び画像復号装置がＡＶＣを適用し、入力画像を示す画像信号の各フレームが１６×１６のサイズのマクロブロックに分割されて、画像符号化装置に入力されるものとする。
なお、マクロブロック単位の画像信号は、輝度信号１６×１６画素と、その輝度信号１６×１６画素に対応する色差信号８×８画素とから構成されている。
【００２７】
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１において、イントラ予測部１はマクロブロック単位の画像信号を入力すると、イントラ予測用メモリ１２に格納されている局部復号信号を使用して、その画像信号を構成している輝度信号に対するイントラ予測処理を実施する。
ＡＶＣでは、輝度信号および色差信号に対するイントラ予測処理として、４×４ブロックを一単位とする方式で９種類、８×８ブロックを一単位とする方式で９種類、１６×１６ブロックを一単位とする方式で４種類が、色差信号に対するイントラ予測処理として４種類がそれぞれ定義されており、イントラ予測部１では、これら定義されているイントラ予測方式の中から、使用するイントラ予測方式を決定し、そのイントラ予測方式でイントラ予測処理を実施する。
イントラ予測部１は入力信号に対するイントラ予測処理を実施することで予測画像を生成すると、その予測画像を示すイントラ予測信号を選択スイッチ４に出力し、その決定したイントラ予測方式を示すイントラ予測方式情報をエントロピー符号化部１５に出力する処理を実施する。
【００２８】
動き検出部２はマクロブロック単位の画像信号を入力すると、その画像信号と動き補償予測用フレームメモリ１４に格納されている局部復号画像信号との間で動きを検出し、その動きを示す動きベクトルを動き補償予測部３及びエントロピー符号化部１５に出力する処理を実施する。
動き補償予測部３は動き検出部２から出力された動きベクトルと動き補償予測用フレームメモリ１４に格納されている局部復号画像信号を用いて予測画像を生成し、その予測画像を示す動き補償予測信号を選択スイッチ４に出力する処理を実施する。
【００２９】
選択スイッチ４は例えば符号化制御部７の指示の下、イントラ予測部１から出力されたイントラ予測信号又は動き補償予測部３から出力された動き補償予測信号のいずれか一方を予測信号として選択し、その予測信号を減算器５及び加算器１１に出力する処理を実施する。
また、選択スイッチ４はイントラ予測信号又は動き補償予測信号のいずれを選択したかを示す予測信号選択情報をエントロピー符号化部１５に出力する処理を実施する。
なお、イントラ予測部１、動き検出部２、動き補償予測部３及び選択スイッチ４から予測画像生成手段が構成されている。
【００３０】
減算器５はマクロブロック単位の画像信号と選択スイッチ４から出力された予測信号の差分を算出し、その差分を示す予測差分信号を変換部６に出力する処理を実施する。なお、減算器５は予測差分信号算出手段を構成している。
変換部６は減算器５から出力された予測差分信号を離散コサイン変換（ＤＣＴ）して、その離散コサイン変換結果を示すＤＣＴ係数（離散コサイン変換係数）を量子化部８に出力するとともに、減算器５から出力された予測差分信号をスラント変換して、そのスラント変換結果を示すスラント変換係数を量子化部８に出力する処理を実施する。なお、変換部６は信号変換手段を構成している。
ここで、「スラント変換」は、下記の非特許文献に記載されているような斜め直線成分のみで基底が構成されている直交変換の一種である。
非特許文献（W. Pratt, et al., “Slant Transform Image Coding”, IEEE Transactions on Communications, vol. COM-22, No.8, August 1974）
【００３１】
符号化制御部７は量子化部８及び逆量子化部９が量子化・逆量子化を実施する際に参照する量子化パラメータを出力して、符号化データの符号量や符号化画質を制御する処理を実施する。
量子化部８は符号化制御部７から出力された量子化パラメータにしたがって、変換部６から出力されたＤＣＴ係数を量子化するとともに、変換部６から出力されたスラント変換係数を量子化する処理を実施する。
また、量子化部８は量子化後のスラント変換係数におけるＡＣ成分の分布を参照して、量子化後のＤＣＴ係数又は量子化後のスラント変換係数のいずれか一方を選択し、その選択した変換係数を量子化係数として逆量子化部９及びエントロピー符号化部１５に出力する処理を実施する。
なお、符号化制御部７及び量子化部８から量子化手段が構成されている。
【００３２】
逆量子化部９は符号化制御部７から出力された量子化パラメータにしたがって、量子化部８から出力された量子化係数（量子化後のＤＣＴ係数又は量子化後のスラント変換係数）を逆量子化し、その逆量子化結果である変換係数（ＤＣＴ係数又はスラント変換係数）を逆変換部１０に出力する処理を実施する。
【００３３】
逆変換部１０は逆量子化部９から出力された変換係数におけるＡＣ成分の分布を参照して、その変換係数に対する逆変換方式として、逆離散コサイン変換（逆ＤＣＴ）又は逆スラント変換を選択する処理を実施する。
また、逆変換部１０は逆変換方式として逆離散コサイン変換（逆ＤＣＴ）を選択すると、逆量子化部９から出力された変換係数を逆離散コサイン変換（逆ＤＣＴ）し、その逆離散コサイン変換結果を示す予測誤差信号（減算器５から出力された予測差分信号に相当する信号）を加算器１１に出力する処理を実施する。一方、逆変換方式として逆スラント変換を選択すると、逆量子化部９から出力された変換係数を逆スラント変換し、その逆スラント変換結果を示す予測誤差信号（減算器５から出力された予測差分信号に相当する信号）を加算器１１に出力する処理を実施する。
【００３４】
加算器１１は選択スイッチ４から出力された予測信号と逆変換部１０から出力された予測誤差信号を加算することで局部復号信号を算出し、その局部復号信号をイントラ予測用メモリ１２に出力する処理を実施する。
イントラ予測用メモリ１２は加算器１１から出力された局部復号信号を格納する例えばＲＡＭなどの記録媒体である。
【００３５】
ループフィルタ１３はイントラ予測用メモリ１２に格納されている局部復号信号に対してデブロッキングフィルタ処理を実施し、フィルタ処理後の局部復号信号である局部復号画像信号を動き補償予測用フレームメモリ１４に出力する処理を実施する。
動き補償予測用フレームメモリ１４はループフィルタ１３から出力された局部復号画像信号を格納する例えばＲＡＭなどの記録媒体である。
【００３６】
エントロピー符号化部１５はイントラ予測部１から出力されたイントラ予測方式情報と、動き検出部２から出力された動きベクトルと、選択スイッチ４から出力された予測信号選択情報と、符号化制御部７から出力された量子化パラメータと、量子化部８から出力された量子化係数と、その他の必要な情報とをエントロピー符号化し、その符号化結果を示す符号化データを出力する処理を実施する。なお、エントロピー符号化部１５は可変長符号化手段を構成している。
【００３７】
図１では、画像符号化装置の構成要素であるイントラ予測部１、動き検出部２、動き補償予測部３、選択スイッチ４、減算器５、変換部６、符号化制御部７、量子化部８、逆量子化部９、逆変換部１０、加算器１１、ループフィルタ１３及びエントロピー符号化部１５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されている場合、イントラ予測部１、動き検出部２、動き補償予測部３、選択スイッチ４、減算器５、変換部６、符号化制御部７、量子化部８、逆量子化部９、逆変換部１０、加算器１１、ループフィルタ１３及びエントロピー符号化部１５の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００３８】
図２はこの発明の実施の形態１による画像符号化装置の変換部６及び量子化部８の内部を示す構成図である。
図２において、変換部６のＤＣＴ器２１は減算器５から出力された予測差分信号を離散コサイン変換（ＤＣＴ）して、その離散コサイン変換結果を示すＤＣＴ係数（離散コサイン変換係数）を量子化部８に出力する処理を実施する。
スラント変換器２２は減算器５から出力された予測差分信号をスラント変換して、そのスラント変換結果を示すスラント変換係数を量子化部８に出力する処理を実施する。
【００３９】
量子化部８のＤＣＴ係数量子化器２３は符号化制御部７から出力された量子化パラメータにしたがって、ＤＣＴ器２１から出力されたＤＣＴ係数を量子化し、量子化後のＤＣＴ係数を変換方式選択部２５に出力する処理を実施する。
スラント変換係数量子化器２４は符号化制御部７から出力された量子化パラメータにしたがって、スラント変換器２２から出力されたスラント変換係数を量子化し、量子化後のスラント変換係数を変換方式選択部２５に出力する処理を実施する。
変換方式選択部２５はスラント変換係数量子化器２４から出力された量子化後のスラント変換係数におけるＡＣ成分のうち、水平方向で最も低周波に位置しているＡＣ成分及び垂直方向で最も低周波に位置しているＡＣ成分以外のＡＣ成分において、非ゼロのＡＣ成分が含まれていなければ、量子化後のスラント変換係数を選択し、非ゼロのＡＣ成分が含まれていれば、量子化後のＤＣＴ係数を選択する処理を実施する。
【００４０】
図３はこの発明の実施の形態１による画像符号化装置の逆変換部１０の内部を示す構成図である。
図３において、逆変換方式選択部３１は逆量子化部９から出力された変換係数（ＤＣＴ係数又はスラント変換係数）におけるＡＣ成分のうち、水平方向で最も低周波に位置しているＡＣ成分及び垂直方向で最も低周波に位置しているＡＣ成分以外のＡＣ成分において、非ゼロのＡＣ成分が含まれていなければ、逆変換方式として逆スラント変換を選択し、非ゼロのＡＣ成分が含まれていれば、逆変換方式として逆離散コサイン変換（逆ＤＣＴ）を選択する処理を実施する。
【００４１】
逆ＤＣＴ器３２は逆変換方式選択部３１により逆変換方式として逆離散コサイン変換（逆ＤＣＴ）が選択された場合、逆量子化部９から出力された変換係数を逆離散コサイン変換（逆ＤＣＴ）し、その逆離散コサイン変換結果を示す予測誤差信号（減算器５から出力された予測差分信号に相当する信号）を加算器１１に出力する処理を実施する。
逆スラント変換器３３は逆変換方式選択部３１により逆変換方式として逆スラント変換が選択された場合、逆量子化部９から出力された変換係数を逆スラント変換し、その逆スラント変換結果を示す予測誤差信号（減算器５から出力された予測差分信号に相当する信号）を加算器１１に出力する処理を実施する。
【００４２】
図４はこの発明の実施の形態１による画像復号装置を示す構成図である。
図４において、エントロピー復号部４１は図１の画像符号化装置から出力された符号化データを入力すると、その符号化データからイントラ予測方式情報、動きベクトル、予測信号選択情報、量子化パラメータ及び量子化係数をエントロピー復号し、その量子化パラメータ及び量子化係数を逆量子化部４２に出力する処理を実施する。
また、エントロピー復号部４１はイントラ予測方式情報をイントラ予測部４４に出力し、その動きベクトルを動き補償予測部４５に出力し、その予測信号選択情報を選択スイッチ４６に出力する処理を実施する。なお、エントロピー復号部４１は可変長復号手段を構成している。
【００４３】
逆量子化部４２はエントロピー復号部４１から出力された量子化パラメータにしたがって、エントロピー復号部４１から出力された量子化係数を逆量子化し、その逆量子化結果である変換係数（ＤＣＴ係数又はスラント変換係数）を逆変換部４３に出力する処理を実施する。なお、逆量子化部４２は逆量子化手段を構成している。
【００４４】
逆変換部４３は逆量子化部４２から出力された変換係数におけるＡＣ成分の分布を参照して、その変換係数に対する逆変換方式として、逆離散コサイン変換（逆ＤＣＴ）又は逆スラント変換を選択する処理を実施する。
また、逆変換部４３は逆変換方式として逆離散コサイン変換（逆ＤＣＴ）を選択すると、逆量子化部４２から出力された変換係数を逆離散コサイン変換（逆ＤＣＴ）し、その逆離散コサイン変換結果を示す予測誤差信号（図１の減算器５から出力された予測差分信号に相当する信号）を加算器４７に出力する処理を実施する。一方、逆変換方式として逆スラント変換を選択すると、逆量子化部４２から出力された変換係数を逆スラント変換し、その逆スラント変換結果を示す予測誤差信号（図１の減算器５から出力された予測差分信号に相当する信号）を加算器４７に出力する処理を実施する。
なお、逆変換部４３は逆変換方式選択手段及び逆変換手段を構成している。
【００４５】
イントラ予測部４４はエントロピー復号部４１からイントラ予測方式情報を受けると、イントラ予測用メモリ４８に格納されている復号信号を使用して、そのイントラ予測方式情報が示すイントラ予測方式でイントラ予測処理を実施することにより予測画像を生成し、その予測画像を示すイントラ予測信号を選択スイッチ４６に出力する処理を実施する。
動き補償予測部４５はエントロピー復号部４１から出力された動きベクトルと動き補償予測用フレームメモリ５０に格納されている復号画像信号を用いて予測画像を生成し、その予測画像を示す動き補償予測信号を選択スイッチ４６に出力する処理を実施する。
【００４６】
選択スイッチ４６はエントロピー復号部４１から出力された予測信号選択情報が、図１の選択スイッチ４でイントラ予測信号を選択している旨を示していれば、イントラ予測部４４から出力されたイントラ予測信号を予測信号として選択し、その予測信号を加算器４７に出力する処理を実施する。
一方、エントロピー復号部４１から出力された予測信号選択情報が、図１の選択スイッチ４で動き補償予測信号を選択している旨を示していれば、動き補償予測部４５から出力された動き補償予測信号を予測信号として選択し、その予測信号を加算器４７に出力する処理を実施する。
【００４７】
加算器４７は選択スイッチ４６から出力された予測信号と逆変換部４３から出力された予測誤差信号を加算することで復号信号を算出し、その復号信号をイントラ予測用メモリ４８に出力する処理を実施する。
イントラ予測用メモリ４８は加算器４７から出力された復号信号を格納する例えばＲＡＭなどの記録媒体である。
【００４８】
ループフィルタ４９はイントラ予測用メモリ４８に格納されている復号信号に対してデブロッキングフィルタ処理を実施し、フィルタ処理後の復号信号である復号画像信号を動き補償予測用フレームメモリ５０に出力する処理を実施する。
動き補償予測用フレームメモリ５０はループフィルタ４９から出力された復号画像信号を格納する例えばＲＡＭなどの記録媒体である。
なお、イントラ予測部４４、動き補償予測部４５、選択スイッチ４６、加算器４７、イントラ予測用メモリ４８、ループフィルタ４９及び動き補償予測用フレームメモリ５０から復号画像生成手段が構成されている。
【００４９】
図４では、画像復号装置の構成要素であるエントロピー復号部４１、逆量子化部４２、逆変換部４３、イントラ予測部４４、動き補償予測部４５、選択スイッチ４６、加算器４７及びループフィルタ４９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像復号装置がコンピュータで構成されている場合、エントロピー復号部４１、逆量子化部４２、逆変換部４３、イントラ予測部４４、動き補償予測部４５、選択スイッチ４６、加算器４７及びループフィルタ４９の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００５０】
図５はこの発明の実施の形態１による画像復号装置の逆変換部４３の内部を示す構成図である。
図５において、逆変換方式選択部６１は逆量子化部４２から出力された変換係数（ＤＣＴ係数又はスラント変換係数）におけるＡＣ成分のうち、水平方向で最も低周波に位置しているＡＣ成分及び垂直方向で最も低周波に位置しているＡＣ成分以外のＡＣ成分において、非ゼロのＡＣ成分が含まれていなければ、逆変換方式として逆スラント変換を選択し、非ゼロのＡＣ成分が含まれていれば、逆変換方式として逆離散コサイン変換（逆ＤＣＴ）を選択する処理を実施する。
【００５１】
逆ＤＣＴ器６２は逆変換方式選択部６１により逆変換方式として逆離散コサイン変換（逆ＤＣＴ）が選択された場合、逆量子化部４２から出力された変換係数を逆離散コサイン変換（逆ＤＣＴ）し、その逆離散コサイン変換結果を示す予測誤差信号（図１の減算器５から出力された予測差分信号に相当する信号）を加算器４７に出力する処理を実施する。
逆スラント変換器６３は逆変換方式選択部６１により逆変換方式として逆スラント変換が選択された場合、逆量子化部４２から出力された変換係数を逆スラント変換し、その逆スラント変換結果を示す予測誤差信号（図１の減算器５から出力された予測差分信号に相当する信号）を加算器４７に出力する処理を実施する。
【００５２】
次に動作について説明する。
最初に、画像符号化装置の処理内容を説明する。
イントラ予測部１は、マクロブロック単位の画像信号を入力すると、イントラ予測用メモリ１２に格納されている局部復号信号を使用して、その画像信号を構成している輝度信号および色差信号に対するイントラ予測処理を実施する。
ＡＶＣでは、輝度信号に対するイントラ予測処理として、４×４ブロックを一単位とする方式で９種類、８×８ブロックを一単位とする方式で９種類、１６×１６ブロックを一単位とする方式で４種類が、色差信号に対するイントラ予測処理として４種類がそれぞれ定義されており、イントラ予測部１では、定義されているイントラ予測方式の中から、使用するイントラ予測方式を決定し、そのイントラ予測方式でイントラ予測処理を実施する。
イントラ予測部１は、入力信号に対するイントラ予測処理を実施することで予測画像を生成すると、その予測画像を示すイントラ予測信号を選択スイッチ４に出力し、その決定したイントラ予測方式を示すイントラ予測方式情報をエントロピー符号化部１５に出力する。
イントラ予測部１における予測画像の生成処理自体は公知の技術であるため詳細な説明を省略する。
【００５３】
動き検出部２は、マクロブロック単位の画像信号を入力すると、その画像信号と動き補償予測用フレームメモリ１４に格納されている局部復号画像信号との間で動きを検出し、その動きを示す動きベクトルを動き補償予測部３及びエントロピー符号化部１５に出力する。
動き検出部２における動きベクトルの検出処理自体は公知の技術であるため詳細な説明を省略する。
【００５４】
動き補償予測部３は、動き検出部２から動きベクトルを受けると、その動きベクトルと動き補償予測用フレームメモリ１４に格納されている局部復号画像信号を用いて予測画像を生成し、その予測画像を示す動き補償予測信号を選択スイッチ４に出力する。
動き補償予測部３における予測画像の生成処理自体は公知の技術であるため詳細な説明を省略する。
【００５５】
選択スイッチ４は、イントラ予測部１からイントラ予測信号を受け、動き補償予測部３から動き補償予測信号を受けると、例えば、符号化制御部７の指示の下、イントラ予測信号又は動き補償予測信号のいずれか一方を予測信号として選択し、その予測信号を減算器５及び加算器１１に出力する。
また、選択スイッチ４は、イントラ予測信号又は動き補償予測信号のいずれを選択したかを示す予測信号選択情報をエントロピー符号化部１５に出力する。
減算器５は、マクロブロック単位の画像信号を入力すると、その画像信号と選択スイッチ４から出力された予測信号の差分を算出し、その差分を示す予測差分信号を変換部６に出力する。
【００５６】
変換部６のＤＣＴ器２１は、減算器５から予測差分信号を受けると、その予測差分信号を離散コサイン変換（ＤＣＴ）して、その離散コサイン変換結果を示すＤＣＴ係数を量子化部８のＤＣＴ係数量子化器２３に出力する。
また、変換部６のスラント変換器２２は、減算器５から予測差分信号を受けると、その予測差分信号をスラント変換して、そのスラント変換結果を示すスラント変換係数を量子化部８のスラント変換係数量子化器２４に出力する。
【００５７】
ここで、図６は変換部６によって得られる６４個の変換係数のインデックスを示す説明図である。
図６において、「ＤＣ」は変換係数におけるＤＣ成分であり、「ＡＣ」は変換係数におけるＡＣ成分である。
特に、ＡＣ（０，１）は変換係数における全てのＡＣ成分のうち、水平方向で最も低周波に位置しているＡＣ成分である。
また、ＡＣ（１，０）は変換係数における全てのＡＣ成分のうち、垂直方向で最も低周波に位置しているＡＣ成分である。
【００５８】
このとき、図７に示すような予測差分信号（入力画像を示す画像信号が直線的に滑らかに変化するグラデーション信号である場合の予測差分信号）が変換部６に入力されて、変換部６のＤＣＴ器２１が当該予測差分信号を離散コサイン変換（ＤＣＴ）すると、そのＤＣＴ係数は、図８に示すように、４つの非ゼロのＡＣ成分が得られる。
したがって、図７に示すような予測差分信号が変換部６に入力される場合に、量子化部８が変換部６から出力されたＤＣＴ係数を量子化して、その量子化係数を逆量子化部９及びエントロピー符号化部１５に出力すると、背景技術の欄で説明したように、符号量が少ない場合、符号化雑音が目立つ復号画像になる。
【００５９】
一方、変換部６のスラント変換器２２が図７に示すような予測差分信号をスラント変換すると、そのスラント変換係数は、図１０に示すように、全てのＡＣ成分の中で、水平方向で最も低周波に位置しているＡＣ成分であるＡＣ（０，１）だけが非ゼロになる。
したがって、図７に示すような予測差分信号が変換部６に入力される場合に、量子化部８が変換部６から出力されたスラント変換係数を量子化して、その量子化係数を逆量子化部９及びエントロピー符号化部１５に出力すれば、少ない符号量で、縞模様のような視覚的雑音が発生しない復号画像を得ることができる。
【００６０】
そこで、この実施の形態１では、量子化後のスラント変換係数におけるＡＣ成分のうち、水平方向で最も低周波に位置しているＡＣ成分であるＡＣ（０，１）と、垂直方向で最も低周波に位置しているＡＣ成分であるＡＣ（１，０）以外のＡＣ成分において、非ゼロのＡＣ成分が含まれていなければ、入力画像を示す画像信号がグラデーション信号であると判断し、そのグラデーション信号を歪ませることなく、しかも少ない符号量で効率のよい符号化処理及び復号処理を実現するために、量子化後のスラント変換係数を選択して逆量子化部９及びエントロピー符号化部１５に出力するようにする。
一方、ＡＣ（０，１）とＡＣ（１，０）以外のＡＣ成分において、非ゼロのＡＣ成分が含まれていれば、入力画像を示す画像信号がグラデーション信号ではないと判断し、量子化後のＤＣＴ係数を選択して逆量子化部９及びエントロピー符号化部１５に出力するようにする。
具体的には、以下の通りである。
【００６１】
量子化部８のＤＣＴ係数量子化器２３は、変換部６のＤＣＴ器２１からＤＣＴ係数を受けると、符号化制御部７から出力された量子化パラメータにしたがって、そのＤＣＴ係数を量子化し、量子化後のＤＣＴ係数を変換方式選択部２５に出力する。
量子化部８のスラント変換係数量子化器２４は、変換部６のスラント変換器２２からスラント変換係数を受けると、符号化制御部７から出力された量子化パラメータにしたがって、そのスラント変換係数を量子化し、量子化後のスラント変換係数を変換方式選択部２５に出力する。
【００６２】
量子化部８の変換方式選択部２５は、スラント変換係数量子化器２４から量子化後のスラント変換係数を受けると、そのスラント変換係数におけるＡＣ成分のうち、水平方向で最も低周波に位置しているＡＣ（０，１）と、垂直方向で最も低周波に位置しているＡＣ（１，０）以外のＡＣ成分において、非ゼロのＡＣ成分が含まれているか否かを判定する。
変換方式選択部２５は、非ゼロのＡＣ成分が含まれていなければ、スラント変換係数量子化器２４から出力された量子化後のスラント変換係数を選択し、量子化後のスラント変換係数を量子化係数として逆量子化部９及びエントロピー符号化部１５に出力する。
一方、非ゼロのＡＣ成分が含まれていれば、ＤＣＴ係数量子化器２３から出力された量子化後のＤＣＴ係数を選択し、量子化後のＤＣＴ係数を量子化係数として逆量子化部９及びエントロピー符号化部１５に出力する。
【００６３】
ここでは、量子化部８がＤＣＴ係数量子化器２３とスラント変換係数量子化器２４を実装しているものを示したが、量子化部８が１つの量子化器だけを実装し、１つの量子化器が時分割で、ＤＣＴとスラント変換を行うようにしてもよい。
逆量子化部９は、量子化部８から量子化係数（量子化後のＤＣＴ係数又は量子化後のスラント変換係数）を受けると、符号化制御部７から出力された量子化パラメータにしたがって、その量子化係数を逆量子化し、その逆量子化結果である変換係数（ＤＣＴ係数又はスラント変換係数）を逆変換部１０に出力する。
【００６４】
逆変換部１０の逆変換方式選択部３１は、逆量子化部９から変換係数（ＤＣＴ係数又はスラント変換係数）を受けると、その変換係数におけるＡＣ成分のうち、水平方向で最も低周波に位置しているＡＣ（０，１）と、垂直方向で最も低周波に位置しているＡＣ（１，０）以外のＡＣ成分において、非ゼロのＡＣ成分が含まれているか否かを判定する。
逆変換方式選択部３１は、非ゼロのＡＣ成分が含まれていなければ、逆変換方式として逆スラント変換を選択し、逆量子化部９から出力された変換係数を逆スラント変換器３３に出力する。
一方、非ゼロのＡＣ成分が含まれていれば、逆変換方式として逆離散コサイン変換（逆ＤＣＴ）を選択し、逆量子化部９から出力された変換係数を逆ＤＣＴ器３２に出力する。
【００６５】
逆変換部１０の逆ＤＣＴ器３２は、逆変換方式選択部３１により逆変換方式として逆離散コサイン変換（逆ＤＣＴ）が選択された場合、逆変換方式選択部３１から出力された変換係数を逆離散コサイン変換（逆ＤＣＴ）し、その逆離散コサイン変換結果を示す予測誤差信号（減算器５から出力された予測差分信号に相当する信号）を加算器１１に出力する。
逆変換部１０の逆スラント変換器３３は、逆変換方式選択部３１により逆変換方式として逆スラント変換が選択された場合、逆変換方式選択部３１から出力された変換係数を逆スラント変換し、その逆スラント変換結果を示す予測誤差信号（減算器５から出力された予測差分信号に相当する信号）を加算器１１に出力する。
【００６６】
加算器１１は、選択スイッチ４から予測信号を受け、逆変換部１０から予測誤差信号を受けると、次の符号化処理に備えるために、その予測信号と予測誤差信号を加算することで局部復号信号を算出し、その局部復号信号をイントラ予測用メモリ１２に格納する。
ループフィルタ１３は、加算器１１が局部復号信号をイントラ予測用メモリ１２に格納すると、その局部復号信号に対してデブロッキングフィルタ処理を実施し、フィルタ処理後の局部復号信号である局部復号画像信号を動き補償予測用フレームメモリ１４に格納する。
【００６７】
エントロピー符号化部１５は、イントラ予測部１から出力されたイントラ予測方式情報と、動き検出部２から出力された動きベクトルと、選択スイッチ４から出力された予測信号選択情報と、符号化制御部７から出力された量子化パラメータと、量子化部８から出力された量子化係数と、その他の必要な情報とをエントロピー符号化し、その符号化結果を示す符号化データを出力する。
なお、画像復号装置では、後述するように、逆量子化部４２から出力された変換係数におけるＡＣ成分の分布を参照すれば、その変換係数に対する逆変換方式を選択することができるため、その逆変換方式を示す情報を符号化データに含めて送信する必要はない。
【００６８】
次に、画像復号装置の処理内容を説明する。
エントロピー復号部４１は、図１の画像符号化装置から出力された符号化データを入力すると、その符号化データからイントラ予測方式情報、動きベクトル、予測信号選択情報、量子化パラメータ及び量子化係数をエントロピー復号する。
また、エントロピー復号部４１は、その量子化パラメータ及び量子化係数を逆量子化部４２に出力し、そのイントラ予測方式情報をイントラ予測部４４に出力し、その動きベクトルを動き補償予測部４５に出力し、その予測信号選択情報を選択スイッチ４６に出力する。
【００６９】
逆量子化部４２は、エントロピー復号部４１から量子化係数を受けると、エントロピー復号部４１から出力された量子化パラメータにしたがって、その量子化係数を逆量子化し、その逆量子化結果である変換係数（ＤＣＴ係数又はスラント変換係数）を逆変換部４３に出力する。
【００７０】
逆変換部４３の逆変換方式選択部６１は、逆量子化部４２から変換係数（ＤＣＴ係数又はスラント変換係数）を受けると、その変換係数におけるＡＣ成分のうち、水平方向で最も低周波に位置しているＡＣ（０，１）と、垂直方向で最も低周波に位置しているＡＣ（１，０）以外のＡＣ成分において、非ゼロのＡＣ成分が含まれているか否かを判定する。
逆変換方式選択部６１は、非ゼロのＡＣ成分が含まれていなければ、逆変換方式として逆スラント変換を選択し、逆量子化部４２から出力された変換係数を逆スラント変換器６３に出力する。
一方、非ゼロのＡＣ成分が含まれていれば、逆変換方式として逆離散コサイン変換（逆ＤＣＴ）を選択し、逆量子化部４２から出力された変換係数を逆ＤＣＴ器６２に出力する。
【００７１】
逆変換部４３の逆ＤＣＴ器６２は、逆変換方式選択部６１により逆変換方式として逆離散コサイン変換（逆ＤＣＴ）が選択された場合、逆変換方式選択部６１から出力された変換係数を逆離散コサイン変換（逆ＤＣＴ）し、その逆離散コサイン変換結果を示す予測誤差信号（図１の減算器５から出力された予測差分信号に相当する信号）を加算器４７に出力する。
逆変換部４３の逆スラント変換器６３は、逆変換方式選択部６１により逆変換方式として逆スラント変換が選択された場合、逆変換方式選択部６１から出力された変換係数を逆スラント変換し、その逆スラント変換結果を示す予測誤差信号（図１の減算器５から出力された予測差分信号に相当する信号）を加算器４７に出力する。
【００７２】
イントラ予測部４４は、エントロピー復号部４１からイントラ予測方式情報を受けると、イントラ予測用メモリ４８に格納されている復号信号を使用して、そのイントラ予測方式情報が示すイントラ予測方式でイントラ予測処理を実施することにより予測画像を生成し、その予測画像を示すイントラ予測信号を選択スイッチ４６に出力する。
動き補償予測部４５は、エントロピー復号部４１から動きベクトルを受けると、その動きベクトルと動き補償予測用フレームメモリ５０に格納されている復号画像信号を用いて予測画像を生成し、その予測画像を示す動き補償予測信号を選択スイッチ４６に出力する。
【００７３】
選択スイッチ４６は、エントロピー復号部４１から予測信号選択情報を受けると、その予測信号選択情報を参照して、図１の選択スイッチ４がイントラ予測信号を選択しているのか、動き補償予測信号を選択しているのかを判別する。
選択スイッチ４６は、図１の選択スイッチ４がイントラ予測信号を選択していると判別すると、イントラ予測部４４から出力されたイントラ予測信号を予測信号として選択し、その予測信号を加算器４７に出力する。
一方、図１の選択スイッチ４が動き補償予測信号を選択していると判別すると、動き補償予測部４５から出力された動き補償予測信号を予測信号として選択し、その予測信号を加算器４７に出力する。
【００７４】
加算器４７は、選択スイッチ４６から予測信号を受け、逆変換部４３から予測誤差信号を受けると、その予測信号と予測誤差信号を加算することで復号信号を算出し、その復号信号をイントラ予測用メモリ４８に格納する。
ループフィルタ４９は、加算器４７が復号信号をイントラ予測用メモリ４８に格納すると、その復号信号に対してデブロッキングフィルタ処理を実施し、フィルタ処理後の復号信号である復号画像信号を動き補償予測用フレームメモリ５０に格納するとともに、その復号画像信号を外部に出力する。
【００７５】
以上で明らかなように、この実施の形態１によれば、減算器５から出力された予測差分信号を離散コサイン変換（ＤＣＴ）して、その離散コサイン変換結果を示すＤＣＴ係数を出力するとともに、減算器５から出力された予測差分信号をスラント変換して、そのスラント変換結果を示すスラント変換係数を出力する変換部６と、変換部６から出力されたＤＣＴ係数を量子化するとともに、変換部６から出力されたスラント変換係数を量子化し、量子化後のスラント変換係数におけるＡＣ成分の分布を参照して、量子化後のＤＣＴ係数又は量子化後のスラント変換係数を選択する量子化部８とを設け、エントロピー符号化部１５が量子化部８により選択された量子化後の変換係数を可変長符号化し、その符号化結果である符号化データを出力するように構成したので、少ない符号量で、縞模様のような視覚的雑音が発生しない復号画像を得ることが可能な符号化データを出力する画像符号化装置が得られる効果を奏する。
【００７６】
即ち、この実施の形態１によれば、量子化後のスラント変換係数におけるＡＣ成分の分布を参照して、入力画像を示す画像信号がグラデーション信号であると判別される場合、量子化後のＤＣＴ係数ではなく、量子化後のスラント変換係数を選択することができるため、グラデーション信号が入力されても、縞模様のような視覚的雑音が発生しない復号画像を得ることができる。
【００７７】
また、この実施の形態１によれば、エントロピー復号部４１によりエントロピー復号された変換係数を逆量子化する逆量子化部４２と、逆量子化部４２による逆量子化後の変換係数におけるＡＣ成分の分布を参照して、その変換係数に対する逆変換方式として逆離散コサイン変換（逆ＤＣＴ）又は逆スラント変換を選択する逆変換方式選択部６１と、逆変換方式選択部６１により逆変換方式として逆離散コサイン変換（逆ＤＣＴ）が選択された場合、その変換係数を逆離散コサイン変換（逆ＤＣＴ）して予測差分信号を算出する逆ＤＣＴ器６２と、逆変換方式選択部６１により逆変換方式として逆スラント変換が選択された場合、その変換係数を逆スラント変換して予測差分信号を算出する逆スラント変換器６３と、逆ＤＣＴ器６２又は逆スラント変換器６３により算出された予測差分信号から復号画像を示す復号画像信号を生成するように構成したので、縞模様のような視覚的雑音が発生しない復号画像を得ることが可能な画像復号装置が得られる効果を奏する。
【００７８】
実施の形態２．
図１１はこの発明の実施の形態２による画像符号化装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
この実施の形態２の画像復号装置は、上記実施の形態１と同様に、図４の画像復号装置が用いられる。
画像符号化装置の変換部７１は減算器５から出力された予測差分信号を離散コサイン変換（ＤＣＴ）して、その離散コサイン変換結果を示すＤＣＴ係数を量子化部７３に出力する処理を実施する。なお、変換部７１は信号変換手段を構成している。
【００７９】
符号化制御部７２は図１の符号化制御部７と同様に、量子化部７３及び逆量子化部９が量子化・逆量子化を実施する際に参照する量子化パラメータを出力して、符号化データの符号量や符号化画質を制御する処理を実施する。
ただし、符号化制御部７２は変換部７１から出力されたＤＣＴ係数の分布を参照して、入力画像を示す画像信号がグラデーション信号であるか否かを判定し、その画像信号がグラデーション信号である場合、水平方向で最も低周波に位置しているＡＣ成分であるＡＣ（０，１）と、垂直方向で最も低周波に位置しているＡＣ成分であるＡＣ（１，０）以外のＡＣ成分がゼロになるように、そのＤＣＴ係数を量子化する指示を量子化部７３に出力する。
量子化部７３は符号化制御部７２の制御の下で、変換部７１から出力されたＤＣＴ係数を量子化し、量子化後のＤＣＴ係数を量子化係数として逆量子化部９及びエントロピー符号化部１５に出力する処理を実施する。
なお、符号化制御部７２及び量子化部７３から量子化手段が構成されている。
【００８０】
図１１では、画像符号化装置の構成要素であるイントラ予測部１、動き検出部２、動き補償予測部３、選択スイッチ４、減算器５、変換部７１、符号化制御部７２、量子化部７３、逆量子化部９、逆変換部１０、加算器１１、ループフィルタ１３及びエントロピー符号化部１５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されている場合、イントラ予測部１、動き検出部２、動き補償予測部３、選択スイッチ４、減算器５、変換部７１、符号化制御部７２、量子化部７３、逆量子化部９、逆変換部１０、加算器１１、ループフィルタ１３及びエントロピー符号化部１５の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００８１】
次に動作について説明する。
画像符号化装置において、変換部７１、符号化制御部７２及び量子化部７３以外は、上記実施の形態１と同様であるため、主に、変換部７１、符号化制御部７２及び量子化部７３の処理内容を説明する。
画像復号装置の処理内容は、上記実施の形態１と同様であるため説明を省略する。
【００８２】
変換部７１は、図１の変換部６と異なり、ＤＣＴ器２１のみを実装しており、減算器５から予測差分信号を受けると、その予測差分信号を離散コサイン変換（ＤＣＴ）して、その離散コサイン変換結果を示すＤＣＴ係数を符号化制御部７２及び量子化部７３に出力する。
【００８３】
符号化制御部７２は、図１の符号化制御部７と同様に、量子化部７３及び逆量子化部９が量子化・逆量子化を実施する際に参照する量子化パラメータ情報を出力して、符号化データの符号量や符号化画質を制御する。
ただし、符号化制御部７２は、変換部７１から出力されたＤＣＴ係数の分布を参照して、入力画像を示す画像信号がグラデーション信号であるか否かを判定する。
例えば、入力画像を示す画像信号がグラデーション信号であり、図７のような予測差分信号が変換部７１に入力されると、変換部７１から出力されるＤＣＴ係数は、図８に示すように、ＤＣ成分と４個のＡＣ成分が非ゼロになる。
このため、符号化制御部７２は、４個のＡＣ成分であるＡＣ（０，１）、ＡＣ（０，３）、ＡＣ（０，５）、ＡＣ（０，７）が非ゼロである場合、入力画像を示す画像信号がグラデーション信号であると推測する。
【００８４】
符号化制御部７２は、入力画像を示す画像信号がグラデーション信号であると推測すると、水平方向で最も低周波に位置しているＡＣ成分であるＡＣ（０，１）と、垂直方向で最も低周波に位置しているＡＣ成分であるＡＣ（１，０）以外のＡＣ成分がゼロになるように、そのＤＣＴ係数を量子化する指示を量子化部７３に出力する。
【００８５】
量子化部７３は、変換部７１からＤＣＴ係数を受けると、符号化制御部７２から出力された量子化パラメータにしたがって、そのＤＣＴ係数を量子化し、量子化後のＤＣＴ係数を量子化係数として、逆量子化部９及びエントロピー符号化部１５に出力する。
ただし、量子化部７３は、符号化制御部７２からＡＣ（０，１）及びＡＣ（１，０）以外のＡＣ成分がゼロになるように、そのＤＣＴ係数を量子化する指示を受けると、ＡＣ（０，１）及びＡＣ（１，０）以外のＡＣ成分がゼロになるように、そのＤＣＴ係数を量子化する。
この場合の量子化係数（量子化後のＤＣＴ係数）は、図２のスラント変換係数量子化器２４によって量子化されたスラント変換係数と等価になる。
【００８６】
逆量子化部９は、量子化部７３から量子化係数を受けると、上記実施の形態１と同様に、符号化制御部７２から出力された量子化パラメータにしたがって、その量子化係数を逆量子化し、その逆量子化結果である変換係数（ＤＣＴ係数）を逆変換部１０に出力する。
【００８７】
逆変換部１０の逆変換方式選択部３１は、逆量子化部９から変換係数（ＤＣＴ係数）を受けると、上記実施の形態１と同様に、その変換係数におけるＡＣ成分のうち、水平方向で最も低周波に位置しているＡＣ（０，１）と、垂直方向で最も低周波に位置しているＡＣ（１，０）以外のＡＣ成分において、非ゼロのＡＣ成分が含まれているか否かを判定する。
逆変換方式選択部３１は、非ゼロのＡＣ成分が含まれていなければ、逆変換方式として逆スラント変換を選択し、逆量子化部９から出力された変換係数を逆スラント変換器３３に出力する。
一方、非ゼロのＡＣ成分が含まれていれば、逆変換方式として逆離散コサイン変換（逆ＤＣＴ）を選択し、逆量子化部９から出力された変換係数を逆ＤＣＴ器３２に出力する。
【００８８】
逆変換部１０の逆ＤＣＴ器３２は、上記実施の形態１と同様に、逆変換方式選択部３１により逆変換方式として逆離散コサイン変換（逆ＤＣＴ）が選択された場合、逆変換方式選択部３１から出力された変換係数を逆離散コサイン変換（逆ＤＣＴ）し、その逆離散コサイン変換結果を示す予測誤差信号（減算器５から出力された予測差分信号に相当する信号）を加算器１１に出力する。
逆変換部１０の逆スラント変換器３３は、逆変換方式選択部３１により逆変換方式として逆スラント変換が選択された場合、逆変換方式選択部３１から出力された変換係数を逆スラント変換し、その逆スラント変換結果を示す予測誤差信号（減算器５から出力された予測差分信号に相当する信号）を加算器１１に出力する。
【００８９】
以上で明らかなように、この実施の形態２によれば、符号化制御部７２が、変換部７１から出力されたＤＣＴ係数の分布を参照して、入力画像を示す画像信号がグラデーション信号であるか否かを判定し、その画像信号がグラデーション信号である場合、水平方向で最も低周波に位置しているＡＣ成分であるＡＣ（０，１）と、垂直方向で最も低周波に位置しているＡＣ成分であるＡＣ（１，０）以外のＡＣ成分がゼロになるように、そのＤＣＴ係数を量子化する指示を量子化部７３に出力するように構成したので、上記実施の形態１と同様に、少ない符号量で、縞模様のような視覚的雑音が発生しない復号画像を得ることが可能な符号化データを出力する画像符号化装置が得られる効果を奏する。
ただし、この実施の形態２では、変換部７１がＤＣＴ器２１のみを実装し、量子化部７３がＤＣＴ係数量子化器２３のみを実装すれば足りるため、上記実施の形態１よりも、画像符号化装置の構成を簡略化することができる効果を奏する。
【００９０】
なお、この実施の形態２では、入力画像を示す画像信号がグラデーション信号であると推測される場合、変換部７１が予測差分信号を離散コサイン変換（ＤＣＴ）して、逆変換部１０がＤＣＴ係数を逆スラント変換するため、厳密には、変換係数に対して補正処理が必要になる。
その補正値は、グラデーション信号の特性にも依存するが、おおよそ０．９６〜１．０４の値をとるため、量子化処理によって生じる量子化誤差の方が大きな値になり、実質的には補正処理は不要である。
【００９１】
実施の形態３．
図１２はこの発明の実施の形態３による画像符号化装置を示す構成図であり、図において、図１及び図１１と同一符号は同一又は相当部分を示すので説明を省略する。
この実施の形態３の画像復号装置は、上記実施の形態１と同様に、図４の画像復号装置が用いられる。
【００９２】
この実施の形態３では、上記実施の形態２と同様に、変換部７１がＤＣＴ器２１のみを実装し、量子化部７３がＤＣＴ係数量子化器２３のみを実装している。
ただし、この実施の形態３では、図１の符号化制御部７が実装されており、図１１の符号化制御部７２のように、入力画像を示す画像信号がグラデーション信号であるか否かを判定するような処理を行うことはない。
以下、画像符号化装置の処理内容を説明する。
【００９３】
変換部７１は、図１の変換部６と異なり、ＤＣＴ器２１のみを実装しており、減算器５から予測差分信号を受けると、その予測差分信号を離散コサイン変換（ＤＣＴ）して、その離散コサイン変換結果を示すＤＣＴ係数を量子化部７３に出力する。
符号化制御部７は、上記実施の形態１と同様に、量子化部７３及び逆量子化部９が量子化・逆量子化を実施する際に参照する量子化パラメータを出力して、符号化データの符号量や符号化画質を制御する。
【００９４】
量子化部７３は、変換部７１からＤＣＴ係数を受けると、符号化制御部７から出力された量子化パラメータにしたがって、そのＤＣＴ係数を量子化し、量子化後のＤＣＴ係数を量子化係数として、逆量子化部９及びエントロピー符号化部１５に出力する。
ただし、量子化部７３は、符号化制御部７からＡＣ（０，１）及びＡＣ（１，０）以外のＡＣ成分がゼロになるように、そのＤＣＴ係数を量子化する指示を受けることはないため、ＡＣ（０，１）及びＡＣ（１，０）以外のＡＣ成分がゼロになるようにＤＣＴ係数を量子化することはない。
【００９５】
逆量子化部９は、量子化部７３から量子化係数を受けると、上記実施の形態１と同様に、符号化制御部７から出力された量子化パラメータにしたがって、その量子化係数を逆量子化し、その逆量子化結果である変換係数（ＤＣＴ係数）を逆変換部１０に出力する。
【００９６】
逆変換部１０の逆変換方式選択部３１は、逆量子化部９から変換係数（ＤＣＴ係数）を受けると、上記実施の形態１と同様に、その変換係数におけるＡＣ成分のうち、水平方向で最も低周波に位置しているＡＣ（０，１）と、垂直方向で最も低周波に位置しているＡＣ（１，０）以外のＡＣ成分において、非ゼロのＡＣ成分が含まれているか否かを判定する。
逆変換方式選択部３１は、非ゼロのＡＣ成分が含まれていなければ、逆変換方式として逆スラント変換を選択し、逆量子化部９から出力された変換係数を逆スラント変換器３３に出力する。
一方、非ゼロのＡＣ成分が含まれていれば、逆変換方式として逆離散コサイン変換（逆ＤＣＴ）を選択し、逆量子化部９から出力された変換係数を逆ＤＣＴ器３２に出力する。
【００９７】
逆変換部１０の逆ＤＣＴ器３２は、上記実施の形態１と同様に、逆変換方式選択部３１により逆変換方式として逆離散コサイン変換（逆ＤＣＴ）が選択された場合、逆変換方式選択部３１から出力された変換係数を逆離散コサイン変換（逆ＤＣＴ）し、その逆離散コサイン変換結果を示す予測誤差信号（減算器５から出力された予測差分信号に相当する信号）を加算器１１に出力する。
逆変換部１０の逆スラント変換器３３は、逆変換方式選択部３１により逆変換方式として逆スラント変換が選択された場合、逆変換方式選択部３１から出力された変換係数を逆スラント変換し、その逆スラント変換結果を示す予測誤差信号（減算器５から出力された予測差分信号に相当する信号）を加算器１１に出力する。
【００９８】
この実施の形態３の画像符号化装置では、コサイン関数のような変化を有する予測差分信号を符号化する場合、逆変換部１０の逆変換方式選択部３１が逆変換方式として逆スラント変換を選択してしまうため誤差が生じて性能が劣化するが、通常の画像信号では、そのような信号よりも、斜め直線的に変化する信号成分をとることが圧倒的に多いため、誤差が生じる可能性は極めて小さい。
この実施の形態３では、上記実施の形態２のように、制御機能を有する符号化制御部７２を実装する必要がないため、画像符号化装置の構成を簡略化することができる効果を奏する。
【００９９】
実施の形態４．
図１３はこの発明の実施の形態４による画像符号化装置を示す構成図であり、図において、図１１と同一符号は同一又は相当部分を示すので説明を省略する。
この実施の形態４の画像復号装置は、上記実施の形態１と同様に、図４の画像復号装置が用いられる。
【０１００】
符号化制御部７４は図１１の符号化制御部７２と同様に、変換部７１から出力されたＤＣＴ係数の分布を参照して、入力画像を示す画像信号がグラデーション信号であるか否かを判定し、その画像信号がグラデーション信号である場合、水平方向で最も低周波に位置しているＡＣ成分であるＡＣ（０，１）と、垂直方向で最も低周波に位置しているＡＣ成分であるＡＣ（１，０）以外のＡＣ成分がゼロになるように、そのＤＣＴ係数を量子化する指示を量子化部７３に出力する。
また、符号化制御部７４は、その画像信号がグラデーション信号である場合、その画像信号がグラデーション信号でない場合よりも、そのＤＣＴ係数を高精度に量子化を行う指示を量子化部７３に出力する。
なお、符号化制御部７４及び量子化部７３から量子化手段が構成されている。
【０１０１】
図１３では、画像符号化装置の構成要素であるイントラ予測部１、動き検出部２、動き補償予測部３、選択スイッチ４、減算器５、変換部７１、符号化制御部７４、量子化部７３、逆量子化部９、逆変換部１０、加算器１１、ループフィルタ１３及びエントロピー符号化部１５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されている場合、イントラ予測部１、動き検出部２、動き補償予測部３、選択スイッチ４、減算器５、変換部７１、符号化制御部７４、量子化部７３、逆量子化部９、逆変換部１０、加算器１１、ループフィルタ１３及びエントロピー符号化部１５の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【０１０２】
次に動作について説明する。
符号化制御部７４は、図１１の符号化制御部７２と同様に、変換部７１から出力されたＤＣＴ係数の分布を参照して、入力画像を示す画像信号がグラデーション信号であるか否かを判定する。
符号化制御部７４は、その画像信号がグラデーション信号であると判定すると、水平方向で最も低周波に位置しているＡＣ成分であるＡＣ（０，１）と、垂直方向で最も低周波に位置しているＡＣ成分であるＡＣ（１，０）以外のＡＣ成分がゼロになるように、そのＤＣＴ係数を量子化する指示を量子化部７３に出力する。
また、符号化制御部７４は、その画像信号がグラデーション信号である場合、その画像信号がグラデーション信号でない場合よりも、そのＤＣＴ係数を高精度に量子化を行う指示を量子化部７３に出力する。
【０１０３】
量子化部７３は、変換部７１からＤＣＴ係数を受けると、符号化制御部７２から出力された量子化パラメータにしたがって、そのＤＣＴ係数を量子化し、量子化後のＤＣＴ係数を量子化係数として、逆量子化部９及びエントロピー符号化部１５に出力する。
ただし、量子化部７３は、符号化制御部７４からＡＣ（０，１）及びＡＣ（１，０）以外のＡＣ成分がゼロになるように、そのＤＣＴ係数を量子化する指示を受けると、ＡＣ（０，１）及びＡＣ（１，０）以外のＡＣ成分がゼロになるように、そのＤＣＴ係数を量子化する。
この場合の量子化係数（量子化後のＤＣＴ係数）は、図２のスラント変換係数量子化器２４によって量子化されたスラント変換係数と等価になる。
【０１０４】
また、量子化部７３は、符号化制御部７４からＤＣＴ係数を高精度に量子化を行う指示を受けると、そのＤＣＴ係数を高精度に量子化を行う。
即ち、量子化部７３は、入力画像を示す画像信号がグラデーション信号ではなく、符号化制御部７４からＤＣＴ係数を高精度に量子化を行う指示がなければ、例えば、量子化のステップサイズを大きく取って、ＤＣＴ係数を粗く量子化する。
一方、その画像信号がグラデーション信号であり、符号化制御部７４からＤＣＴ係数を高精度に量子化を行う指示があると、例えば、量子化のステップサイズを小さく取って、ＤＣＴ係数を細かく量子化する。
【０１０５】
この実施の形態４では、画像信号がグラデーション信号である場合、その画像信号がグラデーション信号でない場合よりも、ＤＣＴ係数を高精度に量子化を行うが、このように高精度に量子化を行う理由は、変換係数のＡＣ（０，１）とＡＣ（１，０）によってグラデーションの正確さが決まり、復号画像のグラデーションの再現性を高めるには、この２つのＡＣ成分の正確さが非常に重要だからである。
量子化を高精度に行うと、通常は符号量が増えてしまうが、グラデーション信号と判定された場合、非ゼロのＡＣ成分は２つしかないため符号量の増加分は小さい。
【０１０６】
以上で明らかなように、この実施の形態４によれば、符号化制御部７４が、画像信号がグラデーション信号である場合、その画像信号がグラデーション信号でない場合よりも、ＤＣＴ係数を高精度に量子化を行う指示を量子化部７３に出力するように構成したので、復号画像のグラデーションの再現性を高めることができる効果を奏する。
【０１０７】
実施の形態５．
図１４はこの発明の実施の形態５による画像符号化装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
イントラ予測部８１は図１，１１〜１５のイントラ予測部１と同様に、マクロブロック単位の画像信号を入力すると、イントラ予測用メモリ１２に格納されている局部復号信号を使用して、その画像信号を構成している輝度信号に対するイントラ予測処理を実施することで予測画像を生成する処理を実施する。
ただし、イントラ予測部８１は図１，１１〜１５のイントラ予測部１と異なり、入力画像を示す画像信号がグラデーション信号であるか否かを判定し、その画像信号がグラデーション信号であれば、方向性を持っていないＤＣイントラ予測の符号化方式（ＡＶＣの規格書で定められているモード２の符号化方式）を使用して予測画像を生成する。
なお、イントラ予測部８１は予測画像生成手段を構成している。
【０１０８】
次に動作について説明する。
ＡＶＣでは、上記実施の形態１で説明したように、輝度信号に対するイントラ予測処理として、４×４ブロックを一単位とする方式で９種類、８×８ブロックを一単位とする方式で９種類、１６×１６ブロックを一単位とする方式で４種類が定義されている。
入力画像を示す画像信号がグラデーション信号であるとき、そのグラデーション信号が、水平方向のみのＡＣ成分しかもっていない場合、あるいは、垂直方向のみのＡＣ成分しかもっていない場合、ＡＶＣのイントラ予測処理でも予測が可能である。
しかし、斜め方向のグラデーション成分を含むグラデーション信号に対しては予測ができないため、却って、予測差分信号が複雑な成分を含むことになる。そのため、非ゼロのＡＣ成分が増えて、符号化効率の低下を招くことになる。
【０１０９】
そこで、この実施の形態５では、イントラ予測部８１が、入力画像を示す画像信号がグラデーション信号であるか否かを判定し、その画像信号がグラデーション信号であれば、方向性を持っていないＤＣイントラ予測の符号化方式（ＡＶＣの規格書で定められているモード２の符号化方式）を使用して予測画像を生成する。
ＤＣイントラ予測の符号化方式を使用して予測画像を生成する場合、その予測画像を示すイントラ予測信号には、ＤＣ成分しか含まれないため、減算器５から出力される予測差分信号のＡＣ成分はそのまま保存される。
このため、量子化後のスラント変換係数を量子化係数として選択し、その量子化係数を符号化するようにすれば、ＡＣ（０，１）とＡＣ（１，０）以外のＡＣ成分はゼロになるため、符号量が多く発生することはない。
【０１１０】
ここでは、入力画像を示す画像信号がグラデーション信号である場合、イントラ予測部８１が、方向性を持っていないＤＣイントラ予測の符号化方式を使用して予測画像を生成するものについて示したが、イントラ予測部８１がイントラ予測処理を実施しないようにしてもよい。
この場合、イントラ予測部８１から出力されるイントラ予測信号は、全てゼロの値となり、選択スイッチ４では、動き補償予測部３から出力された動き補償予測信号が選択され、その動き補償予測信号が選択された旨を示す予測信号選択情報がエントロピー符号化部１５に出力される。
このように、イントラ予測部８１がイントラ予測処理を実施しないようにする場合、画像符号化装置の処理量を削減することができる効果を奏する。
【０１１１】
また、入力画像を示す画像信号がグラデーション信号である場合、イントラ予測部８１が、ＡＶＣで採用されている画素領域でのイントラ予測ではなく、ＭＰＥＧ−２で採用されている変換係数領域でのＤＣ予測や、ＭＰＥＧ−４で採用されている変換係数領域でのＤＣ／ＡＣ予測を使用するようにしてもよい。
例えば、図７で示すようなグラデーション信号が入力されて、画像が上下にも続いている場合、得られるＤＣＴ係数やスラント変換係数は上下のブロックで同じ値をとる。
そのため、ＭＰＥＧ−４で採用されている上側のブロックからＡＣ（０，ｘ）（ｘ＝１〜７）の成分を予測する処理を行えば、ＡＣ成分が全てゼロになるため、符号化の効率を一層高めることができる。
【０１１２】
なお、スラント変換の場合には、ＡＣ（０，１）のみが非ゼロのＡＣ成分になるため、ｘ＝１〜７の７個のＡＣ成分の全てを予測するのではなく、ＡＣ（０，１）の１個だけを予測するとしても同様の効果を得ることができる。
ここでは、水平方向に変化するグラデーション信号を例にして説明したが、垂直方向に変化するグラデーション信号の場合には、左側のブロックからＡＣ（ｙ，０）（ｙ＝１〜７）の成分を予測する処理を行えばよい。
【０１１３】
実施の形態６．
上記実施の形態１，５では、水平方向で最も低周波に位置しているＡＣ成分であるＡＣ（０，１）と、垂直方向で最も低周波に位置しているＡＣ成分であるＡＣ（１，０）以外のＡＣ成分において、非ゼロのＡＣ成分が含まれていなければ、スラント変換及び逆スラント変換を選択するものについて示したが、ＡＣ（０，３）、ＡＣ（０，５）、ＡＣ（０，７）、ＡＣ（３，０）、ＡＣ（５，０）、ＡＣ（７，０）が非ゼロである場合にも、スラント変換及び逆スラント変換を選択するようにしてもよく、上記実施の形態１，５と同様の効果を奏することができる。
【０１１４】
これらの６個のＡＣ成分が非ゼロである場合にスラント変換及び逆スラント変換を選択する理由は、グラデーション信号が、図７に示すように、常に左右の画素間で“２”の差がある場合ではなく、もっと緩やかなグラデーションであって、例えば、図１５に示すように、２画素毎に１ずつ増える場合には、ＤＣＴ係数が図１６に示すように、ＡＣ（１，０）、ＡＣ（０，３）、ＡＣ（０，５）、ＡＣ（０，７）の４つのＡＣ成分が非ゼロになるためである。
【０１１５】
また、ＡＣ（０，ｘ）、ＡＣ（ｙ，０）（ｘ＝１〜７、ｙ＝１〜７）で表されるＡＣ成分の全てが非ゼロの場合にも、スラント変換及び逆スラント変換を選択するようにしてもよい。
グラデーション信号が、コンピュータグラフィックスで生成されたような一様なものではなく、雑音や揺らぎを含むような自然界の物体に対するグラデーションの場合には、ＡＣ（０，１）、ＡＣ（１，０）以外の多くのＡＣ成分が非ゼロになるためである。
【０１１６】
実施の形態１〜６では、変換処理に対するブロックサイズが８×８であるものを想定しているが、これに限るものではなく、例えば、ブロックサイズが４×４や１６×１６であってもよい。
また、ブロックサイズが８×１６や１６×８などの長方形サイズのブロックであってもよいし、２次元ではなく、時間方向に拡張している３次元のブロックを用いた変換処理であってもよく、同様の処理によって同じような効果を得ることが可能である。
【０１１７】
国際標準化方式のＭＰＥＧ−２やＭＰＥＧ−４では、イントラ予測部１、イントラ予測メモリ１２及びループフィルタ１３がなく、処理の一部がＡＶＣと異なっているが、本発明を画像符号化装置の変換部６・逆変換部１０及び画像復号装置の逆変換部４３に適用することにより、ＡＶＣの場合と同様の効果を得ることが可能である。
【０１１８】
本実施の形態１〜６では、輝度信号と色差信号を区別することなく、同じように離散コサイン変換もしくはスラント変換のいずれかを選択するものとして説明したが、これに限るものではなく、輝度信号と色差信号で異なる処理をとってもよい。
例えば、細かな信号成分を多く含む輝度信号は常に離散コサイン変換を行い、信号成分がおおまかな色差信号にのみ離散コサイン変換とスラント変換のいずれかを選択する方法が考えられる。あるいは、輝度信号については実施の形態６で記したように複数個のＡＣ係数が非ゼロの場合にスラント変換を選択し、色差信号についてはＡＣ（０，１）およびＡＣ（１，０）以外の係数が非ゼロの場合にスラント変換を選択する方法が考えられる。輝度信号と色差信号の信号特性の違いを活用することにより、符号化の効率をよりいっそう高めることが可能となる。
また、離散コサイン変換とスラント変換のいずれを選択するかの基準を、入力される画像信号の特性に合わせて随時変更することも容易に可能である。例えば実施の形態６のような構成の場合、どの位置の係数のみが非ゼロの場合にスラント変換を選択する、あるいは何個以下の係数が非ゼロの場合にスラント変換を選択する、というように、非ゼロ係数の位置もしくは個数を符号化装置と復号装置の双方で変更できるようにしておき、符号化データの一部に非ゼロ係数の位置もしくは個数を示すデータを含めておくことにより実現できる。
【符号の説明】
【０１１９】
１，８１  イントラ予測部（予測画像生成手段）、２  動き検出部（予測画像生成手段）、３  動き補償予測部（予測画像生成手段）、４  選択スイッチ（予測画像生成手段）、５  減算器（予測差分信号算出手段）、６  変換部（信号変換手段）、７  符号化制御部（量子化手段）、８  量子化部（量子化手段）、９  逆量子化部、１０  逆変換部、１１  加算器、１２  イントラ予測用メモリ、１３  ループフィルタ、１４  動き補償予測用フレームメモリ、１５  エントロピー符号化部（可変長符号化手段）、２１  ＤＣＴ器、２２  スラント変換器、２３  ＤＣＴ係数量子化器、２４  スラント変換係数量子化器、２５  変換方式選択部、３１  逆変換方式選択部、３２  逆ＤＣＴ器、３３  逆スラント変換器、４１  エントロピー復号部（可変長復号手段）、４２  逆量子化部（逆量子化手段）、４３  逆変換部（逆変換方式選択手段、逆変換手段）、４４  イントラ予測部（復号画像生成手段）、４５  動き補償予測部（復号画像生成手段）、４６  選択スイッチ（復号画像生成手段）、４７  加算器（復号画像生成手段）、４８  イントラ予測用メモリ（復号画像生成手段）、４９  ループフィルタ（復号画像生成手段）、５０  動き補償予測用フレームメモリ（復号画像生成手段）、６１  逆変換方式選択部、６２  逆ＤＣＴ器、６３  逆スラント変換器、７１  変換部（信号変換手段）、７２，７４  符号化制御部（量子化手段）、７３  量子化部（量子化手段）、１０１  イントラ予測部、１０２  動き検出部、１０３  動き補償予測部、１０４  選択スイッチ、１０５  減算器、１０６  変換部、１０７  符号化制御部、１０８  量子化部、１０９  逆量子化部、１１０  逆変換部、１１１  加算器、１１２  イントラ予測用メモリ、１１３  ループフィルタ、１１４  動き補償予測用フレームメモリ、１１５  エントロピー符号化部、１２１  エントロピー復号部、１２２  逆量子化部、１２３  逆変換部、１２４  イントラ予測部、１２５  動き補償予測部、１２６  選択スイッチ、１２７  加算器、１２８  イントラ予測用メモリ、１２９  ループフィルタ、１３０  動き補償予測用フレームメモリ。
【図１】
2011166592.tif 000003
【図２】
2011166592.tif 000004
【図３】
2011166592.tif 000005
【図４】
2011166592.tif 000006
【図５】
2011166592.tif 000007
【図６】
2011166592.tif 000008
【図７】
2011166592.tif 000009
【図８】
2011166592.tif 000010
【図９】
2011166592.tif 000011
【図１０】
2011166592.tif 000012
【図１１】
2011166592.tif 000013
【図１２】
2011166592.tif 000014
【図１３】
2011166592.tif 000015
【図１４】
2011166592.tif 000016
【図１５】
2011166592.tif 000017
【図１６】
2011166592.tif 000018
【図１７】
2011166592.tif 000019
【図１８】
2011166592.tif 000020