(57)【要約】【課題】イントラ予測を用いる符号化において、符号量を増大させることなく、視覚的な画質の劣化を低減する。【解決手段】入力画像をイントラ予測方式に基づいて符号化する画像符号化装置１０であって、入力画像が分割された、複数の画素からなるブロック毎に、複数のイントラ予測方式の中から最も予測の精度が高いイントラ予測方式を選択し、選択したイントラ予測方式に従って予測された画素値をそれぞれに有する複数の画素からなる予測ブロックを生成するイントラ予測部１０２と、イントラ予測部１０２で生成された予測ブロックと、当該予測ブロックに対応する前記ブロックとの差分である残差ブロックを算出する減算部１０３と、減算部で算出された残差ブロックを符号化するエントロピー符号化部１０６とを備え、複数のイントラ予測方式には、含まれる画素の画素値が予め定められた値である予測ブロックを生成するためのイントラ予測方式が含まれる。【選択図】図２
2010010768.tif 000002
【特許請求の範囲】
【請求項１】
入力画像をイントラ予測方式に基づいて符号化する画像符号化装置であって、
前記入力画像が分割された、複数の画素からなるブロック毎に、複数のイントラ予測方式の中から最も予測の精度が高いイントラ予測方式を選択し、選択したイントラ予測方式に従って予測された画素値をそれぞれに有する複数の画素からなる予測ブロックを生成するイントラ予測手段と、
前記イントラ予測手段で生成された予測ブロックと、当該予測ブロックに対応する前記ブロックとの差分である残差ブロックを算出する減算手段と、
前記減算手段で算出された残差ブロックを符号化する符号化手段とを備え、
前記複数のイントラ予測方式には、含まれる画素の画素値が予め定められた値である予測ブロックを生成するためのイントラ予測方式が含まれる
画像符号化装置。
【請求項２】
前記予め定められた値は０である
請求項１記載の画像符号化装置。
【請求項３】
前記イントラ予測手段は、
前記複数のイントラ予測方式のそれぞれに対応する予測ブロックを生成する予測ブロック生成部と、
前記予測ブロック生成部で生成された予測ブロックに含まれる複数の画素の差分絶対値和である予測誤差を、前記イントラ予測方式毎に算出する予測誤差演算部と、
前記予測誤差が最小となるイントラ予測方式に従って生成された予測ブロックを選択する選択部とを有する
請求項１又は２記載の画像符号化装置。
【請求項４】
前記イントラ予測手段は、前記入力画像の色成分の値を示す複数の画素からなる色ブロック毎に、前記予測ブロックを生成し、
前記減算手段は、前記イントラ予測手段で生成された予測ブロックと、当該予測ブロックに対応する前記色ブロックとの差分である残差ブロックを算出する
請求項１〜３のいずれか１項に記載の画像符号化装置。
【請求項５】
入力画像をイントラ予測方式に基づいて符号化する画像符号化方法であって、
前記入力画像が分割された、複数の画素からなるブロック毎に、複数のイントラ予測方式の中から最も予測の精度が高いイントラ予測方式を選択し、選択したイントラ予測方式に従って予測された画素値をそれぞれに有する複数の画素からなる予測ブロックを生成するイントラ予測ステップと、
前記イントラ予測ステップで生成された予測ブロックと、当該予測ブロックに対応する前記ブロックとの差分である残差ブロックを算出する減算ステップと、
前記減算ステップで算出された残差ブロックを符号化する符号化ステップとを含み、
前記複数のイントラ予測方式には、含まれる画素の画素値が予め定められた値である予測ブロックを生成するためのイントラ予測方式が含まれる
画像符号化方法。
【請求項６】
入力画像をイントラ予測方式に基づいて符号化する画像符号化方法をコンピュータに実行させるためのプログラムであって、
前記入力画像が分割された、複数の画素からなるブロック毎に、複数のイントラ予測方式の中から最も予測の精度が高いイントラ予測方式を選択し、選択したイントラ予測方式に従って予測された画素値をそれぞれに有する複数の画素からなる予測ブロックを生成するイントラ予測ステップと、
前記イントラ予測ステップで生成された予測ブロックと、当該予測ブロックに対応する前記ブロックとの差分である残差ブロックを算出する減算ステップと、
前記減算ステップで算出された残差ブロックを符号化する符号化ステップとを含み、
前記複数のイントラ予測方式には、含まれる画素の画素値が予め定められた値である予測ブロックを生成するためのイントラ予測方式が含まれる
プログラム。
【請求項７】
入力画像をイントラ予測方式に基づいて符号化する集積回路であって、
前記入力画像が分割された、複数の画素からなるブロック毎に、複数のイントラ予測方式の中から最も予測の精度が高いイントラ予測方式を選択し、選択したイントラ予測方式に従って予測された画素値をそれぞれに有する複数の画素からなる予測ブロックを生成するイントラ予測手段と、
前記イントラ予測手段で生成された予測ブロックと、当該予測ブロックに対応する前記ブロックとの差分である残差ブロックを算出する減算手段と、
前記減算手段で算出された残差ブロックを符号化する符号化手段とを備え、
前記複数のイントラ予測方式には、含まれる画素の画素値が予め定められた値である予測ブロックを生成するためのイントラ予測方式が含まれる
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置及び画像符号化方法に関し、特に、イントラ予測を用いて、より効率的な符号化を行う画像符号化装置及び画像符号化方法に関するものである。
【背景技術】
【０００２】
近年、ＡＶ（Ａｕｄｉｏ  Ｖｉｓｕａｌ）情報のデジタル化が進み、映像信号をデジタル化して取り扱うことのできる機器が広く普及しつつある。ここで、映像信号は膨大な情報量を有するので、記録容量又は伝送効率を考慮して情報量を削減しつつ符号化することが一般的である。映像信号の符号化技術として、Ｈ．２６４規格という国際規格が定められている。実験結果によると、Ｈ．２６４規格は他の既存の符号化技術に比べ、約２倍の圧縮効率をもたらす。したがって、Ｈ．２６４規格は、レコーダ記録、インターネットストリーミング等に非常に適した符号化方式である。
【０００３】
Ｈ．２６４規格では、フレーム内での予測を行うイントラ予測が導入されている。イントラ予測方式のうち、４×４ブロックイントラ予測では、１６×１６のマクロブロックを縦横それぞれに４分割して１６個の４×４ブロックに分割し、分割されたブロックごとに符号化を行う。
【０００４】
図９は、マクロブロック（１６×１６画素）内におけるイントラ予測ブロック（４×４画素）の位置を示す図である。同図において、４×４ブロックイントラ予測方式では、マクロブロック内の左上の８×８ブロック（ブロック０）を符号化したのち、右上の８×８ブロック（ブロック１）を符号化する。次いで、左下の８×８ブロック（ブロック２）、右下の８×８ブロック（ブロック３）の順に符号化を行う。
【０００５】
以下では、複数の予測モードの中から最適な予測モードを決定することで、高効率の符号化を行う技術について説明する（特許文献１参照）。まず、輝度信号について説明する。
【０００６】
図１０は、輝度信号における９つのイントラ予測モードを示す図である。各４×４ブロックの候補となるイントラ予測モードには、予測方向に対応した９つの種類（モード０〜モード８）があり、この中から１つを選択して符号化を行う。
【０００７】
図１０において、モード０は「垂直予測」と定義される。モード０では、予測対象である４×４ブロックの上部に隣接する符号化済みの画素Ａ〜Ｄ（周辺画素）の輝度を、それぞれの画素の垂直下方の画素の輝度からそれぞれ減算して、差分の絶対値を求めることで、輝度の絶対差分値和を算出する。すなわち、画素Ａの下方にある４画素の輝度から画素Ａの輝度をそれぞれ減算し、画素Ｂの下方にある４画素の輝度から画素Ｂの輝度をそれぞれ減算する。同様に、画素Ｃ及び画素Ｄの下方にある各４画素の輝度から、それぞれ画素Ｃ及び画素Ｄの輝度を減算する。このように減算した結果として得られた輝度の絶対差分値和が、予測対象の４×４ブロックの予測モード０の予測誤差である。
【０００８】
次に、モード１は「水平予測」と定義される。モード１では、予測対象ブロックの左部に隣接する符号化済みの画素Ｉ〜Ｌ（周辺画素）の輝度を、それぞれの画素の水平右方の画素の輝度からそれぞれ減算して、差分の絶対値を求めることで、輝度の絶対差分値和を算出する。この減算結果として得られた輝度の絶対差分値和が、予測対象ブロックの予測モード１の予測誤差である。
【０００９】
次に、モード２は「ＤＣ予測」と定義される。モード２では、予測対象ブロックに隣接する符号化済みの画素Ａ〜Ｄと画素Ｉ〜Ｌとの輝度の平均値を、予測対象ブロック内の各画素の輝度から減算して、差分の絶対値を求めることで、輝度の絶対差分値和を算出する。この減算結果として得られた輝度の絶対差分値和が、予測対象ブロックの予測モード２の予測誤差である。
【００１０】
以降、モード３〜８に対しても同様の処理を行い、各モードにおける予測誤差を算出する。予測誤差算出後、９つのモードの中で、最も予測誤差の小さいモードを、予測対象ブロックの最適予測モードに決定する。
【００１１】
次に、色信号について説明する。
【００１２】
図１１は、色信号における４つのイントラ予測モードを示す図である。各４×４ブロックの候補となるイントラ予測モードには、予測方向に対応した４つの種類（モード０〜モード８）があり、この中から１つを選択して符号化を行う。色信号についての予測誤差の算出は、上述した輝度信号についての予測誤差の算出と同様であるので、ここでは説明を省略する。
【００１３】
以上のようにして決定した最適予測モードでイントラ予測を実行した後、予測対象ブロックと最適予測モードに従って形成された予測ブロックとの差分演算を行う。差分演算により得られた差分信号に対し、変換処理、量子化処理、及びエントロピー符号化処理を行うことで、圧縮ビットストリームを生成する。イントラ予測は、符号化の対象となるブロックの情報量を大きく低減することができ、圧縮性能を向上させることができる有効な方法である。
【特許文献１】特開２００７−１８９２７６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、上記従来技術には、符号化対象ブロックと予測に用いる周辺画素との相関が低い場合、符号化された画像を復元することで得られる復元画像に大きな劣化が生じるという課題がある。以下では、図１２〜１７を用いて、課題を詳細に説明する。
【００１５】
図１２は、符号化対象画像と符号化対象マクロブロックとの一例を示す図である。以下では、オブジェクトの一部を含むブロックを符号化する際に発生する歪について説明する。なお、以降の説明では、色差ブロックを対象とする。同図において、マクロブロック４００とマクロブロック４０１とは、画面上で隣に位置する。なお、以降の説明では、マクロブロックは８×８画素からなるとする。
【００１６】
図１３は、符号化対象マクロブロックに含まれる画素と周辺画素との画素値を示す図である。ブロック４１０、４１１、４１２、４１３、４１４、４１５、４１６及び４１７は平坦なブロックであり、ブロック内の画素値が全て１０であったとする。ブロック４１０、４１１、４１２及び４１３はマクロブロック４００に属し、ブロック４１４、４１５、４１６及び４１７はマクロブロック４０１に属する。画面上において、マクロブロック４００はマクロブロック４０１の隣に位置する。
【００１７】
周辺画素４２０及び４２１はイントラ予測に用いられる画素である。周辺画素４２０及び４２１は、オブジェクト（図１２の例では「家」）の一部であり、周辺画素４２０の画素値は全て１００、周辺画素４２１の画素値は全て１５０であったとする。
【００１８】
ここで、ブロック４１０に対し、水平予測モードが最適予測モードとして決定されたとすると、予測ブロックの画素値は全て１００となる。したがって、ブロック４１０と予測ブロックとの差分演算を行った残差ブロックの画素値は全て−９０である。マクロブロック４００に属する他のブロック４１１、４１２及び４１３についても、ブロック４１０と同じ結果となる。
【００１９】
イントラ予測符号化では、残差ブロックを示す残差信号に直交変換処理を行い、直交変換処理により得られる変換係数を量子化する。符号化対象画像を復元する場合には、量子化された変換係数を逆量子化し、復元された変換係数（以下、復元変換係数とする）を逆直交変換することで、残差信号を復元することができる。そして、復元された残差信号（以下、復元残差信号とする）が示す復元された残差ブロック（復元残差ブロック）と予測ブロックとを加算することで、復元されたブロック（復元ブロック）を得ることができる。
【００２０】
しかしながら、残差信号に直交変換処理を行って得られる変換係数に対し、量子化係数が９０より大きい場合、量子化後の変換係数が０になってしまう。この場合、逆量子化後の復元変換係数も０となり、復元変換係数に逆直交変換を行って得られる復元残差信号も０となる。すなわち、復元残差ブロックのブロック内画素値は全て０となる。続いて、復元残差ブロックと予測ブロックとの加算演算を行うことで、復元ブロックが得られる。
【００２１】
図１４は、従来技術により符号化されたマクロブロックを復元することで得られる復元マクロブロックの画素値を示す図である。図１４に示すように復元マクロブロック４３０内の画素値は全て１００となる。これは、各ブロック４１０、４１１、４１２及び４１３それぞれの復元残差ブロックの全画素値が０であるため、予測ブロックの信号がそのまま現れたものである。
【００２２】
図１５は、従来技術により符号化された画像を復元することで得られる復元後の画像を示す図である。図１５に示すように、符号化処理を行うことで復元マクロブロック４３０には、元のマクロブロック４００に存在していなかった信号成分が新たに現れている。これは、周辺画素に含まれていたオブジェクトの一部が符号化対象ブロック全体に拡がったものであり、視覚的に大きな劣化となる。
【００２３】
次に、ブロック４１４について同様の検証を行う。図１４に示すようにブロック４１４は平坦なブロックであり、ブロック内画素値が全て１０であったとする。周辺画素４２２及び４２３は、ブロック４１４を符号化する際のイントラ予測に用いられる画素である。周辺画素には復元マクロブロック４３０の画素も含まれており（周辺画素４２２）、前述したようにマクロブロック４００には、イントラ予測によってオブジェクトの一部が拡散している。
【００２４】
ここで、ブロック４１４に対し、最適予測モードとして水平予測モードが選択されたとすると、予測ブロックの画素値は全て１００となる。したがって、ブロック４１４と予測ブロックとの差分演算を行った残差ブロックの画素値は全て−９０である。マクロブロック４０１に属する他のブロック４１５、４１６及び４１７についても、ブロック４１４と同じ結果となる。
【００２５】
上述したブロック４１０への処理と同様に、残差信号に直交変換処理を行って得られる変換係数に対して量子化係数が９０より大きい場合、量子化後の変換係数が０になってしまう。この場合、逆量子化後の復元変換係数、及び、復元残差信号も０となる。すなわち、復元残差ブロックのブロック内画素値は全て０となる。続いて、復元残差ブロックと予測ブロックとの加算演算を行うことで、復元ブロックが得られる。
【００２６】
図１６は、従来技術により符号化されたマクロブロックを復元することで得られる復元マクロブロックの画素値を示す図である。図１６に示すように復元マクロブロック４３１内の画素値は全て１００となる。これは各ブロック４１４、４１５、４１６及び４１７それぞれの復元残差ブロックの全画素値が０であるため、予測ブロックの信号がそのまま現れたものである。
【００２７】
図１７は、従来技術により符号化された画像を復元することで得られる復元後の画像を示す図である。図１７に示すように、符号化処理を行うことで復元マクロブロック４３１には、元のマクロブロック４０１に存在していなかった信号成分が新たに現れている。特にマクロブロック４０１については、マクロブロック１個分離れた位置に存在するオブジェクトの一部がマクロブロック４００を経由して伝播したものであり、視覚的に非常に大きな劣化となる。
【００２８】
以上のように、従来のイントラ予測を用いた符号化方法では、符号化対象ブロックと予測に用いる周辺画素との相関が低い場合、符号化された画像を復元することで得られる復元画像に大きな劣化が生じるという課題がある。
【００２９】
なお、この課題の解決策として、量子化係数が小さい量子化器を用いて量子化及び符号化する方法が考えられる。しかしながら、量子化係数が小さい量子化器を用いた場合、符号量が増大してしまうという課題が生じる。
【００３０】
そこで、本発明は、上記課題に鑑みてなされたものであり、イントラ予測を用いる符号化において、符号量を増大させることなく、視覚的な画質の劣化を低減する画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００３１】
上記課題を達成するため、本発明の画像符号化装置は、入力画像をイントラ予測方式に基づいて符号化する画像符号化装置であって、前記入力画像が分割された、複数の画素からなるブロック毎に、複数のイントラ予測方式の中から最も予測の精度が高いイントラ予測方式を選択し、選択したイントラ予測方式に従って予測された画素値をそれぞれに有する複数の画素からなる予測ブロックを生成するイントラ予測手段と、前記イントラ予測手段で生成された予測ブロックと、当該予測ブロックに対応する前記ブロックとの差分である残差ブロックを算出する減算手段と、前記減算手段で算出された残差ブロックを符号化する符号化手段とを備え、前記複数のイントラ予測方式には、含まれる画素の画素値が予め定められた値である予測ブロックを生成するためのイントラ予測方式が含まれる。例えば、前記予め定められた値は０であってもよい。
【００３２】
これにより、新たなイントラ予測方式を備えることで、符号量を増大させることなく、視覚的な画質の劣化を低減することができる。なぜなら、新たなイントラ予測方式では、予め定められた値を有する画素からなる予測ブロックを生成するため、イントラ予測方式で参照される周辺画素の画素値の影響を受けることがないためである。よって、周辺画素と符号化対象ブロックとの相関が悪い場合に、新たなイントラ予測方式が選択された場合に、画質の劣化を低減することができる。
【００３３】
また、前記イントラ予測手段は、前記複数のイントラ予測方式のそれぞれに対応する予測ブロックを生成する予測ブロック生成部と、前記予測ブロック生成部で生成された予測ブロックに含まれる複数の画素の差分絶対値和である予測誤差を、前記イントラ予測方式毎に算出する予測誤差演算部と、前記予測誤差が最小となるイントラ予測方式に従って生成された予測ブロックを選択する選択部とを有してもよい。
【００３４】
これにより、予測誤差が最小となる場合のイントラ予測方式を、最適なイントラ予測方式として選択することができ、最も精度のよいイントラ予測による符号化を実行することができる。
【００３５】
また、前記イントラ予測手段は、前記入力画像の色成分の値を示す複数の画素からなる色ブロック毎に、前記予測ブロックを生成し、前記減算手段は、前記イントラ予測手段で生成された予測ブロックと、当該予測ブロックに対応する前記色ブロックとの差分である残差ブロックを算出してもよい。
【００３６】
これにより、色成分の値のみに利用することができる。輝度成分に対して実行した場合は、上述の予め定められた値によっては、より画質が劣化する場合が存在する。例えば、予め定められた値を０と設定することで、復元後の対象ブロックが真っ黒になる場合が存在する。色成分のみを対象とすることで、これらの場合の画質の劣化を防ぐことができる。
【００３７】
なお、本発明は、画像符号化装置として実現できるだけではなく、当該画像符号化装置を構成する処理手段をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
【００３８】
また、上記の各画像符号化装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００３９】
以上の説明から明らかなように、本発明の画像符号化装置によれば、イントラ予測モードを用いた画像符号化にあたり、より効率的な符号化が可能であり、復元された画像の画質の劣化を低減することができる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明の実施の形態について、図面を参照しながら説明する。本実施の形態では、色差信号のみを対象とする。
【００４１】
図１は、本実施の形態の画像符号化装置の構成を示すブロック図である。同図の画像符号化装置１０は、イントラ予測を用いて入力される画像又は動画像を符号化する画像符号化装置である。画像符号化装置１０は、入力部１００と、マクロブロック構成部１０１と、イントラ予測部１０２と、減算部１０３と、直交変換部１０４と、量子化部１０５と、エントロピー符号化部１０６と、出力部１０７と、逆量子化部１０８と、逆変換部１０９と、加算部１１０と、周辺画素記憶部１１１とを備える。
【００４２】
入力部１００は、外部から入力画像信号を受信し、マクロブロック構成部１０１に入力する。
【００４３】
マクロブロック構成部１０１は、入力画像信号に対し、複数の画素から構成されるブロックに分割し、分割したブロックを集めてマクロブロックを構成する。例えば、Ｍ×Ｍ（Ｍは、２のべき乗）画素のブロックに分割する。より具体的には、４×４画素から構成されるブロックに分割し、複数のブロックを集めてマクロブロックを構成する。構成されたマクロブロックは、イントラ予測部１０２及び減算部１０３に入力される。
【００４４】
イントラ予測部１０２は、入力されたマクロブロックに対し、４×４画素から構成されるブロック毎に、周辺画素記憶部１１１より入力される周辺画素を用いてイントラ予測を行う。イントラ予測部１０２は、複数のイントラ予測モードを備えている。イントラ予測部１０２は、実行したイントラ予測に基づいて、複数のイントラ予測モードの中から最適予測モードを決定し、最適予測モードにおける予測ブロックを生成する。生成された予測ブロックは、減算部１０３に入力される。なお、この４×４画素から構成されるブロックをイントラ予測算出ブロックと呼ぶ。イントラ予測は、イントラ予測算出ブロック単位で行われる。
【００４５】
減算部１０３は、入力された予測ブロックと、予測ブロックに対応するイントラ予測算出ブロックとの差分をとることによって、予測残差信号を算出する。算出された予測残差信号は、直交変換部１０４に入力される。
【００４６】
直交変換部１０４は、入力された予測残差信号に対し直交変換を行い、直交変換係数を出力する。直交変換係数は、量子化部１０５に入力される。
【００４７】
量子化部１０５は、入力された変換係数に対して量子化処理を行い、量子化された変換係数を出力する。量子化された変換係数は、エントロピー符号化部１０６及び逆量子化部１０８に入力される。
【００４８】
エントロピー符号化部１０６は、入力された量子化された変換係数に対しエントロピー符号化を行い、ビットストリームを出力する。ビットストリームは、出力部１０７に入力される。
【００４９】
出力部１０７は、入力されたビットストリームを任意の媒体に出力する。
【００５０】
逆量子化部１０８は、入力された量子化された変換係数に対し逆量子化を行い、逆量子化された変換係数を出力する。逆量子化された変換係数は、逆変換部１０９に入力される。
【００５１】
逆変換部１０９は、入力された逆量子化された変換係数に対し逆直交変換を行い、復元残差信号を出力する。復元残差信号は、加算部１１０に入力される。
【００５２】
加算部１１０は、入力された予測ブロックと復元残差信号との加算をとることによって、復元画像信号を生成する。復元画像信号は、周辺画素記憶部１１１に入力される。
【００５３】
周辺画素記憶部１１１は、イントラ予測に用いられる周辺画素を記憶する。
【００５４】
以上の構成により、本実施の形態の画像符号化装置は、符号化対象ブロックの周辺画素を用いて、イントラ予測を行うことで、符号量の増大を防ぐことができる。
【００５５】
続いて、本実施の形態の画像符号化装置１０のイントラ予測部１０２の構成について詳細に説明する。
【００５６】
図２は、イントラ予測部１０２の構成を示すブロック図である。同図のイントラ予測部１０２は、周辺画素入力部２００と、イントラ予測算出ブロック入力部２０１と、予測ブロック生成部２０２と、予測誤差演算部２０３と、比較部２０４と、選択部２０５と、予測ブロック出力部２０６とを備える。
【００５７】
周辺画素入力部２００は、イントラ予測算出ブロックのイントラ予測に用いられる周辺画素を周辺画素記憶部１１１から受け取る。周辺画素入力部２００は、入力された周辺画素を予測ブロック生成部２０２に出力する。
【００５８】
予測ブロック生成部２０２は、イントラ予測モードのそれぞれに対応する予測ブロックを生成する。本実施の形態では、５つのイントラ予測モードを有し、各イントラ予測モードに基づいて予測ブロックを生成する。５つのイントラ予測モードは、『水平予測』、『垂直予測』、『ＤＣ予測』、『Ｐｌａｎｅ予測』及び『０予測』のモードである。それぞれ、Ｈモード、Ｖモード、ＤＣモード、Ｐｌａｎｅモード及び０モードと表現する。
【００５９】
予測ブロック生成部２０２は、各予測モードに対応する予測ブロック生成部を備える。すなわち、予測ブロック生成部２０２は、Ｈモードでの予測ブロック生成部２１１と、Ｖモードでの予測ブロック生成部２１２と、ＤＣモードでの予測ブロック生成部２１３と、Ｐｌａｎｅモードでの予測ブロック生成部２１４と、０モードでの予測ブロック生成部２１５とを備える。ここで、第５の予測モードとして、０モードでの予測ブロック生成部２１５を備えることが、従来方式に対する本発明の最大の特徴である。
【００６０】
Ｈモードでの予測ブロック生成部２１１は、入力された周辺画素を用い、Ｈモードにおける予測ブロックを生成する。予測ブロックは、予測誤差演算部２０３に入力される。
【００６１】
Ｖモードでの予測ブロック生成部２１２は、入力された周辺画素を用い、Ｖモードにおける予測ブロックを生成する。予測ブロックは、予測誤差演算部２０３に入力される。
【００６２】
ＤＣモードでの予測ブロック生成部２１３は、入力された周辺画素を用い、ＤＣモードにおける予測ブロックを生成する。予測ブロックは、予測誤差演算部２０３に入力される。
【００６３】
Ｐｌａｎｅモードでの予測ブロック生成部２１４は、入力された周辺画素を用い、Ｐｌａｎｅモードにおける予測ブロックを生成する。予測ブロックは、予測誤差演算部２０３に入力される。
【００６４】
０モードでの予測ブロック生成部２１５は、入力された周辺画素を用い、０モードにおける予測ブロックを生成する。予測ブロックは、予測誤差演算部２０３に入力される。
【００６５】
予測誤差演算部２０３は、各予測モードに基づいて生成された予測ブロックに対応する予測誤差を算出する。なお、予測誤差とは、予測ブロックと、イントラ予測算出ブロックとの絶対差分値和である。予測誤差演算部２０３は、Ｈモードでの予測誤差演算部２２１と、Ｖモードでの予測誤差演算部２２２と、ＤＣモードでの予測誤差演算部２２３と、Ｐｌａｎｅモードでの予測誤差演算部２２４と、０モードでの予測誤差演算部２２５とを備える。
【００６６】
Ｈモードでの予測誤差演算部２２１は、入力されたイントラ予測算出ブロックとＨモードでの予測ブロックとの予測誤差を算出する。Ｈモードでの予測誤差は、比較部２０４に入力される。
【００６７】
Ｖモードでの予測誤差演算部２２２は、入力されたイントラ予測算出ブロックとＶモードでの予測ブロックとの予測誤差を算出する。Ｖモードでの予測誤差は、比較部２０４に入力される。
【００６８】
ＤＣモードでの予測誤差演算部２２３は、入力されたイントラ予測算出ブロックとＤＣモードでの予測ブロックとの予測誤差を算出する。ＤＣモードでの予測誤差は、比較部２０４に入力される。
【００６９】
Ｐｌａｎｅモードでの予測誤差演算部２２４は、入力されたイントラ予測算出ブロックとＰｌａｎｅモードでの予測ブロックとの予測誤差を算出する。Ｐｌａｎｅモードでの予測誤差は、比較部２０４に入力される。
【００７０】
０モードでの予測誤差演算部２２５は、入力されたイントラ予測算出ブロックと０モードでの予測ブロックとの予測誤差を算出する。０モードでの予測誤差は、比較部２０４に入力される。
【００７１】
比較部２０４は、入力された各モードにおける予測誤差のうち、最小となる予測誤差を実現する最適予測モードを決定する。最適予測モードは、選択部２０５に入力される。
【００７２】
選択部２０５は、入力された最適予測モードに対応する予測ブロックを予測ブロック出力部２０６に出力する。
【００７３】
以上の構成により、本実施の形態の画像符号化装置は、新たに加えられた０モードに従って算出された予測ブロックを用いて、入力画像を符号化することができる。０モードが加えられることで、従来の課題である画質の劣化を低減することができるのだが、この理由と０モードの詳細とについては、図面を用いて後述する。
【００７４】
なお、図２に示すイントラ予測部１０２は、各モードの処理を並列処理で実行する。これにより、イントラ予測の処理速度を向上させている。ただし、必ずしも並列処理で行う必要はなく、各モードを順次処理してもよい。この場合、処理に時間がかかるが、例えば、予測誤差演算部を１つ備えるだけでよく、構成を簡素化することができる。
【００７５】
次に、本実施の形態の画像符号化装置の動作について説明する。
【００７６】
図３は、本実施の形態の画像符号化装置の動作を示すフローチャートである。
【００７７】
まず、マクロブロック構成部１０１は、入力部１００から入力される入力画像信号に対し、マクロブロックを構成する（Ｓ１０１）。例えば、マクロブロック構成部１０１は、４×４画素のブロックに分割し、分割したブロックを集めてマクロブロックを構成する。ここでは、４つのブロックを集めたマクロブロック、すなわち、８×８画素のマクロブロックを構成する。
【００７８】
上述のように構成されたマクロブロック毎に、イントラ予測を用いた符号化処理は実行される（Ｓ１０２）。さらに、マクロブロックに含まれる４×４画素のブロック毎に、符号化処理は実行される（Ｓ１０３）。
【００７９】
まず、イントラ予測部１０２は、各モードに従ってイントラ予測を実行することで、最適予測モードを決定し、決定した最適予測モードに基づいて予測ブロックを生成する（Ｓ１０４）。予測ブロックの生成処理（Ｓ１０４）の詳細については、図４を用いて後述する。
【００８０】
次に、減算部１０３は、生成された予測ブロックと対応するイントラ予測算出ブロックとの差分をとることにより、予測残差信号を算出する（Ｓ１０５）。直交変換部１０４は、算出された予測残差信号に対して直交変換処理を行い、直交変換係数を出力する（Ｓ１０６）。量子化部１０５は、直交変換係数に対して量子化処理を行い、量子化された変換係数を出力する（Ｓ１０７）。エントロピー符号化部１０６は、量子化された変換係数に対し、エントロピー符号化を行い、ビットストリームを出力部１０７に出力する（Ｓ１０８）。
【００８１】
画像符号化装置１０は、以上の予測ブロックの生成処理（Ｓ１０４）から符号化処理（Ｓ１０８）までの処理をマクロブロックに含まれる全ブロックに対して実行する（Ｓ１０９）。そして、画像符号化装置１０は、全マクロブロックに対して実行する（Ｓ１１０）。
【００８２】
続いて、図３に示すフローチャートの予測ブロックの生成処理（Ｓ１０４）の詳細について図４を用いて説明する。
【００８３】
図４は、イントラ予測部１０２が実行する予測ブロックの生成処理の動作を示すフローチャートである。
【００８４】
予測ブロック生成部２０２は、予測モード毎に予測ブロックを生成する（Ｓ２０１）。本実施の形態では、各予測モードに対応する予測ブロック生成部が、それぞれの予測モードに対応する予測ブロックを生成する。
【００８５】
次に、予測誤差演算部２０３は、予測モード毎に予測誤差を算出する（Ｓ２０２）。本実施の形態では、各予測モードに対応する予測誤差演算部が、それぞれの予測モードに対応する予測誤差を算出する。
【００８６】
次に、比較部２０４は、各予測誤差演算部で算出された予測誤差を受信し、受信した予測誤差を比較する（Ｓ２０３）。そして、比較部２０４は、予測誤差の中から、値が最小となる予測誤差に対応する予測モードを最適予測モードとして決定する。
【００８７】
選択部２０５は、比較部２０４で決定された最適予測モードに対応する予測ブロックを選択し、予測ブロック出力部２０６に出力する（Ｓ２０４）。
【００８８】
以上の処理により、予測誤差が最も小さい、すなわち、最も正確に予測される予測モードを選択することができ、正確な予測に基づいた符号化処理を実行することができる。
【００８９】
続いて、本実施の形態の画像符号化装置の特徴である０モードの利点及びその効果について図面を用いて説明する。
【００９０】
以下に、図１２で説明したマクロブロック４００及び４０１に、それぞれ含まれるブロック４１０及び４１４を符号化対象ブロックとして、『０予測』モードでの予測誤差算出方法について説明する。
【００９１】
ブロック４１０とブロック４１４とは先述したように平坦なブロックであり、ブロック内画素値が全て１０であったとする。ブロック４１０に対する、従来から備えられている４つのイントラ予測モード（Ｈモード、Ｖモード、ＤＣモード、Ｐｌａｎｅモード）での予測誤差は以下に示す通りである。
【００９２】
【数１】
2010010768.tif 000003
【数２】
2010010768.tif 000004
【数３】
2010010768.tif 000005
【数４】
2010010768.tif 000006
【００９３】
続いて、『０予測』モードの予測誤差を算出する。『０予測』モードにおいて、周辺画素の値に関わらず、予測ブロックの画素値は全て０になる。
【００９４】
【数５】
2010010768.tif 000007
【００９５】
これにより、比較部２０４は、予測誤差が最小となるモードを最適予測モードとして決定するので、ブロック４１０の最適予測モードには、予測誤差が最も小さい『０予測』モードが選択される。マクロブロック４００に属する他のブロック４１１、４１２及び４１３についても、ブロック４１０と同じ結果となる。
【００９６】
ブロック４１０と予測ブロックとの差分演算を行った残差ブロックの画素値は全て−１０である。残差ブロックに直交変換処理を行って得られる変換係数に対し、量子化係数が大きい場合、量子化後の変換係数が０になってしまう。この場合、逆量子化後の復元変換係数も０となり、復元変換係数に逆直交変換を行って得られる復元残差信号も０となる。図５は、本実施の形態の画像符号化装置により符号化されたマクロブロックを復元することで得られる復元マクロブロックの画素値を示す図である。図５に示すように復元マクロブロック３３０内の画素値は全て０となる。
【００９７】
色信号において画素値が０になることは、色成分が無くなる、すなわち無彩色になることを示している。図６は、本実施の形態の画像符号化装置により符号化された画像を復元することで得られる画像の一例を示す図である。図６に示すように復元マクロブロック３３０における色成分がなくなる劣化は、従来技術で示した本来のブロックには無かった色成分が出現する劣化よりも、視覚的に許容される劣化である。
【００９８】
次に、ブロック４１４について同様の検証を行う。
【００９９】
図５に示すようにブロック４１４は平坦なブロックであり、ブロック内画素値が全て１０であったとする。周辺画素３２２及び３２３は、イントラ予測に用いられる画素である。周辺画素には復元マクロブロック３３０の画素も含まれており、前述したように復元マクロブロック３３０では、イントラ予測によって全画素の値が０となっている。
【０１００】
ブロック４１４に対する、従来から備えられている４つのイントラ予測モード（Ｈモード、Ｖモード、ＤＣモード、Ｐｌａｎｅモード）及び『０予測』モードでの予測誤差は以下に示す通りである。
【０１０１】
【数６】
2010010768.tif 000008
【数７】
2010010768.tif 000009
【数８】
2010010768.tif 000010
【数９】
2010010768.tif 000011
【数１０】
2010010768.tif 000012
【０１０２】
この場合、Ｈモードと０予測モードとの予測誤差が等しくなるが、Ｈモードが優先されるため、ブロック４１４の最適予測モードは、Ｈモードが選択される。マクロブロック４０１に属する他のブロック４１５、４１６及び４１７についても、ブロック４１４と同じ結果となる。
【０１０３】
なお、０モードは、予測ブロックを強制的に０に設定する、すなわち、イントラ予測を行わないため、画質の観点からは、０モードを多用することは好ましくない。このため、本実施の形態では、従来から備えられる４つのイントラ予測モードの予測誤差のいずれかと０モードの予測誤差とが一致した場合は、従来から備えられるイントラ予測モードが優先される。
【０１０４】
ブロック４１４と予測ブロックとの差分演算を行った残差ブロックの画素値は全て−１０である。残差ブロックに直交変換処理を行って得られる変換係数に対し、量子化係数が大きい場合、量子化後の変換係数が０になってしまう。この場合、逆量子化後の復元変換係数も０となり、復元変換係数に逆直交変換を行って得られる復元残差信号も０となる。図７は、本実施の形態の画像符号化装置により符号化されたマクロブロックを復元することで得られる復元マクロブロックの画素値を示す図である。図７に示すように復元マクロブロック３３１内の画素値は全て０となる。
【０１０５】
従来技術と異なり、復元マクロブロック３３１内の画素値が全て０となるのは、復元マクロブロック３３０にオブジェクトの一部が拡散してないからであり、これは、ブロック４１０、４１１、４１２及び４１３の予測モードが、『０予測』モードに設定されたことによる効果である。
【０１０６】
色信号において画素値が０になることは、色成分が無くなる、すなわち、無彩色になることを示している。
【０１０７】
図８は、本実施の形態の画像符号化装置により符号化された画像を復元することで得られる画像を示す図である。図８に示すように復元マクロブロック３３１における色成分がなくなる劣化は、従来技術で示した本来のブロックには無かった色成分が出現する劣化よりも、視覚的に許容される劣化である。
【０１０８】
以上のように、本実施の形態の画像符号化装置によれば、イントラ予測モードとして『０予測』モードを備え、同モードが選択されたブロックに対しては、予測ブロックの画素値を全て０とする。これにより、本来のブロックに無かった色成分が出現することを防止することができ、従来技術と比較して画質を向上することができる。
【０１０９】
以上、本発明の画像符号化装置及び画像符号化方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。
【０１１０】
例えば、本実施の形態では、『０予測』モードに設定された予測ブロックの画素値を全て０としたが、任意の特定の値でも構わない。上述したように予測ブロックが復元ブロックとなるため、画像の視覚上の質感を高めるために微小ノイズのようなランダム信号を予測ブロックとしても構わない。
【０１１１】
また、本実施の形態では、イントラ予測ブロックを４×４の場合のみについて説明したが、本発明はこれに限定されない。例えば８×８イントラ予測についても応用することができるし、さらには１６×１６イントラ予測にも応用することができる。
【０１１２】
また、本実施の形態では、イントラ予測部１０２内部で、イントラ予測算出ブロックと予測ブロックとの差分を算出し、さらに、減算部１０３で、再度、イントラ予測算出ブロックと予測ブロックとの差分を算出する構成としている。このように２段階での減算処理が実行されているため、イントラ予測部１０２内部の差分を算出することで得られる残差ブロックを直交変換部１０４に入力する構成が好ましい。
【０１１３】
この場合、減算部１０３は省略され、予測誤差演算部２０３は、絶対差分値和である予測誤差だけでなく、イントラ予測算出ブロックと予測ブロックとの差分である残差ブロックをも出力する。選択部２０５は、比較部２０４からの制御に基づいて、予測誤差が最小となる残差ブロックを選択し、直交変換部１０４に出力する。
【０１１４】
以上の構成により、減算部を省略することができるので、構成を簡素化することができる。
【０１１５】
なお、本発明は、上述したように、画像符号化装置及び画像符号化方法として実現できるだけではなく、本実施の形態の画像符号化方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
【０１１６】
また、本発明は、画像符号化装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。
【産業上の利用可能性】
【０１１７】
本発明の画像符号化装置及び画像符号化方法は、より再現性の高いイントラ予測方式を選択する事ができ、再生画像の画質向上に有効である。例えば、本発明の画像符号化装置及び画像符号化方法は、ビデオレコーダ、ノンリニア編集機で動作するソフトエンコーダなどに有用である。
【図面の簡単な説明】
【０１１８】
【図１】本実施の形態の画像符号化装置の構成を示すブロック図である。
【図２】本実施の形態の画像符号化装置が備えるイントラ予測部の構成を示すブロック図である。
【図３】本実施の形態の画像符号化装置の動作を示すフローチャートである。
【図４】イントラ予測部が実行する予測ブロックの生成処理の動作を示すフローチャートである。
【図５】本実施の形態の画像符号化装置により符号化されたマクロブロックを復元することで得られる復元マクロブロックの画素値を示す図である。
【図６】本実施の形態の画像符号化装置により符号化された画像を復元することで得られる画像を示す図である。
【図７】本実施の形態の画像符号化装置により符号化されたマクロブロックを復元することで得られる復元マクロブロックの画素値を示す図である。
【図８】本実施の形態の画像符号化装置により符号化された画像を復元することで得られる画像を示す図である。
【図９】マクロブロック（１６×１６画素）内のイントラ予測ブロック（４×４画素）を示す図である。
【図１０】輝度信号に対する９つのイントラ予測モードを示す図である。
【図１１】色差信号に対する４つのイントラ予測モードを示す図である。
【図１２】符号化対象画像と符号化対象マクロブロックとの一例を示す図である。
【図１３】符号化対象マクロブロックに含まれる画素と周辺画素との画素値を示す図である。
【図１４】従来技術により符号化されたマクロブロックを復元することで得られる復元マクロブロックの画素値を示す図である。
【図１５】従来技術により符号化された画像を復元することで得られる復元後の画像を示す図である。
【図１６】従来技術により符号化されたマクロブロックを復元することで得られる復元マクロブロックの画素値を示す図である。
【図１７】従来技術により符号化された画像を復元することで得られる復元後の画像を示す図である。
【符号の説明】
【０１１９】
１０  画像符号化装置
１００  入力部
１０１  マクロブロック構成部
１０２  イントラ予測部
１０３  減算部
１０４  直交変換部
１０５  量子化部
１０６  エントロピー符号化部
１０７  出力部
１０８  逆量子化部
１０９  逆変換部
１１０  加算部
１１１  周辺画素記憶部
２００  周辺画素入力部
２０１  イントラ予測算出ブロック入力部
２０２  予測ブロック生成部
２０３  予測誤差演算部
２０４  比較部
２０５  選択部
２０６  予測ブロック出力部
２１１  Ｈモードでの予測ブロック生成部
２１２  Ｖモードでの予測ブロック生成部
２１３  ＤＣモードでの予測ブロック生成部
２１４  Ｐｌａｎｅモードでの予測ブロック生成部
２１５  ０モードでの予測ブロック生成部
２２１  Ｈモードでの予測誤差演算部
２２２  Ｖモードでの予測誤差演算部
２２３  ＤＣモードでの予測誤差演算部
２２４  Ｐｌａｎｅモードでの予測誤差演算部
２２５  ０モードでの予測誤差演算部
３２２、３２３、４２０、４２１、４２２、４２３  周辺画素
３３０、３３１、４３０、４３１  復元マクロブロック
４００、４０１  マクロブロック
４１０、４１１、４１２、４１３、４１４、４１５、４１６、４１７  ブロック
【図１】
2010010768.tif 000013
【図２】
2010010768.tif 000014
【図３】
2010010768.tif 000015
【図４】
2010010768.tif 000016
【図５】
2010010768.tif 000017
【図６】
2010010768.tif 000018
【図７】
2010010768.tif 000019
【図８】
2010010768.tif 000020
【図９】
2010010768.tif 000021
【図１０】
2010010768.tif 000022
【図１１】
2010010768.tif 000023
【図１２】
2010010768.tif 000024
【図１３】
2010010768.tif 000025
【図１４】
2010010768.tif 000026
【図１５】
2010010768.tif 000027
【図１６】
2010010768.tif 000028
【図１７】
2010010768.tif 000029