(57)【要約】【課題】Ｈ．２６４規格を用いた画像データの符号化において符号量を低減する画像符号化装置を提供する。【解決手段】Ｈ．２６４規格に従ってイントラ予測を行う際に周辺の画素が存在しない場合に用いるよう定められた参照値を用いて入力画像を拡張することにより前記拡張画像を生成する画像拡張部と、前記画像拡張部によって生成された前記拡張画像を、Ｈ．２６４規格に従ってイントラ予測を用いて符号化することにより、前記拡張部分に対応する予測誤差を０と表す符号を生成する符号化部とを備える。【選択図】図１
2007124564.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を符号化単位ブロックの自然数倍の大きさに拡張した画像である拡張画像を表す符号を生成する符号化手段と、
前記符号化手段を、前記拡張画像の一部となるべき前記入力画像からの拡張部分に対応する予測誤差を０と表す符号を生成するよう制御する制御手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
前記制御手段は、
前記入力画像に含まれる画素値に係わらず、Ｈ．２６４規格に従ってイントラ予測を行う際に周辺の画素が存在しない場合に用いるよう定められた参照値を用いて前記入力画像を拡張することにより前記拡張画像を生成する画像拡張部を有し、
前記符号化手段は、前記画像拡張部によって生成された前記拡張画像を、Ｈ．２６４規格に従ってイントラ予測を用いて符号化することにより、前記拡張部分に対応する予測誤差を０と表す符号を生成する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記入力画像のライン数は１０８０であり、
前記画像拡張部は、画素値１２８を用いて前記入力画像を上側に８ライン拡張することにより、ライン数が１０８８である拡張画像を生成する
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記制御手段は、さらに、
前記拡張部分が前記入力画像の上下の何れに位置するかを示す画像拡張パラメータを出力する画像拡張パラメータ出力部を有し、
前記画像拡張部は、前記位置が上であると示される場合、前記入力画像に含まれる画素値に係わらず、Ｈ．２６４規格に従ってイントラ予測を行う際に周辺の画素が存在しない場合に用いるよう定められた参照値を用いて前記入力画像を上側に拡張し、前記位置が下であると示される場合、前記入力画像の最下位ラインの画素値を用いて前記入力画像を下側に拡張する
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項５】
前記制御手段は、さらに、
前記入力画像が動画像を構成するフレーム及びフィールドの何れであるかを示す画像拡張パラメータを出力する画像拡張パラメータ出力部を有し、
前記画像拡張部は、前記入力画像がフレームであると示される場合には、前記入力画像がフィールドであると示される場合に拡張されるライン数に比べて２倍のライン数、前記入力画像を拡張する
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項６】
前記符号化手段は、イントラ予測及びインター予測の何れを用いても前記拡張画像を符号化することができ、
前記制御手段は、さらに、
前記符号化手段が前記拡張画像の符号化にイントラ予測及びインター予測の何れを用いるかを示す画像拡張パラメータを出力する画像拡張パラメータ出力部を有し、
前記画像拡張部は、イントラ予測が用いられると示される場合、前記入力画像に含まれる画素値に係わらず、Ｈ．２６４規格に従ってイントラ予測を行う際に周辺の画素が存在しない場合に用いるよう定められた参照値を用いて前記入力画像を拡張し、インター予測が用いられると示される場合、前記入力画像を、参照画像における拡張部分の画素値を用いて拡張する
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項７】
前記制御手段は、前記拡張部分の前記入力画像に対する位置とライン数とを示す画像拡張パラメータを出力する画像拡張パラメータ出力部を有し、
前記符号化手段は、前記画像拡張パラメータによって示される前記拡張部分に対応する予測誤差として０値を生成する０値生成部を有し、前記生成された０値と、前記入力画像に対応する予測誤差とをＨ．２６４規格に従って符号化することにより、前記拡張部分に対応する予測誤差を０と表す符号を生成する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項８】
前記符号化手段は、前記拡張部分に対応する０値と、前記入力画像に対応する予測誤差とを、それぞれ異なる符号化単位ブロックとして符号化する
ことを特徴とする請求項７に記載の画像符号化装置。
【請求項９】
入力画像を符号化単位ブロックの自然数倍の大きさに拡張した画像である拡張画像を表す符号を生成する符号化回路と、
前記符号化手段を、前記拡張画像の一部となるべき前記入力画像からの拡張部分に対応する予測誤差を０と表す符号を生成するよう制御する制御回路と
を備えることを特徴とする集積回路装置。
【請求項１０】
画像を符号化する画像符号化方法であって、
入力画像を符号化単位ブロックの自然数倍の大きさに拡張した画像である拡張画像を表す符号を生成する符号化ステップと、
前記符号化ステップにおいて前記拡張画像の一部となるべき前記入力画像からの拡張部分に対応する予測誤差を０と表す符号が生成されるよう制御する制御ステップと
を含むことを特徴とする画像符号化方法。
【請求項１１】
画像を符号化するためのコンピュータ実行可能なプログラムであって、
入力画像を符号化単位ブロックの自然数倍の大きさに拡張した画像である拡張画像を表す符号を生成する符号化ステップと、
前記符号化ステップにおいて前記拡張画像の一部となるべき前記入力画像からの拡張部分に対応する予測誤差を０と表す符号が生成されるよう制御する制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハイビジョンテレビ放送をＨ．２６４規格に従って符号化する画像符号化装置および方法に関する。
【背景技術】
【０００２】
近年、アナログテレビ放送（ＳＤＴＶ:Standard Definition TeleVision）のデジタル化が進み、また動画像を圧縮符号化してハードディスクやＤＶＤ−ＲＡＭ（Digital Versatile Disk-Random Access Memory）等の光ディスクに記録するデジタルビデオレコーダが普及し、さらに衛生、地上波のデジタルハイビジョンテレビ放送（ＨＤＴＶ:High Definition TeleVision）を記録可能なデジタルビデオレコーダが商品化されはじめている。
【０００３】
ＨＤＴＶ放送ではＭＰＥＧ２（Moving Picture Experts Group 2）規格で符号化されたストリームが送信されており、これを記録する時には、ＭＰＥＧ２ストリームのままで記録する。或いは、復号した画像をＤＶＤ規格で規定された画像サイズに変換してＭＰＥＧ２規格で再圧縮して記録する方法が一般的である。また、ＭＰＥＧ２よりも符号化効率が高いＨ．２６４規格を用いてビットレートを下げることで、ＨＤＴＶの画像サイズのままで、かつ画質劣化を抑えて記録する方法もある。
【０００４】
ＨＤＴＶの画像サイズは水平画素数が１９２０又は１４４０画素で、有効ライン数が１０８０本である。Ｈ．２６４規格による符号化は、画素数、ライン数とも１６の倍数である画像に適用されるため、ＨＤＴＶの画像サイズの原画像を符号化する際には、ライン数を１０８８本に拡張した拡張画像を考える必要がある。
【０００５】
同種の画像拡張は、この他にも、例えば符号化画像に見られるブロックノイズを目立ちにくくするため、符号化の単位ブロックの整列を故意に乱す際に利用されることがある。
【０００６】
画像拡張を伴う画像データの符号化技術の一例が、特許文献１に開示されている。その概要は、単位ブロックに満たない大きさの部分が画像端部にあるとき、仮想的な画素を補って単位ブロックを生成し、その単位ブロックを符号化するというものである。特許文献１によれば、具体的に、前記仮想的な画素の画素値に最端部の画素値を用いてもよいとされる。
【特許文献１】特開平１−１６８１６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術における画像拡張を、例えば、Ｈ．２６４規格を用いた画像データの符号化に単純に適用すると、拡張部分について良好な符号化効率が得られないという問題が生じる。この問題は、従来の技術による画像拡張が、Ｈ．２６４規格で規定されているイントラ予測符号化、及びインター予測符号化の予測誤差を低減する方向に必ずしも働かないことに起因する。
【０００８】
本発明は、上記の問題に鑑みてなされたものであり、画像データの画像拡張を伴った符号化において、生成される符号量の増大を抑制する画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の画像符号化装置は、入力画像を符号化単位ブロックの自然数倍の大きさに拡張した画像である拡張画像を表す符号を生成する符号化手段と、前記符号化手段を、前記拡張画像の一部となるべき前記入力画像からの拡張部分に対応する予測誤差を０と表す符号を生成するよう制御する制御手段とを備える。
【００１０】
また、前記制御手段は、前記入力画像に含まれる画素値に係わらず、Ｈ．２６４規格に従ってイントラ予測を行う際に周辺の画素が存在しない場合に用いるよう定められた参照値を用いて前記入力画像を拡張することにより前記拡張画像を生成する画像拡張部を有し、前記符号化手段は、前記画像拡張部によって生成された前記拡張画像を、Ｈ．２６４規格に従ってイントラ予測を用いて符号化することにより、前記拡張部分に対応する予測誤差を０と表す符号を生成してもよい。
【００１１】
また、前記入力画像のライン数は１０８０であり、前記画像拡張部は、画素値１２８を用いて前記入力画像を上側に８ライン拡張することにより、ライン数が１０８８である拡張画像を生成してもよい。
【００１２】
また、前記制御手段は、さらに、前記拡張部分が前記入力画像の上下の何れに位置するかを示す画像拡張パラメータを出力する画像拡張パラメータ出力部を有し、前記画像拡張部は、前記位置が上であると示される場合、前記入力画像に含まれる画素値に係わらず、Ｈ．２６４規格に従ってイントラ予測を行う際に周辺の画素が存在しない場合に用いるよう定められた参照値を用いて前記入力画像を上側に拡張し、前記位置が下であると示される場合、前記入力画像の最下位ラインの画素値を用いて前記入力画像を下側に拡張してもよい。
【００１３】
また、前記制御手段は、さらに、前記入力画像が動画像を構成するフレーム及びフィールドの何れであるかを示す画像拡張パラメータを出力する画像拡張パラメータ出力部を有し、前記画像拡張部は、前記入力画像がフレームであると示される場合には、前記入力画像がフィールドであると示される場合に拡張されるライン数に比べて２倍のライン数、前記入力画像を拡張してもよい。
【００１４】
また、前記符号化手段は、イントラ予測及びインター予測の何れを用いても前記拡張画像を符号化することができ、前記制御手段は、さらに、前記符号化手段が前記拡張画像の符号化にイントラ予測及びインター予測の何れを用いるかを示す画像拡張パラメータを出力する画像拡張パラメータ出力部を有し、前記画像拡張部は、イントラ予測が用いられると示される場合、前記入力画像に含まれる画素値に係わらず、Ｈ．２６４規格に従ってイントラ予測を行う際に周辺の画素が存在しない場合に用いるよう定められた参照値を用いて前記入力画像を拡張し、インター予測が用いられると示される場合、前記入力画像を、参照画像における拡張部分の画素値を用いて拡張してもよい。
【００１５】
また、前記制御手段は、前記拡張部分の前記入力画像に対する位置とライン数とを示す画像拡張パラメータを出力する画像拡張パラメータ出力部を有し、前記符号化手段は、前記画像拡張パラメータによって示される前記拡張部分に対応する予測誤差として０値を生成する０値生成部を有し、前記生成された０値と、前記入力画像に対応する予測誤差とをＨ．２６４規格に従って符号化することにより、前記拡張部分に対応する予測誤差を０と表す符号を生成してもよい。
【００１６】
また、前記符号化手段は、前記拡張部分に対応する０値と、前記入力画像に対応する予測誤差とを、それぞれ異なる符号化単位ブロックとして符号化してもよい。
【００１７】
また、本発明は、このような画像符号化装置として実現することができるだけでなく、そのような画像符号化装置が備える特徴的な手段によって実行される処理をステップとする画像符号化方法として実現することも、また、画像符号化処理用の集積回路装置として実現することもできる。
【発明の効果】
【００１８】
本発明に係る画像符号化装置は、Ｈ．２６４規格に従ってイントラ予測を行う際に周辺の画素が存在しない場合に用いるよう定められた参照値を用いて入力画像を拡張して得た拡張画像を符号化するか、拡張部分の予測誤差として０値を挿入することによって、前記拡張画像の拡張部分に関する予測誤差を０と表す符号を生成するので、生成される符号量が抑制され、その結果、従来よりも良好な符号化効率を得ることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態について、図面を用いて説明する。
【００２０】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像符号化装置１０の機能的な構成の一例を示すブロック図である。
【００２１】
画像符号化装置１０は、Ｈ．２６４規格に従ってイントラ予測を行う際に周辺の画素が存在しない場合に用いるよう定められた参照値を用いて入力画像を拡張して得た拡張画像を符号化することによって、前記拡張画像の拡張部分に対応する予測誤差を０と表す符号を生成する装置であり、制御部１１及び符号化部１２から構成される。制御部１１は、画像拡張パラメータ出力部１１１、符号化パラメータ出力部１１２、及び画像拡張部１１３から構成される。
【００２２】
制御部１１及び符号化部１２は、具体的な一例として、コンピュータがプログラムを実行することによって達成されるソフトウェア機能であるとしてもよいし、集積回路装置を構成する回路ブロックであるとしてもよい。また、入力画像は、１０８０ｉの解像度で表されるＨＤＴＶ画像であるとしてもよい。
【００２３】
制御部１１において、画像拡張パラメータ出力部１１１は、（Ａ）前記拡張部分が前記入力画像の上下の何れに位置するか、（Ｂ）前記入力画像が動画像を構成するフレーム及びフィールドの何れであるか、及び（Ｃ）符号化部１２が前記拡張画像の符号化にイントラ予測及びインター予測の何れを用いるかのうちの少なくとも一つを示す情報を含む画像拡張パラメータを出力する。
【００２４】
この画像拡張パラメータは、その他にも、同数の輝度画素と色差画素とを有するＹＵＶ４２２方式、及び輝度画素とその半数の色差画素とを有するＹＵＶ４２０方式の何れで入力画像が表されるかを示す情報を含んでもよい。
【００２５】
この画像拡張パラメータの内容は、例えば、図示しないユーザからの指示情報に基づいて決定される。
【００２６】
画像拡張部１１３は、画像拡張パラメータに基づいて入力画像を拡張することによって、拡張画像を生成する。この拡張処理の詳細な内容については後述する。
【００２７】
符号化パラメータ出力部１１２は、符号化部１２が前記拡張画像の符号化にイントラ予測及びインター予測の何れを用いるかを示す情報を含む符号化パラメータを出力する。符号化パラメータは、その他にも、符号レートを定める圧縮率情報、イントラ予測における予測方向に関するモード情報を含んでもよい。
【００２８】
符号化部１２は、符号化パラメータに基づいて拡張画像を符号化することによって、画像を表す符号を含むストリームを生成すると共に、参照画素値を画像拡張部１１３へ出力する。この参照画素値は、イントラ予測においては他の符号化ブロックの画素と比較される画素値であり、またインター予測（フレーム間及びフィールド間の予測を意味する）においては他のフレーム及びフィールドの画素と比較される画素値である。
【００２９】
次に、画像拡張部１１３が行う画像拡張処理について説明する。
図２及び図３は、この画像拡張処理の内容の一例を模式的に示す図である。
【００３０】
画像拡張部１１３は、画像拡張パラメータ出力部１１１から画像拡張パラメータを与えられ、その画像拡張パラメータの内容に応じて、入力画像を所定の方向に、所定のライン数、所定の画素値を用いて拡張する。
【００３１】
図２は、入力画像を上側に８ライン拡張して拡張画像を得る例を示しており、具体的に、１０８０ラインの入力画像を１０８８ラインの拡張画像に拡張する場合にこの例が適用される。
【００３２】
画像拡張部１１３は、入力画像が、フレームを構成するそれぞれ５４０ラインのトップフィールド又はボトムフィールドである場合、図２の左側に示されるように、入力画像をフィールドごとに４ライン拡張することによって、フレームあたり８ライン拡張する。入力画像が１０８０ラインのフレームである場合、図２の右側に示されるように、入力画像を８ライン拡張する。
【００３３】
言い換えれば、入力画像がフレームである場合には、入力画像がフィールドである場合に拡張するライン数に比べて２倍のライン数の拡張が行われる。
【００３４】
また、画像拡張部１１３は、符号化部１２が前記拡張画像の符号化にイントラ予測を用いる場合には、Ｈ．２６４規格に従ってイントラ予測を行う際に周辺の画素が存在しない場合に用いるよう定められた参照値１２８を画像拡張部分の画素値とする。符号化部１２が前記拡張画像の符号化にインター予測を用いる場合には、符号化部１２から与えられる参照画素値を画像拡張部分の画素値とする。
【００３５】
図３は、入力画像を下側に８ライン拡張して拡張画像を得る例を示しており、入力画像がフィールドであるかフレームであるかに応じて拡張されるライン数は、前述と同様である。
【００３６】
また、画像拡張部１１３は、符号化部１２が前記拡張画像の符号化にイントラ予測を用いる場合には、入力画像の最下位ラインの画素の画素値を画像拡張部分の画素値とする。符号化部１２が前記拡張画像の符号化にインター予測を用いる場合には、符号化部１２から与えられる参照画素値を画像拡張部分の画素値とする。
【００３７】
なお、ここまで、輝度情報を表す輝度画素及び色差情報を表す色差画素を区別せずに説明した。一例として、ＹＵＶ４２２方式で表された入力画像については、上述した説明は輝度画素と色差画素との双方に当てはまる。また、ＹＵＶ４２０方式で表された入力画像については、上述の説明は輝度画素に当てはまると共に、上述の説明の半分のライン数での拡張が色差画素に当てはまる。
【００３８】
次に、符号化部１２の詳細について説明する。
図４は、符号化部１２の機能的な構成の一例を示すブロック図である。この構成は、Ｈ．２６４規格に準拠する符号化器の一般的なモデルとしてよく知られているため、ここではごく簡単に説明する。
【００３９】
符号化部１２は、画像拡張部１１３から出力される拡張画像を、符号化単位ブロックであるマクロブロックごとにストリームに符号化する。符号化部１２は、この符号化を、イントラ予測及びインター予測のうち、符号化パラメータ出力部１１２から与えられる符号化パラメータに応じた一方を用いて行う。
【００４０】
加算器１２１は、拡張画像の画素値と予測に用いられる参照画素値との誤差を算出し、直交変換部１２２は、その誤差を例えば離散コサイン係数に変換し、量子化部１２３は、その離散コサイン係数を量子化する。
【００４１】
逆量子化部１２４及び逆直交変換部１２５は、前記量子化の結果をデコードすることで、再生機器において算出される誤差と同等の誤差を局所的に求める。加算器１２６は、この誤差と参照画素値とを加算することで、局所的な復号結果である画素値を得る。
【００４２】
加算器１２６によって得られた画素値は、イントラ予測部１２７へ出力されると共に、ループフィルタ１２８を介してフレームメモリ１２９に記憶され、さらには、画像拡張部１１３へも出力される。
【００４３】
符号化にイントラ予測が用いられる場合、イントラ予測部１２７は、加算器１２６から与えられる前記画素値に基づいて、Ｈ．２６４規格によって隣接するマクロブロックとの対比に用いるように定められた所定の参照画素値を生成する。
【００４４】
そして、スイッチ１３２は、イントラ予測部１２７からの参照画素値を選択し、加算器１２１は、拡張画像に含まれる隣接するマクロブロックの画素値と選択された参照画素値との誤差を算出することで、後続する符号化が実行される。
【００４５】
符号化にインター予測が用いられる場合、動き検出部１３０は、先行するフレーム又はフィールド（つまり参照画像）について算出されてフレームメモリ１２９に記憶されている参照画素値に基づいて、後続するフレーム又はフィールドを表す拡張画像におけるマクロブロックの動きベクトルを算出する。動き補償部１３１は、参照画像における算出された動きベクトルで表される範囲の画素値を参照画素値として出力する。
【００４６】
そして、スイッチ１３２は、動き補償部１３１からの参照画素値を選択し、加算器１２１は、後続するフレーム又はフィールドにおけるマクロブロックの画素値と選択された参照画素値との誤差を算出することで、後続する符号化が実行される。
【００４７】
図５は、Ｈ．２６４規格において、イントラ予測の対象となる単位ブロック内の各画素との差分を取るために用いるよう定められた参照画素を示す図である。図に示されるように、Ｈ．２６４規格は、９種類の予測モードについて、それぞれ矢印の始点にある参照画素とその矢印方向にある各画素との差分を取るように定めている。
【００４８】
この図では、その単位ブロックの大きさを、一例として４×４画素として表している。図中、白い円はその単位ブロック内の各画素を表し、斜線を施した円はその単位ブロックの左方及び上方に位置するいくつかの参照画素を表している。
【００４９】
予測モード０では、単位ブロックの上側に位置する複数の参照画素と、単位ブロック内において各参照画素の真下にある画素との差分が取られる。
【００５０】
予測モード１では、単位ブロックの左側に位置する複数の参照画素と、単位ブロック内において各参照画素の右にある画素との差分が取られる。
【００５１】
予測モード２では、複数の参照画素の平均値と単位ブロック内の各画素との差分が取られる。
【００５２】
予測モード３〜８では、複数の参照画素と、各参照画素から見て矢印方向にある単位ブロック内の各画素との差分が取られる。
【００５３】
画像の上端に位置する単位ブロックには、上側の参照画素が存在しないため、予測モード１、２、及び８の何れかが用いられる。特に、画像の上左端に位置する単位ブロックには、全ての参照画素が存在しないため、参照画素の平均値を１２８と仮定して予測モード２が用いられる。この値１２８が、Ｈ．２６４規格に従ってイントラ予測を行う際に周辺の画素が存在しない場合に用いるよう定められた参照値の一例である。
【００５４】
なお、イントラ予測は、８×８画素、及び１６×１６画素の大きさの単位ブロックを対象として行うことも可能である。
【００５５】
図６は、Ｈ．２６４規格における動き補償の単位を示す図である。従来のＭＰＥＧ規格では、動き補償の単位が１６×１６画素の大きさのマクロブロックに固定されているのに対し、Ｈ．２６４規格では、動き補償の単位として、図６（Ａ）に示されるように、１６×１６画素、１６×８画素、８×１６画素、８×８画素の４種類の大きさのマクロブロックが利用可能であり、さらに、図６（Ｂ）に示されるように、８×８画素のマクロブロックを分割して得られる８×４画素、４×８画素、４×４画素の３種類のサブマクロブロックが利用可能である。
【００５６】
次に、画像拡張部１１３による処理の主要部についてフローチャートを参照して説明する。
【００５７】
図７は、拡張ライン数の決定処理の一例を示すフローチャートである。
画像拡張部１１３は、画像拡張パラメータ出力部１１１から与えられる画像拡張パラメータによって、入力画像がフレームであると示される場合（Ｓ１１でフレーム）、Ｎｙ（輝度拡張ライン数）を８と決定し（Ｓ１２）、入力画像がフィールドであると示される場合（Ｓ１１でフィールド）、Ｎｙを４と決定する（Ｓ１３）。
【００５８】
そして、画像拡張部１１３は、前記画像拡張パラメータによって、入力画像がＹＵＶ４２０方式で表されると示される場合（Ｓ１４で４：２：０）、Ｎｃ（色差拡張ライン数）をＮｙ／２と決定し（Ｓ１５）、ＹＵＶ４２２方式で表されると示される場合（Ｓ１４で４：２：２）、ＮｃをＮｙと決定する（Ｓ１６）。
【００５９】
図８は、画像拡張処理の一例を示すフローチャートである。
画像拡張部１１３は、前記画像拡張パラメータによって、拡張部分の位置が入力画像の上方であると示される場合（Ｓ３１で上）、前記入力画像を、画素値１２８を用いて上側に、図７に示されるフローチャートに従って決定されたライン数拡張することにより、拡張画像を生成する（Ｓ３２及び図２）。他方、拡張部分の位置が入力画像の下方であると示される場合（Ｓ３１で下）、前記入力画像を、前記入力画像の最下位ラインの画素値を用いて下側に、前記決定されたライン数拡張することにより、拡張画像を生成する（Ｓ３３及び図３）。
【００６０】
図９は、予測にイントラ予測及びインター予測の何れが用いられるかを考慮するように、図８に示される処理を拡張したフローチャートである。
【００６１】
この拡張された処理では、画像拡張部１１３は、画像拡張パラメータ出力部１１１から与えられる画像拡張パラメータによって、予測にイントラ予測が用いられると示される場合（Ｓ４１でイントラ予測）、図８に示される処理を実行する。他方、予測にインター予測が用いられると示される場合（Ｓ４１でインター予測）、前記入力画像を、符号化部１２から与えられる参照画素値を用いて拡張する（Ｓ４２）。この場合の拡張の方向及びライン数は、前記画像拡張パラメータ及び前記決定されたライン数に従う。
【００６２】
ここまでに説明した構成において、入力画像を上側に画素値１２８を用いて拡張した拡張画像を、イントラ予測を用いて符号化すれば、画像の上左端のマクロブロックについては、画素値１２８を用いてイントラ予測が行われるから、予測誤差は全て０になる。また、その他の上端のマクロブロックについても、左に隣接する画素値を用いてイントラ予測が行われるから、予測誤差は全て０になる。
【００６３】
また、入力画像を下側に前記入力画像の最下位ラインの画素値を用いて拡張した拡張画像を、イントラ予測を用いて符号化すれば、画面下端のマクロブロックについては、上に隣接する画素値を用いて予測が行われるから、予測誤差を０にできる。
【００６４】
他方、符号化部１２からの参照画素値（つまり参照画像の画素値）を用いて拡張された拡張画像を、動きベクトルを０とするインター予測を用いて符号化しても、予測誤差を０にできる。その場合には特に、動き補償の単位として、例えば１６×８画素のマクロブロックや８×４画素のサブマクロブロックを選ぶことで、拡張画像における拡張部分と他の部分とを、それぞれ異なる符号化単位ブロックとして符号化することが望ましい。そうすれば、拡張部分について、符号化条件に関する符号量のみが発生することとなり、生成される符号量の抑制に大きく貢献できる。
【００６５】
（実施の形態２）
図１０は、本発明の実施の形態２に係る画像符号化装置２０の機能的な構成の一例を示すブロック図である。
【００６６】
画像符号化装置２０は、拡張画像の一部となるべき入力画像からの拡張部分に対応する予測誤差として０値を生成し、前記生成された０値と、前記入力画像に対応する予測誤差とをＨ．２６４規格に従って符号化することによって、前記拡張部分に対応する予測誤差を０と表す符号を生成する装置であり、画像符号化装置１０と比べて、画像拡張部１１３が省略された制御部２１を有すると共に、符号化部２２の内容が符号化部１２から変更される。
【００６７】
実施の形態１と同様、制御部２１及び符号化部２２は、例えば、コンピュータがプログラムを実行することによって達成されるソフトウェア機能であるとしてもよいし、集積回路装置を構成する回路ブロックであるとしてもよい。また、入力画像は、１０８０ｉの解像度で表されるＨＤＴＶ画像であるとしてもよい。
【００６８】
以下、実施の形態１で説明した画像符号化装置１０における構成要素と同一の構成要素には同一の符号を付して、説明を省略する。
【００６９】
制御部２１は、実施の形態１と同様の画像拡張パラメータ及び符号化パラメータを符号化部２２へ出力する。
【００７０】
この画像拡張パラメータは、実施の形態２では、実施の形態１とは異なり、前記拡張部分の前記入力画像に対する位置及びライン数を決定するためにだけ用いられる。決定された拡張部分について、符号化部２２への入力となるべき具体的な画素値を生成することはしない。
【００７１】
図１１は、符号化部２２の機能的な構成の一例を示すブロック図である。符号化部２２は、図４に示される符号化部１２構成と比べて、前記拡張部分に対応する予測誤差として０値を生成する０値生成部を有し、前記生成された０値と、前記入力画像に対応する予測誤差とをＨ．２６４規格に従って符号化する。
【００７２】
図１２及び図１３は、この符号化処理の内容の一例を模式的に示す図である。
図１２は、拡張部分が入力画像の上側に８ライン取られる場合の例を示している。
【００７３】
図に示されるように、画面上端のマクロブロックは、上の８ライン分が拡張されるエリアになる。マクロブロックの拡張する部分をダミーデータ（ドントケア値）とした拡張マクロブロックを考えて、次のようにして符号化を行う。
【００７４】
イントラ予測部１２７は、Ｈ．２６４規格に従って、図５に示される９種類のモードについてそれぞれ評価値を生成し、生成された評価値が最も良いモードを選択し、選択されたモードでイントラ予測を行う。例えば、参照画像とマクロブロックとの対応画素の差分絶対値和で表される予測誤差を評価値とし、この値が最小となるモードを選択する。
【００７５】
特に、拡張マクロブロックをイントラ予測するときは、拡張部分Ａ１及びＡ２の予測誤差を強制的に０として評価し、モードを決定する。イントラ予測では、画像の上左端に位置するブロックには画素値１２８での平均値予測（予測モード２）のみが使用可能であり、それ以外の画像の上端に位置するブロックには予測モード１、２、８のみが使用可能であること、及び隣接するブロックに選択された最小番号の予測モードと同じ予測モードは１ビットで表されることを考慮すれば、例えば全ての拡張マクロブロックに予測モード２を選択することが、符号量を抑制する上で好ましい。
【００７６】
また、動き検出部１３０及び動き補償部１３１は、Ｈ．２６４規格に従って、図６に示される動き補償の単位サイズごとに評価値を生成し、最も良い評価値の動き単位サイズを選択し、選択された単位サイズで動き補償を行う。例えば、参照画像とマクロブロックとの対応画素の差分絶対値和で表される予測誤差を評価値とし、この値が最小となる単位サイズを選択する。
【００７７】
特に、拡張マクロブロックをインター予測するときは、拡張部分Ｂ１及びＢ２の予測誤差を強制的に０として評価し、動き補償の単位サイズを選択する。
【００７８】
一例として、単位サイズとして１６×１６画素を選択する場合、上側ブロックＢ１及びＢ２の予測誤差が０であるとして評価値を求める。この評価値には、拡張マクロブロックの下側ブロックＢ３、Ｂ４の予測誤差のみが含まれる。
【００７９】
他の例として、単位サイズとして１６×８画素を選択する場合、拡張部分に位置するブロックの予測誤差を０とすると共に、動きベクトルを最も少ない符号量で表されるように定める。動きベクトルが周辺の動きベクトルから生成される予測ベクトルとの差分で表されることを考慮すれば、動きベクトルが予測ベクトルと等しいと考えて差分ベクトルを０とすることが、符号量を抑制する上で好ましい。
【００８０】
そして、このようにして決定されたイントラ予測モード、動き補償の単位サイズ及び動きベクトルに応じて入力画像の各ブロックについて加算器１２１で算出された予測誤差、及び拡張部分のブロックＡ１、Ａ２、Ｂ１、及びＢ２に対応して０値生成部２２１で生成された０値が、直交変換部１２２、量子化部１２３、及びエントロピー符号化部１３３によってストリームに符号化される。
【００８１】
図１３は、拡張部分が入力画像の下側に８ライン取られる場合の例を示している。
図に示されるように、画面下端のマクロブロックは、下の８ライン分が拡張されるエリアになる。マクロブロックの拡張する部分を任意（ドントケア）の画素値とした拡張マクロブロックを考えて符号化を行う。符号化の基本的な考え方は、図１２に示される拡張部分が上側に取られる場合と同様である。
【００８２】
イントラ予測部１２７は、拡張マクロブロックをイントラ予測するとき、拡張部分Ｃ３、Ｃ４の予測誤差を強制的に０として評価すると共に、予測モードを選択する。ブロックＣ３には、ブロックＣ１の予測モード、及び予測モード２のうち番号が小さい予測モードを選択する。ブロックＣ３は左側にブロックが存在しないため、このような選び方をする。ブロックＣ４には、ブロックＣ２の予測モード、及びブロックＣ３の予測モードのうち番号が小さいモードを選択する。
【００８３】
また、動き検出部１３０及び動き補償部１３１は、上側に拡張する場合と対称に、下側のブロックＤ３及びＤ４の予測誤差を強制的に０としてインター予測を行い、動き補償の単位サイズを選択すると共に、動きベクトルを求める。
【００８４】
そして、このようにして決定されたイントラ予測モード、動き補償の単位サイズ及び動きベクトルに応じて入力画像の各ブロックについて加算器１２１で算出された予測誤差、及び拡張部分のブロックＣ３、Ｃ４、Ｄ３、及びＤ４に対応して０値生成部２２１で生成された０値が、直交変換部１２２、量子化部１２３、及びエントロピー符号化部１３３によってストリームに符号化される。
【産業上の利用可能性】
【００８５】
本発明の画像符号化装置およびその方法は、イントラ予測及びインター予測を用いて画像を符号化する装置に利用でき、とりわけ、１０８０ｉの解像度で表されるＨＤＴＶ画像をＨ．２６４規格に従って符号化する用途として有用である。
【図面の簡単な説明】
【００８６】
【図１】実施の形態１に係る画像符号化装置の一例を示すブロック図である。
【図２】入力画像の上側へ行われる画像拡張の一例を模式的に示す図である。
【図３】入力画像の下側へ行われる画像拡張の一例を模式的に示す図である。
【図４】実施の形態１に係る符号化部の一例を示すブロック図である。
【図５】イントラ予測モードを説明する図である。
【図６】動き補償の単位サイズを説明する図である。
【図７】拡張ライン数の決定処理の一例を示すフローチャートである。
【図８】入力画像に対する拡張処理の一例を示すフローチャートである。
【図９】入力画像に対する拡張処理の他の例を示すフローチャートである。
【図１０】実施の形態２に係る画像符号化装置の一例を示すブロック図である。
【図１１】実施の形態２に係る符号化部の一例を示すブロック図である。
【図１２】上側へ拡張された拡張画像の符号化の一例を模式的に示す図である。
【図１３】下側へ拡張された拡張画像の符号化の一例を模式的に示す図である。
【符号の説明】
【００８７】
１０、２０    画像符号化装置
１１、２１    制御部
１２、２２    符号化部
１１１    画像拡張パラメータ出力部
１１２    符号化パラメータ出力部
１１３    画像拡張部
１２１    加算器
１２２    直交変換部
１２３    量子化部
１２４    逆量子化部
１２５    逆直交変換部
１２６    加算器
１２７    イントラ予測部
１２８    ループフィルタ
１２９    フレームメモリ
１３０    検出部
１３１    補償部
１３２    スイッチ
１３３    エントロピー符号化部
２２１    ０値生成部
【図１】
2007124564.tif 000003
【図２】
2007124564.tif 000004
【図３】
2007124564.tif 000005
【図４】
2007124564.tif 000006
【図５】
2007124564.tif 000007
【図６】
2007124564.tif 000008
【図７】
2007124564.tif 000009
【図８】
2007124564.tif 000010
【図９】
2007124564.tif 000011
【図１０】
2007124564.tif 000012
【図１１】
2007124564.tif 000013
【図１２】
2007124564.tif 000014
【図１３】
2007124564.tif 000015