(57)【要約】【課題】画像を２種類の符号化アルゴリズムにより符号化する際のメモリの容量を削減する。【解決手段】符号化器９１１は、入力画像を符号化する。デコード画記憶部９１４は、符号化器９１１が生成する符号を復号したデコード画を記憶する。変換部９１３は、複数のブロックに区分された入力画像のブロックの形状を変換する。符号化器９１２は、変換部９１３により変換されたブロックを、デコード画に基づいて、符号化器９１１とは異なるアルゴリズムで符号化する。【選択図】図９
2017183910.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を符号化する第１の符号化器と、
前記第１の符号化器が生成する符号を復号したデコード画を記憶するデコード画記憶部と、
複数のブロックに区分された前記入力画像の前記ブロックの形状を変換する変換部と、
前記変換部により変換されたブロックを、前記デコード画に基づいて、前記第１の符号化器とは異なるアルゴリズムで符号化する第２の符号化器と、
を有することを特徴とする画像符号化装置。
【請求項２】
前記第１の符号化器は、前記デコード画を参照して、前記入力画像の前記ブロックを第１の予測符号化により符号化し、前記変換部は、前記入力画像の前記ブロックの形状を、前記異なるアルゴリズムにおける第２の予測符号化で用いる形状に変換し、前記第２の符号化器は、前記デコード画を参照して、前記変換されたブロックを前記第２の予測符号化により符号化することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記デコード画と、前記第２の符号化器が生成する符号を復号したデコード画との差分を表す、差分画像を記憶する差分画像記憶部をさらに有し、
前記第１の符号化器は、前記第１の符号化器が生成する前記符号を復号した前記デコード画を参照して、前記入力画像の前記ブロックを第１の予測符号化により符号化し、前記変換部は、前記入力画像の前記ブロックの形状を、前記異なるアルゴリズムにおける第２の予測符号化で用いる形状に変換し、前記第２の符号化器は、前記デコード画記憶部が記憶する前記デコード画と前記差分画像とから生成されるデコード画を参照して、前記変換されたブロックを前記第２の予測符号化により符号化することを特徴とする請求項１記載の画像符号化装置。
【請求項４】
前記差分画像を符号化して、差分符号を生成する差分符号化器と、
前記差分符号を復号して、前記差分画像を生成する差分復号器とをさらに有し、
前記差分画像記憶部は、前記差分符号を記憶し、前記差分復号器は、前記差分画像記憶部が記憶する前記差分符号を復号して、前記差分画像を生成することを特徴とする請求項３記載の画像符号化装置。
【請求項５】
前記第１の符号化器は、前記差分画像を符号化して差分符号を生成し、前記差分画像記憶部は、前記差分符号を記憶し、前記第１の符号化器は、前記差分画像記憶部が記憶する前記差分符号を復号した復号結果から、前記差分画像を生成することを特徴とする請求項３記載の画像符号化装置。
【請求項６】
前記差分符号を前記差分画像記憶部に書き込む際に発生する書き込み情報量と、前記差分符号を前記差分画像記憶部から読み出す際に発生する読み出し情報量と、目標情報量とに基づいて、前記差分画像を符号化する際の圧縮率を制御する制御部をさらに有することを特徴とする請求項４又は５記載の画像符号化装置。
【請求項７】
前記制御部は、前記書き込み情報量が所定値よりも小さい場合、前記差分符号を前記差分画像記憶部に書き込む動作をスキップすることを特徴とする請求項６記載の画像符号化装置。
【請求項８】
前記制御部は、前記差分符号を前記差分画像記憶部に書き込む動作をスキップした場合、前記差分符号を前記差分画像記憶部から読み出す動作をスキップすることを特徴とする請求項７記載の画像符号化装置。
【請求項９】
前記制御部は、前記書き込み情報量と前記読み出し情報量との累積値が上限値に達した場合、前記差分符号を前記差分画像記憶部に書き込む動作と前記差分符号を前記差分画像記憶部から読み出す動作とを禁止することを特徴とする請求項６乃至８のいずれか１項に記載の画像符号化装置。
【請求項１０】
画像符号化装置が、
第１の符号化アルゴリズムで入力画像を符号化し、
前記第１の符号化アルゴリズムにより生成した符号を復号したデコード画を、デコード画記憶部に格納し、
複数のブロックに区分された前記入力画像の前記ブロックの形状を変換し、
前記変換部により変換されたブロックを、前記デコード画に基づいて、前記第１の符号化アルゴリズムとは異なる第２の符号化アルゴリズムで符号化する、
ことを特徴とする画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
近年、高画質かつ高圧縮な映像コンテンツが配信されている。高画質な映像コンテンツは情報量が多いため、高効率な圧縮を実現する動画像符号化アルゴリズムであるＨ．２６４又はHigh Efficiency Video Coding（ＨＥＶＣ）が用いられることが多い。ＨＥＶＣは、動画像符号化の最新規格であり、Ｈ．２６４に比べて約２倍の圧縮効率を実現できる。一方、Ｈ．２６４は、様々な製品で利用されている。
【０００３】
テレビの生放送等のリアルタイム性が望まれる映像配信の現場では、高効率なＨＥＶＣと広く利用されているＨ．２６４の両方の符号化ストリームを同時に出力することがある。この場合、２種類の符号化ストリームを同時に出力するために、ＨＥＶＣ及びＨ．２６４のそれぞれの符号化アルゴリズムを実装した２種類の画像符号化装置が使用される。
【０００４】
Moving Picture Experts Group（ＭＰＥＧ）ストリームとJoint Photographic Experts Group（ＪＰＥＧ）ストリームを同時に生成する画像符号化装置も知られている（例えば、特許文献１を参照）。また、ＭＰＥＧ−２とＭＰＥＧ‐４の符号化データを同時に生成する動画像符号化装置も知られている（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−５０２６３号公報
【特許文献２】特開２００８−６１２７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＨＥＶＣ及びＨ．２６４の２種類の符号化ストリームを同時に生成する場合、それぞれの符号化ストリームのデコード画を格納するために、フレームメモリの容量が増加する。
【０００７】
なお、かかる問題は、ＨＥＶＣ及びＨ．２６４の符号化ストリームを生成する場合に限らず、他の符号化アルゴリズムにより２種類の符号化ストリームを生成する場合においても生ずるものである。
【０００８】
１つの側面において、本発明は、画像を２種類の符号化アルゴリズムにより符号化する際のメモリの容量を削減することを目的とする。
【課題を解決するための手段】
【０００９】
１つの案では、画像符号化装置は、第１の符号化器、第２の符号化器、デコード画記憶部、及び変換部を含む。
【００１０】
第１の符号化器は、入力画像を符号化する。デコード画記憶部は、第１の符号化器が生成する符号を復号したデコード画を記憶する。変換部は、複数のブロックに区分された入力画像のブロックの形状を変換する。第２の符号化器は、変換部により変換されたブロックを、デコード画に基づいて、第１の符号化器とは異なるアルゴリズムで符号化する。
【発明の効果】
【００１１】
実施形態によれば、画像を２種類の符号化アルゴリズムにより符号化する際のメモリの容量を削減することができる。
【図面の簡単な説明】
【００１２】
【図１】画像符号化装置の構成図である。
【図２】モード判定部の構成図である。
【図３】Ｈ．２６４におけるブロックを示す図である。
【図４】Ｈ．２６４におけるインター予測及びイントラ予測を示す図である。
【図５】ＨＥＶＣにおけるブロックを示す図である。
【図６】ＨＥＶＣにおけるインター予測及びイントラ予測を示す図である。
【図７】符号化部の構成図である。
【図８】画像符号化システムの構成図である。
【図９】デコード画を共用する画像符号化装置の構成図である。
【図１０】画像符号化処理のフローチャートである。
【図１１】画像符号化装置の第１の具体例を示す構成図である。
【図１２】画像符号化処理の第１の具体例を示すフローチャートである。
【図１３】デコード画領域を示す図である。
【図１４】モード変換処理を示す図である。
【図１５】ＰＵとＭＢの第１の対応関係を示す図である。
【図１６】ＰＵとＭＢの第２の対応関係を示す図である。
【図１７】ＰＵとＭＢの第３の対応関係を示す図である。
【図１８】ＰＵとＭＢの第４の対応関係を示す図である。
【図１９】ＰＵとＭＢの第５の対応関係を示す図である。
【図２０】ＰＵとＭＢの第６の対応関係を示す図である。
【図２１】デコード画を用いるモード判定部の構成図である。
【図２２】デコード画を読み出す処理を示す図である。
【図２３】画像符号化装置の第２の具体例を示す構成図である。
【図２４】差分符号化器の構成図である。
【図２５】量子化情報記憶部及び差分画像記憶部を示す図である。
【図２６】差分復号器の構成図である。
【図２７】複数の領域に跨る参照領域を示す図である。
【図２８】画像符号化処理の第２の具体例を示すフローチャートである。
【図２９】画像符号化装置の第３の具体例を示す構成図である。
【図３０】差分画像符号化及び差分符号復号を行う符号化部の構成図である。
【図３１】レート制御部を示す図である。
【図３２】累積発生情報量を示す図である。
【図３３】スキップ情報を示す図である。
【図３４】上限値に達した累積発生情報量を示す図である。
【図３５】周辺画素を示す図である。
【図３６】ＨＥＶＣにおけるイントラ予測モードを示す図である。
【図３７】Ｈ．２６４における４×４の輝度ブロックのイントラ予測モードを示す図である。
【図３８】Ｈ．２６４における１６×１６の輝度ブロックのイントラ予測モードを示す図である。
【図３９】Ｈ．２６４における色差ブロックのイントラ予測モードを示す図である。
【図４０】ＰＵとＭＢの第７の対応関係を示す図である。
【図４１】ＰＵとＭＢの第８の対応関係を示す図である。
【図４２】予測方向の第１の対応関係を示す図である。
【図４３】ＰＵとＭＢの第９の対応関係を示す図である。
【図４４】ＰＵと色差ブロックの対応関係を示す図である。
【図４５】予測方向の第２の対応関係を示す図である。
【図４６】符号化済みでない周辺画素を示す図である。
【図４７】符号化済みの周辺画素を示す図である。
【図４８】情報処理装置の構成図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら、実施形態を詳細に説明する。
図１は、画像符号化装置の構成例を示している。図１の画像符号化装置１０１は、モード判定部１１１及び符号化部１１２を含み、Ｈ．２６４、ＨＥＶＣ等の符号化アルゴリズムにより、入力される映像信号を符号化する。
【００１４】
映像信号は、複数の時刻それぞれにおける複数の画像を含む。これらの画像の各々が、符号化対象画像（原画像）として画像符号化装置１０１に入力される。各画像は、カラー画像であってもよく、モノクロ画像であってもよい。画像がカラー画像である場合、画素値はＲＧＢ形式であってもよく、ＹＵＶ形式であってもよい。各画像は、ピクチャ又はフレームと呼ばれることもある。
【００１５】
モード判定部１１１は、映像信号に対してイントラ予測及びインター予測を行い、最も符号化誤差が小さい予測モードを選択して、選択した予測モードを示すモード情報を符号化部１１２へ出力する。
【００１６】
図２は、図１のモード判定部１１１の構成例を示している。図２のモード判定部１１１は、イントラ予測部２０１、インター予測部２０２、及び選択部２０３を含み、符号化対象画像をブロック毎に分割し、各ブロックを符号化対象ブロックとして処理する。
【００１７】
イントラ予測部２０１は、符号化対象画像内の既に符号化された周辺画素の画素値から、最も符号化誤差が小さくなるような、符号化対象ブロックのイントラ予測ブロック画像を生成する。インター予測部２０２は、動き探索に用いる参照画像を、外部メモリであるフレームメモリ１０２から読み出して、符号化対象ブロックに対する動き補償を行うことで、最も符号化誤差が小さくなるようなインター予測ブロック画像を生成する。
【００１８】
選択部２０３は、イントラ予測及びインター予測のうち、符号化誤差が小さい方の予測モードを選択して、符号化対象ブロックの形状、予測情報等を含むモード情報を出力する。イントラ予測の場合、予測情報には予測方向が含まれ、インター予測の場合、予測情報には参照画像及び動きベクトルの情報が含まれる。
【００１９】
符号化部１１２は、モード情報に従って符号化対象ブロックを符号化し、符号化ストリームを出力する。符号化部１１２は、符号化対象ブロックとイントラ予測ブロック画像又はインター予測ブロック画像との差分を表す予測誤差信号に対して、周波数変換、量子化、及びエントロピー符号化を行うことで、符号化ストリームを生成する。
【００２０】
このとき、符号化部１１２は、符号化対象ブロックの量子化結果に対して、逆量子化及び逆周波数変換を行うことで、再構成予測誤差信号を生成し、予測ブロック画像と再構成予測誤差信号とを加算することでデコード画を生成する。そして、符号化部１１２は、生成したデコード画をフレームメモリ１０２へ出力する。フレームメモリ１０２は、デコード画を蓄積し、蓄積したデコード画を、別の画像に対するインター予測で用いる参照画像として、モード判定部１１１へ出力する。
【００２１】
画像符号化装置１０１は、生成した符号化ストリームを、不図示の画像復号装置へ送信し、画像復号装置は、符号化ストリームを復号して映像信号を復元する。画像符号化装置１０１は、Ｈ．２６４よりも前の動画像符号化アルゴリズムであるＨ．２６１、Ｈ．２６２、Ｈ．２６３、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等を用いることもできる。
【００２２】
画像符号化装置１０１は、様々な用途に利用される。例えば、画像符号化装置１０１を、ビデオカメラ、映像送信装置、映像受信装置、テレビ電話システム、コンピュータ、又は携帯電話機に組み込むことも可能である。
【００２３】
図３は、Ｈ．２６４におけるブロックの例を示している。Ｈ．２６４におけるブロックの形状は、マクロブロック（ＭＢ）のサイズによって定義され、符号化対象画像３０１は、１６×１６、１６×８、８×１６、及び８×８の４種類のＭＢを単位として分割される。８×８のＭＢは、さらに、８×４、４×８、又は４×４のサブマクロブロック（ＳｕｂＭＢ）単位で分割することもできる。
【００２４】
図４は、Ｈ．２６４におけるインター予測及びイントラ予測の例を示している。インター予測の場合、符号化対象画像４０１内のＭＢ４１１に対して、参照画像４０２と、参照画像４０２内のＭＢ４１２を指す動きベクトル４１３とが決定され、参照画像４０２及び動きベクトル４１３を示すモード情報が生成される。ただし、ＭＢ４１１内に含まれる複数のＳｕｂＭＢに対しては、同じ参照画像４０２が選択される。
【００２５】
一方、イントラ予測の場合、ＭＢ４１１に対して、周辺画素４１４を定義する予測方向４１５が決定され、予測方向４１５を含むモード情報が生成される。
【００２６】
図５は、ＨＥＶＣにおけるブロックの例を示している。ＨＥＶＣにおけるブロックの形状は、Coding Tree Unit（ＣＴＵ）を元に自由に定義できる。符号化対象画像５０１は、四分木構造のＣＴＵを単位として分割され、各ＣＴＵは、Coding Unit（ＣＵ）を単位として分割され、各ＣＵは、さらにPrediction Unit（ＰＵ）及びTransform Unit（ＴＵ）を単位として分割される。各ユニットの形状は、以下の通りである。
ＣＴＵ：  １６×１６〜６４×６４
ＣＵ：    ８×８〜ＣＴＵのサイズ
ＰＵ：    ２Ｎ×２Ｎ，Ｎ×Ｎ，２Ｎ×Ｎ，Ｎ×２Ｎ，
２Ｎ×ｎＵ，２Ｎ×ｎＤ，ｎＲ×２Ｎ，ｎＬ×２Ｎ
（ただし、２Ｎ×２ＮはＣＵのサイズ）
ＴＵ：    ４×４〜３２×３２（ただし、ＣＵのサイズ以下）
【００２７】
符号化対象画像５０１の水平方向又は垂直方向のサイズが６４の整数倍ではない場合、符号化対象画像５０１の端のＣＴＵは、例えば、５６×４８のような形状に設定されることもある。ＣＵは、符号化対象ブロックに対応し、ＣＵ毎に、インター予測又はイントラ予測の切り替え、量子化パラメータの切り替え等が行われる。
【００２８】
ＰＵは、予測モードを決定する単位であり、ＴＵとは独立に分割形状を設定できる。イントラ予測の場合、ＰＵ毎に、予測方向が決定され、インター予測の場合、ＰＵ毎に、参照画像及び動きベクトルが決定される。ＰＵの形状のうち、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＲ×２Ｎ、及びｎＬ×２Ｎは、非対称な分割形状を表す。イントラ予測では、２Ｎ×２Ｎ又はＮ×Ｎが用いられる。
【００２９】
ＴＵは、予測誤差信号の直交変換を行う単位であり、ＰＵとは独立に、四分木構造で分割形状を設定できる。ただし、イントラ予測の場合、ＴＵのサイズは、ＰＵのサイズ以下である。
【００３０】
ＣＴＵ、ＣＵ、ＰＵ、及びＴＵは、それぞれ、Coding Tree Block（ＣＴＢ）、Coding Block（ＣＢ）、Prediction Block（ＰＢ）、及びTransform Block（ＴＢ）と呼ばれることもある。
【００３１】
図６は、ＨＥＶＣにおけるインター予測及びイントラ予測の例を示している。インター予測の場合、符号化対象画像６０１内のＣＴＵ６１１に含まれるＰＵ６１２に対して、参照画像６０２と、参照画像６０２内のＰＵ６１３を指す動きベクトル６１４とが決定され、参照画像６０２及び動きベクトル６１４を示すモード情報が生成される。
【００３２】
一方、イントラ予測の場合、ＰＵ６１２に対して、周辺画素６１５を定義する予測方向６１６が決定され、予測方向６１６を含むモード情報が生成される。
【００３３】
このように、Ｈ．２６４に比べてＨＥＶＣの方が自由度の高い符号化アルゴリズムであると言える。
【００３４】
図７は、図１の符号化部１１２の構成例を示している。図７の符号化部１１２は、変換部７０１、逆変換部７０２、及びエントロピー符号化部７０３を含む。変換部７０１は、モード判定部１１１が生成した予測誤差信号に対して、周波数変換及び量子化を行うことで、圧縮係数を生成し、エントロピー符号化部７０３は、圧縮係数に対してエントロピー符号化を行うことで、符号化ストリームを生成する。変換部７０１が生成する圧縮係数は、量子化結果を表す符号に対応する。
【００３５】
逆変換部７０２は、変換部７０１が生成した圧縮係数に対して、逆量子化及び逆周波数変換を行うことで、再構成予測誤差信号を生成し、モード判定部１１１が予測に用いた予測ブロック画像と再構成予測誤差信号とを加算することで、デコード画を生成する。そして、逆変換部７０２は、生成したデコード画をフレームメモリ１０２へ出力する。
【００３６】
図８は、テレビの生放送等において、ＨＥＶＣとＨ．２６４の両方の符号化ストリームを同時に出力する画像符号化システムの構成例を示している。図８の画像符号化システムは、ＨＥＶＣ画像符号化装置８０１、Ｈ２６４画像符号化装置８０２、ＨＥＶＣフレームメモリ８０３、及びＨ２６４フレームメモリ８０４を含む。
【００３７】
ＨＥＶＣ画像符号化装置８０１は、モード判定部８１１及び符号化部８１２を含み、ＨＥＶＣにより映像信号を符号化して、ＨＥＶＣストリームを出力する。符号化部８１２は、デコード画をＨＥＶＣフレームメモリ８０３へ出力する。モード判定部８１１は、ＨＥＶＣフレームメモリ８０３からデコード画を読み出し、読み出したデコード画を参照画像として用いる。
【００３８】
Ｈ２６４画像符号化装置８０２は、モード判定部８２１及び符号化部８２２を含み、Ｈ．２６４により映像信号を符号化して、Ｈ２６４ストリームを出力する。符号化部８２２は、デコード画をＨ２６４フレームメモリ８０４へ出力する。モード判定部８２１は、Ｈ２６４フレームメモリ８０４からデコード画を読み出し、読み出したデコード画を参照画像として用いる。
【００３９】
この場合、ＨＥＶＣストリーム及びＨ２６４ストリームの２種類の符号化ストリームを同時に出力するために、ＨＥＶＣ画像符号化装置８０１及びＨ２６４画像符号化装置８０２は、互いに独立に動作する。このため、符号化ストリーム毎に画像符号化装置及びフレームメモリが設けられ、画像符号化システムの回路規模が増加する。
【００４０】
また、ＨＥＶＣ及びＨ．２６４は、Ｈ．２６４よりも前の符号化アルゴリズムに比べて大きなサイズの画像を符号化することを想定している。例えば、ＨＥＶＣ及びＨ．２６４では、４Ｋ（３８４０×２１６０等）の画像を符号化することができ、ＨＥＶＣでは、最大８Ｋ（７６８０×４３２０等）の画像を符号化することができる。Ｈ．２６４よりも前の符号化アルゴリズムで扱われるＦｕｌｌＨＤ（１９２０×１０８０）に比べて、４Ｋは４倍、８Ｋは１６倍のサイズである。
【００４１】
このため、デコード画を記憶するフレームメモリの容量及びメモリアクセス帯域も、画像のサイズに比例して４倍又は１６倍に増加する。ＨＥＶＣ及びＨ．２６４の２種類の符号化を同時に行う場合、フレームメモリの容量及びメモリアクセス帯域がさらに倍増する。そこで、回路規模を削減するために、フレームメモリの制御を工夫することが望ましい。
【００４２】
図９は、デコード画を共用する画像符号化装置の構成例を示している。図９の画像符号化装置９０１は、符号化器９１１、符号化器９１２、変換部９１３、及びデコード画記憶部９１４を含む。
【００４３】
図１０は、図９の画像符号化装置９０１が行う画像符号化処理の例を示すフローチャートである。まず、符号化器９１１は、第１の符号化アルゴリズムで入力画像を符号化し（ステップ１００１）、生成した符号を復号したデコード画を、デコード画記憶部９１４に格納する（ステップ１００２）。
【００４４】
次に、変換部９１３は、複数のブロックに区分された入力画像のブロックの形状を変換する（ステップ１００３）。そして、符号化器９１２は、変換部９１３により変換されたブロックを、デコード画記憶部９１４が記憶するデコード画に基づいて、第１の符号化アルゴリズムとは異なる第２の符号化アルゴリズムで符号化する（ステップ１００４）。
【００４５】
このような画像符号化装置９０１によれば、画像を２種類の符号化アルゴリズムにより符号化する際のメモリの容量を削減することができる。
【００４６】
図１１は、図９の画像符号化装置９０１の第１の具体例を示している。図１１の画像符号化装置１１０１は、ＨＥＶＣ符号化器１１１１、Ｈ２６４符号化器１１１２、モード変換部１１１３、及びデコード画記憶部１１１４を含む。ＨＥＶＣ符号化器１１１１は、モード判定部１１２１及び符号化部１１２２を含み、Ｈ２６４符号化器１１１２は、モード判定部１１３１及び符号化部１１３２を含む。
【００４７】
ＨＥＶＣ符号化器１１１１、Ｈ２６４符号化器１１１２、モード変換部１１１３、及びデコード画記憶部１１１４は、図９の符号化器９１１、符号化器９１２、変換部９１３、及びデコード画記憶部９１４にそれぞれ対応する。
【００４８】
ＨＥＶＣ符号化器１１１１のモード判定部１１２１は、映像信号に対してＨＥＶＣのイントラ予測及びインター予測を行い、選択した予測モードを示すＨＥＶＣモード情報を符号化部１１２２へ出力する。また、モード判定部１１２１は、インター予測のモード情報をモード変換部１１１３へ出力するとともに、インター予測で用いたデコード画をデコード画記憶部１１１４へ出力する。モード変換部１１１３は、ＨＥＶＣのインター予測のモード情報をＨ．２６４のインター予測のモード情報に変換して、モード判定部１１３１へ出力する。
【００４９】
符号化部１１２２は、ＨＥＶＣモード情報に従ってＨＥＶＣにより符号化対象ブロックを符号化し、ＨＥＶＣストリームを出力する。このとき、符号化部１１２２は、生成したデコード画をフレームメモリ１１０２へ出力する。フレームメモリ１１０２は、デコード画を蓄積し、蓄積したデコード画を、別の画像に対するインター予測で用いる参照画像として、モード判定部１１２１へ出力する。
【００５０】
Ｈ２６４符号化器１１１２のモード判定部１１３１は、映像信号に対してＨ．２６４のイントラ予測を行い、イントラ予測ブロック画像を生成する。また、モード判定部１１３１は、モード変換部１１１３から受信したＨ．２６４のインター予測のモード情報に従って、デコード画記憶部１１１４からデコード画を読み出し、読み出したデコード画をインター予測ブロック画像として用いる。そして、モード判定部１１３１は、イントラ予測ブロック画像及びインター予測ブロック画像を用いて予測モードを選択し、選択した予測モードを示すＨ２６４モード情報を符号化部１１３２へ出力する。
【００５１】
符号化部１１３２は、Ｈ２６４モード情報に従ってＨ．２６４により符号化対象ブロックを符号化し、Ｈ２６４ストリームを出力する。
【００５２】
モード変換部１１１３及びデコード画記憶部１１１４を設けることで、ＨＥＶＣ符号化器１１１１からＨ２６４符号化器１１１２へ、インター予測のモード情報及びデコード画を転送することが可能になる。これにより、同じデコード画をＨＥＶＣ符号化器１１１１とＨ２６４符号化器１１１２とで共用することができるため、図８のＨ２６４フレームメモリ８０４が不要になる。
【００５３】
図１２は、図１１の画像符号化装置１１０１が行う画像符号化処理の第１の具体例を示すフローチャートである。まず、モード判定部１１２１は、ＨＥＶＣの予測モードを決定し、ＨＥＶＣモード情報を符号化部１１２２へ出力する（ステップ１２０１）。このとき、モード判定部１１２１は、インター予測でフレームメモリ１１０２から読み出したデコード画を、デコード画記憶部１１１４へ出力する。
【００５４】
デコード画記憶部１１１４は、例えば、デコード画を記憶するバッファであり、参照画像の枚数に対応するデコード画領域を含む。各デコード画領域の水平方向のサイズは、符号化対象画像の水平方向のサイズと同じであり、垂直方向のサイズは、ＣＴＵの垂直方向のサイズと同じである。モード判定部１１２１は、１ＣＴＵのインター予測が終了する度に、そのＣＴＵのインター予測でフレームメモリ１１０２から読み出したデコード画を、デコード画記憶部１１１４に書き込む。
【００５５】
図１３は、デコード画記憶部１１１４内のデコード画領域の例を示している。Ｋ枚の参照画像が用いられる場合、デコード画記憶部１１１４内にＫ個のデコード画領域１３０２が設けられる。符号化対象画像１３０１の水平方向のサイズがＨ１であり、ＣＴＵの形状が６４×６４である場合、デコード画領域１３０２の水平方向のサイズはＨ１であり、垂直方向のサイズは６４である。このようなデコード画記憶部１１１４を設けることで、ＨＥＶＣのＣＴＵのサイズ（６４×６４、３２×３２、又は１６×１６）と、Ｈ．２６４のＭＢのサイズ（１６×１６）との違いを吸収することができる。
【００５６】
次に、モード変換部１１１３は、ＨＥＶＣのインター予測のモード情報をＨ．２６４のインター予測のモード情報に変換する（ステップ１２０２）。このとき、モード変換部１１１３は、ＨＥＶＣの予測モードのうち、符号化効率が最も高いブロックの形状及び動きベクトルを、Ｈ．２６４で利用可能なブロックの形状及び動きベクトルに変換する。ただし、ＨＥＶＣとＨ．２６４とで許容されるブロックの形状の違いによって、ＨＥＶＣのブロックを単純に流用できない場合は、モード変換部１１１３は、Ｈ．２６４で利用可能なブロックに適宜変換する。
【００５７】
図１４は、モード変換部１１１３が行うモード変換処理の例を示している。ＨＥＶＣのＣＴＵ１４０１内の各ＰＵの形状に応じて、各ＰＵがＨ．２６４のＭＢ１４１１として流用されるか、又は複数のＭＢ１４１１に分割される。そして、各ＰＵの動きベクトル１４２１に応じて、各ＭＢの動きベクトル１４３１が決定される。
【００５８】
図１５〜図２０は、ＰＵとＭＢの対応関係の例を示している。図１５〜図２０を参照しながら、ブロックの形状の変換方法について説明する。
【００５９】
（Ａ）ＨＥＶＣのＰＵをＨ．２６４のＭＢで流用可能な場合
例えば、図１５に示すように、ＰＵが１６×１６である場合、モード変換部１１１３は、ＰＵを１６×１６のＭＢとして流用し、ＰＵの動きベクトルをＭＢの動きベクトルとして流用する。
【００６０】
（Ｂ）ＨＥＶＣのＰＵがＨ．２６４のＭＢよりも大きい場合
この場合、モード変換部１１１３は、ＰＵを複数のＭＢに分割し、各ＭＢに同一の動きベクトルを与える。例えば、図１６に示すように、ＰＵが３２×３２である場合、モード変換部１１１３は、ＰＵを１６×１６の４個のＭＢに分割し、ＰＵの動きベクトルを各ＭＢの動きベクトルとして流用する。
【００６１】
（Ｃ）ＨＥＶＣのＰＵが８×４又は４×８である場合
ＨＥＶＣでは、８×４又は４×８のＰＵに対して、各ＰＵに対して異なる参照画像を設定することができるが、Ｈ．２６４では、各ＳｕｂＭＢに対して異なる参照画像の設定が許容されていない。
【００６２】
そこで、図１７に示すように、４×８のＰＵ０及びＰＵ１がそれぞれ異なる参照画像を参照している場合、モード変換部１１１３は、各ＰＵの符号化誤差を比較し、誤差の小さい方のＰＵが参照する参照画像及び動きベクトルを採用する。この例では、モード変換部１１１３は、ＰＵ０及びＰＵ１を統合して８×８のＭＢを生成し、ＰＵ０の動きベクトルをＭＢの動きベクトルとして流用する。
【００６３】
一方、図１８に示すように、ＰＵ０及びＰＵ１が同じ参照画像を参照している場合、モード変換部１１１３は、ＰＵ０及びＰＵ１を２個のＳｕｂＭＢとして流用し、ＰＵ０及びＰＵ１の動きベクトルをそれらのＳｕｂＭＢの動きベクトルとして流用する。
【００６４】
（Ｄ）ＨＥＶＣのＰＵが非対称な形状であり、ＭＢ内にＰＵの境界が存在する場合
ＰＵが１６×４、１６×１２、４×１６、又は１２×１６である場合、ＰＵの形状は非対称である。例えば、図１９に示すように、ＰＵ０が１２×１６、ＰＵ１が４×１６であり、ＰＵ０及びＰＵ１がそれぞれ異なる参照画像を参照している場合を想定する。この場合、モード変換部１１１３は、各ＰＵの符号化誤差を比較し、誤差の小さい方のＰＵが参照する参照画像及び動きベクトルを採用する。この例では、モード変換部１１１３は、ＰＵ０及びＰＵ１を統合して１６×１６のＭＢを生成し、ＰＵ０の動きベクトルをＭＢの動きベクトルとして流用する。
【００６５】
一方、図２０に示すように、ＰＵ０及びＰＵ１が同じ参照画像を参照している場合、モード変換部１１１３は、ＰＵを８×８の４個のＭＢに分割し、ＭＢ内にＰＵの境界が存在する場合、そのＭＢをさらに４×８の２個のＳｕｂＭＢに分割する。そして、モード変換部１１１３は、ＰＵ０の動きベクトルを、８×８の２個のＭＢと４×８の２個のＳｕｂＭＢの動きベクトルとして流用し、ＰＵ１の動きベクトルを、残りの４×８の２個のＳｕｂＭＢの動きベクトルとして流用する。これにより、ＰＵの境界がそのままＳｕｂＭＢの境界として利用される。
【００６６】
図１５〜図２０の対応関係を含む、すべてのＰＵとＭＢの対応関係をまとめると、以下のようになる。
（１）ＰＵが６４×６４である場合
（Ｂ）と同様に、ＰＵが１６個の１６×１６のＭＢに変換される。
（２）ＰＵが３２×３２である場合
（Ｂ）と同様に、ＰＵが４個の１６×１６のＭＢに変換される。
（３）ＰＵが３２×１６である場合
（Ｂ）と同様に、ＰＵが２個の１６×１６のＭＢに変換される。
（４）ＰＵが１６×３２である場合
（Ｂ）と同様に、ＰＵが２個の１６×１６のＭＢに変換される。
（５）ＰＵが３２×２４である場合
（Ｂ）と同様に、ＰＵが４個の１６×１６のＭＢに変換され、１６×１６のＭＢ内にＰＵの境界が存在する場合、そのＭＢが１６×８のＭＢに変更される。
（６）ＰＵが３２×８である場合
（Ｂ）と同様に、ＰＵが２個の１６×１６のＭＢに変換され、１６×１６のＭＢ内にＰＵの境界が存在するため、各ＭＢが１６×８のＭＢに変更される。
（７）ＰＵが２４×３２である場合
（Ｂ）と同様に、ＰＵが４個の１６×１６のＭＢに変換され、１６×１６のＭＢ内にＰＵの境界が存在する場合、そのＭＢが８×１６のＭＢに変更される。
（８）ＰＵが８×３２である場合
（Ｂ）と同様に、ＰＵが２個の１６×１６のＭＢに変換され、１６×１６のＭＢ内にＰＵの境界が存在するため、各ＭＢが８×１６のＭＢに変更される。
（９）ＰＵが１６×１６である場合
（Ａ）と同様に、ＰＵが１６×１６のＭＢに変換される。
（１０）ＰＵが１６×８である場合
（Ａ）と同様に、ＰＵが１６×８のＭＢに変換される。
（１１）ＰＵが８×１６である場合
（Ａ）と同様に、ＰＵが８×１６のＭＢに変換される。
（１２）ＰＵが８×８である場合
（Ａ）と同様に、ＰＵが８×８のＭＢに変換される。
（１３）ＰＵが８×４である場合
（Ｃ）と同様に、ＰＵが８×８のＭＢ又は８×４のＳｕｂＭＢに変換される。２個のＰＵの参照画像が異なる場合、８×８のＭＢが採用され、誤差の小さい方のＰＵが参照する参照画像及び動きベクトルが採用される。
（１４）ＰＵが４×８である場合
（Ｃ）と同様に、ＰＵが８×８のＭＢ又は４×８のＳｕｂＭＢに変換される。２個のＰＵの参照画像が異なる場合、８×８のＭＢが採用され、誤差の小さい方のＰＵが参照する参照画像及び動きベクトルが採用される。
（１５）ＰＵが１６×４である場合
（Ｄ）と同様に、ＰＵが１６×１６のＭＢ、８×８のＭＢ、又は８×４のＳｕｂＭＢに変換される。２個のＰＵの参照画像が異なる場合、１６×１６のＭＢが採用され、誤差の小さい方のＰＵが参照する参照画像及び動きベクトルが採用される。
（１６）ＰＵが１６×１２である場合
（Ｄ）と同様に、ＰＵが１６×１６のＭＢ、８×８のＭＢ、又は８×４のＳｕｂＭＢに変換される。２個のＰＵの参照画像が異なる場合、１６×１６のＭＢが採用され、誤差の小さい方のＰＵが参照する参照画像及び動きベクトルが採用される。
（１７）ＰＵが４×１６である場合
（Ｄ）と同様に、ＰＵが１６×１６のＭＢ、８×８のＭＢ、又は４×８のＳｕｂＭＢに変換される。２個のＰＵの参照画像が異なる場合、１６×１６のＭＢが採用され、誤差の小さい方のＰＵが参照する参照画像及び動きベクトルが採用される。
（１８）ＰＵが１２×１６である場合
（Ｄ）と同様に、ＰＵが１６×１６のＭＢ、８×８のＭＢ、又は４×８のＳｕｂＭＢに変換される。２個のＰＵの参照画像が異なる場合、１６×１６のＭＢが採用され、誤差の小さい方のＰＵが参照する参照画像及び動きベクトルが採用される。
【００６７】
次に、モード判定部１１３１は、Ｈ．２６４の予測モードを決定する（ステップ１２０３）。このとき、モード判定部１１３１は、インター予測を実施せずに、モード変換部１１１３から受信したＨ．２６４のインター予測のモード情報を利用する。
【００６８】
図２１は、モード判定部１１３１の構成例を示している。図２１のモード判定部１１３１は、イントラ予測部２１０１及び選択部２１０２を含む。イントラ予測部２１０１は、符号化対象ブロックの周辺画素の画素値から、イントラ予測ブロック画像を生成する。そして、選択部２１０２は、符号化対象ブロックとイントラ予測ブロック画像との差分を表す予測誤差信号を生成する。
【００６９】
また、選択部２１０２は、モード変換部１１１３から受信したＨ．２６４のインター予測のモード情報に従って、デコード画記憶部１１１４からデコード画を読み出し、読み出したデコード画をインター予測ブロック画像として用いる。そして、選択部２１０２は、符号化対象ブロックとインター予測ブロック画像との差分を表す予測誤差信号を生成する。
【００７０】
図２２は、デコード画を読み出す処理の例を示している。選択部２１０２は、符号化対象画像１３０１内の符号化対象ブロックであるＭＢ２２０１のモード情報が示す参照画像のデコード画領域１３０２から、ＭＢ２２０１の動きベクトルが指す領域のデコード画２２０２を読み出す。そして、選択部２１０２は、ＭＢ２２０１とデコード画２２０２との差分を表す予測誤差信号を生成する。
【００７１】
そして、選択部２１０２は、イントラ予測及びインター予測のうち、符号化誤差が小さい方の予測モードを選択して、符号化対象ブロックのＨ２６４モード情報を生成し、符号化部１１３２へ出力する。
【００７２】
次に、符号化部１１２２は、ＨＥＶＣモード情報に従って符号化対象ブロックを符号化し、ＨＥＶＣストリームを出力する（ステップ１２０４）。このとき、符号化部１１２２は、生成したデコード画をフレームメモリ１１０２へ出力する。
【００７３】
次に、符号化部１１３２は、Ｈ２６４モード情報に従って符号化対象ブロックを符号化し、Ｈ２６４ストリームを出力する（ステップ１２０５）。ただし、モード判定部１１３１はＨ．２６４のデコード画を参照する必要がないため、符号化部１１３２は、生成したデコード画をフレームメモリ１１０２へ出力しない。
【００７４】
このような画像符号化処理によれば、ステップ１２０２において、ＨＥＶＣのインター予測のモード情報がＨ．２６４のインター予測に流用され、ステップ１２０３において、デコード画記憶部１１１４からデコード画が読み出される。これにより、ステップ１２０３において、フレームメモリ１１０２からデコード画を読み出す必要がなくなり、ステップ１２０５において、デコード画をフレームメモリ１１０２に書き込む必要がなくなる。Ｈ．２６４のデコード画を記憶する必要がなくなることで、フレームメモリ１１０２の容量及びメモリアクセス帯域を約５０％削減することができる。
【００７５】
なお、画像符号化装置１１０１は、ＨＥＶＣ及びＨ．２６４以外の符号化アルゴリズムを用いることも可能である。この場合、ステップ１２０２において、モード変換部１１１３は、符号化アルゴリズムに応じてインター予測のモード情報を変換する。
【００７６】
ところで、画像符号化装置１１０１では、ＨＥＶＣのデコード画をＨ．２６４のデコード画として流用することで、フレームメモリ１１０２の容量を削減している。この方法では、ＨＥＶＣ及びＨ．２６４により映像信号を同時に符号化する場合に、２種類の符号化アルゴリズムで用いるデコード画がほぼ同等であることを想定している。
【００７７】
しかし、ＨＥＶＣとＨ．２６４の符号化条件によって、デコード画に無視できない差分が発生する場合、Ｈ．２６４のデコード画と、ＨＥＶＣのデコード画を流用したＨ２６４ストリームとの間に差分が発生する。このため、Ｈ２６４ストリームを復号した映像の画質が低下する可能性がある。
【００７８】
そこで、ＨＥＶＣのデコード画とＨ．２６４のデコード画との差分を表す差分画像を保存しておき、差分画像を用いてＨＥＶＣのデコード画からＨ．２６４のデコード画を生成する方法が考えられる。これにより、Ｈ２６４ストリームの画質の低下を防止することができる。
【００７９】
図２３は、このような差分画像を用いる、図９の画像符号化装置９０１の第２の具体例を示している。図２３の画像符号化装置２３０１は、ＨＥＶＣ符号化器２３１１、Ｈ２６４符号化器２３１２、モード変換部２３１３、及びデコード画記憶部２３１４を含む。画像符号化装置２３０１は、さらに、加算器２３１５、減算器２３１６、差分復号器２３１７、量子化情報記憶部２３１８、差分符号化器２３１９、及び差分画像記憶部２３２０を含む。ＨＥＶＣ符号化器２３１１は、モード判定部２３２１及び符号化部２３２２を含み、Ｈ２６４符号化器２３１２は、モード判定部２３３１及び符号化部２３３２を含む。
【００８０】
ＨＥＶＣ符号化器２３１１、Ｈ２６４符号化器２３１２、モード変換部２３１３、及びデコード画記憶部２３１４は、図９の符号化器９１１、符号化器９１２、変換部９１３、及びデコード画記憶部９１４にそれぞれ対応する。
【００８１】
モード判定部２３２１、符号化部２３２２、モード判定部２３３１、及び符号化部２３３２の動作は、図１１のモード判定部１１２１、符号化部１１２２、モード判定部１１３１、及び符号化部１１３２の動作と同様である。モード変換部２３１３及びデコード画記憶部２３１４の動作は、図１１のモード変換部１１１３及びデコード画記憶部１１１４の動作と同様である。
【００８２】
図２４は、図２３の差分符号化器２３１９の構成例を示している。図２４の差分符号化器２３１９は、変換部２４０１及び符号化部２４０２を含む。減算器２３１６は、符号化部２３３２が生成するデコード画であるＨ２６４デコード画から、符号化部２３２２が生成するデコード画であるＨＥＶＣデコード画を減算して、それらの差分を表す差分画像を生成する。
【００８３】
ＨＥＶＣ符号化器２３１１とＨ２６４符号化器２３１２には同じ映像信号が入力されるため、差分画像の情報量は小さいことが期待されるが、ＨＥＶＣとＨ．２６４の符号化条件の違いによって、その情報量が大きくなることも想定される。そこで、差分符号化器２３１９は、差分画像に対して周波数変換、量子化、及び符号化を実施することで、差分画像をさらに圧縮する。
【００８４】
変換部２４０１は、差分画像に対して周波数変換及び量子化を行うことで、圧縮係数を生成し、量子化に用いた量子化パラメータを量子化情報記憶部２３１８へ出力する。量子化情報記憶部２３１８は、量子化パラメータを記憶する。符号化部２４０２は、変換部２４０１が生成した圧縮係数を符号化して、差分符号を生成し、差分画像記憶部２３２０へ出力する。差分画像記憶部２３２０は、差分符号を記憶する。
【００８５】
変換部２４０１は、例えば、８×８の領域に対する離散コサイン変換（ＤＣＴ）と、ＱＰ値をステップとする線形量子化とを用いて、周波数変換及び量子化を行うことができる。符号化部２４０２は、例えば、ハフマン符号化により圧縮係数を符号化することができる。この場合、線形量子化、ハフマン符号化、及び差分画像記憶部２３２０に対する書き込みは、ＤＣＴと同様に、８×８の領域を単位として行われ、量子化情報記憶部２３１８は、線形量子化で用いたＱＰ値を量子化パラメータとして記憶する。
【００８６】
図２５は、量子化情報記憶部２３１８及び差分画像記憶部２３２０の例を示している。映像に含まれる複数の画像のうち符号化対象画像２５０１が８×８の領域に分割され、領域毎に差分符号が生成されて、符号化対象画像２５０１の左上の領域からラスタ順に差分画像記憶部２３２０に書き込まれる。例えば、領域２５０２−１〜領域２５０２−３の差分符号は、差分画像記憶部２３２０内の領域２５０３−１〜領域２５０３−３にそれぞれ書き込まれる。
【００８７】
変換部２４０１は、各領域の線形量子化に用いたＱＰ値を量子化情報記憶部２３１８へ出力し、符号化部２４０２は、差分画像記憶部２３２０内で差分符号が書き込まれた領域のアドレスを、量子化情報記憶部２３１８へ出力する。
【００８８】
量子化情報記憶部２３１８は、例えば、ルックアップテーブルであり、入力及び出力の欄を含む。入力は、ＩＤ、垂直位置、及び水平位置を含み、出力は、アドレス及びＱＰ値を含む。ＩＤは、符号化対象画像２５０１の識別情報を表し、垂直位置は、符号化対象画像２５０１内における各領域の垂直方向の位置を表し、水平位置は、符号化対象画像２５０１内における各領域の水平方向の位置を表す。アドレスは、符号化部２４０２から受信したアドレスであり、ＱＰ値は、変換部２４０１から受信したＱＰ値である。
【００８９】
量子化情報記憶部２３１８は、ＩＤ、垂直位置、及び水平位置から一意に決まるキーと対応付けて、アドレス及びＱＰ値を記憶する。例えば、領域２５０２−２のＩＤ、垂直位置、及び水平位置は、それぞれ、０、０、及び１であり、アドレス及びＱＰ値は、それぞれ、０ｘ００００００１０及び３２である。
【００９０】
図２６は、図２３の差分復号器２３１７の構成例を示している。図２６の差分復号器２３１７は、復号部２６０１及び逆変換部２６０２を含む。復号部２６０１は、モード判定部２３３１から要求される参照画像のＩＤと、参照画像内の参照領域の垂直位置及び水平位置とを、キーとして用いて、量子化情報記憶部２３１８からアドレスを読み出す。そして、復号部２６０１は、参照領域のアドレスとその次の領域のアドレスとの差分を計算し、差分符号の読み出し量を決定する。
【００９１】
例えば、符号化対象画像２５０１が参照画像として用いられ、参照領域が領域２５０２−２である場合、対応するアドレスは０ｘ００００００１０であり、その次の領域２５０２−３に対応するアドレスは、０ｘ００００００２８である。そこで、０ｘ００００００２８から０ｘ００００００１０を減算することで、読み出し量０ｘ００００００１８が求められる。
【００９２】
次に、復号部２６０１は、参照領域に対応する差分画像記憶部２３２０内のアドレスから、読み出し量に対応する差分符号を読み出し、その差分符号を復号することで、圧縮係数を生成する。
【００９３】
逆変換部２６０２は、参照画像のＩＤと参照領域の垂直位置及び水平位置とを、キーとして用いて、量子化情報記憶部２３１８からＱＰ値を読み出す。そして、逆変換部２６０２は、復号部２６０１が生成した圧縮係数に対して、読み出したＱＰ値を用いて逆量子化及び逆周波数変換を行うことで、差分画像を生成する。加算器２３１５は、デコード画記憶部２３１４から読み出したＨＥＶＣデコード画に、差分画像を加算して、Ｈ２６４デコード画を生成し、モード判定部２３３１へ出力する。
【００９４】
なお、モード判定部２３３１から要求された参照領域が８×８の領域の境界を跨いでいる場合、復号部２６０１は、その参照領域を包含する範囲の複数の領域の差分符号を読み出して復号する。そして、逆変換部２６０２は、それらの領域の圧縮係数に対して逆量子化及び逆周波数変換を行い、変換結果から参照領域に対応する部分を抽出することで、差分画像を生成する。
【００９５】
図２７は、複数の領域に跨る参照領域の例を示している。モード判定部２３３１から参照画像２７０１内の参照領域２７１１が要求された場合、参照領域２７１１を包含する範囲２７１２内の４つの領域の差分符号が差分画像記憶部２３２０から読み出される。そして、それらの領域の差分符号を用いて、参照領域２７１１のＨ２６４デコード画が生成される。
【００９６】
図２３の画像符号化装置２３０１によれば、ＨＥＶＣデコード画とＨ２６４デコード画との差分を表す差分画像を生成することで、差分画像記憶部２３２０の容量の増加を抑制することができる。また、差分画像を圧縮して差分画像記憶部２３２０に書き込み、差分画像記憶部２３２０から読み出した差分符号を、圧縮時の量子化パラメータを用いて逆量子化することで、差分画像記憶部２３２０の容量をさらに削減することができる。
【００９７】
これにより、図１１の画像符号化装置１１０１と同様に、Ｈ２６４デコード画を記憶するためのメモリ容量とフレームメモリ１１０２のメモリアクセス帯域とを削減しながら、Ｈ２６４ストリームの画質の低下を防止することができる。この場合、差分画像記憶部２３２０とフレームメモリ１１０２とを合わせて、最大５０％のメモリアクセス帯域が削減される。
【００９８】
図２８は、図２３の画像符号化装置２３０１が行う画像符号化処理の第２の具体例を示すフローチャートである。図２８のステップ２８０１、ステップ２８０２、及びステップ２８０４〜ステップ２８０６の処理は、図１２のステップ１２０１〜ステップ１２０５の処理と同様である。
【００９９】
ステップ２８０３において、モード判定部２３３１は、モード変換部１１１３から受信したＨ．２６４のインター予測のモード情報に従って、参照画像のＩＤと参照画像内の参照領域の垂直位置及び水平位置とを、差分復号器２３１７へ出力する。差分復号器２３１７は、モード判定部２３３１から受信したＩＤ、垂直位置、及び水平位置に対応する差分符号を復号して、差分画像を生成する。そして、加算器２３１５は、ＨＥＶＣデコード画に差分画像を加算して、Ｈ２６４デコード画を生成し、生成したＨ２６４デコード画を参照画像としてモード判定部２３３１へ出力する。
【０１００】
ステップ２８０７において、減算器２３１６は、Ｈ２６４デコード画からＨＥＶＣデコード画を減算して、差分画像を生成する。差分符号化器２３１９は、差分画像を符号化して差分符号を生成し、生成した差分符号を差分画像記憶部２３２０へ出力する。
【０１０１】
図２３の差分復号器２３１７及び差分符号化器２３１９の代わりに、ＨＥＶＣ符号化器２３１１内の符号化部２３２２を用いることも可能である。この場合、符号化部２３２２内にＨＥＶＣ符号化、差分画像符号化、又は差分符号復号のいずれかの動作モードを選択するセレクタを設けることで、符号化部２３２２の回路を利用して、差分画像の符号化及び差分符号の復号を行うことができる。
【０１０２】
図２９は、ＨＥＶＣ符号化器内の回路を共用する、図９の画像符号化装置９０１の第３の具体例を示している。図２９の画像符号化装置２９０１は、ＨＥＶＣ符号化器２９１１、Ｈ２６４符号化器２９１２、モード変換部２９１３、及びデコード画記憶部２９１４、量子化情報記憶部２９１５、及び差分画像記憶部２９１６を含む。ＨＥＶＣ符号化器２９１１は、モード判定部２９２１及び符号化部２９２２を含み、Ｈ２６４符号化器２９１２は、モード判定部２９３１及び符号化部２９３２を含む。
【０１０３】
ＨＥＶＣ符号化器２９１１、Ｈ２６４符号化器２９１２、モード変換部２９１３、及びデコード画記憶部２９１４は、図９の符号化器９１１、符号化器９１２、変換部９１３、及びデコード画記憶部９１４にそれぞれ対応する。
【０１０４】
モード判定部２９２１、モード判定部２９３１、及び符号化部２９３２の動作は、図２３のモード判定部２３２１、モード判定部２３３１、及び符号化部２３３２の動作と同様である。モード変換部２９１３、デコード画記憶部２９１４、量子化情報記憶部２９１５、及び差分画像記憶部２９１６の動作は、図２３のモード変換部２３１３、デコード画記憶部２３１４、量子化情報記憶部２３１８、及び差分画像記憶部２３２０の動作と同様である。
【０１０５】
図３０は、図２９の符号化部２９２２の構成例を示している。図３０の符号化部２９２２は、セレクタ３００２〜セレクタ３００７、変換部３００８、符号化部３００９、逆変換部３０１０、復号部３０１１、制御部３０１２、及び制御部３０１３を含む。モード判定部２９２１は、ＨＥＶＣモード情報を出力するとともに、イントラ予測ブロック画像又はインター予測ブロック画像をＨＥＶＣ参照画像として出力する。
【０１０６】
セレクタ３００２は、モード判定部２９２１が出力するＨＥＶＣ参照画像、又は符号化部２９３２が出力するＨ２６４デコード画を選択して、変換部３００８へ出力する。セレクタ３００３は、映像信号、デコード画記憶部２９１４が出力するＨＥＶＣデコード画、又は逆変換部３０１０が出力するデコード画を選択して、変換部３００８へ出力する。
【０１０７】
変換部３００８は、セレクタ３００２が出力する信号とセレクタ３００３が出力する信号との差分を表す誤差信号を生成する。そして、変換部３００８は、誤差信号に対して周波数変換及び量子化を行うことで、圧縮係数を生成し、量子化で用いたＱＰ値をセレクタ３００４及び制御部３０１３へ出力する。符号化部３００９は、圧縮係数を符号化することで、符号化ビット列を生成する。セレクタ３００６は、符号化部３００９が生成した符号化ビット列を、ＨＥＶＣストリームとして出力するか又は制御部３０１３へ出力する。
【０１０８】
セレクタ３００４は、変換部３００８が出力するＱＰ値又は制御部３０１２が出力するＱＰ値を選択して、逆変換部３０１０へ出力する。セレクタ３００５は、変換部３００８が出力する圧縮係数又は復号部３０１１が出力する圧縮係数を選択して、逆変換部３０１０へ出力する。
【０１０９】
逆変換部３０１０は、セレクタ３００５が出力する圧縮係数に対して、セレクタ３００４が出力するＱＰ値を用いて逆量子化及び逆周波数変換を行うことで、再構成誤差信号を生成する。そして、逆変換部３０１０は、セレクタ３００３が出力する信号と再構成誤差信号とを加算することで、デコード画を生成し、セレクタ３００３及びセレクタ３００７へ出力する。セレクタ３００７は、逆変換部３０１０が出力するデコード画を、モード変換部２９１３又はフレームメモリ１１０２へ出力する。
【０１１０】
制御部３０１３は、セレクタ３００６が出力する符号化ビット列を、差分符号として差分画像記憶部２９１６に書き込み、書き込んだ差分符号のアドレスと、変換部３００８が出力するＱＰ値とを、量子化情報記憶部２９１５に書き込む。
【０１１１】
制御部３０１２は、量子化情報記憶部２９１５からアドレス及びＱＰ値を読み出し、読み出したアドレスを用いて、差分画像記憶部２９１６から差分符号を読み出す。そして、制御部３０１２は、読み出したＱＰ値をセレクタ３００４へ出力し、読み出した差分符号を復号部３０１１へ出力する。復号部３０１１は、差分符号を復号して圧縮係数を生成し、生成した圧縮係数をセレクタ３００５へ出力する。
【０１１２】
セレクタ３００２〜セレクタ３００７、制御部３０１２、及び制御部３０１３は、動作モード選択信号に従って、ＨＥＶＣ符号化、差分画像符号化、又は差分符号復号のいずれかの動作モードで動作する。
【０１１３】
ＨＥＶＣ符号化において、制御部３０１２及び制御部３０１３は動作を停止する。セレクタ３００２は、ＨＥＶＣ参照画像を選択し、セレクタ３００３は、映像信号を選択する。セレクタ３００４は、変換部３００８が出力するＱＰ値を選択し、セレクタ３００５は、変換部３００８が出力する圧縮係数を選択する。
【０１１４】
これにより、変換部３００８は、ＨＥＶＣモード情報に従って、ＨＥＶＣ参照画像と映像信号との差分を表す予測誤差信号を生成し、予測誤差信号からＨＥＶＣの圧縮係数を生成する。セレクタ３００６は、符号化部３００９が生成した符号化ビット列を、ＨＥＶＣストリームとして出力する。
【０１１５】
また、逆変換部３０１０は、変換部３００８が出力する圧縮係数に対して、変換部３００８が出力するＱＰ値を用いて逆量子化及び逆周波数変換を行うことで、再構成予測誤差信号を生成する。そして、逆変換部３０１０は、映像信号と再構成予測誤差信号とを加算することで、デコード画を生成し、セレクタ３００３及びセレクタ３００７へ出力する。セレクタ３００７は、逆変換部３０１０が出力するデコード画を、ＨＥＶＣデコード画としてフレームメモリ１１０２へ出力する。
【０１１６】
差分画像符号化において、セレクタ３００４、セレクタ３００５、及び制御部３０１２は動作を停止する。セレクタ３００２は、Ｈ２６４デコード画を選択し、セレクタ３００３は、逆変換部３０１０が出力するデコード画を選択する。
【０１１７】
これにより、変換部３００８は、Ｈ２６４デコード画と、ＨＥＶＣ符号化において生成されたデコード画との差分を表す誤差信号を生成し、誤差信号から差分画像の圧縮係数を生成する。そして、変換部３００８は、量子化で用いたＱＰ値を制御部３０１３へ出力する。セレクタ３００６は、符号化部３００９が生成した符号化ビット列を、制御部３０１３へ出力する。
【０１１８】
制御部３０１３は、セレクタ３００６が出力する符号化ビット列を、差分符号として差分画像記憶部２９１６に書き込み、書き込んだ差分符号のアドレスと、変換部３００８が出力するＱＰ値とを、量子化情報記憶部２９１５に書き込む。
【０１１９】
差分符号復号において、セレクタ３００２及び制御部３０１３は動作を停止する。制御部３０１２は、量子化情報記憶部２９１５から読み出したＱＰ値をセレクタ３００４へ出力し、差分画像記憶部２９１６から読み出した差分符号を復号部３０１１へ出力する。復号部３０１１は、差分符号から生成した圧縮係数をセレクタ３００５へ出力する。
【０１２０】
セレクタ３００３は、デコード画記憶部２９１４が出力するＨＥＶＣデコード画を選択し、セレクタ３００４は、制御部３０１２が出力するＱＰ値を選択し、セレクタ３００５は、復号部３０１１が出力する圧縮係数を選択する。
【０１２１】
これにより、逆変換部３０１０は、復号部３０１１が出力する圧縮係数に対して、制御部３０１２が出力するＱＰ値を用いて逆量子化及び逆周波数変換を行うことで、再構成誤差信号を生成する。そして、逆変換部３０１０は、ＨＥＶＣデコード画と再構成誤差信号とを加算することで、デコード画を生成する。セレクタ３００７は、逆変換部３０１０が生成したデコード画を、Ｈ２６４デコード画としてモード変換部２９１３へ出力する。モード変換部２９１３は、受信したＨ２６４デコード画をモード判定部２９３１へ出力する。
【０１２２】
図２９の画像符号化装置２９０１によれば、符号化部２９２２がＨＥＶＣ符号化、差分画像符号化、及び差分符号復号で共用されるため、差分画像の符号化及び復号のための回路の増加を抑制することができる。
【０１２３】
図２３の差分符号化器２３１９による差分画像の符号化において、圧縮率を高くすると、差分画像記憶部２３２０に対するメモリアクセスのアクセス量が削減される。しかし、差分画像の情報欠落によってＨ．２６４デコード画の再現性が低下し、Ｈ２６４ストリームの画質が低下する。一方、圧縮率を低くすると、画質の低下は抑えられるものの、差分画像記憶部２３２０に対するアクセス量が増加する。差分画像記憶部２３２０のメモリアクセス帯域の許容値が決まっている場合、許容値の範囲内でアクセス量及び画質を最適化することが望ましい。
【０１２４】
図３１は、アクセス量及び画質を最適化するレート制御部の例を示している。図３１のレート制御部３１０１、スイッチ３１０２、及びスイッチ３１０３は、図２３の画像符号化装置２３０１内に設けられる。
【０１２５】
スイッチ３１０２は、差分符号化器２３１９と差分画像記憶部２３２０との間に設けられる。スイッチ３１０２がＯＮのとき、差分符号化器２３１９が差分符号を差分画像記憶部２３２０に書き込む書き込み動作が許容され、スイッチ３１０２がＯＦＦのとき、書き込み動作が禁止される。
【０１２６】
また、スイッチ３１０３は、差分画像記憶部２３２０と差分復号器２３１７との間に設けられる。スイッチ３１０３がＯＮのとき、差分復号器２３１７が差分画像記憶部２３２０から差分符号を読み出す読み出し動作が許容され、スイッチ３１０３がＯＦＦのとき、読み出し動作が禁止される。
【０１２７】
レート制御部３１０１は、書き込み動作において発生する書き込み情報量と、読み出し動作において発生する読み出し情報量と、目標情報量とに基づいて、差分画像を符号化する際の圧縮率を制御する。符号化部２４０２は、差分画像の符号化において発生する累積発生情報量をレート制御部３１０１へ出力し、復号部２６０１は、差分符号の復号において発生する累積発生情報量をレート制御部３１０１へ出力する。
【０１２８】
レート制御部３１０１は、符号化部２４０２及び復号部２６０１が出力する累積発生情報量の和Ｈｏと、目標情報量Ｈｔとを比較し、ＨｏがＨｔに追従するように、変換部２４０１のＱＰ値を制御する。レート制御部３１０１は、例えば、周波数変換の対象である変換対象領域のＱＰ値（ＱＰ）を、１つ前に変換した領域のＱＰ値（ＱＰ’）に基づいて、次式により決定することができる。
ＱＰ＝ＱＰ’−１  （Ｈｏ＜Ｈｔ）      （１）
ＱＰ＝ＱＰ’      （Ｈｏ＝Ｈｔ）      （２）
ＱＰ＝ＱＰ’＋１  （Ｈｏ＞Ｈｔ）      （３）
【０１２９】
変換対象領域としては、例えば、図２５に示した８×８の領域を用いることができる。また、ＱＰ’の初期値ＱＰｉｎｉｔは、初期パラメータとして設定されている。
【０１３０】
図３２は、累積発生情報量の例を示している。図３２の直線３２０１は、目標情報量Ｈｔの上限値を表し、直線３２０２は、目標情報量Ｈｔの時間変化を表し、折れ線３２０３は、累積発生情報量の和Ｈｏの時間変化を表す。
【０１３１】
レート制御部３１０１は、現在時刻においてＨｏがＨｔよりも小さいため、差分画像記憶部２３２０のメモリアクセス帯域に余裕があると判定し、ＱＰ値を１だけデクリメントして、圧縮率を低くする。これにより、差分符号の書き込み情報量が増加し、Ｈ．２６４デコード画の再現性が向上する。
【０１３２】
一方、現在時刻においてＨｏがＨｔよりも大きい場合、レート制御部３１０１は、差分画像記憶部２３２０のメモリアクセス帯域に余裕がないと判定し、ＱＰ値を１だけインクリメントして、圧縮率を高くする。これにより、差分符号の書き込み情報量が減少し、差分画像記憶部２３２０に対するアクセス量が抑えられる。
【０１３３】
レート制御部３１０１は、書き込み情報量が所定値よりも小さい場合、書き込み動作をスキップすることも可能である。この場合、符号化部２４０２は、変換対象領域の符号化において発生する発生情報量Ｈをレート制御部３１０１へ出力する。
【０１３４】
発生情報量Ｈが十分に小さい場合、差分画像の情報量が小さい、すなわち、ＨＥＶＣデコード画とＨ．２６４デコード画との差分が小さいと判定することができる。そこで、レート制御部３１０１は、発生情報量Ｈが所定値よりも小さい場合、スイッチ３１０２をＯＦＦに設定することで、書き込み動作をスキップする。これにより、差分画像記憶部２３２０に対するアクセス量がさらに削減される。
【０１３５】
レート制御部３１０１は、書き込み動作をスキップした場合、読み出し動作もスキップすることができる。この場合、レート制御部３１０１は、読み出し動作をスキップすることを示すスキップ情報を、変換部２４０１へ出力し、変換部２４０１は、そのスキップ情報を量子化情報記憶部２３１８へ出力する。
【０１３６】
図３３は、スキップ情報の例を示している。符号化対象画像２５０１内の領域２５０２−２に対する発生情報量Ｈが所定値よりも小さい場合、差分画像記憶部２３２０内の領域２５０２−２に対する差分符号の書き込みがスキップされる。そして、レート制御部３１０１は、ＱＰ値“０”を、スキップ情報として変換部２４０１へ出力し、変換部２４０１は、領域２５０２−２に対応する量子化情報記憶部２３１８のＱＰ値に“０”を書き込む。
【０１３７】
逆変換部２６０２は、量子化情報記憶部２３１８から読み出したＱＰ値が“０”である場合、書き込み動作がスキップされたと判定して、スイッチ３１０３をＯＦＦに設定することで、差分画像記憶部２３２０に対する読み出し動作をスキップする。そして、逆変換部２６０２は、差分０を表す信号を加算器２３１５へ出力し、加算器２３１５は、ＨＥＶＣデコード画をそのままＨ．２６４デコード画として出力する。
【０１３８】
レート制御部３１０１は、書き込み情報量と読み出し情報量との累積値が上限値に達した場合、書き込み動作及び読み出し動作を禁止することも可能である。これにより、発生情報量が想定よりも多い場合に、アクセス量の許容値を超えるメモリアクセスの発生を防止することができる。
【０１３９】
図３４は、上限値に達した累積発生情報量の例を示している。現在時刻において、折れ線３４０１が示す累積発生情報量の和Ｈｏが、直線３２０１が示す目標情報量Ｈｔの上限値に達した場合、レート制御部３１０１は、スイッチ３１０２及びスイッチ３１０３をＯＦＦに設定する。これにより、書き込み動作及び読み出し動作が禁止され、Ｈｏが上限値を超えることが防止される。
【０１４０】
この場合、逆変換部２６０２は、差分０を表す信号を加算器２３１５へ出力し、加算器２３１５は、ＨＥＶＣデコード画をそのままＨ．２６４デコード画として出力する。
【０１４１】
図２９の画像符号化装置２９０１においても、符号化部２９２２内にレート制御部３１０１、スイッチ３１０２、及びスイッチ３１０３を設けることで、アクセス量及び画質を最適化することができる。
【０１４２】
以上説明した画像符号化処理では、ＨＥＶＣのインター予測のモード情報がＨ．２６４のインター予測に流用されているが、同様にして、ＨＥＶＣのイントラ予測のモード情報をＨ．２６４のイントラ予測に流用することも可能である。イントラ予測では、符号化対象ブロックの周辺の画素の画素値から、イントラ予測ブロック画像が生成される。
【０１４３】
図３５は、周辺画素の例を示している。符号化対象画像３５０１において、Ｈ．２６４の符号化対象ブロック３５１１の周辺のブロックは、ＨＥＶＣで既に符号化済みである。したがって、ＨＥＶＣのデコード画に含まれる、符号化対象ブロック３５１１の周辺の画素３５１２の画素値を、Ｈ．２６４のイントラ予測に流用することができる。
【０１４４】
以下では、図１１の画像符号化装置１１０１の動作について説明するが、図２３の画像符号化装置２３０１及び図２９の画像符号化装置２９０１の動作についても同様である。
【０１４５】
モード判定部１１２１は、ＨＥＶＣのイントラ予測のモード情報をモード変換部１１１３へ出力するとともに、イントラ予測で用いたデコード画をデコード画記憶部１１１４へ出力する。モード変換部１１１３は、ＨＥＶＣのイントラ予測のモード情報をＨ．２６４のイントラ予測のモード情報に変換して、モード判定部１１３１へ出力する。モード判定部１１３１は、モード変換部１１１３から受信したＨ．２６４のイントラ予測のモード情報に従って、デコード画記憶部１１１４からデコード画を読み出し、読み出したデコード画をＨ．２６４のイントラ予測ブロック画像として用いる。
【０１４６】
イントラ予測のモード情報には、イントラ予測モードと、輝度ブロック及び色差ブロックのサイズが含まれるが、ＨＥＶＣとＨ．２６４のモード情報には、次のような違いがある。
【０１４７】
図３６は、ＨＥＶＣにおけるイントラ予測モードの例を示している。ＨＥＶＣでは、Ｐｌａｎａｒ予測、ＤＣ予測、及び方向性のＡｎｇｕｌａｒ予測（３３種類の予測方向）の合計３５種類のイントラ予測モードが用いられる。
【０１４８】
ＰＵの形状は、輝度ブロックの場合、６４×６４、３２×３２、１６×１６、８×８、及び４×４の５種類であり、色差ブロックの場合、３２×３２、１６×１６、８×８、及び４×４の４種類である。いずれの形状でも、３５種類のイントラ予測モードから１つのイントラ予測モードが選択される。
【０１４９】
Ｈ．２６４におけるイントラ予測モードは、輝度ブロック又は色差ブロックに応じて異なる。イントラ予測で用いられる輝度ブロックの形状は、１６×１６又は４×４の２種類である。
【０１５０】
図３７は、Ｈ．２６４における４×４の輝度ブロックのイントラ予測モードの例を示している。この場合、１６×１６のＭＢが１６個の４×４の輝度ブロックに分割され、輝度ブロック毎に、モード０〜モード８の９種類のイントラ予測モードから１つのイントラ予測モードが選択される。
【０１５１】
図３８は、Ｈ．２６４における１６×１６の輝度ブロックのイントラ予測モードの例を示している。この場合、１６×１６のＭＢ毎に、モード０〜モード３の４種類のイントラ予測モードから１つのイントラ予測モードが選択される。
【０１５２】
一方、イントラ予測で用いられる色差ブロックの形状は、８×８又は４×４の２種類である。
【０１５３】
図３９は、Ｈ．２６４における８×８の色差ブロックのイントラ予測モードの例を示している。この場合、８×８の色差ブロック毎に、モード０〜モード３の４種類のイントラ予測モードから１つのイントラ予測モードが選択される。４×４の色差ブロックの場合も、８×８の色差ブロックの場合と同様にして、イントラ予測モードが選択される。
【０１５４】
このようなＨＥＶＣとＨ．２６４のイントラ予測モードの違いを前提として、モード変換部１１１３は、符号化対象ブロックが輝度ブロックである場合、次のようなモード変換処理を行う。
【０１５５】
（Ａ）ＨＥＶＣのＰＵのサイズがＨ．２６４で許容される最大サイズ（１６×１６）以上であり、かつ、イントラ予測モードがＡｎｇｕｌａｒ予測の水平方向（１０）、垂直方向（２６）、ＤＣ予測、又はＰｌａｎａｒ予測である場合
この場合、モード変換部１１１３は、ＰＵを１６×１６のＭＢに分割し、以下の通り、すべてのＭＢに対して同じイントラ予測モードを割り当てる。
１．ＨＥＶＣ：Ａｎｇｕｌａｒ予測の水平方向（１０）→Ｈ．２６４：モード１（水平）
２．ＨＥＶＣ：Ａｎｇｕｌａｒ予測の垂直方向（２６）→Ｈ．２６４：モード０（垂直）
３．ＨＥＶＣ：ＤＣ予測→Ｈ．２６４：モード２（平均値）
４．ＨＥＶＣ：Ｐｌａｎａｒ予測→Ｈ．２６４：モード３（Ｐｌａｎｅ）
【０１５６】
図４０は、ＰＵが３２×３２である場合のＰＵとＭＢの対応関係の例を示している。ＨＥＶＣのイントラ予測モードが垂直方向（２６）である場合、モード変換部１１１３は、ＰＵを４個の１６×１６のＭＢに分割し、すべてのＭＢに対してＨ．２６４のモード０（垂直）を割り当てる。
【０１５７】
（Ｂ）ＨＥＶＣのＰＵのサイズがＨ．２６４で許容される最大サイズ（１６×１６）以上であり、かつ、イントラ予測モードがＡｎｇｕｌａｒ予測の水平方向（１０）、垂直方向（２６）、ＤＣ予測、又はＰｌａｎａｒ予測以外である場合
この場合、モード変換部１１１３は、ＰＵを１６×１６のＭＢに分割し、各ＭＢをさらに４×４の輝度ブロックに分割する。そして、モード変換部１１１３は、４×４のすべての輝度ブロックに対して、ＨＥＶＣのＡｎｇｕｌａｒ予測の予測方向に近似するＨ．２６４の予測方向を割り当てる。
【０１５８】
図４１は、ＰＵが１６×１６である場合のＰＵとＭＢの対応関係の例を示している。ＨＥＶＣのイントラ予測モードがＡｎｇｕｌａｒ（２０）である場合、モード変換部１１１３は、ＰＵを１６個の４×４の輝度ブロックに分割し、すべての輝度ブロックに対してＨ．２６４のモード５を割り当てる。
【０１５９】
図４２は、（Ｂ）の場合における予測方向の対応関係の例を示している。この例では、ＨＥＶＣのＡｎｇｕｌａｒ（２）〜Ａｎｇｕｌａｒ（９）に対して、Ｈ．２６４のモード８が割り当てられ、Ａｎｇｕｌａｒ（１１）〜Ａｎｇｕｌａｒ（１４）に対してモード１が割り当てられる。Ａｎｇｕｌａｒ（１５）及びＡｎｇｕｌａｒ（１６）に対してモード６が割り当てられ、Ａｎｇｕｌａｒ（１７）〜Ａｎｇｕｌａｒ（１９）に対してモード４が割り当てられる。
【０１６０】
Ａｎｇｕｌａｒ（２０）及びＡｎｇｕｌａｒ（２１）に対してモード５が割り当てられ、Ａｎｇｕｌａｒ（２２）〜Ａｎｇｕｌａｒ（２５）に対してモード０が割り当てられる。Ａｎｇｕｌａｒ（２７）〜Ａｎｇｕｌａｒ（３０）に対してモード７が割り当てられ、Ａｎｇｕｌａｒ（３１）〜Ａｎｇｕｌａｒ（３４）に対してモード３が割り当てられる。
【０１６１】
（Ｃ）ＨＥＶＣのＰＵのサイズが１６×１６よりも小さい場合
この場合、モード変換部１１１３は、ＰＵを含む１６×１６のブロックを１個のＭＢとみなして、そのＭＢを１６個の４×４の輝度ブロックに分割し、それぞれの輝度ブロックに対して、対応するＨ．２６４のイントラ予測モードを割り当てる。
【０１６２】
図４３は、ＰＵが１６×１６よりも小さい場合のＰＵとＭＢの対応関係の例を示している。例えば、ＰＵが８×８である場合、モード変換部１１１３は、そのＰＵを４個の４×４の輝度ブロックに分割し、すべての輝度ブロックに対して同じイントラ予測モードを割り当てる。
【０１６３】
イントラ予測モードの決定方法は、（Ｂ）の場合と同様である。ただし、Ｈ．２６４では、Ｐｌａｎａｒ予測に対応するイントラ予測モードが存在しないため、Ｐｌａｎａｒ予測に対してはモード２（平均値）が割り当てられる。
【０１６４】
符号化対象ブロックが色差ブロックである場合、モード変換部１１１３は、ＰＵのサイズが８×８以上であれば、ＰＵを８×８の色差ブロックに分割し、すべての色差ブロックに対して、Ｈ．２６４の同じイントラ予測モードを割り当てる。一方、ＰＵが４×４である場合、モード変換部１１１３は、ＰＵをそのまま色差ブロックとして用いる。
【０１６５】
図４４は、ＰＵと色差ブロックの対応関係の例を示している。例えば、ＰＵが８×８である場合、モード変換部１１１３は、そのＰＵを４個の４×４の色差ブロックに分割し、すべての色差ブロックに対して同じイントラ予測モードを割り当てる。
【０１６６】
イントラ予測モードの決定方法は、輝度ブロックの（Ｂ）の場合と同様である。ＤＣ予測に対してはモード０（平均値）が割り当てられ、Ｐｌａｎａｒ予測に対してはモード３（Ｐｌａｎｅ）が割り当てられる。
【０１６７】
図４５は、色差ブロックの場合における予測方向の対応関係の例を示している。この例では、ＨＥＶＣのＡｎｇｕｌａｒ（２）〜Ａｎｇｕｌａｒ（１８）に対して、Ｈ．２６４のモード１（水平）が割り当てられ、Ａｎｇｕｌａｒ（１９）〜Ａｎｇｕｌａｒ（３４）に対してモード２（垂直）が割り当てられる。
【０１６８】
ところで、Ｈ．２６４の符号化対象ブロックの位置によっては、モード変換部１１１３が出力するモード情報が示す位置の周辺画素が符号化されておらず、デコード画記憶部１１１４が周辺画素を含むデコード画を記憶していない場合がある。
【０１６９】
図４６は、符号化済みでない周辺画素の例を示す図である。符号化対象画像３５０１において、Ｈ．２６４の符号化対象ブロック４６１１の右隣のブロックは、ＨＥＶＣで未だ符号化されていないため、領域４６１２内の周辺画素のデコード画は生成されていない。
【０１７０】
これに対して、図８のＨ２６４画像符号化装置８０２の場合、符号化対象画像が１６×１６のＭＢ単位でラスタ順に符号化されるため、このような符号化済みでない周辺画素が発生することはない。
【０１７１】
図４７は、Ｈ２６４画像符号化装置８０２における符号化済みの周辺画素の例を示す図である。符号化対象画像４７０１において、Ｈ．２６４の符号化対象ブロック４７１１の右上のＭＢは、既に符号化済みであるため、領域４７１２内の周辺画素の画素値を参照することが可能である。
【０１７２】
そこで、図４６の領域４６１２のように、符号化済みでない周辺画素が発生する場合、符号化対象ブロック４６１１の符号化を行う前に、例えば、ＨＥＶＣの次のブロックを先に符号化しておく等の制御を行うことが望ましい。
【０１７３】
図１の画像符号化装置１０１、図２のモード判定部１１１、図７の符号化部１１２、及び図８の画像符号化システムの構成は一例に過ぎず、画像符号化装置１０１又は画像符号化システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
【０１７４】
図９の画像符号化装置９０１、図１１の画像符号化装置１１０１、図２３及び図３１の画像符号化装置２３０１、及び図２９の画像符号化装置２９０１の構成は一例に過ぎず、画像符号化装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、画像符号化装置１１０１、画像符号化装置２３０１、又は画像符号化装置２９０１の内部に、フレームメモリ１１０２を設けても構わない。
【０１７５】
図２３の加算器２３１５、減算器２３１６、差分復号器２３１７、量子化情報記憶部２３１８、差分符号化器２３１９、及び差分画像記憶部２３２０のうち、一部又は全部の構成要素を画像符号化装置２３０１の外部に設けても構わない。図２９の量子化情報記憶部２９１５及び差分画像記憶部２９１６を画像符号化装置２９０１の外部に設けても構わない。
【０１７６】
図２１のモード判定部１１３１の構成は一例に過ぎず、画像符号化装置１１０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図２４の差分符号化器２３１９、図２６の差分復号器２３１７、及び図３０の符号化部２９２２の構成は一例に過ぎず、画像符号化装置２３０１又は画像符号化装置２９０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
【０１７７】
図１０、図１２、及び図２８に示したフローチャートは一例に過ぎず、画像符号化装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図１２及び図２８の画像符号化処理において、ＨＥＶＣ及びＨ．２６４の代わりに、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の別の符号化アルゴリズムを用いてもよい。
【０１７８】
図３、図５、図３５、図４６、及び図４７のブロックは一例に過ぎず、画像符号化装置の構成又は条件に応じて別のブロックを用いてもよい。図４及び図６の動きベクトル及び予測方向は一例に過ぎず、入力される映像信号に応じて別の動きベクトル及び予測方向が用いられることもある。
【０１７９】
図１３及び図２２のデコード画領域は一例に過ぎず、画像符号化装置の構成又は条件に応じて別のデコード画領域を用いてもよい。図１４〜図２０のブロック及び動きベクトルの変換方法は一例に過ぎず、画像符号化装置の構成又は条件に応じて別の変換方法を用いてもよい。図２５及び図３３の量子化情報記憶部２３１８及び差分画像記憶部２３２０は一例に過ぎず、画像符号化装置の構成又は条件に応じて別の量子化情報記憶部及び差分画像記憶部を用いてもよい。
【０１８０】
図２７の参照領域２７１１は一例に過ぎず、入力される映像信号に応じて別の参照領域が用いられることもある。図３２及び図３４の累積発生情報量は一例に過ぎず、累積発生情報量は、入力される映像信号に応じて変化する。図３３のスキップ情報は一例に過ぎず、画像符号化装置の構成又は条件に応じて別のスキップ情報を用いてもよい。
【０１８１】
図３６〜図３９のイントラ予測モードは一例に過ぎず、画像符号化装置の構成又は条件に応じて別のイントラ予測モードを用いてもよい。図４０〜図４５のブロック及びイントラ予測モードの変換方法は一例に過ぎず、画像符号化装置の構成又は条件に応じて別の変換方法を用いてもよい。
【０１８２】
式（１）〜式（３）は一例に過ぎず、画像符号化装置の構成又は条件に応じて別の計算式に基づきＱＰ値を決定してもよい。
【０１８３】
図１、図９、図１１、図２３、図２９、及び図３１の画像符号化装置と図８の画像符号化システムは、ハードウェア回路として実装することもでき、図４８に示すような情報処理装置（コンピュータ）を用いて実装することもできる。
【０１８４】
図４８の情報処理装置は、Central Processing Unit（ＣＰＵ）４８０１、メモリ４８０２、入力装置４８０３、出力装置４８０４、補助記憶装置４８０５、媒体駆動装置４８０６、及びネットワーク接続装置４８０７を備える。これらの構成要素はバス４８０８により互いに接続されている。図１のフレームメモリ１０２、図８のＨＥＶＣフレームメモリ８０３、Ｈ２６４フレームメモリ８０４、図１１、図２３、及び図２９のフレームメモリ１１０２は、バス４８０８に接続されていてもよい。
【０１８５】
メモリ４８０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、画像圧縮処理に用いられるプログラム及びデータを記憶する。メモリ４８０２は、図９のデコード画記憶部９１４、図１１のデコード画記憶部１１１４、図２３のデコード画記憶部２３１４、及び図２９のデコード画記憶部２９１４として用いることができる。メモリ４８０２は、図２３の量子化情報記憶部２３１８、差分画像記憶部２３２０、図２９の量子化情報記憶部２９１５、及び差分画像記憶部２９１６としても用いることができる。
【０１８６】
ＣＰＵ４８０１（プロセッサ）は、例えば、メモリ４８０２を利用してプログラムを実行することにより、図１のモード判定部１１１及び符号化部１１２として動作する。ＣＰＵ４８０１は、図２のイントラ予測部２０１、インター予測部２０２、選択部２０３、図７の変換部７０１、逆変換部７０２、及びエントロピー符号化部７０３としても動作する。ＣＰＵ４８０１は、図８のＨＥＶＣ画像符号化装置８０１、Ｈ２６４画像符号化装置８０２、モード判定部８１１、符号化部８１２、モード判定部８２１、及び符号化部８２２としても動作する。
【０１８７】
ＣＰＵ４８０１は、メモリ４８０２を利用してプログラムを実行することにより、図９の符号化器９１１、符号化器９１２、及び変換部９１３としても動作する。ＣＰＵ４８０１は、図１１のＨＥＶＣ符号化器１１１１、Ｈ２６４符号化器１１１２、モード変換部１１１３、モード判定部１１２１、符号化部１１２２、モード判定部１１３１、及び符号化部１１３２としても動作する。ＣＰＵ４８０１は、図２１のイントラ予測部２１０１及び選択部２１０２としても動作する。
【０１８８】
ＣＰＵ４８０１は、メモリ４８０２を利用してプログラムを実行することにより、図２３のＨＥＶＣ符号化器２３１１、Ｈ２６４符号化器２３１２、及びモード変換部２３１３としても動作する。ＣＰＵ４８０１は、加算器２３１５、減算器２３１６、差分復号器２３１７、差分符号化器２３１９、モード判定部２３２１、符号化部２３２２、モード判定部２３３１、及び符号化部２３３２としても動作する。
【０１８９】
ＣＰＵ４８０１は、メモリ４８０２を利用してプログラムを実行することにより、図２９のＨＥＶＣ符号化器２９１１、Ｈ２６４符号化器２９１２、及びモード変換部２９１３としても動作する。ＣＰＵ４８０１は、モード判定部２９２１、符号化部２９２２、モード判定部２９３１、及び符号化部２９３２としても動作する。ＣＰＵ４８０１は、図３０のセレクタ３００２〜セレクタ３００７、変換部３００８、符号化部３００９、逆変換部３０１０、復号部３０１１、制御部３０１２、及び制御部３０１３としても動作する。ＣＰＵ４８０１は、図３１のレート制御部３１０１、スイッチ３１０２、及びスイッチ３１０３としても動作する。
【０１９０】
入力装置４８０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示又は情報の入力に用いられる。出力装置４８０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせ又は処理結果の出力に用いられる。
【０１９１】
補助記憶装置４８０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置４８０５は、ハードディスクドライブであってもよい。補助記憶装置４８０５は、情報処理装置は、補助記憶装置４８０５にプログラム及びデータを格納しておき、それらをメモリ４８０２にロードして使用することができる。
【０１９２】
媒体駆動装置４８０６は、可搬型記録媒体４８０９を駆動し、その記録内容にアクセスする。可搬型記録媒体４８０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体４８０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、又はUniversal Serial Bus（ＵＳＢ）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体４８０９にプログラム及びデータを格納しておき、それらをメモリ４８０２にロードして使用することができる。
【０１９３】
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ４８０２、補助記憶装置４８０５、及び可搬型記録媒体４８０９のような、物理的な（非一時的な）記録媒体である。
【０１９４】
ネットワーク接続装置４８０７は、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置４８０７は、符号化ストリームを画像復号装置へ送信することもできる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置４８０７を介して受信し、それらをメモリ４８０２にロードして使用することもできる。
【０１９５】
なお、情報処理装置が図４８のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要の場合は、入力装置４８０３及び出力装置４８０４を省略してもよい。また、情報処理装置が可搬型記録媒体４８０９にアクセスしない場合は、媒体駆動装置４８０６を省略してもよい。
【０１９６】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【０１９７】
図１乃至図４８を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
入力画像を符号化する第１の符号化器と、
前記第１の符号化器が生成する符号を復号したデコード画を記憶するデコード画記憶部と、
複数のブロックに区分された前記入力画像の前記ブロックの形状を変換する変換部と、
前記変換部により変換されたブロックを、前記デコード画に基づいて、前記第１の符号化器とは異なるアルゴリズムで符号化する第２の符号化器と、
を有することを特徴とする画像符号化装置。
（付記２）
前記第１の符号化器は、前記デコード画を参照して、前記入力画像の前記ブロックを第１の予測符号化により符号化し、前記変換部は、前記入力画像の前記ブロックの形状を、前記異なるアルゴリズムにおける第２の予測符号化で用いる形状に変換し、前記第２の符号化器は、前記デコード画を参照して、前記変換されたブロックを前記第２の予測符号化により符号化することを特徴とする付記１記載の画像符号化装置。
（付記３）
前記デコード画と、前記第２の符号化器が生成する符号を復号したデコード画との差分を表す、差分画像を記憶する差分画像記憶部をさらに有し、
前記第１の符号化器は、前記第１の符号化器が生成する前記符号を復号した前記デコード画を参照して、前記入力画像の前記ブロックを第１の予測符号化により符号化し、前記変換部は、前記入力画像の前記ブロックの形状を、前記異なるアルゴリズムにおける第２の予測符号化で用いる形状に変換し、前記第２の符号化器は、前記デコード画記憶部が記憶する前記デコード画と前記差分画像とから生成されるデコード画を参照して、前記変換されたブロックを前記第２の予測符号化により符号化することを特徴とする付記１記載の画像符号化装置。
（付記４）
前記差分画像を符号化して、差分符号を生成する差分符号化器と、
前記差分符号を復号して、前記差分画像を生成する差分復号器とをさらに有し、
前記差分画像記憶部は、前記差分符号を記憶し、前記差分復号器は、前記差分画像記憶部が記憶する前記差分符号を復号して、前記差分画像を生成することを特徴とする付記３記載の画像符号化装置。
（付記５）
前記第１の符号化器は、前記差分画像を符号化して差分符号を生成し、前記差分画像記憶部は、前記差分符号を記憶し、前記第１の符号化器は、前記差分画像記憶部が記憶する前記差分符号を復号した復号結果から、前記差分画像を生成することを特徴とする付記３記載の画像符号化装置。
（付記６）
前記差分符号を前記差分画像記憶部に書き込む際に発生する書き込み情報量と、前記差分符号を前記差分画像記憶部から読み出す際に発生する読み出し情報量と、目標情報量とに基づいて、前記差分画像を符号化する際の圧縮率を制御する制御部をさらに有することを特徴とする付記４又は５記載の画像符号化装置。
（付記７）
前記制御部は、前記書き込み情報量が所定値よりも小さい場合、前記差分符号を前記差分画像記憶部に書き込む動作をスキップすることを特徴とする付記６記載の画像符号化装置。
（付記８）
前記制御部は、前記差分符号を前記差分画像記憶部に書き込む動作をスキップした場合、前記差分符号を前記差分画像記憶部から読み出す動作をスキップすることを特徴とする付記７記載の画像符号化装置。
（付記９）
前記制御部は、前記書き込み情報量と前記読み出し情報量との累積値が上限値に達した場合、前記差分符号を前記差分画像記憶部に書き込む動作と前記差分符号を前記差分画像記憶部から読み出す動作とを禁止することを特徴とする付記６乃至８のいずれか１項に記載の画像符号化装置。
（付記１０）
前記変換部は、前記第１の予測符号化及び前記第２の予測符号化がインター予測符号化である場合、前記入力画像の前記ブロックの動きベクトルに基づいて、前記変換されたブロックの動きベクトルを決定することを特徴とする付記１乃至９のいずれか１項に記載の画像符号化装置。
（付記１１）
前記変換部は、前記第１の予測符号化及び前記第２の予測符号化がイントラ予測符号化である場合、前記入力画像の前記ブロックのイントラ予測モードに基づいて、前記変換されたブロックのイントラ予測モードを決定することを特徴とする付記１乃至９のいずれか１項に記載の画像符号化装置。
（付記１２）
画像符号化装置が、
第１の符号化アルゴリズムで入力画像を符号化し、
前記第１の符号化アルゴリズムにより生成した符号を復号したデコード画を、デコード画記憶部に格納し、
複数のブロックに区分された前記入力画像の前記ブロックの形状を変換し、
変換したブロックを、前記デコード画に基づいて、前記第１の符号化アルゴリズムとは異なる第２の符号化アルゴリズムで符号化する、
ことを特徴とする画像符号化方法。
（付記１３）
前記画像符号化装置は、前記デコード画を参照して、前記入力画像の前記ブロックを第１の予測符号化により符号化し、前記入力画像の前記ブロックの形状を、前記異なるアルゴリズムにおける第２の予測符号化で用いる形状に変換し、前記デコード画を参照して、前記変換されたブロックを前記第２の予測符号化により符号化することを特徴とする付記１２記載の画像符号化方法。
（付記１４）
前記画像符号化装置は、前記デコード画と、前記第２の符号化アルゴリズムにより生成した符号を復号したデコード画との差分を表す差分画像を、差分画像記憶部に格納し、前記第１の符号化アルゴリズムにより生成した前記符号を復号した前記デコード画を参照して、前記入力画像の前記ブロックを第１の予測符号化により符号化し、前記入力画像の前記ブロックの形状を、前記異なるアルゴリズムにおける第２の予測符号化で用いる形状に変換し、前記デコード画記憶部が記憶する前記デコード画と前記差分画像とから生成されるデコード画を参照して、前記変換されたブロックを前記第２の予測符号化により符号化することを特徴とする付記１２記載の画像符号化方法。
【符号の説明】
【０１９８】
１０１、８０１、９０１、１１０１、２３０１、２９０１  画像符号化装置
１０２、１１０２  フレームメモリ
１１１、８１１、８２１、１１２１、１１３１、２３２１、２３３１、２９２１、２９３１  モード判定部
１１２、８１２、８２２、１１２２、１１３２、２３２２、２３３２、２９２２、２９３２、２４０２、３００９  符号化部
２０１、２１０１  イントラ予測部
２０２  インター予測部
２０３、２１０２  選択部
３０１、４０１、５０１、６０１、１３０１、２５０１、３５０１、４７０１  符号化対象画像
４０２、６０２、２７０１  参照画像
４１３、６１４、１４２１、１４３１  動きベクトル
４１４、６１５  周辺画素
４１５、６１６  予測方向
７０１、９１３、２４０１、３００８  変換部
７０２、２６０２、３０１０  逆変換部
７０３  エントロピー符号化部
８０１、２３１１、２９１１  ＨＥＶＣ画像符号化装置
８０２、２３１２、２９１２  Ｈ２６４画像符号化装置
８０３  ＨＥＶＣフレームメモリ
８０４  Ｈ２６４フレームメモリ
９１１、９１２  符号化器
９１４、１１１４、２３１４、２９１４  デコード画記憶部
１１１１  ＨＥＶＣ符号化器
１１１２  Ｈ２６４符号化器
１１１３、２３１３、２９１３  モード変換部
１３０２  デコード画領域
２２０２  デコード画
２３１５  加算器
２３１６  減算器
２３１７  差分復号器
２３１８、２９１５  量子化情報記憶部
２３１９  差分符号化器
２３２０、２９１６  差分画像記憶部
２５０２−１〜２５０２−３、２５０３−１〜２５０３−３、４６１２、４７１２  領域
２６０１、３０１１  復号部
２７１１  参照領域
２７１２  範囲
３００２〜３００７  セレクタ
３０１２、３０１３  制御部
３１０１  レート制御部
３１０２、３１０３  スイッチ
３２０１、３２０２  直線
３２０３、３４０１  折れ線
３５１１、４６１１、４７１１  符号化対象ブロック
３５１２  画素
４８０１  ＣＰＵ
４８０２  メモリ
４８０３  入力装置
４８０４  出力装置
４８０５  補助記憶装置
４８０６  媒体駆動装置
４８０７  ネットワーク接続装置
４８０８  バス
４８０９  可搬型記録媒体
【図１】
2017183910.tif 000003
【図２】
2017183910.tif 000004
【図３】
2017183910.tif 000005
【図４】
2017183910.tif 000006
【図５】
2017183910.tif 000007
【図６】
2017183910.tif 000008
【図７】
2017183910.tif 000009
【図８】
2017183910.tif 000010
【図９】
2017183910.tif 000011
【図１０】
2017183910.tif 000012
【図１１】
2017183910.tif 000013
【図１２】
2017183910.tif 000014
【図１３】
2017183910.tif 000015
【図１４】
2017183910.tif 000016
【図１５】
2017183910.tif 000017
【図１６】
2017183910.tif 000018
【図１７】
2017183910.tif 000019
【図１８】
2017183910.tif 000020
【図１９】
2017183910.tif 000021
【図２０】
2017183910.tif 000022
【図２１】
2017183910.tif 000023
【図２２】
2017183910.tif 000024
【図２３】
2017183910.tif 000025
【図２４】
2017183910.tif 000026
【図２５】
2017183910.tif 000027
【図２６】
2017183910.tif 000028
【図２７】
2017183910.tif 000029
【図２８】
2017183910.tif 000030
【図２９】
2017183910.tif 000031
【図３０】
2017183910.tif 000032
【図３１】
2017183910.tif 000033
【図３２】
2017183910.tif 000034
【図３３】
2017183910.tif 000035
【図３４】
2017183910.tif 000036
【図３５】
2017183910.tif 000037
【図３６】
2017183910.tif 000038
【図３７】
2017183910.tif 000039
【図３８】
2017183910.tif 000040
【図３９】
2017183910.tif 000041
【図４０】
2017183910.tif 000042
【図４１】
2017183910.tif 000043
【図４２】
2017183910.tif 000044
【図４３】
2017183910.tif 000045
【図４４】
2017183910.tif 000046
【図４５】
2017183910.tif 000047
【図４６】
2017183910.tif 000048
【図４７】
2017183910.tif 000049
【図４８】
2017183910.tif 000050