(57)【要約】【課題】ＭＢＡＦＦをハードウェアで実現する場合、単純に決まった位置の画素を取得することはできず、場合分けした上で複雑な処理により位置を決定した上で画素値を参照しなければならない課題があった。【解決手段】本発明に係る動画像符号化装置１００は、フレーム構造のブロックまたはフィールド構造のブロックを画面間予測符号化する際に利用する参照ピクチャを一意に特定する符号化用参照インデックスを複数割当てる。複数の前記符号化用参照インデックスは、フィールド構造の参照ピクチャを特定する符号化用参照インデックスおよびフレーム構造の参照ピクチャを特定する符号化用参照インデックスが含まれる。【選択図】図１
2012249221.tif 000002
【特許請求の範囲】
【請求項１】
インターレース構造の動画像を符号化する動画像符号化装置であって、
連続して入力される２つのフィールド画像であって、１つのフレーム画像を構成する際にペアとなる第１フィールド画像および第２フィールド画像から得られる符号化対象のピクチャ内において、（１）前記第１フィールド画像の画素および前記第２フィールド画像の画素が混在するフレーム構造のブロック単位で符号化する第１動作と、（２）前記第１フィールド画像の画素または前記第２フィールド画像の画素のみから構成されるフィールド構造のブロック単位で符号化する第２動作を選択的に切り換えて実行し、符号列を生成する符号化部と、を備え、
前記符号化部は、
前記フレーム構造のブロックおよび前記フィールド構造のブロックを符号化する際に共通して利用する複数の符号化用参照インデックスを割当て、
前記割り当てられた符号化用参照インデックスは、前記フレーム構造のブロックまたは前記フィールド構造のブロックを画面間予測符号化する際に利用する参照ピクチャを一意に特定する情報であって、
前記複数の符号化用参照インデックスは、フィールド構造の参照ピクチャを特定する符号化用参照インデックスおよびフレーム構造の参照ピクチャを特定する符号化用参照インデックスが含まれる、
動画像符号化装置。
【請求項２】
連続して入力される２つのフィールド画像であって、１つのフレーム画像を構成する際にペアとなる第１フィールド画像および第２フィールド画像から得られる符号化対象のピクチャ内において、（１）前記第１フィールド画像の画素および前記第２フィールド画像の画素が混在するフレーム構造のブロック単位で符号化する第１動作と、（２）前記第１フィールド画像の画素または前記第２フィールド画像の画素のみから構成されるフィールド構造のブロック単位で符号化する第２動作を選択的に切り換えて実行し、符号列を生成する動画像符号化装置であって、
前記動画像符号化装置は、
既に生成された符号列の復号化後の情報に基づいて得られる参照ピクチャを蓄積するローカルバッファと、
前記フレーム構造のブロックまたは前記フィールド構造のブロックを画面間予測符号化する際に利用する参照ピクチャを一意に特定する符号化用参照インデックスを複数割当て、割当てた複数の前記符号化用参照インデックスを用いて、前記符号化対象のピクチャを前記ブロック単位で画面間予測符号化する予測符号化部と、を備え、
複数の前記符号化用参照インデックスは、フィールド構造の参照ピクチャを特定する符号化用参照インデックスおよびフレーム構造の参照ピクチャを特定する符号化用参照インデックスが含まれる、
動画像符号化装置。
【請求項３】
前記符号化部は、
前記符号化対象のピクチャを、前記フレーム構造のブロックと前記フィールド構造のブロックが混在するピクチャとして符号化するか否かを示す判定識別子を生成し、
前記判定識別子が混在することを示す場合、フレーム構造の参照ピクチャを特定する符号化用参照インデックスが含まれる複数の符号化用参照インデックスを割当てる、
請求項１または請求項２に記載の動画像符号化装置。
【請求項４】
インターレース構造の動画像を符号化する動画像符号化方法であって、
連続して入力される２つのフィールド画像であって、１つのフレーム画像を構成する際にペアとなる第１フィールド画像および第２フィールド画像を取得し、
前記第１フィールド画像および前記第２フィールド画像から得られる符号化対象のピクチャ内において、（１）前記第１フィールド画像の画素および前記第２フィールド画像の画素が混在するフレーム構造のブロック単位で符号化する第１動作と、（２）前記第１フィールド画像の画素または前記第２フィールド画像の画素のみから構成されるフィールド構造のブロック単位で符号化する第２動作を選択的に切り換えて実行し、符号列を生成し、
前記符号列を生成する際、前記フレーム構造のブロックおよび前記フィールド構造のブロックを符号化する際に共通して利用する複数の符号化用参照インデックスを割当て、
前記割当てられた符号化用参照インデックスは、前記フレーム構造のブロックまたは前記フィールド構造のブロックを画面間予測符号化する際に利用する参照ピクチャを一意に特定する情報であって、
前記複数の符号化用参照インデックスは、フィールド構造の参照ピクチャを特定する符号化用参照インデックスおよびフレーム構造の参照ピクチャを特定する符号化用参照インデックスが含まれる、
動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された動画像をブロックに分割して符号化する画像符号化装置および画像符号化方法に関するものである。
【背景技術】
【０００２】
近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積及び伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。また、現在は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣと呼ばれる次世代画面符号化方式の標準化活動が進んでいる。
【０００３】
このような動画像の符号化では、符号化対象の各ピクチャを符号化単位ブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。また空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報から予測画像の生成を行い、得られた予測画像と符号化対象のブロックとの差分画像を取得する。さらに得られた差分画像に対して離散コサイン変換等の直交変換および量子化を行い、可変長符号化を用いて符号列を生成することで情報量が圧縮される。
【０００４】
また復号化では、前記符号化処理によって生成された符号列を解析して予測情報および残差係数情報を取得し、予測情報を用いて画面間予測復号化および画面内予測復号化を行って予測画像を生成し、残差係数情報に対して逆量子化および逆直交変換を行って差分画像を生成し、得られた予測画像と差分画像を加算することで最終的な出力画像を復元する。
【０００５】
Ｈ．２６４には、動画像を符号化する際の処理としてＭＢＡＦＦと呼ばれる処理が存在する。ＭＢＡＦＦは、１６×１６から成るマクロブロックを上下に連結したマクロブロックペア（ＭＢ  ｐａｉｒ）を一つの単位として、画素値がフレーム形式に配置されたフレームペア（Ｆｒａｍｅ  ｐａｉｒ）と、フィールド形式に配置されたフィールドペア（Ｆｉｅｌｄ  ｐａｉｒ）とに分解し、分解後の上マクロブロックと下マクロブロックとについて符号化処理を行うものである。
【０００６】
この動作について、図１４を用いて説明する。ここでは、説明の便宜上、マクロブロックを水平４×垂直４画素から成るブロックとして図示している。ＭＢｐａｉｒ１２０１、１２０３，１２０５は、ＭＢＡＦＦにおける処理単位である。つまり、ＭＢＡＦＦでは、上下に連結した２つのＭＢを１つの処理単位とする。ＭＢｐａｉｒ１２０１は、水平４×垂直８画素からなるブロックである。ＭＢｐａｉｒ１２０１をＦｒａｍｅｐａｉｒとして分解した場合、Ｆｒａｍｅｐａｉｒ１２０２となる。すなわち、上ブロックにライン１からライン４、下ブロックにライン５から８が格納される。一方、ＭＢｐａｉｒ１２０３を、Ｆｉｅｌｄｐａｉｒとして分解した場合、Ｆｉｅｌｄｐａｉｒ１２０４となる。すなわち、上ブロックに奇数ラインであるライン１，３，５，７が格納され、上ブロックに偶数ラインであるライン２，４，６，８が格納される。
【０００７】
分解画像は、以後の処理において、ＦｒａｍｅｐａｉｒまたはＦｉｅｌｄｐａｉｒを１つの単位として処理される。例えば、Ｆｒａｍｅｐａｉｒ１２０２を処理する場合、ライン１から４を含む上ブロックを処理した後、ライン５から８を含む下ブロックを処理する。その後、処理順で次のＦｒａｍｅｐａｉｒ１２０６を処理する。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ITU-T H.264 : Advanced video coding for generic audiovisual services (03/2010)
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このようなＭＢＡＦＦにおいて、画面内予測を行う場合、隣接画素の参照方法が複雑となる課題がある。つまり、ＭＢｐａｉｒ１２０５をＦｒａｍｅｐａｉｒとして分解し、ＭＢｐａｉｒ１２０３をＦｉｅｌｄｐａｉｒとして分解した場合、Ｆｉｅｌｄｐａｉｒ１２０４は、Ｆｒａｍｅｐａｉｒ１２０６に含まれる上ブロックおよび下ブロックの画素を参照しなければならない。つまり、Ｆｉｅｌｄｐａｉｒ１２０４の上ブロックを符号化する際、単にＦｒａｍｅｐａｉｒ１２０６の上ブロックにおける画素のみを参照することができない。
【００１０】
このように、従来のＭＢＡＦＦにおいては、画面内予測において隣接画素を参照する処理が複雑となる。そのため、ＭＢＡＦＦをハードウェアで実現する場合、単純に決まった位置の画素を取得することはできず、場合分けした上で複雑な処理により位置を決定した上で画素値を参照しなければならない課題があった。
【００１１】
本発明は上記課題を解決するものであって、符号化対象のブロック毎に、フレーム形式での符号化方法とフィールド形式での符号化方法とを切替たとしても、容易に参照ピクチャの選択が可能な動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明における動画像符号化装置は、インターレース構造の動画像を符号化する動画像符号化装置であって、連続して入力される２つのフィールド画像であって、１つのフレーム画像を構成する際にペアとなる第１フィールド画像および第２フィールド画像を取得する取得部と、前記第１フィールド画像および前記第２フィールド画像から得られる符号化対象のピクチャ内において、（１）前記第１フィールド画像の画素および前記第２フィールド画像の画素が混在するフレーム構造のブロック単位で符号化する第１動作と、（２）前記第１フィールド画像の画素または前記第２フィールド画像の画素のみから構成されるフィールド構造のブロック単位で符号化する第２動作を選択的に切り換えて実行し、符号列を生成する符号化部と、を備え、前記符号化部は、前記フレーム構造のブロックおよび前記フィールド構造のブロックを符号化する際に共通して利用する複数の符号化用参照インデックスを割当て、前記割り当てられた符号化用参照インデックスは、前記フレーム構造のブロックまたは前記フィールド構造のブロックを画面間予測符号化する際に利用する参照ピクチャを一意に特定する情報であって、前記複数の符号化用参照インデックスは、フィールド構造の参照ピクチャを特定する符号化用参照インデックスおよびフレーム構造の参照ピクチャを特定する符号化用参照インデックスが含まれる。
【００１３】
また、本発明における動画像符号化装置は、連続して入力される２つのフィールド画像であって、１つのフレーム画像を構成する際にペアとなる第１フィールド画像および第２フィールド画像から得られる符号化対象のピクチャ内において、（１）前記第１フィールド画像の画素および前記第２フィールド画像の画素が混在するフレーム構造のブロック単位で符号化する第１動作と、（２）前記第１フィールド画像の画素または前記第２フィールド画像の画素のみから構成されるフィールド構造のブロック単位で符号化する第２動作を選択的に切り換えて実行し、符号列を生成する動画像符号化装置であって、前記動画像符号化装置は、既に生成された符号列の復号化後の情報に基づいて得られる参照ピクチャを蓄積するローカルバッファと、前記フレーム構造のブロックまたは前記フィールド構造のブロックを画面間予測符号化する際に利用する参照ピクチャを一意に特定する符号化用参照インデックスを複数割当て、割当てた複数の前記符号化用参照インデックスを用いて、前記符号化対象のピクチャを前記ブロック単位で画面間予測符号化する予測符号化部と、を備え、複数の前記符号化用参照インデックスは、フィールド構造の参照ピクチャを特定する符号化用参照インデックスおよびフレーム構造の参照ピクチャを特定する符号化用参照インデックスが含まれる。
【００１４】
上記のように構成することで、フィールド構造のブロックを符号化する場合と、フィールド構造のブロックを符号化する場合と、で符号化用参照インデックスを生成または変換する必要がなくなる。つまり、符号化するブロックがフィールド構造またはフレーム構造のいずれであっても、共通の符号化用参照インデックスを利用することができる。これにより、複雑な処理をすることなく符号化単位であるブロック毎に、フィールド構造の符号化とフレーム構造の符号化を切り換えることができる。
【００１５】
また好ましくは、前記符号化部は、前記符号化対象のピクチャを、前記フレーム構造のブロックと前記フィールド構造のブロックが混在するピクチャとして符号化するか否かを示す判定識別子を生成し、前記判定識別子が混在することを示す場合、フレーム構造の参照ピクチャを特定する符号化用参照インデックスが含まれる複数の符号化用参照インデックスを割当てる。
【００１６】
上記のように構成することで、符号化対象のピクチャがフレーム構造のブロックとフィールド構造のブロックで符号化される場合に、複数の符号化用参照インデックスにはフレーム構造の参照ピクチャを示す符号化用参照インデックスと、フィールド構造の参照ピクチャを示す符号化用参照インデックスが含まれる。このようにすれば、常にフレーム構造の参照ピクチャを示す符号化用参照インデックスと、フィールド構造の参照ピクチャを示す符号化用参照インデックスを割当てるよりも、出力する符号列のビット数を小さくすることができる。
【００１７】
なお、本発明は、このような動画像符号化・復号化装置として実現することができるだけでなく、このような動画像符号化・復号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。
【発明の効果】
【００１８】
以上より、符号化対象のブロック毎に、フレーム形式での符号化方法とフィールド形式での符号化方法とを切替たとしても、容易に参照ピクチャを選択することができる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態に係る動画像符号化装置１００のブロック図。
【図２】本実施形態に係る分解部１６０のブロック図。
【図３】本実施形態に係る処理Ａを説明するための図。
【図４】本実施形態に係る処理Ｂを説明するための図。
【図５】分解部１６０において入力画像であるフィールド画像を分解する方法を説明するためのフローチャート。
【図６】本実施形態に係る復元部１１１の具体的構成を示す図。
【図７】復元部１１１の具体的な動作な動作を説明するためのフローチャート。
【図８】ヘッダ符号列生成部１０７が生成する制御情報に含まれるｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇの一例を示した図。
【図９】ストリーム中での場所として、ＳＥＩ（符号化に関する補助情報を格納する場所）に格納する場合を説明するための図。
【図１０】ストリーム中での場所として、マクロブロック層に格納する場合を説明するための図。
【図１１】本実施形態に係る参照ピクチャに対する参照インデックスの割り振りの一例を示す図。
【図１２】本実施形態に係る動画像復号化装置２００のブロック図。
【図１３】本実施形態に係る復元部２０８の構成を説明するための図。
【図１４】従来のＭＢＡＦＦを説明するための図。
【発明を実施するための形態】
【００２０】
（実施の形態１）
以下、本実施形態１について、図面を参照しながら説明する。
【００２１】
図１は、本実施形態に係る動画像符号化装置１００のブロック図である。動画像符号化装置１００は、フィールド単位で入力された動画像をブロックに分割する。そして、動画像符号化装置１００は、ブロック単位で符号化処理し、符号列を生成する。
【００２２】
この動画像符号化装置１００は、分解部１６０、復元部１１１、ピクチャメモリ１０１、予測残差符号化部１０２、予測残差復号化部１０３、ローカルバッファ１０４、予測符号化部１０５、量子化値決定部１０６、ヘッダ符号列生成部１０７、係数符号列生成部１０８、差分演算部１０９および、加算演算部１１０を備える。
【００２３】
分解部１６０は、入力されるインターレース構造の入力画像信号１５１から、表示順に対になる第１フィールド画像および第２フィールド画像を取得する。そして、分解部１６０は、取得した第１フィールド画像と第２フィールド画像を、所定の処理により画素データの配置が変更された第１ピクチャおよび第２ピクチャへと変換して出力する。また、後述する配置変更情報を復元部１１１に出力する。第１フィールド画像は、例えばトップフィールドである。また、第２フィールド画像は、ボトムフィールドである。第１フィールド画像および第２フィールド画像から１枚のフレーム画像が構成される。
【００２４】
ピクチャメモリ１０１は分解部１６０が出力するピクチャを、符号化を行う順に並び替えを行って蓄積する。次に、ピクチャメモリ１０１は、差分演算部１０９または予測符号化部１０５からの読出し命令を受け付けると当該読出し命令に係る画像信号をそれぞれ出力する。このとき、各々のピクチャはコーディングユニット（ＣＵ）と呼ばれる複数の画素から構成される符号化単位に分割される。このＣＵは、例えば水平６４×垂直６４画素のブロック、水平３２×垂直３２画素のブロック、水平１６×垂直１６画素、または水平４×垂直４画素のブロックから成る。なお、本実施形態における動画像符号化装置１００では、ＣＵ単位で以降の処理が行われる。
【００２５】
予測残差符号化部１０２は、差分演算部１０９から出力される差分画像信号１５２に対して直交変換を行う。さらに得られた各周波数成分の直交変換係数に対し量子化を行うことで画像情報の圧縮を行い、残差符号化信号１５３を生成する。予測残差符号化部１０２は、生成した残差符号化信号１５３を予測残差復号化部１０３および係数符号列生成部１０８に出力する。なお、予測残差符号化部１０２は、量子化値決定部１０６において決定された量子化値信号１５８を用いて、直交変換係数を量子化する。
【００２６】
予測残差復号化部１０３は、予測残差符号化部１０２から出力される残差符号化信号１５３に対して、逆量子化および逆直交変換することで差分画像情報の復元を行う。そして、生成した残差復号化信号１５４を加算演算部１１０に出力する。
【００２７】
加算演算部１１０は、残差復号化信号１５４と予測画像信号１５６を加算し、再構成画像信号１５５を生成する。再構成画像信号１５５には、第１ピクチャの再構成画像信号および、第２ピクチャの再構成画像信号がある。
【００２８】
復元部１１１は、加算演算部１１０から出力される再構成画像信号１５５および、分解部１６０から取得される情報に基づいて、分解部１６０に入力される第１フィールド画像、第２フィールド画像を復元する。以下、復元した第１フィールド画像を第１復元画像と称す。また、復元した第２フィールド画像を第２復元成画像と称す。また、復元部１１１は、第１復元画像および第２復元画像から構成されるフレーム画像を生成する。以下、このフレーム画像を復元フレーム画像と称す。
【００２９】
ローカルバッファ１０４は、復元部１１１が出力する第１復元画像、第２復元画像および復元フレーム画像を格納する。これら３種類の画像は、現在符号化対象となっているピクチャ以降のピクチャの符号化における予測符号化処理に用いられる。つまり、これらの画像は、現状符号化対象となっているピクチャ以降のピクチャを符号化する際、画素データとして参照される。ローカルバッファ１０４は、予測符号化部１０５からの読出し命令に応じて、格納する画像信号を画素データとして予測符号化部１０５出力する。
【００３０】
なお、ローカルバッファ１０４は、復元フレーム画像を蓄積する場合、上下に２分割して得られる２つの画像をそれぞれ蓄積する構成でも構わない。この場合、垂直方向の画面解像度および水平方向の画面解像度を第１復元画像または第２復元画像と合わせることができる。そのため、参照する際の制御を簡易にすることが可能となる。
【００３１】
予測符号化部１０５は、ピクチャメモリ１０１から出力される画像信号を基に、画面内予測、または画面間予測を用いて予測画像信号１５６を生成する。そして、予測符号化部１０５は、生成した予測画像信号１５６を差分演算部１０９および加算演算部１１０に出力する。なお、予測符号化部１０５は、画面間予測を用いる際は、ローカルバッファ１０４に蓄積される既に符号化済みの過去のピクチャであって、復元部１１１により配置変更済みの画像信号である参照ピクチャを用いる。また予測符号化部１０５は、画面内予測を用いる際は、符号化対象ＣＵに隣接する既に符号化済みのＣＵの現在のピクチャの再構成画像信号１５５を用いる。画面内予測を用いるか画面間予測を用いるかのモード判定方法については、どちらの予測方法がより残差信号の情報量を少なくすることができるかを予測して行われる。
【００３２】
予測符号化部１０５は、画面間予測する際、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｌｉｓｔを生成する。
【００３３】
ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｌｉｓｔとは、参照ピクチャと、当該参照ピクチャを一意に識別する参照インデックスを対応づけたリスト情報である。さらに、参照インデックスとは、参照ピクチャを一意に識別するインデックス情報である。
【００３４】
つまり、予測符号化部１０５は、画面間予測時に参照インデックスを指定することで目的の参照ピクチャを利用することができる。本実施形態の場合、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｌｉｓｔは、フィールド構造のブロックで利用する参照ピクチャおよびフレーム構造のブロックで利用する参照ピクチャに対応する複数の参照インデックスから構成される。
【００３５】
なお、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｌｉｓｔは、従来の符号化規格に記載されているように生成されても構わない。
【００３６】
ここで、参照インデックス情報は、ヘッダ符号列生成部１０７が生成する制御情報に含むようにするのが好ましい。
【００３７】
以下、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｌｉｓｔについて図面を参照しながら説明する。
【００３８】
図１１は、参照ピクチャに対する参照インデックスの割り振りの一例を示す図である。
【００３９】
図１１は、符号化対象の第１フィールド画像および第２フィールド画像が利用する参照ピクチャが、フィールド構造の第１参照ピクチャ１３０１、フィールド構造の第２参照ピクチャ１０３２、フィールド構造の第３参照ピクチャ１３０３およびフィールド構造の第４参照ピクチャ１３０４を示す。
【００４０】
ここで、第１参照ピクチャ１３０１および第２参照ピクチャ１３０２は、同じフレーム画像１３０５に属するものとする。また、第３参照ピクチャ１３０３および第４参照ピクチャ１３０４は、同じフレーム画像１３０６に属するものとする。
【００４１】
この場合、動画像符号化装置１００は、参照インデックス［０］から参照インデックス［５］が含まれるｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｌｉｓｔを生成する。
【００４２】
なお、参照インデックス［０］は、第１参照ピクチャ１３０１を示す。また、参照インデックス［１］は、第２参照ピクチャ１３０２を示す。参照インデックス［２］は、第３参照ピクチャ１３０３を示す。参照インデックス［３］は、第４参照ピクチャ１３０４を示す。さらに、参照インデックス［４］は、第１参照ピクチャおよび第２参照ピクチャから構成されるフレーム画像１３０５を示す。参照インデックス［５］は、第３参照ピクチャおよび第４参照ピクチャから構成されるフレーム画像１３０６を示す(図中の「参照インデックス（例1）」)。
【００４３】
なお、参照インデックス［４］および参照インデックス［５］に代えて、参照インデックス［４］から参照インデックス［７］を利用しても構わない。この場合、参照インデックス［４］は、第１参照ピクチャおよび第２参照ピクチャから構成されるフレーム画像のうち上半分の画像を示す。参照インデックス［５］は、第１参照ピクチャおよび第２参照ピクチャから構成されるフレーム画像のうち下半分の画像を示す。参照インデックス［６］は、第３参照ピクチャおよび第４参照ピクチャから構成されるフレーム画像のうち上半分の画像を示す。参照インデックス［７］は、第３参照ピクチャおよび第４参照ピクチャから構成されるフレーム画像のうち下半分の画像を示す。
【００４４】
なお、上記に説明したｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｌｉｓｔにおける参照インデックスの付与規則は、一例を示すものであり、上記の構成に限定されるものではない。つまり、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｌｉｓｔには、フィールド構造の参照ピクチャを示す参照インデックスと、フィールド構造の参照ピクチャから構成されるフレーム構造の参照ピクチャを示す参照インデックスが含まれる構成であればよい。
【００４５】
例えば、別の付与規則として図１１中の「参照インデックス（例２）」に示す構成が考えられる。
【００４６】
この場合、参照インデックス［０］は、第１参照ピクチャ１３０１を示す。また、参照インデックス［１］は、第２参照ピクチャ１３０２を示す。参照インデックス［２］は、第１参照ピクチャおよび第２参照ピクチャから構成されるフレーム画像１３０５を示す。さらに、参照インデックス［３］は、第３参照ピクチャ１３０３を示す。参照インデックス［４］は、第４参照ピクチャ１３０４を示す。そして、参照インデックス［５］は、第３参照ピクチャおよび第４参照ピクチャから構成されるフレーム画像１３０６を示す。
【００４７】
上記の場合においても、フレーム画像を複数に分割し、分割して得られるそれぞれの画像に対して参照インデックスを割り振る構成にしても構わない。例えば、フレーム画像をｎ分割する場合、分割して得られるｎ枚の画像それぞれに参照インデックスを割り振る構成になる。この場合、分割して得られる画像の画面解像度は、フィールド画像の画面解像度と同じであるのが好ましい。
【００４８】
量子化値決定部１０６は、ピクチャメモリ１０１に格納されるピクチャに基づいて、予測残差符号化部１０２において差分画像信号１５２を量子化する際の量子化値を設定する。量子化値決定部１０６は、設定した量子化値を予測残差符号化部１０２およびヘッダ符号列生成部１０７に出力する。なお、量子化値決定部１０６における量子化値の設定方法は、符号列信号１５９のビットレートが目標とするビットレートに近づくように量子化値を設定する、いわゆるレート制御に基づく量子化値の設定方法を利用しても構わない。
【００４９】
ヘッダ符号列生成部１０７は、予測符号化部１０５が出力する予測情報信号１５７と、量子化値決定部１０６が出力する量子化値信号１５８と、その他の符号化制御に関する制御情報を可変長符号化することで符号列を生成する。なお、予測情報信号１５７には、例えば画面内予測モード、画面間予測モード、動きベクトル、参照ピクチャを示す情報等が含まれる。
【００５０】
この参照ピクチャを示す情報とは、符号化対象のピクチャが利用することができる参照ピクチャを一意に特定するインデックス情報である。例えば、Ｈ．２６４符号化規格においては、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｌｉｓｔに関する情報となる。
【００５１】
また、制御情報は係数符号列生成部１０８における処理前までに取得可能な情報であって、ＣＵの符号化時に適用した符号化条件を示す情報である。例えばブロック符号化タイプ、ブロック分割情報等が含まれる。
【００５２】
係数符号列生成部１０８は、予測残差符号化部１０２が出力する残差符号化信号１５３を可変長符号化して得られる符号列を、ヘッダ符号列生成部１０７が生成した符号列に続けて追記することで最終的な符号列信号１５９を生成する。
【００５３】
差分演算部１０９は、ピクチャメモリ１０１から読み出された画像信号と、予測符号化部１０５の出力である予測画像信号１５６との差分値である差分画像信号１５２を生成し、予測残差符号化部１０２に出力する。
【００５４】
加算演算部１１０は、予測残差復号化部１０３から出力される残差復号化信号１５４と、予測符号化部１０５から出力される予測画像信号１５６とを加算することにより再構成画像信号１５５を生成し、復元部１１１に出力する。
【００５５】
以下、分解部１６０の詳細な動作について、図面を参照しながら説明する。
【００５６】
図２は、分解部１６０のブロック図である。分解部１６０は、切替部１６１、第１フィールド格納メモリ１６２、第２フィールド格納メモリ１６３、配置変更部１６４、第１ピクチャ格納メモリ１６５、第２ピクチャ格納メモリ１６６、切替部１６７を備える。
【００５７】
本装置の入力画像はインターレース画像を想定している。そのため、フレームを構成するフィールドのうち、時間的に先行する第１フィールド画像と、後行する第２フィールド画像とが、順番に本装置に入力される。
【００５８】
切替部１６１は、その入力が第１フィールド画像の場合、該入力を第１フィールド格納メモリ１６２へ出力する。一方、切替部１６１は、入力が第２フィールド画像の場合、該入力を第２フィールド格納メモ１６３へ出力する。
【００５９】
第１フィールド格納メモリ１６２と第１フィールド格納メモリ１６２とは、それぞれ、入力されたフィールド画像を保持する。
【００６０】
配置変更部１６４は、対になる２枚のフィールド画像が、第１フィールド格納メモリ１６２および第２フィールド格納メモリ１６３に格納された後、格納された２つのフィールド画像中の、対応する位置にある符号化単位ブロック毎に、処理Ａおよび処理Ｂのうちいずれかを実行する。
【００６１】
処理Ａは、配置を変更せず、そのまま第１ピクチャ格納メモリ１６５および第２ピクチャ格納メモリ１６６に該ブロック中の画素値を保持する動作である。
【００６２】
以下、処理Ａを、図３を用いて説明する。
【００６３】
図３に示すように、第１フィールド格納メモリ１６２には少なくともＣＵ４０１が蓄積される。また、第２フィールド格納メモリ１６３には少なくともＣＵ４０２が蓄積される。ここで、ＣＵ４０１およびＣＵ４０２は、水平４×垂直４画素で構成されるブロックとする。
【００６４】
上記のように画素が蓄積されている際、配置変更部１６４は、第１ピクチャ格納メモリ１６５におけるＣＵ４０３部分にＣＵ４０１の画素を格納する。さらに、配置変更部１６４は、第２ピクチャ格納メモリ１６６におけるＣＵ４０４部分にＣＵ４０２の画素を格納する。つまり、処理Ａでは、第１フィールド格納メモリ１６２に格納される画素と第２フィールド格納メモリ１６３に格納される画素を１つのＣＵに混ぜることなく、第１ピクチャ格納メモリ１６５および第２ピクチャ格納メモリ１６６に配置する。
【００６５】
以下、処理Ｂを、図４を用いて説明する。
【００６６】
図４に示すように、第１フィールド格納メモリ１６２には少なくともＣＵ５０１が蓄積される。また、第２フィールド格納メモリ１６３には少なくともＣＵ５０２が蓄積される。ここで、ＣＵ５０１およびＣＵ５０２は、水平４×垂直４画素で構成されるブロックとする。
【００６７】
上記のように画素が蓄積されている際、配置変更部１６４は、第１ピクチャ格納メモリ１６５におけるＣＵ５０３部分に、ＣＵ５０１におけるライン１およびライン３ならびにＣＵ５０２におけるライン２およびライン４の画素を格納する。なお、ＣＵ５０３に画素を格納する際、配置変更部１６４は、第１フィールド格納メモリ１６２に格納される画素と、第２フィールド格納メモリ１６３に格納される画素とを交互に配置する。つまり、配置変更部１６４は、ＣＵ５０３に格納される画素がフレーム画像となるように配置する。
【００６８】
また、配置変更部１６４は、第２ピクチャ格納メモリ１６６におけるＣＵ５０４部分に、ＣＵ５０１におけるライン５およびライン７ならびにＣＵ５０２におけるライン６およびライン８の画素を格納する。なお、ＣＵ５０４に画素を格納する際、配置変更部１６４は、第１フィールド格納メモリ１６２に格納される画素と、第２フィールド格納メモリ１６３に格納される画素とを交互に配置する。つまり、配置変更部１６４は、ＣＵ５０４に格納される画素がフレーム画像となるように配置する。
【００６９】
つまり、処理Ｂでは、第１フィールド格納メモリ１６２に格納される画素と第２フィールド格納メモリ１６３に格納される画素を１つのＣＵに混ぜ、第１ピクチャ格納メモリ１６５および第２ピクチャ格納メモリ１６６に配置する。
【００７０】
また、第１フィールド格納メモリ１６２および第２フィールド格納メモリ１６３に格納されている２枚のフィールド画像のうち、空間的に同じ位置に配置される２つＣＵが、処理Ａまたは処理Ｂの処理対象となる。
【００７１】
また、処理Ａまたは処理Ｂの選択方法は、Ｈ．２６４符号化規格におけるＭＢＡＦＦ方式でのフィールドペアとフレームペアの決定方法を利用することができる。例えば、処理対象のＣＵにおける動きが大きい場合は、処理Ａを選択する。逆に、処理対象のＣＵにおける動きが小さい場合は、処理Ｂを選択する。
【００７２】
切替部１６７は、最初に、第１ピクチャ格納メモリ１６５に蓄えられたピクチャを出力する。その後、ピクチャメモリ１０１以降での符号化処理が完了した後、第２ピクチャ格納メモリ１６６に蓄えられたピクチャを出力する。つまり、切替部１６７は、第１ピクチャ格納メモリ１６５に格納される画素をすべて出力した後、第２ピクチャ格納メモリ１６６に格納される画素を出力する。
【００７３】
ここで、分解部１６０において入力画像であるフィールド画像を分解する方法について、図５のフローチャートを用いて具体的に説明する。
【００７４】
まず、第１フィールド格納メモリ１６２は、切替部１６１から入力される第１フィールド画像を格納する（Ｓ６０１）。
【００７５】
次に、第２フィールド格納メモリ１６３は、切替部１６１から入力される第２フィールド画像を格納する（Ｓ６０２）。
【００７６】
そして、格納された第１フィールド画像および第２フィールド画像における対となるＣＵ毎に、処理Ａおよび処理Ｂのうちいずれか一方を決定する（Ｓ６０３）。
【００７７】
次に、Ｓ６０３における決定結果に基づき、対となる２つのＣＵに含まれる画素から、新たな２つのＣＵを生成し、第１ピクチャ格納メモリ１６５および第２ピクチャ格納メモリ１６６に格納する（Ｓ６０４）。
【００７８】
すべてのブロックについて上記処理が完了したかどうか判定（Ｓ６０５）し、否の場合はＳ６０３，Ｓ６０４を繰り返す。完了した場合は、第１ピクチャ格納メモリ１６５の画像を出力（Ｓ６０６）し、ピクチャメモリ１０１以降での符号化処理を行う（Ｓ６０７）。
【００７９】
Ｓ６０７が完了したら、第２ピクチャ格納メモリ１６６の画像を出力（Ｓ６０８）し、ピクチャメモリ１０１以降での符号化処理を行う（Ｓ６０９）。
【００８０】
以下、復元部１１１の具体的な構成について図面を参照しながら説明する。
【００８１】
図６は、復元部１１１の具体的構成を示す図である。
【００８２】
図６に示すように復元部１１１は、切替部１１１１、第１ピクチャ格納メモリ１１１２、第２ピクチャ格納メモリ１１１３、配置変更部１１１４、第１フィールド格納メモリ１１１５、第２フィールド格納メモリ１１１６および、合成部１１１７を備える。
【００８３】
切替部１１１１は、入力される画像を第１ピクチャ格納メモリ１１１２および第２ピクチャ格納メモリ１１１３のうちいずれか一方に振り分けを行う。具体的に、切替部１１１１は、入力される画像がＨ．２６４符号化規格が適用されている画像である場合、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）シンタックス中のｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇに基づき、振り分けを行う。例えば、ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇに基づいて、現在入力される画像がフィールド画像のうちトップフィールドであると判断すると、切替部１１１１は、第１ピクチャ格納メモリ１１１２に振り分ける。また、ｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇに基づいて、現在入力される画像がフレーム画像のうちボトムフィールドであると判断すると、切替部１１１１は、入力される画像を第２ピクチャ格納メモリ１１１３に振り分けを行う。
【００８４】
第１ピクチャ格納メモリ１１１２は、復元部１１１に入力された再構成画像信号のうち、第１ピクチャに対応するものを格納する。
【００８５】
また、第２ピクチャ格納メモリ１１１３は、第２ピクチャに対応するものを格納する。
【００８６】
配置変更部１１１４は、第１ピクチャ格納メモリ１１１２および第２ピクチャ格納メモリ１１１３に格納される第１ピクチャおよび第２ピクチャを並び替え、第１フィールド画像および第２フィールド画像を再構成した画像を生成する。つまり、配置変換部１１１４は、第１ピクチャ格納メモリ１１１２および第２ピクチャ格納メモリ１１１３に格納される第１ピクチャおよび第２ピクチャに基づいて、第１復元画像および第２復元画像を生成する。なお、配置変換部１１１４は、分解部１６０からの配置変更情報に基づき、復元を行う。
【００８７】
配置変換部１１１４は、第１復元画像を第１フィールド格納メモリ１１１５に出力する。また、配置変換部１１１４は、第２復元画像を第２フィールド格納メモリ１１１６に出力する。
【００８８】
第１フィールド格納メモリ１１１５は、配置変換部１１１４から出力される第１復元画像を蓄積する。
【００８９】
第２フィールド格納メモリ１１１６は、配置変換部１１１４から出力される第２復元画像を蓄積する。
【００９０】
合成部１１１７は、すべてのブロックについての処理が完了した時点で、第１フィールド格納メモリ１１１５に格納される第１復元画像および第２フィールド格納メモリ１１１６に格納される第２復元画像に基づいて、復元フレーム画像を生成する。
【００９１】
ここで、復元部１１１の具体的な動作について、図７のフローチャートを用いて説明する。
【００９２】
まず、第１ピクチャ格納メモリ１１１２は、切替部１１１１からの第１ピクチャに対応する再構成画像信号を格納する（Ｓ１９０１）。次に、第２ピクチャ格納メモリ１１１３は、切替部１１１１からの第２ピクチャに対応する再構成画像信号を格納する（Ｓ１９０２）。そして、格納された再構成画像信号での符号化単位ブロック毎に、分解部でこの符号化単位に施された配置変更方法を取得する（Ｓ１９０３）。そして、この配置変更方法の逆方向処理を行い、結果の画素値を第１フィールド格納メモリ１１１５と第２フィールド格納メモリ１１１６に格納する（Ｓ１９０４）。
【００９３】
すべてのブロックについて上記処理が完了したかどうか判定（Ｓ１９０５）し、否の場合はＳ１９０３およびＳ１９０４を繰り返す。完了した場合は、第１フィールド格納メモリ１１１５に格納される第１復元画像を出力し（Ｓ１９０６）、第２フィールド格納メモリ１１１６に格納される第２復元画像を出力（Ｓ１９０７）する。さらに、第１復元画像および第２復元画像に基づいて、復元フレーム画像を生成し出力する（Ｓ１９０８）。
【００９４】
以上の動作により、本実施形態の動画像符号化装置１００における復元部１１１は、入力される第１フィールド画像および第２フィールド画像を符号化した後、復号化して得られる第１復元画像および第２復元画像を取得することができる。さらに、復元部１１１は、第１復元画像および第２復元画像に基づいて、復元フレーム画像を生成することができる。このとき、ローカルバッファ１０４は第１復元画像、第２復元画像および復元フレーム画像を格納する。そのため、予測符号化部１０５において、参照ピクチャとしてフレーム構造の画像とフィールド構造の画像との両方を用いることができる。よって、符号化ブロックがフレーム・フィールドのどちらの構造であっても、より予測効率の高い参照画像を選択可能な構成となっている。
【００９５】
次に、図面を参照しながらヘッダ符号列生成部１０７が生成する制御信号の詳細について説明する。
【００９６】
図８は、ヘッダ符号列生成部１０７が生成する制御情報に含まれるｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇの一例を示した図である。
【００９７】
本識別子は、符号化対象のブロック毎に付加される識別子情報である。本識別子は、ブロックが処理Ａおよび処理Ｂのうち、どちらの処理方法で処理されたかを示す情報である。例えば、値０の場合は処理Ａで処理されたことを示す。一方、値１の場合は処理Ｂで処理されたことを示す。
【００９８】
図８は、ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇを入力ピクチャを構成するブロックの個数分である（（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｍｂｓ＿ｍｉｎｕｓ１  ＋１）×（ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｍａｐ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１  ＋１））個、符号列に含むよう、ループ処理を行っていることを示す。
【００９９】
なお、ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｅｎａｂｌｅは、処理Ａおよび処理Ｂの両方を用いているか否かを示す識別子情報である。つまり、ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｅｎａｂｌｅがオンの場合、符号化対象のブロックは、処理Ａおよび処理Ｂの２つを利用して符号化される。一方、オフの場合、符号化対象のブロックは、処理Ａのみを利用して符号化される。この場合には復元フレーム画像は生成させず、ローカルバッファに格納もされない。
【０１００】
図９は、ストリーム中での場所として、上述とは別の場所であるＳＥＩ（符号化に関する補助情報を格納する場所）に格納する場合である。同様に  ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇを個数分格納するようにしている。
【０１０１】
また、図１０は、マクロブロック層に格納する場合である。この場合、ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ（）自体がマクロブロック毎であるので、このシンタックス中でのループ処理は不要である。なお、マクロブロック層に格納する場合には、本機能のオンもしくはオフを表す  ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｅｎａｂｌｅの識別子については、ピクチャパラメータセット（図８）、もしくは、ＳＥＩ（図９）  のどちらかに挿入する必要がある。
【０１０２】
なお、図８、図９、図１０で説明したシンタックスおよび識別子の値については、本実施の形態を説明するための一例であり、ここに記載されている内容と異なるシンタックスや識別子の値を割り当てることによって同様の機能を実現してもよい。
【０１０３】
また、符号化効率向上のため、上記した識別子を算術符号化等するようにしてもよい。
【０１０４】
さらに、配置変更に関する情報は、第１ピクチャでの情報と第２ピクチャでの情報は同じものであるので、一方のピクチャに相当する符号列には格納しないようにしてもよい。
【０１０５】
なお、本実施形態によれば、ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｅｎａｂｌｅ＝１の場合、参照ピクチャとして復元フレーム画像が追加される。復元フレーム画像を参照可能とするため、例えば復元フレーム画像を示す参照インデックスを、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｌｉｓｔの最後尾に追加するようにしてもよい。
【０１０６】
本構成によれば、符号列中に配置変更に関する情報が含まれているため、後述する動画像復号化装置と組み合わせることにより、本実施例に係る動画像符号化装置で符号化した符号列を復号し配置変更を行うことにより、動画像を復号・表示可能となる。
【０１０７】
本実施形態における動画像符号化装置１００は、インターレース構造の動画像を符号化する動画像符号化装置であって、連続して入力される２つのフィールド画像であって、１つのフレーム画像を構成する際にペアとなる第１フィールド画像および第２フィールド画像を入力画像１５１として取得し、前記第１フィールド画像および前記第２フィールド画像から得られる符号化対象のピクチャ内において、（１）前記第１フィールド画像の画素および前記第２フィールド画像の画素が混在するフレーム構造のブロック単位で符号化する第１動作と、（２）前記第１フィールド画像の画素または前記第２フィールド画像の画素のみから構成されるフィールド構造のブロック単位で符号化する第２動作を選択的に切り換えて実行し、符号列を生成する。さらに動画像符号化装置１００は、前記フレーム構造のブロックおよび前記フィールド構造のブロックを符号化する際に共通して利用する複数の符号化用参照インデックスを割当て、前記割り当てられた符号化用参照インデックスは、前記フレーム構造のブロックまたは前記フィールド構造のブロックを画面間予測符号化する際に利用する参照ピクチャを一意に特定する情報であって、前記複数の符号化用参照インデックスは、フィールド構造の参照ピクチャを特定する符号化用参照インデックスおよびフレーム構造の参照ピクチャを特定する符号化用参照インデックスが含まれる。
【０１０８】
また、本実施形態における動画像符号化装置１００は、連続して入力される２つのフィールド画像であって、１つのフレーム画像を構成する際にペアとなる第１フィールド画像および第２フィールド画像から得られる符号化対象のピクチャ内において、（１）前記第１フィールド画像の画素および前記第２フィールド画像の画素が混在するフレーム構造のブロック単位で符号化する第１動作と、（２）前記第１フィールド画像の画素または前記第２フィールド画像の画素のみから構成されるフィールド構造のブロック単位で符号化する第２動作を選択的に切り換えて実行し、符号列を生成する動画像符号化装置であって、
既に生成された符号列の復号化後の情報に基づいて得られる参照ピクチャを蓄積するローカルバッファ１０４と、前記フレーム構造のブロックまたは前記フィールド構造のブロックを画面間予測符号化する際に利用する参照ピクチャを一意に特定する符号化用参照インデックスを複数割当て、割当てた複数の前記符号化用参照インデックスを用いて、前記符号化対象のピクチャを前記ブロック単位で画面間予測符号化する予測符号化部１０５と、を備え、複数の前記符号化用参照インデックスは、フィールド構造の参照ピクチャを特定する符号化用参照インデックスおよびフレーム構造の参照ピクチャを特定する符号化用参照インデックスが含まれる。
【０１０９】
上記のように構成することで、フィールド構造のブロックを符号化する場合と、フィールド構造のブロックを符号化する場合と、で符号化用参照インデックスを生成または変換する必要がなくなる。つまり、符号化するブロックがフィールド構造またはフレーム構造のいずれであっても、共通の符号化用参照インデックスを利用することができる。これにより、複雑な処理をすることなく符号化単位であるブロック毎に、フィールド構造の符号化とフレーム構造の符号化を切り換えることができる。
【０１１０】
また好ましくは、動画像符号化装置１００は、前記符号化対象のピクチャを、前記フレーム構造のブロックと前記フィールド構造のブロックが混在するピクチャとして符号化するか否かを示す判定識別子を生成し、前記判定識別子が混在することを示す場合、フレーム構造の参照ピクチャを特定する符号化用参照インデックスが含まれる複数の符号化用参照インデックスを割当てる。
【０１１１】
上記のように構成することで、符号化対象のピクチャがフレーム構造のブロックとフィールド構造のブロックで符号化される場合に、複数の符号化用参照インデックスにはフレーム構造の参照ピクチャを示す符号化用参照インデックスと、フィールド構造の参照ピクチャを示す符号化用参照インデックスが含まれる。このようにすれば、常にフレーム構造の参照ピクチャを示す符号化用参照インデックスと、フィールド構造の参照ピクチャを示す符号化用参照インデックスを割当てるよりも、出力する符号列のビット数を小さくすることができる。
【０１１２】
（復号化装置に関して）
以下、復号化装置について、図面を参照しながら説明する。
【０１１３】
図１２は、本実施形態に係る動画像復号化装置２００のブロック図である。動画像復号化装置２００は、実施の形態２で説明した動画像符号化装置によって生成された符号列に対し、ブロック単位で復号化処理し、出力画像を生成する。
【０１１４】
この動画像復号化装置２００は、ヘッダ符号列解析部２０１、係数符号列解析部２０２、予測残差復化部２０３、ピクチャメモリ２０４、予測復号化部２０５、量子化値決定部２０６、加算演算部２０７および、復元部２０８を備える。
【０１１５】
ヘッダ符号列解析部２０１は、入力されたブロック単位の符号列信号２５１のヘッダ領域に対して可変長復号化を施すことによりヘッダ情報の解析を行う。ヘッダ符号列解析部２０１は、解析して得られる予測情報信号２５６を予測復号化部２０５へ出力する。さらに、ヘッダ符号列解析部２０１は、解析して得られる量子化値情報を量子化値決定部２０６へ出力する。また、さらに、ヘッダ符号列解析部は、解析して得られるｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｅｎａｂｌｅおよび、ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｆｌａｇを復元部２０８へ出力する。
【０１１６】
係数符号列解析部２０２は、ヘッダ符号列解析部２０１によって解析されたヘッダ情報に続いて符号化されている係数符号列の解析を行う。このとき、係数符号列解析部２０２は、係数符号列が残差符号化信号の場合、当該残差符号化信号２５２を予測残差復号化部２０３へ出力する。
【０１１７】
予測残差復号化部２０３は、係数符号列解析部２０２から入力された残差符号化信号２５２に対して、逆量子化および逆直交変換することで差分画像情報の復号を行う。そして、予測残差復号化部２０３は、生成した残差復号化信号２５３を加算演算部２０７に出力する。このとき予測残差復号化部２０３は、量子化値決定部２０６において決定された量子化値信号２５７を用いて残差符号化信号２５２を逆量子化する。
【０１１８】
復元部２０８は、加算演算部２０７からブロック単位に順に入力される再構成画像信号に基づき、ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｅｎａｂｌｅ＝１の場合に後述する処理を行い、結果のピクチャをピクチャメモリ２０４に出力する。また、ｍｂ＿ｐａｉｒ＿ｄｅｃｏｍｐｏｓｉｔｉｏｎ＿ｅｎａｂｌｅ＝０  の場合には、何も処理せず、入力画像をピクチャメモリ２０４と予測符号化部２０５とに出力する。
【０１１９】
ピクチャメモリ２０４は、復元部２０８が出力するピクチャを、表示を行う順にピクチャ単位で並び替えを行って蓄積する。そして、ピクチャメモリ２０４は、蓄積している信号を出力画像信号２５８として外部に出力する。
【０１２０】
予測復号化部２０５は、ヘッダ符号列解析部２０１から出力された予測情報信号２５６を基に、画面内予測、または画面間予測を用いて予測画像信号２５４を生成する。そして、予測復号化部２０５は、生成した予測画像信号２５４を加算演算部２０７に出力する。なお、予測復号化部２０５は、画面間予測を用いる際、ピクチャメモリ２０４に蓄積される既に復号化済みの過去のピクチャの画像信号２６０を用いる。また、予測復号化部２０５は、画面内予測を用いる際、復号化対象ブロックに隣接する既に復号化済みのブロックの現在のピクチャの再構成画像信号２５９を用いる。これは、後述する復元部２０８の内部メモリのうち一方からの情報を選択して用いる。画面内予測を用いるか画面間予測を用いるかの判定については、入力される予測情報信号２５６に従って行われる。
【０１２１】
加算演算部２０７では、予測残差復号化部２０３から出力された残差復号化信号２５３と予測復号化部２０５から出力された予測画像信号２５４を加算することによって再構成画像信号２５５を生成する。生成された再構成画像信号２５５は復元部２０８にて後述する動作にてピクチャ毎に格納され、最終的にはピクチャメモリ２０４を経由してフィールド単位の出力画像信号２５８として表示装置に出力される。
【０１２２】
ここで、復元部２０８において、再構成画像がどのように処理されるかを、図１３を用いて説明する。図１３に示す復元部２０８は、切替部２０８１、第１ピクチャ格納メモリ２０８２、第２ピクチャ格納メモリ２０８３、配置変更部２０８４、第１フィールド格納メモリ２０８５、第２フィールド格納メモリ２０８６、切替部２０８８および、合成部２０８９を備える。
【０１２３】
第１ピクチャ格納メモリ２０８２は、復元部２０８に入力された再構成画像信号のうち、動画像符号化装置での第１ピクチャに対応するものを格納する。また、第２ピクチャ格納メモリ２０８３は、復元部２０８に入力された再構成画像信号のうち、第２ピクチャに対応するものを格納する。現在復号処理を行っているのがどちらであるかは、例えば、Ｈ．２６４符号化規格であれば、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）シンタックス中のｂｏｔｔｏｍ＿ｆｉｅｌｄ＿ｆｌａｇを用いて判断できる。すなわち、切替部２０８１  は、この情報に基づき制御する。同様に、面内予測での隣接画素を予測符号化部２０５に供給するための切替部２０８８も上記情報に基づき制御する。
【０１２４】
配置変更部２０８４は、第１ピクチャ格納メモリ２０８２および第２ピクチャ格納メモリ２０８３に格納される第１再構成画像および第２再構成画像を並び替え、第１フィールド画像および第２フィールド画像を復元した画像を生成する。つまり、配置変更部２０８４は、第１ピクチャ格納メモリ２０８２および第２ピクチャ格納メモリ２０８３に格納される第１再構成画像および第２再構成画像に基づいて、第１復元画像および第２復元画像を生成する。なお、配置変更部２０８４は、ヘッダ符号列解析部２１０からの配置変更情報に基づき、復元を行う。
【０１２５】
配置変更部２０８４は、第１復元画像を第１フィールド格納メモリ２０８５に出力する。また、配置変更部２０８４は、第２復元画像を第２フィールド格納メモリ２０８６に出力する。
【０１２６】
第１フィールド格納メモリ２０８５は、配置変更部２０８４から出力される第１復元画像を蓄積する。
【０１２７】
第２フィールド格納メモリ２０８６は、配置変更部２０８４から出力される第２復元画像を蓄積する。
【０１２８】
合成部２０８９は、すべてのブロックについての処理が完了した時点で、第１フィールド格納メモリ２０８５に格納される第１復元画像および第２フィールド格納メモリ２０８６に格納される第２復元画像に基づいて、復元フレーム画像を生成する。
【０１２９】
以上の動作により、本実施例によれば、符号列に格納された配置変更方法に基づき、対応する動画像符号化装置での処理と逆の配置変更を行うため、本実施例で説明した動画像符号化装置と対になる動画像復号化装置を提供することができる。
【０１３０】
（その他の実施形態）
さらに、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１３１】
また、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
【０１３２】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１３３】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【０１３４】
また、本発明は、上述した動画像符号化装置および動画像復号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。
【０１３５】
また、上記実施の形態に係る、動画像符号化装置および動画像復号化装置、またはその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【産業上の利用可能性】
【０１３６】
本発明は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、及びパーソナルコンピューター等における、入力画像を構成する各ピクチャを符号化して動画像符号化データとして出力する動画像符号化装置や、前記動画像符号化データを復号化して復号化画像を生成する動画像復号化装置として有用である。
【符号の説明】
【０１３７】
１００  動画像符号化装置
１０１  ピクチャメモリ
１０２  予測残差符号化部
１０３  予測残差復号化部
１０４  ローカルバッファ
１０５  予測符号化部
１０６  量子化値決定部
１０７  ヘッダ符号列生成部
１０８  係数符号列生成部
１０９  差分演算部
１１０  加算演算部
１５１  入力画像信号
１５２  差分画像信号
１５３  残差符号化信号
１５４  残差復号化信号
１５５  再構成画像信号
１５６  予測画像信号
１５７  予測情報信号
１５８  量子化値信号
１５９  符号列信号
２００  動画像復号化装置
２０１  ヘッダ符号列解析部
２０２  係数符号列解析部
２０３  予測残差復号化部
２０４  ピクチャメモリ
２０５  予測復号化部
２０６  量子化値決定部
２０７  加算演算部
２５１  符号列信号
２５２  残差符号化信号
２５３  残差復号化信号
２５４  予測画像信号
２５５  再構成画像信号
２５６  予測情報信号
２５７  量子化値信号
２５８  出力画像信号
【図１】
2012249221.tif 000003
【図２】
2012249221.tif 000004
【図３】
2012249221.tif 000005
【図４】
2012249221.tif 000006
【図５】
2012249221.tif 000007
【図６】
2012249221.tif 000008
【図７】
2012249221.tif 000009
【図１１】
2012249221.tif 000010
【図１２】
2012249221.tif 000011
【図１３】
2012249221.tif 000012
【図８】
2012249221.tif 000013
【図９】
2012249221.tif 000014
【図１０】
2012249221.tif 000015
【図１４】
2012249221.tif 000016