(57)【要約】【課題】量子化パラメータの符号化効率を向上させる。【解決手段】レート制御部１８は、符号化対象ブロックに対して量子化パラメータを設定する。情報生成部１９は、 符号化対象ブロックに対して空間的または時間的に隣接する符号化済みブロックの量子化パラメータを選択候補として、設定された量子化パラメータに応じて選択候補から選択した量子化パラメータを予測量子化パラメータに設定し、予測量子化パラメータと設定された量子化パラメータとの差分を示す差分情報を生成する。レート制御部１８で設定された量子化パラメータを用いて符号化対象ブロックの量子化を行うことにより生成されたストリーム情報に、情報生成部１９で生成された差分情報を含める。【選択図】        図３
2012170042.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象ブロックに対して量子化パラメータを設定する制御部と、
前記符号化対象ブロックに対して空間的または時間的に隣接する符号化済みブロックの量子化パラメータを選択候補として、該選択候補から前記設定された量子化パラメータに応じて予測量子化パラメータを選択し、該予測量子化パラメータと前記設定された量子化パラメータとの差分を示す差分情報を生成する情報生成部と、
前記設定された量子化パラメータを用いて前記符号化対象ブロックの符号化処理を行い生成されたストリーム情報に、前記差分情報を含める符号化部と
を有する画像符号化装置。
【請求項２】
前記情報生成部は、前記設定された量子化パラメータとの差分が最も小さい量子化パラメータを前記予測量子化パラメータとして選択する請求項１記載の画像符号化装置。
【請求項３】
前記情報生成部は、前記隣接する符号化済みのブロックを所定の並び順として、前記選択した量子化パラメータに対応するブロックの順番を示す識別情報を生成し、
前記符号化部は、前記ストリーム情報に前記識別情報を含める請求項２記載の画像符号化装置。
【請求項４】
前記情報生成部は、左側に隣接する符号化済みのブロックと、上側に隣接する符号化済みのブロックと、時間的に隣接する符号化済みのブロックのいずれかを優先させた並び順とする請求項３記載の画像符号化装置。
【請求項５】
前記情報生成部は、前記隣接する符号化済みのブロックの並び順を切り替え可能とする請求項３記載の画像符号化装置。
【請求項６】
前記情報生成部は、予め設定された順序で選択候補の判定を行い、判定結果に基づいてに前記予測量子化パラメータを選択する請求項１記載の画像符号化装置。
【請求項７】
前記情報生成部は、前記設定された量子化パラメータとの差分が最も小さい量子化パラメータを前記予測量子化パラメータとして選択する処理と、予め設定された順序で選択候補の判定を行い判定結果に基づいてに前記予測量子化パラメータを選択する処理を選択可能として、選択した処理を示す判別情報を生成し、
前記符号化部は、前記判別情報を前記ストリーム情報に含める請求項１記載の画像符号化装置。
【請求項８】
前記情報生成部は、前記隣接する符号化済みのブロックから、少なくとも量子化パラメータが重複するブロックまたは量子化パラメータを用いた量子化が行われないブロックを除外して選択候補とする請求項１記載の画像符号化装置。
【請求項９】
前記情報生成部は、前記選択候補がない場合、スライスにおける初期値の量子化パラメータと前記設定された量子化パラメータとの差分を示す差分情報を生成する請求項１記載の画像符号化装置。
【請求項１０】
前記情報生成部は、前記選択候補に最後に更新された量子化パラメータを含める請求項１記載の画像符号化装置。
【請求項１１】
符号化対象ブロックに対して量子化パラメータを設定する工程と、
前記符号化対象ブロックに対して空間的または時間的に隣接する符号化済みブロックの量子化パラメータを選択候補として、該選択候補から前記設定された量子化パラメータに応じて予測量子化パラメータを選択し、該予測量子化パラメータと前記設定された量子化パラメータとの差分を示す差分情報を生成する工程と、
前記設定された量子化パラメータを用いて前記符号化対象ブロックの符号化処理を行い生成されたストリーム情報に、前記差分情報を含める工程と
を含む画像符号化方法。
【請求項１２】
符号化対象画像を符号化してストリーム情報を生成する処理をコンピュータで実行させるプログラムであって、
符号化対象ブロックに対して量子化パラメータを設定する手順と、
前記符号化対象ブロックに対して空間的または時間的に隣接する符号化済みブロックの量子化パラメータを選択候補として、該選択候補から前記設定された量子化パラメータに応じて予測量子化パラメータを選択し、該予測量子化パラメータと前記設定された量子化パラメータとの差分を示す差分情報を生成する手順と、
前記設定された量子化パラメータを用いて前記符号化対象ブロックの符号化処理を行い生成されたストリーム情報に、前記差分情報を含める手順と
を前記コンピュータで実行させるプログラム。
【請求項１３】
復号対象ブロックに対して空間的または時間的に隣接する復号済みブロックの量子化パラメータを選択候補として、該選択候補から選択された予測量子化パラメータに対する差分を示す差分情報をストリーム情報から取り出す情報取得部と、
前記予測量子化パラメータと前記差分情報から、前記復号対象ブロックの量子化パラメータを算出する量子化パラメータ算出部と
を有する画像復号装置。
【請求項１４】
前記量子化パラメータ算出部は、前記隣接する復号済みのブロックを所定の並び順として、前記ストリーム情報に含まれている識別情報で示された順番の量子化パラメータを前記予測量子化パラメータに設定する請求項１３記載の画像復号装置。
【請求項１５】
前記量子化パラメータ算出部は、予め設定された順序で選択候補の判定を行い、判定結果に基づいて前記予測量子化パラメータを設定する請求項１３記載の画像復号装置。
【請求項１６】
前記量子化パラメータ算出部は、前記ストリーム情報に含まれている識別情報で示された順番の量子化パラメータを前記予測量子化パラメータに設定する処理と、予め設定された順序で選択候補の判定を行い判定結果に基づいてに前記予測量子化パラメータを設定する処理のいずれかを、前記ストリーム情報に含まれている判別情報に基づいて選択する請求項１３記載の画像復号装置。
【請求項１７】
前記量子化パラメータ算出部は、前記隣接する復号済みのブロックから、少なくとも量子化パラメータが重複するブロックまたは量子化パラメータを用いた逆量子化が行われないブロックを除外して前記選択候補とする請求項１３記載の画像符号化装置。
【請求項１８】
前記量子化パラメータ算出部は、前記選択候補がない場合、スライスにおける初期値の量子化パラメータを前記予測量子化パラメータとする請求項１３記載の画像復号装置。
【請求項１９】
前記量子化パラメータ算出部は、前記選択候補に最後に更新された量子化パラメータを含める請求項１３記載の画像復号装置。
【請求項２０】
前記量子化パラメータ算出部は、前記予測量子化パラメータに対して前記差分情報が示す差分を加算して前記復号対象ブロックの量子化パラメータを算出する請求項１３記載の画像復号装置。
【請求項２１】
復号対象ブロックに対して空間的または時間的に隣接する復号済みブロックの量子化パラメータを選択候補として、該選択候補から選択された予測量子化パラメータに対する差分を示す差分情報をストリーム情報から取り出す工程と、
前記予測量子化パラメータと前記差分情報から、前記復号対象ブロックの量子化パラメータを算出する工程と
を含む画像復号方法。
【請求項２２】
復号対象ブロックに対して空間的または時間的に隣接する復号済みブロックの量子化パラメータを選択候補として、該選択候補から選択された予測量子化パラメータに対する差分を示す差分情報が含まれたストリーム情報の復号処理をコンピュータで実行させるプログラムであって、
前記差分情報を前記ストリーム情報から取り出す手順と、
前記予測量子化パラメータと前記差分情報から、前記復号対象ブロックの量子化パラメータを算出する手順と
を前記コンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像符号化装置と画像復号装置およびその方法とプログラムに関する。詳しくは、量子化パラメータの符号化効率を向上させる。
【背景技術】
【０００２】
近年、画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を行う装置、例えば離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ等の方式に準拠した装置が、放送局や一般家庭において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。また、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
また、ＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われて、Ｈ．２６４およびＭＰＥＧ−４  Ｐａｒｔ１０（以下「Ｈ．２６４／ＡＶＣ（Advanced Video Coding)」と記す）という名の下に国際標準となった。
【０００５】
このＭＰＥＧやＨ．２６４／ＡＶＣでは、マクロブロックを量子化する際に、量子化ステップの大きさを変えて、圧縮率を一定とすることが可能とされている。また、ＭＰＥＧでは、量子化ステップに比例した量子化パラメータが用いられており、Ｈ．２６４／ＡＶＣでは量子化ステップが２倍となるとき、パラメータ値が「６」増加する量子化パラメータが用いられている。ＭＰＥＧやＨ．２６４／ＡＶＣでは、量子化パラメータを符号化することが行われている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−０９４０８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、量子化パラメータの符号化処理では、例えばデコード順序が図１に示すようにラスタスキャンであるとき、スライスの先頭のマクロブロックにおいて初期値の量子化パラメータSliceQPYが用いられる。その後、矢印が示すデコード順序で処理されて、左側に位置するマクロブロックとの量子化パラメータの差分値（mb_qp_delta）によって、当該マクロブロックの量子化パラメータが更新される。したがって、デコード順が右端のブロックから左端のブロックに移動したとき、画像が異なることから差分値が大きくなって符号化効率が悪化する場合がある。また、左側に位置するマクロブロックとの差分値が大きい場合も符号化効率が悪化する。
【０００８】
さらに、画像圧縮技術では、Ｈ．２６４／ＡＶＣ方式よりもさらに高い符号化効率を実現するＨＥＶＣ（High Efficiency Video Coding）の規格化も検討されている。このＨＥＶＣでは、マクロブロックの概念を拡張したコーディングユニット（ＣＵ：Coding Unit）と呼ばれる基本単位が定義されている。図２に示す各ブロックがコーディングユニットである場合、デコード順序は数字が「０」から順次増加するブロックの順序とされる。このようにデコード順序がラスタスキャンでない場合、例えばブロック「７」からブロック「８」、ブロック「１５」からブロック「１６」のように移動すると、空間的な距離が離れるため差分値が大きくなることが考えられる。
【０００９】
そこで、本技術では、量子化パラメータの符号化効率を向上させることを目的とする。
【課題を解決するための手段】
【００１０】
この技術の第１の側面は、符号化対象ブロックに対して量子化パラメータを設定する制御部と、前記符号化対象ブロックに対して空間的または時間的に隣接する符号化済みブロックの量子化パラメータを選択候補として、該選択候補から前記設定された量子化パラメータに応じて予測量子化パラメータを選択し、該予測量子化パラメータと前記設定された量子化パラメータとの差分を示す差分情報を生成する情報生成部と、前記設定された量子化パラメータを用いて前記符号化対象ブロックの符号化処理を行い生成されたストリーム情報に、前記差分情報を含める符号化部とを有する画像符号化装置にある。
【００１１】
この技術においては、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロックの量子化パラメータから、少なくとも量子化パラメータが重複するブロックまたは量子化パラメータを用いた量子化が行われないブロックが除外されて選択候補とされる。また、選択候補には最後に更新された量子化パラメータ等も含められる。この選択候補から設定された量子化パラメータとの差分が最も小さい量子化パラメータが予測量子化パラメータとして選択されて、選択候補から予測量子化パラメータを選択するための識別情報が生成される。例えば、隣接する符号化済みのブロックを所定の並び順として、選択した量子化パラメータに対応するブロックの順番が識別情報とされる。また、所定の並び順では、左側に隣接する符号化済みのブロックと、上側に隣接する符号化済みのブロックと、時間的に隣接する符号化済みのブロックのいずれかを優先させたいずれかの並び順とされる。また並び順は切り替え可能とされる。さらに、時間的に隣接する符号化済みのブロックの量子化パラメータをパラメータ値に応じて並べ替えて、選択した量子化パラメータの順番を識別情報としてもよい。また、予め設定された順序で選択候補の判定を行い、判定結果に基づいて予測量子化パラメータを選択することも可能とされる。さらに、画像符号化装置では、予測量子化パラメータと設定された量子化パラメータとの差分を示す差分情報が生成される。また選択候補がない場合、スライスにおける初期値の量子化パラメータと設定された量子化パラメータとの差分を示す差分情報が生成される。また、設定された量子化パラメータとの差分が最も小さい量子化パラメータを予測量子化パラメータに設定する処理と、予め設定された順序で選択候補の判定を行い判定結果に基づいて予測量子化パラメータを設定する処理を選択可能として、選択した処理を示す判別情報が生成される。生成された差分情報や識別情報、判別情報は、設定された量子化パラメータを用いて符号化対象ブロックの符号化処理を行い生成されたストリーム情報に含められる。
【００１２】
この技術の第２の側面は、符号化対象ブロックに対して量子化パラメータを設定する工程と、前記符号化対象ブロックに対して空間的または時間的に隣接する符号化済みブロックの量子化パラメータを選択候補として、該選択候補から前記設定された量子化パラメータに応じて予測量子化パラメータを選択し、該予測量子化パラメータと前記設定された量子化パラメータとの差分を示す差分情報を生成する工程と、前記設定された量子化パラメータを用いて前記符号化対象ブロックの符号化処理を行い生成されたストリーム情報に、前記差分情報を含める工程とを含む画像符号化方法にある。
【００１３】
この技術の第３側面は、符号化対象画像を符号化してストリーム情報を生成する処理をコンピュータで実行させるプログラムであって、符号化対象ブロックに対して量子化パラメータを設定する手順と、前記符号化対象ブロックに対して空間的または時間的に隣接する符号化済みブロックの量子化パラメータを選択候補として、該選択候補から前記設定された量子化パラメータに応じて予測量子化パラメータを選択し、該予測量子化パラメータと前記設定された量子化パラメータとの差分を示す差分情報を生成する手順と、前記設定された量子化パラメータを用いて前記符号化対象ブロックの符号化処理を行い生成されたストリーム情報に、前記差分情報を含める手順とを前記コンピュータで実行させるプログラムにある。
【００１４】
この技術の第４の側面は、復号対象ブロックに対して空間的または時間的に隣接する復号済みブロックの量子化パラメータを選択候補として、該選択候補から選択された予測量子化パラメータに対する差分を示す差分情報をストリーム情報から取り出す情報取得部と、前記予測量子化パラメータと前記差分情報から、前記復号対象ブロックの量子化パラメータを算出する量子化パラメータ算出部とを有する画像復号装置にある。
【００１５】
この技術においては、復号対象ブロックに対して空間的または時間的に隣接する復号済みのブロックの量子化パラメータである選択候補から選択された予測量子化パラメータに対する差分を示す差分情報がストリーム情報から取り出される。また、画像復号装置では、復号対象ブロックに対して空間的または時間的に隣接する復号済みのブロックの量子化パラメータから、少なくとも量子化パラメータが重複するブロックまたは量子化パラメータを用いた量子化が行われないブロックが除外されて選択候補とされる。予測量子化パラメータの設定は、例えば隣接する復号済みのブロックを所定の並び順として、ストリーム情報に含まれている識別情報で示された順番の量子化パラメータが予測量子化パラメータとして選択される。または、予め設定された順序で選択候補の判定を行い、判定結果に基づいて予測量子化パラメータが設定される。または、ストリーム情報に含まれている識別情報で示された順番の量子化パラメータを予測量子化パラメータに設定する処理と、予め設定された順序で選択候補の判定を行い判定結果に基づいて予測量子化パラメータを設定する処理のいずれかが、ストリーム情報に含まれている判別情報に基づいて選択される。さらに、画像復号装置では、予測量子化パラメータと差分情報が示す差分を加算して復号対象ブロックの量子化パラメータが算出される。また、選択候補がない場合、スライスにおける初期値の量子化パラメータが選択された量子化パラメータとして用いられる。また、選択候補に最後に更新された量子化パラメータを含めることも行われる。
【００１６】
この技術の第５の側面は、復号対象ブロックに対して空間的または時間的に隣接する復号済みブロックの量子化パラメータを選択候補として、該選択候補から選択された予測量子化パラメータに対する差分を示す差分情報をストリーム情報から取り出す工程と、前記予測量子化パラメータと前記差分情報から、前記復号対象ブロックの量子化パラメータを算出する工程とを含む画像復号方法にある。
【００１７】
この技術の第６の側面は、復号対象ブロックに対して空間的または時間的に隣接する復号済みブロックの量子化パラメータを選択候補として、該選択候補から選択された予測量子化パラメータに対する差分を示す差分情報が含まれたストリーム情報の復号処理をコンピュータで実行させるプログラムであって、前記差分情報を前記ストリーム情報から取り出す手順と、前記予測量子化パラメータと前記差分情報から、前記復号対象ブロックの量子化パラメータを算出する手順とを前記コンピュータで実行させるプログラムにある。
【００１８】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【発明の効果】
【００１９】
この技術によれば、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロックの量子化パラメータが選択候補とされて、選択候補から符号化対象ブロックに対して設定された量子化パラメータに応じて予測量子化パラメータが選択される。この予測量子化パラメータと符号化対象ブロックに対して設定された量子化パラメータとの差分を示す差分情報が生成される。したがって、量子化パラメータの差分が大きな値となってしまうことを防止することが可能となり、量子化パラメータの符号化効率を向上させることができる。
【００２０】
また、差分情報が含まれるストリーム情報を復号する場合、復号対象ブロックに対して空間的または時間的に隣接する復号済みのブロックの量子化パラメータから予測量子化パラメータが選択されて、予測量子化パラメータと差分情報から復号対象ブロックの量子化パラメータが算出される。したがって、量子化パラメータの符号化効率を向上させてストリーム情報が生成されても、このストリーム情報を復号する場合には予測量子化パラメータと差分情報に基づき量子化パラメータが復元されて正しく復号処理を行うことができる。
【図面の簡単な説明】
【００２１】
【図１】デコード順序がラスタスキャンである場合を示した図である。
【図２】デコード順序がラスタスキャンでない場合を例示した図である。
【図３】画像符号化装置の構成を示す図である。
【図４】情報生成部の構成を示す図である。
【図５】コーディングユニットの階層構造を例示した図である。
【図６】画像符号化装置の動作を示すフローチャートである。
【図７】予測処理を示すフローチャートである。
【図８】イントラ予測処理を示すフローチャートである。
【図９】インター予測処理を示すフローチャートである。
【図１０】情報生成部の動作を説明するための図である。
【図１１】情報生成部の動作例を示す図である。
【図１２】符号化における量子化パラメータについての処理を示すフローチャートである。
【図１３】シーケンスパラメータセットを例示した図である。
【図１４】フレーム符号化処理を示すフローチャートである。
【図１５】ピクチャパラメータセットを例示した図である。
【図１６】スライスヘッダを例示した図である。
【図１７】スライス符号化処理を示すフローチャートである。
【図１８】画像復号装置の構成を示した図である。
【図１９】量子化パラメータ算出部の構成を示す図である。
【図２０】画像復号装置の動作を示すフローチャートである。
【図２１】予測画像生成処理を示すフローチャートである。
【図２２】復号における量子化パラメータについての処理を示すフローチャートである。
【図２３】画像符号化装置の他の動作を説明するためのフローチャートである。
【図２４】暗黙的に量子化パラメータを予測する場合の動作例を示す図である。
【図２５】暗黙的に量子化パラメータを予測する場合のフローチャート例である。
【図２６】暗黙的に量子化パラメータを予測する場合の他の動作例を示している。
【図２７】プログラムを例示した図である。
【図２８】画像復号装置の他の動作を説明するためのフローチャートである。
【図２９】コンピュータ装置の概略構成を例示した図である。
【図３０】テレビジョン装置の概略構成を例示した図である。
【図３１】携帯電話機の概略構成を例示した図である。
【図３２】記録再生装置の概略構成を例示した図である。
【図３３】撮像装置の概略構成を例示した図である。
【発明を実施するための形態】
【００２２】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像符号化装置の構成
２．画像符号化装置の動作
３．量子化パラメータに基づく識別情報と差分情報の生成動作
４．画像復号装置の構成
５．画像復号装置の動作
６．画像符号化装置と画像復号装置の他の動作
７．ソフトウェア処理の場合
８．電子機器に適用した場合
【００２３】
＜１．画像符号化装置の構成＞
図３は、画像符号化装置の構成を示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並べ替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、加算部２３、デブロッキングフィルタ２４、フレームメモリ２６、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３を備えている。
【００２４】
Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。
【００２５】
画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部１３とレート制御部１８およびイントラ予測部３１と動き予測・補償部３２に出力する。
【００２６】
減算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。減算部１３は、画面並べ替えバッファ１２から出力された画像データと予測画像・最適モード選択部３３から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部１４に出力する。
【００２７】
直交変換部１４は、減算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
【００２８】
量子化部１５には、直交変換部１４から出力された変換係数データと、後述する情報生成部１９から量子化パラメータ（量子化スケール）が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８で設定された量子化パラメータに応じて量子化データのビットレートを変化させる。
【００２９】
可逆符号化部１６には、量子化部１５から量子化データ、後述する情報生成部１９から識別情報と差分情報、イントラ予測部３１から予測モード情報や動き予測・補償部３２から予測モード情報と差分動きベクトル等が供給される。また、予測画像・最適モード選択部３３から最適モードがイントラ予測であるかインター予測であるかを示す情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測モードや動き予測ユニットのブロックサイズ情報等が含まれる。
【００３０】
可逆符号化部１６は、量子化データに対して例えば可変長符号化または算術符号化等により可逆符号化処理を行い、ストリーム情報を生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、最適モードがイントラ予測である場合、イントラ予測部３１から供給された予測モード情報の可逆符号化を行う。また、可逆符号化部１６は、最適モードがインター予測である場合、動き予測・補償部３２から供給された予測モード情報や差分動きベクトル等の可逆符号化を行う。さらに、可逆符号化部１６は、量子化パラメータに関する情報例えば差分情報等の可逆符号化を行う。可逆符号化部１６は、可逆符号化後の情報をストリーム情報に含める。
【００３１】
蓄積バッファ１７は、可逆符号化部１６からのストリーム情報を蓄積する。また、蓄積バッファ１７は、蓄積したストリーム情報を伝送路に応じた伝送速度で出力する。
【００３２】
レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量が少なくなっている場合には量子化データのビットレートが低下して、空き容量が十分大きい場合には量子化データのビットレートが高くなるように量子化パラメータを設定する。また、レート制御部１８は、画面並べ替えバッファから供給された画像データを用いて画像の複雑度、例えば画素値の分散を示す情報であるアクティビティを検出する。レート制御部１８は、画像の複雑度の検出結果に基づき、例えば画素の分散値が低い画像部分は粗い量子化で、そうでない部分は細かい量子化となるように量子化パラメータを設定する。レート制御部１８は、設定した量子化パラメータを、情報生成部１９に出力する。
【００３３】
情報生成部１９は、レート制御部１８から供給された量子化パラメータを量子化部１５に出力する。また、情報生成部１９は、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロックの量子化パラメータを選択候補とする。情報生成部１９は、レート制御部１８で設定された量子化パラメータに応じて選択候補から量子化パラメータを選択して予測量子化パラメータとする。さらに、情報生成部１９は、選択した量子化パラメータに対応する識別情報、すなわち選択候補から予測量子化パラメータを選択するための識別情報と、予測量子化パラメータと設定された量子化パラメータとの差分を示す差分情報を生成する。
【００３４】
図４は、情報生成部の構成を示している。情報生成部１９は、量子化パラメータメモリ部１９１と差分演算部１９２を有している。情報生成部１９は、レート制御部１８から供給された量子化パラメータを量子化部１５に出力する。また、情報生成部１９は、レート制御部１８から供給された量子化パラメータを量子化パラメータメモリ部１９１と差分演算部１９２に供給する。
【００３５】
量子化パラメータメモリ部１９１は、供給された量子化パラメータを記憶する。差分演算部１９２は、量子化パラメータメモリ部１９１に記憶されている符号化済みのブロックの量子化パラメータから、符号化対象ブロックに対して空間的または時間的に周囲の符号化済みであるブロックの量子化パラメータを選択候補として読み出す。また、少なくとも量子化パラメータが重複するブロック、または量子化パラメータを用いた量子化が行われないブロック例えば量子化部１５で量子化する変換係数データが全て「０」であるブロックを選択候補から除外する。また、差分演算部１９２は、後述する動き予測・補償部３２と予測画像・最適モード選択部３３からの情報に基づきスキップ処理を行うと判別したブロック（以下「スキップブロック」という）を選択候補から除外する。
【００３６】
差分演算部１９２は、符号化対象ブロックの量子化パラメータすなわちレート制御部１８から供給された量子化パラメータに応じて、選択候補から量子化パラメータを選択して予測量子化パラメータとする。さらに、差分演算部１９２は、選択候補から予測量子化パラメータを選択するための識別情報と、予測量子化パラメータと符号化対象ブロックの量子化パラメータの差分を示す差分情報を生成して可逆符号化部１６に出力する。
【００３７】
図３に戻り、逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２２に出力する。
【００３８】
逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行い、得られたデータを加算部２３に出力する。
【００３９】
加算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算して復号画像データを生成して、デブロッキングフィルタ２４とイントラ予測部３１に出力する。なお、復号画像データは参照画像の画像データとして用いられる。
【００４０】
デブロッキングフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ２４は、加算部２３から供給された復号画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の復号画像データをフレームメモリ２６に出力する。
【００４１】
フレームメモリ２６は、デブロッキングフィルタ２４から供給されたフィルタ処理後の復号画像データを保持する。フレームメモリ２６に保持された復号画像データは、動き予測・補償部３２に参照画像データとして供給される。
【００４２】
イントラ予測部３１は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データと加算部２３から供給された参照画像データを用いて、候補となる全てのイントラ予測モードで予測を行い、最適イントラ予測モードを決定する。イントラ予測部３１は、例えば各イントラ予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるイントラ予測モードを最適イントラ予測モードとする。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、イントラ予測部３１は、最適イントラ予測モードを示す予測モード情報を可逆符号化部１６に出力する。
【００４３】
動き予測・補償部３２は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データとフレームメモリ２６から供給された参照画像データを用いて、候補となる全てのインター予測モードで予測を行い、最適インター予測モードを決定する。動き予測・補償部３２は、例えば各インター予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるインター予測モードを最適インター予測モードとする。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、動き予測・補償部３２は、最適インター予測モードに関する予測モード情報を可逆符号化部１６と情報生成部１９に出力する。
【００４４】
予測画像・最適モード選択部３３は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部３３は、最適モードで生成した予測画像データを減算部１３と加算部２３に出力する。さらに、予測画像・最適モード選択部３３は、最適モードがイントラ予測モードであるかインター予測モードであるかを示す情報を可逆符号化部１６と情報生成部１９に出力する。なお、予測画像・最適モード選択部３３は、スライス単位でイントラ予測またはインター予測の切り替えを行う。
【００４５】
＜２．画像符号化装置の動作＞
画像符号化装置では、例えばＨ．２６４／ＡＶＣ方式よりもマクロブロックの大きさを拡張して符号化処理を行う。図５はコーディングユニットの階層構造を例示している。なお、図５では、最大サイズが１２８画素×１２８画素、階層の深さ（Depth）が「５」である場合を示している。例えば、階層の深さが「０」である場合、２Ｎ×２Ｎ（Ｎ＝６４画素）のブロックがコーディングユニットＣＵ0とされる。また、split flag＝１とすると、コーディングユニットＣＵ0は４つの独立したＮ×Ｎのブロックに分割されて、Ｎ×Ｎのブロックが１つ下の階層のブロックとされる。すなわち、階層の深さが「１」とされて、２Ｎ×２Ｎ（Ｎ＝３２画素）のブロックがコーディングユニットＣＵ1とされる。同様に、split flag＝１とされると、４つの独立したブロックに分割される。さらに、最も深い階層である深さ「４」の場合、２Ｎ×２Ｎ（Ｎ＝４画素）のブロックがコーディングユニットＣＵ4とされて、８画素×８画素がコーディングユニットＣＵの最小サイズとなる。また、ＨＥＶＣでは、コーディングユニットを分割して予測用の基本単位である予測ユニット（ＰＵ：Prediction Unit）や、変換や量子化のための基本単位であるトランスフォームユニット（ＴＵ：Transform Unit）が定義されている。
【００４６】
次に、画像符号化装置の動作について、図６に示すフローチャートを用いて説明する。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
【００４７】
ステップＳＴ１２において画面並べ替えバッファ１２は、画像並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【００４８】
ステップＳＴ１３において減算部１３は、予測誤差データの生成を行う。減算部１３は、ステップＳＴ１２で並べ替えられた画像の画像データと予測画像・最適モード選択部３３で選択された予測画像データとの差分を算出して予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
【００４９】
ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、減算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
【００５０】
ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２５の処理で説明されるように、レート制御が行われる。
【００５１】
ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。
【００５２】
ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部２２は、逆量子化部２１により逆量子化された変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
【００５３】
ステップＳＴ１８において加算部２３は、参照画像データの生成を行う。加算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、復号データ（参照画像データ）を生成する。
【００５４】
ステップＳＴ１９においてデブロッキングフィルタ２４は、フィルタ処理を行う。デブロッキングフィルタ２４は、加算部２３より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
【００５５】
ステップＳＴ２０においてフレームメモリ２６は、参照画像データを記憶する。フレームメモリ２６はフィルタ処理後の復号データ（参照画像データ）を記憶する。
【００５６】
ステップＳＴ２１においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。予測処理は、図７を参照して後述するが、この処理により、候補となる全ての予測モードでの予測処理がそれぞれ行われ、候補となる全ての予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部３３に供給される。
【００５７】
ステップＳＴ２２において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードを決定する。すなわち、予測画像・最適モード選択部３３では、例えば図５に示す各階層から符号化効率が最良となるコーディングユニットと該コーディングユニットにおける予測ユニットのブロックサイズ、およびイントラ予測とインター予測のいずれかを行うか決定する。さらに、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを、減算部１３と加算部２３に出力する。この予測画像データが、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。
【００５８】
ステップＳＴ２３において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ圧縮される。また、可逆符号化部１６は、ステップＳＴ２２で選択された予測画像データに対応する予測モード情報等の可逆符号化を行い、量子化データを可逆符号化して生成されたストリーム情報に、予測モード情報等の可逆符号化データが含められる。
【００５９】
ステップＳＴ２４において蓄積バッファ１７は、蓄積処理を行う。蓄積バッファ１７は、可逆符号化部１６から出力されるストリーム情報を蓄積する。この蓄積バッファ１７に蓄積されたストリーム情報は、適宜読み出されて伝送路を介して復号側に伝送される。
【００６０】
ステップＳＴ２５においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７でストリーム情報を蓄積する場合、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化部１５の量子化動作のレートを制御する。
【００６１】
次に、図７のフローチャートを参照して、図６のステップＳＴ２１における予測処理を説明する。
【００６２】
ステップＳＴ３１において、イントラ予測部３１はイントラ予測処理を行う。イントラ予測部３１は符号化対象の予測ユニットの画像を、候補となる全てのイントラ予測モードでイントラ予測する。なお、イントラ予測において参照される復号画像の画像データは、デブロッキングフィルタ２４でブロッキングフィルタ処理が行われる前の復号画像データが用いられる。このイントラ予測処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのイントラ予測モードの中から、符号化効率が最良となる１つのイントラ予測モードが選択される。
【００６３】
ステップＳＴ３２において、動き予測・補償部３２はインター予測処理を行う。動き予測・補償部３２は、フレームメモリ２６に記憶されているデブロッキングフィルタ処理後の復号画像データを用いて、候補となるインター予測モードのインター予測処理を行う。このインター予測処理により、候補となる全てのインター予測モードで予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのインター予測モードの中から、符号化効率が最良となる１つのインター予測モードが選択される。
【００６４】
次に、図８のフローチャートを参照して、図７におけるステップＳＴ３１のイントラ予測処理について説明する。
【００６５】
ステップＳＴ４１でイントラ予測部３１は、各予測モードのイントラ予測を行う。イントラ予測部３１は、ブロッキングフィルタ処理前の復号画像データを用いて、イントラ予測モード毎に予測画像データを生成する。
【００６６】
ステップＳＴ４２でイントラ予測部３１は、各予測モードでのコスト関数値を算出する。コスト関数値の算出は、例えばＨ．２６４／ＡＶＣ方式における参照ソフトウェアであるＪＭ（Joint Model）で定められているように、High Complexityモードか、Low Complexityモードのいずれかの手法に基づいて行う。
【００６７】
すなわち、High Complexityモードにおいては、候補となる全ての予測モードに対して、仮に可逆符号化処理までを行い、次の式（１）で表されるコスト関数値を各予測モードに対して算出する。
Cost(Mode∈Ω)=Ｄ+λ・Ｒ            ・・・（１）
【００６８】
Ωは、当該予測ユニットの画像を符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の予測画像と入力画像との差分エネルギー（歪み）を示している。Ｒは、直交変換係数や予測モード情報等を含んだ発生符号量、λは、量子化パラメータの関数として与えられるラグランジュ乗数である。すなわち、High Complexityモードにおいては、ステップＳＴ４２の処理として、候補となる全ての予測モードに対して、仮に可逆符号化処理までを行い、上述の式（１）で表されるコスト関数値を各予測モードに対して算出する。
【００６９】
一方、Low Complexityモードにおいては、候補となる全ての予測モードで、予測画像の生成、および差分動きベクトルや予測モード情報などを含むヘッダビットの生成等を行い、次の式（２）で表されるコスト関数値を算出する。
Cost(Mode∈Ω)=Ｄ+QP2Quant(QP)・Header＿Bit      ・・・（２）
【００７０】
Ωは、当該予測ユニットの画像を符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の予測画像と入力画像との差分エネルギー（歪み）を示している。Header＿Bitは、予測モードに対するヘッダビット、QP2Quantは、量子化パラメータの関数として与えられる関数である。すなわち、Low Complexityモードにおいては、ステップＳＴ４２の処理として、候補となる全ての予測モードに対して、予測画像の生成および動きベクトルや予測モード情報などのヘッダビットを用いて、上述の式（２）で表されるコスト関数値を各予測モードに対して算出する。
【００７１】
ステップＳＴ４３でイントラ予測部３１は、最適イントラ予測モードを決定する。イントラ予測部３１は、ステップＳＴ４２において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つのイントラ予測モードを選択して最適イントラ予測モードに決定する。
【００７２】
次に、図９のフローチャートを参照して、図７におけるステップＳＴ３２のインター予測処理について説明する。
【００７３】
ステップＳＴ５１で動き予測・補償部３２は、動き検出処理を行う。動き予測・補償部３２は、動きベクトルを検出してステップＳＴ５２に進む。
【００７４】
ステップＳＴ５２で動き予測・補償部３２は、動き補償処理を行う。動き予測・補償部３２は、ステップＳＴ５１で検出した動きベクトルに基づき参照画像データを用いて動き補償を行い、予測画像データを生成する。
【００７５】
ステップＳＴ５３で動き予測・補償部３２は、コスト関数値の算出を行う。動き予測・補償部３２は、符号化対象である予測ユニットの入力画像データと、ステップＳＴ５２で生成した予測画像データ等を用いて、上述のようにコスト関数値を算出してステップＳＴ５４に進む。
【００７６】
ステップＳＴ５４で動き予測・補償部３２は、最適インター予測モードを決定する。動き予測・補償部３２は、ステップＳＴ５１からステップＳＴ５３までの処理を全てのインター予測モード毎に行う。動き予測・補償部３２は、予測モード毎に算出されたコスト関数値が最小値となる参照インデックス、コーディングユニットのブロックサイズ、当該コーディングユニットにおける予測ユニットのブロックサイズを判別して、最適インター予測モードを決定する。なお、コスト関数が最小となるモードの決定では、スキップモードでインター予測を行った場合のコスト関数値も用いる。
【００７７】
また、動き予測・補償部３２は、予測画像・最適モード選択部３３で最適インター予測モードが最適予測モードとして選択された場合、最適インター予測モードの予測画像データを減算部１３と加算部２３に供給できるように、予測画像データの生成を行う。
【００７８】
＜３．量子化パラメータに基づく識別情報と差分情報の生成動作＞
上述の画像符号化処理において、画像符号化装置１０は、ブロック毎に画像の複雑度に応じて適応量子化を行うように、量子化パラメータを設定する。また、画像符号化装置１０は、ステップＳＴ１５の量子化処理で用いる量子化パラメータの符号化効率を向上させるため、識別情報と差分情報を生成して可逆符号化してストリーム情報に含める。
【００７９】
次に、量子化パラメータの設定および識別情報と差分情報の生成について説明する。レート制御部１８は、例えばＭＰＥＧ２のＴＭ５で定められている符号量制御方式を用いて、量子化パラメータの設定を行う。
【００８０】
ＭＰＥＧ２のＴＭ５において定められているレート制御方式では、ステップ１〜ステップ３の処理が示されている。
【００８１】
ステップ１では、ＧＯＰ（Group Of Pictures）内の各ピクチャに対する割当符号量を、割当対象ピクチャを含めて、まだ符号化されていないピクチャに対して、割当られるビット量Ｒを基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。その際、以下の２つの仮定を用いて、各ピクチャへの符号量割当を行っている。
【００８２】
第１の仮定は、各ピクチャを符号化する際に用いる、平均量子化スケールコードと発生符号量との積は、画面が変化しない限り、ピクチャタイプ毎に一定となるという仮定である。
【００８３】
そこで、各ピクチャを符号化した後、ピクチャタイプ毎に、画面の複雑さを表す媒介変数ＸＩ，ＸＰ，ＸＢ（Global Complexity Measure）を式（３）〜（５）により更新する。この媒介変数により、次のピクチャを符号化する際の量子化スケールコードと発生符号量の関係を推定できる。
ＸＩ＝ＳＩ・ＱＩ    ・・・（３）
ＸＰ＝ＳＰ・ＱＰ    ・・・（４）
ＸＢ＝ＳＢ・ＱＢ    ・・・（５）
【００８４】
ここで、ＳＩ，ＳＰ，ＳＢは、ピクチャ符号化時の発生符号化ビット、ＱＩ，ＱＰ，ＱＢは、ピクチャ符号化時の平均量子化スケールコードである。また、初期値は、目標符号量であるbit_rate［bits/sec］を用いて、式下記（６），（７），（８）で示される値とする。
ＸＩ＝１６０×bit_rate／１１５    ・・・（６）
ＸＰ＝１６０×bit_rate／１１５    ・・・（７）
ＸＢ＝１６０×bit_rate／１１５    ・・・（８）
【００８５】
第２の仮定は、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率ＫＰ，ＫＢが、式（９）に定める値になるとき、常に全体の画質が最適化されると仮定する。
ＫＰ＝１．０；ＫＢ＝１．４    ・・・（９）
【００８６】
すなわち、Ｂピクチャの量子化スケールコードは、Ｉ，Ｐピクチャの量子化スケールコードの常に１．４倍としている。これは、ＢピクチャをＩ，Ｐピクチャに比較して多少粗めに量子化することにより、Ｂピクチャで節約できる符号量をＩ，Ｐピクチャに加えると、Ｉ，Ｐピクチャの画質が改善されるとともに、これを参照するＢピクチャの画質をも向上させることを想定している。
【００８７】
上記２つの仮定より、ＧＯＰ中の各ピクチャに対する割当符号量（ＴＩ，ＴＰ，ＴＢ）、式（１０），（１１），（１２）で示される値となる。なお、picture_rateは、当該シーケンスにおける、１秒あたり表示されるピクチャの数を示している。
【数１】
2012170042.tif 000003
【００８８】
ここで、ＮＰ，ＮＢは、ＧＯＰ内でまだ符号化されていない、Ｐ，Ｂピクチャの枚数である。すなわち、ＧＯＰ内の未符号化ピクチャのうち、割当対象となるピクチャと、異なるピクチャタイプのものに関しては、上述の画質最適化条件の元、そのピクチャの発生する符合量が、割当対象ピクチャの発生符号量の何倍となるかを推定する。次に、未符号化ピクチャ全体の発生する推定発生符号量が、割当対象ピクチャの何枚分の符号量に相当するかを求める。例えば、ＴＩに関する式の、第１引数の分母第２項、ＮｐＸｐ／ＸＩＫＰは、ＧＯＰ内の、ＮＰ枚の未符号化ピクチャが、Ｉピクチャに換算すると何枚分に換算するかを表している。また、ＮＰに、Ｐピクチャに対する発生符号量の、Ｉピクチャの発生符号量に対する割合ＳＰ／ＳＩを乗じて、上述のようにＸＩ，ＸＰ，ＫＰで表すことにより得られる。
【００８９】
割当対象ピクチャに対するビット量は、未符号化ピクチャに対する割当符号量Ｒを、この枚数で割ることによって得られる。但し、ヘッダなどに、固定的に必要となる符号量を考慮して、その値に下限を設定している。
【００９０】
このようにして求めた割当符号量を基にして、各ピクチャをステップ１，２にしたがって符号化する毎に、ＧＯＰ内の未符号化ピクチャに対して割当られる符号量Ｒを、式（１３）により更新する。
Ｒ＝Ｒ−ＳＩ，Ｐ，Ｂ    ・・・（１３）
【００９１】
また、ＧＯＰの最初のピクチャを符号化する際には、以下の式（１４）により、Ｒを更新する。
【数２】
2012170042.tif 000004
なお、ＮはＧＯＰ内のピクチャ数である。また、シーケンス最初でのＲの初期値は０とする。
【００９２】
次に、ステップ２について述べる。ステップ２では、ステップ１で求めた、各ピクチャに対する割当符号量（ＴＩ，ＴＰ，ＴＢ）を、実際の符号量に一致させるため量子化スケールコードを求める。量子化スケールコードは、ピクチャタイプ毎に、独立に設定した３種類の仮想バッファの容量を基に、マクロブロック単位のフィードバック制御により求める。
【００９３】
まず、ｊ番目のマクロブロック符号化に先立ち、仮想バッファの占有量を式（１５）〜（１７）により求める。
【数３】
2012170042.tif 000005
【００９４】
ｄ０Ｉ，ｄ０Ｐ，ｄ０Ｂは、各仮想バッファの初期占有量、Ｂｊは、ピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量、ＭＢｃｎｔは、１ピクチャ内のマクロブロック数である。
【００９５】
各ピクチャ符号化終了時の仮想バッファ占有量（ｄＭＢｃｎｔＩ，ｄＭＢｃｎｔｐ，ｄＭＢｃｎｔＢ）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ０Ｉ，ｄ０Ｐ，ｄ０Ｂ）として用いられる。
【００９６】
次に、ｊ番目のマクロブロックに対する参照量子化スケールコードＱｊを式（１８）により算出する。
【数４】
2012170042.tif 000006
【００９７】
ｒはリアクションパラメータと呼ばれるフィードバックループの応答速度を制御する媒介変数で、式（１９）により与えられる。
【数５】
2012170042.tif 000007
【００９８】
なお、シーケンスの最初における仮想バッファ初期値は式（２０）により与えられる。
【数６】
2012170042.tif 000008
【００９９】
次に、ステップ３について述べる。アクティビティは、原画の輝度信号画素値を用い、例えばフレームＤＣＴモードにおける４個の８×８ブロックと、フィールドＤＣＴ符号化モードにおける４個の８×８ブロックとの合計８個のブロックの画素値を用いて、式（２１）〜（２３）により与えられる。
【数７】
2012170042.tif 000009
【０１００】
式（２１）に示すvar_sblkは、各画素の画素データとその平均値との差分の自乗和であり、当該８×８ブロックの画像が複雑になるにしたがって値が大きくなる。式（２２），（２３）のＰｋは、原画の輝度信号ブロック内画素値である。式（２２）において最小値（min）を採るのは、１６×１６のマクロブロック内の一部だけでも平坦部分のある場合には量子化を細かくするためである。さらに、式（２４）により、その値が０．５〜２の範囲をとる正規化アクティビティＮａｃｔｊを求める。
【数８】
2012170042.tif 000010
【０１０１】
avg_actは、直前に符号化したピクチャでのアクティビティの平均値である。視覚特性を考慮した量子化スケールコードmquantjは、参照量子化スケールコードＱｊを基に式（２５）により与えられる。
【数９】
2012170042.tif 000011
【０１０２】
レート制御部１８は、上述のようにして算出した量子化スケールコードmquantjを量子化パラメータとして出力する。また、スライス境界に位置するマクロブロックについても、上述した手法で、スライス境界以外に位置するマクロブロックと同様に、量子化パラメータを生成する。なお、量子化パラメータは、上述のようにアクティビティに基づいて決定する場合に限らず、コスト関数値が小さくなるように決定してもよい。
【０１０３】
なお、上述のＭＰＥＧ２のＴＭ５において定められているレート制御方式の説明では、マクロブロック単位で処理が行われる場合について説明している。このため、量子化パラメータの切り替えが可能なブロック単位で同様な処理を行うことで、量子化パラメータの切り替えが可能なブロック毎に量子化パラメータを設定できる。
【０１０４】
次に、量子化パラメータの符号化効率を向上させるために用いる情報の生成動作について説明する。情報生成部１９は、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みの量子化パラメータを選択候補とする。また、情報生成部１９は、符号化対象ブロックに対して設定された量子化パラメータに応じて選択候補から量子化パラメータを選択して予測量子化パラメータとする。さらに、情報生成部１９は、選択候補から予測量子化パラメータを選択するための識別情報と、予測量子化パラメータと符号化対象ブロックに設定された量子化パラメータとの差分を示す差分情報を生成する。
【０１０５】
図１０は、情報生成部の動作を説明するための図であり、符号化対象フレームと、表示順序で最も時間の近い符号化済みフレームを示している。符号化対象フレームにおける符号化対象ブロックの量子化パラメータを例えば「ＱＰ_O」とする。また、左に隣接する符号化済みブロックの量子化パラメータを例えば「ＱＰ_A」とする。同様に、上、右上、左上、左下に隣接する符号化済みブロックの量子化パラメータを例えば「ＱＰ_B」「ＱＰ_C」「ＱＰ_D」「ＱＰ_E」とする。また、時間的に隣接する符号化済みブロックの量子化パラメータを「ＱＰ_T」とする。なお、符号化対象フレームにおける符号化対象ブロックの符号化を行うとき、量子化パラメータ「ＱＰ_A」〜「ＱＰ_E」，「ＱＰ_T」は、量子化パラメータメモリ部１９１に記憶されている。また、各ブロックは、量子化パラメータを変えられる最小単位のブロックとする。
【０１０６】
差分演算部１９２は、符号化対象ブロックと隣接する符号化済みのブロックの量子化パラメータを選択候補として、符号化対象ブロックに設定された量子化パラメータとの差分が最も小さい量子化パラメータを選択候補から選択して予測量子化パラメータとする。差分演算部１９２は、選択候補から予測量子化パラメータを選択するための識別情報と、予測量子化パラメータと符号化対象ブロックの量子化パラメータとの差分を示す差分情報を生成する。
【０１０７】
図１１は、情報生成部の動作例を示す図である。なお、スキップブロックや残差情報がないためブロックに対して量子化パラメータが設定されていない場合を「−」として示している。
【０１０８】
符号化対象ブロックをブロックＢＫOとすると、符号化済みブロックの量子化パラメータは、「ＱＰ_A＝３２」，「ＱＰ_B＝４０」，「ＱＰ_C＝４０」，「ＱＰ_D＝３５」，「ＱＰ_E＝−」，「ＱＰ_T＝３１」となる。ここで、情報生成部１９は、スキップブロックや残差情報がないため量子化パラメータが設定されていないブロックおよび量子化パラメータが重複するブロックを候補から除外する。したがって、選択候補は、量子化パラメータ「ＱＰ_A＝３２」，「ＱＰ_B＝４０」，「ＱＰ_D＝３５」，「ＱＰ_T＝３１」の符号化済みブロックとなる。また、情報生成部１９は、選択候補に対して予め識別情報例えばインデックス番号を設定する。識別情報は、隣接する符号化済みのブロックに対して設定してもよく、隣接する符号化済みのブロックの量子化パラメータに対して設定してもよい。
【０１０９】
隣接する符号化済みのブロックに対して識別情報を設定する場合、情報生成部１９は、隣接する符号化済みのブロックを所定の並び順として、並び順にインデックス番号を予め設定する。所定の並び順は、例えば左側に隣接する符号化済みのブロックと、上側に隣接する符号化済みのブロックと、時間的に隣接する符号化済みのブロックのいずれかを優先させた並び順とする。また、情報生成部１９は、並び順を切り替え可能としてもよい。並び順を切り替え可能とする場合、どのような並び順であるかを示す情報をストリーム情報に含める。また、可逆符号化部１６と情報生成部１９は、優先させたブロックの識別情報を符号化したときの符号量が少なくなるように識別情報の設定や可逆符号化を行う。
【０１１０】
差分演算部１９２は、選択候補から符号化対象ブロックの量子化パラメータとの差分が最も小さくなる候補を選択して、選択した候補に対して設定されている識別情報を用いることで、選択候補から予測量子化パラメータを選択するための識別情報の生成を行う。また、差分演算部１９２は、選択した候補の量子化パラメータである予測量子化パラメータと符号化対象ブロックの量子化パラメータとの差分を示す差分情報を生成する。例えば、図１１において左側に隣接する符号化済みのブロックを優先させた場合、情報生成部１９は、「０（インデックス番号）：ＱＰ_Aのブロック」「１：ＱＰ_Bのブロック」「２：ＱＰ_Dのブロック」「３：ＱＰ_Tのブロック」とする。また、例えば符号化対象ブロックの量子化パラメータが「３３」であると、差分演算部１９２は、符号化対象ブロックの量子化パラメータとの差分が最も小さいブロックのインデックス番号を、選択候補から予測量子化パラメータを選択するための識別情報「０（インデックス番号）」とする。また、差分演算部１９２は、予測量子化パラメータと符号化対象ブロックの量子化パラメータとの差分を示す差分情報「１（＝３３−３２）」を生成する。
【０１１１】
このように、隣接する符号化済みのブロックに対して識別情報を設定することで、量子化パラメータの符号化効率を高めることが可能となる。例えば左側のブロックを優先させて、量子化パラメータ「ＱＰ_A」「ＱＰ_B」「ＱＰ_C」「ＱＰ_D」「ＱＰ_E」「ＱＰ_T」のブロック順とすると、左側のブロックの画像と近似している符号化対象ブロックが多い画像でデータ量が少なくなる。また、上側のブロックを優先させて量子化パラメータ「ＱＰ_B」「ＱＰ_A」「ＱＰ_C」「ＱＰ_D」「ＱＰ_E」「ＱＰ_T」のブロック順とすると、上側のブロックの画像と近似している符号化対象ブロックが多い画像でデータ量が少なくなる。さらに、時間的に隣接するブロックを優先させて量子化パラメータ「ＱＰ_T」「ＱＰ_A」「ＱＰ_B」「ＱＰ_C」「ＱＰ_D」「ＱＰ_E」のブロック順とすると、時間的に隣接するブロックの画像と近似している符号化対象ブロックが多い画像、すなわち静止している被写体が多い画像でデータ量が少なくなる。
【０１１２】
隣接する符号化済みのブロックの量子化パラメータに対して予め識別情報を設定する場合、情報生成部１９は、隣接する符号化済みのブロックを所定の並び順としてインデックス番号を設定する。例えば、情報生成部１９は、パラメータ値が小さい量子化パラメータから順に並べてインデックス番号を設定する。すなわち、図１１の場合、情報生成部１９は、「０（インデックス番号）：３２（量子化パラメータ）」「１：４０」「２：３５」「３：３１」のようにインデックス番号を設定する。
【０１１３】
差分演算部１９２は、選択候補から符号化対象ブロックの量子化パラメータとの差分が最も小さくなる候補を選択して、選択した候補に対して設定されている識別情報を用いることで、選択候補から予測量子化パラメータを選択するための識別情報の生成を行う。また、差分演算部１９２は、予測量子化パラメータと符号化対象ブロックの量子化パラメータとの差分を示す差分情報を生成する。例えば、符号化対象ブロックの量子化パラメータが「３３」であると、差分演算部１９２は、識別情報として「０（インデックス番号）」と差分情報「１（＝３３−３２）」を生成する。
【０１１４】
また、選択候補がない場合、差分演算部１９２は、スライスにおける初期値の量子化パラメータSliceQPYと設定された量子化パラメータとの差分を示す差分情報を生成する。
【０１１５】
図１２は、符号化における量子化パラメータについての処理を示すフローチャートである。ステップＳＴ６１で画像符号化装置１０は、量子化パラメータユニット最小サイズ（MinQpUnitSize）を求めるための情報を生成する。量子化パラメータユニット最小サイズは、適応的に量子化パラメータが切り替えられる最小のサイズである。
【０１１６】
画像符号化装置１０は、量子化パラメータユニット最小サイズ（MinQpUnitSize）を求めるための情報として、例えばトランスフォームユニット最小サイズ（MinTransformUnitSize）との差分を用いる。
【０１１７】
量子化パラメータユニット最小サイズ（MinQpUnitSize）は、式（２６）によって決定される。
MinQpUnitSize＝1<<(log2_min_transform_unit_size_minus2
＋log2_min_qp_unit_size_offset＋2) ・・・（２６）
なお、式（２６）における「log2_min_transform_unit_size_minus2」は、トランスフォームユニット最小サイズ（MinTransformUnitSize）を決めるパラメータである。
【０１１８】
トランスフォームユニット最小サイズ（MinTransformUnitSize）は、式（２７）によって決定される。
MinTransformUnitSize＝1<<(log2_min_transform_unit_size_minus2
＋2)・・・（２７）
【０１１９】
量子化パラメータユニット最小サイズ（MinQpUnitSize）とトランスフォームユニット最小サイズ（MinTransformUnitSize）との差分は、式（２６）（２７）から明らかなように、「log2_min_qp_unit_size_offset」に相当する。なお、量子化パラメータは、トランスフォームユニット（ＴＵ）単位で用いられる。すなわちトランスフォームユニット内では量子化パラメータが変わらない。
【０１２０】
また、量子化パラメータユニット最小サイズ（MinQpUnitSize）は、コーディングユニットサイズに応じて決定するようにしてもよい。この場合、画像符号化装置１０は、量子化パラメータユニット最小サイズ（MinQpUnitSize）を求めるための情報として、例えばコーディングユニットCＵの最小サイズを規定する情報（log2_min_coding_block_size_minus3）、およびコーディングユニットＣＵの最大サイズを規定する情報（log2_diff_max_min_coding_block_size）を用いる。なお、コーディングユニットＣＵの最大サイズ「log2MaxCUSize」は式（２８）となる。
log2MaxCUSize ＝ log2_min_coding_block_size_minus 3 + 3
+ log2_diff_max_min_coding_block_size  ・・・（２８） 
【０１２１】
量子化パラメータユニット最小サイズの対数値（log2MinQpUnitSize）は、式（２９）によって決定される。
log2MinQpUnitSize＝ log2_min_coding_block_size_minus 3 + 3
+ log2_diff_max_min_coding_block_size 
- log2_min_qp_unit_size_offset          ・・・（２９）
【０１２２】
したがって、「log2_min_qp_unit_size_offset」を大きすれば量子化パラメータユニット最小サイズが小さくなる。例えば、コーディングユニットCＵの最小サイズが「８×８」で最大サイズが「６４×６４」の場合、「log2_min_qp_unit_size_offset」を「１」とすれば量子化パラメータユニット最小サイズは「３２×３２」となる。また、「log2_min_qp_unit_size_offset」を「２」とすれば量子化パラメータユニット最小サイズは「１６×１６」となる。
【０１２３】
ステップＳＴ６２で画像符号化装置１０は、生成された情報をストリーム情報に含める処理を行う。画像符号化装置１０は、「log2_min_qp_unit_size_offset」やトランスフォームユニット最小サイズ（MinTransformUnitSize）を決めるパラメータである「log2_min_qp_unit_size_offset」をストリーム情報に含めてステップＳＴ６３に進む。また、コーディングユニットサイズに応じて量子化パラメータユニット最小サイズを決定する場合は、「log2_min_coding_block_size_minus3」「log2_diff_max_min_coding_block_size」「log2_min_qp_unit_size_offset」をストリーム情報に含める。画像符号化装置１０は、生成された情報を、例えばＲＢＳＰ(raw byte sequence payload)のシンタックスとして定義されているシーケンスパラメータセット（SPS：sequence parameter set）に含める。なお、なお、図１３はシーケンスパラメータセットを例示している。
【０１２４】
ステップＳＴ６３で画像符号化装置１０は、符号化するフレームが存在するか判別する。画像符号化装置１０は、符号化するフレームが存在する場合はステップＳＴ６４に進み図１４に示すフレーム符号化処理を行い、存在しない場合は符号化処理を終了する。
【０１２５】
図１４のフレーム符号化処理において、ステップＳＴ７１で画像符号化装置１０は符号化するスライスが存在するか判別する。画像符号化装置１０は、符号化するスライスが存在する場合はステップＳＴ７２に進み、存在しない場合は当該フレームの符号化処理を終了する。
【０１２６】
ステップＳＴ７２で画像符号化装置１０は、符号化するスライスの量子化パラメータを決定する。画像符号化装置１０は、目標符号量となるようにスライスにおける初期値の量子化パラメータを決定してステップＳＴ７３に進む。
【０１２７】
ステップＳＴ７３で画像符号化装置１０は、「slice_qp_delta」を算出する。スライスにおける初期値の量子化パラメータSliceQPYは、式（３０）に示す関係を有しており、「pic_init_qp_minus26」は、予めユーザ等によって設定される。したがって、画像符号化装置１０は、ステップＳＴ７２よって決定された量子化パラメータとなるように「slice_qp_delta」を算出してステップＳＴ７４に進む。
SliceQPY＝２６＋pic_init_qp_minus26＋slice_qp_delta    ・・・（３０）
【０１２８】
ステップＳＴ７４で画像符号化装置１０は、「slice_qp_delta」と「pic_init_qp_minus26」をストリーム情報に含める。画像符号化装置１０は、算出した「slice_qp_delta」をストリーム情報の例えばスライスヘッダに含める。また、画像符号化装置１０は、設定されている「pic_init_qp_minus26」をストリーム情報の例えばピクチャパラメータセットに含める。このように、「slice_qp_delta」と「pic_init_qp_minus26」をストリーム情報に含めことで、ストリーム情報の復号を行う画像復号装置では、式（３０）の演算を行うことで、スライスにおける初期値の量子化パラメータSliceQPYを算出できる。なお、図１５はシーケンスパラメータセット、図１６はスライスヘッダを例示している。
【０１２９】
ステップＳＴ７５で画像符号化装置１０は、スライス符号化処理を行う。図１７はスライス符号化処理を示すフローチャートである。
【０１３０】
図１７のステップＳＴ８１で画像符号化装置１０は、符号化するコーディングユニットＣＵが存在するか判別する。画像符号化装置１０は、符号化処理するスライスにおいて、符号化処理が行われていないコーディングユニットが存在する場合はステップＳＴ８２に進む。また、画像符号化装置１０は、スライス内の全てのコーディングユニットの符号化処理が完了している場合は、スライス符号化処理を終了する。
【０１３１】
ステップＳＴ８２で画像符号化装置１０は、符号化するコーディングユニットＣＵにトランスフォームユニットＴＵが存在するか判別する。画像符号化装置１０は、トランスフォームユニットが存在する場合はステップＳＴ８３に進み、トランスフォームユニットが存在しない場合はステップＳＴ８７に進む。例えば量子化パラメータを用いて量子化する係数が全て「０」である場合やスキップブロックである場合はステップＳＴ８７に進む。
【０１３２】
ステップＳＴ８３で画像符号化装置１０は、符号化するコーディングユニットＣＵの量子化パラメータを決定する。画像符号化装置１０のレート制御部１８は、上述のようにコーディングユニットの画像の複雑さに応じて、あるいはコスト関数値が小さくなるように量子化パラメータを決定してステップＳＴ８４に進む。
【０１３３】
ステップＳＴ８４で画像符号化装置１０は、選択候補に識別情報を設定する。画像符号化装置１０の情報生成部１９は、符号化するコーディングユニットに対して空間的または時間的に周囲の符号化済みのコーディングの量子化パラメータを選択候補とする。また、情報生成部１９は、スキップブロックや残差情報がないためブロックに対して量子化パラメータが設定されていない場合、および量子化パラメータが他の候補と等しい場合、これらを選択候補から除外する。画像符号化装置１０は、選択候補に対して識別情報例えばインデックス（ref_qp_block_index）を設定してステップＳＴ８５に進む。
【０１３４】
ステップＳＴ８５で画像符号化装置１０は、識別情報と差分情報を生成する。画像符号化装置１０の情報生成部１９は、符号化対象のコーディングユニットの量子化パラメータとの差分が最も小さくなる候補を選択候補から選択して予測量子化パラメータとする。情報生成部１９は、選択した候補のインデックス（ref_qp_block_index）を、選択候補から予測量子化パラメータを選択するための識別情報として用いることで識別情報の生成を行う。また、情報生成部１９は、予測量子化パラメータと符号化するコーディングユニットの量子化パラメータとの差分（qb_qp_delta）を差分情報としてステップＳＴ８６に進む。ここで、判別した候補のインデックス（ref_qp_block_index）で示される予測量子化パラメータを「ref_qp（ref_qp_block_index）」とすると、符号化対象のコーディングユニットの量子化パラメータ（CurrentQP）は、式（３１）に示す関係となる。
CurrentQP＝qb_qp_delta＋ref_qp（ref_qp_block_index）  ・・・（３１）
【０１３５】
ステップＳＴ８６で画像符号化装置１０は、識別情報と差分情報をストリーム情報に含める。画像符号化装置１０の可逆符号化部１６は、情報生成部１９で生成された識別情報と差分情報を可逆符号化してストリーム情報に含めてステップＳＴ８７に進む。
【０１３６】
ステップＳＴ８７で画像符号化装置１０は、決定された量子化パラメータを用いてコーディングユニットについての量子化を量子化部１５で行いステップＳＴ８１に戻る。
【０１３７】
このように、画像符号化装置１０は、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロックの量子化パラメータから、符号化対象ブロックの量子化パラメータとの差分が最も小さくなる候補を予測量子化パラメータとして選択する。また、画像符号化装置１０は、選択した量子化パラメータに対応する識別情報を生成する。さらに、画像符号化装置１０は、予測量子化パラメータと符号化対象ブロックの量子化パラメータとの差分を示す差分情報を生成する。画像符号化装置１０は、生成した識別情報と差分識別をストリーム情報に含める。このように、差分が最も小さくなる候補が予測量子化パラメータとして選択されることから、予測量子化パラメータと符号化対象ブロックの量子化パラメータとの差分が大きな値となってしまうことを防止することが可能となる。したがって、画像符号化装置１０は、量子化パラメータの符号化効率を向上させることができる。
【０１３８】
＜４．画像復号装置の構成＞
次に、画像符号化装置から出力されるストリーム情報の復号処理を行う画像復号装置について説明する。入力画像を符号化して生成されたストリーム情報は、所定の伝送路や記録媒体等を介して画像復号装置に供給されて復号される。
【０１３９】
図１８は、ストリーム情報の復号処理を行う画像復号装置の構成を示している。画像復号装置５０は、蓄積バッファ５１、可逆復号部５２、逆量子化部５３、逆直交変換部５４、加算部５５、デブロッキングフィルタ５６、画面並べ替えバッファ５７、ディジタル／アナログ変換部（Ｄ／Ａ変換部）５８を備えている。さらに、画像復号装置５０は、量子化パラメータ算出部５９、フレームメモリ６１、イントラ予測部７１、動き補償部７２、セレクタ７３を備えている。
【０１４０】
蓄積バッファ５１は、伝送されてきたストリーム情報を蓄積する。可逆復号部５２は、蓄積バッファ５１より供給されたストリーム情報を、図３の可逆符号化部１６の符号化方式に対応する方式で復号する。
【０１４１】
可逆復号部５２は、情報取得部として動作を行いストリーム情報から種々の情報を取得する。例えば、可逆復号部５２は、ストリーム情報を復号して得られた予測モード情報をイントラ予測部７１や動き補償部７２に出力する。また、可逆復号部５２は、ストリーム情報を復号して得られた差分動きベクトルや閾値または閾値生成情報を動き補償部７２に出力する。また、可逆復号部５２は、ストリーム情報を復号して得られた量子化パラメータに関する情報例えば差分情報等を量子化パラメータ算出部５９に出力する。さらに、可逆復号部５２は、ストリーム情報を復号して得られた量子化データを逆量子化部５３に出力する。
【０１４２】
逆量子化部５３は、量子化パラメータ算出部５９から供給された量子化パラメータを用いて、図３の量子化部１５の量子化方式に対応する方式で、可逆復号部５２から供給された量子化データの逆量子化を行う。逆直交変換部５４は、図３の直交変換部１４の直交変換方式に対応する方式で逆量子化部５３の出力を逆直交変換して加算部５５に出力する。
【０１４３】
加算部５５は、逆直交変換後のデータとセレクタ７３から供給される予測画像データを加算して復号画像データを生成してデブロッキングフィルタ５６とイントラ予測部７１に出力する。
【０１４４】
デブロッキングフィルタ５６は、加算部５５から供給された復号画像データに対してデブロッキングフィルタ処理を行い、ブロック歪みを除去してからフレームメモリ６１に供給し蓄積させるとともに、画面並べ替えバッファ５７に出力する。
【０１４５】
画面並べ替えバッファ５７は、画像の並べ替えを行う。すなわち、図３の画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、Ｄ／Ａ変換部５８に出力される。
【０１４６】
Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７から供給された画像データをＤ／Ａ変換し、図示せぬディスプレイに出力することで画像を表示させる。
【０１４７】
量子化パラメータ算出部５９は、可逆復号部５２から供給された情報に基づき量子化パラメータを復元して逆量子化部５３に出力する。図１９は、量子化パラメータ算出部の構成を示しており、量子化パラメータ算出部５９は演算部５９１と量子化パラメータメモリ部５９２を有している。
【０１４８】
演算部５９１は、可逆復号部５２から供給された情報と量子化パラメータメモリ部５９２に記憶されている量子化パラメータを用いて、復号対象ブロックで行われている符号化における量子化で用いられた量子化パラメータを復元して逆量子化部５３に出力する。また、演算部５９１は、復号対象ブロックの量子化パラメータを量子化パラメータメモリ部５９２に記憶させる。
【０１４９】
演算部５９１は、例えばピクチャパラメータセットから取り出した「pic_init_qp_minus26」と、スライスヘッダから取り出した「slice_qp_delta」を用いて、式（３０）の演算を行い、量子化パラメータSliceQPYを算出して逆量子化部５３に出力する。
【０１５０】
また、演算部５９１は、可逆復号部５２から供給された識別情報および差分情報と、量子化パラメータメモリ部５９２に記憶されている復号済みのブロックの量子化パラメータを用いて、復号対象ブロックの量子化パラメータを算出する。演算部５９１は、算出した量子化パラメータを逆量子化部５３に出力する。この場合、演算部５９１は、量子化パラメータメモリ部５９２に記憶されている復号済みのブロックの量子化パラメータから、復号対象ブロックに対して空間的または時間的に周囲の復号済みであるブロックの量子化パラメータを読み出す。演算部５９１は、差分演算部１９２と同様にして選択候補を設定する。例えば演算部５９１は、少なくとも量子化パラメータが重複するブロックまたは量子化パラメータを用いた逆量子化が行われないブロックを除外して選択候補とする。さらに、演算部５９１は、各候補の量子化パラメータに対して差分演算部１９２と等しい識別情報例えばインデックス（ref_qp_block_index）を設定する。すなわち、演算部５９１は、隣接する復号済みのブロックを所定の並び順として、インデックス（ref_qp_block_index）を設定する。演算部５９１は、可逆復号部５２から供給された識別情報に対応する量子化パラメータ「ref_qp（ref_qp_block_index）」、すなわち予測量子化パラメータと、可逆復号部５２から供給された差分情報で示された差分（qb_qp_delta）を用いて式（３１）の演算を行う。演算部９１は、算出した量子化パラメータ（CurrentQP）を復号対象の量子化パラメータとして逆量子化部５３に出力する。また、選択候補がない場合、演算部５９１は、スライスにおける初期値の量子化パラメータを逆量子化部５３に出力する。
【０１５１】
また、演算部５９１は、ストリーム情報からブロックの並び順を指定する情報が取り出されている場合、復号済みのブロックを指定された並び順として、インデックス（ref_qp_block_index）を設定する。このようにすれば、画像符号化装置１０で並び順が変更されても、画像復号装置５０は、画像符号化装置１０で用いられた量子化パラメータを復元できる。
【０１５２】
図１８に戻り、フレームメモリ６１は、デブロッキングフィルタ２４でフィルタ処理が行われた後の復号画像データを参照画像データとして記憶する。
【０１５３】
イントラ予測部７１は、可逆復号部５２から供給された予測モード情報と加算部５５から供給された復号画像データに基づいて予測画像データの生成を行い、生成した予測画像データをセレクタ７３に出力する。
【０１５４】
動き補償部７２は、可逆復号部５２から供給された予測モード情報や差分動きベクトルに基づきフレームメモリ６１から参照画像データを読み出して動き補償を行い、予測画像データを生成する。動き補償部７２は、生成した予測画像データをセレクタ７３に出力する。また、動き補償部７２は、動きベクトルの大きさに応じて、フィルタ特性を切り替えて予測画像データの生成を行う。
【０１５５】
セレクタ７３は、可逆復号部５２から供給された予測モード情報に基づき、イントラ予測である場合はイントラ予測部７１、インター予測である場合は動き補償部７２を選択する。セレクタ７３は、選択されたイントラ予測部７１または動き補償部７２で生成された予測画像データを加算部５５に出力する。
【０１５６】
セレクタ７３は、可逆復号部５２から供給された予測モード情報に基づき、イントラ予測である場合はイントラ予測部７１、インター予測である場合は動き補償部７２を選択する。セレクタ７３は、選択されたイントラ予測部７１または動き補償部７２で生成された予測画像データを加算部５５に出力する。
【０１５７】
＜５．画像復号装置の動作＞
次に、図２０のフローチャートを参照して、画像復号装置５０の動作について説明する。
【０１５８】
ステップＳＴ９１で蓄積バッファ５１は、供給されたストリーム情報を蓄積する。ステップＳＴ９２で可逆復号部５２は、可逆復号処理を行う。可逆復号部５２は、蓄積バッファ５１から供給されるストリーム情報を復号する。すなわち、図３の可逆符号化部１６により符号化された各ピクチャの量子化データが得られる。また、可逆復号部５２、ストリーム情報に含まれている予測モード情報等の可逆復号を行い、得られた予測モード情報がイントラ予測モードに関する情報である場合、予測モード情報をイントラ予測部７１に出力する。また、可逆復号部５２は、予測モード情報がインター予測モードに関する情報である場合、予測モード情報を動き補償部７２に出力する。さらに、可逆復号部５２は、ストリーム情報を復号して得られた差分動きベクトルや閾値または閾値生成情報を動き補償部７２に出力する。
【０１５９】
ステップＳＴ９３において逆量子化部５３は、逆量子化処理を行う。逆量子化部５３は、可逆復号部５２により復号された量子化データを、図３の量子化部１５の特性に対応する特性で逆量子化する。
【０１６０】
ステップＳＴ９４において逆直交変換部５４は、逆直交変換処理を行う。逆直交変換部５４は、逆量子化部５３により逆量子化された変換係数データを、図３の直交変換部１４の特性に対応する特性で逆直交変換する。
【０１６１】
ステップＳＴ９５において加算部５５は、復号画像データの生成を行う。加算部５５は、逆直交変換処理を行うことにより得られたデータと、後述するステップＳＴ９９で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
【０１６２】
ステップＳＴ９６においてデブロッキングフィルタ５６は、フィルタ処理を行う。デブロッキングフィルタ５６は、加算部５５より出力された復号画像データのデブロッキングフィルタ処理を行い、復号画像に含まれているブロック歪みを除去する。
【０１６３】
ステップＳＴ９７においてフレームメモリ６１は、復号画像データの記憶処理を行う。なお、フレームメモリ６１に記憶された復号画像データや加算部５５から出力される復号画像データは、参照画像データとして予測画像データの生成で用いられる。
【０１６４】
ステップＳＴ９８においてイントラ予測部７１と動き補償部７２は、予測画像生成処理を行う。イントラ予測部７１と動き補償部７２は、可逆復号部５２から供給される予測モード情報に対応してそれぞれ予測画像生成処理を行う。
【０１６５】
すなわち、可逆復号部５２からイントラ予測の予測モード情報が供給された場合、イントラ予測部７１は、予測モード情報に基づいて予測画像データを生成する。また、可逆復号部５２からインター予測の予測モード情報が供給された場合、動き補償部７２は、予測モード情報に基づき動き補償を行い、予測画像データを生成する。
【０１６６】
ステップＳＴ９９において、セレクタ７３は予測画像データの選択を行う。セレクタ７３は、イントラ予測部７１から供給された予測画像と動き補償部７２から供給された予測画像データの選択を行い、選択した予測画像データを加算部５５に供給して、上述したように、ステップＳＴ９５において逆直交変換部５４の出力と加算させる。
【０１６７】
ステップＳＴ１００において画面並べ替えバッファ５７は、画像並べ替えを行う。すなわち画面並べ替えバッファ５７は、図３の画像符号化装置１０の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０１６８】
ステップＳＴ１０１において、Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７からの画像データをＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０１６９】
次に、図２１のフローチャートを参照して、図２０のステップＳＴ９８の予測画像生成処理について説明する。
【０１７０】
ステップＳＴ１１１で可逆復号部５２は、復号対象ブロックがイントラ符号化されているか否かを判定する。可逆復号部５２は、可逆復号を行うことにより得られた予測モード情報がイントラ予測の予測モード情報である場合、予測モード情報をイントラ予測部７１に供給してステップＳＴ１１２に進む。また、可逆復号部５２は、予測モード情報がインター予測の予測モード情報である場合、予測モード情報を動き補償部７２に供給してステップＳＴ１１３に進む。
【０１７１】
ステップＳＴ１１２でイントラ予測部７１は、イントラ予測画像生成処理を行う。イントラ予測部７１は、加算部５５から供給されたデブロックフィルタ処理前の復号画像データと予測モード情報を用いてイントラ予測を行い、予測画像データを生成する。
【０１７２】
ステップＳＴ１１３で動き補償部７２は、インター予測画像生成処理を行う。動き補償部７２は、可逆復号部５２から供給された予測モード情報等の情報に基づいて、フレームメモリ６１から参照画像データを読み出して予測画像データの生成を行う。
【０１７３】
図２２は、復号における量子化パラメータについての処理を示すフローチャートである。ステップＳＴ１２１で画像復号装置５０は、量子化パラメータユニット最小サイズを求めるための情報の取り出しを行う。画像復号装置５０は、符号化パラメータユニット最小サイズを求めるための情報、例えば「log2_min_qp_unit_size_offset」をストリーム情報から取り出してステップＳＴ１２２に進む。
【０１７４】
ステップＳＴ１２２で画像復号装置５０は、量子化パラメータユニット最小サイズを算出する。画像復号装置５０は、「log2_min_qp_unit_size_offset」と、トランスフォームユニット最小サイズ（MinTransformUnitSize）を決めるパラメータ「log2_min_transform_unit_size_minus2」を用いて式（２６）の演算を行い、量子化パラメータユニット最小サイズ（MinQpUnitSize）を算出する。また、画像復号装置５０は、式（２９）の演算によって量子化パラメータユニット最小サイズ（MinQpUnitSize）を算出してもよい。
【０１７５】
ステップＳＴ１２３で画像復号装置５０は、復号するフレームが存在するか判別する。画像復号装置５０は、復号するフレームが存在する場合にはステップＳＴ１２４に進み、復号するフレームが存在しない場合には処理を終了する。
【０１７６】
ステップＳＴ１２４で画像復号装置５０は、復号するスライスが存在するか判別する。画像復号装置５０は、復号するスライスが存在する場合にはステップＳＴ１２５に進み、復号するスライスが存在しない場合にはステップＳＴ１２３に戻る。
【０１７７】
ステップＳＴ１２５で画像復号装置５０は、スライスにおける初期値の量子化パラメータを求めるための情報の取り出しを行う。画像復号装置５０の可逆復号部５２は、例えばピクチャパラメータセット（PPS：picture parameter set）から「pic_init_qp_minus26」を取り出す。またスライスヘッダから「slice_qp_delta」を取り出してステップＳＴ１２６に進む。
【０１７８】
ステップＳＴ１２６で画像復号装置５０は、スライスにおける初期値の量子化パラメータを算出する。画像復号装置５０の量子化パラメータ算出部５９は、「pic_init_qp_minus26」と「slice_qp_delta」を用いて式（３０）の演算を行い、量子化パラメータSliceQPYを算出してステップＳＴ１２７に進む。
【０１７９】
ステップＳＴ１２７で画像復号装置５０は、復号するコーディングユニットＣＵが存在するか判別する。画像復号装置５０は、復号するコーディングユニットが存在する場合にはステップＳＴ１２８に進み、存在しない場合にはステップＳＴ１２４に戻る。
【０１８０】
ステップＳＴ１２８で画像復号装置５０は、選択候補に識別情報を設定する。画像復号装置５０の量子化パラメータ算出部５９は、画像符号化装置１０の情報生成部１９と同様にして、選択候補に識別情報を設定する。すなわち、量子化パラメータ算出部５９は、復号するコーディングユニットに対して空間的または時間的に周囲の復号済みのコーディングの量子化パラメータを候補とする。また、量子化パラメータ算出部５９は、スキップブロックや残差情報がないためブロックに対して量子化パラメータが設定されていない場合、および量子化パラメータが他の候補と等しい場合、候補から除外する。量子化パラメータ算出部５９は、各候補の量子化パラメータに対して画像符号化装置１０と等しい識別情報例えばインデックス（ref_qp_block_index）を設定してステップＳＴ１２９に進む。
【０１８１】
ステップＳＴ１２９で画像復号装置５０は、識別情報と差分情報を取得する。画像復号装置５０の可逆復号部５２は、画像符号化装置１０でストリーム情報に含められた識別情報と差分情報、すなわちインデックス（ref_qp_block_index）と差分（qb_qp_delta）を取り出す。可逆復号部５２は、取り出した識別情報と差分情報を量子化パラメータ算出部５９に供給してステップＳＴ１３０に進む。
【０１８２】
ステップＳＴ１３０で画像復号装置５０は、識別情報と差分情報を用いて量子化パラメータの算出を行う。画像復号装置５０の量子化パラメータ算出部５９は、識別情報であるインデックス（ref_qp_block_index）に対応する量子化パラメータ「ref_qp（ref_qp_block_index）」と、差分情報である差分（qb_qp_delta）を用いて、式（３１）の演算を行う。すなわち、予測量子化パラメータに対して差分を加算することで、復号対象のコーディングユニットの量子化パラメータを算出する。量子化パラメータ算出部５９は、算出された復号対象のコーディングユニットの量子化パラメータ（CurrentQP）を逆量子化部５３に出力してステップＳＴ１２４に戻る。
【０１８３】
このように、ストリーム情報に含まれた識別情報と差分情報を利用することで、ストリーム情報に各ブロックの量子化パラメータが含まれていなくとも復号対象ブロックに関する量子化パラメータを復元することができる。すなわち、画像符号化装置１０で識別情報と差分情報を用いることで量子化パラメータの符号化効率が向上されていても、画像復号装置５０では、各ブロックに関する量子化パラメータを復元して正しく復号処理を行い復号画像を生成できる。
【０１８４】
＜６．画像符号化装置と画像復号装置の他の動作＞
上述の画像符号化装置と画像復号装置の動作では、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロックの量子化パラメータを選択候補とする。また、符号化対象ブロックに対して設定された量子化パラメータに応じて選択候補から選択した量子化パラメータを予測量子化パラメータとする。さらに、選択候補から予測量子化パラメータを選択するための識別情報と、予測量子化パラメータと符号化対象ブロックに対して設定された量子化パラメータとの差分を示す差分情報をストリーム情報に含めることで、量子化パラメータの符号化効率の向上がはかられている。
【０１８５】
しかし、選択候補は空間的または時間的に隣接する符号化済みのブロックの量子化パラメータに限らず、最後に更新された量子化パラメータを選択候補に含めてもよい。最後に更新された量子化パラメータを選択候補に含めることで、後述するように、空間的または時間的に隣接する符号化済みのブロックが逆量子化を伴わないブロックであっても、符号化対象ブロックに近い位置のブロックの量子化パラメータを予測量子化パラメータとして設定できる。さらに、選択候補の量子化パラメータから暗黙的または明示的に量子化パラメータを予測して、予測した量子化パラメータと符号化対象ブロックの量子化パラメータとの差分を示す差分情報を生成してもよい。
【０１８６】
次に、画像符号化装置と画像復号装置の他の動作として、量子化パラメータユニット最小サイズ（MinQpUnitSize）を、コーディングユニットサイズに応じて決定して、選択候補の量子化パラメータから暗黙的または明示的に予測量子化パラメータを選択する場合について説明する。以下、上述の画像符号化装置と画像復号装置に対する相違部分について説明する。
【０１８７】
画像符号化装置は、選択候補の量子化パラメータから暗黙的または明示的に予測量子化パラメータを選択する場合、量子化パラメータを暗黙的に決定するか明示的に決定するかを示す判別情報「qp_explicit_flag」をストリーム情報に含める。また、画像符号化装置と画像復号装置で、量子化パラメータを暗黙的に決定するか明示的に決定するか予め決めておくようにしてもよい。
【０１８８】
暗黙的に量子化パラメータを決定するとは、選択候補から予測量子化パラメータを選択するための識別情報を画像符号化装置から画像復号装置に供給することなく、画像復号装置で画像符号化装置と等しい予測量子化パラメータを選択できることを意味する。具体的には、選択候補から予め決められた優先順位に基づいて量子化パラメータ選択して予測量子化パラメータを決定する方法、選択候補の量子化パラメータの統計値を予測量子化パラメータとする方法、現在のブロックからの距離に応じて選択候補の量子化パラメータの重み付けを行い、重み付け後の量子化パラメータの統計値を予測量子化パラメータとする方法等が用いられる。
【０１８９】
明示的に量子化パラメータを決定するとは、選択候補から予測量子化パラメータを選択するための識別情報を画像符号化装置から画像復号装置に供給することで、画像復号装置が画像符号化装置と等しい予測量子化パラメータを選択できることを意味する。具体的には、画像符号化装置で選択候補を指定するインデックス情報を計算してストリーム情報に含めて、画像復号装置では、予測量子化パラメータとしてインデックス情報で示された選択候補の量子化パラメータを用いる方法、量子化が行われないブロックに対してインデックス情報を含めない方法等が用いられる。
【０１９０】
図２３は、画像符号化装置の他の動作を説明するためのフローチャートであり、スライス符号化処理を示している。ステップＳＴ１４１で画像符号化装置１０は、符号化するコーディングユニットＣＵが存在するか判別する。画像符号化装置１０は、符号化処理するスライスにおいて、符号化処理が行われていないコーディングユニットが存在する場合はステップＳＴ１４２に進む。また、画像符号化装置１０は、スライス内の全てのコーディングユニットの符号化処理が完了している場合は、スライス符号化処理を終了する。
【０１９１】
ステップＳＴ１４２で画像符号化装置１０は、コーディングユニットＣＵの分割を行う。画像符号化装置１０は、図５に示すようにコーディングユニットの分割を行い、コスト関数値が小さくなるコーディングユニットのサイズを決定してステップＳＴ１４３に進む。また、画像符号化装置１０は、コスト関数値が小さくなるコーディングユニットのサイズを判別可能とするため、図５に示すsplit flagに相当する「split_coding_unit_flag」をストリーム情報に含める。例えば「Coding tree syntax」に含める。
【０１９２】
ステップＳＴ１４３で画像符号化装置１０は、符号化するコーディングユニットＣＵは、逆量子化を伴うか判別する。画像符号化装置１０は、符号化するコーディングユニットＣＵが、復号を行うときに量子化パラメータを用いた逆量子化を行う必要のないモード、例えばスキップモードやＩ＿ＰＣＭモード、ダイレクトモード（CBP(Coded Block Pattern)＝０）のブロックである場合にステップＳＴ１４１に戻り、逆量子化を行うブロックである場合にステップＳＴ１４４に進む。
【０１９３】
ステップＳＴ１４４で画像符号化装置１０は、コーディングユニットＣＵのサイズが「log2MinQpUnitSize」以上であるか判別する。画像符号化装置１０は、コーディングユニットのサイズが「log2MinQpUnitSize」以上である場合、ステップＳＴ１４５に進む。また、画像符号化装置１０は、コーディングユニットのサイズが「log2MinQpUnitSize」以上でない場合はステップＳＴ１５２に進む。
【０１９４】
ステップＳＴ１４５で画像符号化装置１０は、符号化するコーディングユニットＣＵの量子化パラメータＱＰを決定する。画像符号化装置１０のレート制御部１８は、上述のようにコーディングユニットの画像の複雑さに応じて、あるいはコスト関数値が小さくなるように量子化パラメータを決定してステップＳＴ１４６に進む。
【０１９５】
ステップＳＴ１４６で画像符号化装置１０は、暗黙的または明示的のいずれで量子化パラメータを予測するかを識別可能とするための判別情報「qp_explicit_flag」が「１」であるか判別する。画像符号化装置１０は、判別情報「qp_explicit_flag」が「１」であり、明示的に量子化パラメータを予測する場合にはステップＳＴ１４７に進む。また、画像符号化装置１０は、判別情報「qp_explicit_flag」が「０」であり、暗黙的に量子化パラメータを予測する場合にはステップＳＴ１４９に進む。画像符号化装置１０は、例えば判別情報「qp_explicit_flag」を「１」とした場合のコスト関数値と、判別情報「qp_explicit_flag」を「０」とした場合のコスト関数値を比較する。画像符号化装置１０は、比較結果に基づき符号化効率が高くなるように判別情報「qp_explicit_flag」の値を設定する。また、ユーザによって判別情報「qp_explicit_flag」が設定可能である場合、画像符号化装置１０は、ユーザの指示に応じて判別情報「qp_explicit_flag」を設定する。
【０１９６】
ステップＳＴ１４７で画像符号化装置１０は、識別情報の生成を行う。画像符号化装置１０は、上述のように情報生成部１９で符号化対象のコーディングユニットの量子化パラメータとの差分が最も小さくなる候補を選択候補から選択して予測量子化パラメータとする。画像符号化装置１０は、例えば、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロックの量子化パラメータ、最後に更新された量子化パラメータ、スライスの先頭ブロックで設定された量子化パラメータを選択候補とする。画像符号化装置１０は、選択候補から符号化対象のコーディングユニットの量子化パラメータとの差分が最も小さくなる候補を選択して予測量子化パラメータとする。さらに情報生成部１９は、選択した候補のインデックス（ref_qp_block_index）を、選択候補から予測量子化パラメータを選択するための識別情報としてステップＳＴ１４８に進む。
【０１９７】
ステップＳＴ１４８で画像符号化装置１０は、識別情報をストリーム情報に含める。画像符号化装置１０は、ステップＳＴ１４７で生成した識別情報をストリーム情報に含めてステップＳＴ１５０に進む。
【０１９８】
ステップＳＴ１４９で画像符号化装置１０は、暗黙的に予測量子化パラメータｄＱＰを決定する。すなわち、画像符号化装置１０は、画像復号装置５０と等しい方法で量子化パラメータを予測する。量子化パラメータを予測する方法としては、例えば予め決められた優先順位に基づいて予測量子化パラメータを決定する。また、候補となる複数の量子化パラメータの統計値を予測量子化パラメータとしてもよい。さらに、現在のブロックからの距離に応じて重み付けが行われた候補の量子化パラメータの統計値を予測量子化パラメータとする方法等を用いることもできる。画像符号化装置１０は、予測量子化パラメータを算出してステップＳＴ１５０に進む。
【０１９９】
ステップＳＴ１５０で画像符号化装置１０は、差分情報を生成する。画像符号化装置１０は、ステップＳＴ１４７で生成した識別情報で示された予測量子化パラメータとステップＳＴ１４５で決定された量子化パラメータとの差分、またはステップＳＴ１４９で決定された予測量子化パラメータとステップＳＴ１４５で決定された量子化パラメータとの差分を算出する。画像符号化装置１０は、算出された差分を示す差分情報を生成してステップＳＴ１５１に進む。
【０２００】
ステップＳＴ１５１で画像符号化装置１０は、差分情報と判別情報をストリーム情報に含める。画像符号化装置１０は、ステップＳＴ１５１で生成した差分情報とステップＳＴ１４６で用いた判別情報「qp_explicit_flag」をストリーム情報に含める。画像符号化装置１０は、例えばシーケンスパラメータセットあるいはピクチャパラメータセット、スライスヘッダ等のいずれかに判別情報を含めてステップＳＴ１５２に進む。
【０２０１】
ステップＳＴ１５２で画像符号化装置１０は、コーディングユニットＣＵの量子化を行う。画像符号化装置１０は、決定されている量子化パラメータを用いてコーディングユニットの量子化を行いステップＳＴ１４１に戻る。
【０２０２】
図２４は、暗黙的に量子化パラメータを予測する場合の動作例、図２５は、暗黙的に量子化パラメータを予測する場合のフローチャート例を示している。なお、説明を簡単とするため、選択候補は３つの場合を示している。
【０２０３】
図２４の（Ａ）に示すように、符号化対象フレームにおける符号化対象ブロックの量子化パラメータは例えば「ＱＰ_O」とする。また、３つの候補は、左に隣接する符号化済みブロックの量子化パラメータ「ＱＰ_A」、隣接する符号化済みブロックの量子化パラメータ「ＱＰ_B」、デコード済みのコーディングユニットの量子化パラメータ「ＱＰ_LS」とする。
【０２０４】
図２５において、ステップＳＴ１６１で画像符号化装置１０は、量子化パラメータ「ＱＰ_A」「ＱＰ_B」が参照可能であるか判別する。画像符号化装置１０は、左に隣接する符号化済みブロックおよび上に隣接する符号化済みブロックが、逆量子化を行う必要のないモード、例えばスキップモードやＩ＿ＰＣＭモード、ダイレクトモード（CBP(Coded Block Pattern)＝０）のブロックでない場合、参照可能と判別してステップＳＴ１６２に進む。また、画像符号化装置１０は、量子化パラメータ「ＱＰ_A」と量子化パラメータ「ＱＰ_B」の少なくともいずれかが逆量子化を行う必要のないモードである場合、ステップＳＴ１６３に進む。
【０２０５】
ステップＳＴ１６２で画像符号化装置１０は、量子化パラメータ「ＱＰ_A」「ＱＰ_B」の平均値を予測量子化パラメータｄＱＰとする。すなわち、図２４の（Ｂ）に示すように、量子化パラメータ「ＱＰ_A」「ＱＰ_B」が参照可能である場合は、量子化パラメータ「ＱＰ_A」「ＱＰ_B」の平均値「（ＱＰ_A＋ＱＰ_B＋１）／２」を予測量子化パラメータｄＱＰとする。
【０２０６】
ステップＳＴ１６３で画像符号化装置１０は、量子化パラメータ「ＱＰ_A」が参照可能であるか判別する。画像符号化装置１０は、左に隣接する符号化済みブロックが逆量子化を行う必要のないモードでない場合、参照可能と判別してステップＳＴ１６４に進む。また、画像符号化装置１０は、左に隣接する符号化済みブロックが逆量子化を行う必要のないモードである場合、参照可能でないと判別してステップＳＴ１６５に進む。
【０２０７】
ステップＳＴ１６４で画像符号化装置１０は、量子化パラメータ「ＱＰ_A」を予測量子化パラメータｄＱＰとする。すなわち、図２４の（Ｃ）に示すように、量子化パラメータ「ＱＰ_A」が参照可能であり、量子化パラメータ「ＱＰ_B」が参照可能でない場合、量子化パラメータ「ＱＰ_A」を予測量子化パラメータｄＱＰとする。なお、図２４および後述する図２６では、逆量子化を行う必要のないモードのブロック、すなわち参照可能でないブロックを斜線で示す。
【０２０８】
ステップＳＴ１６５で画像符号化装置１０は、量子化パラメータ「ＱＰ_B」が参照可能であるか判別する。画像符号化装置１０は、上に隣接する符号化済みブロックが、逆量子化を行う必要のないモードでない場合、参照可能と判別してステップＳＴ１６６に進む。また、画像符号化装置１０は、上に隣接する符号化済みブロックが、逆量子化を行う必要のないモードである場合、参照可能でないと判別してステップＳＴ１６７に進む。
【０２０９】
ステップＳＴ１６６で画像符号化装置１０は、量子化パラメータ「ＱＰ_B」を予測量子化パラメータｄＱＰとする。すなわち、図２４の（Ｄ）に示すように、量子化パラメータ「ＱＰ_B」が参照可能であり、量子化パラメータ「ＱＰ_A」が参照可能でない場合、量子化パラメータ「ＱＰ_B」を予測量子化パラメータｄＱＰとする。
【０２１０】
ステップＳＴ１６７で画像符号化装置１０は、量子化パラメータ「ＱＰ_LS」を予測量子化パラメータｄＱＰとする。図２４の（Ｅ）に示すように、左の隣接ブロックと上の隣接ブロックが逆量子化を行う必要のないモードである場合、量子化パラメータ「ＱＰ_LS」を予測量子化パラメータｄＱＰとする。
【０２１１】
図２６は、暗黙的に量子化パラメータを予測する場合の他の動作例を示している。例えば、図２４の（Ｅ）に示すように、左の隣接ブロックと上の隣接ブロックが逆量子化を行う必要のないモードである場合、選択候補を増やして予測量子化パラメータの生成を行うようにしてもよい。例えば、図２６の（Ａ）に示すように、右上に隣接する符号化済みブロックの量子化パラメータ「ＱＰ_C」、左上に隣接する符号化済みブロックの量子化パラメータ「ＱＰ_D」、左下に隣接する符号化済みのブロックの量子化パラメータ「ＱＰ_E」を選択候補に追加する。
【０２１２】
画像符号化装置１０は、図２６の（Ｂ）に示すように、量子化パラメータ「ＱＰ_C」「ＱＰ_D」「ＱＰ_E」が参照可能である場合は、量子化パラメータ「ＱＰ_C」「ＱＰ_D」の平均値「（ＱＰ_C＋ＱＰ_D＋１）／２」、またはメディアンを予測量子化パラメータｄＱＰとする。
【０２１３】
画像符号化装置１０は、図２６の（Ｃ）に示すように、量子化パラメータ「ＱＰ_C」「ＱＰ_D」が参照可能である場合は、量子化パラメータ「ＱＰ_C」「ＱＰ_D」の平均値「（ＱＰ_C＋ＱＰ_D＋１）／２」を予測量子化パラメータｄＱＰとする。
【０２１４】
画像符号化装置１０は、図２６の（Ｄ）に示すように、量子化パラメータ「ＱＰ_D」「ＱＰ_E」が参照可能である場合は、量子化パラメータ「ＱＰ_D」「ＱＰ_E」の平均値「（ＱＰ_D＋ＱＰ_E＋１）／２」を予測量子化パラメータｄＱＰとする。
【０２１５】
画像符号化装置１０は、図２６の（Ｅ）に示すように、量子化パラメータ「ＱＰ_C」「ＱＰ_E」が参照可能である場合は、量子化パラメータ「ＱＰ_C」「ＱＰ_E」の平均値「（ＱＰ_C＋ＱＰ_E＋１）／２」を予測量子化パラメータｄＱＰとする。
【０２１６】
画像符号化装置１０は、図２６の（Ｆ）に示すように、量子化パラメータ「ＱＰ_C」「ＱＰ_D」「ＱＰ_E」が参照可能でない場合、量子化パラメータ「ＱＰ_LS」を予測量子化パラメータｄＱＰとする。なお、図２７は、図２４の（Ｂ）〜（Ｄ）と図２６の（Ｂ）〜（Ｆ）の動作を行うプログラムを示している。
【０２１７】
また、図２６の（Ｇ）〜（Ｉ）に示すように、参照可能な量子化パラメータが１つである場合は、この参照可能な量子化パラメータを予測量子化パラメータｄＱＰとして用いるようにしてもよい。
【０２１８】
このように、画像符号化装置１０は、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロック等の量子化パラメータを選択候補として、設定された量子化パラメータに応じて選択候補から予測量子化パラメータを選択する。また、画像符号化装置１０は、選択候補から予測量子化パラメータを選択するための識別情報を生成する。さらに、画像符号化装置１０は、予測量子化パラメータと符号化対象ブロックに設定された量子化パラメータとの差分を示す差分情報を生成する。画像符号化装置１０は、生成した識別情報と差分識別をストリーム情報に含める。このような処理を行うことで、符号化対象ブロックの量子化パラメータと予測量子化パラメータとの差分が大きな値となってしまうことを防止することが可能となる。このため、画像符号化装置１０は、量子化パラメータの符号化効率を向上させることができる。
【０２１９】
また、暗黙的に量子化パラメータを予測する場合、選択候補から予測量子化パラメータを選択するための識別情報をストリーム情報に含めることなく、画像復号装置５０で画像符号化装置１０と等しい予測量子化パラメータを用いることができる。さらに、判別情報をストリーム情報に含めることで、明示的な予測量子化パラメータの予測と暗黙的な量子化パラメータの予測を適用的に切り替えることが可能となる。
【０２２０】
図２８は、画像復号装置の他の動作を説明するためのフローチャートである。画像復号装置５０は、図２２のステップＳＴ１２７において、復号するコーディングユニットが存在すると判別された場合、ステップＳＴ１７１からの処理を行い、コーディングユニットの復号を行う。
【０２２１】
ステップＳＴ１７１で画像復号装置５０は、情報の取り出しを行う。画像復号装置５０は、ストリーム情報からコーディングユニットの復号に用いる情報を抽出する。例えば、コーディングユニットのサイズを判別可能とするための情報「Coding tree syntax」や量子化パラメータユニット最小サイズを判別可能とするための情報「log2_min_qp_unit_size_offset」、判別情報「qp_explicit_flag」等を取り出してステップＳＴ１７２に進む。
【０２２２】
ステップＳＴ１７２で画像復号装置５０は、コーディングユニットＣＵの分割を行う。画像復号装置５０は、ストリーム情報に含まれている「split_coding_unit_flag」等に基づきコーディングユニットＣＵの分割を行いステップＳＴ１７３に進む。
【０２２３】
ステップＳＴ１７３で画像復号装置５０は、復号するコーディングユニットＣＵが、逆量子化を伴うか判別する。画像復号装置５０は、復号するコーディングユニットＣＵが、量子化パラメータを用いた逆量子化を行うモードである場合はステップＳＴ１７４に進み、量子化パラメータを用いた逆量子化を行う必要がないモードである場合は復号処理を終了する。
【０２２４】
ステップＳＴ１７４で画像復号装置５０は、コーディングユニットＣＵのサイズが「log2MinQpUnitSize」以上であるか判別する。画像復号装置５０は、コーディングユニットのサイズが「log2MinQpUnitSize」以上である場合、ステップＳＴ１７５に進む。また、画像復号装置５０は、コーディングユニットのサイズが「log2MinQpUnitSize」以上でない場合はステップＳＴ１８０に進む。
【０２２５】
ステップＳＴ１７５で画像復号装置５０は、判別情報「qp_explicit_flag」が「１」であるか判別する。画像復号装置５０は、ストリーム情報に含まれている判別情報「qp_explicit_flag」が「１」とされており、明示的に量子化パラメータを予測する場合にはステップＳＴ１７６に進む。また、画像復号装置５０は、判別情報「qp_explicit_flag」が「０」であり、暗黙的に量子化パラメータを予測する場合にはステップＳＴ１７８に進む。
【０２２６】
ステップＳＴ１７６で画像復号装置５０は、ストリーム情報からインデックス（ref_qp_block_index）を取り出してステップＳＴ１７７に進む。
【０２２７】
ステップＳＴ１７７で画像復号装置５０は、予測量子化パラメータｄＱＰを決定する。画像復号装置５０は、画像符号化装置１０と等しい選択候補の量子化パラメータからインデックス（ref_qp_block_index）に基づいて量子化パラメータを選択して、選択した量子化パラメータを予測量子化パラメータｄＱＰに決定してステップＳＴ１７９に進む。
【０２２８】
ステップＳＴ１７８で画像復号装置５０は、暗黙的に予測量子化パラメータｄＱＰを決定する。画像復号装置５０は、画像符号化装置１０と等しい方法で量子化パラメータを予測する。量子化パラメータを予測する方法としては、例えば予め決められた優先順位に基づいて量子化パラメータを決定する。また、候補となる複数の量子化パラメータの統計値を予測量子化パラメータとしてもよい。さらに、現在のブロックからの距離に応じて重み付けが行われた候補の量子化パラメータの統計値を予測量子化パラメータとする方法等を用いることもできる。画像復号装置５０は、量子化パラメータを予測してステップＳＴ１７９に進む。
【０２２９】
ステップＳＴ１７９で画像復号装置５０は、当該コーディングユニットＣＵの量子化パラメータＱＰを計算する。画像復号装置５０はストリーム情報から差分情報「qb_qp_delta」を取得して、この差分情報と予測量子化パラメータｄＱＰを加算して、復号対象のコーディングユニットの量子化パラメータを算出してステップＳＴ１８０に進む。
【０２３０】
ステップＳＴ１８０で画像復号装置５０は、コーディングユニットの逆量子化を行う。画像復号装置５０は、決定されている量子化パラメータを用いてコーディングユニットの逆量子化を行う。
【０２３１】
このようにすれば、画像復号装置５０は、画像符号化装置で用いられている量子化パラメータと等しい量子化パラメータを用いて画像の復号を行うことができる。
【０２３２】
＜７．ソフトウェア処理の場合＞
上述の一連の処理は、ハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
【０２３３】
図２９は、上述した一連の処理をプログラムにより実行するコンピュータ装置の概略構成を例示した図である。コンピュータ装置８０のＣＰＵ８０１は、ＲＯＭ８０２、または記録部８０８に記録されているプログラムにしたがって各種の処理を実行する。
【０２３４】
ＲＡＭ８０３には、ＣＰＵ８０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ８０１、ＲＯＭ８０２、およびＲＡＭ８０３は、バス８０４により相互に接続されている。
【０２３５】
ＣＰＵ８０１にはまた、バス８０４を介して入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、タッチパネルやキーボード、マウス、マイクロホンなどの入力部８０６、ディスプレイなどよりなる出力部８０７が接続されている。ＣＰＵ８０１は、入力部８０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ８０１は、処理の結果を出力部８０７に出力する。
【０２３６】
入出力インタフェース８０５に接続されている記録部８０８は、例えばハードディスクからなり、ＣＰＵ８０１が実行するプログラムや各種のデータを記録する。通信部８０９は、インターネットやローカルエリアネットワークなどのネットワークやディジタル放送といった有線または無線の通信媒体を介して外部の装置と通信する。また、コンピュータ装置８０は、通信部８０９を介してプログラムを取得し、ＲＯＭ８０２や記録部８０８に記録してもよい。
【０２３７】
ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８５が装着された場合、それらを駆動して、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じてＲＯＭ８０２やＲＡＭ８０３または記録部８０８に転送される。
【０２３８】
ＣＰＵ８０１は、上述した一連の処理を行うプログラムを読み出して実行して、記録部８０８やリムーバブルメディア８５に記録されている画像信号や、通信部８０９を介して供給された画像信号の符号化処理やストリーム情報の復号処理を行う。
【０２３９】
＜８．電子機器に適用した場合＞
また、以上においては、符号化方式／復号方式としてＨ．２６４／ＡＶＣ方式が用いられたが、本技術は、その他の動き予測・補償処理を行う符号化方式／復号方式を用いる画像符号化装置／画像復号装置に適用することもできる。
【０２４０】
さらに、本技術は、例えば、ＭＰＥＧ，Ｈ．２６ｘ等のように符号化処理を行うことで得られたストリーム情報を、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、または、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
【０２４１】
次に、上述した画像符号化装置１０や画像復号装置５０が適用された電子機器について説明する。
【０２４２】
図３０は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９０は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９０は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０２４３】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られたストリームをデマルチプレクサ９０３に出力する。
【０２４４】
デマルチプレクサ９０３は、ストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に出力する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０２４５】
デコーダ９０４は、パケットの復号処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０２４６】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０２４７】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０２４８】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行い、スピーカ９０８に供給することで音声出力を行う。
【０２４９】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０２５０】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０２５１】
制御部９１０は、ＣＰＵ（Central Processing Unit）やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９０がユーザ操作に応じた動作となるように各部を制御する。
【０２５２】
なお、テレビジョン装置９０では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０２５３】
このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像復号装置（画像復号方法）の機能が設けられる。このため、放送局側の画像符号化処理において、量子化パラメータを伝送するために必要とされる符号量を削減する処理が行われても、テレビジョン装置で正しく量子化パラメータを復元して復号画像を生成することができる。
【０２５４】
図３１は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
【０２５５】
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０２５６】
携帯電話機９２は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０２５７】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行い、スピーカ９２４に出力する。
【０２５８】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０２５９】
なお、携帯電話機９２は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０２６０】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、ストリーム情報を生成する。
【０２６１】
多重分離部９２８は、画像処理部９２７で生成されたストリーム情報と、音声コーデック９２３から供給された音声データを所定の方式で多重化して、通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、ストリーム情報を画像処理部９２７、音声データを音声コーデック９２３に供給する。
【０２６２】
画像処理部９２７は、ストリーム情報の復号処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０２６３】
このように構成された携帯電話装置では、画像処理部９２７に本願の機能が設けられる。したがって、例えば画像を符号化処理して送信する場合に、データを削減できる。また、受信した画像の復号処理において、量子化パラメータを復元して復号画像を生成することができる。
【０２６４】
図３２は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０２６５】
記録再生装置９４は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０２６６】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られたストリーム情報をセレクタ９４６に出力する。
【０２６７】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０２６８】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていない場合所定の方式で符号化処理を行い、ストリーム情報をセレクタ９４６に出力する。
【０２６９】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０２７０】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
【０２７１】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかのストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力されたストリームをデコーダ９４７に供給する。
【０２７２】
デコーダ９４７は、ストリームの復号処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
【０２７３】
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０２７４】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０２７５】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４がユーザ操作に応じた動作となるように各部を制御する。
【０２７６】
このように構成された記録再生装置では、エンコーダ９４３に本願の機能が設けられる。したがって、例えば画像を符号化処理して記録する場合に、記録するデータ量を削減できる。また、記録された画像の復号処理において、量子化パラメータを復元して復号画像を生成することができる。
【０２７７】
図３３は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０２７８】
撮像装置９６は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０２７９】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０２８０】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０２８１】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成されたストリーム情報を外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給されたストリーム情報の復号処理を行う。画像データ処理部９６４は、復号処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
【０２８２】
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０２８３】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７からストリーム情報を読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給されるストリーム情報や画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０２８４】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０２８５】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０２８６】
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６がユーザ操作に応じた動作となるように各部を制御する。
【０２８７】
このように構成された撮像装置では、画像データ処理部９６４に本願の機能が設けられる。したがって、撮像画像を符号化処理してメモリ部９６７や記録メディア等に記録する場合に、記録するデータ量を削減できる。また、記録された画像の復号処理において、量子化パラメータを復元して復号画像を生成できる。
【０２８８】
さらに、本技術は、上述した実施の形態に限定して解釈されるべきではない。この実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０２８９】
また、本技術の画像符号化装置と画像復号装置は、以下のような構成も取ることができる。
（１）  符号化対象ブロックに対して量子化パラメータを設定する制御部と、
前記符号化対象ブロックに対して空間的または時間的に隣接する符号化済みブロックの量子化パラメータを選択候補として、該選択候補から前記設定された量子化パラメータに応じて予測量子化パラメータを選択し、該予測量子化パラメータと前記設定された量子化パラメータとの差分を示す差分情報を生成する情報生成部と、
前記設定された量子化パラメータを用いて前記符号化対象ブロックの符号化処理を行い生成されたストリーム情報に、前記差分情報を含める符号化部と
を有する画像符号化装置。
（２）  前記情報生成部は、前記設定された量子化パラメータとの差分が最も小さい量子化パラメータを前記予測量子化パラメータとして選択する（１）に記載の画像符号化装置。
（３）  前記情報生成部は、前記隣接する符号化済みのブロックを所定の並び順として、前記選択した量子化パラメータに対応するブロックの順番を示す識別情報を生成し、
前記符号化部は、前記ストリーム情報に前記識別情報を含める（２）に記載の画像符号化装置。
（４）  前記情報生成部は、左側に隣接する符号化済みのブロックと、上側に隣接する符号化済みのブロックと、時間的に隣接する符号化済みのブロックのいずれかを優先させた並び順とする（３）に記載の画像符号化装置。
（５）  前記情報生成部は、前記隣接する符号化済みのブロックの並び順を切り替え可能とする（３）または（４）に記載の画像符号化装置。
（６）  前記情報生成部は、予め設定された順序で選択候補の判定を行い、判定結果に基づいて前記予測量子化パラメータを選択する（１）に記載の画像符号化装置。
（７）  前記情報生成部は、前記設定された量子化パラメータとの差分が最も小さい量子化パラメータを前記予測量子化パラメータとして選択する処理と、予め設定された順序で選択候補の判定を行い判定結果に基づいて前記予測量子化パラメータを選択する処理を選択可能として、選択した処理を示す判別情報を生成し、
前記符号化部は、前記判別情報を前記ストリーム情報に含める（１）に記載の画像符号化装置。
（８）  前記情報生成部は、前記隣接する符号化済みのブロックから、少なくとも量子化パラメータが重複するブロックまたは量子化パラメータを用いた量子化が行われないブロックを除外して選択候補とする（１）乃至（７）のいずれかに記載の画像符号化装置。
（９）  前記情報生成部は、前記選択候補がない場合、スライスにおける初期値の量子化パラメータと前記設定された量子化パラメータとの差分を示す差分情報を生成する（１）乃至（８）のいずれかに記載の画像符号化装置。
（１０）  前記情報生成部は、前記選択候補に最後に更新された量子化パラメータを含める（１）乃至（９）のいずれかに記載の画像符号化装置。
（１１）  復号対象ブロックに対して空間的または時間的に隣接する復号済みブロックの量子化パラメータを選択候補として、該選択候補から選択された予測量子化パラメータに対する差分を示す差分情報をストリーム情報から取り出す情報取得部と、
前記予測量子化パラメータと前記差分情報から、前記復号対象ブロックの量子化パラメータを算出する量子化パラメータ算出部と
を有する画像復号装置。
（１２）  前記量子化パラメータ算出部は、前記隣接する復号済みのブロックを所定の並び順として、前記ストリーム情報に含まれている識別情報で示された順番の量子化パラメータを前記予測量子化パラメータに設定する（１１）に記載の画像復号装置。
（１３）  前記量子化パラメータ算出部は、予め設定された順序で選択候補の判定を行い、判定結果に基づいて前記予測量子化パラメータを設定する（１１）に記載の画像復号装置。
（１４）  前記量子化パラメータ算出部は、前記ストリーム情報に含まれている識別情報で示された順番の量子化パラメータを前記予測量子化パラメータに設定する処理と、予め設定された順序で選択候補の判定を行い判定結果に基づいて前記予測量子化パラメータを設定する処理のいずれかを、前記ストリーム情報に含まれている判別情報に基づいて選択する（１１）に記載の画像復号装置。
（１５）  前記量子化パラメータ算出部は、前記隣接する復号済みのブロックから、少なくとも量子化パラメータが重複するブロックまたは量子化パラメータを用いた逆量子化が行われないブロックを除外して前記選択候補とする（１１）乃至（１４）のいずれかに記載の画像符号化装置。
（１６）  前記量子化パラメータ算出部は、前記選択候補がない場合、スライスにおける初期値の量子化パラメータを前記予測量子化パラメータとする（１１）乃至（１５）のいずれかに記載の画像復号装置。
（１７）  前記量子化パラメータ算出部は、前記選択候補に最後に更新された量子化パラメータを含める（１１）乃至（１６）のいずれかに記載の画像復号装置。
（１８）  前記量子化パラメータ算出部は、前記予測量子化パラメータに対して前記差分情報が示す差分を加算して前記復号対象ブロックの量子化パラメータを算出する（１１）乃至（１７）のいずれかに記載の画像復号装置。
【産業上の利用可能性】
【０２９０】
この技術の画像符号化装置と画像復号装置およびその方法とプログラムでは、符号化対象ブロックに対して空間的または時間的に隣接する符号化済みのブロックの量子化パラメータが選択候補とされて、選択候補から符号化対象ブロックに対して設定された量子化パラメータに応じて予測量子化パラメータが選択される。この予測量子化パラメータと符号化対象ブロックに対して設定された量子化パラメータとの差分を示す差分情報が生成される。したがって、量子化パラメータの差分が大きな値となってしまうことを防止することが可能となり、量子化パラメータの符号化効率を向上させることができる。また、差分情報が含まれるストリーム情報を復号する場合、復号対象ブロックに対して空間的または時間的に隣接する復号済みのブロックの量子化パラメータから予測量子化パラメータが選択されて、予測量子化パラメータと差分情報から復号対象ブロックの量子化パラメータが算出される。したがって、量子化パラメータの符号化効率を向上させてストリーム情報が生成されても、このストリーム情報を復号する場合には予測量子化パラメータと差分情報に基づき量子化パラメータが復元されて正しく復号処理を行うことができる。このため、ブロック単位で符号化を行うことにより得られたストリーム情報を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して送受信する機器、または光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する機器等に適している。
【符号の説明】
【０２９１】
１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２，５７・・・画面並べ替えバッファ、１３・・・減算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆量子化部、１７，５１・・・蓄積バッファ、１８・・・レート制御部、１９・・・情報生成部、２１，５３・・・逆量子化部、２２，５４・・・逆直交変換部、２３，５５・・・加算部、２４，５６・・・デブロッキングフィルタ、２６，６１・・・フレームメモリ、３１，７１・・・イントラ予測部、３２・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、５０・・・画像復号装置、５２・・・可逆復号部、５８・・・Ｄ／Ａ変換部、５９・・・量子化パラメータ算出部、６２，７３・・・セレクタ、７２・・・動き補償部、８０・・・コンピュータ装置、９０・・・テレビジョン装置、９２・・・携帯電話機、９４・・・記録再生装置、９６・・・撮像装置、１９１・・・量子化パラメータメモリ部、１９２・・・差分演算部、５９１・・・演算部、５９２・・・量子化パラメータメモリ部
【図１】
2012170042.tif 000012
【図２】
2012170042.tif 000013
【図３】
2012170042.tif 000014
【図４】
2012170042.tif 000015
【図５】
2012170042.tif 000016
【図６】
2012170042.tif 000017
【図７】
2012170042.tif 000018
【図８】
2012170042.tif 000019
【図９】
2012170042.tif 000020
【図１０】
2012170042.tif 000021
【図１１】
2012170042.tif 000022
【図１２】
2012170042.tif 000023
【図１３】
2012170042.tif 000024
【図１４】
2012170042.tif 000025
【図１５】
2012170042.tif 000026
【図１６】
2012170042.tif 000027
【図１７】
2012170042.tif 000028
【図１８】
2012170042.tif 000029
【図１９】
2012170042.tif 000030
【図２０】
2012170042.tif 000031
【図２１】
2012170042.tif 000032
【図２２】
2012170042.tif 000033
【図２３】
2012170042.tif 000034
【図２４】
2012170042.tif 000035
【図２５】
2012170042.tif 000036
【図２６】
2012170042.tif 000037
【図２７】
2012170042.tif 000038
【図２８】
2012170042.tif 000039
【図２９】
2012170042.tif 000040
【図３０】
2012170042.tif 000041
【図３１】
2012170042.tif 000042
【図３２】
2012170042.tif 000043
【図３３】
2012170042.tif 000044