(57)【要約】【課題】圧縮効率の低下を抑制する。【解決手段】  代替ブロック検出部１１３は、符号化の対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、第１の符号化方式で符号化されたブロックを対象として、対象ブロックと隣接ブロックとを結ぶ方向に対して対象ブロックから閾値以内の距離又は隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出する。第１の復号部１１２は、検出部により検出された代替ブロックを利用して、第１の符号化方式で符号化された対象ブロックを、第１の符号化方式に対応する第１の復号方式で復号する。第２の復号部１１４は、第２の符号化方式で符号化された対象ブロックを、第２の符号化方式に対応する第２の復号方式で復号する。【選択図】図１３
2011030281.tif 000002
【特許請求の範囲】
【請求項１】
符号化の対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出する検出部と、
前記検出部により検出された代替ブロックを利用して、前記第１の符号化方式で符号化された対象ブロックを、前記第１の符号化方式に対応する第１の復号方式で復号する第１の復号部と、
前記第２の符号化方式で符号化された対象ブロックを、前記第２の符号化方式に対応する第２の復号方式で復号する第２の復号部と
を備える復号装置。
【請求項２】
前記検出部は、前記第２の符号化方式で符号化されたブロックの位置を表す位置情報に基づいて前記代替ブロックを検出する
請求項１に記載の復号装置。
【請求項３】
前記第２の復号部は、前記位置情報を前記第２の復号方式で復号して、前記第２の符号化方式で符号化された対象ブロックを、前記第１の復号方式で復号された画像を用いて合成する
請求項２に記載の復号装置。
【請求項４】
前記検出部は、前記対象ブロックを含むピクチャと異なるピクチャにおいて前記対象ブロックに対応する位置にある対応ブロックが第１の符号化方式で符号化された場合に、前記対応ブロックを前記代替ブロックとして検出する
請求項１に記載の復号装置。
【請求項５】
前記検出部は、前記隣接ブロックが第１の符号化方式で符号化された場合に、隣接ブロックを、前記代替ブロックとして検出する
請求項４に記載の復号装置。
【請求項６】
前記第１の復号部は、前記第１の符号化方式で符号化された、前記隣接ブロックの画素値との差分を示すパラメータの値が閾値より大きいブロックを復号し、前記第２の復号部は、前記第２の符号化方式で符号化された、前記パラメータの値が前記閾値より小さいブロックを復号する
請求項１に記載の復号装置。
【請求項７】
前記第１の復号部は、前記第１の符号化方式で符号化された、エッジ情報を有するブロックを復号し、前記第２の復号部は、前記第２の符号化方式で符号化された、エッジ情報を有さないブロックを復号する
請求項１に記載の復号装置。
【請求項８】
前記第１の復号部は、前記第１の符号化方式で符号化された、IピクチャとPピクチャを復号し、前記第２の復号部は、前記第２の符号化方式で符号化された、Bピクチャを復号する
請求項１に記載の復号装置。
【請求項９】
エッジ情報を有さないブロックを対象として、前記第１の復号部は、前記第１の符号化方式で符号化された、前記パラメータの値が前記閾値より大きいブロックを復号し、前記第２の復号部は、前記第２の符号化方式で符号化された、前記パラメータの値が前記閾値より小さいブロックを復号する
請求項７に記載の復号装置。
【請求項１０】
Bピクチャのエッジ情報を有さないブロックを対象として、前記第１の復号部は、前記第１の符号化方式で符号化された、前記パラメータの値が前記閾値より大きいブロックを復号し、前記第２の復号部は、前記第２の符号化方式で符号化された、前記パラメータの値が前記閾値より小さいブロックを復号する
請求項９に記載の復号装置。
【請求項１１】
前記パラメータは、隣接ブロックに含まれる画素値の分散値を含む
請求項６に記載の復号装置。
【請求項１２】
前記パラメータは、次式で表される
【数１】
2011030281.tif 000006
請求項１１に記載の復号装置。
【請求項１３】
前記第１の復号部は、グローバル動きベクトルを利用して復号を行い、
前記第２の復号部は、前記第２の符号化方式で符号化された、グローバル動きベクトルを復号する
請求項１に記載の復号装置。
【請求項１４】
前記第２の復号部は、前記第２の符号化方式で符号化された、前記パラメータの値が前記閾値より小さいブロックの位置を表す位置情報を復号する
請求項６に記載の復号装置。
【請求項１５】
前記第１の復号方式は、Ｈ．２６４／ＡＶＣ規格に基づく符号化方式に対応する復号方式である
請求項１に記載の復号装置。
【請求項１６】
前記第２の復号方式は、テクスチャ解析・合成符号化方式に対応する復号方式である
請求項１に記載の復号装置。
【請求項１７】
検出部と、
第１の復号部と、
第２の復号部と
を備え、
前記検出部は、符号化の対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出し、
前記第１の復号部は、前記検出部により検出された代替ブロックを利用して、前記前記第１の符号化方式で符号化された対象ブロックを、前記第１の符号化方式に対応する第１の復号方式で復号し、
前記第２の復号部は、前記第２の符号化方式で符号化された対象ブロックを、前記第２の符号化方式に対応する第２の復号方式で復号する
復号方法。
【請求項１８】
検出部と、
第１の復号部と、
第２の復号部と
を備えるコンピュータに、
前記検出部は、符号化の対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出し、
前記第１の復号部は、前記検出部により検出された代替ブロックを利用して、前記前記第１の符号化方式で符号化された対象ブロックを、前記第１の符号化方式に対応する第１の復号方式で復号し、
前記第２の復号部は、前記第２の符号化方式で符号化された対象ブロックを、前記第２の符号化方式に対応する第２の復号方式で復号する
ステップを実行させるためのプログラムを記録したコンピュータが飲み取り可能な記録媒体。
【請求項１９】
検出部と、
第１の復号部と、
第２の復号部と
を備えるコンピュータに、
前記検出部は、符号化の対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出し、
前記第１の復号部は、前記検出部により検出された代替ブロックを利用して、前記前記第１の符号化方式で符号化された対象ブロックを、前記第１の符号化方式に対応する第１の復号方式で復号し、
前記第２の復号部は、前記第２の符号化方式で符号化された対象ブロックを、前記第２の符号化方式に対応する第２の復号方式で復号する
ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は復号装置及び方法、記録媒体、並びにプログラムに関し、特に、圧縮効率の低下を抑制するようにした復号装置及び方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
近年、ＭＰＥＧ（Moving Picture Experts Group）などの方式で画像を圧縮符号化し、パケット化して伝送し、受信側で復号する技術が普及してきた。これによりユーザは高品質の動画像を視聴することができる。
【０００３】
ところでパケットが伝送路の途中で消滅してしまったり、ノイズが重畳して復号不可能になってしまうことがある。そこで、所定のフレームの画像の対象ブロックが復号不可能となった場合、対象ブロックに隣接するブロックを利用して復号を行うことが知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−３１１５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、復号不可能になった画像を復元することは可能であるが、符号化効率の低下を抑制することはできない。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、圧縮効率の低下を抑制するものである。
【課題を解決するための手段】
【０００７】
本発明の一側面は、符号化の対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出する検出部と、前記検出部により検出された代替ブロックを利用して、前記前記第１の符号化方式で符号化された対象ブロックを、前記第１の符号化方式に対応する第１の復号方式で復号する第１の復号部と、前記第２の符号化方式で符号化された対象ブロックを、前記第２の符号化方式に対応する第２の復号方式で復号する第２の復号部とを備える復号装置である。
【０００８】
前記検出部は、前記第２の符号化方式で符号化されたブロックの位置を表す位置情報に基づいて前記代替ブロックを検出することができる。
【０００９】
前記第２の復号部は、前記位置情報を前記第２の復号方式で復号して、前記第２の符号化方式で符号化された対象ブロックを、前記第１の復号方式で復号された画像を用いて合成することができる。
【００１０】
前記検出部は、前記対象ブロックを含むピクチャと異なるピクチャにおいて前記対象ブロックに対応する位置にある対応ブロックが第１の符号化方式で符号化された場合に、前記対応ブロックを前記代替ブロックとして検出することができる。
【００１１】
前記検出部は、前記隣接ブロックが第１の符号化方式で符号化された場合に、隣接ブロックを、前記代替ブロックとして検出することができる。
【００１２】
前記第１の復号部は、前記第１の符号化方式で符号化された、前記隣接ブロックの画素値との差分を示すパラメータの値が閾値より大きいブロックを復号し、前記第２の復号部は、前記第２の符号化方式で符号化された、前記パラメータの値が前記閾値より小さいブロックを復号することができる。
【００１３】
前記第１の復号部は、前記第１の符号化方式で符号化された、エッジ情報を有するブロックを復号し、前記第２の復号部は、前記第２の符号化方式で符号化された、エッジ情報を有さないブロックを復号することができる。
【００１４】
前記第１の復号部は、前記第１の符号化方式で符号化された、IピクチャとPピクチャを復号し、前記第２の復号部は、前記第２の符号化方式で符号化された、Bピクチャを復号することができる。
【００１５】
エッジ情報を有さないブロックを対象として、前記第１の復号部は、前記第１の符号化方式で符号化された、前記パラメータの値が前記閾値より大きいブロックを復号し、前記第２の復号部は、前記第２の符号化方式で符号化された、前記パラメータの値が前記閾値より小さいブロックを復号することができる。
【００１６】
Bピクチャのエッジ情報を有さないブロックを対象として、前記第１の復号部は、前記第１の符号化方式で符号化された、前記パラメータの値が前記閾値より大きいブロックを復号し、前記第２の復号部は、前記第２の符号化方式で符号化された、前記パラメータの値が前記閾値より小さいブロックを復号することができる。
【００１７】
前記パラメータは、隣接ブロックに含まれる画素値の分散値を含むことができる。
【００１８】
前記パラメータは、次式で表すことができる。
【数１】
2011030281.tif 000003
【００１９】
前記第１の復号部は、グローバル動きベクトルを利用して復号を行い、前記第２の復号部は、前記第２の符号化方式で符号化された、グローバル動きベクトルを復号することができる。
【００２０】
前記第２の復号部は、前記第２の符号化方式で符号化された、前記パラメータの値が前記閾値より小さいブロックの位置を表す位置情報を復号することができる。
【００２１】
前記第１の復号方式は、Ｈ．２６４／ＡＶＣ規格に基づく符号化方式に対応する復号方式である。
【００２２】
前記第２の復号方式は、テクスチャ解析・合成符号化方式に対応する復号方式である。
【００２３】
本発明の一側面は、検出部と、第１の復号部と、第２の復号部とを備え、前記検出部は、符号化の対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出し、前記第１の復号部は、前記検出部により検出された代替ブロックを利用して、前記前記第１の符号化方式で符号化された対象ブロックを、前記第１の符号化方式に対応する第１の復号方式で復号し、前記第２の復号部は、前記第２の符号化方式で符号化された対象ブロックを、前記第２の符号化方式に対応する第２の復号方式で復号する復号方法である。
【００２４】
本発明の一側面は、検出部と、第１の復号部と、第２の復号部とを備えるコンピュータに、前記検出部は、符号化の対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出し、前記第１の復号部は、前記検出部により検出された代替ブロックを利用して、前記前記第１の符号化方式で符号化された対象ブロックを、前記第１の符号化方式に対応する第１の復号方式で復号し、前記第２の復号部は、前記第２の符号化方式で符号化された対象ブロックを、前記第２の符号化方式に対応する第２の復号方式で復号するステップを実行させるためのプログラムを記録したコンピュータが飲み取り可能な記録媒体である。
【００２５】
本発明の一側面は、検出部と、第１の復号部と、第２の復号部とを備えるコンピュータに、前記検出部は、符号化の対象となる対象ブロックに隣接する隣接ブロックが第１の符号化方式と異なる第２の符号化方式で符号化された場合に、前記第１の符号化方式で符号化されたブロックを対象として、前記対象ブロックと前記隣接ブロックとを結ぶ方向に対して前記対象ブロックから閾値以内の距離又は前記隣接ブロックから閾値以内の距離に位置する周辺ブロックを、代替ブロックとして検出し、前記第１の復号部は、前記検出部により検出された代替ブロックを利用して、前記前記第１の符号化方式で符号化された対象ブロックを、前記第１の符号化方式に対応する第１の復号方式で復号し、前記第２の復号部は、前記第２の符号化方式で符号化された対象ブロックを、前記第２の符号化方式に対応する第２の復号方式で復号するステップを実行させるためのプログラムである。
【発明の効果】
【００２６】
以上のように、本発明の一側面によれば、圧縮効率の低下を抑制することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明を適用した画像符号化装置の一実施の形態の構成を示すブロック図である。
【図２】モーションスレッディングの基本的処理を説明する図である。
【図３】動きベクトルの演算を説明する図である。
【図４】モーションスレッディングの結果の例を示す図である。
【図５】符号化処理を説明するフローチャートである。
【図６】代替ブロック検出処理を説明するフローチャートである。
【図７】代替ブロックを説明する図である。
【図８】第１の符号化部の一実施の形態の構成を示すブロック図である。
【図９】第１の符号化処理を説明するフローチャートである。
【図１０】イントラ予測を説明する図である。
【図１１】イントラ予測の方向を説明する図である。
【図１２】隣接ブロックがunavailableである場合の処理を説明する図である。
【図１３】本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。
【図１４】復号処理を説明するフローチャートである。
【図１５】テクスチャ合成を説明する図である。
【図１６】第１の復号部の一実施の形態の構成を示すブロック図である。
【図１７】第１の復号処理を説明するフローチャートである。
【図１８】本発明を適用した画像符号化装置の他の実施の形態の構成を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下、図を参照して本発明の実施の形態について説明する。
【００２９】
図１は、本発明の画像符号化装置の一実施の形態の構成を表している。この画像符号化装置５１は、Ａ／Ｄ変換部６１、画面並べ替えバッファ６２、第１の符号化部６３、代替ブロック検出部６４、判定部６５、第２の符号化部６６、および出力部６７により構成されている。判定部６５は、ブロック分類部７１、モーションスレッディング部７２、およびイグゼンプラ部７３により構成されている。
【００３０】
Ａ／Ｄ変換部６１は、入力された画像をＡ／Ｄ変換し、画面並べ替えバッファ６２に出力し、記憶させる。画面並べ替えバッファ６２は、記憶した表示の順番のフレームの画像を、ＧＯＰ（Group of Picture）に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ６２に記憶された画像のうち、ＩピクチャとＰピクチャの画像は、予め第１の符号化方式で符号化する画像とされているので第１の符号化部６３に供給され、Ｂピクチャの情報は、画像の対象ブロックを第１の符号化方式と第２の符号化方式のいずれの方式で符号化するかを判定する判定部６５に供給される。
【００３１】
判定部６５のブロック分類部７１は、画面並べ替えバッファ６２から供給されたＢピクチャの画像のうち、エッジ情報を有するブロックと有しないブロックとを分類し、エッジ情報を有するストラクチャルブロックを、第１の符号化処理を施すブロックとして第１の符号化部６３に出力し、エッジ情報を有しないブロックをイグゼンプラ部７３に供給する。モーションスレッディング部７２は、画面並べ替えバッファ６２から供給されたＢピクチャの画像のモーションスレッドを検出し、イグゼンプラ部７３に供給する。
【００３２】
イグゼンプラ部７３は、モーションスレッドに基づいて、エッジ情報を有しないブロックのＳＴＶの値を後述する式（２）に従って演算するとともに、その値を予め定められている閾値と比較する。ＳＴＶの値が閾値より大きい場合、そのＢピクチャのブロックの画像は、第１の符号化処理を施すブロックであるイグゼンプラの画像として第１の符号化部６３に供給される。イグゼンプラ部７３は、ＳＴＶの値が閾値より小さい場合、そのＢピクチャのブロックを第２の符号化処理を施すブロックであるリムーブドブロックとし、その位置を表す位置情報としてのバイナリマスクを第２の符号化部６６に供給する。
【００３３】
第１の符号化部６３は、画面並べ替えバッファ６２より供給されたＩピクチャとＰピクチャ、ブロック分類部７１より供給されたストラクチャルブロック、イグゼンプラ部７３より供給されたイグゼンプラの各画像を、第１の符号化方式で符号化する。第１の符号化方式としては、例えば、H．２６４およびＭＰＥＧ−４  Ｐａｒｔ１０  （Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）（以下Ｈ．２６４／ＡＶＣと記す）を用いることができる。
【００３４】
代替ブロック検出部６４は、第１の符号化部６３で符号化される対象ブロックに隣接する隣接ブロックが第２の符号化方式で符号化されている場合、対象ブロックと隣接ブロックを結ぶ方向の、対象ブロックに最も近い位置のブロックであって、第１の符号化方式で符号化されているブロックを代替ブロックとして検出する。第１の符号化部６３は、この代替ブロックを周辺ブロックとして利用して対象ブロックを第１の符号化方式で符号化する。
【００３５】
第２の符号化部６６は、イグゼンプラ部７３より供給されたバイナリマスクを、第１の符号化方式とは異なる第２の符号化方式で符号化する。第２の符号化方式としては、テクスチャ解析・合成符号化方式を用いることができる。
【００３６】
出力部６７は、第１の符号化部６３の出力と第２の符号化部６６の出力とを合成し、圧縮画像として出力する。
【００３７】
ここでモーションスレッディング部７２が行う基本的処理について説明する。図２に示されるように、モーションスレッディング部７２は画像をＧＯＰ単位で階層構造に分割する。図２の実施の形態では、ＧＯＰ長が８であるＧＯＰが、レイヤ０、レイヤ１およびレイヤ２の３つの階層構造に分割されている。ＧＯＰ長は例えば２のべき乗とすることができるが、それに限られるものではない。
【００３８】
レイヤ２はフレーム（またはフィールド）Ｆ１乃至Ｆ９の９枚のフレームで構成される入力された画像の元のＧＯＰである。レイヤ１はレイヤ２のフレームＦ２，Ｆ４，Ｆ６，Ｆ８を１フレームおきに間引くことで、フレームＦ１，Ｆ３，Ｆ５，Ｆ７，Ｆ９の５フレームで構成したレイヤであり、レイヤ０はレイヤ１のフレームＦ３，Ｆ７を１フレームおきに間引くことで、フレームＦ１，Ｆ５，Ｆ９の３フレームで構成したレイヤである。
【００３９】
モーションスレッディング部７２は、より上位の階層（図２においてより上方に位置する小さい番号で示される階層）の動きベクトルを求めた後、それを利用して、その１つ下のレイヤの動きベクトルを求める。
【００４０】
すなわち、図３Ａに示されるように、モーションスレッディング部７２は、上位の階層のフレームＦ2nとフレームＦ2n+2の動きベクトルＭｖ（Ｆ2n→Ｆ2n+2）をブロックマッチング法などにより演算するとともに、フレームＦ2nのブロックＢ2nに対応するフレームＦ2n+2のブロックＢ2n+2を演算する。
【００４１】
次に、図３Ｂに示されるように、モーションスレッディング部７２は、フレームＦ2nとフレームＦ2n+1（フレームＦ2nとフレームＦ2n+2の中間のフレーム）の動きベクトルＭｖ（Ｆ2n→Ｆ2n+1）をブロックマッチング法などにより演算するとともに、フレームＦ2nのブロックＢ2nに対応するフレームＦ2n+1のブロックＢ2n+1を演算する。
【００４２】
そして、モーションスレッディング部７２は、フレームＦ2n+1とフレームＦ2n+2の動きベクトルＭｖ（Ｆ2n+1→Ｆ2n+2）を、次式から演算する。
Ｍｖ（Ｆ2n+1→Ｆ2n+2）＝Ｍｖ（Ｆ2n→Ｆ2n+2）−Ｍｖ（Ｆ2n→Ｆ2n+1）  （１）
【００４３】
以上の原理に基づいて、図２のレイヤ０において、フレームＦ１とフレームＦ９の動きベクトルとフレームＦ１とフレームＦ５の動きベクトルから、フレームＦ５とフレームＦ９の動きベクトルが求められる。次にレイヤ１において、フレームＦ１とフレームＦ３の動きベクトルが求められ、フレームＦ３とフレームＦ５の動きベクトルが、フレームＦ１とフレームＦ５の動きベクトルと、フレームＦ１とフレームＦ３の動きベクトルから求められる。フレームＦ５とフレームＦ７の動きベクトルが求められ、フレームＦ７とフレームＦ９の動きベクトルが、フレームＦ５とフレームＦ９の動きベクトルと、フレームＦ５とフレームＦ７の動きベクトルから求められる。
【００４４】
さらに、レイヤ２において、フレームＦ１とフレームＦ２の動きベクトルが求められ、フレームＦ２とフレームＦ３の動きベクトルが、フレームＦ１とフレームＦ３の動きベクトルと、フレームＦ１とフレームＦ２の動きベクトルから求められる。フレームＦ３とフレームＦ４の動きベクトルが求められ、フレームＦ４とフレームＦ５の動きベクトルが、フレームＦ３とフレームＦ５の動きベクトルと、フレームＦ３とフレームＦ４の動きベクトルから求められる。
【００４５】
フレームＦ５とフレームＦ６の動きベクトルが求められ、フレームＦ６とフレームＦ７の動きベクトルが、フレームＦ５とフレームＦ７の動きベクトルと、フレームＦ５とフレームＦ６の動きベクトルから求められる。フレームＦ７とフレームＦ８の動きベクトルが求められ、フレームＦ８とフレームＦ９の動きベクトルが、フレームＦ７とフレームＦ９の動きベクトルと、フレームＦ７とフレームＦ８の動きベクトルから求められる。
【００４６】
図４は、以上のようにして求められた動きベクトルに基づき演算されたモーションスレッドの例を表している。図４において、黒いブロックは第２の符号化方式で符号化されたリムーブドブロックを表し、白いブロックは第１の符号化方式で符号化されたブロックを表している。
【００４７】
この例においては、例えば、ピクチャＢ０の最も上に位置するブロックは、ピクチャＢ１の上から２番目の位置、ピクチャＢ２の上から３番目の位置、ピクチャＢ３の上から３番目の位置、ピクチャＢ４の上から３番目の位置、ピクチャＢ５の上から２番目の位置まで達するスレッドに属している。
【００４８】
また、ピクチャＢ０の上から５番目に位置するブロックは、ピクチャＢ１の上から５番目の位置まで達するスレッドに属している。
【００４９】
このように、モーションスレッドは、所定のブロックの各ピクチャ上の位置の軌跡（すなわち、動きベクトルの連鎖）を表している。
【００５０】
次に、図５のフローチャートを参照して、図１の画像符号化装置５１の符号化処理について説明する。
【００５１】
ステップＳ１において、Ａ／Ｄ変換部６１は入力された画像をＡ／Ｄ変換する。ステップＳ２において、画面並べ替えバッファ６２は、Ａ／Ｄ変換部６１より供給された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。並べ替えられたＩピクチャとＰピクチャは第１の符号化処理を行うピクチャであると判定部６５により予め判定（決定）されており、第１の符号化部６３に供給される。Ｂピクチャは判定部６５のブロック分類部７１とモーションスレッディング部７２に供給される。
【００５２】
ステップＳ３において、ブロック分類部７１は、入力されたＢピクチャのブロックを分類する。具体的には、各ピクチャの第１の符号化部６３で行われる符号化の単位としてのブロック（１６×１６画素のサイズのマクロブロック、またはそれ以下のサイズのブロック）が、エッジ情報を含むブロックであるかが判定され、エッジ情報を予め設定されている基準値以上含むブロックと含まないブロックに分類される。エッジ情報を含むブロックは人間の目につき易い画像のブロック（すなわち、第１の符号化処理を施すべきブロック）であるので、ストラクチャルブロックとして第１の符号化部６３に供給される。エッジ情報を含まない画像はイグゼンプラ部７３に供給される。
【００５３】
ステップＳ４において、モーションスレッディング部７２は、Ｂピクチャをモーションスレッディングする。すなわち、図２乃至図４を参照して説明したように、モーションスレッドはブロックの位置の軌跡を表し、この情報がイグゼンプラ部７３に供給される。イグゼンプラ部７３は、この情報に基づいて、後述するＳＴＶを演算する。
【００５４】
ステップＳ５において、イグゼンプラ部７３は、イグゼンプラを抽出する。具体的には、イグゼンプラ部７３は、次式に従ってＳＴＶを演算する。
【数２】
2011030281.tif 000004
【００５５】
上記式において、Ｎはモーションスレッディング部７２で求められたモーションスレッドの長さを表し、Ｂｉはモーションスレッドに含まれるブロックを表す。μ6はブロックに時空間（上下左右の空間と前後の時間）おいて隣接するブロックを表す。δはブロックに含まれる画素値の分散値を表し、Ｅはブロックに含まれる画素値の平均値を表す。ｗ1，ｗ2は、予め定められている重み係数である。
【００５６】
ＳＴＶの値が大きいブロックは、隣接するブロックの画素値との差が大きいブロックなので、人の目につき易い画像のブロック（すなわち、第１の符号化処理を施すべきブロック）である。そこでイグゼンプラ部７３は、ＳＴＶの値が予め設定されている閾値より大きいブロックを、イグゼンプラとして第１の符号化部６３に出力する。
【００５７】
以上のように、ステップＳ２乃至Ｓ５の処理は、判定部６５により第１と第２の符号化方式のいずれにより符号化するかの判定を行う処理である。
【００５８】
ステップＳ６において、代替ブロック検出部６４は代替ブロック検出処理を実行する。その処理の詳細は図６を参照して後述するが、この処理により、第１の符号化処理に必要な対象ブロックの周辺情報としての代替ブロックが検出される。ステップＳ７において、第１の符号化部６３は第１の符号化処理を行う。その処理の詳細は、図８と図９を参照して後述するが、この処理により、判定部６５により第１の符号化処理を施すべきブロックとして判定されたブロック、すなわち、Ｉピクチャ、Ｐピクチャ、ストラクチャルブロック、およびイグゼンプラが、代替ブロックを利用して、第１の符号化方式で符号化される。
【００５９】
ステップＳ８において、第２の符号化部６６はイグゼンプラ部７３より供給されたリムーブドブロックのバイナリマスクを第２の符号化方式で符号化する。この処理は、リムーブドブロックを直接的に符号化するものではないが、後述するように画像復号装置で画像を合成することで復号が行われるので、一種の符号化ということができる。
【００６０】
ステップＳ９において、出力部６７は第１の符号化部６３で符号化された圧縮画像に、第２の符号化部６６で符号化された情報を合成して、出力する。この出力が伝送路を介して伝送され、画像復号装置で復号される。
【００６１】
次に図６を参照して、ステップＳ６における代替ブロック検出処理について説明する。同図に示されるように、ステップＳ４１において、代替ブロック検出部６４は、隣接ブロックが全て第１の符号化処理されたものであるかを判定する。
【００６２】
符号化処理は、画面の左上から右下方向のブロックの順番に行われる。図７に示されるように、いま符号化処理の対象とされている対象ブロックがブロックＥであるとすると、既に符号化処理されているブロックであって、対象ブロックＥに隣接するブロックは、対象ブロックＥの左上のブロックＡ、上のブロックＢ、右上のブロックＣ、そして左のブロックＤである。ステップＳ４１では、これらの隣接ブロックＡ乃至Ｄが全て第１の符号化部６３により符号化されたブロックであるかが判定される。
【００６３】
ブロックＡ乃至Ｄが全て第１の符号化部６３により符号化されたブロックである場合、ステップＳ４２において、代替ブロック検出部６４は周辺ブロックとして隣接ブロックＡ乃至Ｄを選択する。すなわち第１の符号化部６３は、対象ブロックＥを符号化するに当たり、隣接ブロックＡ乃至Ｄの動きベクトルに基づく予測処理を行う。この場合、利用可能なブロックが存在するため、効率的な符号化が可能となる。
【００６４】
第１の符号化部６３により符号化されないブロックはリムーブドブロックとされ、第２の符号化部６６において符号化される。隣接ブロックＡ乃至Ｄが第２の符号化部６６により符号化されたブロックである場合（第１の符号化部６３により符号化されたブロックでない場合）、符号化の原理が異なるため、第１の符号化部６３はその隣接ブロックＡ乃至Ｄを対象ブロックＥの符号化に利用することができない。この場合、周辺情報としてのブロックが得られないunavailableの状態としての符号化処理を行うと、すなわち、例えば、対象ブロックが画面の端部に位置し、その外側には隣接ブロックが存在しない場合と同様の処理を行うと、この場合の符号化処理は、隣接ブロックが存在する場合に較べて、符号化効率が低下する。
【００６５】
そこで、隣接ブロックＡ乃至Ｄが全て第１の符号化部６３により符号化されたブロックではない場合、ステップＳ４３において、第１の符号化部６３は、隣接ブロックのうち、リムーブドブロックとされたブロックから所定の閾値以内の距離に、第１の符号化処理が行われたブロックがあるかを判定する。すなわち、隣接ブロックの代わりに用いられる代替ブロックがあるかが判定される。そして、所定の閾値以内の距離に、第１の符号化処理が行われたブロックがある場合（代替ブロックが存在する場合）、代替ブロック検出部６４は、ステップＳ４４において、周辺ブロックとして、その所定の閾値以内の距離の代替ブロックを選択する。
【００６６】
例えば、図７に示されるように、隣接ブロックＡが第１の符号化部６３により符号化されたブロックではない場合（第２の符号化部６６により符号化されたブロックである場合）、対象ブロックＥから隣接ブロックＡの方向の最短の距離に位置するブロックであって、第１の符号化部６３により符号化されたブロックがブロックＡ’である場合、このブロックＡ’が代替ブロックとされる。
【００６７】
代替ブロックＡ’は隣接ブロックＡの近傍のブロックであるため、隣接ブロックＡと類似した特徴を有していると考えられる。すなわち、代替ブロックＡ’は隣接ブロックＡと、比較的高い相関を有している。そこで、この隣接ブロックＡに代えて代替ブロックＡ’を用いて対象ブロックＥに対して第１の符号化を行うことで、すなわち、代替ブロックＡ’の動きベクトルを用いた予測処理を行うことで、符号化効率の低下を抑制することができる。
【００６８】
ただし、代替ブロックＡ’の隣接ブロックＡからの距離が予め設定されている所定の閾値以上離れている場合、代替ブロックＡ’が隣接ブロックＡと類似した特徴を有する画像である可能性が低くなる（相関が低くなる）。その結果、このような閾値以上の距離に位置する代替ブロックＡ’を利用しても、符号化効率の低下を抑制することは困難になる。そこで、閾値以内の距離に位置するブロックだけが代替ブロックとして対象ブロックＥの符号化に利用される。
【００６９】
隣接ブロックＢ，Ｃ，Ｄについても同様であり、それらがリムーブドブロックである場合、その隣接ブロックＢ，Ｃ，Ｄに代えて、それぞれ対象ブロックＥから隣接ブロックＢ，Ｃ，Ｄの方向の閾値以内の距離に位置する代替ブロックＢ’，Ｃ’，Ｄ’の動きベクトルが、対象ブロックＥの第１の符号化に利用される。
【００７０】
なお、この距離の閾値は、固定値としてもよいし、ユーザが定め、第１の符号化部６３により符号化し、圧縮画像に付随して伝送するようにしてもよい。
【００７１】
ステップＳ４３において、隣接ブロックのうち、リムーブドブロックとされたブロックから所定の閾値以内の距離に、第１の符号化処理が行われたブロックが存在しないと判定された場合、ステップＳ４５において、さらに動きベクトルに関しての代替処理が可能かが判定される。
【００７２】
すなわち、代替ブロック検出部６４は、ステップＳ４５において、対応ブロックの動きベクトルが利用可能であるかを判定する。対応ブロック（co-located block）とは、対象ブロックのピクチャと異なるピクチャ（前または後に位置するピクチャ）のブロックであって、対象ブロックに対応する位置のブロックである。この対応ブロックが第１の符号化処理されたブロックである場合には、対応ブロックの動きベクトルが利用可能であると判定される。この場合、ステップＳ４６において、代替ブロック検出部６４は、周辺ブロックとして、対応ブロックを選択する。すなわち、第１の符号化部６３は対応ブロックを対象ブロックの代替ブロックとして、その動きベクトルに基づく予測処理を行って、符号化処理を行う。これによっても、符号化効率の低下を抑制することができる。
【００７３】
対応ブロックの動きベクトルが利用可能でない場合、ステップＳ４７において、代替ブロック検出部６４はブロックがunavailableであるとする。すなわち、この場合には、従来と同様の処理が行われる。
【００７４】
以上のように、ＩピクチャとＰピクチャのブロックの他、Ｂピクチャの人の目につき易い画像のブロックに対して第１の符号化を施すに際し、隣接ブロックが、人の目につき難い画像の第２の符号化を施したブロックである場合、その方向の最も近い第１の符号化した代替ブロックを周辺ブロックとして、対象ブロックの第１の符号化に利用するようにしたので、符号化効率の低下を抑制することができる。
【００７５】
図８は、第１の符号化部６３の一実施の形態の構成を表している。この第１の符号化部６３は、入力部８１、演算部８２、直交変換部８３、量子化部８４、可逆符号化部８５、蓄積バッファ８６、逆量子化部８７、逆直交変換部８８、演算部８９、デブロックフィルタ９０、フレームメモリ９１、スイッチ９２、動き予測・補償部９３、イントラ予測部９４、スイッチ９５、およびレート制御部９６により構成されている。
【００７６】
入力部８１は、画面並べ替えバッファ６２からＩピクチャとＰピクチャ、ブロック分類部７１からストラクチャルブロック、並びにイグゼンプラ部７３からイグゼンプラの各画像を入力する。入力部８１は入力された画像を代替ブロック検出部６４、演算部８２、動き予測・補償部９３、およびイントラ予測部９４に供給する。
【００７７】
演算部８２は、入力部８１より供給される画像から、スイッチ９５により選択された動き予測・補償部９３の予測画像またはイントラ予測部９４の予測画像を減算し、その差分情報を直交変換部８３に出力する。直交変換部８３は、演算部８２からの差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を出力する。量子化部８４は直交変換部８３が出力する変換係数を量子化する。
【００７８】
量子化部８４の出力となる、量子化された変換係数は、可逆符号化部８５に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施され、圧縮される。圧縮画像は、蓄積バッファ８６に蓄積された後、出力される。レート制御部９６は、蓄積バッファ８６に蓄積された圧縮画像に基づいて、量子化部８４の量子化動作を制御する。
【００７９】
また、量子化部８４より出力された、量子化された変換係数は、逆量子化部８７にも入力され、逆量子化された後、さらに逆直交変換部８８において逆直交変換される。逆直交変換された出力は演算部８９によりスイッチ９５から供給される予測画像と加算されて、局部的に復号された画像となる。デブロックフィルタ９０は、復号された画像のブロック歪を除去した後、フレームメモリ９１に供給し、蓄積させる。フレームメモリ９１には、デブロックフィルタ９０によりデブロックフィルタ処理される前の画像も供給され、蓄積される。
【００８０】
スイッチ９２はフレームメモリ９１に蓄積された参照画像を動き予測・補償部９３またはイントラ予測部９４に出力する。イントラ予測部９４は、入力部８１から供給されたイントラ予測する画像とフレームメモリ９１から供給された参照画像に基づいてイントラ予測処理を行い、予測画像を生成する。イントラ予測部９４は、その際、ブロックに対して適用したイントラ予測モードに関する情報を、可逆符号化部８５に供給する。可逆符号化部８５は、この情報を符号化し、圧縮画像におけるヘッダ情報の一部とする。
【００８１】
動き予測・補償部９３は、入力部８１から供給されるインター符号化が行われる画像と、スイッチ９２を介してフレームメモリ９１から供給される参照画像に基づいて動きベクトルを検出し、動きベクトルに基づいて参照画像に動き予測と補償処理を施し、予測画像を生成する。
【００８２】
動き補償・予測装置９３は、動きベクトルを可逆符号化部８５に出力する。可逆符号化部８５は、動きベクトルをやはり可変長符号化、算術符号化といった可逆符号化処理し、圧縮画像のヘッダ部に挿入する。
【００８３】
スイッチ９５は動き予測・補償部９３またはイントラ予測部９４より出力された予測画像を選択し、演算部８２，８９に供給する。
【００８４】
代替ブロック検出部６４は、イグゼンプラ部７３が出力するバイナリマスクに基づいて、隣接ブロックがリムーブドブロックであるかを判定し、リムーブドブロックである場合、代替ブロックを検出し、その検出結果を可逆符号化部８５、動き予測・補償部９３、およびイントラ予測部９４に出力する。
【００８５】
次に、図９を参照して、第１の符号化部６３が実行する、図５のステップＳ７における第１の符号化処理について説明する。
【００８６】
ステップＳ８１において、入力部８１は画像を入力する。具体的には、入力部８１は、画面並べ替えバッファ６２からＩピクチャとＰピクチャ、ブロック分類部７１からストラクチャルブロック、並びにイグゼンプラ部７３からイグゼンプラの各画像を入力する。ステップＳ８２において、演算部８２は、ステップＳ８１で入力された画像と予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部９３から、イントラ予測する場合はイントラ予測部９４から、それぞれスイッチ９５を介して演算部８２に供給される。
【００８７】
差分データは元の画像データに較べてデータ量が小さくなっている。従って、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【００８８】
ステップＳ８３において、直交変換部８３は演算部８２から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。ステップＳ８４において、量子化部８４は変換係数を量子化する。この量子化に際しては、後述するステップＳ９５の処理で説明されるように、レートが制御される。
【００８９】
以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわちステップＳ８５において、逆量子化部８７は量子化部８４により量子化された変換係数を量子化部８４の特性に対応する特性で逆量子化する。ステップＳ８６において逆直交変換部８８は逆量子化部８７により逆量子化された変換係数を直交変換部８３の特性に対応する特性で逆直交変換する。
【００９０】
ステップＳ８７で演算部８９は、スイッチ９５を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部８２への入力に対応する画像）を生成する。ステップＳ８８においてデブロックフィルタ９０は、演算部８９より出力された画像をフィルタリングする。これによりブロック歪みが除去される。ステップＳ８９においてフレームメモリ９１は、フィルタリングされた画像を記憶する。なお、フレームメモリ９１にはデブロックフィルタ９０によりフィルタ処理されていない画像も演算部８９から供給され、記憶される。
【００９１】
入力部８１から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ９１から読み出され、スイッチ９２を介して動き予測・補償部９３に供給される。ステップＳ９０において動き予測・補償部９３は、フレームメモリ９１から供給される画像を参照して動きを予測し、その動きに基づいて動き補償を行い、予測画像を生成する。
【００９２】
入力部８１から供給される処理対象の画像（例えば、図１０における画素ａ乃至ｐ）がイントラ処理されるブロックの画像である場合、参照される復号済みの画像（図１０における画素Ａ乃至Ｌ）がフレームメモリ９１から読み出され、スイッチ９２を介してイントラ予測部９４に供給される。これらの画像に基づいて、ステップＳ９１においてイントラ予測部９４は処理対象のブロックの画素を所定のイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素（図１０における画素Ａ乃至Ｌ）としては、デブロックフィルタ９０によりデブロックフィルタリングされていない画素が用いられる。これは、イントラ予測はマクロブロック毎に逐次処理で行われるのに対して、デブロックフィルタリング処理は、一通りの復号処理がなされた後に行われるからである。
【００９３】
輝度信号のイントラ予測モードには、９種類の４×４画素および８×８画素のブロック単位、並びに４種類の１６×１６画素のマクロブロック単位の予測モードがあり、色差信号のイントラ予測モードには、４種類の８×８画素のブロック単位の予測モードがある。色差信号のイントラ予測モードは、輝度信号のイントラ予測モードと独立に設定が可能である。輝度信号の４×４画素および８×８画素のイントラ予測モードについては、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが定義される。輝度信号の１６×１６画素のイントラ予測モードと色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが定義される。
【００９４】
予測モードの種類は、図１１の番号０乃至８で示される方向に対応している。予測モード２は平均値予測である。
【００９５】
ステップＳ９２において、スイッチ９５は予測画像を選択する。すなわちインター予測の場合には動き予測・補償部９３の予測画像が、またイントラ予測の場合にはイントラ予測部９４の予測画像がそれぞれ選択され、演算部８２，８９に供給される。この予測画像が、上述したように、ステップＳ８２，S８７の演算に利用される。
【００９６】
ステップＳ９３において可逆符号化部８５は量子化部８４より出力された量子化された変換係数を符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。なお、このとき、ステップＳ９０で動き予測・補償部９３により検出された動きベクトル、並びにステップＳ９１でイントラ予測部９４がブロックに対して適用したイントラ予測モードに関する情報も符号化され、ヘッダ情報に付加される。
【００９７】
ステップＳ９４において蓄積バッファ８６は差分画像を圧縮画像として蓄積する。蓄積バッファ８６に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
【００９８】
ステップＳ９５においてレート制御部９６は、蓄積バッファ８６に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部８４の量子化動作のレートを制御する。
【００９９】
ステップＳ９０，Ｓ９１，Ｓ９３における動き予測処理、イントラ予測処理、および符号化処理において、図６のステップＳ４４，Ｓ４６で選択された周辺ブロックが利用される。すなわち、隣接ブロックに代えて選択された代替ブロックに対する動きベクトルを用いて予測処理が行われる。従って、隣接ブロックが全て第１の符号化処理されたブロックでない場合に、ステップＳ４７における処理と同様に、周辺情報がunavailableであるとして処理するときに較べて、ブロックの効率的な第１の符号化処理が可能となる。
【０１００】
ここで、周辺情報がunavailableであるとされた場合の処理について説明する。
【０１０１】
まず、イントラ予測において、イントラ４×4予測モードを例に、周辺情報がunavailableである場合に行なわれる処理について説明する。
【０１０２】
図１２Ａにおいて、Ｘが４×４対象ブロック、ＡおよびＢは、ブロックＸの左および上に隣接する４×４ブロックであるとする。ブロックＡ若しくはＢが、unavailable である場合には、フラグdcPredModePredictedFlag = １となり、この時、対象ブロックＸの予測モードは予測モード２(平均値予測モード)となる。すなわち、対象ブロックＸの画素値の平均値の画素からなるブロックが、予測ブロックとされる。
【０１０３】
対象ブロックＸがイントラ8×8予測モード、イントラ１６×１６予測モード、色差信号のブロックである場合の動き予測モードに対する処理についても同様である。
【０１０４】
動きベクトル符号化において、周辺情報がunavailable である場合に行なわれる処理は次のようになる。
【０１０５】
図１２Ｂにおいて、Ｘが対象動き予測ブロック、Ａ乃至Ｄは、それぞれ対象ブロックXの左、上、右上、および左上に隣接する動き予測ブロックであるとする。動き予測ブロックA乃至Ｃの動きベクトルがavailableである場合、対象動き予測ブロックＸに対する動きベクトルの予測値PredMVは、動き予測ブロックA乃至Ｃの動きベクトルのメディアンにより生成される。
【０１０６】
これに対して、動き予測ブロックA乃至Ｃのいずれかの動きベクトルがunavailable である場合には、以下のような処理が行なわれる。
【０１０７】
まず、ブロックＣの動きベクトルがunavailable である場合、ブロックＡ，Ｂ，Ｄの動きベクトルがavailableであるときは、ブロックXの動きベクトルは、ブロックA，ＢおよびDの動きベクトルのメディアンにより生成される。ブロックBとブロックCのいずれもunavailable である場合、並びにブロックCとブロックDのいずれもunavailable である場合には、メディアン予測は行なわれず、ブロックＡに対する動きベクトルがブロックXの動きベクトルの予測値とされる。ただし、ブロックＡに対する動きベクトルがunavailable である場合、ブロックXの動きベクトルの予測値は０とされる。
【０１０８】
次に、周辺情報がunavailable である場合の可変長符号化の処理について説明する。
【０１０９】
図１２Aにおいて、Ｘが４×４若しくは８×８対象直交変換ブロック、ＡおよびＢが隣接ブロックであるとする。ブロックAおよびブロックＢにおける値が０ではない直交変換係数の数をｎＡ，ｎＢとすると、ブロックＸに対する可変長変換テーブルは、数ｎＡおよびｎＢにより選択される。しかし、ブロックAがunavailable である場合には、数ｎＡ＝０であるとして、またブロックＢがunavailable である場合には、数ｎＢ＝０であるとして、それに対応する変換テーブルが選択される。
【０１１０】
周辺情報がunavailable である場合の算術符号化処理は次のようになる。
【０１１１】
ここでは、フラグmb_skip_flagを例にとって説明するが、他のシンタクス要素に対する処理についても同様である。
【０１１２】
マクロブロックＫに対して、コンテクストｃｔｘ（K）が次のように定義される。すなわち、マクロブロックＫが、参照フレームの空間的に対応する位置の画素をそのまま用いるスキップトマクロブロックである場合、コンテクストｃｔｘ（K）は１とされ、そうでない場合、０とされる。
【０１１３】
【数３】
2011030281.tif 000005
【０１１４】
対象ブロックＸに対するコンテクストｃｔｘ（X）は次式に示されるように、左の隣接ブロックAのコンテキストｃｔｘ（A）と、上の隣接ブロックBのコンテキストｃｔｘ（B）の和として算出される。
ｃｔｘ（X）＝  ｃｔｘ（A）＋ｃｔｘ（B）        （４）
【０１１５】
ブロックＡ若しくはブロックＢがunavailable である場合、コンテクストｃｔｘ（A）＝０、若しくはコンテクストｃｔｘ（B）＝０であるとされる。
【０１１６】
以上のように、周辺情報がunavailableであるとして処理を実行すると、効率的な処理が困難になるが、上述したように代替ブロックを周辺ブロックとして利用することで、効率的な処理が可能となる。
【０１１７】
符号化された圧縮画像は、所定の伝送路を介して伝送され、画像復号装置により復号される。図１３は、このような画像復号装置の一実施の形態の構成を表している。
【０１１８】
画像復号装置１０１は、蓄積バッファ１１１、第１の復号部１１２、代替ブロック検出部１１３、第２の復号部１１４、画面並べ替えバッファ１１５、およびＤ／Ａ変換部１１６を有している。第２の復号部１１４は、補助情報復号部１２１とテクスチャ合成部１２２とを有している。
【０１１９】
蓄積バッファ１１１は伝送されてきた圧縮画像を蓄積する。第１の復号部１１２は蓄積バッファ１１１に蓄積された圧縮画像のうち、第１の符号化が行われている圧縮画像を、第１の復号処理で復号する。この第１の復号処理は、図１の画像符号化装置５１の第１の符号化部６３が行う第１の符号化処理に対応する処理、すなわち、この実施の形態の場合、Ｈ．２６４／ＡＶＣ方式に対応する復号方式の処理である。代替ブロック検出部１１３は、補助情報復号部１２１から供給されるバイナリマスクに基づいて代替ブロックを検出する。その機能は図１の代替ブロック検出部６４と同様である。
【０１２０】
第２の復号部１１４は、蓄積バッファ１１１から供給される第２の符号化が行われている圧縮画像に対して第２の復号処理を行う。具体的には、補助情報復号部１２１が、図１の第２の符号化部６６による第２の符号化処理に対応する復号処理を行い、テクスチャ合成部１２２が、補助情報復号部１２１から供給されるバイナリマスクに基づいて、テクスチャの合成処理を行う。このためテクスチャ合成部１２２には、第１の復号部１１２から対象フレームの画像（Ｂピクチャの画像）が供給され、画面並べ替えバッファ１１５から参照画像が供給される。
【０１２１】
画面並べ替えバッファ１１５は、第１の復号部１１２で復号されたＩピクチャとＰピクチャの画像と、テクスチャ合成部１２２で合成されたＢピクチャの画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ６２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。Ｄ／Ａ変換部１１６は、画面並べ替えバッファ１１５から供給された画像をＤ／Ａ変換し、図示せぬディスプレイに出力し、表示させる。
【０１２２】
次に図１４を参照して画像復号装置１０１が実行する復号処理について説明する。
【０１２３】
ステップＳ１３１において、蓄積バッファ１１１は伝送されてきた画像を蓄積する。ステップＳ１３２において、第１の復号部１１２は蓄積バッファ１１１から読み出された第１の符号化処理が行われている画像に対して第１の復号処理を施す。その詳細は図１６と図１７を参照して後述するが、これにより図１の第１の符号化部６３で符号化されたＩピクチャとＰピクチャ、並びにＢピクチャのストラクチャルブロックとイグゼンプラの画像（ＳＴＶの値が閾値より大きいブロックの画像）が復号される。ＩピクチャとＰピクチャの画像は画面並べ替えバッファ１１５に供給され、蓄積される。Ｂピクチャの画像はテクスチャ合成部１２２に供給される。
【０１２４】
ステップＳ１３３において代替ブロック検出部１１３は代替ブロック検出処理を実行する。この処理は図６を参照して説明した通りであり、隣接ブロックが第１の符号化が行われていないブロックである場合には、代替ブロックが検出される。この処理を行うため、後述するステップＳ１３４で補助情報復号部１２１により復号されたバイナリマスクが代替ブロック検出部１１３に供給されている。代替ブロック検出部１１３はバイナリマスクを利用して、各ブロックが第１の符号化処理が行われたブロックであるのか、あるいは第２の符号化処理が行われたブロックであるのかを確認する。検出された代替ブロックを利用して、ステップＳ１３２の第1の復号処理が行われる。
【０１２５】
次に第２の復号部１１４はステップＳ１３４、Ｓ１３５において第２の復号を行う。すなわち、ステップＳ１３４において、補助情報復号部１２１は、蓄積バッファ１１１から供給された第２の符号化処理が行われているバイナリマスクを復号する。復号されたバイナリマスクは、テクスチャ合成部１２２と代替ブロック検出部１１３に出力される。バイナリマスクはリムーブドブロックの位置、すなわち第１の符号化処理が行われていないブロックの位置（第２の符号化処理が行われているブロックの位置）を表している。そこで、上述したように、代替ブロック検出部１１３はこのバイナリマスクを利用して代替ブロックを検出する。
【０１２６】
ステップＳ１３５においてテクスチャ合成部１２２は、バイナリマスクで指定されるリムーブドブロックに対してテクスチャ合成を行う。このテクスチャ合成はリムーブドブロック（ＳＴＶの値が閾値より小さい画像のブロック）を再生する処理であり、その原理が図１５に示されている。同図に示されるように、復号の処理対象のブロックである対象ブロックＢ1が属するＢピクチャのフレームが対象フレームＦCであるとする。対象ブロックＢ1がリムーブドブロックであるとすると、その位置がバイナリマスクで表されていることになる。
【０１２７】
テクスチャ合成部１２２は、補助情報復号部１２１からバイナリマスクを受け取ると、対象フレームＦCの１フレーム前の前方参照フレームＦPの、対象ブロックに対応する位置を中心とする所定の範囲に探索範囲Ｒを設定する。対象フレームＦCは第１の復号部１１２から、前方参照フレームＦPは画面並べ替えバッファから、それぞれテクスチャ合成部１２２に供給される。そしてテクスチャ合成部１２２は、探索範囲Ｒ内において対象ブロックＢ1と最も高い相関を有するブロックＢ1’を探索する。ただし、対象ブロックＢ1はリムーブドブロックであって、第１の符号化処理が行われていないので、画素値が存在しない。
【０１２８】
そこで、テクスチャ合成部１２２は、対象ブロックＢ1の近傍の所定の範囲の領域の画素値を対象ブロックＢ1の画素値に代えて検索に使用する。図１５の実施の形態の場合、対象ブロックＢ1の上方に隣接する領域Ａ1と、下方に隣接する領域Ａ2の画素値が用いられる。テクスチャ合成部１２２は、前方参照フレームＦPにおいて、対象ブロックＢ1、領域Ａ1，Ａ2に対応する参照ブロックＢ1’、領域Ａ1’，Ａ2’を想定し、参照ブロックＢ1’が探索範囲Ｒに位置する範囲で、領域Ａ1，Ａ2と領域Ａ1’，Ａ2’の差分絶対値和や差分二乗和を演算する。
【０１２９】
同様の演算が対象フレームＦCの１フレーム後の後方参照フレームＦbにおいても行われる。後方参照フレームＦbも画面並べ替えバッファ１１５からテクスチャ合成部１２２に供給される。そして、演算値が最も小さい（最も相関の高い）位置の領域Ａ1’，Ａ2’に対応する参照ブロックＢ1’が探索され、その参照ブロックＢ1’が対象フレームＦCの対象ブロックＢ1の画素値として合成される。リムーブドブロックが合成されたＢピクチャは画面並べ替えバッファ１１５に供給され、記憶される。
【０１３０】
このように、この実施の形態における第２の符号化／復号方式はテクスチャ解析・合成符号化／復号方式であるため、補助情報であるバイナリマスクが符号化され、伝送されるだけで、対象ブロックの画素値は直接的には符号化されず、伝送もされないが、画像復号装置側で、バイナリマスクに基づいて対象ブロックが合成される。
【０１３１】
ステップＳ１３６において、画面並べ替えバッファ１１５は並べ替えを行う。すなわち画像符号化装置５１の画面並べ替えバッファ６２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０１３２】
ステップＳ１３７においてＤ／Ａ変換部１１６は、画面並べ替えバッファ１１５からの画像をＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０１３３】
図１６は第１の復号部１１２の一実施の形態の構成を表している。第１の復号部１１２は、可逆復号部１４１、逆量子化部１４２、逆直交変換部１４３、演算部１４４、デブロックフィルタ１４５、フレームメモリ１４６、スイッチ１４７、動き予測・補償部１４８、イントラ予測部１４９、およびスイッチ１５０により構成されている。
【０１３４】
可逆復号部１４１は、蓄積バッファ１１１より供給された、図８の可逆符号化部８５により符号化された情報を、可逆符号化部８５の符号化方式に対応する方式で復号する。逆量子化部１４２は可逆復号部１４１により復号された画像を、図８の量子化部８４の量子化方式に対応する方式で逆量子化する。逆直交変換部１４３は、図８の直交変換部８３の直交変換方式に対応する方式で逆量子化部１４２の出力を逆直交変換する。
【０１３５】
逆直交変換された出力は演算部１４４によりスイッチ１５０から供給される予測画像と加算されて復号される。デブロックフィルタ１４５は、復号された画像のブロック歪を除去した後、フレームメモリ１４６に供給し、蓄積させるとともに、Ｂピクチャを図１３のテクスチャ合成部１２２に、ＩピクチャとＰピクチャを画面並べ替えバッファ１１５に、それぞれ出力する。
【０１３６】
スイッチ１４７は、インター符号化が行われる画像と参照される画像をフレームメモリ１４６から読み出し、動き予測・補償部１４８に出力するとともに、イントラ予測に用いられる画像をフレームメモリ１４６から読み出し、イントラ予測部１４９に供給する。
【０１３７】
イントラ予測部１４９には、ヘッダ情報を復号して得られたイントラ予測モードに関する情報が可逆復号部１４１から給される。イントラ予測部１４９は、この情報に基づいて、予測画像を生成する。
【０１３８】
動き予測・補償部１４８には、ヘッダ情報を復号して得られた動きベクトルが可逆復号部１４１から供給される。動き予測・補償部１４８は、動きベクトルに基づいて画像に動き予測と補償処理を施し、予測画像を生成する。
【０１３９】
スイッチ１５０は、動き予測・補償部１４８またはイントラ予測部１４９により生成された予測画像を選択し、演算部１４４に供給する。
【０１４０】
代替ブロック検出部１１３は、図１３の補助情報復号部１２１が出力するバイナリマスクに基づいて代替ブロックを検出し、その検出結果を可逆復号部１４１、動き予測・補償部１４８、およびイントラ予測部１４９に出力する。
【０１４１】
次に、図１７を参照して、図１６の第１の復号部１１２が行う図１４のステップＳ１３２の第１の復号処理について説明する。
【０１４２】
ステップＳ１６１において、可逆復号部１４１は、蓄積バッファ１１１から供給される圧縮画像を復号する。すなわち、図８の可逆符号化部８５により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャのストラクチャルブロックとイグゼンプラが復号される。このとき動きベクトル、イントラ予測モードも復号され、動きベクトルは動き予測・補償部１４８に供給され、イントラ予測モードはイントラ予測部１４９に供給される。
【０１４３】
ステップＳ１６２において、逆量子化部１４２は可逆復号部１４１により復号された変換係数を、図８の量子化部８４の特性に対応する特性で逆量子化する。ステップＳ１６３において逆直交変換部１４３は逆量子化部１４２により逆量子化された変換係数を、図８の直交変換部８３の特性に対応する特性で逆直交変換する。これにより図８の直交変換部８３の入力（演算部８２の出力）に対応する差分情報が復号されたことになる。
【０１４４】
ステップＳ１６４で演算部１４４は、後述するステップＳ１６９の処理で選択され、スイッチ１５０を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。ステップＳ１６５においてデブロックフィルタ１４５は、演算部１４４より出力された画像をフィルタリングする。これによりブロック歪みが除去される。この画像のうちＢピクチャが図１３のテクスチャ合成部１２２に、ＩピクチャとＰピクチャが画面並べ替えバッファ１１５に、それぞれ供給される。ステップＳ１６６においてフレームメモリ１４６は、フィルタリングされた画像を記憶する。
【０１４５】
処理対象の画像がインター処理される画像である場合、必要な画像がフレームメモリ１４６から読み出され、スイッチ１４７を介して動き予測・補償部１４８に供給される。ステップＳ１６７において動き予測・補償部１４８は、可逆復号部１４１から供給される動きベクトルに基づいて動き予測し、予測画像を生成する。
【０１４６】
処理対象の画像がイントラ処理される画像である場合、必要な画像がフレームメモリ１４６から読み出され、スイッチ１４７を介してイントラ予測部１４９に供給される。ステップＳ１６８においてイントラ予測部１４９は、可逆復号部１４１から供給されるイントラ予測モードに従ってイントラ予測し、予測画像を生成する。
【０１４７】
ステップＳ１６９において、スイッチ１５０は予測画像を選択する。すなわち動き予測・補償部１４８またはイントラ予測部１４９により生成された予測画像の一方が選択され、演算部１４４に供給され、上述したように、ステップＳ１６４において逆直交変換部１４３の出力と加算される。
【０１４８】
なお、ステップＳ１６１の可逆復号部１４１の復号処理、ステップＳ１６７の動き予測・補償部１４８の動き予測・補償処理、そしてステップＳ１６８のイントラ予測部１４９のイントラ予測処理においては、代替ブロック検出部１１３により検出された代替ブロックが利用される。従って、効率的な処理が可能となる。
【０１４９】
以上の処理が、図１４のステップＳ１３２において行われる。この復号の処理は、図８の第１の符号化部６３が行う、図９のステップＳ８５乃至ステップＳ９２の局部的復号処理と基本的に同様の処理である。
【０１５０】
図１８は画像符号化装置の他の実施の形態の構成を表している。この画像符号化装置５１の判定部７０はグローバル動きベクトル検出部１８１をさらに有している。グローバル動きベクトル検出部１８１は、画面並べ替えバッファ６２から供給されるフレームの画面全体の、平行移動や拡大、縮小、回転といったグローバル動きの検出を行い、検出結果に対応するグローバル動きベクトルを、代替ブロック検出部６４と第２の符号化部６６に供給する。
【０１５１】
代替ブロック検出部６４は、グローバル動きベクトルに基づいて、元に戻るように画面全体を平行移動、拡大、縮小、または回転して、代替ブロックを検出する。これにより、画面全体が平行移動、拡大、縮小、または回転している場合でも、代替ブロックを正確に検出することができる。
【０１５２】
第２の符号化部６６は、バイナリマスクの他、グローバル動きベクトルに対しても第２の符号化処理を施し、復号側に伝送する。
【０１５３】
その他の構成と動作は、図１の画像符号化装置５１と同様である。
【０１５４】
図１８の符号化装置に対応する画像復号装置は、図１３に示した場合と同様の構成となる。補助情報復号部１２１は、バイナリマスクとともにグローバル動きベクトルも復号し、代替ブロック検出部１１３に供給する。代替ブロック検出部１１３は、代替ブロック検出部６４と同様に、グローバル動きに基づいて、元に戻るように画面全体を平行移動、拡大、縮小、または回転して、代替ブロックを検出する。これにより、画面全体が平行移動、拡大、縮小、または回転している場合でも、代替ブロックを正確に検出することができる。
【０１５５】
補助情報復号部１２１により復号されたバイナリマスクとグローバル動きベクトルは、テクスチャ合成部１２２にも供給される。テクスチャ合成部１２２は、グローバル動きに基づいて、元に戻るように画面全体を平行移動、拡大、縮小、または回転して、テクスチャ合成を行う。これにより、画面全体が平行移動、拡大、縮小、または回転している場合でも、テクスチャ合成を正確に行うことができる。
【０１５６】
その他の構成と動作は、図１３の画像復号装置１０１と同様である。
【０１５７】
以上のように、対象ブロックに隣接する隣接ブロックが、第２の符号化方式で符号化されている場合、対象ブロックと隣接ブロックを結ぶ方向の、対象ブロックに最も近い位置のブロックであって、第１の符号化方式で符号化されている代替ブロックを利用して第1の符号化方式で画像を符号化することで、圧縮率の低下を抑制することができる。
【０１５８】
以上においては、第１の符号化方式としてＨ．２６４／ＡＶＣ方式を、第１の復号方式としてそれに対応する復号方式を、第２の符号化方式としてテクスチャ・合成符号化方式を、第２の復号方式としてそれに対応する復号方式を、それぞれ用いるようにしたが、その他の符号化方式／復号方式を用いることもできる。
【０１５９】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１６０】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア、または、プログラムが一時的もしくは永続的に格納されるROMやハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１６１】
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１６２】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１６３】
５１  画像符号化装置，  ６１  Ａ／Ｄ変換部，  ６２  画面並べ替えバッファ，  ６３  第１の符号化部，  ６４  代替ブロック検出部，  ６５  判定部，  ６６  第２の符号化部，  ６７  出力部，  ７１  ブロック分類部，  ７２  モーションスレッディング部，  ７３  イグゼンプラ部，  １０１  画像復号装置，  １１１  蓄積バッファ，  １１２  第１の復号部，  １１３  代替ブロック検出部，  １１４  第２の復号部，  １１５  画面並べ替えバッファ，  １１６  Ｄ／Ａ変換部，  １２１  補助情報復号部，  １２２  テクスチャ合成部
【図１】
2011030281.tif 000007
【図２】
2011030281.tif 000008
【図３】
2011030281.tif 000009
【図４】
2011030281.tif 000010
【図５】
2011030281.tif 000011
【図６】
2011030281.tif 000012
【図７】
2011030281.tif 000013
【図８】
2011030281.tif 000014
【図９】
2011030281.tif 000015
【図１０】
2011030281.tif 000016
【図１１】
2011030281.tif 000017
【図１２】
2011030281.tif 000018
【図１３】
2011030281.tif 000019
【図１４】
2011030281.tif 000020
【図１５】
2011030281.tif 000021
【図１６】
2011030281.tif 000022
【図１７】
2011030281.tif 000023
【図１８】
2011030281.tif 000024