(57)【要約】【課題】  動画像符号化において、全体の処理量を抑えながら符号化効率の向上を実現し、また、画像のサーチを行う際、サーチ速度に合わせて適切な画像再生を実現する。【解決手段】  入力画像１００を複数個のブロックに分割するブロック分割部１と、フレームメモリ１４に記憶・保持された前フレームの同位置にあるブロック画像と現在の符号化対象ブロックとの誤差を検出する誤差検出部１２と、検出された誤差に応じて符号化対象ブロックの符号化を行うか行わないかを選択制御する符号化モード制御部２と、各ブロック画像毎にウェーブレット変換符号化を施すウェーブレット変換符号化のための回路部とを有する。ウェーブレット変換符号化のための回路部は、ウェーブレット変換部４，スキャニング部５，量子化部６及びエントロピー符号化部１３から成る。【選択図】  図１
2006042371.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を複数個のブロックに分割するブロック分割手段と、
画像メモリに記憶・保持された前フレームの同位置にあるブロック画像と、現在の符号化対象ブロックとの誤差を検出する誤差検出手段と、
検出された誤差に応じて符号化対象ブロックの符号化を行うか行わないかを選択制御する符号化モード制御手段と、
各ブロック画像毎にウェーブレット変換符号化を施すウェーブレット変換符号化手段と
を有することを特徴とする動画像符号化装置。
【請求項２】
上記ウェーブレット変換符号化手段により得られた符号化出力に対してウェーブレット逆変換復号を施すウェーブレット逆変換復号手段を有し、上記画像メモリには、上記ウェーブレット逆変換復号手段からの画像を記憶・保持することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
上記ウェーブレット変換符号化手段は、上記各ブロック画像毎にウェーブレット変換を施すウェーブレット変換手段と、ウェーブレット変換係数をスキャニングするスキャニング手段と、スキャニング後の係数を量子化する量子化手段と、量子化係数をエントロピー符号化して符号化ビットストリームを出力するエントロピー符号化手段とを有して構成されることを特徴とする請求項１記載の動画像符号化装置。
【請求項４】
上記ウェーブレット変換手段の前段に、上記符号化モード制御手段からの情報に応じて現在の符号化対象ブロックの領域を決定して、符号化対象領域の画素を抽出する符号化対象領域抽出手段を設けることを特徴とする請求項３記載の動画像符号化装置。
【請求項５】
上記符号化対象領域抽出手段は、当該ブロックの周囲に、上記ウェーブレット変換手段によるフィルタリングの影響が及ぶ範囲まで、隣接ブロックの画素を読み出すことで、符号化対象領域を拡大することを特徴とする請求項４記載の動画像符号化装置。
【請求項６】
上記符号化対象領域抽出手段は、当該ブロックの周囲に、上記ウェーブレット変換手段によるフィルタリングの影響が及ぶ範囲まで、当該ブロック内部の画素値を、ブロック境界で鏡像関係になるように対称拡張することで、符号化対象領域を拡大することを特徴とする請求項４記載の動画像符号化装置。
【請求項７】
上記符号化対象領域抽出手段は、当該ブロックの周囲に、上記ウェーブレット変換手段によるフィルタリングの影響が及ぶ範囲まで、０値を挿入することで、符号化対象領域を拡大することを特徴とする請求項４記載の動画像符号化装置。
【請求項８】
上記符号化対象領域抽出手段は、当該ブロックの周囲に、上記ウェーブレット変換手段によるフィルタリングの影響が及ぶ範囲まで、当該ブロック内部の画素値を、ブロック境界で点対称関係になるように対称拡張することで、符号化対象領域を拡大することを特徴とする請求項４記載の動画像符号化装置。
【請求項９】
上記ウェーブレット変換符号化手段からの量子化されたウェーブレット変換係数に対してウェーブレット逆変換復号を施すウェーブレット逆変換復号手段を有し、このウェーブレット逆変換復号手段からの画像を上記画像メモリに記憶・保持すると共に、上記ウェーブレット逆変換復号手段は、上記量子化された変換係数を逆量子化して変換係数に戻す逆量子化手段と、変換係数を逆走査する逆スキャニング手段と、得られた変換係数を逆ウェーブレット変換するウェーブレット逆変換手段とを有して構成されることを特徴とする請求項１記載の動画像符号化装置。
【請求項１０】
上記ウェーブレット逆変換手段の前段に、復号対象となる変換係数を抽出する復号対象係数抽出手段を設け、上記逆ウェーブレット逆変換手段の後段に、復号画像領域抽出手段を設けることを特徴とする請求項９記載の動画像符号化装置。
【請求項１１】
上記復号対象係数抽出手段は、当該ブロックの周囲に、上記ウェーブレット逆変換手段によるフィルタリングの影響が及ぶ範囲まで、隣接ブロックの変換係数を読み出すことで、復号対象の係数領域を拡大することを特徴とする請求項１０記載の動画像符号化装置。
【請求項１２】
上記復号対象係数抽出手段は、当該ブロックの周囲に、上記ウェーブレット逆変換手段によるフィルタリングの影響が及ぶ範囲まで、当該ブロック内部の変換係数を、ブロック境界で鏡像関係になるように対称拡張することで、復号対象の係数領域を拡大することを特徴とする請求項１０記載の動画像符号化装置。
【請求項１３】
上記復号対象係数抽出手段は、当該ブロックの周囲に、上記ウェーブレット逆変換手段によるフィルタリングの影響が及ぶ範囲まで、０値を挿入することで、復号対象の係数領域を拡大することを特徴とする請求項１０記載の動画像符号化装置。
【請求項１４】
上記復号対象係数抽出手段は、当該ブロックの周囲に、上記ウェーブレット逆変換手段によるフィルタリングの影響が及ぶ範囲まで、当該ブロック内部の変換係数を、ブロック境界で点対称関係になるように対称拡張することで、復号対象の係数領域を拡大することを特徴とする請求項１０記載の動画像符号化装置。
【請求項１５】
上記復号画像領域抽出手段は、上記ウェーブレット逆変換手段によって復元された復号画像から、対象ブロック領域を抽出することを特徴とする請求項１０記載の動画像符号化装置。
【請求項１６】
上記入力画像を複数個のブロックに分割する手段の前段に、上記入力画像としてのインターレース画像を奇数フィールドと偶数フィールドに分割する手段を設けることを特徴とする請求項１記載の動画像符号化装置。
【請求項１７】
入力画像を複数個のブロックに分割する工程と、
画像メモリに記憶・保持された前フレームの同位置にあるブロック画像と、現在の符号化対象ブロックとの誤差を検出する工程と、
検出された誤差に応じて符号化対象ブロックの符号化を行うか行わないかを選択する工程と、
各ブロック画像毎にウェーブレット変換符号化を施す工程と
を有することを特徴とする動画像符号化方法。
【請求項１８】
上記ウェーブレット変換符号化を施す工程により得られた符号化出力に対してウェーブレット逆変換復号を施す工程を有し、上記画像メモリには、上記ウェーブレット逆変換復号を施す工程により得られた画像を記憶・保持することを特徴とする請求項１７記載の動画像符号化方法。
【請求項１９】
符号化ビットストリームを入力または読み出してウェーブレット逆変換復号し復号画像を出力するウェーブレット逆変換復号手段と、
上記ウェーブレット逆変換復号手段により得られた復号画像から対象領域を抽出する復号画像領域抽出手段と、
得られた復号画像を記憶・保持する画像メモリと、
供給された符号化制御信号に従って、上記画像メモリに予め記憶された前フレームの復号画像を送出するか、または上記ウェーブレット逆変換復号手段によって復号された画像を送出するかを選択する復号モード制御手段と
を有することを特徴とする動画像復号装置。
【請求項２０】
上記ウェーブレット逆変換復号手段は、上記量子化された変換係数を逆量子化して変換係数に戻す逆量子化手段と、変換係数を逆走査する逆スキャニング手段と、得られた変換係数から復号対象となる変換係数を抽出する復号対象係数抽出手段と、得られた復号対象係数を逆ウェーブレット変換するウェーブレット逆変換手段とを有して構成されることを特徴とする請求項１９記載の動画像復号装置。
【請求項２１】
上記復号対象係数抽出手段は、当該ブロックの周囲に、上記ウェーブレット逆変換手段によるフィルタリングの影響が及ぶ範囲まで、隣接ブロックの変換係数を読み出すことで、復号対象の係数領域を拡大することを特徴とする請求項２０記載の動画像復号装置。
【請求項２２】
上記復号対象係数抽出手段は、当該ブロックの周囲に、上記ウェーブレット逆変換手段によるフィルタリングの影響が及ぶ範囲まで、当該ブロック内部の変換係数を、ブロック境界で鏡像関係になるように対称拡張することで、復号対象の係数領域を拡大することを特徴とする請求項２０記載の動画像復号装置。
【請求項２３】
上記復号対象係数抽出手段は、当該ブロックの周囲に、上記ウェーブレット逆変換手段によるフィルタリングの影響が及ぶ範囲まで、０値を挿入することで、復号対象の係数領域を拡大することを特徴とする請求項２０記載の動画像復号装置。
【請求項２４】
上記復号対象係数抽出手段は、当該ブロックの周囲に、上記ウェーブレット逆変換手段によるフィルタリングの影響が及ぶ範囲まで、当該ブロック内部の変換係数を、ブロック境界で点対称関係になるように対称拡張することで、復号対象の係数領域を拡大することを特徴とする請求項２０記載の動画像復号装置。
【請求項２５】
上記復号画像領域抽出手段は、上記ウェーブレット逆変換手段によって復元された復号画像から、対象ブロック領域を抽出することを特徴とする請求項２０記載の動画像復号装置。
【請求項２６】
上記符号化ビットストリームは、奇数フィールド画像の符号化ビットストリームと偶数フィールド画像の符号化ビットストリームとを有し、これらの奇数フィールド画像の符号化ビットストリームと、偶数フィールド画像の符号化ビットストリームとを上記ウェーブレット逆変換復号手段によりそれぞれ復号して、奇数フィールド復号画像と偶数フィールド復号画像とを合成することを特徴とする請求項１９記載の動画像復号装置。
【請求項２７】
符号化ビットストリームを入力または読み出してウェーブレット逆変換復号し復号画像を出力する工程と、
上記ウェーブレット逆変換復号により得られた復号画像から対象領域を抽出する工程と、
得られた復号画像を画像メモリに記憶・保持する工程と、
供給された符号化制御信号に従って、上記画像メモリに予め記憶された前フレームの復号画像を送出するか、または上記ウェーブレット逆変換復号手段によって復号された画像を送出するかを選択する工程と
を有することを特徴とする動画像復号方法。
【請求項２８】
上記ウェーブレット逆変換復号を施す工程は、上記量子化された変換係数を逆量子化して変換係数に戻す逆量子化工程と、変換係数を逆走査する逆スキャニング工程と、得られた変換係数から復号対象となる変換係数を抽出する復号対象係数抽出工程と、得られた復号対象係数を逆ウェーブレット変換するウェーブレット逆変換工程とを有することを特徴とする請求項２７記載の動画像復号方法。
【請求項２９】
複数個の低域通過フィルタと高域通過フィルタから構成されるフィルタバンク手段によって、入力画像を複数個の帯域に変換する手段と、上記各帯域毎に変換係数を走査、量子化、エントロピー符号化する手段により符号化ビットストリームを記録媒体に記録する手段とを備えた画像圧縮装置と、
上記記録媒体から符号化ビットストリームを読み出して、エントロピー復号化、逆量子化、逆走査、更に同該フィルタバンク手段によって逆変換を行い、復号画像を出力する手段を備えた画像伸長装置と
を有し、
サーチ速度に合わせて、上記記録媒体に記録された符号化ビットストリームから、該当する帯域成分を読み出すサーチ手段
を有することを特徴とする画像記録再生装置。
【請求項３０】
上記サーチ手段によるサーチ速度が高速な場合には、低域成分の帯域に相当する符号化ビットストリームだけを読み出して、上記画像伸長装置により低域成分の帯域画像を復号し、サーチ速度が低速な場合には、低域と高域成分の帯域に相当する符号化ビットストリームを読み出して帯域画像を復号することを特徴とする請求項２９記載の画像記録再生装置。
【請求項３１】
上記復号された帯域画像は、所定の帯域成分の解像度で復号されたものであることを特徴とする請求項３０記載の画像記録再生装置。
【請求項３２】
上記復号された帯域画像は、原画像の解像度で、画質が所定の帯域成分を用いて復号されたものであることを特徴とする請求項３０記載の画像記録再生装置。
【請求項３３】
上記サーチ手段は、符号化ビットストリームが記録された記録媒体から、制御手段からのサーチ速度または外部入力からの制御によって、所定の符号語を読み出して、復号画像を出力することを特徴とする請求項２９記載の画像記録再生装置。
【請求項３４】
複数個の各帯域毎に変換係数を走査、量子化、エントロピー符号化されて得られた符号化ビットストリームが記録された記録媒体から符号化ビットストリームを読み出して、エントロピー復号化、逆量子化、逆走査、更に同該フィルタバンク手段によって逆変換を行い、復号画像を出力する手段と、
サーチ速度に合わせて、上記記録媒体に記録された符号化ビットストリームから、該当する帯域成分を読み出すサーチ手段と
を有することを特徴とする画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の効率的伝送もしくは蓄積を行うシステムに供することのできる動画像符号化装置及び方法、復号装置及び方法、並びに画像記録再生装置に関するものであり、特に、圧縮・伸長の部分にブロックベース型のウェーブレット変換を用いる動画像符号化装置及び方法、復号装置及び方法、並びに画像記録再生装置に関する。
【背景技術】
【０００２】
従来の代表的な画像圧縮方式としては、ＩＳＯ（国際標準化機構：International Organization for Standardization）によって標準化されたＪＰＥＧ（Joint Photographic Coding Experts Group） 方式がある。このＪＰＥＧ方式とは、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform） を用いて主に静止画を圧縮符号化する方式であり、比較的高いビットが割り当てられる場合には、良好な符号化・復号画像を供することが知られている。ただしこの方式においては、ある程度符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
これとは別に、最近においては、画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタを組み合わせたフィルタによって複数の帯域に分割し、それらの帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット符号化は、ＤＣＴで問題とされた高圧縮でブロック歪みが顕著になる、という欠点が無いことから、ＤＣＴに代わる新たな技術として有力視されている。
【０００４】
現在、電子スチルカメラやビデオムービ等の製品では、圧縮符号化にＪＰＥＧ方式やＭＰＥＧ（Moving Picture image coding Exparts Group） 方式、あるいはいわゆるＤＶ（Digital Video） 方式を採用するものが多く、これらの圧縮符号化方式はいずれも変換方式にＤＣＴを用いている。今後ウェーブレット変換をベースにした上記製品が市場に出現するものと推測されるが、符号化方式の効率向上のための検討は、各研究機関で盛んに行われている。また、ＭＰＥＧでは、符号化対象となるマクロブロックと呼ばれるブロック単位に、前フレームとの間で動き補償予測を行うことで、符号化効率を向上させている。
【０００５】
従来技術として、特許文献１が知られている。
【０００６】
【特許文献１】特開平５−２８４３６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、電子スチルカメラやビデオムービ等で必要になる画像圧縮・伸長の技術として、ＤＣＴに比べて圧縮効率が高いとされるウェーブレット変換を用い、ＭＰＥＧで処理の大部分を占める動き補償予測の処理を省きながら、良好な画像を得ることが望まれている。
【０００８】
本発明は、このような実情を鑑み、特に動画像の圧縮・伸長において、フレームメモリ手段を備えたことで、全体の処理量を抑えながら符号化効率の向上を実現でき、また、ウェーブレット変換の優れた特徴の１つである多重解像度に対応可能な点に着眼し、本発明の画像圧縮・伸長装置を搭載した動画像圧縮記録・伸長装置で、画像のサーチを行う際、サーチ速度に合わせて、所定の帯域成分を選択的に復号することで、従来のビデオレコーダ等では実現し得なかったサーチを行うことができるような動画像符号化装置及び方法、復号装置及び方法、並びに画像記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するために、本発明に係る動画像符号化装置及び方法は、入力画像を複数個のブロックに分割し、画像メモリに記憶・保持された前フレームの同位置にあるブロック画像と、現在の符号化対象ブロックとの誤差を検出し、検出された誤差に応じて符号化対象ブロックの符号化を行うか行わないかを選択し、各ブロック画像毎にウェーブレット変換符号化を施すことを特徴としている。
【００１０】
ここで、上記画像メモリには、上記ウェーブレット変換符号化により得られた符号化出力に対してウェーブレット逆変換復号を施して得られる画像を記憶・保持することが挙げられる。
【００１１】
また、本発明に係る動画像復号装置及び方法は、符号化ビットストリームを入力または読み出してウェーブレット逆変換復号し復号画像を出力し、得られた復号画像から対象領域を抽出し、得られた復号画像を画像メモリに記憶・保持し、供給された符号化制御信号に従って、上記画像メモリに予め記憶された前フレームの復号画像を送出するか、または上記ウェーブレット逆変換復号手段によって復号された画像を送出するかを選択することを特徴としている。
【００１２】
ここで、上記ウェーブレット逆変換復号を施す際には、上記量子化された変換係数を逆量子化して変換係数に戻し、変換係数を逆走査（逆スキャニング）し、得られた変換係数から復号対象となる変換係数を抽出し、得られた復号対象係数を逆ウェーブレット変換することが挙げられる。
【００１３】
さらに、本発明に係る画像記録再生装置は、複数個の低域通過フィルタと高域通過フィルタから構成されるフィルタバンク手段によって、入力画像を複数個の帯域に変換する手段と、同該各帯域毎に変換係数を走査、量子化、エントロピー符号化する手段により符号化ビットストリームを記録媒体に記録する手段とを備えた画像圧縮装置と、上記記録媒体から符号化ビットストリームを読み出して、エントロピー復号化、逆量子化、逆走査、更に同該フィルタバンク手段によって逆変換を行い、復号画像を出力する手段を備えた画像伸長装置とを有し、サーチ速度に合わせて、上記記録媒体に記録された符号化ビットストリームから、該当する帯域成分を読み出すサーチ手段を有することを特徴としている。
【発明の効果】
【００１４】
本発明によれば、入力画像を複数個のブロックに分割し、画像メモリに記憶・保持された前フレームの同位置にあるブロック画像と、現在の符号化対象ブロックとの誤差を検出し、検出された誤差に応じて符号化対象ブロックの符号化を行うか行わないかを選択し、各ブロック画像毎にウェーブレット変換符号化を施すことにより、従来の非常に処理の重い動き補償予測手段を用いず、ブロック単位の簡易な予測手段を用いているので、非常に処理量が少なくて済む。ここで、通常の動画像では背景部分はほとんど動かないので、このような部分では本発明が有効に働き、圧縮効率が高まるという効果がある。
【００１５】
また、動き補償手段が大幅に簡略化できるので、従来は動き補償手段を専用のハードウェア（ＬＳＩ）で実現していたのに対して、本発明ではソフトウェアで実現可能である。
【００１６】
また、ブロック単位の符号化手段を用い、ウェーブレット変換符号化の際のフィルタがブロックをはみ出る部分の画素については、ブロック境界の歪みが目立たない手段を用いているので、常に滑らかな接続面の復号画像が得られるという効果もある。
【００１７】
また、本発明の画像記録再生装置によれば、複数個の低域通過フィルタと高域通過フィルタから構成されるフィルタバンク手段によって、入力画像を複数個の帯域に変換する手段と、同該各帯域毎に変換係数を走査、量子化、エントロピー符号化する手段により符号化ビットストリームを記録媒体に記録する手段とを備えた画像圧縮装置と、上記記録媒体から符号化ビットストリームを読み出して、エントロピー復号化、逆量子化、逆走査、更に同該フィルタバンク手段によって逆変換を行い、復号画像を出力する手段を備えた画像伸長装置とを有し、サーチ速度に合わせて、上記記録媒体に記録された符号化ビットストリームから、該当する帯域成分を読み出すサーチ手段を有しているため、記録媒体に記録された符号化ビットストリームを読み出して、復号画像のサーチを行う際には、サーチ速度に合わせた最適な帯域成分だけを読み出して復号することができ、コマ落ちの無い常に高品質な復号画像を得ることができる。
【００１８】
また、復号画像も原画像のサイズにすることの他、帯域成分の持つ解像度にすることも出来るので、復号画像のバリエーションが増えるので、用途に合わせて使い分けることができる。
【００１９】
従って、本発明によれば、高圧縮下での高画質と部分ブロック復号の実現の両方を兼ね備えており、さらに、ウェーブレット変換手段とウェーブレット逆変換手段との整合が取れるので、高能率な符号化、及び高画質な復号が可能になる。
【００２０】
さらに、インターレース画像の場合には、奇数フィールド画像と偶数フィールド画像とに分離して、別個に符号化することで、画像の中に動きの大きい被写体が存在する場合でも、常に高い符号化効率を維持できる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明に係る画像の動画像符号化装置及び方法並びに復号装置及び方法の実施の形態について、図面を参照しながら説明する。
【００２２】
本発明の第１の実施の形態となる画像の動画像符号化装置の構成例を図１に示す。  
この図１に示する画像の動画像符号化装置は、入力画像１００を複数個のブロックに分割するブロック分割部１と、画像メモリであるフレームメモリ１４に記憶・保持された前フレームの同位置にあるブロック画像と現在の符号化対象ブロックとの誤差を検出する誤差検出部１２と、この検出された誤差に応じて現在の符号化対象ブロックを符号化せずに出力するかウェーブレット変換符号化を施すかの符号化モードを選択制御する符号化モード制御部２と、この符号化モードの制御信号に応じて符号化対象領域を抽出する符号化対象領域抽出部３と、各ブロック画像毎にウェーブレット変換を施すウェーブレット変換部４と、ウェーブレット変換係数をスキャニングする変換係数スキャニング部５と、スキャニング後の係数を量子化する量子化部６と、量子化係数をエントロピー符号化して符号化ビットストリームを出力するエントロピー符号化部１３とを有して構成されている。ウェーブレット変換部４は、後述するように、ブロック外部でフィルタリングの及ぶ範囲内ではブロック内部の画素を対称拡張して畳み込み演算する手段を有している。
【００２３】
この図１に示す動画像符号化装置において、入力画像１００は、まずブロック分割部１に入力され、このブロック分割部１で複数個のブロック画像１０１に分割され、誤差検出部１２に送られる。誤差検出部１２では、フレームメモリ１４に記憶・保持されていた前フレームの復号画像から読み出された、ブロック画像１０１と同位置にあるブロック画像１１５と、ブロック分割部１からのブロック画像１０１との間で、誤差１０２を検出し、検出された誤差１０２を符号化モード制御部２に送る。符号化モード制御部２では、誤差１０２の大小によって符号化モードを２通りの中からどちらかに決定する。
【００２４】
すなわち、誤差１０２が所定の閾値よりも大きい（誤差１０２＞閾値）場合には、ブロック画像の中身が大きく変化していると判断されることから、後述するウェーブレット変換符号化を行って符号化ビットストリームを出力する。他方、誤差１０２が所定の閾値以下（誤差１０２≦閾値）の場合には、ブロック画像は殆ど変化していないことから、上記ウェーブレット変換符号化をスキップして、フレームメモリ１４のブロック画像１１５を復号画像としてそのまま保持すればよい。従って、以下前者の場合について動作を詳しく述べる。なお、上記閾値は、符号化手段の前に予め決めておけばよい。また符号化モード制御部からは、符号化識別情報１１４が送出される。
【００２５】
符号化対象領域抽出部３には、ブロック分割部からのロック画像１０１と、符号化モード制御部２からの制御情報１０３が送られる。この符号化対象領域抽出部３では、後段のウェーブレット変換の対象となるブロック画像１０１を抽出する。この時のブロック画像１０１の抽出される領域は、後段の実施形態で述べるウェーブレット変換のフィルタリング（畳み込み演算）の手法によって変わる。このウェーブレット変換のフィルタリング法の情報とは、符号化モード制御部２からの上記制御情報１０３のことである。
【００２６】
符号化対象領域抽出部３により抽出された符号化対象となるブロック画像１０４がウェーブレット変換部４に送られ、このウェーブレット変換部４でウェーブレット変換のフィルタリング（畳み込み演算）が施される。その結果得られた変換係数１０５は、スキャニング部５に入力され、このスキャニング部５では、ウェーブレット変換係数の走査（スキャニング）が行われる。例えば、ここでは左から右（水平方向）、上から下（垂直方向）にウェーブレット変換係数をスキャニングするものとする。
【００２７】
スキャニング後の変換係数１０６は、量子化部６において量子化されて量子化係数１０７が出力される。ここで量子化手段としては、例えば下記の式１に示すように、通常用いるスカラ量子化を用いればよい。
【００２８】
Ｑ ＝ ｘ／Δ     ・・・（式１）
この式１において、ｘはウェーブレット変換係数値、Δは量子化インデックス値である。
【００２９】
上記スカラ量子化等によって得られた量子化部６からの量子化係数１０７は、エントロピー符号化部１３において、エントロピー符号化されて、符号化ビットストリーム１１６が出力される。なお、エントロピー符号化部１３で用いられる手段としては、可変長符号化手段の他、算術符号化手段があるが、これらのエントロピー符号化手段については、各研究機関より研究成果が報告されており、それらを用いればよい。
【００３０】
また、もう一方の経路である局部復号（ローカルデコード）ループでは、量子化係数１０７を再度逆量子化して、変換係数１０８を出力する。更に逆スキャニング部８を経て、元の２次元配列の変換係数１０９を得る。次に、同変換係数１０９の中から復号対象となる係数を抽出して、抽出された変換係数１１０は、逆ウェーブレット変換されて復号画像１１１が出力される。なお、上記の復号対象係数抽出部９の具体的な動作については、後述の実施の形態で説明する。最後に、復号画像１１１の中から抽出された領域画像１１２が、フレームメモリ１４に書き込まれる。
【００３１】
以上が、この第１の実施の形態の動画像符号化装置の基本構成及び動作である。
【００３２】
ここで、一般的なウェーブレット変換符号化手段は、図１のウェーブレット変換部４と、スキャニング部５と、量子化部６と、エントロピー符号化部１３とを有して構成され、また、一般的なウェーブレット逆変換復号手段は、図１の逆量子化部７と、逆スキャニング部８と、ウェーブレット逆変換部１０とを有して構成される。
【００３３】
次に、本発明の上記第１の実施の形態におけるウェーブレット変換部２、及びウェーブレット逆変換部１０の具体的な構成の例について、図面を参照しながら説明する。
【００３４】
まず通常のウェーブレット変換部の構成として、図２が挙げられる。これは、幾つかある手法の中で最も一般的なウェーブレット変換であるオクターブ分割を複数レベルに亘って行う構成例を示している。なお、この図２の場合は、レベル数が３（レベル１〜レベル３）であり、画像信号を低域と高域に分割し、且つ低域成分のみを階層的に分割する構成を取っている。また図２では、便宜上１次元の信号（例えば画像の水平成分）についてのウェーブレット変換を例示しているが、これを２次元に拡張することで２次元画像信号に対応することができる。
【００３５】
次に動作について説明する。  
図２に示すウェーブレット変換部への入力画像信号１２０は、まずローパスフィルタ２１（伝達関数Ｈ０(ｚ)）とハイパスフィルタ２２（伝達関数Ｈ１(ｚ)）とによって帯域分割され、得られた低域成分と高域成分は、それぞれ対応するダウンサンプラ２３ａ、２３ｂによって、解像度がそれぞれ２分の１倍に間引かれる（レベル１）。この時の出力がＬ成分１２１とＨ成分１２６の２つである。ここで、上記ＬはLow で低域、ＨはHighで高域を示す。この図２のローパスフィルタ２１、ハイパスフィルタ２２、及び２個のダウンサンプラ２３ａ、２３ｂによってレベル１の回路部２０１が構成されている。
【００３６】
上記ダウンサンプラ２３ａ、２３ｂによりそれぞれ間引かれた信号の内の低域成分、すなわちダウンサンプラ２３ａからの信号のみが、さらに、レベル２の回路部２０２のローパスフィルタ及びハイパスフィルタによって帯域分割され、それぞれ対応するダウンサンプラによって、解像度をそれぞれ２分の１倍に間引かれる（レベル２）。これらのレベル２のローパスフィルタ、ハイパスフィルタ及びダウンサンプラから成る回路部２０２としては、上記レベル１のローパスフィルタ２１、ハイパスフィルタ２２及びダウンサンプラ２３ａ、２３ｂから成る回路部２０１と同様な構成が用いられる。
【００３７】
このような処理を所定のレベルまで行うことで、低域成分を階層的に帯域分割した帯域成分が順次生成されていくことになる。レベル２で生成された帯域成分は、LL成分１２２とLH成分１２５である。図２はレベル３まで帯域分割する例が示されており、レベル２の回路部２０２のローパスフィルタ側のダウンサンプラからの出力が、上記回路部２０１と同様な構成のレベル３の回路部２０３に供給されている。このようにレベル３まで帯域分割した結果、LLL成分１２３、LLH成分１２４、LH成分１２５、Ｈ成分１２６が生成されている。
【００３８】
次に、この図２に示すウェーブレット変換部に対して逆の動作を行うウェーブレット逆変換部の具体的な構成例について、図３を用いて説明する。この図３のウェーブレット逆変換部は、図１のウェーブレット逆変換部部１０として用いることができる。
【００３９】
上記図２で説明したウェーブレット変換部２の出力である各帯域成分１２３、１２４、１２５、１２６は、図３のウェーブレット逆変換部に入力されると、まず上記LLL成分１２３及びLLH成分１２４が、それぞれアップサンプラ２４ａ、２４ｂによって２倍の解像度にアップサンプルされる。引き続いて低域成分はローパスフィルタ２５、高域成分はハイパスフィルタ２６によってフィルタリングされて、加算器２７において、両者の帯域成分は合成される。ここまでの回路部２０６により、上記図２のレベル３の回路部２０３での変換の逆の処理としての逆変換が完了して、レベル２の低域側の帯域成分であるLL成分１２７が得られる。この処理を以後レベル１まで繰り返すことで、最終的な逆変換後の復号画像１２９が出力されることになる。すなわち、レベル２の回路部２０７及びレベル１の回路部２０８は、上記レベル３の回路部２０６と同様な構成を有し、レベル３の回路部２０６の出力がレベル２の回路部２０７の低域側の入力として、また、レベル２の回路部２０７の出力がレベル１の回路部２０８の低域側の入力として、それぞれ送られる。以上が、通常のウェーブレット逆変換部の基本構成である。
【００４０】
ここで図４は、レベル２まで２次元画像を帯域分割した結果得られる帯域成分を図示したものである。この図４でのＬ及びＨの表記法は、１次元信号を扱った図２、図３でのＬ及びＨの表記法とは異なる。すなわち図４では、先ずレベル１の帯域分割（水平・垂直方向）により４つの成分LL、LH、HL、HHに分かれる。ここでLLは水平・垂直成分が共にＬであること。LHは水平成分がＨで垂直成分がＬであることを意味している。次に、LL成分は再度帯域分割されて、さらにLLLL、LLHL、LLLH、LLHHが生成される。なお、このように、低域成分を階層的に分割する以外に、全帯域を均等に分割することも行われる。
【００４１】
次に、本発明の第２の実施の形態となる動画像符号化装置について説明する。この第２の実施の形態の全体構成は、上記図１に示す動画像符号化装置と同様であるが、図１の符号化対象領域抽出部３をより具体化したものである。この符号化対象領域抽出部及びそれに関連したウェーブレット変換動作の説明に先立って、ブロック毎にウェーブレット変換を行う場合に、フィルタのタップ長分だけブロックの周囲画素にもフィルタリングが及ぶことについて、図５を用いて説明する。即ち隣接ブロックとの間でオーバーラップさせながら、フィルタリングを行うことになる。
【００４２】
図５は、オーバーラップ型のブロックベース・ウェーブレット変換を行う際の、符号化対象のブロックＲＴ とフィルタリングの及ぶ範囲ＲＦ とを示している。この図５中の a,b,c,d,e,f、h,i,j,k,l,m はすべて画素を表す。例えば画素ｃを水平方向にフィルタリングする時に、d,e,f の３画素を右隣りのブロック画像から読み出して、これらに所定のフィルタ係数を畳み込み演算を施す。同様に例えば、画素ｊを垂直方向にフィルタリングする時に、k,l,m の３画素を下のブロック画像から読み出して、これらに所定のフィルタ係数を畳み込み演算を施す。
【００４３】
従って、この第２の実施の形態における符号化対象領域抽出部では、ブロックの周囲に、ウェーブレット変換手段によるフィルタリングの影響が及ぶ範囲まで、隣接ブロックの画素を読み出すことで、符号化対象領域を拡大する。以上が、本第２の実施の形態の、符号化対象領域抽出部３とウェーブレット変換部４でのウェーブレット変換の動作説明である。
【００４４】
次に、本発明の第３の実施の形態について説明する。  
この第３の実施の形態の全体構成は、上記図１に示す動画像符号化装置と同様であるが、図１の符号化対象領域抽出部３をより具体化したものである。この第３の実施の形態においては、上記第２の実施の形態で既に説明した通り、ブロックの周囲にウェーブレット変換手段によるフィルタリングの影響が及ぶ範囲まで符号化対象画素を用意しておく必要がある。上記第２の実施の形態では、隣接ブロックの画素を直接読み出す手段を用いたが、本第３の実施の形態では、ブロック内部の画素値をブロック境界で鏡像関係になるように対称拡張して、フィルタリングを行う。すなわち、この第３の実施の形態では、隣接するブロックの画像間にオーバーラップする領域を設けず、ブロック外部でフィルタリングの及ぶ範囲内ではブロック内部のウェーブレット変換係数を対称拡張して畳み込み演算するようにしている。これを示したものが図６及び図７であり、図６は原画像が対称拡張の畳み込み演算を施しながらウェーブレット分割を行っていく過程を、図７はブロック周辺の具体例を、それぞれ示している。
【００４５】
先ず図６は、対称畳み込みによるウェーブレット符号化の概念を説明するための図である。この図６の（Ａ）に示す原画像は、（Ｂ）に示すようにブロック画像に分割された後、各ブロック画像毎に（Ｃ）の破線に示すフィルタ処理が及ぶ範囲まで、ブロック外の領域に画素の対称拡張を行う。
【００４６】
図７は、この対象拡張を具体的に図示したものであり、符号化又は復号対象のブロックの領域ＲＴ 内の水平方向のc, b, a の画素列が、ブロック境界を境にして、対称的にa, b, c の並び順に、フィルタリングの及ぶ範囲ＲＦ まで拡張されていることがわかる。同様に、垂直方向では、ブロック領域ＲＴ 内のf, e, d の画素列が、ブロック境界を境にして、対称的にd, e, f の並びにフィルタリングの及ぶ範囲ＲＦ まで拡張される。このような鏡像関係の対称拡張を行えば、ブロック画像内部の画素数と同数だけしかウェーブレット変換係数が生成されないことが知られている。すなわち、冗長度が無い利点がある。
【００４７】
続いて、図６の（Ｃ）の対称拡張された各ブロックに対して、ＷＴ（ウェーブレット変換）を掛ける。その結果、既に図４で説明したように、例えば４つの帯域成分に分割される（図６の（Ｄ）参照）。図６の（Ｄ）中の斜線部は、上述した低域のLL成分である。さらに、この斜線部の低域成分（LL）のブロックは、図６の（Ｅ）に示すように、同様に対称拡張を行い、ウェーブレット変換（ＷＴ）が施される。以後同様の操作が、所定のウェーブレット分割数まで繰り返される。以上が、この第３の実施の形態の符号化対象領域抽出部及びウェーブレット変換部での、ブロック毎の対称拡張を伴うウェーブレット変換の動作説明である。
【００４８】
次に、本発明の第４の実施の形態について説明する。  
この第４の実施の形態は、上述した図１の基本構成の動画像符号化装置における符号化対象領域の抽出手段と、それに連動したウェーブレット変換手段の具体例を示すものである。本第４の実施の形態では、ウェーブレット変換手段として、ブロックの外側でフィルタリングが及ぶ範囲内の画素をすべて０として、畳み込み演算する手法を用いる。この場合も、原画面における隣接ブロックの画素を用いる必要がない。次に動作について説明する。
【００４９】
図８は、ブロック外部のフィルタリングが及ぶ範囲を示す図である。この図８中で、符号化あるいは復号対象ブロックＲＴ の外部については、水平方向のフィルタリングの及ぶ範囲ＲＦ をすべて０と置くことで、c,b,a,0,0,0 となり、同様に垂直方向のフィルタリングの及ぶ範囲ＲＦ をすべて０と置くことで、f,e,d,0,0,0 となる。これにウェーブレットフィルタの係数の畳み込み演算を行う。
【００５０】
次に、本発明の第５の実施の形態について説明する。  
この第５の実施の形態では、ウェーブレット変換手段として、ブロックの外側でフィルタリングが及ぶ範囲内の画素を、ブロック境界上の画素値と点対称の関係になるように対称拡張することで、ブロック外部の符号化対象画素を拡張している。図９はこれを図示したものであり、図９中の(ａ)と(ｂ)との２つの例を示している。図中、Ｘ[0],Ｘ[1],Ｘ[2],Ｘ[3],Ｘ[4],Ｘ[5],Ｘ[6],Ｘ[7] の８個のサンプル点はブロック内の画素（１次元方向のみ）を示している。
【００５１】
一方、点線で示したサンプル点の画素は、Ｘ[0] 又はＸ[7] の画素値を点対称の基準値として算出される。図９の(ａ)の場合では、ブロック境界のサンプル点Ｘ[0] のサンプル位置での画素値を示す点Ｐa を点対称の基準点としており、例えば、ブロック外部のサンプル点ｘ[1] は、ブロック内で点対称の位置関係のサンプル点Ｘ[1] から基準点Ｐa を通るように伸ばした延長線上の等距離の点を算出することで得られる。すなわち、基準点Ｐa を中心として、サンプル点ｘ[1] はサンプル点Ｘ[1] の点対称の位置にある。同様に、基準点Ｐa を中心として、サンプル点ｘ[2] はサンプル点Ｘ[2] の点対称の位置にあり、サンプル点ｘ[3] はサンプル点Ｘ[3] の点対称の位置にある。ブロックの他方の境界でのＸ[7] のサンプル点での画素値を点対称の基準点とする場合も同様である。
【００５２】
次に、図９の(ｂ)の場合について説明する。図９の(ａ)の場合との相違点は、点対称の中心となる基準点Ｐb を、サンプル位置に対して半サンプル分の距離だけずらしていることである。すなわち、ブロック境界のサンプル点Ｘ[0] のサンプル位置をブロック外部に半サンプル分の距離だけずらした位置における、サンプル点Ｘ[0] に等しい画素値を示す点Ｐb を、点対称の基準点としている。従って、サンプル点Ｘ[0] からブロック外部に１サンプル分だけ離れた位置のサンプル点ｘ[0] は、基準点Ｐb を中心としてサンプル点Ｘ[0] の点対称の位置にあることから、サンプル点Ｘ[0] と同じ値となる。これにより、ブロック境界の内部の点（例えばＸ[0]）と外部の点（例えばｘ[0]）の各値が同一となり、ブロック境界での接続を滑らかにすることが出来る。
【００５３】
以上、図９の(ａ)または(ｂ)に示すいずれかの手法によって、点対称関係を用いて画素拡張を行うことにより、隣接ブロックの画素値を用いずに、ブロック内部の画素値をブロック外部でウェーブレット変換によるフィルタリングが行われる範囲まで拡大して、畳み込み演算を行うことができる。
【００５４】
次に、本発明の第６の実施の形態について説明する。  
この第６の実施の形態では、上述した図１に示す動画像符号化装置の基本構成の、特に復号対象の換係数抽出部９と、それに連動したウェーブレット逆変換部１０、及び復号画像領域抽出部１１を具体化したものである。図１で、量子化係数１０７が逆量子化部７で逆量子化されて変換係数１０８が得られる。変換係数１０８を逆スキャニングして、再度２次元画像配列の形に並び換えられた変換係数１０９の中から、復号対象係数抽出部９により復号対象となるものだけを抽出する。
【００５５】
抽出された係数１１０は、次にウェーブレット逆変換されて復号画像１１１が、ウェーブレット逆変換部１０より出力される。また復号画像１１１の中から復号対象となる領域画像を抽出して、これを１１２としてフレームメモリ１４に書き込む。以上が、この第６の実施の形態における符号化装置内部の局部復号手段の動作説明である。
【００５６】
次に、本発明の第７の実施の形態について説明する。  
この第７の実施の形態は、上記第６の実施の形態の変形例に相当し、この第７の実施の形態では、上記復号対象係数抽出部として、ブロック外部でウェーブレット逆変換のフィルタリングを行う際、フィルタが及ぶ範囲まで隣接ブロックの変換係数を読み出すものである。すなわち、図５でａ,ｂ,ｃ,ｄ,ｅ,ｆ を変換係数とみなした場合に相当する。そして読み出されたブロック外部の変換係数と、当該ブロックの持つ変換係数とを畳み込み演算することで、ウェーブレット逆変換を行う。そして、ウェーブレット逆変換によって復元された復号画像から、後段の復号画像領域抽出部で、復号対象となる領域のみ抽出すれば良い。
【００５７】
次に、本発明の第８の実施の形態について説明する。  
この第８の実施の形態は、上記第６の実施の形態の変形例に相当し、この第８の実施の形態では、上記復号対象係数抽出部として、ブロック外部でウェーブレット逆変換のフィルタリングを行う際、フィルタが及ぶ範囲まで、ブロック境界で鏡像関係になるように係数が対称拡張される。復号対象係数抽出部で、上記拡張された変換係数も含めて、ウェーブレット逆変換部でウェーブレット逆変換の畳み込み演算が行われる。
【００５８】
図１０はこの一連の動作を図示したものであり、低域と高域の変換係数成分をそれぞれ鏡像関係になるように、対称拡張して、ウェーブレット逆変換を行う処理が示されている。
【００５９】
この図１０の（Ａ）において、４つの帯域成分LL,LH,HL,HH のウェーブレット変換係数を図１０の（Ｂ）に示すように対称拡張して、それぞれをウェーブレット逆変換（ＩＷＴ）する。これによって、図１０の（Ｃ）に示すように、各ブロック画像が復号出力されることになる。なお、対称拡張については、既に図７で述べた第３の実施の形態の手法を用いれば良い。ただし、上記第３の実施の形態で述べたウェーブレット変換の説明では、図７のa,b,c,・・・は画素を示していたが、今回のウェーブレット逆変換では、これらはウェーブレット変換係数を意味していることに注意しなければならない。
【００６０】
この対称拡張のウェーブレット逆変換を用いる利点としては、隣接する周囲のブロックとは全く独立して、逆変換そして復号が行えることが挙げられる。また比較的高ビットレート（低圧縮率）の場合には、ブロック間の境界部分の劣化が殆ど検知できない。
【００６１】
次に、本発明の第９の実施の形態について説明する。  
この第９の実施の形態では、上記復号対象係数抽出部として、ブロック外部でウェーブレット逆変換のフィルタリングを行う際、該ブロックの外側でフィルタリングが及ぶ範囲内のウェーブレット変換係数をすべて０として、畳み込み演算する。次に動作について説明する。
【００６２】
図１１はこれを具体的に説明するための図である。例えば、図１１の（Ａ）に示す４つの帯域成分LL,LH,HL,HH のウェーブレット変換係数はそのままにして、図１１の（Ｂ）に示すように、該ブロックの外側でフィルタリングが及ぶ範囲（点線領域）内のウェーブレット変換係数をすべて０とし、それぞれのブロックをウェーブレット逆変換（ＩＷＴ）する。これで各ブロック画像が復号出力されることになる。この時のウェーブレット逆変換の畳み込み演算を直線畳み込みと呼ぶとする。
【００６３】
この直線畳み込み手段については、上記図８と共に説明した通りであるので、説明を省略する。この直線畳み込みの利点としては、低ビットレート（高圧縮）下でもブロック境界部が検知されないという優れた特徴がある。これは、隣接するブロックとの境界部の係数を０として均一にすることで境界部に、ウェーブレット・フィルタリングによる直線補間の効果が出て、滑らかに接続されることに起因する。
【００６４】
また、このウェーブレット逆変換手段でも、隣接するブロックのウェーブレット変換係数までオーバーラップして読み出す必要がないので、隣接する周囲のブロックとは全く独立して、逆変換そして復号が行えることが挙げられる。
【００６５】
従って、ウェーブレット逆変換手段として、上記ブロックの外側でフィルタリングが及ぶ範囲内のウェーブレット変換係数をすべて０として、畳み込み演算するようにすることは、高圧縮下での高画質と部分ブロック復号の実現の両方を兼ね備えた優れたものである。
【００６６】
次に、本発明の第１０の実施の形態について説明する。  
この第１０の実施の形態は、上記第６の実施の形態の変形例に相当し、この第１０の実施の形態では、上記復号対象係数抽出部として、ブロック外部でウェーブレット逆変換のフィルタリングを行う際、フィルタが及ぶ範囲まで、ブロック境界を挟んで点対称になるように、ブロック外部の変換係数を拡張し、得られた変換係数とブロック内部の変換係数を含めて、ウェーブレット逆変換を行うものである。具体的な拡張手法は、上記図９に示した通りであるが、図９では画素値を拡張したのに対して、本実施の形態では変換係数値を拡張する点が異なる。なお、その後の動作は上記第８の実施の形態と同様である。
【００６７】
次に、本発明の第１１の実施の形態について説明する。  
本実施の形態は、上述したような画像のウェーブレット符号化が施されて得られた符号化ビットストリームが供給される画像のウェーブレット復号装置及び方法の一実施形態である。
【００６８】
図１２は、この第１１の実施の形態となる動画像復号装置の概略構成を示すブロック図であり、上記図１に示した動画像符号化装置に対応したものである。
【００６９】
この図１１において、画像のウェーブレット復号装置は、符号化ビットストリームを入力または読み出してエントロピー復号するエントロピー復号部１６と、得られた量子化係数を逆量子化する逆量子化部７と、得られた変換係数を逆スキャニングして元の係数の順番に戻す変換係数逆スキャニング部８と、逆スキャニング後の係数の復号対象係数を抽出する復号対象係数抽出部９と、得られた復号対象係数をウェーブレット逆変換してブロック画像を生成するウェーブレット逆変換部１０と、復号画像領域を抽出する復号画像領域抽出部１１とを有し、さらに、復号モード制御部１５及びフレームメモリ１４を有して構成される。次に動作について説明する。
【００７０】
図１１において、符号化モード情報１０４を受信した復号モード制御部１５では、復号をスキップしてフレームメモリ１４に記憶・保持されたブロック画像を、そのまま出力１１９として出力するか、もしくは復号を行うかを選択する。上記復号をスキップする場合には、復号モード制御部１５よりフレームメモリ１４に対し、記憶・保持されたブロック画像をそのまま出力させるための制御信号１１８が発信される。後者の復号を行う場合には、復号モード制御部１５よりエントロピー復号部１６に対し、制御信号が発せられ、以後の動作が行われる。
【００７１】
すなわち、上記復号を行う場合に、まずエントロピー復号部１６では、符号化ビットストリーム１１６をエントロピー復号して、量子化係数１１３が再生される。この量子化係数１１３は、逆量子化部７に送られて逆量子化され、変換係数１０８となる。変換係数１０８は、逆スキャニング部８に送られて逆方向のスキャニングが施され、元の２次元配列のウェーブレット変換係数１０９となる。この変換係数１０９の中から復号対象係数抽出部９により復号対象となる係数を抽出し、抽出された変換係数１１０は、ウェーブレット逆変換部１０に送られて、逆ウェーブレット変換され、復号画像１１１が得られる。この復号画像１１１の中から、復号画像領域抽出部１１により抽出された領域画像１１２が、フレームメモリ１４に書き込まれる。なお、上記エントロピー復号手段としては、前記符号化装置内のエントロピー符号化手段で用いられた手段と表裏一体でなければならないことは言うまでもない。
【００７２】
次に、本発明の第１２の実施の形態について説明する。  
この第１２の実施の形態は、上記第１１の実施の形態における復号対象係数抽出部９を具体化したものであり、ウェーブレット逆変換の際にブロック外部のフィルタリングの影響が及ぶ範囲までの変換係数を、上述した第２〜第５の実施の形態のいずれかの手法を、画素の代わりに変換係数に適用して、求めるものである。すなわち、ブロック外部の変換係数について、隣接ブロックから読み出したり、ブロック境界を境にして対称的に拡張したり、０と置いたり、ブロック境界を中心として点対称に拡張したりして求め、ウェーブレット逆変換を施すものである。これは、上記図１の動画像符号化装置の符号化画像領域抽出部３での動作に連動したものである必要がある。また、動画像復号装置の構成要素である復号画像領域抽出部１１は、ウェーブレット逆変換手段によって復元された復号画像から、対象ブロック領域を抽出する手段を有している必要がある。
【００７３】
次に、本発明の第１３の実施の形態について説明する。  
この第１３の実施の形態は、上記図１の動画像符号化装置において、複数フレームに１度は全ての符号化対象ブロックをウェーブレット変換符号化により符号化するようにしたものである。すなわち、既に述べたように、図１の動画像符号化装置では、画像をブロック単位に符号化して、被写体の動き等、ブロック内の画素の変化が少ない場合には、フレームメモリに記憶・保持された前符号化フレームの同位置にあるブロック画像をそのまま復号画像とし、他方、変化が大きい場合には後段のウェーブレット変換符号化手段を行っている。
【００７４】
しかし、ある所定のフレーム数毎に、全ブロックを対象に前記ウェーブレット変換符号化手段を行えば、誤差の蓄積が無くなり、常に高画質な復号画像を供することが可能になる。従って、本第１３の実施の形態では、予め定められた手段で、あるいは外部入力の形で、所定のフレーム数毎に、すべての符号化対象のブロックを、ウェーブレット変換符号化するものである。
【００７５】
次に、本発明の第１４の実施の形態について説明する。  
この第１４の実施の形態は、複数個の低域通過フィルタと高域通過フィルタから構成されるフィルタバンク手段によって、入力画像を複数個の帯域に変換する手段と、同該各帯域毎に変換係数を走査、量子化、エントロピー符号化する手段により符号化ビットストリームを記録媒体に記録する手段とを備えた画像圧縮装置と、同該記録媒体から符号化ビットストリームを読み出して、エントロピー復号、逆量子化、逆走査、更に同該フィルタバンク手段によって逆変換を行い、復号画像を出力する手段を備えた画像伸長装置とから構成される画像圧縮伸長装置であって、サーチ速度に合わせて、同該記録媒体に記録された符号化ビットストリームから、該当する帯域成分を読み出すサーチ手段を有するものである。
【００７６】
図１３は、この第１４の実施の形態としての画像記録再生装置を示すブロック図であり、この図１３に示す装置は、外部入力制御部３８、ＣＣＤ部３９、ＡＤ変換部３０、符号化部３１、復号部３７、記録媒体制御部３４、書き込み部３２、読み出し部３３、記録媒体４０、及び表示部３５を有して構成されている。次に動作について述べる。
【００７７】
符号化部３１は、既に実施形態で述べたウェーブレット変換符号化手段を行う部位であり、画像のウェーブレット帯域分割手段、変換係数のスキャニング手段、量子化手段、そしてエントロピー符号化手段を有している。他方、復号部２７は、エントロピー復号手段、逆量子化手段、逆スキャニング手段、そしてウェーブレット帯域合成手段とを備えている。
【００７８】
上記符号化部３１、復号部３７に対して、図１３の通り、画像入力各部と記録媒体への記録各部が接続されている。通常、画像は光信号１３１として、カメラ等のＣＣＤ部３９に入力され、ＣＣＤ信号１３２はＡＤ変換部３０でＡＤ変換され、デジタル画像信号１３３に変換される。このデジタル画像信号１３３は、ＣＣＤの特性に合わせて、例えばＲ，Ｇ，Ｂ別々の信号で出力される場合の他、１つの信号になる場合もある。
【００７９】
デジタル画像信号１３３は、上記符号化部３１でウェーブレット変換符号化の処理が行われ、符号化ビットストリーム１３４が生成される。符号化ビットストリーム１３４は、復号部３７に送られて、同部３７で直ちに復号後、復号画像１３５が表示部３５を経由して、表示画像１３６が出力される。他方、符号化ビットストリーム１３４は、書き込み部３２に送られ、書き込み制御信号と共に、記録用符号化ビットストリーム１４１として、記録媒体制御部３４に送られ、制御情報と多重化されて記録信号となり、記録媒体４０に書き込まれる。記録媒体４０と記録媒体制御部３４との間では、記録媒体４０の記録フォーマットに従った信号１３９の記録再生が行われる。ここで記録媒体４０としては、磁気テープの他、CD-ROM、CD-R、DVD-ROM 等の光ディスク等を用いることができる。
【００８０】
一方、この装置で、例えば記録媒体４０に記録された画像の符号化ビットストリームを読み出して、高速サーチを行う場合について以下述べる。外部信号１３７は例えばサーチ速度の情報を保持しており、この情報は外部入力制御部３８で解読され、記録媒体制御部３４に制御信号１３８が伝達される。記録媒体４０から記録媒体制御部３４へは、前記サーチ速度に合わせて記録媒体４０の駆動系が作動し、記録媒体４０の記録フォーマットに従った符号化ビットストリームの信号１３９が読み出され、記録媒体制御部３４を介して符号化ビットストリーム１４０（付加情報やヘッダ情報を含む）が読み出し部３３に送られる。読み出し部３３から出力された、純粋な符号化ビットストリーム１４２（付加情報やヘッダ情報がないもの）は、復号部３７で復号されて、前述の通り復号画像１３５が同部より送出される。以上がサーチ時の動作である。
【００８１】
次に、サーチ時の符号化ビットストリームの読み出しについて述べる。本実施の形態では、前記符号化部での符号化手段として、画像の帯域分割を階層的に行うウェーブレット符号化手段を用いている利点を生かすべく、記録媒体４０に記録された符号化ビットストリームから、サーチ速度に合わせて、所定の帯域成分に相当するものを選択し読み出す手段を用いる。すなわち、サーチ速度に合わせて、記録媒体４０に記録された符号化ビットストリームから、該当する帯域成分を読み出すものであり、具体的には、例えば、サーチ速度が高速な場合には、低域成分の帯域に相当する符号化ビットストリームだけを読み出して、低域成分の帯域画像を復号し、逆にサーチ速度が低速な場合には、低域と高域成分の帯域に相当する符号化ビットストリームを読み出して帯域画像を復号するものである。より詳細な構成及び動作については、以下の実施の形態で述べる。
【００８２】
次に、本発明の第１５の実施の形態について説明する。  
この第１５の実施の形態の装置は、上述したサーチ速度が高速な場合に低域成分の帯域画像を復号し、サーチ速度が低速な場合には、低域と高域成分の帯域画像を復号するものであり、全体構成としては上記図１３のものを用いることができる。
【００８３】
通常、サーチ時には所定時間に多くの画像フレームを再生する必要があることから、符号化ビットストリームをすべて読み出して復号することは、ハードウェア的に困難である。従って通常はフレームをある間隔で読み飛ばしたり、画像の一部しか復号しない等の工夫がされる。
【００８４】
しかし、本第１５の実施の形態では、全フレームを復号し、且つ全体の画像の印象が損なわれることの無いサーチの手段を実現する。すなわち、上記図４と共に既に説明したように、ウェーブレット符号化手段を用いれば、低域成分（例えば上記LLLL成分）だけから、復号画像を得ることが容易にできる点を利用し、例えば高速サーチの場合や符号化ビットストリームの読み出し速度が十分に確保出来ない場合には、低域成分の帯域に相当する符号化ビットストリームだけを読み出して、図１３の復号部３７で復号画像を生成することが出来る。
【００８５】
他方、低速サーチの場合や符号化ビットストリームの読み出し速度が十分に確保出来る場合には、低域成分に加えて中・高域成分の帯域に相当する符号化ビットストリームを読み出して、復号部３７で復号画像を生成することが出来る。以上の手段によって、サーチ速度に応じて、または符号化ビットストリームの読み出し速度に合わせて、１つ又は複数の最適な帯域を用いた復号が実現できる。
【００８６】
この場合、復号画像を、上述したウェーブレット変換における所定の帯域成分のサイズで復号するようにしてもよい。これは、例えば、上記の様に、LLLL成分に相当する符号化ビットストリームだけを読み出して復号する場合、LLLLの帯域成分が持つ画像のサイズは、図４からも明らかな様に、原画像の水平・垂直共に４分の１である。従って、表示画像１３６には元の１／４（長さの比で１／４，面積比では１／１６）の復号画像が表示されることになる。
【００８７】
他方、別の方法として、復号画像を、サイズは原画像と同一で、所定の帯域成分を用いた復号画像で生成するようにしてもよい。この場合、LLLL成分だけを用いた復号画像は、高域成分が存在しないので、解像度の低下したややボケた画質になる。しかし、画像のエネルギーの多くは低域成分に集中しているので、画像のおおまかな特徴は十分把握出来ることになる。
【００８８】
次に、本発明の第１６の実施の形態について説明する。  
上記第１４，第１５の実施の形態は、画像入力部、表示部も含めた符号化・復号装置であるのに対して、本第１６の実施の形態は、図１４に示すように、記録媒体４０を読み出し、復号する部分のみを備えた装置の構成である。つまりエンコーダが存在しない、受像器やポータブルプレイヤーに適した装置である。次に構成と動作について説明する。
【００８９】
図１４に示す装置は、記録媒体４０、制御部４５、符号化ビットストリーム読み出し部４６、復号部３７とを有して構成されている。外部入力情報１３７に従い、制御部４５からの制御情報１４５及び１４７によって、符号化ビットストリーム読み出し部４６では、記録媒体４０から付加情報やヘッダ情報等を含む符号化ビットストリーム１４８を読み出し、付加情報やヘッダ情報等を含まない純粋な符号化ビットストリーム１４９を出力する。この純粋な符号化ビットストリーム１４９は、復号部３７で復号されて、復号画像１３０が生成・出力される。この復号部３７での動作は、上記第１４，第１５の実施の形態１５で述べたものと同様であるため、説明を省略する。
【００９０】
次に、本発明の第１７の実施の形態について説明する。  
この第１７の実施の形態は、入力画像がインターレース画像である場合の動画像符号化装置である。
【００９１】
現在我々が親しんでいるテレビ放送は、飛び越し走査を用いたインターレース画像であり、奇数フィールドと偶数フィールドから構成されている。図１５はこれを図示したものあり、図中のラインＬa１,Ｌa２,・・・が奇数フィールド、斜線で示すラインＬb１,Ｌb２,・・・が偶数フィールドを意味している。
【００９２】
インターレース画像は、図１５の左のフレーム（Frame） 構造のように、奇数フィールドと偶数フィールドとが１ライン毎に交互に並べられており、これをフレーム画像のまま符号化すると効率が落ちる場合がある。それを示したのが図１６である。この図１６で示すように、インターレース画像のフレーム（Frame） 画像の場合に、被写体の動きが大きいと、奇数フィールドと偶数フィールドとの時間差があるために、図１６の左のフレーム（Frame） 構造のように奇数フィールドと偶数フィールドとの画像の間に、ずれが生じて見える。これが後段の符号化を行う際の効率の低下に繋がる。一方、図１６の右のフィールド（Field） 構造に分けることにより、ライン毎のずれは無くなり効率の低下は防げる。
【００９３】
次に実際の動作について、図１７を用いて説明する。入力画像のインターレース画像１００はまず、フィールド分割部５６で奇数フィールド画像１５５と、偶数フィールド画像１５６とに分割される。これらの奇数フィールド画像１５５及び偶数フィールド画像１５６は、符号化部５７において符号化されて、符号化ビットストリーム１５７と符号化モード情報１５８とが送出される。
【００９４】
ここで、符号化部５７での具体的な動作については、上記第１の実施の形態で説明した符号化構成手段をそのまま用いれば良い。すなわち、図１と共に説明したように、ブロック分割部１からエントロピー符号化部１３に至るまでの各部を備えていればよい。以上の構成により、インターレース画像でも効率を落とすことなく、符号化効率の高い動画像符号化手段を実現することが出来る。
【００９５】
次に、本発明の第１７の実施の形態について説明する。  
この第１７の実施の形態は、上記第１７の実施の形態の符号化装置に対応した復号装置に相当する。次に図１８を用いて動作を説明する。符号化ビットストリーム１５７と符号化モード情報１５８とを入力した復号部５８では復号手段を用いて、奇数フィールドの復号画像１５１と、偶数フィールドの復号画像１５２とを出力する。そして、フィールド合成部５９にて、これらの奇数フィールドの復号画像１５１と偶数フィールドの復号画像１５２とを合成して、両フィールドの合成画像１５３、すなわち図１５または図１６で示したフレーム（Frame） 構造の画像に戻す。
【００９６】
なお、上記復号部５８の具体的な構成としては、上記第１１の実施の形態で述べた復号回路構成をそのまま使えば良い。すなわち、図１２のエントロピー復号部１６からフレームメモリ１４に至る各構成部を、復号手段として用いる。
【００９７】
以上の構成により、インターレース画像の符号化ビットストリームを各フィールド毎に復号して、フィールド別に復号画像を生成し、フィールド画像をフレーム画像に合成して生成することが出来る。
【００９８】
本発明の実施の形態の具体的な応用例としては、電子カメラ、携帯・移動体画像送受信端末（ＰＤＡ）、プリンタ、衛星画像、医用用画像等の圧縮・伸張器またはそのソフトウェアモジュール、ゲーム、３次元ＣＧで用いるテキスチャの圧縮・伸長装置またはそのソフトウェアモジュール等が挙げられる。
【００９９】
本発明の実施の形態によれば、入力画像を複数個のブロックに分割し、画像メモリに記憶・保持された前フレームの同位置にあるブロック画像と、現在の符号化対象ブロックとの誤差を検出し、検出された誤差に応じて符号化対象ブロックの符号化を行うか行わないかを選択し、各ブロック画像毎にウェーブレット変換符号化を施すことにより、従来の非常に処理の重い動き補償予測手段を用いず、ブロック単位の簡易な予測手段を用いているので、非常に処理量が少なくて済む。ここで、通常の動画像では背景部分はほとんど動かないので、このような部分では本発明が有効に働き、圧縮効率が高まるという効果がある。
【０１００】
また、動き補償手段が大幅に簡略化できるので、従来は動き補償手段を専用のハードウェア（ＬＳＩ）で実現していたのに対して、本発明ではソフトウェアで実現可能である。
【０１０１】
また、ブロック単位の符号化手段を用い、ウェーブレット変換符号化の際のフィルタがブロックをはみ出る部分の画素については、ブロック境界の歪みが目立たない手段を用いているので、常に滑らかな接続面の復号画像が得られるという効果もある。
【０１０２】
また、本発明の実施の形態の画像記録再生装置によれば、複数個の低域通過フィルタと高域通過フィルタから構成されるフィルタバンク手段によって、入力画像を複数個の帯域に変換する手段と、同該各帯域毎に変換係数を走査、量子化、エントロピー符号化する手段により符号化ビットストリームを記録媒体に記録する手段とを備えた画像圧縮装置と、上記記録媒体から符号化ビットストリームを読み出して、エントロピー復号化、逆量子化、逆走査、更に同該フィルタバンク手段によって逆変換を行い、復号画像を出力する手段を備えた画像伸長装置とを有し、サーチ速度に合わせて、上記記録媒体に記録された符号化ビットストリームから、該当する帯域成分を読み出すサーチ手段を有しているため、記録媒体に記録された符号化ビットストリームを読み出して、復号画像のサーチを行う際には、サーチ速度に合わせた最適な帯域成分だけを読み出して復号することができ、コマ落ちの無い常に高品質な復号画像を得ることができる。
【０１０３】
また、復号画像も原画像のサイズにすることの他、帯域成分の持つ解像度にすることも出来るので、復号画像のバリエーションが増えるので、用途に合わせて使い分けることができる。
【０１０４】
従って、本発明の実施の形態によれば、高圧縮下での高画質と部分ブロック復号の実現の両方を兼ね備えており、さらに、ウェーブレット変換手段とウェーブレット逆変換手段との整合が取れるので、高能率な符号化、及び高画質な復号が可能になる。
【０１０５】
さらに、インターレース画像の場合には、奇数フィールド画像と偶数フィールド画像とに分離して、別個に符号化することで、画像の中に動きの大きい被写体が存在する場合でも、常に高い符号化効率を維持できる。
【０１０６】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【０１０７】
【図１】本発明の説明に供する動画像符号化装置の概略構成を示すブロック図である。
【図２】通常のウェーブレット変換部の概略構成（レベル３まで）を示すブロック図である。
【図３】通常のウェーブレット逆変換部の概略構成（レベル３まで）を示すブロック図である。
【図４】２次元画像の帯域分割（分割レベル＝２）を説明するための図である。
【図５】オーバーラップ型ウェーブレット符号化の際の畳み込み演算を説明するための図である。
【図６】画素の対称畳み込み演算を施すウェーブレット符号化の概念を説明するための図である。
【図７】対称畳み込み演算の概念を説明するための図である。
【図８】直線畳み込み演算の概念を説明するための図である。
【図９】点対称畳み込み演算の概念を説明するための図である。
【図１０】ウェーブレット変換係数の対称畳み込み演算を施すウェーブレット復号の概念を説明するための図である。
【図１１】ウェーブレット変換係数の直線畳み込み演算を施すウェーブレット復号の概念を説明するための図である。
【図１２】本発明の説明に供する動画像復号装置の概略構成を示すブロック図である。
【図１３】本発明の説明に供する画像記録再生装置の概略構成を示すブロック図である。
【図１４】本発明の説明に供する画像復号装置の概略構成を示すブロック図である。
【図１５】インターレース画像の場合のフレーム画像及びフィールド画像を説明するための図である。
【図１６】インターレース画像の場合のフレーム画像及びフィールド画像を説明するための図である。
【図１７】インターレース画像を符号化するための画像符号化装置の概略構成を示すブロック図である。
【図１８】インターレース画像を復号するための画像復号装置の概略構成を示すブロック図である。
【符号の説明】
【０１０８】
１  ブロック分割部、  ２  符号化モード制御部、  ４  ウェーブレット変換部、  ５  スキャニング部、  ４６量子化部、  ７  逆量子化部、  ８  逆スキャニング部、  ９  復号対象係数抽出部、  １０  ウェーブレット逆変換部、  １１  復号画像領域抽出部、  １２  誤差検出部、  １３  エントロピー符号化部、  １４  フレームメモリ、  １５，  復号モード制御部、  １６  エントロピー復号部、  ２１  分析用ローパスフィルタ、  ２２  分析用ハイパスフィルタ、  ２３ａ，２３ｂ  ２分の１倍のダウンサンプラ、  ２４ａ，２４ｂ  ２倍のアップサンプラ、  ２５  合成用ローパスフィルタ、  ２６  合成用ハイパスフィルタ、  ３１，５７  符号化部、  ３２  書き込み部、  ３３  読み出し部、  ３４  記録媒体制御部、  ３５  表示部、  ３７，５７  復号部、  ３８  外部入力・制御部、  ３９  ＣＣＤ部、  ４０  記録媒体、  ４５  制御部、  ４６  符号化ビットストリーム読み出し部、  ５６  フィールド分割部、  ５９  フィールド合成部
【図１】
2006042371.tif 000003
【図２】
2006042371.tif 000004
【図３】
2006042371.tif 000005
【図４】
2006042371.tif 000006
【図５】
2006042371.tif 000007
【図６】
2006042371.tif 000008
【図７】
2006042371.tif 000009
【図８】
2006042371.tif 000010
【図９】
2006042371.tif 000011
【図１０】
2006042371.tif 000012
【図１１】
2006042371.tif 000013
【図１２】
2006042371.tif 000014
【図１３】
2006042371.tif 000015
【図１４】
2006042371.tif 000016
【図１５】
2006042371.tif 000017
【図１６】
2006042371.tif 000018
【図１７】
2006042371.tif 000019
【図１８】
2006042371.tif 000020
【手続補正書】
【提出日】平成17年8月24日(2005.8.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数個の低域通過フィルタと高域通過フィルタから構成されるフィルタバンク手段によって、入力画像を複数個の帯域に変換する手段と、上記各帯域毎に変換係数を走査、量子化、エントロピー符号化する手段により符号化ビットストリームを記録媒体に記録する手段とを備えた画像圧縮装置と、
上記記録媒体から符号化ビットストリームを読み出して、エントロピー復号化、逆量子化、逆走査、更に同該フィルタバンク手段によって逆変換を行い、復号画像を出力する手段を備えた画像伸長装置と
を有し、
サーチ速度に合わせて、上記記録媒体に記録された符号化ビットストリームから、該当する帯域成分を読み出すサーチ手段
を有することを特徴とする画像記録再生装置。
【請求項２】
上記サーチ手段によるサーチ速度が高速な場合には、低域成分の帯域に相当する符号化ビットストリームだけを読み出して、上記画像伸長装置により低域成分の帯域画像を復号し、サーチ速度が低速な場合には、低域と高域成分の帯域に相当する符号化ビットストリームを読み出して帯域画像を復号することを特徴とする請求項１記載の画像記録再生装置。
【請求項３】
上記復号された帯域画像は、所定の帯域成分の解像度で復号されたものであることを特徴とする請求項２記載の画像記録再生装置。
【請求項４】
上記復号された帯域画像は、原画像の解像度で、画質が所定の帯域成分を用いて復号されたものであることを特徴とする請求項２記載の画像記録再生装置。
【請求項５】
上記サーチ手段は、符号化ビットストリームが記録された記録媒体から、制御手段からのサーチ速度または外部入力からの制御によって、所定の符号語を読み出して、復号画像を出力することを特徴とする請求項１記載の画像記録再生装置。
【請求項６】
複数個の各帯域毎に変換係数を走査、量子化、エントロピー符号化されて得られた符号化ビットストリームが記録された記録媒体から符号化ビットストリームを読み出して、エントロピー復号化、逆量子化、逆走査、更に同該フィルタバンク手段によって逆変換を行い、復号画像を出力する手段と、
サーチ速度に合わせて、上記記録媒体に記録された符号化ビットストリームから、該当する帯域成分を読み出すサーチ手段と
を有することを特徴とする画像再生装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像の効率的伝送もしくは蓄積を行うシステムに供することのできる画像記録再生装置及び画像再生装置に関するものであり、特に、複数個の帯域毎に符号化されて得られた符号化ビットストリームが記録された記録媒体を再生する画像記録再生装置及び画像再生装置に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明は、このような実情に鑑み、画像のサーチを行う際、サーチ速度に合わせて、所定の帯域成分を選択的に復号することで、従来のビデオレコーダ等では実現し得なかったサーチを行うことができるような画像記録再生装置及び画像再生装置を提供することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
上述の課題を解決するために、本発明に係る画像記録再生装置は、複数個の低域通過フィルタと高域通過フィルタから構成されるフィルタバンク手段によって、入力画像を複数個の帯域に変換する手段と、同該各帯域毎に変換係数を走査、量子化、エントロピー符号化する手段により符号化ビットストリームを記録媒体に記録する手段とを備えた画像圧縮装置と、上記記録媒体から符号化ビットストリームを読み出して、エントロピー復号化、逆量子化、逆走査、更に同該フィルタバンク手段によって逆変換を行い、復号画像を出力する手段を備えた画像伸長装置とを有し、サーチ速度に合わせて、上記記録媒体に記録された符号化ビットストリームから、該当する帯域成分を読み出すサーチ手段を有することを特徴としている。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
以下、本発明に係る画像記録再生装置及び画像再生装置の実施の形態に用いられる画像の動画像符号化装置及び方法並びに復号装置及び方法の実施の形態について、図面を参照しながら説明する。