(57)【要約】【課題】  時間を要せずに画質を維持したい動き領域を決定し、動き領域の画質を維持しつつ圧縮効率を高める。【解決手段】  画像を複数のブロックに分割し、分割されたブロックに対し２次元Wavelet変換を行ない、２次元Wavelet変換により得られる低域成分を用いてブロックの動き情報の計算を行なうと共に２次元Wavelet変換により得られる高域成分を用いてブロックの動き情報の計算を行ない、低域成分を用いて算出された動き情報と高域成分を用いて算出された動き情報とからブロックの動きの有無を判定し、ブロックの動き有りと判定したとき２次元Wavelet変換の結果を後段処理に出力し、ブロックの動き無しと判定したときは２次元Wavelet変換の結果を３次元Wavelet変換してから後段処理に出力する。【選択図】  図３
2006254091.tif 000002
【特許請求の範囲】
【請求項１】
画像を複数のブロックに分割し、分割されたブロックに対し２次元ウェーブレット変換を行ない、前記２次元ウェーブレット変換により得られる低域成分を用いて前記ブロックの第１の動き情報の計算を行なうと共に前記２次元ウェーブレット変換により得られる高域成分を用いて前記ブロックの第２の動き情報の計算を行ない、前記第１の動き情報と前記第２の動き情報とから前記ブロックの動きの有無を判定し、前記ブロックの動き有りと判定したとき前記２次元ウェーブレット変換の結果を後段処理に出力し前記ブロックの動き無しと判定したときは前記２次元ウェーブレット変換の結果を３次元ウェーブレット変換してから前記後段処理に出力することを特徴とする画像符号化方法。
【請求項２】
画像を１次元または２次元のウェーブレット変換して得たウェーブレット係数を前記複数のブロックに分割することを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
画像を複数のブロックに分割するブロック分割手段と、前記ブロック分割手段により分割されたブロックに対し２次元ウェーブレット変換を行なう２次元ウェーブレット変換部と、前記２次元ウェーブレット変換部より得られる低域成分を用いて前記ブロックの動き情報の計算を行なう第１の動き情報計算部と、前記２次元ウェーブレット変換部より得られる高域成分を用いて前記ブロックの動き情報の計算を行なう第２の動き情報計算部と、前記第１の動き情報計算部により得られた動き情報と前記第２の動き情報計算部より得られた動き情報とを用いて前記ブロックの動きの有無を判定し前記ブロックの動き有りと判定したとき前記２次元ウェーブレット変換の結果を後段処理部に出力する切り換え部と、前記切り換え部が前記ブロックの動き無しと判定したとき前記２次元ウェーブレット変換の結果を３次元ウェーブレット変換して前記後段処理部に出力する３次元ウェーブレット変換部とを備えることを特徴とする画像符号化装置。
【請求項４】
画像を１次元または２次元のウェーブレット変換するウェーブレット変換部を備え、前記ブロック分割手段は前記ウェーブレット変換部で得られたウェーブレット係数を前記複数のブロックに分割することを特徴とする請求項３に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウェーブレット（Wavelet）変換を用いて動画を高能率に符号化する画像符号化方法及びその装置に関する。
【背景技術】
【０００２】
Wavelet変換を用いた従来の画像圧縮装置は、２次元Wavelet変換を行なった後にブロックを基礎とする動き推定を行ない、発生符号量の低減を行なっている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特表２００４−５１４３５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の画像符号化装置は、画質を維持したい動き領域、すなわち注目領域を推定する為の演算に時間を要してしまい、動画を高効率に圧縮することができないという問題がある。
【０００５】
本発明は、従来の問題を解決する為になされたもので、動き領域の画質を維持しつつ圧縮効率を上げることができる画像符号化方法及びその装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像符号化方法及びその装置は、画像を複数のブロックに分割し、分割されたブロックに対し２次元Wavelet変換を行ない、前記２次元Wavelet変換により得られる低域成分を用いて前記ブロックの第１の動き情報の計算を行なうと共に前記２次元Wavelet変換により得られる高域成分を用いて前記ブロックの第２の動き情報の計算を行ない、前記第１の動き情報と前記第２の動き情報とから前記ブロックの動きの有無を判定し、前記ブロックの動き有りと判定したとき前記２次元Wavelet変換の結果を後段処理に出力し前記ブロックの動き無しと判定したときは前記２次元Wavelet変換の結果を３次元Wavelet変換してから前記後段処理に出力することを特徴とする。
【０００７】
この構成により、動き情報はそのブロックの範囲内での加減算のみで得ることができるため、高速にそのブロックの動きの有無を知ることができる。また、動きの有無に応じて２次元Wavelet変換処理後に３次元Wavelet変換処理を行うか否かを切り換えるため、動きの領域の画質を維持しつつ圧縮効率を上げることができる。
【０００８】
本発明の画像符号化方法及びその装置は、画像を１次元または２次元のWavelet変換して得たWavelet係数を前記複数のブロックに分割することを特徴とする。  この構成により、即ち、１次元または２次元のWavelet変換を行ない、画像中の重要部分のみを取り出した画像をブロック分割手段以降の回路に出力するため、ブロック分割手段以降の回路の処理負荷が軽減する。
【発明の効果】
【０００９】
本発明によれば、時間を要せずに画質を維持したい動き領域を決定し、動きの有無に応じて２次元Wavelet変換処理と３次元Wavelet変換処理とを切り替えるため、動き領域の画質を維持しつつ圧縮効率を上げることが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施の形態を図面を参照して説明する。
【００１１】
図１は、本発明の一実施の形態に係る画像符号化装置の構成図である。本実施形態に係る画像符号化装置１は、画像入力部４により取り込まれメモリ５に一時的に蓄積された入力画像データ３に対し１次元または２次元のWavelet変換を行なうWavelet変換部６と、Wavelet変換されたWavelet係数を複数のブロックに分割するブロック分割手段７と、分割されたブロックに対して２次元Wavelet変換を行ない画像を周波数分割する２次元Wavelet変換部８と、２次元Wavelet変換により生成された輝度成分（Ｙ）のＬＬ（低域）成分より画像の動き情報を計算する低域成分によるブロックの動き情報計算部（第１の動き情報計算部）９と、２次元Wavelet変換により生成された輝度成分（Ｙ）のＨＨ（高域）成分より画像の動き情報を計算する高域成分によるブロックの動き情報計算部（第２の動き情報計算部）１０と、第１の動き情報計算部９より得た低域成分ＬＬによる動き情報と第２の動き情報計算部１０より得た高域成分ＨＨによる動き情報とに基づいてブロックの動きの有無を判定し切り換え制御を行う切り換え部１１と、切り換え部１１を通して２次元Wavelet変換部８から出力される変換結果に対し３次元Wavelet変換を実行する３次元Wavelet変換部１２とを備えて成る。
【００１２】
本実施形態の切り換え部１１は、ブロックの動き「有り」と判定したときは２次元Wavelet変換部８の変換結果をそのまま後段のエントロピー符号化部１３に出力し、ブロックの動き「無し」と判定したときは２次元Wavelet変換部８の変換結果を３次元Wavelet変換部１２に出力し、３次元Wavelet変換部１２の変換結果をエントロピー符号化部１３に出力させる構成になっている。
【００１３】
以下、メモリ５に保存されている輝度成分（Ｙ）、色差成分（Ｕ）及び色差成分（Ｖ）の画素サイズは全て同じであるとし、Wavelet変換部６で行なうWavelet変換は１次元であるとし、ブロック分割手段７で分割されるサイズは、輝度成分（Ｙ）、色差成分（Ｕ）及び色差成分（Ｖ）共に８画素×８画素とし、ブロックに対する２次元Wavelet変換の分割レベルは“１”とし、連続した画像（グループ・オブ・ピクチャ：ＧＯＰ）を２枚として３次元Wavelet変換を計算する場合について説明する。また、ＧＯＰで時間的に先の画像を１フレーム目の画像、時間的に後の画像を２フレーム目の画像として説明する。
【００１４】
先ず、Wavelet変換部６は、入力された画像の輝度成分（Ｙ）、色差成分（Ｕ）及び色差成分（Ｖ）に対して走査線方向の１次元Wavelet変換を行ない、高周波のWavelet係数と低周波のWavelet係数を求める。高周波と低周波のWavelet係数は、横方向に関してそれぞれ元の画像の１／２になる。このようにすることにより、演算量を減らすことができる。
【００１５】
ブロック分割手段７は、Wavelet変換部６で求めた輝度成分（Ｙ）、色差成分（Ｕ）及び色差成分（Ｖ）の低周波のWavelet係数をそれぞれ８画素×８画素に分割する。ＧＯＰを２枚として計算する際には、この時点で１フレーム目の画像と２フレーム目の画像の２枚分のWavelet係数の全体に対してブロック分割を行なう。
【００１６】
２次元Wavelet変換部８は、８画素×８画素に分割された輝度成分（Ｙ）のブロック、色差成分（Ｕ）のブロック、及び色差成分（Ｖ）のブロックそれぞれに対し、図２に示すような２次元Wavelet変換を行ない、画像を、ＨＨ（高域）、ＨＬ、ＬＨ、ＬＬ（低域）の４つの成分に分割する。各成分は、それぞれ４画素×４画素のサイズになる。ＧＯＰを２枚として計算する際には、この時点で１フレーム目の画像と２フレーム目の画像の２枚分の全てのWavelet係数のブロックに対し２次元Wavelet変換を行なう。
【００１７】
低域成分によるブロックの動き情報計算部９は、２次元Wavelet変換によって得られた輝度成分（Ｙ）のＬＬ（低域）成分を用いて１ブロック毎にブロックの動き情報を計算する。まず、１フレーム目のブロックの４画素×４画素の輝度成分（Ｙ）のＬＬ（低域）成分を全て足し合わせて総和を求める。また、２フレーム目のブロックの４画素×４画素の輝度成分（Ｙ）のＬＬ（低域）成分に関しても全て足し合わせて総和を求める。
【００１８】
そして、２フレーム目の輝度成分（Ｙ）のＬＬ（低域）成分の総和から、１フレーム目の輝度成分（Ｙ）のＬＬ（低域）成分の総和を引き、１フレーム目と２フレーム目の輝度成分（Ｙ）のＬＬ（低域）成分の差分を求める。この差分の計算は、３次元方向にWavelet変換をした際に得られる３次元Wavelet変換の高域成分と同じものである。
【００１９】
得られた差分成分が、輝度成分（Ｙ）の低域成分によるブロックの動き情報となる。この動き情報はそのブロックの範囲内での加減算のみで得ることができるため、パターンマッチング法やオプティカルフロー法等の従来の動き検出方法と比較して、高速にそのブロックの動きの有無を知ることができる。
【００２０】
これに対して、高域成分によるブロックの動き情報計算部１０は、２次元Wavelet変換によって得られた輝度成分（Ｙ）のＨＨ（高域）成分を用いて１ブロック毎にブロックの動き情報を計算する。
【００２１】
まず、１フレーム目のブロックの４画素×４画素の輝度成分（Ｙ）のＨＨ（高域）成分と、２フレーム目の４画素×４画素の輝度成分（Ｙ）のＨＨ（高域）成分の対応する１画素毎に差分の絶対値を求め、合計１６画素分の差分の絶対値の結果を得る。この差分の計算は、３次元方向にWavelet変換をした際に得られる、３次元Wavelet変換の高域成分と同じものである。
【００２２】
次に、得られた１６個の差分結果の総和を求める。この総和の結果が、輝度成分（Ｙ）の高域成分によるブロックの動き情報となる。輝度成分（Ｙ）の高域成分によるブロックの動き情報も、そのブロックの範囲内での加減算のみで得ることができるため、従来の方式と比べ高速に動きを検出することができる。また、４画素×４画素の輝度成分（Ｙ）のＨＨ（高域）成分にはどの位置に高域成分が存在しているかと言う位置情報も含まれており、この情報を基に計算された輝度成分（Ｙ）の高域成分によるブロックの動き情報は、低域成分によるブロックの動き情報計算部９では見つけることのできない高周波成分すなわちエッジの動きも精度良く高速に見つけることができる。
【００２３】
切り換え部１１は、動き情報計算部９で計算された輝度成分（Ｙ）の低域成分によるブロックの動き情報と、動き情報計算部１０で計算された輝度成分（Ｙ）の高域成分によるブロックの動き情報を用いて、ブロックの動きの有無を評価式により判定する。動き「有り」と判定した場合には、２次元Wavelet変換された輝度成分（Ｙ）のブロックに対し、３次元Wavelet変換部１２の変換を行なわない様に制御し、動き「無し」と判定した場合には、輝度成分（Ｙ）のブロックに対し、３次元Wavelet変換部１２の変換を行なう様に制御する。色差成分（Ｕ）、色差成分（Ｖ）に関しても、輝度成分（Ｙ）により動きが有ると判定されたブロックに対応するブロックに関しては、３次元Wavelet変換部１２の変換を行なわない様に制御し、動きが無いと判定された場合には、３次元Wavelet変換部１２の変換を行なう様に制御する。
【００２４】
動き「有り」と判定されたブロックに対し、時間的な相関情報を用いる３次元Wavelet変換を行なった場合、１フレーム目と２フレーム目の情報の差分が大きく、圧縮効率が大幅に下がってしまう。従って、動き「有り」と判定されたブロックに関しては、ブロックの情報を２次元Wavelet変換の結果のままで保ち、圧縮効率の低下を防ぐ。これにより、動きのあるブロックに効率的に符号を割り当てる事が可能となり、動きのあるブロックの画質を維持する事ができる。
【００２５】
３次元Wavelet変換部１２は、切り換え部１１により動きが無いと判定された輝度成分（Ｙ）及び色差成分（Ｕ）、色差成分（Ｖ）の２次元Wavelet変換後のブロックに対し、１フレーム目と２フレーム目の時間的に連続するブロックを用いて、３次元Wavelet変換を行なう。動きが無いと判定されたブロックは、１フレーム目と２フレーム目の情報が類似している為、３次元Wavelet変換を行なう事により、効率良く符号量を削減する事ができる。
【００２６】
エントロピー符号化部１３は、２次元Wavelet変換及び３次元Wavelet変換を終えた画像の輝度成分（Ｙ）及び色差成分（Ｕ）、色差成分（Ｖ）の全てのブロックに対し、エントロピー符号化を行ない、符号化情報２を生成する。
【００２７】
次に、画像符号化装置１の動作手順を図３のフローチャートで説明する。まず、メモリ５に一時的に記憶された２枚分(１フィールド目及び２フィールド目)の画像の輝度成分（Ｙ）及び色差成分（Ｕ）、色差成分（Ｖ）に対し、Wavelet変換部６で１次元Wavelet変換を行なう（ステップＳ１）。そして、Wavelet変換部６により得られた輝度成分（Ｙ）及び色差成分（Ｕ）、色差成分（Ｖ）のWavelet係数が、ブロック分割手段７によって、複数のブロックにそれぞれ分割される（ステップＳ２）。
【００２８】
次に、ブロック分割手段７によって分割された輝度成分（Ｙ）及び色差成分（Ｕ）、色差成分（Ｖ）のブロックは、２次元Wavelet変換部８により２次元Wavelet変換される（ステップＳ３）。そして、２次元Wavelet変換部８により得られた輝度成分（Ｙ）のＬＬ（低域）成分を用いて、低域成分によるブロックの動き情報計算部９で輝度成分（Ｙ）のＬＬ（低域）成分によるブロックの動き情報が生成される（ステップＳ４）。
【００２９】
また、これと並行して、２次元Wavelet変換部８により得られた輝度成分（Ｙ）のＨＨ（高域）成分を用いて、高域成分によるブロックの動き情報計算部１０で輝度成分（Ｙ）のＨＨ（高域）成分によるブロックの動き情報が生成される（ステップＳ５）。
【００３０】
低域成分によるブロックの動き情報計算部９により生成された輝度成分（Ｙ）の低域成分によるブロックの動き情報と、高域成分によるブロックの動き情報計算部１０により生成された輝度成分（Ｙ）の高域成分によるブロックの動き情報とが生成されると、次に、これらの動き情報に基づき、切り換え部１１にてブロックの動きの有無を判定される（ステップＳ６）。
【００３１】
ここで動き「有り」と判定された場合は、輝度成分（Ｙ）のブロックと共に、その輝度成分（Ｙ）のブロックに対応する色差成分（Ｕ）、色差成分（Ｖ）のブロックに対しても、３次元のWavelet変換を行なわない様にブロックを制御する。これにより、動き「有り」と判定されたブロックに関しては２次元Wavelet変換まででWavelet変換を終了する。
【００３２】
また、動き「無し」と判定された場合は、輝度成分（Ｙ）のブロックと共に、その輝度成分（Ｙ）のブロックに対応する色差成分（Ｕ）、色差成分（Ｖ）のブロックに対しても、３次元Wavelet変換を行なう様に制御する（ステップＳ７）。
【００３３】
切り換え部１１において３次元Wavelet変換を行なう様に制御されたブロック、即ち、ステップＳ７で動き無しと判定されたブロックに対しては、３次元Wavelet変換部１２において１フレーム目と２フレーム目の時間的に連続する２次元Wavelet変換をされたブロックを用いて３次元Wavelet変換を行なう（ステップＳ８）。
【００３４】
そして、ステップＳ２で分割された全てのブロックに対して処理が終了したか否かを判定し（ステップＳ９）、終了していない場合にはステップＳ４、ステップＳ５に戻り、分割した全てのブロックに対してステップＳ４〜Ｓ８を行なう。
【００３５】
このように、本実施の形態に係る画像符号化装置によれば、ブロックの動き情報を求める際に、輝度成分（Ｙ）のＬＬ（低域）成分及びＨＨ（高域）成分共に、そのブロック内の加算及び減算の計算しか必要とせず、且つＨＨ（高域）成分の位置情報を有効に使用する事により、従来の画像符号化装置と比較して、時間を要せずに精度良くブロックの動きの有無の判定を行なう事ができ、動きの有無に応じて適応的に２次元及び３次元のWavelet変換を切り替える事により、動き領域の画質を維持しつつ圧縮効率を上げることができる。
【００３６】
なお、以上の説明では、メモリ５に保存されている輝度成分（Ｙ）、色差成分（Ｕ）及び色差成分（Ｖ）の画素サイズは全て同じとして構成された例について述べたが、輝度成分（Ｙ）、色差成分（Ｕ）及び色差成分（Ｖ）の画素サイズが異なる場合についても、同様に上述の実施形態を適用可能である。
【００３７】
また、以上の説明では、Wavelet変換部６において行なわれるWavelet変換を１次元としたが、Wavelet変換を２次元にした場合や、Wavelet変換部６においてWavelet変換を行なわない場合においても、上述の実施形態を同様に適用可能である。Wavelet変換部６においてWavelet変換を行なうことで、処理対象の画像データ中の重要部分の画像データが取り出され、これが後続の回路に出力されるため、後続の回路の処理負荷が軽減される。
【００３８】
また、以上の説明では、ブロック分割手段７において分割されるブロックのサイズは、輝度成分（Ｙ）、色差成分（Ｕ）及び色差成分（Ｖ）共に８画素×８画素とした例について述べたが、その他の任意のサイズで分割した場合においても、上述の実施形態を同様に適用可能である。
【００３９】
また、以上の説明では、２次元Wavelet変換部８において２次元Wavelet変換の分割レベルを“１”とした例について述べたが、分割レベル“１”によって得られたＬＬ（低域）成分に２次元Wavelet変換を続けて行なう事により得られる任意の分割レベルの２次元Wavelet変換の結果を用いた場合についても、同様に実施可能である。
【００４０】
また、以上の説明では、低域成分によるブロックの動き情報計算部９及び、高域成分によるブロックの動き情報計算部１０及び、３次元Wavelet変換部１２において、連続した画像(グループ・オブ・ピクチャ：ＧＯＰ)を２枚とした例について述べたが、２枚以上の任意の枚数をＧＯＰとした場合についても、同様に実施可能である。
【産業上の利用可能性】
【００４１】
本発明の画像符号化方法及びその装置は、従来の画像符号化方法及びその装置と比較して、時間を要せずに画質を維持したい動き領域を決定し、動きの有無に応じて２次元及び３次元のWavelet変換を切り替えるため、動き領域の画質を維持しつつ圧縮効率を上げることが可能となり、画像符号化装置方法及びその装置等として有用である。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施の形態に係る画像符号化装置の構成図
【図２】本発明の一実施の形態に係る２次元Wavelet変換（分割レベル＝１）の説明図
【図３】本発明の一実施の形態に係る画像符号化装置の動作手順を示すフローチャート
【符号の説明】
【００４３】
１  画像符号化装置
２  符号化情報
３  入力画像
４  画像入力部
５  メモリ
６  Wavelet変換部
７  ブロック分割手段
８  ２次元Wavelet変換部
９  低域成分によるブロックの動き情報計算部（第１の動き情報計算部）
１０  高域成分によるブロックの動き情報計算部（第２の動き情報計算部）
１１  切り換え部
１２  ３次元Wavelet変換部
１３  エントロピー符号化部
【図１】
2006254091.tif 000003
【図２】
2006254091.tif 000004
【図３】
2006254091.tif 000005