(57)【要約】【課題】Ｍｏｔｉｏｎ−ＪＰＥＧ２０００方式及びＭｏｔｉｏｎ−ＪＰＥＧ方式の規格の範囲内で、圧縮率の向上を図ること。【解決手段】動画像入力手段１は、入力ピクチャＰ１，Ｐ２，Ｐ３，Ｐ４，……，Ｐｎを入力すると毎回の処理時に２つの処理ピクチャＰａ，Ｐｂを出力する。インタリーブ合成手段１１は、これら処理ピクチャＰａ，Ｐｂから合成処理ピクチャＰａｂを生成する。画像符号化データ生成手段２は、これらの画像符号化データＥＰａ，ＥＰｂ，ＥＰａｂを生成する。符号量比較手段１２は、ＥＰａ，ＥＰｂの合計符号量Ｑａと、ＥＰａｂの符号量Ｑｂとを比較する。符号データ出力手段１０は、Ｑａの方が小さければＥＰａを出力し、Ｑｂの方が小さければＥＰａｂを出力する。【選択図】  図１
2005045498.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する連続した複数の入力ピクチャの入力画像データが入力され、毎回の処理時にはこれらの入力ピクチャのうちの連続する所定数のものを処理ピクチャとして設定し、その所定数の処理ピクチャにおける先頭処理ピクチャから最後処理ピクチャまでの入力画像データを順次出力する動画像入力手段と、
前記動画像入力手段からの前記所定数の処理ピクチャの入力画像データをインタリーブ合成して得た合成処理ピクチャの入力画像データを出力するインタリーブ合成手段と、
前記動画像入力手段からの前記所定数の処理ピクチャの入力画像データのそれぞれと、前記インタリーブ合成手段からの前記合成処理ピクチャの入力画像データとの双方に対して同一の符号化を行い、画像符号化データを生成する画像符号化データ生成手段と、
前記画像符号化データ生成手段が前記動画像入力手段からの前記所定数の処理ピクチャの入力画像データのそれぞれに対して符号化を行ったときのこれらの合計符号量である第１の符号量と、前記画像符号化データ生成手段が前記インタリーブ合成手段からの前記合成処理ピクチャの入力画像データに対して符号化を行ったときの第２の符号量とを比較する符号量比較手段と、
前記符号量比較手段の比較結果を入力し、第１の符号量が第２の符号量以下である場合は前記所定数の処理ピクチャにおける前記先頭処理ピクチャに係る画像符号化データを出力し、一方、第２の符号量が第１の符号量よりも小さなものである場合は前記合成処理ピクチャに係る画像符号化データを出力する符号データ出力手段と、を備えており、
更に、前記動画像入力手段は、前記符号データ出力手段が前記先頭処理ピクチャに係る画像符号化データを出力した場合は、今回の処理時に前記先頭処理ピクチャとして設定された入力ピクチャの次の入力ピクチャを次回処理時の先頭処理ピクチャに設定して次回の出力を順次行い、また、前記符号データ出力手段が前記合成処理ピクチャに係る画像符号化データを出力した場合は、今回の処理時に前記最後処理ピクチャとして設定された入力ピクチャの次の入力ピクチャを次回処理時の先頭処理ピクチャに設定して次回の出力を順次行うものである、ことを特徴とする画像符号化装置。
【請求項２】
コンピュータを、
動画像を構成する連続した複数の入力ピクチャの入力画像データが入力され、毎回の処理時にはこれらの入力ピクチャのうちの連続する所定数のものを処理ピクチャとして設定し、その所定数の処理ピクチャにおける先頭処理ピクチャから最後処理ピクチャまでの入力画像データを順次出力する動画像入力手段と、
前記動画像入力手段からの前記所定数の処理ピクチャの入力画像データをインタリーブ合成して得た合成処理ピクチャの入力画像データを出力するインタリーブ合成手段と、
前記動画像入力手段からの前記所定数の処理ピクチャの入力画像データのそれぞれと、前記インタリーブ合成手段からの前記合成処理ピクチャの入力画像データとの双方に対して同一の符号化を行い、画像符号化データを生成する画像符号化データ生成手段と、
前記画像符号化データ生成手段が前記動画像入力手段からの前記所定数の処理ピクチャの入力画像データのそれぞれに対して符号化を行ったときのこれらの合計符号量である第１の符号量と、前記画像符号化データ生成手段が前記インタリーブ合成手段からの前記合成処理ピクチャの入力画像データに対して符号化を行ったときの第２の符号量とを比較する符号量比較手段と、
前記符号量比較手段の比較結果を入力し、第１の符号量が第２の符号量以下である場合は前記所定数の処理ピクチャにおける前記先頭処理ピクチャに係る画像符号化データを出力し、一方、第２の符号量が第１の符号量よりも小さなものである場合は前記合成処理ピクチャに係る画像符号化データを出力する符号データ出力手段と、
して機能させるものであり、
更に、前記動画像入力手段を、前記符号データ出力手段が前記先頭処理ピクチャに係る画像符号化データを出力した場合は、今回の処理時に前記先頭処理ピクチャとして設定された入力ピクチャの次の入力ピクチャを次回処理時の先頭処理ピクチャに設定して次回の出力を順次行い、また、前記符号データ出力手段が前記合成処理ピクチャに係る画像符号化データを出力した場合は、今回の処理時に前記最後処理ピクチャとして設定された入力ピクチャの次の入力ピクチャを次回処理時の先頭処理ピクチャに設定して次回の出力を順次行うように、機能させるものであることを特徴とする画像符号化プログラム。
【請求項３】
動画像を構成する連続したピクチャにおけるピクチャ単位の画像データに対する所定の符号化により生成された画像符号化データ、又は動画像を構成する連続した所定数のピクチャの画像データをインタリーブ合成して得られる合成ピクチャの画像データに対する所定の符号化により生成された画像符号化データが入力される、符号データ入力手段と、
前記符号データ入力手段からの画像符号化データに対して所定の復号化により出力画像データを生成する出力画像データ生成手段と、
前記符号データ入力手段が入力した画像符号化データが前記合成ピクチャの入力画像データに対する符号化により得られたものであるか否かについて判別する合成判別手段と、
前記合成判別手段が前記合成ピクチャの画像データに対する符号化により得られたものであると判別した場合に、前記出力画像データ生成手段により生成された出力画像データを前記インタリーブ合成される前の状態に戻すためのデインタリーブ処理を行って前記所定数のピクチャに係る出力画像データを出力し、一方、前記合成判別手段が前記合成ピクチャの画像データに対する符号化により得られたものでないと判別した場合には、前記出力画像データ生成手段により生成された出力画像データをそのまま出力する画像出力手段と、を備えたことを特徴とする画像復号化装置。
【請求項４】
コンピュータを、
動画像を構成する連続したピクチャにおけるピクチャ単位の画像データに対する所定の符号化により生成された画像符号化データ、又は動画像を構成する連続した所定数のピクチャの画像データをインタリーブ合成して得られる合成ピクチャの画像データに対する所定の符号化により生成された画像符号化データが入力される、符号データ入力手段と、
前記符号データ入力手段からの画像符号化データに対して所定の復号化により出力画像データを生成する出力画像データ生成手段と、
前記符号データ入力手段が入力した画像符号化データが前記合成ピクチャの入力画像データに対する符号化により得られたものであるか否かについて判別する合成判別手段と、
前記合成判別手段が前記合成ピクチャの画像データに対する符号化により得られたものであると判別した場合に、前記出力画像データ生成手段により生成された出力画像データを前記インタリーブ合成される前の状態に戻すためのデインタリーブ処理を行って前記所定数のピクチャに係る出力画像データを出力し、一方、前記合成判別手段が前記合成ピクチャの画像データに対する符号化により得られたものでないと判別した場合には、前記出力画像データ生成手段により生成された出力画像データをそのまま出力する画像出力手段と、して機能させるものであることを特徴とする画像復号化プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像データについて、主にＭｏｔｉｏｎ−ＪＰＥＧ又はＭｏｔｉｏｎ−ＪＰＥＧ２０００による圧縮符号化技術を用いて符号化を行う画像符号化装置、及び画像符号化プログラム、並びにこの符号化により得られる符号データについて復号化を行うための画像復号化装置、及び画像復号化プログラムに関するものである。
【０００２】
【従来の技術】
静止画像の圧縮符号化方式としては、最も一般的なＪＰＥＧ方式の他に、最近、国際標準化され注目されている圧縮符号化方式としてＪＰＥＧ２０００方式などがある。このＪＰＥＧ２０００方式は、ＪＰＥＧ方式が離散コサイン変換（ＤＣＴ）を用いた方式であるのに対し、ウェーブレット変換（ＤＷＴ）を用いた方式であるため、より高画質及び高階調の画像が得られ、また、同程度の画質に比べ圧縮率を高くすることができるなど多くのメリットを有している。
【０００３】
一方、動画像の一般的な圧縮符号化方式としてＭＰＥＧ方式があるが、上記のＪＰＥＧ方式及びＪＰＥＧ２０００方式の技術をベースとしたＭｏｔｉｏｎ−ＪＰＥＧ方式及びＭｏｔｉｏｎ−ＪＰＥＧ２０００方式（例えば、特許文献１参照）もある。
【０００４】
Ｍｏｔｉｏｎ−ＪＰＥＧ方式及びＭｏｔｉｏｎ−ＪＰＥＧ２０００方式は、動画像を構成する複数のピクチャの入力画像データを１つのピクチャを単位として処理するものであり、静止画像に対する符号化技術の延長上に位置づけられるものである。これに対し、ＭＰＥＧ方式は、所謂「動き補償フレーム間予測」という技術を用いるもので、動画像を構成するピクチャ（フレーム）とピクチャとの間の差分情報を抽出して効率的な符号化を行おうとするものである。したがって、Ｍｏｔｉｏｎ−ＪＰＥＧ方式及びＭｏｔｉｏｎ−ＪＰＥＧ２０００方式と、ＭＰＥＧ方式とは互いに全く異なる技術をベースとする符号化方式であると言える。
【０００５】
図７は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００方式に基づく従来の画像符号化装置の構成を示すブロック図である。この図７の装置の符号化対象は動画像データであるが、上述したように、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００方式では、動画像を構成する複数のピクチャに対する符号化処理を１つのピクチャを単位として、つまり静止画像として処理するものである。したがって、図７の構成は、基本的には、静止画像を符号化対象とするＪＰＥＧ２０００方式の画像符号化装置とほぼ同様の構成である。
【０００６】
図７の装置は、動画像入力手段１、画像符号化データ生成手段２、ヘッダ生成手段９、及び符号データ出力手段１０を備えている。そして、画像符号化データ生成手段２は、ＤＣレベルシフト手段３、カラー変換手段４、ウェーブレット変換手段５、スカラ量子化手段６、係数ビットモデリング手段７、及びエントロピー符号化手段８を有している。
【０００７】
なお、上記の構成要素のうち、ＤＣレベルシフト手段３、カラー変換手段４、及びスカラ量子化手段６はＭｏｔｉｏｎ−ＪＰＥＧ２０００方式においてはオプションとして備えられたものである。Ｍｏｔｉｏｎ−ＪＰＥＧ方式では、その他にもオプションとして備えられたものがあるが、本発明の技術とは直接的な関連性がないか、あっても重要度が低いため説明を省略している。また、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００方式では、画像を複数のタイル領域に分割し、各タイル領域間の相関関係をなくすことによって高速の並列処理を可能にしているが、本明細書での符号化処理は、１つのタイル領域における処理であることを前提としている。したがって、図７においては、タイリング手段等の構成要素については図示を省略している。
【０００８】
次に、この図７に係る装置の動作について説明すると、まず、動画像入力手段１は、動画像を構成する連続した複数のピクチャの入力画像データを入力し、これらを順次出力する。動画像入力手段１からの入力画像データはＤＣレベルシフト手段３に入力され、ＤＣレベルがシフトされる。ＤＣレベルのシフトとは、符号化効率を高めるために、ＤＣ（直流）成分すなわちゼロ成分を基準として入力画像データのレベルをシフトすることである。
【０００９】
ＤＣレベルシフト手段３からの入力画像データはカラー変換手段４に入力され、ここでＲＧＢカラー空間における値からＹＵＶカラー空間における値への変換が行われる。この変換も符号化効率を高めるために行われるものである。
【００１０】
カラー変換手段４でカラー変換された画像データはウェーブレット変換手段５に入力されウェーブレット変換が行われる。ウェーブレット変換は、複雑な振動波形の解析等を行う場合に用いられる変換であり、フーリェ解析の特徴を生かしつつ、時間的又は空間的な変動を同時にとらえることができる波形データ解析手法である。
【００１１】
スカラ量子化手段６は、ウェーブレット変換手段５からの変換データをある値で割算することにより、この変換データをスカラ値に量子化する。但し、この量子化は必ずしも常に必要なわけではない。
【００１２】
係数ビットモデリング手段７は、スカラ量子化手段６により量子化が行われたウェーブレット係数をビットプレーン化し、更に、各ビットプレーンに対し３つの所定のパス（Ｓｉｇｎｉｆｉｃａｎｔ  Ｐｒｏｐａｇａｔｉｏｎ  Ｐａｓｓ，Ｍａｇｎｉｔｕｄｅ  Ｒｅｆｉｎｅｍｅｎｔ  Ｐａｓｓ，Ｃｌｅａｎｕｐ  Ｐａｓｓと呼ばれる３つのパス）による処理を行う。
【００１３】
係数ビットモデリング手段７により処理されたビットプレーンデータはエントロピー符号化手段８に入力され、ここでエントロピー符号化が行われて画像符号化データが生成される。そして、この生成された画像符号化データに、ヘッダ生成手段９により生成された必要なヘッダ情報（画像サイズ、サブサンプル数、分解数（ウェーブレット変換の回数）、量子化係数等の情報）が付加される。符号データ出力手段１０は、この画像符号化データ及びヘッダ情報を符号データとして出力を行う。
【００１４】
【特許文献１】
特開２００１−２５７９７９号公報
【００１５】
【発明が解決しようとする課題】
上述したように、図７の構成は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００方式に基づく圧縮符号化を行うものである。このＭｏｔｉｏｎ−ＪＰＥＧ２０００方式に基づく圧縮符号化はＪＰＥＧ２０００方式の技術をベースとしたものであるから、ＪＰＥＧ方式の技術をベースとしたＭｏｔｉｏｎ−ＪＰＥＧ方式に基づく圧縮符号化よりも更に圧縮率が向上したものとなっている。しかし、圧縮率が向上したといっても、「動き補償フレーム間予測」のような動画像データの特質を利用したＭＰＥＧ方式のものに比べれば、その圧縮率のレベルはまだまだ小さなものに過ぎない。
【００１６】
そこで、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００方式においても、各種の技術を導入することにより、更に圧縮率の向上を図ることが考えられる。しかし、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００方式では種々の規格が設けられており、この規定は厳格に遵守されなければならないので、各種技術をむやみに導入する訳にはいかない。そのため、従来装置では、一定レベル以上の圧縮率の向上を図ることが困難となっていた。
【００１７】
本発明は上記事情に鑑みてなされたものであり、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００方式及びＭｏｔｉｏｎ−ＪＰＥＧ方式の規格の範囲内で、圧縮率の向上を図ることが可能な画像符号化装置、及び画像符号化プログラム、並びにこの符号化により得られる符号データについて復号化を行うための画像復号化装置、及び画像復号化プログラムを提供することを目的としている。
【００１８】
【課題を解決するための手段】
上記課題を解決するための手段として、請求項１記載の発明は、動画像を構成する連続した複数の入力ピクチャの入力画像データが入力され、毎回の処理時にはこれらの入力ピクチャのうちの連続する所定数のものを処理ピクチャとして設定し、その所定数の処理ピクチャにおける先頭処理ピクチャから最後処理ピクチャまでの入力画像データを順次出力する動画像入力手段と、前記動画像入力手段からの前記所定数の処理ピクチャの入力画像データをインタリーブ合成して得た合成処理ピクチャの入力画像データを出力するインタリーブ合成手段と、前記動画像入力手段からの前記所定数の処理ピクチャの入力画像データのそれぞれと、前記インタリーブ合成手段からの前記合成処理ピクチャの入力画像データとの双方に対して同一の符号化を行い、画像符号化データを生成する画像符号化データ生成手段と、前記画像符号化データ生成手段が前記動画像入力手段からの前記所定数の処理ピクチャの入力画像データのそれぞれに対して符号化を行ったときのこれらの合計符号量である第１の符号量と、前記画像符号化データ生成手段が前記インタリーブ合成手段からの前記合成処理ピクチャの入力画像データに対して符号化を行ったときの第２の符号量とを比較する符号量比較手段と、前記符号量比較手段の比較結果を入力し、第１の符号量が第２の符号量以下である場合は前記所定数の処理ピクチャにおける前記先頭処理ピクチャに係る画像符号化データを出力し、一方、第２の符号量が第１の符号量よりも小さなものである場合は前記合成処理ピクチャに係る画像符号化データを出力する符号データ出力手段と、を備えており、更に、前記動画像入力手段は、前記符号データ出力手段が前記先頭処理ピクチャに係る画像符号化データを出力した場合は、今回の処理時に前記先頭処理ピクチャとして設定された入力ピクチャの次の入力ピクチャを次回処理時の先頭処理ピクチャに設定して次回の出力を順次行い、また、前記符号データ出力手段が前記合成処理ピクチャに係る画像符号化データを出力した場合は、今回の処理時に前記最後処理ピクチャとして設定された入力ピクチャの次の入力ピクチャを次回処理時の先頭処理ピクチャに設定して次回の出力を順次行うものである、ことを特徴とする。
【００１９】
請求項２記載の発明は、コンピュータを、動画像を構成する連続した複数の入力ピクチャの入力画像データが入力され、毎回の処理時にはこれらの入力ピクチャのうちの連続する所定数のものを処理ピクチャとして設定し、その所定数の処理ピクチャにおける先頭処理ピクチャから最後処理ピクチャまでの入力画像データを順次出力する動画像入力手段と、前記動画像入力手段からの前記所定数の処理ピクチャの入力画像データをインタリーブ合成して得た合成処理ピクチャの入力画像データを出力するインタリーブ合成手段と、前記動画像入力手段からの前記所定数の処理ピクチャの入力画像データのそれぞれと、前記インタリーブ合成手段からの前記合成処理ピクチャの入力画像データとの双方に対して同一の符号化を行い、画像符号化データを生成する画像符号化データ生成手段と、前記画像符号化データ生成手段が前記動画像入力手段からの前記所定数の処理ピクチャの入力画像データのそれぞれに対して符号化を行ったときのこれらの合計符号量である第１の符号量と、前記画像符号化データ生成手段が前記インタリーブ合成手段からの前記合成処理ピクチャの入力画像データに対して符号化を行ったときの第２の符号量とを比較する符号量比較手段と、前記符号量比較手段の比較結果を入力し、第１の符号量が第２の符号量以下である場合は前記所定数の処理ピクチャにおける前記先頭処理ピクチャに係る画像符号化データを出力し、一方、第２の符号量が第１の符号量よりも小さなものである場合は前記合成処理ピクチャに係る画像符号化データを出力する符号データ出力手段と、して機能させるものであり、更に、前記動画像入力手段を、前記符号データ出力手段が前記先頭処理ピクチャに係る画像符号化データを出力した場合は、今回の処理時に前記先頭処理ピクチャとして設定された入力ピクチャの次の入力ピクチャを次回処理時の先頭処理ピクチャに設定して次回の出力を順次行い、また、前記符号データ出力手段が前記合成処理ピクチャに係る画像符号化データを出力した場合は、今回の処理時に前記最後処理ピクチャとして設定された入力ピクチャの次の入力ピクチャを次回処理時の先頭処理ピクチャに設定して次回の出力を順次行うように、機能させるものであることを特徴とする。
【００２０】
請求項３記載の発明は、動画像を構成する連続したピクチャにおけるピクチャ単位の画像データに対する所定の符号化により生成された画像符号化データ、又は動画像を構成する連続した所定数のピクチャの画像データをインタリーブ合成して得られる合成ピクチャの画像データに対する所定の符号化により生成された画像符号化データが入力される、符号データ入力手段と、前記符号データ入力手段からの画像符号化データに対して所定の復号化により出力画像データを生成する出力画像データ生成手段と、前記符号データ入力手段が入力した画像符号化データが前記合成ピクチャの画像データに対する符号化により得られたものであるか否かについて判別する合成判別手段と、前記合成判別手段が前記合成ピクチャの入力画像データに対する符号化により得られたものであると判別した場合に、前記出力画像データ生成手段により生成された出力画像データを前記インタリーブ合成される前の状態に戻すためのデインタリーブ処理を行って前記所定数のピクチャに係る出力画像データを出力し、一方、前記合成判別手段が前記合成ピクチャの画像データに対する符号化により得られたものでないと判別した場合には、前記出力画像データ生成手段により生成された出力画像データをそのまま出力する画像出力手段と、を備えたことを特徴とする。
【００２１】
請求項４記載の発明は、コンピュータを、動画像を構成する連続したピクチャにおけるピクチャ単位の画像データに対する所定の符号化により生成された画像符号化データ、又は動画像を構成する連続した所定数のピクチャの画像データをインタリーブ合成して得られる合成ピクチャの画像データに対する所定の符号化により生成された画像符号化データが入力される、符号データ入力手段と、前記符号データ入力手段からの画像符号化データに対して所定の復号化により出力画像データを生成する出力画像データ生成手段と、前記符号データ入力手段が入力した画像符号化データが前記合成ピクチャの入力画像データに対する符号化により得られたものであるか否かについて判別する合成判別手段と、前記合成判別手段が前記合成ピクチャの画像データに対する符号化により得られたものであると判別した場合に、前記出力画像データ生成手段により生成された出力画像データを前記インタリーブ合成される前の状態に戻すためのデインタリーブ処理を行って前記所定数のピクチャに係る出力画像データを出力し、一方、前記合成判別手段が前記合成ピクチャの画像データに対する符号化により得られたものでないと判別した場合には、前記出力画像データ生成手段により生成された出力画像データをそのまま出力する画像出力手段と、して機能させるものであることを特徴とする。
【００２２】
【発明の実施の形態】
図１は、本発明の実施形態に係る画像符号化装置の構成を示すブロック図であり、動画像入力手段１、画像符号化データ生成手段２、ヘッダ生成手段９、符号データ出力手段１０、インタリーブ合成手段１１、及び符号量比較手段１２を備えている。この図１の構成は、図７の従来装置の構成にインタリーブ合成手段１１、及び符号量比較手段１２を追加したものである。
【００２３】
動画像入力手段１は、動画像を構成する連続した複数のピクチャＰ１，Ｐ２，Ｐ３，Ｐ４，……，Ｐｎの入力画像データを入力し、これらを順次出力するものである。ここで、本明細書では、動画像入力手段１が入力するときの上記のピクチャＰ１，Ｐ２，Ｐ３，Ｐ４，……，Ｐｎを「入力ピクチャ」と呼び、また、これらのピクチャが動画像入力手段１から出力されるときには、これらを「処理ピクチャ」と呼び、Ｐａ，Ｐｂ，……の符号により表すことにする。
【００２４】
動画像入力手段１が１回の処理毎に出力する処理ピクチャの数は所定数に決められており、本明細書では、また、最初に出力する処理ピクチャを「先頭処理ピクチャ」と呼び、最後に出力するピクチャを「最後処理ピクチャ」と呼ぶことにする。つまり、動画像入力手段１は、毎回の処理時に、先頭処理ピクチャから最後処理ピクチャまでの入力画像データを順次出力するようになっている。本実施形態では、上記の所定数を「２」とした場合につき説明するので、Ｐａが先頭処理ピクチャ、Ｐｂが最後処理ピクチャとなる（もし、上記の所定数を「３」とした場合には、Ｐａが先頭処理ピクチャ、Ｐｂが中間処理ピクチャ、Ｐｃが最後処理ピクチャとなる。）。
【００２５】
したがって、本実施形態の第１回目の処理では、入力した入力ピクチャＰ１〜ＰｎのうちＰ１，Ｐ２がそれぞれ先頭処理ピクチャＰａ及び最後処理ピクチャＰｂとして設定され、これら２つの処理ピクチャＰａ，Ｐｂの入力画像データが順次出力されることになる。
【００２６】
インタリーブ合成手段１１は、動画像入力手段１から２つの処理ピクチャＰａ，Ｐｂの入力画像データを入力すると、これらをインタリーブ合成することにより合成処理ピクチャＰａｂの入力画像データを生成するものである。図２は、このインタリーブ合成の方法についての説明図である。すなわち、インタリーブ合成手段１１は、処理ピクチャＰａを複数のラインＬａにスライスすると共に、処理ピクチャＰｂを複数のラインＬｂにスライスする。そして、これら複数のラインＬａ，Ｌｂを交互に組み入れることにより合成処理ピクチャＰａｂを生成することができる。この合成処理ピクチャＰａｂの縦方向のサイズは、各処理ピクチャＰａ，Ｐｂの２倍である。
【００２７】
画像符号化データ生成手段２は図７において示した構成を有するものであり、動画像入力手段１から直接入力した処理ピクチャＰａ，Ｐｂの入力画像データに対しそれぞれ単独の符号化を行って画像符号化データＥＰａ，ＥＰｂを生成し、また、インタリーブ合成手段１１から入力した合成処理ピクチャＰａｂの入力画像データに対し符号化を行って画像符号化データＥＰａｂを生成するものである。
【００２８】
符号量比較手段１２は、画像符号化データ生成手段２が生成した画像符号化データＥＰａ，ＥＰｂの合計符号量Ｑａと、画像符号化データＥＰａｂの符号量Ｑｂとを比較し、いずれが符号量の小さな方であるかについて判別を行うようになっている。そして、符号データ出力手段１０は、この符号量比較手段１２の判別結果に基づき画像符号化データの出力を、例えば、図示を省略している画像再生機器あるいは記録媒体等に対して行うようになっている。
【００２９】
また、ヘッダ生成手段９は、図７において既述したように、画像サイズ、サブサンプル数、分解数（ウェーブレット変換の回数）、量子化係数等のヘッダ情報を生成するものであるが、本実施形態では、更に、符号量比較手段１２の判別結果を入力し、出力される画像符号化データが合成処理ピクチャに係るものであるか否かについてのインタリーブ合成情報もこのヘッダ情報として生成するようになっている。
【００３０】
図３は、上記のインタリーブ合成情報のデータ格納位置を示す説明図である。ヘッダ生成手段９は、メインヘッダ１４中に生成した上記の他のヘッダ情報と共にインタリーブ合成情報１６を格納し、画像符号化データ生成手段２が生成した画像符号化データ１５にメインヘッダ１４を付加する。符号データ出力手段１０は、このメインヘッダ１４及び画像符号化データ１５を符号データ１３として出力することになる。
【００３１】
上記のインタリーブ合成情報１６は、画像符号化データ１５を復号化し再生画像を得る際に必要となる場合があるために生成されるものである。つまり、もし符号化時に２つの処理ピクチャをインタリーブ合成し、１つの合成処理ピクチャにしていたのであれば、復号化時には得られた再生画像データに対してデインタリーブ処理を行って２つの処理ピクチャに戻してやる必要がある。
【００３２】
この場合、図２に示したように、合成処理ピクチャと普通の処理ピクチャとでは縦方向のサイズが異なるため、復号化を行うにあたり、符号化時にインタリーブ合成が行われていたか否かについては、画面の縦寸法を検出することにより判別することができる。したがって、復号化装置側では、通常、画像符号化データにインタリーブ合成情報が付加されていなくても、復号化により得られた再生画像に対してデインタリーブ処理が必要であるか否かを簡単に知ることができる。しかし、画面のサイズがそれまでに拡大や縮小されていた結果、特殊なサイズとなっているような場合は、縦寸法を検出するだけでは、符号化時にインタリーブ合成が行われていたか否かを正確に知ることができなくなる。本実施形態では、このような場合を考慮して、ヘッダ生成手段９がインタリーブ合成情報１６を生成する構成としている。
【００３３】
次に、図１の動作を図４のフローチャートに基づき説明する。まず、動画像入力手段１は、動画像を構成する連続した複数の入力ピクチャＰ１，Ｐ２，Ｐ３，Ｐ４，……，Ｐｎの入力画像データを入力する（ステップ４０１）。次いで、これらの入力ピクチャのうち１番目の入力ピクチャＰ１を処理ピクチャＰａ（先頭処理ピクチャ）に設定すると共に、２番目の入力ピクチャＰ２を処理ピクチャＰｂ（最後処理ピクチャ）に設定し（ステップ４０２）、これらの処理ピクチャＰａ，Ｐｂを順次出力する（ステップ４０３）。
【００３４】
インタリーブ合成手段１１は、動画像入力手段１からの処理ピクチャＰａ，Ｐｂを入力すると、図２で説明した手法に基づき合成処理ピクチャＰａｂを生成する（ステップ４０４）。
【００３５】
画像符号化データ生成手段２は、動画像入力手段１から入力した処理ピクチャＰａ，Ｐｂに対するそれぞれ単独の符号化により画像符号化データＥＰａ，ＥＰｂを生成すると共に、インタリーブ合成手段１１から入力した合成処理ピクチャＰａｂに対する符号化により画像符号化データＥＰａｂを生成する（ステップ４０５）。
【００３６】
符号量比較手段１２は、このとき、画像符号化データＥＰａ，ＥＰｂの合計符号量Ｑａと、画像符号化データＥＰａｂの符号量Ｑｂとの大小関係を比較し、その判別結果を符号データ出力手段１０及びヘッダ生成手段９に出力する（ステップ４０６，４０７）。そして、ステップ４０７の判別において、Ｑａ＞Ｑｂが成立しない場合つまりＱａ≦Ｑｂの場合に、符号データ出力手段１０は、画像符号化データＥＰａにヘッダ情報を付加し、これを符号データとして出力する（ステップ４０８）。一方、Ｑａ＞Ｑｂが成立する場合、符号データ出力手段１０は、画像符号化データＥＰａｂにヘッダ情報を付加し、これを符号データとして出力する（ステップ４０９）。このときのヘッダ情報には、既述したインタリーブ合成情報が含まれている。
【００３７】
ここで、Ｑａ＞Ｑｂが成立する場合とは、例えば、静止しているものや動きの変化の小さなものが画像の対象となっており、複数の連続したピクチャ間でシーンチェンジがない場合などである。このようにシーンチェンジがない場合、連続した複数のピクチャ間では相互の相関関係が強いため、ＭＰＥＧ方式によれば前述した「動き補償フレーム間予測」が有効に働き、符号化効率を高めることが可能になる。しかし、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００方式やＭｏｔｉｏｎ−ＪＰＥＧ方式では、ピクチャ単位で符号化処理を完結させることになっているので、上記の「動き補償フレーム間予測」のような技術を採用することができず、ＭＰＥＧ方式のような高い符号化効率を実現することは不可能である。
【００３８】
しかし、「動き補償フレーム間予測」と同様の手法によって複数のピクチャ間の相関性を利用することはできなくても、連続した複数のピクチャを１つのピクチャにまとめた上で符号化を行うようにすれば、実質的には複数のピクチャに対する符号化を同時に行うこととなり、複数のピクチャ間の相関性を利用したのと同じ効果を得ることができる。すなわち、動きの変化の小さな複数の連続したピクチャを１つのピクチャに合成すれば、この合成ピクチャにおける画素間の変化は少ないために平坦領域が多く現れることになる。そして、この平坦領域の周波数成分は圧縮率を高めるのに好適な低周波数成分である。但し、常に合成ピクチャを用いた方が符号化効率が高くなるわけではなく、通常通り個々のピクチャ単独で処理した方がよい場合もある。ステップ４０７は、このような場合を見分けるための判別動作である。本発明は、以上のような原理を利用することにより符号化効率を高めるようにしたものである。
【００３９】
また、符号データ出力手段１０は、ステップ４０８又はステップ４０９における出力を行ったときに、この出力が行われたことを報知する信号を動画像入力手段１に対して出力する。動画像入力手段１は、この報知信号を入力すると、最後の入力ピクチャＰｎに係る画像符号化データが符号データ出力手段１０から出力されたか否か、つまり、全てのピクチャの処理が終了したか否かを判別する（ステップ４１０）。そして、終了していれば、図１の動作が終了する。しかし、今の場合は第１回目の処理が行われただけであるから、ステップ４１０での判別は「ＮＯ」となり、第２回目の処理を行うべくステップ４０２に戻ることになる。
【００４０】
この後、動画像入力手段１は、第２回目の処理において出力する処理ピクチャＰａ，Ｐｂの設定を行う（ステップ４０２）。この場合、この設定内容は、第１回目の処理において符号データ出力手段１０から出力されたのが画像符号化データＥＰａであるか（ステップ４０８）、あるいは画像符号化データＥＰａｂであるか（ステップ４０９）によって変わることになる。すなわち、もし画像符号化データＥＰａの方が出力されていたのであれば、動画像入力手段１は処理ピクチャＰａとして２番目の入力ピクチャＰ２を設定し、処理ピクチャＰｂには３番目の入力ピクチャＰ３を設定する。この場合、第１回目の処理ではＰａ，ＰｂにＰ１，Ｐ２が設定されていたので、一見すると、第２回目の処理では、Ｐ２の次の入力ピクチャであるＰ３を先頭処理ピクチャに設定し、Ｐａ，ＰｂにＰ３，Ｐ４を設定する方が自然であるようにも思える。しかし、それではＰ２，Ｐ３が組合されたときの符号量Ｑａ，Ｑｂの比較が無視されることになり、符号化効率を充分に高めることができなくなる。それ故、第２回目の処理において、動画像入力手段１は、Ｐａ，ＰｂとしてＰ３，Ｐ４ではなく、Ｐ２，Ｐ３を設定するのである。
【００４１】
一方、第１回目の処理において、もし符号データ出力手段１０からは画像符号化データＥＰａｂの方が出力されていたのであれば、第２回目の処理において、動画像入力手段１は処理ピクチャＰａとして３番目の入力ピクチャＰ３を設定し、処理ピクチャＰｂとして４番目の入力ピクチャＰ４を設定する。つまり、第１回目の処理において、Ｐ１，Ｐ２の双方のピクチャが既に符号化された結果となっているので、この場合は、Ｐａ，ＰｂとしてＰ３，Ｐ４を選択するのが正しい設定となる。
【００４２】
ステップ４０５では、このように第２回目の処理において出力する処理ピクチャの設定が行われる。そして、以降はステップ４１０での判別結果が「ＹＥＳ」となるまで上記と同様の動作が繰り返される。
【００４３】
上述した図１の構成によれば、ピクチャ単位での処理を前提としているＭｏｔｉｏｎ−ＪＰＥＧ２０００やＭｏｔｉｏｎ−ＪＰＥＧの符号化方式においても、実質的に複数ピクチャ間での相関性を利用したのと同じ効果を得ることができる。特に、ロスレス圧縮（可逆圧縮）の場合にその効果は大きく、本発明の発明者による研究では、約５％程度の符号化効率の向上を得ている。
【００４４】
なお、上記実施形態では、動画像入力手段１が１回の処理毎に出力する連続した処理ピクチャの数が「２」の場合につき説明したが、勿論それ以上の任意の数としてもよい。
【００４５】
また、図２のインタリーブ合成の説明では、合成処理ピクチャＰａｂを生成する場合、最初にＰａ側のラインＬａを組み入れ、その後にＰｂ側のラインＬｂを組み入れる手順としたが、これを逆の手順とすることも可能である。但し、この場合、逆の手順にしたことをインタリーブ合成情報１６に含めておく必要がある（なお、図示したものは、水平方向にスライスしてインタリーブ合成した例であるが、垂直方向にスライスしてインタリーブ合成してもよい。）。
【００４６】
図５は、上述した図１の画像符号化装置により得られた符号データに対して復号化を行うのに適した、本発明の実施形態に係る画像復号化装置の構成を示すブロック図である。この装置は、符号データ入力手段１７、ヘッダ解析手段１８、出力画像データ生成手段１９、合成判別手段２５、及びデインタリーブ手段２７を有する画像出力手段２６を備えている。
【００４７】
合成判別手段２５は、符号データ入力手段１７が入力した画像符号化データについて、合成ピクチャの入力画像データに対する符号化により得られたものであるか否かを、ヘッダ解析手段１８の解析結果に基づいて判別するものである（但し、前述したように、画面の縦寸法の検出に基づき判別することも可能である。）。
【００４８】
デインタリーブ手段２７は、合成判別手段２５が、画像符号化データにつき合成ピクチャに対する符号化により得られたものであると判別した場合に、出力画像データ生成手段１９により生成された出力画像データをインタリーブ合成される前の状態に戻すため、デインタリーブ処理を行うものである。画像出力手段２６は、このデインタリーブ手段２７の機能によりデインタリーブ処理が行われた出力画像、あるいはデインタリーブ処理が行われなかった出力画像を出力するものである。
【００４９】
エントロピ復号化手段２０は、ヘッダ解析手段１８の解析結果を用いて、圧縮符号化された画像データのエントロピ復号化を行い、出力されるビット列からスカラ量子化した係数列を作成するものである。
【００５０】
スカラ逆量子化手段２１は、ヘッダ解析手段１８で解析されたメインヘッダにより指定された量子化スタイルに基づき、エントロピ復号化手段２０で作成された係数列をＭｏｔｉｏｎ−ＪＰＥＧ２０００の規格にある所定の計算式で逆量子化し、ウェーブレット係数を生成するものである。なお、符号化時にはウェーブレット変換により生成されたウェーブレット係数は必ずしもスカラ量子化されるとは限らず、その場合にはスカラ逆量子化手段２１による逆量子化は行われないことになる。
【００５１】
逆ウェーブレット変換手段２２は、スカラ逆量子化手段２１で得られたウェーブレット係数をメインヘッダで指定された符号化スタイルの分解数に基づき逆ウェーブレット変換を行い、ＹＵＶカラー空間の画像データを作成するものである。
【００５２】
カラー変換手段２３は、逆ウェーブレット変換手段２２で得られた画像データをヘッダ解析手段１８の解析結果にしたがってＹＵＶ成分からＲＧＢ成分へカラー変換するものである。但し、モノクロ画像の符号データや、符号化時にカラー変換を行わなかった場合、カラー変換手段２３７は動作しないようになっている。
【００５３】
ＤＣレベルシフト手段２４は、カラー変換手段２３で得られたＲＧＢ成分の各値のＤＣレベルをシフトするものである。ＤＣレベルシフトとは、符号化時にダイナミックレンジが値０を中心とするようにシフトすることであり、復号化時にはそれを元に戻すことである。ＤＣレベルシフトを行う理由は、周波数変換後の係数は正負の符号と絶対値とに分けられて符号化されるため、ゼロ値を基準としてデータ配置されている方が符号化効率が高くなるからである。
【００５４】
次に、図５の動作を図６のフローチャートに基づき説明する。図１の画像符号化装置によりＭｏｔｉｏｎ−ＪＰＥＧ２０００の規格にしたがって圧縮符号化された画像符号化データは、ファイルシステムやネットワーク手段を用いて符号データ入力手段１７によって入力される（ステップ６１）。この入力される画像符号化データは、２つの処理ピクチャのそれぞれに対して符号化を行ったときの画像符号化データと、合成ピクチャに対して符号化を行ったときの画像符号化データとのうち符号量の小さな方である。
【００５５】
この画像符号化データには、メインヘッダが付されており、ヘッダ解析手段１８はこれらのヘッダを読み込み、解析する。ここで、メインヘッダには、画像の大きさ、タイルの大きさ、画像位置のオフセット、タイル位置のオフセット、１画素あたりのサンプルビット数、ＲＧＢなどのコンポーネント数等についての情報が格納され、更に既述したインタリーブ合成情報も格納されている。
【００５６】
出力画像データ生成手段１９は、ヘッダ解析手段１８の解析結果を参照しつつ、符号データ入力手段１７からの符号データの画像符号化データに対してＭｏｔｉｏｎ−ＪＰＥＧ２０００の規格に基づく復号化を行い（ステップ６２）、生成した出力画像データを画像出力手段２６に出力する。
【００５７】
合成判別手段２５は、符号データ入力手段１７が入力した符号データの画像符号化データについて、符号化時にインタリーブ合成が行われたものであるか否かをヘッダ解析手段１８の解析結果に基づいて、あるいは画面サイズの縦寸法の検出に基づいて判別し（ステップ６３）、その判別結果を画像出力手段２６に出力する。
【００５８】
合成判別手段２５が符号化時にインタリーブ合成が行われたものであると判別した場合、画像出力手段２６のデインタリーブ手段２７は、出力画像データ生成手段１９により生成された出力画像データをインタリーブ合成が行われる前の状態に戻すためのデインタリーブ処理を行い（ステップ６４）、このデインタリーブ処理が行われた出力画像データを出力する（ステップ６５）。
【００５９】
一方、合成判別手段２５が符号化時にインタリーブ合成が行われなかったたものであると判別した場合、画像出力手段２６は、出力画像データ生成手段１９により生成された出力画像データを、何もせずにそのままに出力する（ステップ６５）。
【００６０】
なお、本発明は、上述した画像符号化装置及び画像復号化装置の機能をコンピュータに実現させるためのプログラムを含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【００６１】
また、上記実施形態では、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の規格に基づく符号化を行うものについて説明したが、本発明は、入力画像に対してインタリーブ合成を行うことにより圧縮効率の改善が見込める、他の符号化方式を使用するものへも当然適用可能である。
【００６２】
【発明の効果】
以上のように、本発明によれば、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００方式及びＭｏｔｉｏｎ−ＪＰＥＧ方式の規格の範囲内で、圧縮率の向上を図ることが可能な画像符号化装置、及び画像符号化プログラム、並びにこの符号化により得られる符号データについて復号化を行うための画像復号化装置、及び画像復号化プログラムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像符号化装置の構成を示すブロック図。
【図２】図１におけるインタリーブ合成手段１１が行うインタリーブ合成の方法についての説明図。
【図３】図１におけるヘッダ生成手段９が生成するインタリーブ合成情報のデータ格納位置を示す説明図。
【図４】図１の動作を説明するためのフローチャート。
【図５】本発明の実施形態に係る画像復号化装置の構成を示すブロック図。
【図６】図５の動作を説明するためのフローチャート。
【図７】従来の画像符号化装置の構成を示すブロック図。
【符号の説明】
１  動画像入力手段
２  画像符号化データ生成手段
３  ＤＣレベルシフト手段
４  カラー変換手段
５  ウェーブレット変換手段
６  スカラ量子化手段
７  係数ビットモデリング手段
８  エントロピー符号化手段
９  ヘッダ生成手段
１０  符号データ出力手段
１１  インタリーブ合成手段
１２  符号量比較手段
１３  符号データ
１４  メインヘッダ
１５  画像符号化データ
１６  インタリーブ合成情報
１７  符号データ入力手段
１８  ヘッダ解析手段
１９  出力画像データ生成手段
２０  エントロピー復号化手段
２１  スカラ逆量子化手段
２２  逆ウェーブレット変換手段
２３  カラー変換手段
２４  ＤＣレベルシフト手段
２５  合成判別手段
２６  画像出力手段
２７  デインタリーブ手段
Ｐ１，Ｐ２，Ｐ３，Ｐ４，……，Ｐｎ  入力ピクチャ
Ｐａ  先頭処理ピクチャ
Ｐｂ  最後処理ピクチャ
Ｐａｂ  合成処理ピクチャ
ＥＰａ  処理ピクチャＰａの画像符号化データ
ＥＰｂ  処理ピクチャＰｂの画像符号化データ
ＥＰａｂ  合成処理ピクチャＰａｂの画像符号化データ
Ｑａ  画像符号化データＥＰａ，ＥＰｂの合計符号量（第１の符号量）
Ｑｂ  画像符号化データＥＰａｂの符号量（第２の符号量）
【図１】
2005045498.tif 000003
【図２】
2005045498.tif 000004
【図３】
2005045498.tif 000005
【図４】
2005045498.tif 000006
【図５】
2005045498.tif 000007
【図６】
2005045498.tif 000008
【図７】
2005045498.tif 000009