(57)【要約】【課題】動画・静止画問わず、１フレームのみで画像圧縮・復元を行い、既存技術と同等程度の圧縮率を実現し、かつ処理量の削減による高速化と１フレームのみの使用による低遅延性を実現する圧縮処理装置、復元処理装置及び画像処理装置を提供する。【解決手段】圧縮処理装置１０は、原画像を縮小する縮小処理部１１と、縮小した画像を圧縮する第１の圧縮処理部１２と、縮小した画像を原画像と同じサイズに拡大処理し、仮画像を生成する拡大処理部１３と、原画像と仮画像との差分をとり、差分画像を生成する差分処理部１４と、記差分画像を圧縮する第２の圧縮処理部１５と、を具備する。第１の圧縮処理部１２からの圧縮縮小画像と、第２の圧縮処理部１５からの圧縮差分画像と、これらの圧縮画像それぞれの処理に関する関連情報とを１つのファイルフォーマットにパッキングするパッキング処理部１６を備えてもよい。【選択図】図７
2011188110.tif 000002
【特許請求の範囲】
【請求項１】
原画像を縮小する縮小処理部と、
縮小した画像を圧縮する第１の圧縮処理部と、
縮小した画像を前記原画像と同じサイズに拡大処理し、仮画像を生成する拡大処理部と、
前記原画像と前記仮画像との差分をとり、差分画像を生成する差分処理部と、
前記差分画像を圧縮する第２の圧縮処理部と、
を具備したことを特徴とする圧縮処理装置。
【請求項２】
前記第１の圧縮処理部で圧縮した縮小画像を伸張する伸張処理部をさらに具備し、
前記伸張処理部で伸張して得られた縮小画像を、前記縮小処理部で縮小した画像に代えて、前記拡大処理部に供給することを特徴とする請求項１に記載の圧縮処理装置。
【請求項３】
前記第１の圧縮処理部からの圧縮縮小画像と、前記第２の圧縮処理部からの圧縮差分画像と、これらの圧縮画像それぞれの処理に関する関連情報とを１つのファイルフォーマットにパッキングした圧縮データとして形成するパッキング処理部を
さらに具備したことを特徴とする請求項１又は２に記載の圧縮処理装置。
【請求項４】
原画像を縮小しかつ圧縮した圧縮縮小画像を復号する第１の復号処理部と、
前記第１の復号処理部で復号して得られる縮小画像を前記原画像と同じサイズに拡大処理し、仮画像として生成する拡大処理部と、
仮画像と前記原画像との差分画像を圧縮した圧縮差分画像を復号する第２の復号処理部と、
前記拡大処理部からの仮画像と前記第２の復号処理部で復号した差分画像とを加算して、原画像を復元する合成処理部と、
を具備したことを特徴とする復元処理装置。
【請求項５】
圧縮縮小画像と、圧縮差分画像と、それらの圧縮画像それぞれの処理に関する関連情報とを１つのファイルフォーマットにパッキングした圧縮データを受信する受信部を
さらに具備したことを特徴とする請求項４に記載の復元処理装置。
【請求項６】
請求項１乃至３のいずれか１つに記載に記載の圧縮処理装置と、請求項４又は５に記載の復元処理装置とを備えた画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル化された画像データを対象とした圧縮・復元・表示を扱う全てのアプリケーションに適用可能な圧縮処理装置、復元処理装置及び画像処理装置に関するものである。
【背景技術】
【０００２】
画像データ圧縮方法については現在さまざまな規格が存在し、さまざまなアプリケーションに適用されている。たとえば、現在静止画の圧縮技術としてはJPEG、動画の圧縮技術としては、MPEG-4やH.264といったコーデック(Codec)が代表的なものであるが、高圧縮化することで復号画像に圧縮歪が発生する問題や、高圧縮化するための、例えば画素予測のための処理に対して大きな負荷を求められる問題、あるいは複数フレームを用いるというアルゴリズムによって発生する遅延性の問題等がある。
【０００３】
１フレーム単位で遅延なく即時圧縮・復号が可能であり、既存コーデックと同等の圧縮率を実現し、復号化したときの画像劣化を抑える方法が実現できれば、これを流用できるアプリケーションは極めて多い。
【０００４】
先行技術としては、例えば特許文献１及び２に開示されているものがある。これらの特許文献１及び２には、圧縮対象として同一画像の縮小画像を用いる構成は示されてなく、この縮小画像を圧縮したデータを有効に用いることについても全く開示されていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−２２７４４４号公報
【特許文献２】特開平５−３２３０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記の問題に鑑み、信号の低遅延性に着目し、動画・静止画問わず、１フレームのみで画像圧縮、復元を行い、既存圧縮技術と同等程度の圧縮率を実現し、かつ処理量の削減による高速化と１フレームしか使わないことでの信号の低遅延性を実現する圧縮処理装置、復元処理装置及び画像処理装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の一態様の圧縮処理装置は、
原画像を縮小する縮小処理部と、
縮小した画像を圧縮する第１の圧縮処理部と、
縮小した画像を前記原画像と同じサイズに拡大処理し、、仮画像を生成する拡大処理部と、
前記原画像と前記仮画像との差分をとり、差分画像を生成する差分処理部と、
前記差分画像を圧縮する第２の圧縮処理部と、
を具備したものである。
【０００８】
本発明の一態様の復元処理装置は、
原画像を縮小しかつ圧縮した圧縮縮小画像を復号する第１の復号処理部と、
前記第１の復号処理部で復号して得られる縮小画像を前記原画像と同じサイズに拡大処理し、仮画像として生成する拡大処理部と、
仮画像と前記原画像との差分画像を圧縮した圧縮差分画像を復号する第２の復号処理部と、
前記拡大処理部からの仮画像と前記第２の復号処理部で復号した差分画像とを加算して、原画像を復元する合成処理部と、
を具備したものである。
【発明の効果】
【０００９】
本発明によれば、信号の低遅延性に着目し、動画・静止画問わず、１フレームのみで画像圧縮、復元を行い、既存圧縮技術と同等程度の圧縮率を実現し、かつ処理量の削減による高速化と１フレームしか使わないことでの信号の低遅延性を実現する圧縮処理装置、復元処理装置及び画像処理装置を提供することである。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る画像圧縮概念を示す図。
【図２】図１の概念を拡張した別の画像圧縮概念を示す図。
【図３】図１の画像圧縮概念における差分画像圧縮概念を示す図。
【図４】図１の画像圧縮概念の動作を示すフローチャート。
【図５】図１の画像圧縮概念における差分画像作成例を示す図。
【図６】本発明の第１の実施形態の圧縮処理装置を示すブロック図。
【図７】本発明の第１の実施形態のもう１つの実施例の圧縮処理装置を示すブロック図。
【図８】図１の概念を拡張したもう１つの別の画像圧縮概念を示す図。
【図９】本発明の第２の実施形態に係る画像復元概念を示す図
【図１０】図９の画像復元概念の動作を示すフローチャート。
【図１１】本発明の第２の実施形態の復元処理装置を示すブロック図。
【図１２】本発明の第３の実施形態の画像処理装置を示すブロック図。
【図１３】圧縮及び復元の例を示す図。
【図１４】復元調整の例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照して詳細に説明する。  
［第１の実施形態］
図１は本発明の第１の実施形態に係る画像圧縮概念を示す図、図２は図１の画像圧縮概念における差分画像圧縮概念を示す図、図３は画像圧縮概念の動作を説明するフローチャート、図４は差分画像生成例を示す図、図５は本発明の第１の実施形態の圧縮処理装置のを示すブロック図、図６は本発明の第１の実施形態の圧縮処理装置を示すブロック図、図７は本発明の第１の実施形態のもう１つの実施例の圧縮処理装置を示すブロック図である。
【００１２】
図１において、(1)原画像ａを任意の選択したアルゴリズムによって任意サイズに縮小処理し、縮小画像ｂを得る。
【００１３】
(2)縮小画像ｂを任意の選択した圧縮方法によって符号化し(圧縮処理Ａという)、その符号化されたデータを圧縮縮小画像ｃとしてを記録媒体に保存する。
【００１４】
(3)縮小圧縮データを前過程で用いた圧縮方法に対応する復号処理方法で復号化し、縮小画像ｂ′のデータを得る。
【００１５】
(4)前処理で復元された縮小画像ｂ′を任意の選択したアルゴリズムによって、“原画像と同じサイズ”に拡大処理し、仮画像ｄを得る。
【００１６】
(5) 原画像ａと、原画像ａと同一画像サイズである仮拡大画像ｄとから差分画像ｅを生成する。
【００１７】
(6)差分画像ｅを任意の選択した方法によって符号化し(圧縮処理Ｂという)、その符号化されたデータを圧縮差分画像ｆとしてを記録媒体に保存する。
【００１８】
(7)圧縮縮小画像ｃと、圧縮差分画像ｆと、これらの圧縮画像ｃ及びｆそれぞれの処理に関する関連情報(例えば圧縮情報及び拡大情報)とを、１つのファイルフォーマットにパッキングしたデータとして形成する。パッキングデータに含まれる関連情報は、例えば、データ列の先頭にヘッダ(Header)情報として付加される。
【００１９】
このような画像圧縮概念においては、原画像を単に圧縮した場合よりも、原画像を縮小したものをさらに圧縮した場合の方が、データ量を小さくすることができる。画像を縮小するには、既存の各種の縮小方法(例えばバイリニア法、バイキュービック法など)を用いることができる。縮小かつ圧縮したデータは、データ量が小さいので、有線又は無線の伝送路を介して送信したり、記録媒体に記録して保存したりすることができる。送信されたり記録媒体されたりしたデータは、受信機側や再生機側で再生できる。しかし、縮小による劣化と圧縮による劣化を生じることになるが、各種ある縮小方法や圧縮方法から適切な縮小方式や圧縮方式を選択することによって、劣化を極力少なくすることも可能である。圧縮による劣化を少なくする方法として、圧縮率を小さくする方法や可逆圧縮を用いる方法がある。
【００２０】
ここで、図１のようにして生成される仮画像は、縮小画像を拡大処理、或いは、縮小画像を圧縮後して保存しこれを再び伸張して縮小画像としたものを拡大処理して得られるものであるので、原画像に対して何らかの劣化を確実に有している。従って、仮画像と原画像との差分を保持しておくことにより、最終的には仮画像と差分画像とを加算してやることによって、原画像そのもの、或いは、原画像に近いものを復元することができる。
【００２１】
この復元に必要なデータとして、縮小画像の圧縮データと、差分画像の圧縮データと、これらの圧縮データそれぞれの処理に関する関連情報(圧縮処理方法とか拡大処理方法)とを、１つのファイルフォーマットにパッキングする際に、関連情報をヘッダ情報として用いることにする。これにより、ヘッダの情報を解析すれば、縮小画像の圧縮データと、差分画像の圧縮データが、どのようにして縮小、圧縮及び拡大処理されたのかという経緯が分かり、原画像の復元を容易に行うことが可能となる。
【００２２】
図２は図１を拡張した別の画像圧縮概念を示す図である。  
図２において、(1) 原画像ａから超解像化した画像ａ′を得る。なお、超解像画像、及びこの超解像画像に対して関連する同一サイズの画像には、以降の図面において二重枠線を付してある。  
(2)原画像ａを任意の選択したアルゴリズムによって任意サイズに縮小処理し、縮小画像ｂを得る。
【００２３】
(3)縮小画像ｂを任意の選択した圧縮方法によって符号化し(圧縮処理Ａという)、その符号化されたデータを圧縮縮小画像ｃとしてを記録媒体に保存する。  
(4)縮小圧縮データを前過程で用いた圧縮方法に対応する復号処理方法で復号化し、縮小画像ｂ′のデータを得る。  
(5)前処理で復元された縮小画像ｂ′を任意の選択したアルゴリズムによって、“原画像から超解像化した画像サイズ” に拡大処理し、仮画像ｄ′を得る。
【００２４】
(6)原画像ａから超解像化した画像ａ′とこれと同一画像サイズである仮拡大画像ｄ′から差分画像ｅ′を生成する。  
(7)差分画像ｅ′を任意の選択した方法によって符号化し(圧縮処理Ｂ′という)、圧縮差分画像ｆ′のデータを得る。
【００２５】
上記、処理において、データ復元のためにヘッダ情報に記載すべき情報は以下となる。
【００２６】
(a) 縮小画像の圧縮方法
(b) 縮小画像から仮画像を作成する際の拡大率と拡大方法
(c) 原画像と仮画像からの差分画像作成方法
(d) 差分画像の圧縮方法
縮小方法は例えばサンプリング点の四近傍画素によるバイリニア法を標準方式として定義し、本圧縮仕様の拡張部分として、その他の縮小方法は未来使用予約(RFU：Reserved for Future Use )として予約、空けておく。なお、縮小情報は必ずしも関連情報としてヘッダ等に記載しておく必要はない。
【００２７】
縮小画像の圧縮方法としては、フレーム内圧縮が用いられる。  
この縮小画像を可逆圧縮、もしくは非可逆圧縮、例えば既存コーデックによって圧縮し、圧縮データの一部として保存する。
【００２８】
縮小画像の圧縮方法については、いくつかの方式を定義し、圧縮パラメータとして選択可能とする。例えば、JPEG方式、MPEG4，H.264 Ｉフレーム方式などを標準方式として定義し、本圧縮仕様の拡張部分として、縮小画像のその他の圧縮方式はＲＦＵとして予約、空けておく。
【００２９】
縮小画像を復元した画像を原画像サイズ(もしくは超解像化した画像サイズ)に、選択したアルゴリズムによって拡大し、仮画像を作成する。拡大方法は例えばサンプリング点の四近傍画素によるバイリニア法を標準方式として定義し、本圧縮仕様の拡張部分として、その他の拡大方法はＲＦＵとして予約、空けておく。  
仮画像と原画像との差分画像を生成する。
【００３０】
図３は図１の画像圧縮概念における差分画像圧縮概念を示している。  
上述したように、原画像を縮小、圧縮、及び拡大処理して生成した画像(仮画像と定義)を参照画像として、原画像をＰフレーム圧縮する概念である。例えば、仮画像を1フレーム目、原画像を２フレーム目と考え、既存動画圧縮方法である、MPEG-4やH.264といった方法で符号化すれば、二フレーム目については仮画像と原画像の差分画像に対する圧縮処理を実施したことと同等となる。つまり、縮小画像の圧縮は、フレーム内圧縮(Ｉフレーム圧縮)であり、差分画像の圧縮は仮画像を参照フレームとする予測フレーム間圧縮と言える。  
一方、既存の方法以外に、独自方法による差分画像の生成、圧縮を実施しても良い。
【００３１】
図４は図１の画像圧縮概念の動作を示すフローチャートである。  
図４において、ステップＳ1の縮小処理及びステップＳ2の縮小画像圧縮処理は、入力画像以下の解像度にダウンスケールした画像の圧縮処理である。図１のパッキング処理されるパッキングデータにおける縮小画像部に相当する。
【００３２】
ステップＳ2の縮小画像圧縮処理及びステップＳ3の縮小画像伸張処理は、縮小画像に対するJPEG/MPEG-4，H.264といった既存イントラ系の符号化・復号化処理が例として挙げられる。
【００３３】
ステップＳ4の縮小復元画像拡大処理は、最終的に復元したい高解像度画像へのアップスケール処理である。  
ステップＳ5の差分画像作成処理は、二つの同一解像度の画像を用いて、画素値分布に偏りをもたせ、エントロピーが小さい差分画像を作成する。  
ステップＳ6の差分画像圧縮処理は、差分画像に対するJPEG/MPEG-4，H.264といった既存イントラ系の符号化・復号化処理が例として挙げられる。
【００３４】
ステップＳ7のスケーリング処理は、原画像を原画像サイズより更に拡大して表示したい、或いは最終的に復元したい高解像度画像を作成する場合に適用する処理である。具体的には、後述の図２及び図８のように原画像を超解像画像のサイズで容易に表示可能とする技術である。なお、入力画像の解像度と同じ解像度に拡大する場合は、スケーリング処理は実施しない。
【００３５】
図５に差分画像生成の一例を説明する図である。  
仮画像と原画像の対応する画素の差分を求め、これを差分画像とする方法である。  
差分画像の各画素値を“0”化することで差分画像の圧縮率を高くできるため、閾値(Thr)以下のものを“0”化する方法、差分画像の画素値を量子化、非線形変換(値が“0”に近いものは“0”化し、大きなものはそのままとするような変換処理)などの固定処理を定義し、この定義に従って変換した画像を差分画像としても良い。
【００３６】
差分画像の作り方についても方法を幾つか定義し情報としてこれを記録する。復元処理時の差分データと仮画像から原画像を復元する際の演算処理を決定するための情報となる。
【００３７】
図５において、(a)は原画像(org)、(b)は仮画像(tmp)、(d)は差分画像(pix)である。灰色で示した部分が例えば１画素である。図５(c)は、画面内の各画素値(Pix値)に対する画素数(Pix数)分布を示している。
【００３８】
解像度が同一である原画像と仮画像の各々対応する画像領域の差分値から差分画像を生成する。ここで、画像領域としては画素(pixel)単位のほかにブロック単位であってもよい。
【００３９】
差分を“0”化する際には、“0”化するための閾値Thrを固定値とする以外に、面内のPix値分布から、伝送容量に合うようにPix値の大きい方から有効値を設定し、それ以外は“0”とする方法などもある。画質と圧縮率の相関制御が可能となる。
【００４０】
下記に、差分画像を画像領域単位毎に“0”化を実施するプログラム例を示す。  
pix(x,y) = org(x,y) − tmp(x,y)
If( pix(x,y) > thr ) {
pix(x,y) = pix(x,y)
} else {
pix(x,y) = 0
}
または、
val=abs(org(x,y)-tmp(x,y))
pix(x,y) = val * { (val / 256 )^n }
なお、val は有効値を意味する。
【００４１】
上記によって生成された差分画像を独自方式によって圧縮符号化する。たとえば差分画像をDCT後、量子化、符号化しても良いし、もしくはそのままDCTを行わずに符号化しても良い。また、差分画像をJPEG方式やMPEG4,H.264 Iフレーム方式といった既存コーデックによって圧縮しても良い。差分画像の圧縮方法についても、既存コーデックからいくつかの方式を標準方式として定義し、縮小画像圧縮と同様にいくつかの方式を定義し、圧縮化パラメータとして選択可能とするとともに、差分画像の圧縮方式はＲＦＵとして予約、あけておく。差分画像の圧縮データを圧縮データの一部として保存する。
【００４２】
圧縮工程で行った処理で復号に必要な情報、すなわち縮小画像の圧縮形式、仮画像を作成する際の拡大方法、および差分画像の作成方法、差分画像の圧縮形式、および全体の圧縮データサイズなどをヘッダ情報として生成し、このヘッダ情報と縮小画像の圧縮データ、差分画像の圧縮データをつなげたものを圧縮データと定義する。
【００４３】
本方式は１フレームのみで圧縮可能であり、信号の低遅延性を実現することが可能である。  
なお、１フレームをさらに細かいブロックに分割し、ブロック単位で上記圧縮処理を行うことによって、更なる低遅延を実現することも可能である。
【００４４】
原画像をそのまま圧縮するのに対し、圧縮対象を最終的に復元したい画像サイズよりも小さいサイズの縮小画像と“0”の多い差分画像に分解することで画質との相関をとりながら圧縮効率を高めることが可能である。  
また、差分画像の生成方法によっては、動きベクトルの検索などの高負荷な処理が不要となり、圧縮に伴う処理量が従来の圧縮方式に比べ非常に少なくなるメリットがある。
【００４５】
図６は本発明の第１の実施形態の圧縮処理装置を示すブロック図である。図１の画像復元概念を実現する圧縮処理装置を示している。  
図６に示す圧縮処理装置1０は、原画像を縮小する縮小処理部１１と、縮小した画像を圧縮する第１の圧縮処理部１２と、圧縮した縮小画像を伸張する伸張処理部１３と、伸張した縮小画像を原画像と同じサイズに拡大処理し、仮画像を生成する拡大処理部１４と、原画像と仮画像との差分をとり、差分画像を生成する差分処理部１５と、差分画像を圧縮する第２の圧縮処理部１６と、第１の圧縮処理部１２からの圧縮縮小画像と、第２の圧縮処理部１６からの圧縮差分画像と、これらの圧縮画像それぞれの処理に関する関連情報と、を１つのファイルフォーマットにパッキングした圧縮データとして形成するパッキング処理部１７と、を備えている。なお、拡大処理部１４への入力画像は、伸張処理部１３から出力される縮小画像でなくてもよく、点線の信号線で示すように縮小処理部１１から出力される縮小画像であってもよい。
【００４６】
図７は本発明の第１の実施形態のもう１つの実施例の圧縮処理装置を示すブロック図である。  
図７に示す圧縮処理装置1０Ａは、原画像を縮小する縮小処理部１１と、縮小した画像を圧縮する第１の圧縮処理部１２と、縮小した画像を原画像と同じサイズに拡大処理し、仮画像を生成する拡大処理部１４と、原画像と仮画像との差分をとり、差分画像を生成する差分処理部１５と、差分画像を圧縮する第２の圧縮処理部１６と、第１の圧縮処理部１２からの圧縮縮小画像と、第２の圧縮処理部１６からの圧縮差分画像と、これらの圧縮画像それぞれの処理に関する関連情報と、を１つのファイルフォーマットにパッキングした圧縮データとして形成するパッキング処理部１７と、を備えている。
【００４７】
図８は図１を拡張したもう１つの別の画像圧縮概念を示す図である。図２に類似しているが、縮小画像を生成(使用)しない点で図２の画像圧縮概念とは異なっている。  
図８において、(1) 原画像ａから超解像化した画像ａ′を得る。  
(2)原画像ａを任意の選択した圧縮方法によって符号化(圧縮)し、その符号化されたデータを圧縮画像ｃ1として記録媒体に保存する。  
(3)圧縮画像ｃ1のデータを前過程で用いた圧縮方法に対応する復号処理方法で復号化し、原画像と同一サイズの復元が復元画像ｄ1を得る。
【００４８】
(4)前処理で復元された復元画像ｄ1を任意の選択したアルゴリズムによって、“原画像から超解像化した画像サイズ” に拡大処理し、仮画像ｄ1′を得る。  
(5)原画像ａから超解像化した画像ａ′とこれと同一画像サイズである仮拡大画像ｄ1′から差分画像ｅ1′を生成する。  
(6)差分画像ｅ1′を任意の選択した方法によって符号化(圧縮)し、圧縮差分画像ｆ1′のデータを得る。
【００４９】
以上述べた本発明の第1の実施形態によれば、１つのフレームの画像データを用いて画像圧縮を行い、既存圧縮技術と同等程度の圧縮率を実現し、かつ処理量の削減による高速化と１フレームしか使用しないことによる信号の低遅延性を実現することが可能となる。
【００５０】
さらに、以上述べた本発明の第１の実施形態によれば、以下のような特徴及び効果を得ることができる。  
(1)画像データの圧縮に際し、圧縮対象を同一画像の縮小画像と、縮小画像の拡大画像と原画像との差分画像とするデータ圧縮・復号装置を実現することができる。  
これにより、縮小後、拡大した画像と原画像を２つのフレームと捉え、既存コーデックのＰフレームのような考え方で高い圧縮率を実現できると伴に、動きベクトルの検索等が不必要であるため処理量が非常に軽い。また時間的に同一フレームであるため、次のフレームを待つという遅延も発生しない。
【００５１】
(2)あらかじめ用意された画像を再生するようなシステムにおいて、既存コンテンツに対して、高解像度化されたデータを用意し、既存コンテンツの原画像を縮小・拡大、もしくは拡大のみ実施し、用意した高解像度化データとの差分情報を作成、付加することで、既存コンテンツを容易に高解像度化することが可能なファイルフォーマットとすることができる。
【００５２】
これにより、あらかじめ用意された画像を再生するようなシステム (系)において、本来持つべき高解像度の画像情報データを本発明方法によって、一つの縮小画像(サムネイル画像)の圧縮データとシステム内で求められる表示すべき画像サイズにするための差分情報とにするだけで、従来コンテンツと同じ外部仕様が実現できると伴に、データサイズの減少による低消費電力性、高速化を実現できる。
【００５３】
(3)差分画像生成の際、復元後画像の画質を劣化させないように様にする“0”化処理が可能である。アルゴリズム的に差分画像における画素値が“0”に近い成分は、原画像においては画像の平坦部であるため、“0”化による画像劣化が非常に少ない。圧縮処理に画質保持の概念を導入することが可能となる。  
これにより、画像圧縮処理と復元された画像の画質を関連付けることが可能であり、画質劣化を起こさない圧縮処理が可能となる。
【００５４】
(4)ゲームなどに代表されるシステムがすでに持っている特定コンテンツなどを複数のサイズの解像度画像に変換し、画面に表示するシステムにおいて、画面表示したいサイズよりも小さい任意サイズの縮小画像を縮小画像に適用し、各種表示画像サイズに復元するための差分情報を複数持っておくことで、保存しているコンテンツに対して高画質な複数のサイズの高解像化を容易に実現することが可能となる。
【００５５】
これにより、ある特定のサイズのコンテンツを拡大、縮小し画質調整することで、各種解像度に対応する画面表示を行う既存システムでは、画像処理に非常に大きな処理量や電力を費やしているのに対し、本発明の概念を適用することにより、容易に表示画像を生成することができる。なお、用意された解像度画像への差分情報が無い場合は、差分情報が用意されたターゲット解像度よりも一つ大きい解像度の画像を生成し、これを縮小すれば良い。
【００５６】
(5)１つのフレームを２つの要素に分解し、それぞれに対して既存コーデックを含めた自由な圧縮方法を選択可能とし、１つのファイルフォーマットとしてパッキングすることができる。また、縮小画像の既存コーデックによる圧縮化によるファイルフォーマットに対して、差分画像の圧縮データの添付できる。  
これにより、データ互換性を求めないシステムの場合、データフォーマットを新規フォーマットに変更するだけで画像データの本発明による圧縮・復元・表示概念を適用することが可能であり、さらに既存システムが持っている圧縮・復号装置への適用が可能となる。
【００５７】
データ互換性を求めるシステムの場合、既存コーデックのファイルフォーマットに対して、その中のユーザーデータ(User Data)領域に独自データを付加した形とすることで、データの互換性を保つことが可能となり、他システムでも再生可能となる一方、自システムにおいては容易な高解像化が可能となる。
【００５８】
(6)先行技術としては、例えば特許文献１及び２に開示されているものがある。これらの特許文献１及び２には、圧縮対象として同一画像の縮小画像を用いる構成は示されてなく、この縮小画像を圧縮したデータを有効に用いることについても全く開示されていない。
【００５９】
また、先行技術には、縮小画像の圧縮データと差分画像の圧縮データとを１つの伝送用データ又は記録用データとして形成することにより、受信機側へ伝送したり記録再生装置の記録媒体に記録したりする際に極めてデータ量を小さくできるメリットについても全く示されていない。
【００６０】
［第２の実施形態］
図９は本発明の第２の実施形態に係る画像復元概念を示す図である。  
図９において、(1)パッキングされた圧縮データに含まれるヘッダ情報に保存された圧縮情報に基づき、復号化していく。  
(2) パッキングされた圧縮データに含まれる差分画像圧縮データを差分画像圧縮方式に基づき復号化し(復号処理Ｂという)、差分画像ｈを得る。なお、復号処理は、具体的には伸張処理である。
【００６１】
(3) パッキングされた圧縮データに含まれる縮小画像圧縮データを縮小画像圧縮方式に基づき復号化し(復号処理Ａという)、縮小画像ｉを得る。  
(4)復号化された縮小画像ｉを原画像サイズに拡大処理し、拡大された仮復元画像ｊを得、この仮復元画像ｊと、(2)で復号された差分画像ｈとを加算することによって、復元画像ｋを得る。
【００６２】
図１０は図９の画像圧縮概念の動作を示すフローチャートである。  
図１０において、ステップＳ11の縮小画像部伸張処理は、画像圧縮時に用いた符号化方法に基づき、復号化処理を行い、縮小画像を得る。  
ステップＳ12の縮小復元画像拡大処理は、画像圧縮時に用いた仮画像作成時の拡大方法、拡大率に基づき、拡大処理を行い、仮復元画像を得る。
【００６３】
ステップＳ13の画像合成処理は、画像圧縮時に用いた差分画像作成処理に基づき、仮画像と差分画像を合成し、復元画像を得る。  
ステップＳ14の差分画像部伸張処理は、画像圧縮時に用いた符号化方法に基づき、復号化処理を行い、差分画像を得る。
【００６４】
図１１は本発明の第２の実施形態の復元処理装置を示すブロック図である。図９の画像復元概念を実現する復元処理装置を示している。  
図１１に示す復元処理装置２０は、原画像を縮小しかつ圧縮した縮小画像圧縮画像と、仮画像と前記原画像との差分画像を圧縮した圧縮差分画像と、それらの圧縮画像それぞれの処理に関する関連情報と、を１つのファイルフォーマットにパッキングした圧縮データを受信する受信部２１と、圧縮縮小画像を伸張する第１の伸張処理部２２と、第１の伸張処理部２２で伸張して得られる縮小画像を原画像と同じサイズに拡大処理し、仮画像として生成する拡大処理部２４と、圧縮差分画像を伸張する第２の伸張処理部２３と、拡大処理部２４からの仮画像と第２の伸張処理部２３で伸張した差分画像とを加算して、原画像を復元する合成処理部２５と、を備えている。
【００６５】
ここで、復元処理装置で復元処理された画像の 表示処理について説明する。  
復元に際し、拡大画像と差分画像の合成処理における加算率を変更することによって、画像の鮮鋭化を実現することができる。これは、アルゴリズムの特性上、差分画像には原画像のエッジ要素が強く現れるためで、差分画像の加算率を上げることで、復元画像を鮮鋭化することができる。
【００６６】
次に、圧縮処理装置で圧縮処理された２つの圧縮画像とそれらの関連情報をパッキングして１つの圧縮データとする際のファイルフォーマットについて説明する。  
ファイルフォーマットは、ヘッダ(Headr)、圧縮縮小画像、圧縮差分画像の主に３つの要素からなる。
【００６７】
独自フォーマットを定義しても良いし、縮小画像部分を既存コーデックで圧縮し、既存規格のフォーマットにしておき、ユーザーデータ(User Data)エリアなどの部分に独自にヘッダと差分画像部分の情報を入れておいても良い。この場合、外からは縮小画像のファイルであるが、データ作成者は高速で用意された差分画像情報に基づき拡大画像を原画画質で復元することができる。  
動画の場合には再生に必要なPTS(Presentation Time Stamp)のような時間情報もヘッダ情報として付加することで、さまざまなアプリケーションに対応可能である。
【００６８】
以上述べた本発明の第２の実施形態によれば、１つのフレームから生成し得る２つの圧縮データを用いて画像復元を行うものであり、処理量の削減による高速化と１フレームしか使用しないことによる信号の低遅延性を実現することが可能となる。
【００６９】
また、第２の実施形態によれば、画像復元時の差分画像成分の加算率を変えることで、復元画像を鮮鋭化できる。アルゴリズム的に差分画像における大きな画素値となっている成分は、原画像においては画像のエッジ部であるため、加算率の変更により画像を鮮鋭化できる。復元処理に画質調整の概念を導入することが可能となる。これにより、復元に際し、差分データに画質調整要素を含めることで、純粋な圧縮データの復元という概念ではなく、復元画像の画質調整を行うことが可能となる。
【００７０】
［第３の実施形態］
図１２は本発明の第３の実施形態の画像処理装置を示すブロック図である。  
図１２に示す画像処理装置３０は、図６に示した圧縮処理装置１０と、図１１に示した復元処理装置２０とを備えている。
【００７１】
圧縮処理装置１０は、画像処理装置３０は、原画像を縮小する縮小処理部と、縮小した画像を圧縮する第１の圧縮処理部と、縮小した画像を原画像と同じサイズに拡大処理し、仮画像を生成する拡大処理部と、原画像と仮画像との差分をとり、差分画像を生成する差分処理部と、差分画像を圧縮する第２の圧縮処理部と、第１の圧縮処理部１２からの圧縮縮小画像と、第２の圧縮処理部１５からの圧縮差分画像と、これらの圧縮画像それぞれの処理に関する関連情報と、を１つのファイルフォーマットにパッキングした圧縮データとして形成するパッキング処理部とを備えている。
【００７２】
また、復元処理装置２０は、原画像を縮小しかつ圧縮した縮小画像圧縮画像と、仮画像と前記原画像との差分画像を圧縮した圧縮差分画像と、それらの圧縮画像それぞれの処理に関する関連情報と、を１つのファイルフォーマットにパッキングした圧縮データを受信する受信部と、圧縮縮小画像を伸張する第１の伸張処理部と、第１の伸張処理部で伸張して得られる縮小画像を原画像と同じサイズに拡大処理し、仮画像として生成する第２の拡大処理部と、圧縮差分画像を伸張する第２の伸張処理部と、第２の拡大処理部からの仮画像と第２の伸張処理部で伸張した差分画像とを加算して、原画像を復元する合成処理部とを備えている。
【００７３】
本発明の第３の実施形態によれば、動画・静止画問わず、１フレームのみで画像圧縮、復元を行うものであり、既存圧縮技術と同等程度の圧縮率を実現し、かつ処理量の削減による高速化と１フレームしか使用しないことによる信号の低遅延性を実現することが可能となる。
【００７４】
図１３は圧縮・復元例を示している。図１３(a)は原画像 (YUV420 640x360)  640x360*1.5 = 345kByte 、図１３(b)は復元画像であって、320x180のサイズの縮小画像、640x360のサイズの差分画像を共にJPEG方式を用いて圧縮した場合のデータ量は、19kByte + 29kByte = 48kByteで、原画像の約1/7に圧縮されている。原画像サイズが大きくなればなるほど、縮小処理による画質劣を感じにくくなるため、主観画質を保持したまま、圧縮率をあげることが可能となる。
【００７５】
図１４は復元時の画質調整を示している。図１４(a)は画質調整を強くし鮮鋭化したもの、図１４(b)は標準画質のものを示している。  
圧縮処理と復元処理だけでなく、復元時のパラメータ設定によって、復元画像のくっきり感の調整が可能となる。圧縮アルゴリズムに基づく、鮮鋭化手法であり、独自技術である。
【００７６】
本発明は、上記各実施形態に限定されることなく、その要旨を逸脱しない範囲で種々の変形を実施することが可能である。さらに、上記各実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合せにより種々の発明が創出し得るものである。
【符号の説明】
【００７７】
１０…圧縮処理装置、１１…縮小処理部、１２…第１の圧縮処理部、１３…拡大処理部、１４…差分処理部、１５…第２の圧縮処理部、１６…パッキング処理部、２０…復元処理装置、２１…受信部、２２…第１の伸張処理部、２３…第２の伸張処理部、２４…拡大処理部、２５…合成処理部、３０…画像処理装置。
【図１】
2011188110.tif 000003
【図２】
2011188110.tif 000004
【図３】
2011188110.tif 000005
【図４】
2011188110.tif 000006
【図５】
2011188110.tif 000007
【図６】
2011188110.tif 000008
【図７】
2011188110.tif 000009
【図８】
2011188110.tif 000010
【図９】
2011188110.tif 000011
【図１０】
2011188110.tif 000012
【図１１】
2011188110.tif 000013
【図１２】
2011188110.tif 000014
【図１３】
2011188110.tif 000015
【図１４】
2011188110.tif 000016