(57)【要約】【課題】ＪＰＥＧ圧縮された画像データとテンプレート画像データとを合成する際に、再圧縮に起因する画質劣化を抑制する。【解決手段】解凍部５４は、ＪＰＥＧ画像データＰ１を解凍して画像データＤ１を得ると共に、画像データＰ１の量子化テーブルおよびＤＣＴ係数を取得する。ブロック検出部６４は、テンプレート合成部５６により画像データＤ１とテンプレート画像データＴとを合成して得た合成画像データＤ３において、テンプレート画像データＴの画素が存在しないブロックを検出する。ＤＣＴ係数算出部６６は、ブロック検出部６４により検出されたブロックに対して、画像データＰ１の同ブロックのＤＣＴ係数を適用する一方、他のブロックに対して、合成画像データＤ３を用いてブロック毎のＤＣＴ係数を算出する。量子化部６８は、解凍部５４により得られたＪＰＥＧ画像データＰ１の量子化テーブルを用いてこれらのＤＣＴ係数を量子化し、ハフマン符号化部７０は、量子化されたＤＣＴ係数に対してハフマン符号化処理を行ってＪＰＥＧ画像データとなる目的画像データＰ２を得る。【選択図】　　　　　図２
2004032262.tif 000002
【特許請求の範囲】
【請求項１】
画像のブロック毎に離散コサイン変換を行う手順を有する圧縮方法で圧縮された圧縮画像データと未圧縮画像データを合成する画像合成装置であって、
前記圧縮画像データを解凍して解凍画像データを得ると共に、前記圧縮画像データのブロック毎の離散コサイン変換の変換係数を取得する解凍手段と、
前記解凍画像データと前記未圧縮画像データとを合成して合成画像データを得る合成手段と、
前記合成画像データにより表される合成画像のうち、前記解凍画像データの画素のみにより構成されたブロックを検出するブロック検出手段と、
前記合成画像データに対して、前記圧縮画像データを圧縮した前記圧縮方法で圧縮を行って目的画像データを得る圧縮手段とを備え、
前記圧縮手段が、前記ブロック検出手段により検出されたブロックに対しては、前記解凍手段により取得した同該ブロックの前記離散コサイン変換の変換係数を用い、前記ブロック検出手段により検出されたブロック以外のブロックに対しては、前記合成画像データを用いて離散コサイン変換の変換係数を求めるようにして各ブロックの離散コサイン変換の変換係数を決定する変換係数決定手段とを有するものであることを特徴とする画像合成装置。
【請求項２】
前記圧縮画像データが、離散コサイン変換と共に、量子化の手順を有する圧縮方法で圧縮されたものであり、
前記解凍手段が、前記圧縮画像データの量子化テーブルを取得するものであり、
前記圧縮手段が、前記量子化テーブルを用いて前記変換係数決定手段により決定された各々の前記変換係数を量子化する量子化手段を有するものであることを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記圧縮手段が、エントロピ符号化手段を有するものであることを特徴とする請求項１または２記載の画像合成装置。
【請求項４】
前記圧縮画像データが、デジタルカメラにより撮像して得られたものであることを特徴とする請求項１から３のいずれか１項記載の画像合成装置。
【請求項５】
前記未圧縮画像データが、テンプレート画像データであることを特徴とする請求項１から４のいずれか１項記載の画像合成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像合成装置、具体的には圧縮された画像データと未圧縮画像データとを合成する画像合成装置に関するものである。
【０００２】
【従来の技術】
従来、画像の圧縮技術として、直交変換、量子化、エントロピ符号化などが知られている。直交変換は、相関性の強い画像信号を周波数軸上で見た場合に低周波領域に画像情報が集中しているということに着目したものであり、情報が集中して分布する周波数成分のみを符号化することにより全体としての情報量を削減する圧縮技術である。また、量子化は画像情報をある数値（量子化ステップ）で除算して、ある限られた離散的なレベルで近似することにより画像情報を表すビット数を少なくする圧縮技術である。また、エントロピ符号化は画像情報に２進符号を割り当てる際に、発生頻度の高い値に短い符号、発生頻度の低い値には長い符号を割り当てることにより全体の符号量を削減する圧縮技術である。
【０００３】
カラー静止画像の圧縮業界標準として広く知られているＪＰＥＧ圧縮は、上述圧縮技術を組み合わせることにより画像の圧縮を行うものであり、具体的には、画像を例えば８×８の画像ブロックに分割し、各画像ブロックに対して直交変換の１つである離散コサイン変換（以下ＤＣＴという）を施し、ＤＣＴにより得られた変換係数に対して量子化を施し、さらに量子化後の変化係数をエントロピ符号化であるハフマン符号化などを施すことにより画像情報の圧縮を行っている。画像を再生する際には、この逆の手順、すなわち、エントロピ復号化、逆量子化、逆離散コサイン変換（ＩＤＣＴ）を行うことにより、圧縮された画像情報を伸長して再生する。
【０００４】
ＪＰＥＧは、符号器、復号器ともにハードウェアとして、あるいはソフトウェアとして入手が比較的容易であり、また、パラメータを調節して符号化による画質劣化の程度を変えたり、復号化の速度を変えたりすることができるという利便性から、業界のみならず広く一般家庭のパソコンなどにまで普及している技術である。
【０００５】
例えば、近年、デジタルカメラや、カメラ付き携帯端末などで撮像して得た画像データの殆どは、ＪＰＥＧ圧縮されているものである。ユーザはＪＰＥＧ圧縮された画像データをネットワークを経由して送信したり、ハードディスクに保存したりすることができる。
【０００６】
一方、デジタルカメラや、カメラ付携帯端末などで撮像して得た写真画像に対して、テンプレート画像などを合成する場合がある。テンプレート画像データが未圧縮画像データであることに対して、写真画像はＪＰＥＧ圧縮されているので、合成するためにはまず写真画像を伸長する必要がある。写真画像を伸長して得た画像データ（解凍画像データ）と、テンプレート画像データとを合成して得た合成画像データをネットワークを経由して送信したり、ハードディスクに保存したりする際に、合成画像データに対して再圧縮が行われる。
【０００７】
【発明が解決しようとする課題】
しかし、ＪＰＥＧ圧縮を含む上述の画像圧縮処理は、程度の差があるものの、圧縮率が高ければ高いほど画像の画質を劣化させるものである。したがって、圧縮デジタルカメラや、カメラ付き携帯端末などで撮像して得た写真画像のような圧縮画像データとテンプレート画像データのような未圧縮画像データとを合成して再圧縮する際に、再圧縮の影響で、写真画像の部分の画質が劣化してしまうという問題がある。
【０００８】
本発明は上記事情に鑑みなされたものであり、圧縮画像データと未圧縮画像データとを合成する際に、圧縮画像データの部分の画質劣化を防ぐことができる画像合成装置を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明の画像合成装置は、画像のブロック毎に離散コサイン変換を行う手順を有する圧縮方法で圧縮された圧縮画像データと未圧縮画像データを合成する画像合成装置であって、
前記圧縮画像データを解凍して解凍画像データを得ると共に、前記圧縮画像データのブロック毎の離散コサイン変換の変換係数を取得する解凍手段と、
前記解凍画像データと前記未圧縮画像データとを合成して合成画像データを得る合成手段と、
前記合成画像データにより表される合成画像のうち、前記解凍画像データの画素のみにより構成されたブロックを検出するブロック検出手段と、
前記合成画像データに対して前記圧縮画像データを圧縮した前記圧縮方法で圧縮を行って目的画像データを得る圧縮手段とを備え、
前記圧縮手段が、前記ブロック検出手段により検出されたブロックに対しては、前記解凍手段により取得した同該ブロックの前記離散コサイン変換の変換係数を用い、前記ブロック検出手段により検出されたブロック以外のブロックに対しては、前記合成画像データを用いて離散コサイン変換の変換係数を求めるようにして各ブロックの離散コサイン変換の変換係数を決定する変換係数決定手段とを有するものであることを特徴とするものである。
【００１０】
前述したように、ＪＰＥＧなどの圧縮技術においては、画像を例えば８×８のブロックに分割してブロック毎に直交変換の１つである離散コサイン変換、いわばＤＣＴを施すようにしている。ＤＣＴを施すことによって、ＤＣＴ係数と呼ばれる変換係数がブロック毎に得られる。この変換係数は、画像の該当する部分の周波数成分の大きさ（振幅）を表すものであり、画像データに対して、全ての周波数成分、すなわちＤＣＴ変換係数が得られれば、画像の画素情報が得られたのと等価になる。
【００１１】
すなわち、本発明の画像処理装置は、離散コサイン変換を行う圧縮方法で圧縮された圧縮画像データと未圧縮画像データとを合成するに当たって、圧縮画像データを解凍して解凍画像データを得る際、この圧縮画像データのＤＣＴ係数を取得し、解凍画像データと未圧縮画像データとを合成して得た合成画像データに対して圧縮を行うとき、合成画像のうち、前記解凍画像データの画素のみが存在するブロックを検出し、検出されたブロック以外のブロックに対して合成画像データを用いてブロック毎のＤＣＴ係数を求める一方、その検出されたブロックに対しては、圧縮画像データを解凍時に取得した該ブロックのＤＣＴ係数を用いるようにして、合成画像データにおける解凍画像データの画素のみが存在するブロックのデータを圧縮画像データと同様のものとし、この部分には再圧縮を施されないものである。
【００１２】
本発明の画像合成装置において、圧縮画像データは、ブロック毎に離散コサイン変換が施されると共に量子化されるように圧縮されたものであり、前記解凍手段は、前記圧縮画像データの量子化テーブルを取得するものであり、前記圧縮手段は、その量子化テーブルを用いて前記変換係数決定手段により決定された各々の前記変換係数を量子化する量子化手段を有するものであることが好ましい。
【００１３】
また、本発明の前記画像圧縮手段は、エントロピ符号化手段を有するものであることがより望ましい。
【００１４】
本発明の画像合成装置は、ブロック毎に離散コサイン変換を行う手順を有する圧縮方法で圧縮されたいかなる圧縮画像データにも適用することができ、例えば、デジタルカメラにより撮像して得られたものなどに適用することができる。
【００１５】
また、本発明の画像合成装置により圧縮画像データと合成される前記未圧縮画像データは、テンプレート画像データとすることができる。
【００１６】
【発明の効果】
本発明の画像合成装置によれば、例えばＪＰＥＧなど、画像のブロック毎に離散コサイン変換を行う手順を有する圧縮方法で圧縮された圧縮画像データを解凍して得た解凍画像データと未圧縮画像データとを合成画像データに合成して再圧縮を行う際に、ブロック検出手段により合成画像データのうち、解凍画像データの画素のみが存在するブロックを検出し、これらのブロックに対して、圧縮画像データを解凍時に取得したブロックのＤＣＴ係数を適用する一方、他のブロック、すなわち未圧縮画像データの画素が存在するブロックに対して、合成画像データを用いて新たにＤＣＴ係数を求めるようにしてＤＣＴ変換を行うようにしているので、合成画像データのうち、未圧縮画像データの画素が存在しない部分は再圧縮されていないこととなるので、再圧縮による画質の劣化を最小限に抑制することができる。
【００１７】
また、圧縮画像データが、離散コサイン変換と共に、量子化される手順を有する圧縮方法で圧縮された場合、本発明の画像処理装置は、圧縮画像データを解凍するとき、ＤＣＴ係数と共に、量子化テーブルを取得し、合成画像データに対して再圧縮を行う際に、上述したようにＤＣＴ係数を決定すると共に、圧縮画像データの量子化テーブルでこれらのＤＣＴ係数を量子化するようにすることによって、再圧縮の圧縮率を高めることができる。
【００１８】
さらに、ＤＣＴ係数または量子化されたＤＣＴ係数に対して、エントロピ符号化処理を行うようにすれば、再圧縮の圧縮率をより高めることができる。
【００１９】
また、合成対象の未圧縮画像データがテンプレート画像データである際に、合成画像データのうち、テンプレート画像データの画素が存在するブロックが少ないので、再圧縮されるブロックが少ないため、本発明の画像合成装置は、圧縮画像データと、テンプレート画像とを合成することにより効果を発揮することができる。
【００２０】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００２１】
図１は、本発明の画像合成装置の実施形態となるデジタルカメラ１の構成を示すブロック図である。図示のように、本実施形態のデジタルカメラ１は、撮像して写真画像データＤ１を取得する撮像部１０と、画像データＤ１に対してＪＰＥＧ圧縮（すなわち、ブロック毎のＤＣＴ変換、量子化、符号化）を行って圧縮画像データＰ１を得る第１の圧縮部２０と、第１の圧縮部２０により得られた圧縮画像データＰ１を記憶する画像記憶部２５と、テンプレート画像データＴを記憶するテンプレート画像記憶部３０と、ユーザの指示に応じて画像記憶部２５により記憶された圧縮画像データＰ１とテンプレート画像記憶部３０により記憶されたテンプレート画像データＴとを合成して目的画像データＰ２を得る画像合成部４０とを備えてなるものである。なお、画像合成部４０により得られた目的画像データＰ２も画像記憶部３０に保存される。
【００２２】
図２は、図１に示すデジタルカメラ１の画像合成部４０の構成を示すブロック図である。図示のように、デジタルカメラ１の画像合成部４０は、合成対象となる所望の圧縮画像データＰ１およびテンプレート画像データＴをユーザに指定させる合成対象指定部５０と、合成対象指定部５０においてユーザにより指定された圧縮画像データＰ１とテンプレート画像データＴとを夫々画像記憶部２５とテンプレート画像記憶部３０から読み出す画像データ読出部５２と、画像データ読出部５２により読み出された圧縮画像データＰ１を解凍して解凍画像データＤ２を得ると共に、圧縮画像データＰ１のＤＣＴ係数と量子化テーブルを取得する解凍部５４と、解凍画像データＤ２とテンプレート画像データＴとを合成して合成画像データＤ３を得るテンプレート合成部５６と、合成画像データＤ３に対してＪＰＥＧ圧縮を行って目的画像データＰ２を得る第２の圧縮部６０とを備えてなるものである。
【００２３】
次いで、図３（ａ）に示す画像（圧縮画像データＰ１を解凍して得た解凍画像データＤ２により表される画像。以下画像Ａという）と、図３（ｂ）に示すテンプレート画像（テンプレート画像データＴにより表される画像）とを合成して得た、図３（ｃ）に示す合成画像（合成画像データＤ３により表される画像）に対して圧縮を行うことを例にして、画像合成部４０における第２の圧縮部６０の具体的な構成を説明する。
【００２４】
画像合成部４０における第２の圧縮部６０は、解凍部５４により取得した圧縮画像データＰ１の量子化テーブルおよび図４（ａ）に示す画像Ａのブロック毎のＤＣＴ係数を記憶するデータ記憶部６２と、合成画像（図３（ｃ）に示す画像）において、画像Ａの画素のみにより構成されるブロックを検出するブロック検出部６４と、図３（ｃ）に示す合成画像の各ブロックに対してＤＣＴ係数を求めるＤＣＴ係数算出部６６と、ＤＣＴ係数算出部６６による算出されたブロック毎のＤＣＴ変換係数に対して、データ記憶部６２により記憶された量子化テーブルで量子化を行う量子化部６８と、量子化部６８により量子化されたＤＣＴ係数に対してハフマン符号化を行って目的画像データＰ２を得るハフマン符号化部７０とからなるものである。
【００２５】
図４（ｂ）は、図３（ｃ）に示す合成画像において、テンプレート画像の画素分布（図示実線部分）を示す図である。画像合成部４０のブロック検出部６４は、合成画像からテンプレート画像の画素が存在しない部分（ここでは、図４（ｃ）における灰色の中心部分となる）のブロックを検出する。
【００２６】
画像合成部４０のＤＣＴ係数算出部６６は、まず、合成画像データＤ３を用いて、ブロック検出部６４により検出されたブロック以外のブロック（図４（ｃ）における白色のブロック）に対してＤＣＴ係数の算出を行って、図５（ａ）に示すブロック毎のＤＣＴ係数を得る。次にＤＣＴ係数算出部６６は、図４（ｃ）における灰色のブロックに対して、データ記憶部６２により記憶された同該ブロックのＤＣＴ係数を用いることによって、図５（ｂ）に示すような合成画像データＤ３のブロック毎のＤＣＴ係数を決定する。
【００２７】
画像合成部４０の量子化部６８は、データ記憶部６２により記憶された圧縮画像データＰ１の量子化テーブルを用いて、図５（ａ）に示された、ＤＣＴ係数算出部６６により得られた各々のＤＣＴ係数に対して量子化を行って量子化ＤＣＴ係数を得、ハフマン符号化部７０は、量子化部６８により得られた量子化ＤＣＴ係数に対してハフマン符号化を施してＪＰＥＧ画像データとなる目的画像データＰ２を得る。なお、この目的画像データＰ２は、画像記憶部２５により記憶保存される。
【００２８】
図６は、本実施形態のデジタルカメラ１の画像合成部６０の動作を示すフローチャートである。なお、ここでも図３に示す画像を例にして説明を進める。図示のように、画像合成部６０において、合成対象指定部５０を介してユーザにより合成対象となる圧縮画像データＰ１とテンプレート画像データＴを指定されると（Ｓ１０）、画像データ読出部５２は、指定された圧縮画像データＰ１とテンプレート画像データＴとを夫々画像記憶部２５とテンプレート画像記憶部３０から読み出す（Ｓ１５）。解凍部５４は、圧縮画像データＰ１に対して解凍処理を行って解凍画像データＤ２を得ると共に、圧縮画像データＰ１の量子化テーブルおよび図４（ａ）に示す圧縮画像データＰ１のブロック毎のＤＣＴ係数を取得してデータ記憶部６２に記憶させる（Ｓ２０）。テンプレート合成部６４は、解凍部５４により得られた解凍画像データＤ２とテンプレート画像データＴとを合成して、図３（ｃ）に示す合成画像を現す合成画像データＤ３を得る（Ｓ２５）。ブロック検出部６４は、図３（ｃ）に示す合成画像のうち、テンプレート画像の画素が存在しないブロック（図４（ｃ）における灰色部分のブロック）を検出して、これらのブロックを特定する情報をＤＣＴ係数算出部６６に出力する（Ｓ３０）。ＤＣＴ係数算出部６６は、ブロック検出部６４により検出されたブロック以外のブロック、すなわち図４（ｃ）に示す白色の、テンプレート画像の画素が存在するブロックに対してＤＣＴ係数を求め、図５（ａ）に示すブロック毎のＤＣＴ係数を得ると共に、ブロック検出部６４により検出されたブロック、すなわち図４（ｃ）に示す灰色の、テンプレート画像の画素が存在しないブロックに対しては、データ記憶部６２により記憶された同該ブロックのＤＣＴ係数を適用するようにして図５（ｂ）に示すように、合成画像データＤ３の各ブロックのＤＣＴ係数を決定する（Ｓ３５）。量子化部６８は、データ記憶部６２により記憶された圧縮画像データＰ１の量子化テーブルを用いて、ＤＣＴ係数算出部６６により決定された各々のＤＣＴ係数に対して量子化を行って量子化ＤＣＴ係数を得（Ｓ４０）、ハフマン符号化部７０は、量子化部６６により得られた量子化ＤＣＴ係数に対してハフマン符号化を施して、ＪＰＥＧ画像データとなる目的画像データＰ２を得る（Ｓ４５）。
【００２９】
このように、本実施形態のデジタルカメラ１の画像合成部４０は、ＪＰＥＧ圧縮された圧縮画像データＰ１と未圧縮画像データであるテンプレート画像データＴとを合成して再圧縮（同じくＪＰＥＧ圧縮）を行う際に、合成画像における、テンプレート画像の画素が存在するブロックに対して、ＪＰＥＧ圧縮のためのＤＣＴ係数を新たに求め、テンプレート画像の画素が存在しないブロックに対して、圧縮画像データＰ１のＤＣＴ係数を適用するようにしているので、テンプレート画像の画素が存在しないブロックからなる部分に対して再圧縮を行っていないことと等価な圧縮処理を行うことになり、再圧縮に起因する画質劣化を抑制することができる。
【００３０】
上述した実施形態のデジタルカメラ１は、本発明の画像合成装置の望ましい実施形態であるが、本発明の画像合成装置は、上述した実施形態に限られるものではなく、本発明の主旨を変えない限り、様々な変更を加えることができる。
【００３１】
例えば、上述した実施形態における画像合成部４０は、デジタルカメラにより取得したＪＰＥＧ画像データを対象としているが、本発明の画像合成装置は、いかなるデバイスにより取得されたＪＰＥＧ画像データと未圧縮画像データとの合成にも適用することができる。
【００３２】
また、合成対象の圧縮画像データも、ＪＰＥＧ圧縮されたものに限られるものではなく、画像をブロックに分割し、ブロック毎に離散コサイン変換を行う手順を有するいかなる圧縮方法で圧縮された画像データであってもよい。
【００３３】
また、合成対象となる未圧縮画像データも、テンプレート画像に限らず、合成可能ないかなる画像データであってもよい。
【００３４】
また、上述した実施形態において、テンプレート画像は圧縮されていないものであるが、テンプレート画像も圧縮されている場合には、そのテンプレート画像を解凍して得たものを「未圧縮画像データ」とみなして、本発明の画像合成装置を適用することができる。
【図面の簡単な説明】
【図１】本発明の実施形態となるデジタルカメラ１の構成を示すブロック図
【図２】図１に示すデジタルカメラ１における画像合成部４０の構成を示すブロック図
【図３】画像の例を示す図
【図４】圧縮画像のＤＣＴ係数および合成画像におけるテンプレート画像の画素分布を示す図
【図５】図２に示す画像合成部４０におけるＤＣＴ係数算出部６６により決定されたＤＣＴ係数を説明するための図
【図６】図２に示す画像合成部４０の動作を示すフローチャート
【符号の説明】
１　　デジタルカメラ
１０　　撮像部
２０　　第１の圧縮部
２５　　画像記憶部
３０　　テンプレート画像記憶部
４０　　画像合成部
５０　　合成対象指定部
５２　　画像データ読出部
５４　　解凍部
５６　　テンプレート合成部
６０　　第２の圧縮部
６２　　データ記憶部
６４　　ブロック検出部
６６　　ＤＣＴ係数算出部
６８　　量子化部
７０　　ハフマン符号化部
Ｄ１，Ｄ２，Ｄ３　　画像データ
Ｐ１，Ｐ２　　ＪＰＥＧ画像データ
Ｔ　　テンプレート画像データ
【図１】
2004032262.tif 000003
【図２】
2004032262.tif 000004
【図３】
2004032262.tif 000005
【図４】
2004032262.tif 000006
【図５】
2004032262.tif 000007
【図６】
2004032262.tif 000008