"符号化対象画像を圧縮符号化する画像符号化装置であって、符号化対象画像に対して、シームカービング処理を行うことにより、削除したシームの画素情報及び前記削除したシームの削除順序を示す情報と、前記シームを削除した後の縮小画像情報とを生成して出力するシームカービング処理手段と、前記削除したシームの画素情報及び前記削除したシームの削除順序を示す情報を圧縮符号化した第1の符号化データを出力する第1の符号化手段と、前記前記シームを削除した後の縮小画像情報を圧縮符号化した第2の符号化データを出力する第2の符号化手段とを備えたことを特徴とする画像符号化装置。請求項1に記載の画像符号化装置によって符号化された第1の符号化データと第2の符号化データとを復号して符号化対象画像を復元する画像復号装置であって、前記第1の符号化データを復号して、削除したシームの画素情報及び削除したシームの削除順序を示す情報を得る第1の復号手段と、前記第2の符号化データを復号して、シームを削除した後の縮小画像情報を得る第2の復号手段と、前記シームを削除した後の縮小画像の各画素位置にシームの対応する画素を挿入したときのコスト関数を画像データとみなし、シームカービング処理を適用して削除するシーム位置を求め、求めた位置を前記縮小画像上に削除したシームの画素情報に基づきシームを挿入すべき位置として推定し、該推定位置にシームを挿入することにより前記符号化対象画像を復元する合成手段とを備えたことを特徴とする画像復号装置。前記合成手段は、削除したシームの削除順序に基づき、シームを削除した後の縮小画像へのシームの挿入位置を推定することにより、任意のアスペクト比の画像を復元することを特徴とする請求項2に記載の画像復号装置。符号化対象画像を圧縮符号化する画像符号化方法であって、符号化対象画像に対して、シームカービング処理を行うことにより、削除したシームの画素情報及び前記削除したシームの削除順序を示す情報と、前記シームを削除した後の縮小画像情報とを生成して出力するシームカービング処理ステップと、前記削除したシームの画素情報及び前記削除したシームの削除順序を示す情報を圧縮符号化した第1の符号化データを出力する第1の符号化ステップと、前記前記シームを削除した後の縮小画像情報を圧縮符号化した第2の符号化データを出力する第2の符号化ステップとを有することを特徴とする画像符号化方法。請求項4に記載の画像符号化方法によって符号化された第1の符号化データと第2の符号化データとを復号して符号化対象画像を復元する画像復号方法であって、前記第1の符号化データを復号して、削除したシームの画素情報及び削除したシームの削除順序を示す情報を得る第1の復号ステップと、前記第2の符号化データを復号して、シームを削除した後の縮小画像情報を得る第2の復号ステップと、前記シームを削除した後の縮小画像の各画素位置にシームの対応する画素を挿入したときのコスト関数を画像データとみなし、シームカービング処理を適用して削除するシーム位置を求め、求めた位置を前記縮小画像上に削除したシームの画素情報に基づきシームを挿入すべき位置として推定し、該推定位置にシームを挿入することにより前記符号化対象画像を復元する合成ステップとを有することを特徴とする画像復号方法。前記合成ステップは、削除したシームの削除順序に基づき、シームを削除した後の縮小画像へのシームの挿入位置を推定することにより、任意のアスペクト比の画像を復元することを特徴とする請求項5に記載の画像復号方法。符号化対象画像を圧縮符号化する画像符号化プログラムであって、符号化対象画像に対して、シームカービング処理を行うことにより、削除したシームの画素情報及び前記削除したシームの削除順序を示す情報と、前記シームを削除した後の縮小画像情報とを生成して出力するシームカービング処理ステップと、前記削除したシームの画素情報及び前記削除したシームの削除順序を示す情報を圧縮符号化した第1の符号化データを出力する第1の符号化ステップと、前記前記シームを削除した後の縮小画像情報を圧縮符号化した第2の符号化データを出力する第2の符号化ステップとをコンピュータに行わせることを特徴とする画像符号化プログラム。請求項4に記載の画像符号化プログラムによって符号化された第1の符号化データと第2の符号化データとを復号して符号化対象画像を復元する画像復号プログラムであって、前記第1の符号化データを復号して、削除したシームの画素情報及び削除したシームの削除順序を示す情報を得る第1の復号ステップと、前記第2の符号化データを復号して、シームを削除した後の縮小画像情報を得る第2の復号ステップと、前記シームを削除した後の縮小画像の各画素位置にシームの対応する画素を挿入したときのコスト関数を画像データとみなし、シームカービング処理を適用して削除するシーム位置を求め、求めた位置を前記縮小画像上に削除したシームの画素情報に基づきシームを挿入すべき位置として推定し、該推定位置にシームを挿入することにより前記符号化対象画像を復元する合成ステップとをコンピュータに行わせることを特徴とする画像復号プログラム。前記合成ステップは、削除したシームの削除順序に基づき、シームを削除した後の縮小画像へのシームの挿入位置を推定することにより、任意のアスペクト比の画像を復元することを特徴とする請求項8に記載の画像復号プログラム。前述したように、画面アスペクト比の変化に対応した、シームカービングに基づく従来提案されている方法は画質や圧縮率の観点からは十分とはいえない。シームカービングを用いた従来の画面アスペクト比スケーラブル符号化では、高画質の画像を復元するために削除シームの位置情報と画素値情報の両方が必要であり、伝送データ量が多くなるという問題がある。本発明は、このような事情に鑑みてなされたもので、シームカービングに基づく、画面アスペクト比スケーラブル符号化において復元画像を高画質に保ったまま必要なデータ量を削減することができる画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラムを提供することを目的とする。本発明は、符号化対象画像を圧縮符号化する画像符号化装置であって、符号化対象画像に対して、シームカービング処理を行うことにより、削除したシームの画素情報及び前記削除したシームの削除順序を示す情報と、前記シームを削除した後の縮小画像情報とを生成して出力するシームカービング処理手段と、前記削除したシームの画素情報及び前記削除したシームの削除順序を示す情報を圧縮符号化した第1の符号化データを出力する第1の符号化手段と、前記前記シームを削除した後の縮小画像情報を圧縮符号化した第2の符号化データを出力する第2の符号化手段とを備えたことを特徴とする。本発明は、前記画像符号化装置によって符号化された第1の符号化データと第2の符号化データとを復号して符号化対象画像を復元する画像復号装置であって、前記第1の符号化データを復号して、削除したシームの画素情報及び削除したシームの削除順序を示す情報を得る第1の復号手段と、前記第2の符号化データを復号して、シームを削除した後の縮小画像情報を得る第2の復号手段と、前記シームを削除した後の縮小画像の各画素位置にシームの対応する画素を挿入したときのコスト関数を画像データとみなし、シームカービング処理を適用して削除するシーム位置を求め、求めた位置を前記縮小画像上に削除したシームの画素情報に基づきシームを挿入すべき位置として推定し、該推定位置にシームを挿入することにより前記符号化対象画像を復元する合成手段とを備えたことを特徴とする。本発明は、前記合成手段は、削除したシームの削除順序に基づき、シームを削除した後の縮小画像へのシームの挿入位置を推定することにより、任意のアスペクト比の画像を復元することを特徴とする。本発明は、符号化対象画像を圧縮符号化する画像符号化方法であって、符号化対象画像に対して、シームカービング処理を行うことにより、削除したシームの画素情報及び前記削除したシームの削除順序を示す情報と、前記シームを削除した後の縮小画像情報とを生成して出力するシームカービング処理ステップと、前記削除したシームの画素情報及び前記削除したシームの削除順序を示す情報を圧縮符号化した第1の符号化データを出力する第1の符号化ステップと、前記前記シームを削除した後の縮小画像情報を圧縮符号化した第2の符号化データを出力する第2の符号化ステップとを有することを特徴とする。本発明は、前記画像符号化方法によって符号化された第1の符号化データと第2の符号化データとを復号して符号化対象画像を復元する画像復号方法であって、前記第1の符号化データを復号して、削除したシームの画素情報及び削除したシームの削除順序を示す情報を得る第1の復号ステップと、前記第2の符号化データを復号して、シームを削除した後の縮小画像情報を得る第2の復号ステップと、前記シームを削除した後の縮小画像の各画素位置にシームの対応する画素を挿入したときのコスト関数を画像データとみなし、シームカービング処理を適用して削除するシーム位置を求め、求めた位置を前記縮小画像上に削除したシームの画素情報に基づきシームを挿入すべき位置として推定し、該推定位置にシームを挿入することにより前記符号化対象画像を復元する合成ステップとを有することを特徴とする。本発明は、前記合成ステップは、削除したシームの削除順序に基づき、シームを削除した後の縮小画像へのシームの挿入位置を推定することにより、任意のアスペクト比の画像を復元することを特徴とする。本発明は、符号化対象画像を圧縮符号化する画像符号化プログラムであって、符号化対象画像に対して、シームカービング処理を行うことにより、削除したシームの画素情報及び前記削除したシームの削除順序を示す情報と、前記シームを削除した後の縮小画像情報とを生成して出力するシームカービング処理ステップと、前記削除したシームの画素情報及び前記削除したシームの削除順序を示す情報を圧縮符号化した第1の符号化データを出力する第1の符号化ステップと、前記前記シームを削除した後の縮小画像情報を圧縮符号化した第2の符号化データを出力する第2の符号化ステップとをコンピュータに行わせることを特徴とする。本発明は、前記画像符号化プログラムによって符号化された第1の符号化データと第2の符号化データとを復号して符号化対象画像を復元する画像復号プログラムであって、前記第1の符号化データを復号して、削除したシームの画素情報及び削除したシームの削除順序を示す情報を得る第1の復号ステップと、前記第2の符号化データを復号して、シームを削除した後の縮小画像情報を得る第2の復号ステップと、前記シームを削除した後の縮小画像の各画素位置にシームの対応する画素を挿入したときのコスト関数を画像データとみなし、シームカービング処理を適用して削除するシーム位置を求め、求めた位置を前記縮小画像上に削除したシームの画素情報に基づきシームを挿入すべき位置として推定し、該推定位置にシームを挿入することにより前記符号化対象画像を復元する合成ステップとをコンピュータに行わせることを特徴とする。本発明は、前記合成ステップは、削除したシームの削除順序に基づき、シームを削除した後の縮小画像へのシームの挿入位置を推定することにより、任意のアスペクト比の画像を復元することを特徴とする。本発明によれば、シームを画像中に挿入したと仮定したときの各位置のコスト関数を画像とみなすことで、シームの位置情報を用いずに精度よくシームの挿入位置を推定することが可能であるため、画面アスペクト比スケーラブルな符号化画像データとしてシームの位置情報は不要であり、高品質な任意のアスペクト比を得ることが可能でありながら、符号化データ量を従来よりも削減することができるという効果が得られる。以下、図面を参照して、本発明の一実施形態による画像符号化装置及び画像復号装置を説明する。始めに、図4~図8を参照して、非線形縮小画像の情報と、削除シームの画素値情報を用いて、シームを挿入する位置を推定する方式について説明する。まず、削除シームの位置情報は用いず、復号側でシームの画素を挿入する位置を算出する。図5に示すように、与えられるシームの画素値情報は1本のシームの画素値を単に1次元的に並べたものGjであり画素の位置はわからない。そこで、図6に示すシームは元の画像Fi,j上で8連結しているという拘束条件を使って、シームを挿入する対象の画像上に8連結で生成できるすべてのシームパターンのうち、どれにはめ込めば最も自然であるかを求める図7、図8参照。以下にシーム位置推定法を具体的に説明する。ここでは垂直シームの場合を例にとって説明するが、縦と横を入れ替えることで水平シームの挿入にも適用することができる。シーム位置推定方法は、図4に示す処理動作によって求める。ただし、Gjはシーム上の画素の値j=0,1,2,N-1、Fi,jはシームをこれから挿入しようとする対象画像で、各i,jに対して、Fi,jは位置i,jの画素値、i=0,1,2,,M-1、j=0,1,2,,N-1である。Nはシームの長さであり、これは対象画像の縦の画素数に等しい。Mは対象画像の横の画素数である。まず、i,jの組合せを1つ選択しステップS1、シームの上からj番目の画素Gjを画像Fi,jの画素位置i,jに挿入した時のコストF’i,Jを計算するステップS2。そして、すべてのii=0,1,2,,M-1,M,jj=0,1,2,,N-1についてコストF’i,jを繰り返し計算するステップS3。ここで、コストF’i,jは画像の位置i,jにシームの画素Gjを挿入したとき、その部分が周囲とどれくらい滑らかにつながるかを表し、滑らかにつながるほど値が小さくなる関数である。コスト関数としての3つの1式、2式、3式が適用可能である。F’i,j=|GYj-FYi,j||GYj-FYi-1,j|1F’i,j=|GYj-FYi,j||GYj-FYi-1,j||GUj-FUi,j||GUj-FUi-1,j||GVj-FVi,j||GVj-FVi-1,j|2F’i,j=|GYj-FYi,j||GYj-FYi-1,j||GYj-FYi,j-1||GYj-FYi-1,j-1||GYj-FYi,j1||GYj-FYi-1,j1|3ここで、GYjとFYi,jはそれぞれ、シームGj、画像Fi,jの輝度信号の値、GUj,FUi,j,GVj,FVi,jは色差信号の値である。また、シームを画像の左端または右端に挿入するときのコスト関数の記述を簡単にするために、FX-1,j=FX0,j、FXM,j=FXM-1,jとして、1式、2式、3式を計算する。ここで、FXi,jはFYi,jまたはFUi,jまたはFVi,jである。次に、F’i,jを画像とみなし、シームGjを削除した時と同じ方法、すなわち、エネルギー関数などシームカービングに用いるパラメータや評価関数の値にシームGjを削除した時と同じ値を用いてシームカービングを行い、コスト最小パスを求めるステップS4。シームカービングによるコスト最小パスの定義とその求め方は、例えば、非特許文献1に示されており、公知であるのでここでは詳細な説明を省略する。続いて、求められたコスト最小パスがシーム画素を入れるべき位置として出力するステップS5。次に、図1を参照して、同実施形態による画像符号化装置エンコーダ及び画像復号装置デコーダの構成を説明する。この画像符号化装置と画像復号装置は、前述したシーム位置推定を用いたスケーラブルエンコーダおよびデコーダであり、コンピュータ装置によって構成する。デコーダは基本階層である非線形縮小画像と、拡張階層としての削除シームの画素値情報を用いて任意のアスペクト比の画像を復元し、エンコーダは非線形縮小画像を基本階層とし、拡張階層としての情報は削除シームの画素値情報だけを符号化する。図1は同実施形態の構成を示すブロック図である。図1において、符号1は、原画像を圧縮符号化して出力するエンコーダである。符号11は、原画像fを入力して、シームカービング処理を行って、非線形縮小画像基本階層と、削除したシームの画素情報拡張階層とを出力するシームカービング処理部である。符号12は、非線形縮小画像を圧縮符号化して符号化された基本階層Fを出力する圧縮符号化部である。符号13は、削除したシームの画素情報を圧縮符号化して符号化された拡張階層Gを出力する圧縮符号化部である。符号2は、圧縮符号化された画像を復号して出力するデコーダである。符号21は、符号化された基本階層Fを入力して、復号を行って、非線形縮小画像を出力する復号部である。符号22は、符号化された拡張階層Gを入力して、復号を行って、削除したシームの画素情報を出力する部分復号部である。符号23は、非線形縮小画像と削除したシームの画素情報とを合成して出力する合成部である。次に、図1に示すエンコーダ1の処理動作を説明する。原画像fi,j,i=0,1,2,,M-1,j=0,1,,N-1はエンコーダ1への入力画像で、横幅がM画素、高さがN画素である。エンコーダ1に入力された画像データは、シームカービング処理部11によって、M’本のシームが削除され、横幅がM-M’画素の画像Fi,ji=0,1,2,,M-M’-1,j=0,1,,N-1になる。M’は表示される非線形縮小画像の最小サイズによって決まる。そして、Fi,jは圧縮符号化部12によって、基本階層のデータとして符号化される。基本階層である非線形縮小画像は、通常の画像データと類似の統計的性質を保持していると考えられることから、JPEGやJPEG-LSなど通常の自然画像で利用される圧縮方法をそのまま適用する。また、削除されたM’本のシームは圧縮符号化部13によって、画素値のみが符号化される。最後からi番目に削除されたシームの上からj番目の画素の画素値をGi,ji=0,1,2,,M’-1,j=0,1,,N-1として削除シーム全体を表す。ここでGi,jは、圧縮符号化部13によって拡張階層のデータとして符号化される。シームに沿った隣どうしの画素は原画像では8近傍に存在する画素であるので高い相関性を示すと考えられる。したがって、シーム上の画素順にDPCMあるいは1次元DCTを施すことで圧縮を行うことが可能である。ここでは、縦のシームについて述べたが、縦と横を入れ替えることで水平シームの挿入にも適用することができる。さらに、縦と横の両方のシームを削る場合にも容易に拡張することができる。縦方向のシームをM’本、横方向のシームをN’本削除するとする。この場合、非特許文献1による方法で順序を決めてシームの削除を行い、縦のシームを、縦方向のシームのうち最後からi番目に削除されたものの上からj番目の画素の画素値をG1I,j、i=0,1,2,,M’-1,j=0,1,,N-1、横方向のシームを、横方向のシームのうち最後からi番目に削除されたものの上からj番目の画素の画素値をG2i,j、i=0,1,2,,M-1,j=0,1,,N’-1とする。また、シームの削除の順序を保存するための関数αi,i=0,1,2,,M’N’-1、を生成する。αi=0または1であり、i番目に削除されたシームが縦のシームの場合αi=0、横方向のシームの場合、αi=1となるようにする。G1、G2、αを合わせて削除シームの画素情報としてエンコーダ1から出力する。次に、図2を参照して、図1に示すデコーダ2の処理動作を説明する。デコーダ2には、符号化された基本階層のデータFi,jと符号化された拡張階層のデータGi,jが入力される。基本階層の符号化データは、復号部21によって復号されてFi,jが復元する。これをシーム挿入対象画像FとするステップS11。一方、拡張階層は部分復号部22によって必要なシームの画素を復号するステップS12。Fi,j、i=0,1,2,,M-M’-1,j=0,1,,N-1にシームを挿入して、サイズが横X画素、縦N画素の画像を得るには、最後に削除されたX-M-M’本のシームが必要であるので、G0,j,G1,j,、GX-MM’-1,jの値を復号するステップS13。基本階層の画像FにX-M-M’本のシームを挿入することで画像が合成され、X画素×N画素の画像が復号される。次に、合成部23は、復号されたG0,jをGjとして、図4に示す処理動作によってFi,jの中のG0,jの挿入位置を推定しステップS14、G0,jをFi,jの推定位置に挿入するステップS15。挿入後の画像を新たにFi,jとするステップS16。横幅は1画素増えて、i=0,1,2,,M-M’となる。そして、目的の解像度に達したか否かを判定しステップS17、達していなければ、ステップS13~S16の処理動作を繰り返し、最後に、Fi,j,i=0,1,2,,X-2の中のGX-MM’-1,jの挿入位置を推定し、GX-MM’-1,jをFi,jの推定位置に挿入する。これによって、X画素×N画素の画像が復元されることになる。そして、デコーダ2は、この復元画像を出力するステップS18。次に、図3を参照して、図2に示す処理動作の変形例を説明する。図3に示す処理動作が、図2に示す処理動作と異なる点は、ステップS12を削除するとともに、ステップS13に代えて、ステップS13aを設けた点である。図2、図3に示す処理動作においては縦と横を入れ替えることで水平シームの挿入にも適用することがでる。また、縦と横の両方のシームを削る場合にもそのまま適用できる。挿入するシームがi番目とすると、αi=0のとき縦方向のシームを挿入することになるため、G1i,jのなかの未挿入の最後に削除したシームが、図3における拡張階層中の未挿入のシームのうち最後に削除されたシームGとなるステップS13a。また、αi=1のとき横方向のシームを挿入することになるため、G2i,jのなかの未挿入の最後に削除したシームが、図3における拡張階層中の未挿入のシームのうち最後に削除されたシームGとなる。このように、画像のアスペクト比をスケーラブルに変更して符号化し、符号化されたデータを伝送し、伝送されたデータを用いて、スケーラブルに任意のアスペクト比で画像を復元する画像符号化装置及び画像復号装置において、アスペクト比をスケーラブルに変更できることを可能にするために必要なデータを従来よりも減少させ、また、復元時に従来よりも高画質の画像を復元することが可能になる。以上説明したように、符号化側で削除したシームの位置は、復号側でシームの画素値を元に推定するようにしたため、シームの位置情報は伝送が不要となり、伝送データ量を削減することができる。また、削除した画素は画素値を推定するのではなく、画素値そのものを伝送するため、位置がわかれば正しい画像を復元できるため、復元した画像の品質を高品質とすることができる。また、削除位置推定には、シームを画像の各位置に挿入したときのコスト関数全体を一つの画像とみなして、もともとの画像からのシーム削除と同じ方法で、削除位置を決定するようにしたため、推定精度が良くなり、シームの削除位置が精度高く推定することができる。なお、図1における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像の符号化処理復号処理を行ってもよい。なお、ここでいうコンピュータシステムとは、OSや周辺機器等のハードウェアを含むものとする。また、コンピュータシステムは、ホームページ提供環境あるいは表示環境を備えたWWWシステムも含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリRAMのように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する伝送媒体は、インターネット等のネットワーク通信網や電話回線等の通信回線通信線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル差分プログラムであってもよい。"