"複数のカメラで撮影することにより得られた複数の画像データを符号化する画像処理装置であって、前記メインカメラで撮影することにより得られた第1画像データを符号化する符号化手段と、前記撮影に適用するズーム倍率、露出、絞りの少なくともいずれかのカメラパラメータを用いて、前記第1の画像データから、サブカメラで撮影することにより得られた第2画像データを予測し、予測画像データを生成する予測手段と、前記第2画像データを、該第2画像データと前記予測画像データとの差分データを生成することにより符号化する差分符号化手段とを有することを特徴とする画像処理装置。請求項1の画像処理装置によって符号化された第1画像データおよび差分データを用いて前記第2画像データを復号する画像処理装置であって、前記符号化された第1画像データを復号する復号手段と、前記復号された第1画像データと前記カメラパラメータに基づいて、前記第2画像データを予測し、予測画像データを生成する予測手段と、前記予測画像データと前記復号された差分データとに基づいて、復号された第2画像データを生成する復号手段とを備えることを特徴とする画像処理装置。更に、前記符号化された第1画像データおよび差分データおよび前記カメラパラメータを共に記録する記録手段を備えることを特徴とする請求項1乃至2の何れか1項に記載の画像処理装置。前記予測手段は、アフィン変換パラメータ、階調変換カーブ、フィルタインパルス応答の少なくともいずれかのパラメータを用いて、前記第1の画像データから、サブカメラで撮影することにより得られた第2画像データを予測し、予測画像データを生成することを特徴とする請求項1に記載の画像処理装置。コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項1に記載の画像処理装置として機能させるコンピュータプログラム。請求項5に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。複数のカメラで撮影することにより得られた複数の画像データを符号化する画像処理装置の制御方法であって、前記画像処理装置は、前記メインカメラで撮影することにより得られた第1画像データを符号化する工程と、前記撮影に適用されるズーム倍率、露出、絞りの少なくともいずれかのカメラパラメータを用いて、前記第1の画像データから、サブカメラで撮影することにより得られた第2画像データを予測し、予測画像データを生成する工程と、前記第2画像データを、該第2画像データと前記予測画像データとの差分データを生成することにより符号化する工程とを備えることを特徴とする制御方法。デジタルカメラにおいてズーム倍率、露出、絞りを変化させる場合、複眼カメラの各画像は画角だけでなく階調やピントなども異なる。したがって、画像の画角が一致する共通部分においても色や周波数特性が異なる。本発明は上記従来例に鑑みてなされたものであり、メインカメラをサブカメラを備える複眼カメラによる撮影画像の符号化において、カメラのズーム倍率や露出や絞りの変化も考慮した具体的な符号化手法を提案する。上記課題を解決するために、本発明の画像処理装置によれば、複数のカメラで撮影することにより得られた複数の画像データを符号化する画像処理装置であって、前記メインカメラで撮影することにより得られた第1画像データを符号化する符号化手段と、前記撮影に適用するズーム倍率、露出、絞りの少なくともいずれかのカメラパラメータを用いて、前記第1の画像データから、サブカメラで撮影することにより得られた第2画像データを予測し、予測画像データを生成する予測手段と、前記第2画像データを、該第2画像データと前記予測画像データとの差分データを生成することにより符号化する差分符号化手段とを有することを特徴とする。本発明によれば、メインカメラとサブカメラを備える複眼カメラによる撮影画像の符号化において、カメラのズーム倍率や露出や絞りなどの変化も考慮した、効率良い符号化が行える。<実施例1>図1は本発明の画像処理装置の構成を示すブロック図である。本発明の画像処理装置は、画像の撮像記録機能と、記録した画像の再生機能とを有するため構成が複雑となる。そこで図を簡単にするため、図1aの撮像系のブロック図と、図1bの再生系のブロック図とに分けて示す。また本発明の撮像装置は、撮像部101と撮像部102の2つの撮像部と画像処理系を有する。これらはそれぞれが独立してカメラパラメータズーム、露出、ピントを調整可能であり、また2つの撮像画像を同時に記録することができる。以下では撮像部101からの画像をメインカメラ画像と呼び、撮像部102からの画像をサブカメラ画像と呼ぶこととする。撮像部101および撮像部102は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、iRカットフィルタ、カラーフィルタ、及び、CMOSやCCDなどのセンサなどから構成され、被写体の光量を検知する。A/D変換部103およびA/D変換部107は、被写体の光量をデジタル値に変換する。信号処理部104および信号処理部108は、上記デジタル値にデモザイキング処理、ホワイトバランス処理、ガンマ処理などを行い、デジタル画像を生成する。エンコーダ部105は、上記デジタル画像を画像圧縮フォーマットに変換する処理を行う。サブカメラ画像推定部106は、信号処理部104からのデジタル画像に対し、画像の回転とスケーリング、階調補正、フィルタリングを行い、サブカメラ画像を推定予測する。差分画像生成部109は、ピクセル毎に信号処理部108からの画素値からサブカメラ画像推定部106からの画素値を減じ、差分データを生成する。エンコーダ部110は、上記差分データを符号化し、所定の画像圧縮フォーマットに変換する処理を行う。上記予測による差分データの生成を伴う符号化は、いわゆる予測符号化差分符号化に相当する。メディアインターフェース111は、112のメディア例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリにつなぐためのインターフェースである。デコーダ部121とデコーダ部124は、画像圧縮フォーマットをデジタル画像データに変換する処理を行う。ポストフィルタ122とポストフィルタ126は、ノイズ除去処理、エッジ強調処理、色階調補正処理などを行う。サブカメラ画像推定部123はデコーダ121からのデジタル画像に対し、画像の回転とスケーリング、階調補正、フィルタリングを行い、サブカメラ画像を推定予測する。画像合成部123は、ピクセル毎にデコーダ121からの画素値とサブカメラ画像推定部123からの画素値とを加算し、合成映像を生成する。CPU113は、各構成の処理全てに関わり、ROM114やRAM115に格納された命令を順に読み込み処理を実行する。そして、システムバス120を介して各構成を制御する。また、ROM114とRAM115は、その処理に必要なプログラム、データ、作業領域などをCPU113に提供する。撮像系制御部116は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、CPU113から指示された撮像系の制御を行う。操作部117は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。表示制御部118は、信号処理部104および信号処理部108から受け取った撮影画像、あるいはポストフィルタ122およびポストフィルタ126から受け取った再生画像について、スケーリングを施して選択表示する。また、文字やグラフィックあるいはユーザーインタフェース画像を生成し、撮影画像や再生画像に重ねた画像を生成する。表示部119は、液晶ディスプレイなどの表示機器であり、表示制御部118からの画像表示を行う。上記構成において、電源がONされ、CPU113が操作部117を通して撮影モード設定を検知すると、上記撮像部のシャッターをオープンし、信号処理部104並びに108からの画像を表示部119に表示する。そして撮像部101もしくは撮像部102に対するズーム、絞り、露出の調整をCPU113が操作部117から検知する毎に、後述の処理に基づいてサブカメラ画像推定部106に対する処理パラメータを算出する。算出されたサブカメラ画像推定用処理パラメータは、システムバス120を介してサブカメラ画像推定部106に設定される。撮影モードの状態でCPU113が操作部117を通して画像撮影を検知すると、撮像部101からのメインカメラ画像は、A/D変換部103からエンコーダ部105までの処理を経て所定圧縮フォーマットに変換される。また、撮像部102からのサブカメラ画像は、A/D変換部107からエンコーダ部110までの処理を経て所定圧縮フォーマットに変換される。所定圧縮フォーマットに変換された画像データと、サブカメラ画像部でのサブカメラ画像推定用の処理パラメータとは、メディアインターフェース111を通してメディア112に記録する。サブカメラ画像推定部106およびサブカメラ画像推定部に123の詳細、サブカメラ画像推定用パラメータの詳細、CPU107におけるサブカメラ画像推定用処理パラメータの算出処理の詳細については後述する。本構成により、例えば図2の様なメインカメラ画像とサブカメラ画像とが撮影される。CPU113が操作部117を通して画像再生を検知すると、メディア112に格納されたサブカメラ画像推定用の各種処理パラメータが読み込まれ、サブカメラ画像推定部123に設定される。所定の圧縮フォーマットで記録されたメインカメラ画像データは、デコーダ121とポストフィルタ122の処理により、表示用の画像に変換される。また、所定圧縮フォーマットで記録されたサブカメラ画像データは、デコーダ124からポストフィルタ126までの処理を経て表示用の画像に変換される。変換された画像は、表示制御部118を経て表示部119に表示される。図3はエンコーダ105並び110の構成の一例である。ブロック形成器301は符号化単位である8画素×8画素のブロックに分割するブロック形成器である。DCT変換器302は、形成されたブロック単位で二次元DCT変換を行う。量子化器303はDCT変換器130の出力を、所定の量子化テーブルに基づいて量子化する。符号器304は、量子化結果を1次元に整列し、0ラン長と値に対して符号を割り当て符号化する。図4は、デコーダ121およびデコーダ124の構成の一例である。符号メモリ401は、画像の符号化データを一旦格納するメモリである。復号器402は1次元の符号化データから二次元量子化データを復号する。403は逆量子化器であり、二次元量子化データから二次元DCT値を復元する。402は二次元DCT値に対して二次元逆DCT変換を行って8画素×8画素のブロック画像を復元する、逆DCT変換器である。メモリ405は再生した画像データを一旦格納するメモリである。画像データはメモリ405よりラスタスキャン順で出力される。図5は、本実施例におけるサブカメラ画像推定部106およびサブカメラ画像推定部123の構成である。これら推定部によって、サブカメラで撮影された画像を予測し、予測画像データを生成する。アフィン変換部501は、パラメータ算出部505から設定されたアフィン変換パラメータに基づいて画像に対して拡大と平行移動とを施すことで、サブカメラの画角の画像を推定して画角推定画像を出力する。例えば、図2の様な撮影画像が得られる場合、図6の601の領域の画像をメインカメラ画像より切り出して拡大することに相当する。階調変換部502では、パラメータ算出部505から設定された階調補正カーブを用いて画角推定画像に対して階調変換を施すことで、サブカメラの階調の画像を推定した階調推定画像を出力する。フィルター部503は、パラメータ算出部505から設定されたフィルタインパルス応答を用いて階調推定画像に対してフィルタリングを行い、サブカメラ推定画像を出力する。模式的に図に示すと、図6のサブカメラ推定画像の様に図2のサブカメラ画像に近似した画像となる。補正量記憶部504は、サブカメラ画像推定部の各構成に設定するアフィン変換パラメータ、階調補正カーブ、フィルタインパルス応答を、サブカメラ画像推定用パラメータカメラパラメータの一部としてあらかじめ記憶する。パラメータ算出部505は、サブカメラ画像推定部の各構成に設定するアフィン変換パラメータ、階調補正カーブ、フィルタインパルス応答を、サブカメラ画像推定用パラメータから算出する。本実施例におけるサブカメラ画像推定用パラメータは、メインカメラとサブカメラのズーム倍率、メインカメラとサブカメラの露出、メインカメラとサブカメラの絞りである。パラメータ算出部505におけるアフィン変換パラメータの算出は、メインカメラのズーム倍率とサブカメラのズーム倍率を入力とする二次元LUTより、拡大量と平行移動量を補正量記憶部504から読み出すことで実現する。また階調補正カーブの算出は、メインカメラの露出とサブカメラの露出を入力とする二次元LUTより、階調変換カーブの制御点を補正量記憶部504から読み出すことで実現される。階調変換カーブは制御点をスプライン補間することで生成する。フィルタインパルス応答は次の様に算出する。まず、ズーム倍率と絞りを入力とする二次元LUTからメインカメラのPSFPointSpreadFunction、並びにサブカメラのPSFをそれぞれ読み出す。両PSFをフーリエ変換した後にサブカメラPSFの周波数応答をメインカメラPSFの周波数で割り、さらに逆フーリエ変換することで設定すべきフィルタインパルス応答とする。CPU113におけるサブカメラ画像推定用処理パラメータの算出処理は、CPU113が検知した撮像部101と撮像部102でのズーム、絞り、露出調整に基づいて、現在のズーム倍率と露出と絞りとを算出することで行う。以上本実施例によれば、メインカメラ画像とサブカメラ画像を記録する際、サブカメラ画像についてはメインカメラ画像から推定したサブカメラ推定画像との差分データだけを記録する。またメインカメラ画像とサブカメラ画像とを再生する際も、サブカメラ画像についてはメインカメラ画像から推定したサブカメラ推定画像に差分データを加算することで再生する。このため記録すべき画像の情報量を削減できる。また、画像再生時にも良好な画像が得られる。<実施例2>本実施例は、第1実施例に対して実際の画像に基づくサブカメラ画像推定用パラメータを行うことによりサブカメラ画像推定の精度向上を図ったものである。以下、第1実施例からの変更箇所であるサブカメラ画像推定部106並びに123、サブカメラ画像推定用パラメータ、CPU113におけるサブカメラ画像推定用処理パラメータの算出処理について説明する。図7は本実施例におけるサブカメラ画像推定部106およびサブカメラ画像推定部123の構成である。アフィン変換部701は、パラメータ設定部704を通して設定されたアフィン変換パラメータに基づいて画像に対して拡大と平行移動とを施し、サブカメラの画角の画像を推定した画角推定画像を出力する。階調変換部702では、パラメータ設定部704を通して設定された階調補正カーブを用いて画角推定画像に対して階調変換を施し、サブカメラの階調の画像を推定した階調推定画像を出力する。フィルター部703は、パラメータ設定部704を通して設定されたフィルタインパルス応答を用い、階調推定画像に対してフィルタリングを行うことでサブカメラ推定画像を出力する。パラメータ設定部704は、サブカメラ画像推定部の各構成に設定するアフィン変換パラメータ、階調補正カーブ、フィルタインパルス応答を、サブカメラ画像推定用パラメータに基づいて設定する。本実施例におけるサブカメラ画像推定用パラメータは、アフィン変換パラメータ、階調補正カーブ、フィルタインパルス応答そのものであり、パラメータ設定部704は値を適切な構成部に設定するだけの役割を持つ。CPU113でのサブカメラ画像推定用処理パラメータの算出処理として、撮像部101もしくは撮像部102に対するズーム、絞り、露出の調整を操作部117から検知する毎に、図8のフローチャートが実行される。図8において、ステップS801では、サブカメラ画像とメインカメラ画像を一旦RAM115に転送して記憶する。ステップS802では、検知した撮像部102のズーム、絞り、露出調整に基づき、現在のズーム倍率と露出と絞りとを算出する。ステップS803では、メイン/サブのカメラのズーム倍率とサブカメラ画像とに基づいて、アフィン変換パラメータを算出する。また、算出したアフィン変換パラメータを用いてメインカメラ画像をアフィン変換する。このステップの処理の詳細については図9のフローチャートを用いて後述する。ステップS804では、メイン/サブのカメラの露出とサブカメラ画像とに基づいて、階調補正カーブを算出する。また算出したアフィン変換パラメータを用い、ステップS803で算出したアフィン変換画像の階調を変換する。このステップの処理の詳細については図10のフローチャートを用いて後述する。ステップS805では、サブカメラ画像に基づいてフィルタインパルス応答を算出する。このステップの処理の詳細については図12のフローチャートを用いて後述する。ステップS806では、算出したサブカメラ画像推定用パラメータをサブカメラ画像推定部に設定する。ステップS807では、サブカメラ画像とサブカメラ推定画像の差分画像差分データを算出し、差分画像の特徴に基づいて量子化パラメータ等の符号化パラメータを決定し、エンコーダに設定する。以下では、ステップS803のアフィン変換パラメータ算出処理である図9のフローチャートについて説明する。図9において、ステップS901では、ROM114に記憶されている二次元LUTより、メインカメラのズーム倍率とサブカメラのズーム倍率を入力として拡大量と平行移動量を読み出すことで、アフィン変換パラメータの初期推定値を求める。なお、二次元LUTは撮像部の特性に基づいてあらかじめ計算され、ROM114に格納されている。ステップS902では、サブカメラ画像を取得してグレイ画像に変換し、サブカメラグレイ画像としてRAM115に記憶する。ステップS903では、メインカメラ画像を取得してグレイ画像に変換すると共に、グレイ画像にアフィン変換を施してアフィン変換画像としてRAM115に記憶する。ステップS904では、アフィン変換画像とサブカメラグレイ画像の位相限定相関を求め、平行移動量を算出する。ここでアフィン変換画像の二次元フーリエ変換をI1、サブカメラグレイ画像の二次元フーリエ変換をI2とすると、位相限定相関はを逆フーリエ変換することで求められる。この位相限定相関の相関ピーク座標が平行移動量に対応する。ステップS905では、算出した平行移動量を用いてアフィン変換画像を平行移動して調整する。ステップS906では、平行移動したアフィン変換画像と、サブカメラグレイ画像とに対してLog-Polar変換を施し、一旦RAM115に画像を記憶する。次にLog-Polar画像に対し、ステップS1104と同様にて位相限定相関を算出してスケーリング量を算出する。ステップS907では、ステップS904で算出した平行移動量とステップS906で算出したスケーリング量に基づいて、アフィン変換パラメータの初期推定値を修正し、RAM115に記憶する。ステップS908では、算出したアフィン変換パラメータを用いてメインカメラ画像をアフィン変換し、RAM115に記憶する。以下では、ステップS804の階調補正カーブ算出処理である図10のフローチャートについて説明する。ステップS1001では、ROM114に記憶されているLUTからメインカメラの露出を入力として階調変換カーブの制御点を読み出し、スプライン補間による階調変換カーブを算出する。続いてこのカーブの逆関数を算出する。ステップS1002では、ROM114に記憶されているLUTからサブカメラの露出を入力として階調変換カーブの制御点を読み出し、スプライン補間による階調変換カーブを求める。ステップS1003では、ステップS1001で算出した逆関数とステップS1002で算出した階調カーブとを乗じて、階調補正用の階調カーブの初期推定値を算出する。ステップS1004では、サブカメラ画像とステップS803で算出したメインカメラのアフィン変換画像とから、複数の所定領域に対する画素平均値を算出する。ここで例えば図11の様に、所定領域はアフィン変換画像とサブカメラ画像とで同位置となるように設定する。1101はサブカメラ画像に対する画素平均値算出領域、1102はアフィン変換画像に対する画素平均値算出領域である。ステップS1005では、メインカメラ画像の画素平均値に階調変換を施した結果とサブカメラ画像の画素平均との差分が最小となるよう、階調カーブを最適化する。この最適化は、例えば特開2004-153684の様にDLSDumedLeastSquare法を用いて実現される。ステップS1006では、最適化した階調カーブから所定の制御点を抽出し、その座標を階調補正カーブの情報としてRAM115に記憶する。ステップS1007では、算出した階調カーブを用い、ステップS803で算出したメインカメラのアフィン変換画像を階調変換し、RAM115に記憶する。以下では、ステップS804のフィルタインパルス応答算出処理である図12のフローチャートについて説明する。ステップS1201では、ステップS804で算出したメインカメラの階調変換画像を取得し、フーリエ変換を施した上でそのパワーを取る。ステップS1202では、サブカメラ画像を取得し、フーリエ変換を施した上でそのパワーを取る。ステップS1203では、サブカメラ画像のパワースペクトルを階調変換画像のパワースペクトルで割り、さらにそのルートを取ってPSF特性を算出する。ステップS1204では、階調変換画像のフーリエスペクトルに基づき、PSF特性を修正する。まず階調変換画像のフーリエスペクトルより、所定閾値以上となる有効周波数領域を定める。次にこの有効周波数領域に基づき、PSF特性が有効周波数領域外で連続的に減少して0となるよう修正する。有効周波数領域外の関数近似はガウス関数を用いる。図8にこれらの関係の一例を示す。図8aは階調変換画像のフーリエ変換の振幅成分、図8bは修正前のPSF特性、図8cは修正後のPSF特性である。ステップS1205では、PSF特性を逆フーリエ変換しインパルス応答を求め、所定の応答長となるように時間窓を乗ずる。ステップS1206では、インパルス応答の総和が1となるよう、応答を修正する。ステップS1207では、修正したインパルス応答をRAM115に記憶する。以上本実施例によれば、実際の画像に基づくサブカメラ画像推定用パラメータを行うことにより、メインカメラ画像から推定したサブカメラ推定画像とサブカメラ画像との差分データ量を削減できる。結果、再生画像の画質を向上させることが出来る。また、記録すべき画像の情報量を削減することも出来る。<実施例3>本実施例は、第1実施例が静止画符号化を対象としていたのに対し、エンコーダを動画符号化にデコーダを動画復号化に置き換えることで、動画像にも適用することを示したものである。以下、第1実施例と異なる部分について主に説明する。図14はエンコーダ105並び110の構成の一例である。1401は符号化単位の8×8のブロックに分割するブロック形成器である。1402はフレームの符号化モードを予め決めた周期にしたがって、I,P,Bのフレームモードを適宜選択するフレームモード設定器である。1403は差分器である。1404はDCT変換を行うDCT変換器である。1405はDCT変換器130の出力を量子化する量子化器である。1406は符号器であり、量子化結果を1次元に整列し、0ラン長と値に対して符号を割り当て、符号化する。1407は逆量子化を行う逆量子化器であり、1408は逆DCT変換を行う逆DCT変換器である。1409は加算器であり、1410は再生された画像データを格納するフレームメモリである。1411は入力とフレームメモリ1410の内容から動き補償を行う動き補償器である。動き補償器は、フレームモード設定器1402がI-フレームを指示する場合、動作せずに動き補償予測値として0を出力する。また、フレームモード設定器1402がP-フレームまたはB-フレームを指示する場合、動き補償器140を動作させ、フレームメモリ1410から動き補償に必要な画像データを適宜読み出す。そして動き補償を行うか否かを判定し、動き補償を行う場合はその動き補償予測値を差分器1403、加算器1409に出力し、動き補償に用いる動きベクトルを符号器1406に入力する。図15はデコーダ105並び110の構成の一例である。1501は画像の符号化データを格納する符号メモリである。1502は符号化データを復号する復号器である。1503は逆量子化器である。1504は逆DCT変換器である。1505は加算器である。1506と1507は再生した画像データを格納するフレームメモリである。1508は動き補償器である。I-フレームの時は動き補償器1508は動作せず、0を出力する。P-フレームとB-フレームの時は動き補償器1508は動作し、動き補償予測値を出力する。<変形例>なお、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェアコンピュータプログラムを、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータまたはCPU等が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。"