"複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、前記フォーカススタック像を画像先鋭化処理して任意のボケ画像を生成することを特徴とする画像生成方法。請求項1に記載の画像生成方法において、前記ボケ処理は、任意のボケカーネルを用いたコンボリューションをする処理を含むことを特徴とする画像生成方法。請求項1又は2に記載の画像生成方法において、前記画像先鋭化処理は、前記フォーカススタック像に対して予め決めたカーネルを用いたデコンボリューション処理を含むことを特徴とする画像生成方法。請求項2に記載の画像生成方法において、前記任意のボケカーネルは、所望のピント位置から比例したボケ半径の円形開口、又はガウシアンを表す関数となっていることを特徴とする画像生成方法。請求項3に記載の画像生成方法において、前記カーネルを用いたデコンボリューション処理は、撮影カメラの3次元のボケ関数である3次元PSFの前記撮影カメラの光軸方向の積分結果を表す、2次元分布関数であるフォーカススタックPSFpointspreadfunctionカーネルと、前記ボケ処理部でコンボリューション処理を行う時に用いる前記任意のボケカーネルのフォーカススタックに相当する、フォーカススタックボケカーネルとの2つのカーネルを用いたデコンボリューション処理を含むことを特徴とする画像生成方法。請求項1に記載の画像生成方法であって、前記複数の合焦状態の画像は、複数のカメラ撮像素子を有する複数の撮像部から構成される多眼カメラで生成される画像であり、合成開口法によるピント合わせによってピント合わせが行われた結果得られる複数の合焦状態の画像であることを特徴とする画像生成方法。請求項5に記載の画像生成方法であって、前記撮影カメラの3次元のボケ関数である3次元PSFは多眼カメラのカメラ配置を表すことを特徴とする画像生成方法。請求項1に記載の画像生成方法において、前記複数の合焦状態の画像は、複数のカメラ撮像素子を有する複数の撮像部から構成される多眼カメラで生成される画像であり、視差視差=瞳面上の2点間または複数カメラの光軸間の距離×結像倍率が等間隔となる被写体までの距離において得られた画像を用いることを特徴とする画像生成方法。請求項1に記載の画像生成方法において、前記複数の合焦状態の画像は、複数のカメラ撮像素子を有する複数の撮像部から構成される多眼カメラで生成される画像であり、視差視差=瞳面上の2点間または複数カメラの光軸間の距離×結像倍率が前記撮像素子の画素ピッチの整数倍となる被写体までの距離において得られた画像を用いることを特徴とする画像生成方法。請求項1に記載の画像生成方法において、前記複数の合焦状態の画像は、複数のカメラ撮像素子を有する複数の撮像部から構成される多眼カメラで生成される画像であり、視差視差=瞳面上の2点間または複数カメラの光軸間の距離×結像倍率が、前記カメラ撮像素子から出力される出力画像の画素ピッチの整数倍となる被写体までの距離において得られた画像を用いることを特徴とする画像生成方法。請求項2に記載の画像生成方法において、前記任意のボケカーネルは、ピントを合わせたい被写体までの距離で瞳形状が最も絞られた点になっていることを特徴とする画像生成方法。入力される複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理を行うボケ処理部と、前記ボケ処理部でボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出するフォーカススタック像算出部と、前記フォーカススタック像を画像先鋭化処理して任意のボケ画像を生成する画像先鋭化処理部と、を備えたことを特徴とする画像生成装置。請求項12に記載の画像生成装置において、前記ボケ処理部は、任意のボケカーネルを用いたコンボリューション処理を行うことを特徴とする画像生成装置。請求項12又は13に記載の画像生成装置において、前記画像先鋭化処理部は、前記フォーカススタック像に対して予め決めたカーネルを用いたデコンボリューション処理を行うことを特徴とする画像生成装置。請求項14に記載の画像生成装置において、前記任意のボケカーネルは、所望のピント位置から比例したボケ半径の円形開口、又はガウシアンを表す関数であることを特徴とする画像生成装置。請求項14に記載の画像生成装置において、前記カーネルを用いたデコンボリューション処理は、撮影カメラの3次元のボケ関数である3次元PSFの前記撮影カメラの光軸方向の積分結果を表す2次元分布関数である、フォーカススタックPSFカーネルと、前記ボケ処理部でコンボリューション処理を行う時に用いる前記任意のボケカーネルのフォーカススタックに相当するフォーカススタックボケカーネルとの2つのカーネルを用いたデコンボリューション処理であることを特徴とする画像生成装置。請求項14に記載の画像生成装置であって、前記複数の合焦状態の画像は、複数のカメラ撮像素子を有する複数の撮像部から構成される多眼カメラで生成される画像であり、合成開口法によるピント合わせによってピント合わせが行われた結果得られる複数の合焦状態の画像であることを特徴とする画像生成装置。請求項14に記載の画像生成装置であって、前記撮影カメラの3次元のボケ関数である3次元PSFは多眼カメラの撮像部の配置を表すことを特徴とする画像生成装置。請求項12に記載の画像生成装置において、前記複数の合焦状態の画像は、複数のカメラ撮像素子を有する複数の撮像部から構成される多眼カメラで生成される画像であり、視差視差=瞳面上の2点間または複数カメラの光軸間の距離×結像倍率が等間隔となる被写体までの距離において得られた画像を用いることを特徴とする画像生成装置。請求項13に記載の画像生成装置において、前記任意のボケカーネルは、ピントを合わせたい被写体までの距離で瞳形状が最も絞られた点になっていることを特徴とする画像生成装置。コンピュータを、請求項12から20のうちのいずれか1項に記載の画像生成装置として機能させるためのプログラム。請求項21記載のプログラムを記録した記録媒体。複数の合焦状態の画像を取り込む撮像部と前記複数の合焦状態に相当する視差量の画像に対して、所望のピント位置に相当する視差値から視差量に比例したボケ半径の円形開口、又はガウシアン等の任意のボケカーネルを用いたコンボリューション処理を行うボケ処理部と、前記ボケ処理部でボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出するフォーカススタック像算出部と、予め決められている電子カメラの3次元のボケ関数である3次元PSFの前記電子カメラの光軸方向の積分結果を表す、2次元分布関数であるフォーカススタックPSFカーネルに基づき、前記フォーカススタック像をデコンボリューション処理して任意のボケ画像を生成する画像先鋭化処理部と、を備えたことを特徴とする電子カメラ。請求項23に記載の電子カメラであって、前記複数の合焦状態の画像を取り込む撮像部は、複数のカメラから構成される多眼カメラであり、合成開口法によるピント合わせによってピント合わせが可能であり、合成開口法により任意のピント位置にフォーカスがあった複数の合焦状態の画像を出力可能であることを特徴とする電子カメラ。請求項23に記載の電子カメラであって、前記電子カメラの3次元のボケ関数である3次元PSFは、多眼カメラに設けた撮像部の配置を表すことを特徴とする電子カメラ。請求項23に記載の電子カメラにおいて、前記撮像部は、二次元状に配列されている複数の撮影開口と、前記撮影開口の背後に配置されている複数の撮影レンズと、前記撮影レンズにより結像する被写体像を撮像する複数の撮像素子と、を備え、前記各撮影開口のx,y方向の間隔は、2値の疑似ランダム系列がM系列をなす周期パターンにそれぞれ設定されていることを特徴とする電子カメラ。請求項23に記載の電子カメラにおいて、前記撮像部は、二次元状に配列されている複数の撮影開口と、前記撮影開口の背後に配置されている複数の撮影レンズと、前記撮影レンズにより結像する被写体像を撮像する複数の撮像素子と、を備え、前記各撮影開口は円周上に配置されていることを特徴とする電子カメラ。請求項23又は24に記載の電子カメラにおいて、前記複数の撮影レンズにより結像される被写体像のピントが、前記撮像素子毎で均一なボケ量でずれるように前記各撮影レンズ、又は前記各撮像素子とのいずれか一方又は両方を撮影光軸方向に移動させるピントずらし手段を備えていることを特徴とする電子カメラ。請求項23から28のうちのいずれか1項に記載の電子カメラにおいて、前記フォーカススタック像生成部は、前記ボケ処理部でボケ処理を行った複数の画像に対して任意の視点の視差を加えた複数画像の強度和画像であるフォーカススタック像を算出し、前記画像先鋭化処理部は、算出したフォーカススタック像を任意の視点の視差を加えたフォーカススタックPSFカーネルに基づいてデコンボリューション処理を行って任意視点のボケ画像を生成することを特徴とする電子カメラ。複数の等間隔の視差量に対応する合焦状態の画像を取得し、これらの画像を3次元データとみなし、3次元デコンボリューション処理を行い、物体の強度分布を求め、求めた強度分布に任意のボケカーネルによる2次元コンボリューション処理を行い、前記2次元コンボリューション処理済みの画像を平面に投影して任意のボケ画像を生成することを特徴とする画像生成方法。複数の等間隔の視差量に対応する合焦状態の画像を取得する取得手段と、前記取得手段が取得した複数の画像を3次元データとみなし、3次元デコンボリューション処理を行って物体の強度分布を求める3次元デコンボリューション処理手段と、前記3次元デコンボリューション処理済みの画像に対して任意のボケカーネルによる2次元コンボリューション処理を行う2次元コンボリューション処理手段と、前記2次元コンボリューション処理済みの画像を平面に投影して任意のボケ画像を生成する生成手段と、を備えたことを特徴とする画像生成装置。合成開口法によってフォーカス画像を生成する画像生成方法であって、フォーカス位置ごとのPSF又はMTFを予め記憶しておき、前記合成開口法によりフォーカス画像を生成する時にフォーカス位置によるPSF又はMTFの変化を相殺するように画像処理を行うことを特徴とする画像生成方法。合成開口法によってフォーカス画像を生成する画像生成装置であって、フォーカス位置ごとのPSF又はMTFを予め記憶する記憶手段と、前記合成開口法によりフォーカス画像を生成する時にフォーカス位置によるPSF又はMTFの変化を相殺するように画像処理を行う画像処理手段と、を備えたことを特徴とする画像生成装置。視差又はピント位置をずらした複数の画像に基づいてデプスマップ情報画像の領域分割情報を取得し、前記デプスマップ情報の光軸方向の尺度を視差に置き換え、等間隔の視差量となるように前記デプスマップ情報をデータ化し、合成開口法により任意のピントに合わせた画像を領域分割するとともに、該分割された領域ごとの画像に対し、ピント位置からの視差量に応じたブラーカーネルボケ関数をコンボリューションし、コンボリューション後の画像を統合してボケ画像を生成することを特徴とする画像生成方法。視差又はピント位置をずらした複数の画像に基づいてデプスマップ情報を取得するとともに、前記デプスマップ情報の光軸方向の尺度を視差に置き換え、等間隔の視差量となるように前記デプスマップ情報をデータ化するデプスマップ情報取得変換手段と、合成開口法により任意のピントに合わせた画像を領域分割する領域分割手段と、前記分割された領域ごとの画像に対して、ピント位置からの視差量に応じたブラーカーネルボケ関数をコンボリューションするコンボリューション手段と、前記コンボリューション後の画像を統合してボケ画像を生成するボケ画像生成手段と、を備えたことを特徴とする画像生成装置。請求項12に記載の画像生成装置において、前記複数の合焦状態の画像は、複数のカメラ撮像素子を有する複数の撮像部から構成される多眼カメラで生成される画像であり、視差視差=瞳面上の2点間または複数カメラの光軸間の距離×結像倍率が前記撮像素子の画素ピッチの整数倍となる被写体までの距離において得られた画像を用いることを特徴とする画像生成装置。請求項12に記載の画像生成装置において、前記複数の合焦状態の画像は、複数のカメラ撮像素子を有する複数の撮像部から構成される多眼カメラで生成される画像であり、視差視差=瞳面上の2点間または複数カメラの光軸間の距離×結像倍率が、前記カメラ撮像素子から出力される出力画像の画素ピッチの整数倍となる被写体までの距離において得られた画像を用いることを特徴とする画像生成装置。しかしながら、このやり方では、多焦点画像群の画像ごとにボケ状態を変更する時に、大きな変換ノイズを発生するため、ピントの合っていない領域が汚いボケになり、良好な画像が得られなかった。それを改善するため、反復計算をすることも提案されているが、不十分であった。本発明は上記事情に鑑みてなされたものであり、ピントの合っていない領域が美しいボケになるよう任意のボケ画像を生成することができる画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラを提供することを目的とする。ことを目的とする。本発明を例示する画像生成装置の一態様は、入力される複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、算出したフォーカススタック像に画像先鋭化処理デコンボリューションを行って任意のボケ画像を生成するようにしたものである。本発明によれば、複数の合焦状態の画像に対して、予め任意のピント位置に設定したボケ処理をそれぞれ行い、これらボケ処理を行った複数の画像の強度和画像であるフォーカススタック像を算出し、算出したフォーカススタック像に画像先鋭化処理を行って任意のボケ画像を生成するため、ノイズの発生を抑えてピント領域外が美しいボケとなる良好なボケ画像を得ることができる。多眼カメラ10は、図1に示すように、16個の撮影開口11がカメラボディ12の前面に設けられている。各撮影開口11の奥には、撮影レンズ、及び撮像素子が配されており、これら撮影開口11、撮影レンズ、及び撮像素子等がカメラ部となる個眼撮像部を構成する。各撮像素子は、例えば低画素で、かつ消費電力の少ない撮像素子が用いられている。また、各撮影レンズの光軸は、略平行になっている。各撮像素子は、撮影レンズの光軸に対して撮像面が垂直になるように配されている。多眼カメラは、カメラボディ12の上面にシャッタボタン13、及び電源スイッチ14が配されており、1回のシャッタレリーズにより、視点の異なる16個の画像データを同時に取得し、これら画像データをパラメータに応じて画像処理をすることで、奥行き毎に鮮鋭度の調整焦点の調整、すなわち画面内の特定の被写体を意図的にぼかす処理を行って生成する任意焦点画像、ボケの強さや配置を調節処理して生成するボケ生成画像、及びこれらボケ生成画像と任意焦点画像との処理を組み合わせて生成する視点を付与した立体視用任意視点の任意焦点、任意ボケ生成画像を生成することも可能である。すなわち光軸方向の焦点位置、ボケの大きさ、視点の3つのパラメータを自由に選択可能なカメラを構成可能である。また、複数のカメラを用いることにより多画素化が可能で、高解像度画像データ、すなわち多画素化の画像データを生成することもできる。撮影開口11は、二次元状に配列されている。撮影開口11のx方向、及びy方向の間隔は、疑似ランダム系列であるM系列に従った所定の周期パターンに設定される。この場合、M系列の自己相関関数は、デルタδ関数に近く、ピーク以外では相関関数値が一定となる特徴を備えている。自己相関関数がデルタ関数的であるので、パワースペクトルがフラット周波数に依存せずに一定になる。このことはボケを生成する際に特定の周波数成分を強調することがなくなるので望ましい性質である。実験によれば、ブラーカーネルぼかし関数に円形開口を用いた場合、中抜けの矩形配置、方眼配置はボケが汚くなった。しかし、ブラーカーネルにガウス関数を用いた場合、カメラ配置にそれほど依存せずにきれいなボケが得られることが分かった。ブラーカーネルにガウス関数を用いる場合、カメラ配置にそれほど依存せずにきれいなボケが得られるので、隣接カメラ間の間隔が小さいほど離散的に見えるボケの間隔が小さくなり、きれいなボケとなるので、例えば円周上に等間隔またはランダムな間隔でカメラを配置すると総合的に最適なボケとなる可能性がある。方眼配置のカメラは、例えば[数1]に記載の式で表したように、5×5配列の配列として、16眼を90度ずつ回転させて4パターンで計算し[数1]に記載の式の左項、これらの強度平均像をとる。これは重み付けで考えると、[数1]に記載の式の右項に示すように、0.018~1までの重み付けとなる。[数1]に記載の式で表されるカメラ配置では、カメラごとの重み付けをすることと等価であるが、重み付けをガウシアンとしてもきれいなボケとなることが分かった。多画素化する場合の処理にはカメラの重み付けが均等であることが望ましいので、例えば[数1]に示すような4パターンのカメラ配置で多画素化をそれぞれ行い、最後にもう一回多画素化を行い、都合5回の多画素化を行うことで、カメラの重み付けとしては中心が高い、ガウシアン的な重みとすることができる。なお、ここでいうカメラは、多眼カメラに内蔵する、撮影レンズや撮像素子からなる個々の撮像部を含む。多画素化を考えなければ直接ガウシアンの重み付けとすることも容易でカメラ間隔=1σ標準偏差のガウシアンの場合、[数2]に示す式で表される。数列Xii=1~m、mは周期のM系列疑似ランダム数列は、一般的に、1以上の整数nに対して2n-1の周期mを持つ0と1の2値の数列であって、1つの周期mの中の数列の数は奇数で、0の数と1の数の差が1となる。よって、整数nと周期mとの組み合わせn,mとしては、3,7、4,15、5,31、6,63等がある。図2に示すように、例えば整数nが2で周期mが3の数列では、1,0,1となり、また、例えば整数nが3で周期mが7の数列では、1,1,1,0,1,0,0となり、さらに、例えば整数nが4で周期mが15の数列では、1,1,1,1,0,1,0,1,1,0,0,1,0,0,0となる。本実施形態では、例えば整数nが3で周期mが7の数列1,1,1,0,1,0,0を採用している。この場合には、図3に示すような二次元の配列パターンになる。このパターンは、○で示す位置が撮影開口11を配する位置になる。なお、この数列の作り方は、例えば著者が磯部隆で東京大学出版会から1968年2月初版発行、1971年1月第2刷が発行された相関関数とスペクトル-その測定と応用-の170頁~175頁に記載されている。ところで、撮影開口11の二次元配列の間隔は、M系列以外に、Q系列平方剰余系列、Gold系列、Walsh符号等、2値の疑似ランダム系列である所定の周期パターンに設定することもできる。また、撮影開口11の2次元方向の間隔を等間隔にしてもよい。しかし、詳しくは後述するフォーカススタック前の瞳サンプリング点にゼロ点が無い方が望ましいため、二次元方向の間隔がM系列の所定の周期パターンに設定するのが望ましい。撮影開口11の個数としては、16個16眼に限ることはない。図3で説明したM系列の応用例として、[数3]に記載の式で表されるカメラ配置では、例えば、5×5配列の配列として、16眼を90度ずつ回転させて4パターンで計算し[数3]に記載の式の左項、これらの強度平均像をとると、ボケがいっそう素直になることが分かった。これは重み付けで考えると、[数3]に記載の式の右項に示すように、0.25~1までの重み付けとなる。この場合の多画素化は、90度ずつで多画素化処理を別々に行い、最終的に強度平均を求めることが望ましい。カメラボディ12の背後には、図4に示すように、LCD15が配されている。LCD15は、透明なタブレット34とともにタッチパネルを構成する。タッチパネルには、スルー画像に重ねてメニューの文字や操作ボタン等の絵柄が表示され、タッチ操作により変倍操作、焦点面の指定、ボケパラメータ仮想口径の大きさ、形状、重み付けの選択等のパラメータ入力をする。各撮像素子20には、図5に示すように、AFE21、及びフレームメモリ22がそれぞれ接続されており、撮影レンズ23により結像する被写体像を撮像して画像信号をAFE21に出力する。ここで、符号40は個眼撮像部40を示す。AFE21は、周知のCDS相関二重サンプリング/AGCゲインコントロールアンプ回路、A/D、及び信号処理回路で構成されており、CPU24とともにTGから供給されるパルスに同期して動作する図示なし。信号処理回路は、デジタルの画像データを取り込み、画素欠陥補正やホワイトバランス補正、ガンマ補正などの補正を行う。CPU24は、撮像素子20の電荷蓄積時間電子シャッタを各々制御し、また、特定の撮像素子20から得られる画像データに基づいて被写体の輝度を測定し、この測定結果に基づいて全撮像素子20の電子シャッタの値を一定になるように変えて露出を制御する。AF部26は、シャッタボタンの半押し操作に応答して複数の画像データのうち少なくとも2つの画像データを取り込み、これら2つの画像データに基づいて両画像の相対的なずれ量を求め、求めたずれ量から複数の被写体に対する被写体距離を各々算出し、一つの合焦ドライバ27を制御して、被写体距離に応じた合焦位置に撮影レンズ23を移動させるとともに、残りの合焦ドライバ27を制御して、前記被写体距離に応じた合焦位置を基準として、残りの撮像レンズ23の合焦位置を、均一なボケ量でずれるように順々にずらしていく。なお、撮像素子20を移動させるか、もしくは、撮影レンズ23と撮像素子20との両方を移動させてピントをずらしても良い。AFの必要性について見積もったところ、厚さ3mmの薄型カメラを実現するには1/8インチ以下の光学サイズのセンサーを用いることが望ましい。これは、センサー対角長をDg、光路全長をLpとし、十分な収差特性のレンズ設計をすると、Lp0.9Dgとなるからである。多眼カメラの場合、最大でカメラ数倍の多画素化が行えるので、一つ一つのカメラモジュールは、最終的なカメラとしての出力画素よりも少なくてよい。多画素化のアルゴリズムにもよるが、最寄のセンサーの画素のデータを用いるなどのアルゴリズムを用いた場合、カメラ数の0.56倍以下の多画素化にとどめると生成画像に破綻がない。例えば6Mメガ、100万画素出力のカメラの場合、16眼を使った場合9倍程度の多画素化は容易である。その場合6Mの1/16×0.61/9より6M×1/9=0.67M画素以上の画素数のカメラモジュールであれば良い。1/8インチの像高のセンサーサイズで6Mを解像する光学系が必要である。具体的にはナイキスト波長でのMTFは最低10以上必要である。ナイキスト波長は、この場合1.169μmとなる。このためレンズのFナンバーは、1.4以下が必要である。6M出力のカメラの厚さを5mmにおさえる場合、センサーの呼び寸法は1/4インチで可能でレンズのFナンバーは2.8以下でよい。AFの有無を上記の3mm厚さ、5mm厚さのカードカメラについてレンズの収差を含めて検討したところ、カメラのピント位置を被写体までの距離2m程度に設定しておけば、被写体までの距離1mから無限遠までMTFの変化はナイキスト周波数で50以下の変化であり、パンフォーカスとみなせることが分かった。また、フォーカス位置に応じてMTFの変化分同時にPSFも変化する。を補うようにデコンボリューションすることも可能である。リフォーカス撮影後に任意の被写体距離にフォーカスすることする際に、距離に応じてMTFの劣化を補うことが可能である。すなわち、図75に示すように、フォーカス位置ごとのPSF又はMTFを予め記憶する記憶部40と、合成開口法によりフォーカス画像を生成する時にフォーカス位置によるPSF又はMTFの変化を相殺するように画像処理を行う画像処理部41と、を備えればよい。これら記憶部40及び画像処置部41はCPU42とともにバス43で接続されており、CPU42により統括的に制御される。なお、符号44は、多眼カメラ、スキャナ、及び外部入力部等、複数の画像を取り込むための画像取得部である。このように構成しても本発明によりピントはずれの像はぼけているので、ピントはずれの像が過補正になり、像が不自然になることはない。カメラモジュールのAF用アクチュエータは、被写体までの距離2mにフォーカスを設定する際に用いてもよい。これは1/8インチのセンサーサイズの像側の焦点調整がシビアでコンマ数ミクロンレベルの調整と安定性を求めるためである。ところで、一つの撮影レンズ23のピントを測距した基準の被写体距離に合わせるとともに、残りの撮影レンズ23に対しては前記合焦位置を基準にして均一なボケ量になるようピントを順にずらしていくピントずらし制御は難しい。そこで、AF部26としては、最短撮影距離から無限遠までの撮影距離域を個眼撮像部40の数で分割し、各分割位置に応じた撮影距離にピントが各々合うように各合焦ドライバ27を制御して、各撮影レンズ23を個別に移動させるのが好適である。なお、フォーカスを撮影事後に行わない場合には、絞りと撮影レンズ23とでパンフォーカスを構成してもよい。この場合には、AF部26等を省略することができる。ROM28は、各種プログラムやプログラムの実行に必要な設定値を予め記憶している。RAM29は、CPU24のワークメモリとして、また、各部の一時的なメモリとして使用される。これらCPU24、ROM28、RAM29、LCDドライバ33、I/F30、及び画像処理部25はバス32により接続されている。なお、撮影レンズ23をズームレンズ、又は焦点距離切り替えタイプのレンズとしてもよい。この場合には、変倍操作に同期して全ての撮影レンズ23を同じに変倍するように構成すればよい。CPU24には、タブレット34から各種の操作信号が入力される図示なし。CPU24は、1回のレリーズ操作に応答して焦点の異なる複数の画像データ多焦点画像データを各フレームメモリ22に同時に取り込む。多焦点画像データは、各フレームメモリ22に個別に取り込まれた後、画像処理部25に出力される。<3次元シフトインバリアントな結像>光学系による結像の点像PSFを光軸方向のデフォーカスによるボケも考慮すると、3次元のPSFを考える必要がある。物体も3次元で、アイソプラナティックな範囲ではシフトインバリアントな結像と見なせ、物体面のどこでも同じPSFで結像を表すことができる。例えば像空間xyzに像点p1,p2が存在する場合、これらの点に対して、PSFがコンボリューションされた状態が結像状態となる。一般に物体は凹凸があり、結像ではカメラから見える表面上の物点に対応する像点がそれぞれPSFでコンボリューションされた状態となる図6参照。図6に示す3次元のPSFは、3次元のボケカーネルと呼んでも良い。このような3次元結像状態を得る場合、通常のレンズの結像の場合、例えば図7に示すように、焦点距離5.34mm、F1.4、対角撮像範囲=像高×2=3.17mmの場合、近距離の530mmから無限遠までを結像したとしても像空間x,y,zの光軸方向zの結像位置は5.34mmと5.39mmで高々50μmの変化しか起こらず、この範囲をz方向にアイソプラナティックな範囲と見なすことができる。x,yについても通常PSFは大きく変化することはないので、通常のレンズの結像状態で、2次元の撮像素子を像面Iに平行に移動、位置させて撮像することにより、3次元結像状態のデータを取得すること可能である。2次元撮像素子の光軸z方向のデータ取得の間隔は、等間隔とすることが信号処理の上で望ましい。なお、zminは、無限遠位置に相当する。zmaxは、被写体のレンズから最近の位置を十分に含むことが望ましいが、実用的にはリフォーカスを行う可能性のある範囲で問題ない。またzminも近景のみフォーカスさせる場合は必ずしも無限遠までの2次元撮像素子のデータが必要というわけではなく、リフォーカスする範囲の奥行き方向で最も遠い点をzminとすればよい。特にマクロ撮影では、z方向のデータが増加しがちなので、適当な範囲をzminzmaxに設定することが必要となる。結像倍率は、レンズから被写体までの距離をZ、レンズから像点までの距離をbとすると、レンズの結像公式1/f=1/Z1/bの式から求まる。<合成開口法によるフォーカシングについて>合成開口法でのフォーカス合わせは、図8に示すように、距離Zにフォーカスする場合、中央のカメラからの距離をsとすれば、視差量=カメラ間隔×結像倍率=s×b/Zだけ像をシフトさせて、中央のカメラの像とフォーカス位置にある像点が重なるように行う。レンズの代わりにピンホールを使う場合、結像倍率はf/Zの式から求まる。パンフォーカスのレンズを使用する場合、レンズのピント位置はMTFの変化を計算し、最短撮影距離と無限遠のMTFの劣化が同程度になるような固定ピント設定距離を決める。例えば最短撮影距離が1mの場合、2mにピント位置を設定する。bの値はレンズの結像公式から求める。[数7]以下の説明では視差の単位をピクセルで表現する場合が多いが、これは本発明では視差量が撮像素子のピクセルピッチの整数倍となる被写体距離で合成開口法でフォーカス画像を合成し、画像処理をおこなうことが効率的で、かつ、処理した結果も画質が良好であるためである。ピクセルピッチは撮像素子の本来の値を用いても良いし、多画素化された後の撮像素子のピッチを用いても良い。また、マクロ撮影時などフォーカス点があまりに多くなる場合は、視差量を1ピクセルずつに対応させて合成開口画像を生成する必要は無く、適宜間引きすることが可能である。間引きの割合は画像を見ながら判断する必要がある。合成開口法でシフトインバリアントな3次元結像状態のデータを取得することを考える。そのためには、像空間の光軸方向zを視差量で表現することが望ましい。理由は以下の説明による。物体の座標系をX,Y,Zのリニア等間隔スケールで考える。光軸をZ軸方向にとる。多眼カメラの合成開口法によるフォーカス合わせの像空間の座標系とする。多眼カメラの各カメラはピンホールカメラと同様に焦点深度が深いカメラを用い、リフォーカシング可能にするのが普通である。ます、図8に示すようにピンホールカメラを考える。ピンホールカメラは一つ一つはZ方向の情報を持たず、いずれの距離の物体もピンホールから焦点距離fのところに位置する結像面に結像する。ところが合成開口法によって焦点合わせを行うと、カメラ配置に起因する視差=ボケを発生する。多眼カメラによるピント合わせを、図8を参照しながら説明する。カメラは、X,Y方向に5×5の配置である。ピンホールカメラによる25眼の画像を撮影し、そこから合成開口法でフォーカシングを行うので、被写体の結像倍率は撮影時に決定し、フォーカシングに依存しない。結像倍率は被写体までの距離をZとすればピンホールカメラの倍率:f/Zである。図8は多眼カメラを複数のピンホールカメラとして表現しており、各カメラの視点つまりピンホールの位置は、カメラ面瞳共役面に位置しており、カメラ25台の瞳位置視点位置、ピンホール位置と等価をDで示す。X軸とs軸とx軸は平行。Y軸とt軸とy軸は平行とする。物体面とカメラ面は平行で、合成開口法によりカメラ面から任意の距離Zにある、物体面に合焦させる状態を表している。同図ではピンホールカメラのピンホールは3角形の頂点で表されている。各カメラのセンサー面の座標をxDyDとする。この座標xDyDはキャリブレーション済みの誤差なしの値とする。物体面上の点Pはカメラ面からZの距離にあり、各カメラDのx’Dy’Dに結像する。これは[数4]及び[数5]に記載の式で示される。またZ軸上にcam3があるとすれば、xX×fZyY×fZとなる。ここで、[数4][数5]に記載のfDは実測焦点距離、cxD,cyDはキャリブレーション誤差追い込み用の定数である。センサー面の画像ピクセルの出力をCx’D,y’Dとする。距離Zにフォーカスが合った合成開口出力Iは[数6]に示す式から算出することができる。ただし、合成開口出力は、任意の選択したカメラの合成出力とする。例えば25台中の16台。模式的には合成開口法による画像の合成の状況は、図70に示すようにピント位置に応じて画像を相対的に移動させてピント合わせフォーカス合わせを行う。数4、[数5]、及び[数6は、ピンホールカメラの例で説明した式である。しかしながら、実際にはカメラレンズ付きの多眼カメラを用いる。その場合の視差量は、[数7]、または[数8]に記載の式で示される。視差量zが等間隔となる物体距離Zで画像を取得することが効率的であり、視差量zが決まれば被写体までの距離Zは、[数7]、または[数8]に記載の式により一義的に決まる。ピンホールカメラの場合の視差量zは、カメラ間隔瞳面上の任意の2視点間の距離:s0と撮像倍率bZの積に比例し、[数7]で示される。従って、カメラ間隔が大きいほど視差の被写体距離に対する変化量は大きくなる。多眼配置のカメラではカメラ間の距離が最も離れた2視点の間隔smaxで、視差の被写体距離に対する変化量は最大になる。従って、視差量のサンプリングピッチはもっとも細かく取得する場合においては、[数7]でs0smaxとした視差量が撮像素子のピクセルピッチの整数倍に相当する視差量zにて、複数のフォーカス画像をサンプリングまたは合成してゆけばよい。[数7]視差量=最小カメラ間隔s0×結像倍率=s0×b/Z<視差量について>以上見たように、視差量は、ピンホールカメラまたは、パンフォーカスレンズの場合、[数7]に記載の式で示される。一方、図7に示すように単眼レンズでピント合わせをする場合を考える。この場合、レンズの入射瞳はある程度面積を持ち、レンズの瞳面sp内の任意の2点間の距離s0とする。任意の2点間の距離s0の最大は瞳径Apである。視差量z2は、物点までの距離をZ、焦点距離をfとすると[数8]に記載の式になる。また、多眼カメラの構成で各対物レンズのピント合わせを行う場合も、数8]に記載の式で示される。[数8]視差量=結像倍率×瞳面上の任意の2視点間の距離f×s0/Z-fなお、図7の瞳面と図8のカメラ面は、双方とも入射する光束を規定する入射瞳であって、等価な役割を果している。また、合成開口法の多眼カメラのレンズを被写体のピント位置ごとにレンズを繰り出してピント合わせを行う場合は、結像面とレンズの距離:bはZの関数となるので、視差は、[数8]式に記載の式になる。一般的に多眼カメラを用いた合成開口法は、固定フォーカス、パンフォーカスのレンズを用いるので、視差量zは[数7]に記載の式から導く。2つのカメラの間の視差量zはレンズを相対的に平行シフトさせたときの像の移動量であるので、ピントの合った状態からの視差量の増大はボケ量と等しい。たとえば、無限遠にピントを合わせた状態では、視差1ピクセルに相当する被写体距離にある被写体は1ピクセルのボケ半径でぼけて撮影されるということになり、視差1ピクセルの距離の被写体にピントを合わせれば無限遠の被写体は1ピクセルのボケ半径でぼけるということになる。合成開口法によるピント合わせをおこなわず、単レンズで撮像面の位置を変化させてピント合わせを行う場合の視差量zの計算は、[数8]に記載の式を用いた方が、特に近距離の視差量zの計算で誤差が少なくなるが、[数7]に記載の式で代用することができる場合もある。任意の距離での視差量zをゼロにするという行為がピント合わせフォーカス合わせといえる。ピント合わせの行為は通常のレンズでは像面をピント位置に一致させることになる。合成開口法では複数のカメラの画像間の視差量がゼロになるように複数の画像を視差量だけシフトさせてたし合わせるという行為になる。本発明では、光軸の奥行き方向を視差で置き換えているので、ボケを表す関数は、ボケの大きさが視差量に比例する。例えば円形開口では円錐状コーン状となる。<データの取得間隔について>x、y方向を等間隔に配したカメラから画像を取得する。これは2次元状に等間隔に配置したセンサーによってサンプリングすることにより達成される。一方、視差量zは、2つのカメラ間に生じる視差のピクセルカウント視差量ピクセルピッチPがリニア等間隔になるように分割して取得する。いいかえれば、視差量zがピクセルピッチの整数倍になるようにフォーカス位置を設定して複数の焦点状態の画像を合成開口法により合成する。これにより、計算誤差を低減することができる。ピクセルピッチは、センサーのピクセルピッチでも良いし、各カメラ撮像部から出力される出力画像の画素ピッチでも良い。後者の場合、多画素化処理に本来のセンサーの画素ピッチの整数分の1になっている。<瞳面上の2点間の距離s0について>ここで、合成開口法によるフォーカス合わせを行う回数、つまりフォーカス方向の分解能を決定する。瞳面上の2点間の距離s0を如何に決定するかを説明する。フォーカス方向のデータ数合成開口法により合成するフォーカス画像の枚数を増やすには、数7、数8でs0smaxまたはs0APとした視差量を計算し、視差量が撮像素子のピクセルピッチの整数倍となる被写体までの距離:Zにおいて得られたフォーカス画像を合成開口法によって合成してゆけばよい。この方法がもっとも多くの異なる被写体距離Zにおいてフォーカス画像を生成する方法である。しかしながら、実用的には数分の1程度に間引きを行っても支障が無いことが分かった。とくに、多眼カメラが等間隔に並んでいる場合M系列配置を含む。、視差量zは数7でs0隣接カメラ間の間隔とすることで、合成開口法によるフォーカス合わせの際にサブピクセルの画像の横ずらし一画素以下のずらし量の横ずらしをする必要が無くなり、画素ピッチに起因する量子化誤差を発生しないので、画素ピッチに起因するボケの発生を防止することができる。これによりデータ数が間引きされるが、例えばs×t=5×5程度のカメラ数であれば、最大データ数の14程度に間引きされるものの、実用上十分であることが分かった。マクロ撮影ではさらにデータ数を半分程度に間引きしてもまったく問題ないことが分かった。<単眼レンズにおける視差量について>単眼レンズで数8]に記載の式で視差を決め、複数のフォーカスでの画像データを取得する際も任意の瞳上の2点間の距離:s0をAp4程度にしてデータの間引きを行っても実用上問題ない。視差量zの値は、距離:Z=無限遠で視差:z=0であるので視差の座標は、図9に示すようにとることが望ましい。xyは撮像面内の2次元座標、zは視差量である。図9では2次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量zは数7でs0隣接カメラ間の間隔とした。図9に示す二つの斜めの直線は、図8で説明したst面内に5×5の方眼配置で等間隔並んだ内の一列、cam1~cam5のカメラの中心にあるcam3の上下のcam2,cam4の配置によってx、y面内で発生する視差またはボケの大きさ3次元ボケカーネルのx、y断面の大きさを示している。視差量z=8においてピクセルPの±8倍の視差をx又はyに発生することを示している。このように奥行き方向光軸方向の分割を視差量zが等間隔になるように分割することで、カメラ配置によるボケカーネル図10参照や任意のボケカーネル図11参照の大きさの変化が視差量にリニアに変化することになり、3次元ボケカーネルの形状が光軸に沿った視差z軸の位置に依存して変化するというような不都合が無くなる。これにより、シフトインバリアント、つまり、3次元のコンボリューションで表せるような3次元結像状態のデータを取得できることになる[数17]に記載の式。瞳面カメラ面上のst方向の任意の2点間の最大距離は、図8に示すように、cam1,cam5の距離になっており、図10、及び図11に示す視差量zは、隣接カメラ間の距離の4倍ある。つまり、3次元結像状態のデータは、s0を隣接カメラ間に設定しているので、最大のデータ数から14に間引きされた数になる。この数は、実用上十分なデータ数であるので問題はない。図10は、カメラ配置カメラ面、s-t面内の瞳中心の配置により決定する、ボケカーネルの3次元的形状とx,y断面でのボケカーネルの大きさを示している。xyは撮像面内の2次元座標、zは視差量である。図10では2次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量zは数7でs0隣接カメラ間の間隔とした。ボケカーネルの大きさは視差量に応じて線形に変化する。同図は、視差z=4ピクセルでフォーカスが合っている物体にボケカーネルBcがコンボリューションされている状態を示している。ボケカーネルのxy断面はxy面内撮像面でボケを表す2次元の分布関数のことで、本発明では視差zの関数でもある。これを例えば[数9]に記載したようにfと置けば、[数10]に記載のように面積が1で規格化された関数になる。ピント位置でボケないような関数にするには、デルタ関数、つまり大きさゼロで面積1の関数とする。任意のボケカーネルを撮像面x-y面の画像にコンボリューションして2次元画像をぼかすことができる。このように視差zに応じて多くの場合比例広がりが変化する分布関数を以下では3次元ボケカーネルのx、y断面または単にボケカーネル、ボケ関数などと呼ぶ。図11は、任意のボケ量のボケカーネルz=4ピクセルでフォーカスが合っている物体にボケカーネルBがコンボリューションされている状態を示す。xyは撮像面内の2次元座標、zは視差量である。ボケカーネルの半径をゼロにすると全焦点画像が生成される。なお、ボケ生成アルゴリズムの詳しい説明は後述する。カメラ面内に2次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量zは数7でs0隣接カメラ間の間隔とし、隣接カメラ間隔12mm、焦点距離5.34mm、ピクセルピッチP=6μmのときの視差量zと被写体までの距離Zと像面とレンズの距離bを表1に示す。レンズと像面の距離bは、レンズの結像公式1/f=1/Z1/bにより求めた。このようにカメラが等間隔の場合、隣接カメラ間隔から視差を求め、視差がピクセルの整数倍となるような間隔で画像処理に用いる視差の値を決定すると、合成開口法によるフォーカス合わせの際の画像シフト量がいずれのカメラにおいても、ピクセルピッチの整数倍とすることができ、量子化誤差の発生が防止できる。bはレンズの結像作用による結像位置を示し、レンズから像までの距離である。dbはbの変化量を示す。dbは、厳密には等間隔になっていない。そこで、本発明のボケ処理を単眼カメラの画像に対して行う時も、像空間で光軸方向に等間隔にセンサーを移動させてデータを取得する従来の方法よりも、視差量が等間隔になる被写体距離を[数7]または[数8]の式から求めて撮影することが望ましい。一方、合成開口によるレンズの結像は、一般に、パンフォーカスレンズを用いた撮影であり、先に述べたように、結像公式と関係なくなる。ピンホールの代わりにレンズを用いると、厳密には像面の位置も被写体の位置に応じて変化する。焦点距離5.34mm、F28のカメラのレンズのピントを、被写体までの距離を2m程度に設定してその被写体距離に合焦するように調整し、その状態で無限遠から近距離まであまりMTFの変化は大きくない10~20程度の変化。この状態をパンフォーカスとみなして問題ない。またMTFの変化は既知であるので、予め撮影距離ごとのMTFのデータをカメラに記憶し、撮影距離ごとにMTFデータからの像ボケを補正することも可能である。視差zに応じた距離Zでのフォーカス画像を合成開口法によってフォーカスする。例えば[表1]に示す20箇所視差z=1~20ピクセルでの合成開口像を生成する。図9では、視差量zは数7でs0隣接カメラ間の間隔とし、視差z=0~8ピクセルの9つの視差に相当する被写体距離にフォーカスをあわせた画像を合成開口法によって合成することを表している。ピクセル以下の分解能で視差を分割することはボケ像生成の観点からは意味はない。また、間引きする場合は視差の間隔が等間隔になるように間引くことが重要である。多画素化する場合はそのピクセルピッチを用いる。合成開口でフォーカスする場合、中央s-t面の中心のカメラの画像に対して周囲のカメラの画像を視差量分だけ平行にxy面内でシフトさせる。その量と[表1]の視差の量は一致する。視差がゼロの場合は無限遠であって1ピクセルのときは10.68m前方にフォーカスが合っていることになる。カメラが25個ある場合、25枚の画像を一度取り込めば、任意の視差を[表1]から選んで任意のフォーカス画像が得られる。そのようにして得られた画像を図9に示す複数の縦線は模式的に現している。図11は、通常レンズの円形瞳によるボケの説明図である。まず、カメラ面内に2次元の方眼状に等間隔に並んだ多眼カメラを想定する。視差量zは数7でs0隣接カメラ間の間隔とした。隣接レンズ間隔12mmで配置された3つのカメラcam2~cam4によって発生するボケは、例えばz=4で合成開口によりフォーカスする場合、z=4ピクセルで交わる光軸方向の視差量1の増減に対して、それに直交する方向に横ずれ±1ピクセルを発生する二つの直線で表される。これが3つのカメラ配置に起因する視差=ボケ量である。カメラがcam2~cam4を直径とする円内に無数に分布していると仮定すれば、円形の通常のレンズのボケも同様に扱えることになる。すなわち、z=4で交わる直線を母線とする円錐コーンがレンズ瞳直径24mmのレンズのボケに相当する。カメラ間隔をレンズ瞳半径に置き換えれば円形瞳のレンズのボケを考えることができる。それより大きなレンズ直径のボケ、小さなレンズ直径のボケも同様にピント位置を頂点とするコーンで与えることができる。ボケのブラーカーネルは、このコーンの各視差での直径の円で与えられる。なお、詳しくは後述するように、円形開口内の重みを均一分布、ガウス分布など任意に変更することができる。<カメラ配置のボケ形状>図10は、2次元の方眼状に等間隔に並んだ多眼カメラを想定し、視差量zは数7でs0隣接カメラ間の間隔としたときの、カメラの配置によるボケカーネルの形状を表している。図8で表されるような等間隔の5×5の配置の場合の視差に対するボケ形状を表している。フォーカス方向は、視差が等間隔になるようにデータがあればよいので、図の黒丸がぼけ形状、又はボケカーネルを表すことになる。これをxy面内で表すと、図12に示すようになる。M系列では、図13、図14に示すようになる。矢印は、デルタ関数的な重みを表す。焦点位置では矢印の強度は本数倍に大きくなる。これらのボケカーネルを視差方向方向は物体の奥行き方向のZラージゼット方向と同じ。で積分すると図15に示すようになる。図16は、画像の取り込みから処理の流れを示す。合成開口法によりえら得られた複数枚のフォーカス像を任意ボケアルゴリズムに渡す。任意ボケアルゴリズムの中身は、図17に記載されており、複数の画像に対し、視差に比例した半径のボケカーネルをコンボリューションする。これらを加算し、光学系のPSFカメラ配置のボケ形状の視差に関する積分。ボケカーネルの視差に関する積分した結果でデコンボリューションを行う。図17と式の関係を図21に示した。図18と図19は、ピント視差を変えて得られる画像を表している。図20、図21は、[数18]に記載の式を導くための説明図である。図20は、[数18]の式のように近似することで計算時間を短縮することが可能であることを説明している。本発明では[数18]の近似式に基づいた説明をボケ生成アルゴリズムと称す。任意のボケ生成アルゴリズムを構成するボケ処理部36は、図22を示すように、複数の多焦点画像データに対して、所望のピント位置から視差に比例したボケ半径の円形開口、又はガウシアン等の任意のボケカーネルの2次元断面を用いてコンボリューション処理を行う。ここで、ピント位置から視差に比例するとは、例えば所望のピント位置からの視差に比例してボケカーネルの2次元断面の半径を大きくしてコンボリューション処理を行うということである。これは、図11を参照すれば明らかである。フォーカススタック像算出部37は、ボケ処理部36で処理を行った複数の画像データの強度和画像であるフォーカススタック像を求める。なお、強度平均を求めてもよい。PSFカーネル算出部38は、合成開口の瞳サンプリング点のフォーカススタックに相当するフォーカススタックPSFカーネルを算出する図12~図15を参照。瞳サンプリング点は、多眼カメラ10の撮影レンズ23の配置を表す。ここでは、撮影レンズ23の配置は、予め決まっているので、フォーカススタックPSFカーネルを算出する必要はない。フォーカススタックPSFカーネルは、RAM29に予め記憶されており、読み出して用いる。16個の撮影レンズ23の擬似ランダム配置がM系列に従った所定の周期パターンの場合のフォーカススタックPSFカーネルを図15及び図23に示す。画像先鋭化処理部39は、フォーカススタック像に対して予め決めたカーネルを用いたデコンボリューション処理を行う。予め決めたカーネルを用いたデコンボリューション処理としては、フォーカススタック像算出部37で算出したフォーカススタック像に対して、RAM29から読み出したフォーカススタックPSFカーネルを用いたデコンボリューション処理を行って任意のボケ画像データを生成する。前記フォーカススタックPSFカーネルを用いたデコンボリューション処理は、個眼撮像部の3次元のボケ関数である3次元PSFの個眼撮像部の光軸方向の積分結果を表す、2次元分布関数であるフォーカススタックPSFカーネルと、ボケ処理部36でコンボリューション処理を行う時に用いる任意のボケカーネルのフォーカススタックに相当する、フォーカススタックボケカーネルとの2つのカーネルを用いたデコンボリューション処理となっている。CPU24は、任意のボケ画像データを、I/F30を介して記録部31に記録する。なお、圧縮部を設け、任意のボケ画像データを、例えばJPEG方式等の圧縮形式で記録してもよい。また、各フレームメモリ22から得られる複数の多焦点画像データを記録部31に記憶してもよい。この場合、複数の多焦点画像データをボケ画像データに関連付けして記憶するのが好適である。次に上記構成の作用を、図24を参照しながら簡単に説明する。電源スイッチ14をオンすると、いずれか一つの個眼撮像部40から得られる画像データに基づいてスルー画像を生成してLCD15に表示する。スルー画像を見ながら構図を決めてシャッタボタン13を半押し操作する。この半押し操作に応答してCPU24は、AEAFを制御する。AE制御は、各個眼撮像部40で同じ露出になるように制御する。AF制御は、ピントずらし制御である。この制御は、CPU24がAF部26を制御して、各撮影レンズ23のピントが全てでずれるよう撮影レンズ23を合焦位置に各々移動させる。そのままシャッタボタン13の全押し操作がなされると、CPU24は、各個眼撮像部40を制御して、多焦点画像データ群を各フレームメモリ22に取り込み、取り込んだ複数の多焦点画像データを画像処理部25に送る。画像処理部25のボケ処理部36は、複数の多焦点画像データに対して、所望のピント位置から比例したボケ半径の円形開口、又はガウシアン等の任意のボケカーネルを用いてコンボリューション処理を行う。フォーカススタック像算出部37は、ボケ処理部36でボケ処理を行った複数の画像データ毎に画素の強度和画像であるフォーカススタック像を算出する。PSFカーネル算出部38は、RAM29から予め決められているフォーカススタックPSFカーネルを読み出す。画像先鋭化処理部39は、RAM29から読み出したフォーカススタックPSFカーネルに基づき、PSFカーネル算出部38で算出したフォーカススタック像をデコンボリューション処理して任意のボケ画像データを生成する。生成したボケ画像データは、記録部31で記録さえる。ここで、本発明の画像処理の特徴を簡単に説明する。まず、複数のフォーカス状態の画像に任意のボケ処理を行ってからこれらの画像の強度和平均を求め強度和平均像とする。この段階では何のノイズの発生も無い。次に、求めた強度和平均像に画像先鋭化処理を行い、任意のボケ画像を生成するが、画像先鋭化は合成開口の瞳サンプリング点のフォーカススタックに相当する、フォーカススタックPSFカーネルのデコンボリューションにより行う。このデコンボリューションカーネルには、そのフーリエ変換にゼロ点がないものを用い、復元ノイズが発生することを抑制する。これにより、写真画質の良好なボケ像を形成可能となる。フォーカススタックは、合成開口法、又は撮像素子の光軸方向の移動によりフォーカス状態を変化させながら行ってもよい。<ボケアルゴリズム>具体的なボケ生成の方法を多眼カメラによる合成開口法を用いる例で説明する。具体的には、撮影対象物体の3次元の強度分布をIoとする。Z軸を撮影レンズ23の光軸方向、x,y方向を撮像素子20の横、縦方向とする。z軸は視差量視差=カメラ間隔×焦点距離Z、Zはレンズ瞳位置から被写体までの距離。である。センサーの面内方向xyは、前述のようにx=X×f/Z,y=Y×f/Zの式から分かるように倍率がかかって撮影される。レンズのボケ具合を表す点像強度分布の3次分布がPSFcで表されるカメラで、ピント位置をカメラの光軸にそった視差zrにピントを合わせて撮影した像Icは[数11]に記載の式に示すIcのxy平面への投影で、式としては[数12]に記載の式で示される。[数11]の式にあるPSFcは、例えば円形開口の場合光軸にそって円錐状の関数で円錐の頂点のピント位置が視差zr相当に来るような関数で表すことができる。ピント位置を撮影対象シーンの奥行き方向で積分した像は[数6]の式で示される。積分範囲zmin~zmaxは、物体の存在する領域と概ね一致させる。Ioは、シーンをボケのない理想ピンホールカメラで像面に投影された絵全焦点画像と等価である。[数11]に記載の式にあるPSFcは、例えば円形開口の場合、光軸にそって円錐状の関数で円錐の頂点がピント位置zrに来るような関数で表すことができる。ピント位置を撮影対象シーンの奥行き方向で積分した像は[数13]に記載の式で示される。積分範囲zminzmaxは物体の存在する領域と概ね一致させる。Ioはシーンをボケのない理想ピンホールカメラで像面に投影された絵全焦点画像と等価である。[数13]に記載の式よりIcpnはPSFcpnとIoのコンボリューションであるので、[数15]に記載の式によりIoが求まるIoは本発明のボケ生成には使わないが参考のため算出している。ここでPSFcpnは、[数14]に記載の式で示され、PSFcの視差z方向の積分されたものである。これをフォーカススタックカーネルと呼ぶ。なお、添え字cはカメラの状態を示す。pnはパンフォーカスを示す。[数14]の式に記載の積分範囲を考える。PSFcは、ピントを結ぶ位置をz軸の原点とする例えば図25参照。物体の範囲は、無限遠=zmin~至近距離=zmaxであるので、コンボリューションされたPSFcは、図25に示すPSFcx,y,z~PSFcx,y,z-zmaxの範囲で存在しうる。フォーカススタックの積分範囲は図から無限遠の物体に対し-zmax~0、至近距離の物体に対して0~zmaxとなる。これらの積分の結果は、前ピンと後ピンでPSFの形が非対称な場合、例えば図13、及び図14の場合は、これらの平均とすることが望ましく、したがって、一般のPSFに対しても[数14]の式に記載の積分範囲としておけば十分であることが実写映像によって確認された。この積分範囲は、至近距離と無限遠の中間の部分に関しては-zmax/2~zmax/2程度が最適となるので、被写体までの距離に応じて積分範囲を可変としてもよい。また前述のように近距離撮影ではzmaxは被写体のうちリフォーカスの可能性のある範囲内でカメラからもっとも遠い位置としても差し支えない。[数11]に記載の式と同様にボケ関数PSFcをPSFaに変更して任意のフォーカス位置に相当する視差z1にピントを合わせて撮影した像は、[数16]に記載の式で示される。[数17]に記載の式は、PSFを3次元にコンボリューションして得られる3次元の像であり、PSFcの光学条件でピント位置をシフトしながら取得できる輝度分布を示す。これは3次元のデータとなる。[数17]の式から[数18]の式を得る。[数18]の式のうちPSFcpnによりデコンボリューションされる部分、つまり[数19]の式のAは、視差zrにピントを合わせて得られた画像にPSFaをコンボリューションし、さらに視差zに関して積分することを示している。これは、前述した実施例のボケ処理部36、フォーカススタック像算出部37の処理に相当する。なお、[数18]に記載の式から[数20]に記載の式を得ることができる。このため、複数のフォーカス位置の画像Icpを合成開口法などで撮像し、これをPSFcにより3次元デコンボリューションを行うことでIo物体の強度分布を求め、これに任意のピント位置に相当する視差zrに設定したPSFa任意のボケカーネルを2次元コンボリューションし、その結果を視差zで積分し、xy平面に投影することで任意のボケ像、及び任意のフォーカス位置にリフォーカスされた像を得てもよい。この場合、ボケ画像生成手段としては、図76に示すように、3次元デコンボリューション処理部45、2次元コンボリューション処理部46、及び画像生成部47とで構成すればよい。3次元デコンボリューション処理部45は、画像取得部48から取得した、視差が等間隔になっている複数の多焦点画像焦点を複数の位置に合わせて撮影した画像を3次元データとみなし、3次元デコンボリューション処理を行って物体の強度分布を求める。2次元コンボリューション処理部46は、3次元デコンボリューション処理済みの画像に対して任意のボケカーネルによる2次元コンボリューション処理を行う。画像生成部47は、2次元コンボリューション処理済みの画像に対して平面に投影して任意のボケ画像を生成する。なお、[数18]に記載の式の右辺は、計測値Icpと装置固有のフォーカス設定値に相当する視差zrにピントが合ったときの所望のボケカーネル:PSFa、フォーカススタックPSFのボケカーネル:PSFcpnとなる。添え字のaは、カメラの状態を示す。また以下では、定数は省略している。[数18]の式のPSFastkは、[数21]の式で示される図25参照。[数21]記載の式の積分範囲もPSFcと同様に、図26に示す関係となり、フォーカススタックの積分範囲は、同図から-zmax~zmaxとする。これも至近距離と無限遠の中間的な距離の物体にフォーカスをあわせる際に-zmax/2~zmax/2など、最適な範囲に変更させても良いが、一般的には-zmax~zmaxで問題ない。[数18]の式は、実験的には以下のように確かめられる。PSFをガウス分布で表す場合、カメラのPSFcに対して新たにボケを生成するためのPSFaは、それぞれ[数22][数23]の式で示される。C1c2は、ガウス分布の標準偏差で、[数24][数25]の式で示される。ガウス分布のボケカーネルの半径は、標準偏差に比例する。zrは任意のボケ像を生成する際の設定フォーカス位置を示し、任意のボケカーネルの光のコーンが収束する場所を示す。つまり、ボケカーネルは、図27に示すように、ピントを合わせたい距離zrで光のコーン円錐ボケ形状又はぼけカーネルが最も絞られた収束した点になる。図28に示すトレース2がPSFcの標準偏差c1、トレース3がPSFaの標準偏差c2を示している。ここではデフォーカスに相当する視差は5ピクセルとする例えばzr5ピクセルとする。図28に示す横軸は、光軸の方向にとった視差量zを示す。縦軸は標準偏差を示す。トレース1は、[数26]の式にあるPSFcaの標準偏差ccaを示す。標準偏差ccaは、[数27]の式で与えられる。この場合、物体はz=0にある。物体は凹凸に応じてzの任意の値をとるが、[数17]の式のコンボリューションの結果として観察されるIcpでは、PSFcの光のコーンの中心は常に物体表面に位置することになる図27参照。つまり、物体表面に作用するボケ分布は、[数19]の式のコンボリューションにより、PSFcaとなる。一方、所望のデフォーカス位置でのボケ半径を[数29]の式のボケ関数PSF3とし、c3=k3=一定とすると、合成ボケ半径PSFca3の標準偏差は、図29のトレース4で示される。同図にPSFcの標準偏差c1、PSFaの標準偏差c2を記載した。合成ボケ半径PSFca3は、[数28]に記載の式で示され、標準偏差は、[数30]に示す式となる。また、ボケ半径c3k3をトレース6として示した。例えば、係数k12k21k35とする。図29に示すように、z=0でトレース1の値は5となる。図28のトレース3はk21でフォーカス5としたので、z=0での標準偏差は5である。この条件でのトレース1の最小値は約4.5で、5に対して約10小さくなっているが、トレース1はトレース2のz方向の平行移動とみなせる。[数19]の式のz方向の積分を行った後はz方向の情報はなくなるので、トレース1とトレース2のz方向の積分結果は同じものとみなせる。これが、[数18]の式の近似を意味するものである。以上は、PSFを表す関数をガウス関数としたが、これを、円形開口を表す関数、合成開口法の瞳サンプリングポイントを表す関数としてシミュレーションした結果、ほぼ同等の効果が得られることが分かった。つまり、本手法はさまざまなボケ関数を持つハードウェアに対して、さまざまなボケの形状の像を与えることが可能である。このように本発明では、所望の画像を取得画像から直接得ることができる。本発明では、[数17]に記載の式で示されるように、物体の3次元輝度分布と3次元ボケ関数に基づく3次元コンボリューションモデルで3次元結像状態を表している。そのため、結局[数18]の式の2次元画像のデコンボリューション計算で所望の2次元画像を求めることができる。多眼カメラ10は、6点法等でカメラキャリブレーションを行う。そして、レンズ中心の結像面内での位置st、及び各撮影レンズ23の焦点距離等の定数は、計測値を用いる。なお、カメラの光軸の倒れ等の誤差量は、カメラキャリブレーションにより除去する。光軸の倒れはディストーション成分として補正される。図8において、撮影レンズの中心は結像面stに位置しており、25個5行×5列の個眼撮像部をDで示す。物体面と結像面は平行で、合成開口法により結像面から任意の視差zに相当する距離Zにある、物体面に合焦させる。本実施例の多眼カメラ10の撮影レンズ23の焦点深度は、深く、撮影レンズ23は、近距離から無限遠までパンフォーカスと考えてよい。撮影レンズ23が明るく焦点深度が浅く、撮影レンズ23毎のAF通常のレンズの前後によるピント合わせが必要な場合は、予めピントを合わせたい被写体に撮影レンズ23毎にAFをかけてもよい。その場合にリフォーカスする際は既知のMTF、PSFデータから、MTFの劣化を補うことが望ましい。合成開口法によらず、通常の単眼の撮影レンズ23のフォーカス調整像空間で空間像と撮像素子20の光軸方向の相対位置を変換させる等での調整で複数のピント位置の画像を得る場合、多眼カメラの場合に視差量を求める際に用いるレンズ間隔の代わりに瞳半径から、[数7]または[数8]に記載の式からから視差量を求め、視差量が等間隔となるようにフォーカス距離を決める。例えば35mmフルサイズカメラの場合、f=50mmでは例えばFナンバーを2として、瞳半径は、50/2=25mmであるが、先に述べたように、この値25の14程度とすればよい。各フォーカス位置での画像を取得し、視差量が等間隔の画像群を得れば、そのあとのボケアルゴリズムの処理は多眼カメラの合成開口法を用いた場合と同様である。フォーカス調整は、フォーカスごとにレンズを繰り出す以外に、センサーの光軸方向での位置を変える、レンズの収差を換えて像面を変化させて各フォーカス位置での画像を取得する等の方法がある。<任意ボケ生成>合成開口法のフォーカシングにより、複数のピント位置に合わせた多焦点画像群を用いて処理を行う点について以下に説明する。[ボケ生成カーネル:円形開口]ボケ生成カーネルとして円形開口のデフォーカスボケを生じさせる場合、ボケカーネルPSFaは、[数31]に記載の式で示される。任意に設定されるボケカーネルの半径raは、[数32]に記載の式で与えられる。定数Apaを任意に設定することで所望のボケの大きさが得られる。また、z方向にオフセット、例えばzrを与えるzをzzrに置き換えることにより、任意のピント位置zrにピントを合わせることができる。ボケ生成カーネル:ガウス開口ガウスボケの場合は、[数33]に記載の式のボケカーネルPSFgssを用いる。Cは定数。ガウスボケの大きさは、[数34]に記載の式によりσaを任意に設定することにより調整することができる。任意視点任意視点のボケカーネルPSFshiftを用いれば、図28に示すように、任意視点のオールフォーカス像が得られる。ここで、定数axsaysを任意に設定して視点を任意に設定する。また、フォーカススキャンして計測される像Icshiftpは、[数17]の式に代わって[数34]に記載の式で示される。任意のボケを示すPSF、PSFaのぼかしを含めた[数35]の式の視点の視差z1にリフォーカスさせた像は、[数37]に記載の式で示される。視点をずらしたPSFのフォーカススタックは、[数38]に記載の式で示される。多眼カメラ10のレンズ配置は、瞳サンプリング点を表す。瞳サンプリング点は、フォーカススタックした際に、フォーカススタックボケカーネルとして作用する。フォーカススタックボケカーネルは、[数14]に記載の式のPSFcpnで表される。フォーカススタック前の瞳サンプリング点は、PSFcである。所望の像を[数18]に記載の式で得るので、フォーカススタックカーネルPSFcpnのデコンボリューションを正確に行うため、PSFcpnのフーリエ変換の振幅にゼロ点が無いことが望ましい。これはPSFcpnのフーリエ変換の逆数をかけてから逆フーリエ変換することでデコンボリューションを行えるようにするためである。[数18]に記載の式のデコンボリューションは、[数39]に記載の式で示される。ところで、PSFastkPSFcpnのフーリエ変換の振幅にゼロ点が無いことが望ましい。PSFaは、円形開口やガウス関数が望ましい。PSFaに円形開口を用いた場合、PSFastkは[数41]、そのフーリエ変換は[数42]で示される。そして、uvは、[数43][数44]で示される。PSFcpnのフーリエ変換の振幅にゼロ点が無いことが必要で、撮影レンズ23の配置は、縦横M系列擬似ランダム数列を用いた所定パターンを含む多くの配置がある円周配置、矩形配置、方眼配置もこの条件を満たす。M系列ランダム配置のフォーカススタックカーネルは、前述したように例えば図23に示したものとなる。このカーネルのフーリエ変換の振幅にゼロ点は無く、[数39]の式でゼロ割による発散などの不都合は生じない。また振幅の変化も20倍程度なので特定の周波数のノイズを拾うことも無い。[数19]に示す式の計算は、実際にはフーリエ変換を用いて[数40]に記載の式を用いる。ガウス関数のフーリエ変換は、ガウス関数、円形開口のフーリエ変換は、ベッセル関数で表せられる。<ボケ処理を施した画像の評価>図30は、一般的なカメラで撮影した画像を示す。図31は、図30の画像と同じ構図で、従来の素の合成開口法を用いて得たボケ画像を示すフォーカス位置1.34m、背景ボケ:隣接カメラ間視差8ピクセル相当:25眼。これに対し、本実施形態のM系列16眼の多眼カメラ10背景ボケ:隣接カメラ間視差8ピクセル相当では、焦点位置50mm、絞りF1に相当するボケの大きさを指定することで、図32に示すようなボケ画像が得られる。また、焦点位置50mm、絞りF1.4に相当するボケの大きさを指定した時に得られるボケ画像を図33に示す。さらに、焦点位置50mm、絞りF2に相当するボケの大きさを指定した時に得られるボケ画像を図34に示す。なお、本実施形態のボケ処理ではボケカーネルに均一重みの円形開口を用いた。同様に、ボケカーネルに均一重みの円形開口を用い、焦点位置50mm、絞りF4に相当するボケの大きさを指定した時に得られるボケ画像を図35に示す。そして、焦点位置50mm、絞りF42に相当するボケの大きさを指定した時に得られるボケ画像を図36に示す。このように、ボケ処理部36にボケの半径を指定してボケ量を調整することで、背景ボケを変えた従来技術で説明したボケよりも美しいボケ画像を生成することができる。さらに、パラメータを調整することで、例えば背景を意図的に円形開口やガウシアン等でボケさせることができる。<M系列25眼で絞り値を変化させてボケ処理を施した画像の評価>[数3]で説明したカメラの配置を採用した場合、フォーカス位置1.34m背景ボケ:隣接カメラ間視差8ピクセル相当のM系列25眼では、焦点位置50mm、絞りF1に相当するボケの大きさを指定することで、図37に示すようなボケ画像が得られる。また、焦点位置50mm、絞りF1.4に相当するボケの大きさを指定した時に得られるボケ画像を図38に示す。さらに、焦点位置50mm、絞りF2に相当するボケの大きさを指定した時に得られるボケ画像を図39に示す。焦点位置50mm、絞りF4に相当するボケの大きさを指定した時に得られるボケ画像を図40に示す。そして、焦点位置50mm、絞りF42に相当するボケの大きさを指定した時に得られるボケ画像を図41に示す。これによれば、図32~図36の画像に比べて、ボケが素直になっていることが分かる。なお、これらのボケ処理でもボケカーネルに均一重みの円形開口を用いた。[[数18]式の近似以前の3次元でコンボリューションを行う場合について]本発明の等間隔の視差に基づいて構造化した画像データを用いる、別の応用例としては、[数18]に記載の式の3次元デコンボリューションを行い、物体の輝度分布I0を求め、これに任意の2次元ブラーカーネルを2次元でコンボリューションし、この結果得られた3次元強度分布をx,y面に投影視差zに関して積分する画像生成方法である。3次元のデコンボリューションには3次元のフーリエ変換が必要で、計算時間が長くなるため、将来的には有望である。なお、特許第4437228号公報に記載の発明従来発明は、画像をフーリエ変換して得られるフーリエ変換画像から任意の視点、絞り、焦点合わせに対応する3次元以上のボケフィルタを用いてフィルタ処理をおこない、これを逆フーリエ変換し、切り出し処理をしている。このため3次元以上のフィルタリング処理が必要となり、フィルタリング処理に光軸方向の周波数特性がからみ、複雑で直感的に分かりにくいものになっている。一方、本発明では2次元のブラーカーネルによるボケ生成をおこなうのでそのような不都合は生じない。また、上記の従来発明でも撮像空間を表す直交座標系において、光軸方向に等間隔の焦点合わせの異なる複数の画像を用いていたが、光軸方向を物体までの距離Zに対し、像空間での光軸方向の座標zをz1fZと変換していたため、シフトインバリアントな関係は構築できたものの、奥行き方向の尺度に視差を用いるという発想が無かったために、ボケ量と光軸方向の関係を考慮することができず、効率のよい処理が行えなかった。これに対し、本発明では物体の奥行き方向をx、y方向と同様に長さの単位を持つ、視差で表して撮影データを取得しているので、たとえば、画素ピッチ出力画素ピッチまたはセンサーの画素ピッチに比例した視差量で、効率よく、最小限の画像枚数をもって奥行き方向光軸方向をサンプリングすることができる。また、対物レンズのピント調整をおこなって、複数のフォーカス状態の画像を取得する際も、視差を[数8]の式に基づいて計算するため、シフトインバリアントな3次元結像状態が得られ、計算誤差が発生せず、任意ボケ生成画像に変換ノイズが発生しない。<任意ボケ像生成の画像評価>M系列25眼のカメラ配置で、フォーカス位置を20箇所、ボケカーネルには円形開口を使用して、指定した距離をボカしたボケ画像を生成した図41~48参照。この場合、焦点距離は50mm、絞りはF1相当になっており、屋内で撮影している。図42はリフォーカス距離を0.71m、図43はリフォーカス距離を0.82m、図44はリフォーカス距離を0.97m、図45はリフォーカス距離を1.20m、図46はリフォーカス距離を1.50m、図47はリフォーカス距離を2.10m、図46はリフォーカス距離を3.60m、図49はリフォーカス距離を10.7mに、それぞれ指定して生成している。また、同じ撮影条件で屋外で撮影した画像を図50~図55に示す。図50はリフォーカス距離を0.97m、図51はリフォーカス距離を1.20m、図52はリフォーカス距離を1.50m、図53はリフォーカス距離を2.10m、図54はリフォーカス距離を3.60m、図55はリフォーカス距離を10.7mに、それぞれ指定して生成している。[任意ボケ像生成の拡張機能]本実施形態を用いれば、任意のボケ像を生成できるので、既存の複数種類の撮影レンズのPSFの複数のフォーカス位置のデータを、予めカメラに記憶させておけば、レンズを交換しなくても、所望のレンズを用いたと同じ結果の画像を得ることができるレンズエミュレーション機能を有するカメラを実現することができる。また、絞りに関係なくボケ量を撮影後、撮影中に変更できる。カメラからパラメータを入力することで、既存のフォーカスターゲット、撮影倍率、トリミングの任意変更に加えて、さらにボケ量、視点、撮影後フォーカスターゲット変更、及びリフォーカスを任意に変更することができる。[M系列瞳サンプリングによる任意視点画像生成]任意視点画像生成は、公知であるが瞳サンプリングをM系列配置とすることでデコンボリューションがFFT計算により高速に行える。任意視点の画像、又は任意視点のステレオ画像を生成することができる内視鏡、実態顕微鏡、顕微鏡等では、採用し易くなる。その場合、プレノオプティックスタイプ多眼、複数対物レンズタイプよりも、ライトフィールドタイプ単一対物レンズマイクロフィールドレンズアレイによる瞳分割の方が適している。瞳25分割使用はM系列16眼でVGA画素数を達成するためには総画素数768万画素で十分実現可能である。[オールフォーカス多画素化画像生成]本実施形態を用いてオールフォーカス画像を生成することができる。この場合には、撮影レンズの2次元配列がM系列擬似ランダム系列である所定のパターンに設定された多眼カメラを用いて撮影をする合成開口撮影法により、複数の多焦点画像群を取得し、強度平均を算出して、図56に示すような強度平均像フォーカススタック画像を得る。なお、図56に示すフォーカススタック画像は、センター視点となっている。そして、図56に示すフォーカススタック画像を、所定のフォーカススタックPSFカーネルでデコンボリューションする処理を施すことで、図57に示すように、オールフォーカス画像を生成することができる。[ボケ生成任意視点画像生成]任意視点画像生成処理とボケ生成処理とを組み合わせれば、例えばステレオ画像のピント位置以外の像を故意にぼかすことができる。そうすればピント位置意外の大きな視差の像を見たときに発生する、目の焦点位置ディスプレイ位置と視差量があっていないことに起因する不快感を低減することができる。例えば、前記合成開口撮影法により複数の多焦点画像群を取得し、任意の視点の視差を加えて強度平均を算出し、算出した強度平均像に対して任意の視点の視差を加えたフォーカススタックPSFカーネル視差付きフォーカススタックPSFカーネルでデコンボリューションを施す。図58及び図59に示す画像は、多焦点画像群に対して任意視点の視差を加えたフォーカススタックPSFカーネル同図に示す視点付きフォーカススタックカーネルでデコンボリューションする処理を施した画像である。ここで、M系列25眼のカメラ配置、カメラ間隔が12mmピッチの撮像装置を使用して屋内で掛け時計を撮像して視差付きの任意視点のボケ画像を生成し、掛け時計のボケ味に着目し、どのくらいの視差まで許容することができるかを評価してみた。図60は、撮影距離=5.3m、掛け時計位置での隣接変カメラ間視差0ピクセル相当の画像。図61は、撮影距離=3.6m、掛け時計位置での隣接変カメラ間視差2ピクセル相当の画像。図62は、撮影距離=2.1m、掛け時計位置での隣接変カメラ間視差3ピクセル相当の画像。図63は、撮影距離=1.5m、掛け時計位置での隣接変カメラ間視差5ピクセル相当の画像。図64は、撮影距離=1.2m、掛け時計位置での隣接変カメラ間視差7ピクセル相当の画像。図65は、撮影距離=0.97m、掛け時計位置での隣接変カメラ間視差9ピクセル相当の画像。図66は、撮影距離=0.89m、掛け時計位置での隣接変カメラ間視差10ピクセル相当の画像。図67は、撮影距離=0.82m、掛け時計位置での隣接変カメラ間視差11ピクセル相当の画像。図68は、撮影距離=0.71m、掛け時計位置での隣接変カメラ間視差13ピクセル相当の画像。図69は、撮影距離=0.63m、掛け時計位置での隣接変カメラ間視差15ピクセル相当の画像。図60~図69を参照すると、視差10ピクセルまでは、掛け時計のボケに大きな破綻が見られないことが分かった。これから、12mmピッチのカメラ配置の場合、視差が11ピクセル以上では掛け時計のボケが離散的に見えるので避けた方が無難である。したがって、あまりぼかすと汚いため、ボケの視差が最大10ピクセルVGAの場合程度がよい。これは、VGA640×480ドットの場合、横方向の640×10=17程度である。これにより最短撮影距離は1m程度になる。この評価が許容される視差量としては、カメラ配置に依存する。そこで、例えば、5×5配列の配列として、9眼を90度ずつ回転させて4パターンで計算し[数45]に記載の式、これらの強度平均像をとると、ボケがいっそう素直になることが分かった。これは重み付けが中高で、ガウス分布になっているためと考える。この場合の多画素化は、9眼で1回行い、その後、多画素化された4組の画像からさらに2回目の多画素化を行い、最終的に強度平均を求めることが望ましい。[カメラごとにフォーカス設定距離を変えておく法]合成開口のカメラとしては、16眼以上のカメラを用いる。また、カメラを低背高にするには、撮像素子の予備寸法を小さくする必要がある。このため、画素が小さくなり、場合によっては画素数が不足する。例えばVGAの1/6インチカメラ有効対角3.5mmを16個使って400万画素の出力を得ようとする場合、レンズの解像力は各々400万画素の解像度対角約3000画素が必要となるので、約1~2μmの解像度が必要となる。このときFナンバー2より明るいレンズが求められる。常に最高の解像度が必要な場合、フォーカス調整機構が必要となる。一般にはボイスコイルモータや静電容量式のMEMSMicroElectroMechanicalSystemsが用いられる。フォーカスの計測は多眼カメラの視差を用いる。しかし、撮影後に任意の場所にピントを合わせる、いわゆるリフォーカスができなくなる。そこで、本実施例では、前述したように、被写体の最短撮影距離から、無限遠までを個眼撮像部40の数で分割して、各々異なる領域にフォーカスさせた状態に設定する。そして、合成開口でのフォーカシングをおこなった後、視差のない部分では複数例えば16個のピント状態の個眼撮像部40の画像が有効になるので、これらの強度和をフォーカススタックとみなし、16個の撮影レンズの合成PSF多焦点画像群を合成したものを表すIPSFインテグラルPSFでデコンボリューションしてやることで、常に、最短撮影距離実質50mm内外から無限遠までを合成開口によるリフォーカスの可能な範囲とすることに成功した。複数N台カメラのフォーカスオフセット量は各々のカメラの受け持ち範囲でのボケ量が均一になるようにフォーカスオフセット量nは、視差が等間隔になるように設定する。上記実施形態では、多眼カメラ10を用いて複数の多焦点画像を同時に取得しているが、一般的な一眼のカメラを用いて、ピントをずらしながら時系列的に複数回の撮影を行って複数の多焦点画像を取得してもよい。また、上記各実施形態では、電子カメラとして説明しているが、本発明ではこれに限らず、撮影レンズ23、撮像素子20、AFE21、及びフレームメモリ22等を省略し、画像処理部を備えた画像処理装置又はその方法としてもよい。この場合には、予め撮像済みの複数の多焦点画像データを取り込むための記憶部を設ければよい。画像処理部が実行するためのプログラムは、本発明によるプログラムを構成する。このプログラムを記録する記録媒体としては、半導体記憶部や光学的、磁気的な記憶部等を用いることができる。このようなプログラム及び記録媒体を、前述した各実施形態とは異なる構成のシステム等で用い、そこのCPUで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。そこで、本発明としては、コンピュータを、前述した画像処理装置として機能させるためのプログラムとしてもよい。また、そのプログラムを記録した記録媒体としてもよい。デプスマップによる方法衆知のステレオカメラを用いるステレオマッチングなどの手法によって、物体までの距離を求め、デプスマップを取得する方法が知られている。本発明では図70に示されるように合成開口法のリフォーカスの各フォーカス位置での画素の一致度を公知の分散や、maxminの値などの評価量から求め、画素ごとの距離データを取得する。これは2次元データなので一般にデプスマップと呼ばれる。デプスマップは視差距離に応じて例えば図71~図73に示すように分解される。本発明において新たに見出された知見によれば、デプスマップと合成開口法を用いた画像から従来よりも優れたボケ像を生成可能であることが判明した。図77に示すように、視差又はピント位置をずらした複数の画像を取得する画像取得部49、デプスマップ情報取得変換部50、領域分割部51、コンボリューション部52、及びボケ画像生成部53で構成されており、これらはバス54により接続され、CPU55により統括的に制御される。なお、取得した複数の画像は、メモリ56に格納される。上記構成の作用を、図78を参照しながら簡単に説明する。画像取得部49は、視差又はピント位置をずらした複数の画像を取得する。CPU55は、画像取得部49から取得した複数の画像をメモリ56に格納する。CPU55は、デプスマップ情報取得変換部50を制御し、デプスマップ情報取得変換部50は、ステレオマッチング手法によりデプスマップ情報を取得する。このとき、デプスマップ情報の光軸方向の尺度を視差に置き換える。デプスマップ情報は、等間隔の視差となるようにデータ化しておく。CPU55は、領域分割部51を制御し、領域分割部51は、合成開口法により任意のピントに合わせた画像を一枚生成し、前記デプスマップ情報に応じて画像をピントが合っている領域毎に分割する。CPU55は、コンボリューション部52を制御し、コンボリューション部52は、分割した領域ごとに異なるブラーカーネルボケ関数をコンボリューションし、各領域の画像をぼかす。ボケ関数の大きさは、ベストフォーカス点からの視差量に比例させる。CPU55は、ボケ画像生成部53を制御し、ボケ画像生成部53は、コンボリューション後の領域の画像を統合する。この様な構成をよれば、多眼カメラの合成開口リフォーカス後の多画素化された画像を用いてデプスごとに分割、ボケ処理を行うので、多画素化が容易に行えるという特徴がある。従来はデプスマップを用いていたが、一眼のカメラ出力に対してボケ処理を行っていたので多画素化ができていなかった。また本発明では視差が画素ピッチの整数倍になるごとにデプスマップをつくるので効率よく自然に見えるボケ処理が行える。また、このような処理により、合成開口法によるカメラ配置に起因するボケの癖を完全に除去可能で、より顕著なボケを作ることができる。"