"二次元状に配列されている複数の撮影開口と、前記撮影開口の背後に配置されている複数の撮影レンズと、前記撮影レンズにより結像する被写体像を撮像する複数の撮像素子と、を備え、前記各撮影開口のx、y方向の間隔は、2値の疑似ランダム系列である所定の周期パターンにそれぞれ設定されていることを特徴とする撮像装置。請求項1記載の撮像装置において、前記撮影開口のx、y方向の間隔は、所定の周期パターンがM系列をなすことを特徴とする撮像装置。請求項1又は2記載の撮像装置において、前記撮像素子から取り込んだ複数の画像データを合成して1つの合成画像データを生成する合成処理手段を備えていることを特徴とする撮像装置。請求項1ないし3いずれか記載の撮像装置において、前記撮像素子から取り込んだ複数の画像データのうちの少なくとも2つの画像データの相関演算により測距を行う測距部を備えていることを特徴とする撮像装置。しかしながら、前述した多眼カメラのレンズ間隔が全て等間隔方眼状に配されているため、そのカメラを用いて取得した画像を用いると、瞳形状の重み関数が方眼状のデルタ関数になり、そのスペクトルも方眼状のデルタ関数になるため、特定の周波数とその整数倍の関係にあるスペクトルのみが強調された不自然なぼけ像になってしまう欠点があった。本発明は上記事情に鑑みてなされたものであり、均一な偏りの無いスペクトルのぼけ、つまり自然なぼけ像を得ることができるように工夫した撮像装置を提供することを目的とする。本発明を例示する撮像装置の一態様は、二次元状に配列されている複数の撮影開口と、前記撮影開口の背後に配置されている複数の撮影レンズと、前記撮影レンズにより結像する被写体像を撮像する複数の撮像素子と、を備え、前記各撮影開口のx、y方向の間隔を、2値の疑似ランダム系列である所定の周期パターンにそれぞれ設定したものである。本発明の撮像装置によれば、撮影開口の二次元配列の間隔をランダムにずらし周期性をなくした間隔にしたため、前景から背景にかけて自然に変化するぼけ像を生成することができる。多眼カメラ10は、図1に示すように、16個の撮影開口11がカメラボディ12の前面に設けられている。各撮影開口11の奥には、撮影レンズ、及び撮像素子が配されており、これら撮影開口、撮影レンズ、及び撮像素子が個眼撮像部を構成する。各撮像素子は、例えば5M~10Mの低画素で、かつ消費電力の少ない撮像素子が用いられている。また、各撮影レンズの光軸は、略平行になっている。各撮像素子は、撮影レンズの光軸に対して撮像面が垂直になるように配されている。多眼カメラは、カメラボディ12の上面にシャッタボタン13、及び電源スイッチ14が配されており、1回のシャッタレリーズにより、視差の異なる16個の画像データを取得し、これら画像データを合成して自然なぼけ像になる一つの画像データを生成する。撮影開口11は、二次元状に配列されている。撮影開口11のx方向、及びy方向の間隔は、疑似ランダム系列であるM系列に従った所定の周期パターンに設定される。この場合、M系列の自己相関関数は、デルタδ関数に近く、ピーク以外では相関関数値が一定となる特徴を備えている。なお、撮影開口11の間隔は、2値の疑似ランダム系列であれば、M系列以外に、Q系列平方剰余系列、Gold系列、Walsh符号等のものを使用することも可能である。また、撮影開口11は、二次元方向の間隔が疑似ランダム系列である所定の周期パターンに設定されていれば、16個に限ることはない。カメラボディ12の背後には、図2に示すように、LCD15が配されている。LCD15には、タッチパネル操作部が組み込まれている。変倍操作は、タッチパネル操作部を利用して操作する。勿論、LCD15には、スルー画像に重ねてメニューの文字や操作ボタン等の絵柄が表示され、操作し易くなっている。各撮像素子20には、図3に示すように、AFE21、及びフレームメモリ22がそれぞれ接続されており、撮影レンズ23により結像する被写体像を撮像して画像信号をAFE21に出力する。AFE21は、周知のCDS相関二重サンプリング/AGCゲインコントロールアンプ回路、A/D、及び信号処理回路で構成されており、CPU24とともにTGから供給されるパルスに同期して動作する図示なし。信号処理回路は、デジタルの画像データを取り込み、画素欠陥補正やホワイトバランス補正、ガンマ補正などの補正を行う。CPU24には、LCD15に設けたタッチパネル操作部から各種の操作信号が入力される図示なし。CPU24は、1回のレリーズ操作で視差の異なる複数の画像データを各フレームメモリ22に同時に取り込む。各画像データは、低解像な縮小画像データとなっており、フレームメモリ22に個別に取り込まれた後、合成処理部25に出力される。合成処理部25は、視差補正回路、及び合成回路を備えている図示なし。視差補正回路は、合焦している被写体の画像領域において、複数の画像データの視差がゼロになるように複数の画像データの位置合わせを行う。合成回路は、位置合わせをしたそれぞれの画像データを、例えば加算平均化処理により順に重ね合わせる。これにより、合焦面に焦点が合い、背景のぼけ部分が滑らかなグラデーションになる画像が得られる。なお、合成方法としては、画像データの重心位置を基準として重ね合わせる相加平均法、又は疑似逆行列法により合成してもよい。また、被写体である物体と画像データとをベクトルで表現し、光学系の点像分布関数を行列で記述し、その後、前記点像分布関数の逆行列を数学的に演算することにより合成する疑似逆行列法を用いてもよい。さらに、複数の画像データ間の相関演算によりそれらのシフト量を算定し、複数の画像の画素を、そのシフト量に基づいて相対位置のずれの修正された単一の合成画像として同一領域上に再配置する合成方法でもよい。CPU24は、合成画像データに基づいて表示用画像データを生成し、表示用画像データをLCDドライバ33に送り、表示用画像データをLCDドライバ33の制御によりLCD15にスルー画像として表示する。また、CPU24は、シャッタレリーズに応答して合成画像データを、I/F30を介して記録部31に記録する。なお、圧縮部を設け、合成画像データを、例えばJPEG方式で圧縮した形式で記録してもよい。CPU24は、撮像素子20の電荷蓄積時間電子シャッタを各々制御し、また、特定の撮像素子20から得られる画像データに基づいて被写体の輝度を測定し、この測定結果に基づいて全ての撮像素子20の電子シャッタの値を変えて露出を制御する。測距部26は、複数の画像データのうちの少なくとも2つの画像データを取り込み、これら2つの画像データに基づいて両画像の相対的なずれ量を求め、求めたずれ量から被写体距離を算出し、全ての合焦ドライバ27を制御して、被写体距離に応じた合焦位置に全ての撮影レンズ23を個別に移動させる。2つの画像データは、基線長が最も長い撮像素子20から得られる画像データを用いるのが好適である。ROM28は、各種プログラムやプログラムの実行に必要な設定値を予め記憶している。RAM29は、CPU24のワークメモリとして、また、各部の一時的なメモリとして使用される。これらCPU24、ROM28、RAM29、LCDドライバ33、I/F30、及び合成処理部25はバス32により接続されている。なお、撮影レンズ23をズームレンズ、又は焦点距離切り替えタイプのレンズとしてもよい。この場合には、変倍操作に同期して全ての撮影レンズを変倍するように構成すればよい。数列Xii=1~m、mは周期のM系列疑似ランダム数列は、一般的に、1以上の整数nに対して2n-1の周期mを持つ0と1の2値の数列であって、1つの周期mの中の数列の数は奇数で、0の数と1の数の差が1となる。よって、整数nと周期mとの組み合わせn,mとしては、3,7、4,15、5,31、6,63等がある。図4に示すように、例えば整数nが2で周期mが3の数列では、1,0,1となり、また、例えば整数nが3で周期mが7の数列では、1,1,1,0,1,0,0となり、さらに、例えば整数nが4で周期mが15の数列では、1,1,1,1,0,1,0,1,1,0,0,1,0,0,0となる。なお、この数列の作り方は、例えば著者が磯部隆で東京大学出版会から1968年2月初版発行、1971年1月第2刷が発行された相関関数とスペクトル-その測定と応用-の170頁~175頁に記載されている。この一次元状の数列を[数1]及び[数2]の式で示すように掛け合わせて、二次元状の配列Zi,jを求める。ここで、[数2]の式に示すX1,Y1は、x方向の点列、y方向の点列を示す。したがって、x方向の点列、y方向の点列は、[数3]及び[数4]の式で示される。なお、[数3]及び[数4]にあるPxはx方向の点列のピッチを、Pyはy方向の点列のピッチを示す。周期m=7の場合、X1及びY1は[数5]及び[数6]に記載の式にそれぞれ示され、X1とY1との[数2]で示されるコンボリュージョンは[数7]に記載の式に置き換えられる。[数7]に記載の式からZi,jの二次元配列配列パターンが求まる。本実施形態では、本実施形態では、[数7]から求めた0と1とからなる二次元状の配列パターンのうちの1の位置に撮影開口11を配置している図5参照。[数5]X1i,j=[1,1,1,0,1,0,0]疑似ランダム数列は、ホワイトノイズとみなしてよく、そのスペクトルは周波数に偏りの無いスペクトルになる。直交する二つの疑似ランダム数列によって生成された2次元疑似ランダム配列Zi,jのスペクトルも周波数u,vに偏りの無いスペクトルとなる。2次元関数Zx,yのフーリエ変換をGu,vとすると、Gu,vは[数8]に記載の式で示される。ここで、整数nが1で周期mが1の場合には単眼になるため、周期mの下限値を3とするのが望ましい。ところで、周期m3の数列には、[1,1,0]又は[0,1,1]がある。これら数列からZi,jの配列を求めると、4眼の方眼配置になるため、[1,1,0]又は[0,1,1]の配列は除外するのが望ましい。また、最近の携帯電話用のカメラモジュールの大きさが1mm角程度以下になっていること、瞳の直径としては35mmカメラレンズの最大のものでも300mm焦点距離/2.8最大F値=100mm程度であるので、周期mとしてはカメラ数個眼撮像部の数がその半分程度になることから、100mm/1mm×2=200程度が現状考えられる最大値上限値である。なお、今後、カメラモジュールがウェハレベルプロセスの導入によってさらに小さくなることを考えるとさらに周期は長くなる可能性がある。ところで、疑似ランダム数列の場合、基本的に縦横1周期の配列が良いが、2周期以上の配列にすると、その周期性がボケに影響しなくなる場合がある。また、疑似ランダム数列に対して01を反転したネガパターンの配列にしても同様に問題がない場合がある。以下1~8には、疑似ランダム数列に対して所定の変形をして作った数列の好適な例を記載する。なお、図6~図11において、二次元の配列パターンのうちの1で示す位置が撮影開口11を配する位置である。1図6に示す例は、例えば整数n=2、周期m=3のM系列疑似ランダム数例のうちの1周期では方眼配置になる[1,1,0]の数列を2周期分の数列[1,1,0,1,1,0]にし、その数列[1,1,0,1,1,0]を前述した[数1]及び[数2]の式に代入して求めた二次元の配列パターンZi,jに撮影開口11のx方向、y方向の間隔を設定したものである。なお、[0,1,1]の一次元数列でも少なくとも2周期分の数列にすれば、同様な効果が得られる。2図7に示す例は、整数n=2、周期m=3のM系列の疑似ランダム数例のうちの[0,0,1]の数列を2周期分の数列[0,0,1,0,0,1]にし、その数列[0,0,1,0,0,1]を前述した[数1]及び[数2]の式に代入して求めた二次元の配列パターンZi,jに撮影開口11のx方向、y方向の間隔を設定したものである。3図8に示す例は、例えば周期m=3、整数n=2のM系列の疑似ランダム数例のうちの[1,0,0]の数列を2周期分の数列[1,0,0,1,0,0]にし、その数列[1,0,0,1,0,0]を前述した[数1]及び[数2]の式に代入して求めた二次元の配列パターンZi,jに撮影開口11のx方向、y方向の間隔を設定したものである。4M系列の疑似ランダム数例に対して0と1を反転して作った数列ネガパターン数列としても、その周期性がボケに影響しなくなる場合がある。例えば図5で説明した整数n=3、周期m=7のM系列疑似ランダム数列[1,1,1,0,1,0,0]に対するネガパターンの数列は[0,0,0,1,0,1,1]になる。そこで、図9に示すように、そのネガパターン数列[0,0,0,1,0,1,1]を[数1]及び[数2]の式に代入して求めた二次元の配列パターンZi,jに撮影開口11のx方向、y方向の間隔を設定してもよい。5図10Aに示す例は、例えば整数n=2、周期m=3のM系列疑似ランダム数例のうちの1周期では方眼配置になる[0,0,1]の数列を3周期分の数列[0,0,1,0,0,1,0,0,1]にし、その数列[0,0,1,0,0,1,0,0,1]を前述した[数1]及び[数2]の式に代入して求めた二次元の配列パターンZi,jに撮影開口11のx方向、y方向の間隔を設定したものである。6図10Bに示す例は、図10Aで説明した二次元配列パターンに対して、連続する0を一つにまとめて作った二次元配列パターンに、撮影開口11のx方向、y方向の間隔を設定したものである。このように、0が連続する間隔は、1つの0の間隔に同じと見なしてもよい。7図11Bに示す例は、図11A、つまり図10Bで説明した二次元配列パターンに対してネガパターンに、撮影開口11のx方向、y方向の間隔を設定したものである。8本発明では、[数1]及び[数2]の式に代入して求めた二次元の配列パターンZi,jの全てに対して撮影開口11の間隔を設定することに限らず、例えばカメラで採用する撮影開口11の二次元配列が5×5の配列である場合には、その配列に合う範囲図6~図11に示す符号34の範囲のみを抽出して、抽出した範囲の配列パターンを使用してよい。ところで、前述したM系列の疑似ランダム配列の周期mとしては、7以上、望ましくは15以上が好適である。また、撮影開口11、つまり個眼撮像部カメラ部の数は多いほど好適である。さらに、個眼撮像部の間隔としては、10mm以下、望ましくは5mm以下が好適である。ボケの大きさを変える場合、一般的なカメラでは絞りを変えるが、本実施形態で説明した疑似ランダムを用いた数列では周期mを変えるのが好適である。例えばボケの大きさを大きくする場合には、M系列疑似ランダム数列では周期mを15-7-3の順に長くすればよい。次に、図12~図14に示す3種類のコンボリューションマスクカーネルを用いて、図15に示すテストチャートの原画像に対してコンボリューション畳み込み演算を行い、得られたぼけ画像の比較を行った。ここで、図12は円形開口37眼相当の配列のマスク、図13は方眼配置16眼相当の配列のマスク、図14は疑似ランダム数列16眼相当のマスクを示している。図12~図14では、0と1からなる二次元配列のうちの1の位置が撮影開口の位置を示している。円形開口のマスクを畳み込み演算した画像では、図16に示すように、ローパスフィルターの効果で細かいパターンほどぼけ方が顕著に表れている。図17に示す方眼配置のマスクを畳み込み演算した画像は、特定ピッチで強調されている。擬似ランダム数列のマスクを畳み込み演算した画像は、図18に示すように、特定の周波数で顕著となるような強調されるぼけが発生せず、全体に平均してぼけている。次に、図19に示すネオンで光るツリーの原画像に対して畳み込み演算を行い、得られたぼけ画像の比較を行った。円形開口のマスクを畳み込み演算した画像では、図20に示すように、ツリーの中央及びその背景のディテールが消失している。方眼配置のマスクを畳み込み演算した画像では、図21に示すように、ツリーの中央にアーチファクトが生じている。疑似ランダム配列のマスクを畳み込み演算した画像では、図22に示すように、全体に素直にぼけている。上記実施形態で説明した撮像素子としては、CCDやCMOS等のイメージセンサを用いることができる。また、上記実施形態において、撮像装置としてデジタルカメラを例に説明したが、これに限るものではなく、例えば、ビデオカメラ等に本発明を適用しても良い。また、上記各実施形態で説明した合成処理部や記録部等を省略し、視差の異なる複数の画像を一斉に取り込んで複数の画像データを出力するカメラとしてもよい。さらに、上記各実施例では、複数の個眼撮像部の配置を二次元の疑似ランダム配列にしているが、本発明ではこれに限らない。他の例としては、個眼撮像部の配置を従来通りの方眼配置とし、電気的にランダム配列となる個眼撮像部を選択し、選択した個眼撮像部から得られる画像データのみを用いるようにしても良い。その場合、二次元のランダム配列を作るのにM系列を用いても良いし、所定の確率密度関数を用いて、0と1を発生する乱数発生手段によって、アクティブとする個眼撮像部を撮影のたびに選択し、選択した個眼撮像部のみが作動するように駆動を切り替えてるのが好適である。所定の確率密度関数は例えば均一関数にすればよい。例えば、方眼配置した複数の個眼撮像部と、一次元の疑似ランダム数列を発生する疑似ランダム数列発生部と、疑似ランダム数列発生部で作られる疑似ランダム数列に基づいて作った二次元配列パターン例えば前述した[数1]及び[数2]の式に代入して求めた二次元の配列パターンZi,jに一致する個眼撮像部を前記複数の個眼撮像部の中から選択する選択手段と、選択した個眼撮像部のみを動作して複数の撮像データを得る画像取得手段と、を備えればよい。電気的に切り替え可能とする場合、例えばM系列乱数を使用する場合、使用する周期と、個眼撮像部の数とを切り替えるようにしても良い。そうすることによってマクロ撮影など、物体とカメラが近づく場合、周期長と個眼撮像部数とを減らし、ボケを小さくし、ボケが大きすぎることを調整することができる。この場合、疑似ランダム数列発生部は、外部から入力される周期の値に応じて数列を作ればよく、また、選択手段は、二次元配列パターンに合わせて選択した個眼撮像部の中からさらに撮影条件に応じた数になるように個眼撮像部を選択すればよい。なお、勿論、個眼撮像部の動作を選択する代わりに、個眼撮像部から得られる画像データを選択するようにしてもよい。また、一般的に、個眼撮像部から得られる画像データを構成する画素を同じ位置x,yが同番地同士のもので合成してボケ画像である合成画像データを作る。そこで、電気的に切り替える選択する場合、合成画像データの画素の位置毎に、合成する画素の画像データを出力する個眼撮像部を選んでもよい。そうすることにより、組み合わせた画素ごとに最適なボケを作ることが可能となる。また、電気的に切り替える場合、ピントの合っている領域の個眼撮像部に対しては画素数を増やすために、例えば多くの個眼撮像部を選択して用い、逆に、ピントの合っていないボケ領域の個眼撮像部に対しては、ピントの合っている領域の時に対して数を減らすように選択しても良い。さらに、ライトフィールド式のマイクロレンズアレイ2次元マトリックス状に複数配置したマイクロレンズ群を受光センサーの直前に配置し、マイクロレンズごとに複数の瞳共役画素を有するカメラにおいて、リフォーカスする際に使用する瞳共役画素の配置をM系列疑似ランダム配置としても同等の効果が得られる。本発明としては、そのような実施例でも良い。上記各実施形態では、撮影レンズをM系列疑似ランダム配列で複数配しているが、撮影レンズ単眼撮影レンズを1つ設け、小開口を2値の疑似ランダム系列の配列、例えばM系列疑似ランダム配列にした開口群を有するマスク板を絞り開口として瞳位置に配した構成としてもよい。この場合には、単眼の撮影レンズと、小開口を二次元状に配列にした開口群を有し前記撮影レンズの瞳位置に配されるマスク板と、前記マスク板を通して前記撮影レンズにより結像する被写体像を撮像する撮像センサと、を備え、前記小開口のx、y方向の間隔は、2値の疑似ランダム系列である所定の周期パターン、例えばM系列をなす周期パターンにそれぞれ設定されていることを特徴とする撮像装置を使用すればよい。また、ある規則符号に従って多数の小開口を二次元状に配した開口群符号化開口を通して得た被写体画像のボケ具合からデフォーカス量を見積もる符号化開口結像法codedapertureimagingが知られている。この符号化開口結像法に用いるカメラ部に、各実施形態で説明したM系列疑似ランダム配列の個眼撮像部の構成、あるいは前述した単眼の撮影レンズ及び瞳位置に設けたM系列疑似ランダム配列の開口群マスク板の構成を用いることも可能である。本発明の撮像装置では、各撮影開口をx、y方向に配置する点列を0,1の2値に対応させてなる各撮影開口のx、y方向の配列パターンが、自己相関関数が略デルタ関数となる点列の個数を周期として周期的疑似ランダム系列をなすものである。各撮影開口のx、y方向の間隔は、M系列に従った所定の周期パターンにするのが好適である。この場合、撮影開口を配置するx方向、及びy方向の点列の個数が2nー1個であり、撮影開口のx方向横、及びy方向縦の間隔がM系列をなす。なお、2値の疑似ランダム系列であれば、M系列以外に、Q系列平方剰余系列、Gold系列、Walsh符号等のものを使用することも可能である。また、2値の疑似ランダム系列の場合、基本的に縦横1周期の配列が良いが、2周期以上の配列にしてもよい。各撮像素子から取り込んだ複数の画像データを合成して一つの合成画像データを生成する合成処理手段を備えるのが好適である。合成処理手段としては、例えば視差補正により位置合わせを行い、複数の画像データの強度和を計算して合成して一つの合成画像データを生成する。各撮影レンズを合焦位置に移動する合焦手段と、合焦手段を制御する測距手段とを設けてもよい。測距手段は、視差の異なる画像データを少なくとも2枚取得して相関演算に基づいて被写体距離を測定する。この場合、基線長の最も長い撮像素子から得られる画像データを用いるのが好適である。測距手段としては、少なくとも2つの画像データを取得し、取得した画像データの相関演算により測距を行うのが好適である。具体的には、一次元像相関演算パターンマッチングにより2つの画像の相対的なずれ量像間距離を求める。次に、2つの画像の相対的なずれ量から被写体距離を算出する。2つの撮像系の光軸が理想的に並行である場合、被写体距離の逆数に比例するので、前記ずれ量が求まればれ被写体距離が算出することができる。測距手段で算出した距離にいる被写体に第1撮影レンズを合焦させる合焦手段を備えるのが望ましい。各撮像素子は、1回のシャッタリーズに応答して複数の画像を取り込む。合成部で合成した画像データは、記録部に記録される。"