"撮像レンズ、複数のマイクロレンズから成る2次元配列であるマイクロレンズアレイ、の順に介して入光した光を受光する撮像センサから出力された画像信号から生成された撮像画像を取得する手段と、前記撮像センサ上の各画素位置について、該画素位置に入光する光線の前記撮像レンズ上の座標と、該画素位置の座標と、の対応関係を登録したリストを作成する作成手段と、前記リストに登録されている前記撮像レンズ上の座標の並び順に従って該座標に対応する前記撮像センサ上の画素位置の画素を並び替えた画像を視差画像群として生成する生成手段と、前記生成手段が生成した画像を出力する出力手段とを備えることを特徴とする撮像装置。前記作成手段は、前記撮像センサ上の各画素位置について、該画素位置と前記マイクロレンズの中心位置とを通る線分が前記撮像レンズと交差する座標と、該画素位置の座標と、の対応関係を登録したリストを作成することを特徴とする請求項1に記載の撮像装置。前記出力手段は、前記視差画像群のうち1枚の視差画像を出力する旨の指示を取得した場合、該1枚の視差画像を表示画面に対して出力して表示させ、前記視差画像群を出力する旨の指示を取得した場合、前記生成手段が生成した画像を前記表示画面に対して出力し、該画像を前記表示画面に表示させることを特徴とする請求項1に記載の撮像装置。前記出力手段は、平均画素値が閾値以上の視差画像のみを前記表示画面に対して出力することを特徴とする請求項3に記載の撮像装置。前記出力手段は、視差画像を生成するために用いた画素が、他の視差画像を生成するために用いた画素と重複している場合には、該視差画像及び該他の視差画像、以外の視差画像を前記表示画面に対して出力することを特徴とする請求項3に記載の撮像装置。撮像レンズ、複数のマイクロレンズから成る2次元配列であるマイクロレンズアレイ、の順に介して入光した光を受光する撮像センサを有する撮像装置の制御方法であって、前記撮像センサから出力された画像信号から生成された撮像画像を取得する工程と、前記撮像センサ上の各画素位置について、該画素位置に入光する光線の前記撮像レンズ上の座標と、該画素位置の座標と、の対応関係を登録したリストを作成する作成工程と、前記リストに登録されている前記撮像レンズ上の座標の並び順に従って該座標に対応する前記撮像センサ上の画素位置の画素を並び替えた画像を視差画像群として生成する生成工程と、前記生成工程で生成した画像を出力する出力工程とを備えることを特徴とする撮像装置の制御方法。しかしながら、撮像素子の前にマイクロレンズアレイを設置した撮像装置において、円形状の開口部を有する開口絞りを用いて図20aのような被写体を写した場合、ライブビュー表示画像は図20bの如く、画像内に非受光領域が存在する画像となる。このため、ユーザがピント位置を判別することが難しいという課題があった。本発明は以上の問題に鑑みてなされたものであり、ライブビュー表示画像を、ピント位置の判別しやすい画像に変換する為の技術を提供することを目的とする。本発明の目的を達成するために、例えば、本発明の撮像装置は、撮像レンズ、複数のマイクロレンズから成る2次元配列であるマイクロレンズアレイ、の順に介して入光した光を受光する撮像センサから出力された画像信号から生成された撮像画像を取得する手段と、前記撮像センサ上の各画素位置について、該画素位置に入光する光線の前記撮像レンズ上の座標と、該画素位置の座標と、の対応関係を登録したリストを作成する作成手段と、前記リストに登録されている前記撮像レンズ上の座標の並び順に従って該座標に対応する前記撮像センサ上の画素位置の画素を並び替えた画像を視差画像群として生成する生成手段と、前記生成手段が生成した画像を出力する出力手段とを備えることを特徴とする。本発明の構成によれば、ライブビュー表示画像を、ピント位置の判別しやすい画像に変換することができる。以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。[第1の実施形態]本実施形態では、レンズアレイを保持する撮像装置において、ライブビューを表示する表示部にピント位置を合わせやすい画像に変換して表示する例について述べる。<撮像装置の構成例について>先ず、本実施形態に係る撮像装置の構成例について、図1のブロック図を用いて説明する。なお、図1は、以下に説明する各処理を行うための主要な構成の一例を示すものであり、本実施形態に適用可能な撮像装置の構成は、図1に示した構成に限定するものではない。即ち、図1に示した構成に更なる構成を追加しても良いし、図1に示した各部のうち幾つかを統合しても良いし、1つの構成用件を2以上の構成用件に分解してもよい。また、ある構成用件が行うものとして後述する処理を、他の構成用件に分担させても良い。撮像レンズ101は、被写体を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的なズームレンズ、フォーカスレンズ、ぶれ補正レンズ等により構成される。開口絞り102は、撮像レンズ101に対する光学的な開口絞りである。この開口絞り102は、例えば図3に示す如く、その中央部に1つの円形の開口部を有している。黒枠の部分は、ある程度絞ったことにより発生する非開口部である。以下では、この開口部の直径撮像レンズ101の有効径をDと表記する。また、開口絞り102は、マイクロレンズアレイ103と距離がLだけ離間するように配置されている。マイクロレンズアレイ103は、例えば、複数のマイクロレンズをマトリクス状に2次元的に配列した2次元配列であり、撮像レンズ101の結像面上に配置されている。各マイクロレンズは、その平面形状が円形や六角形などとなっており、固体レンズや液晶レンズ、液体レンズ、回折レンズなどにより構成される。また、撮像レンズ101と、開口絞り102と、マイクロレンズアレイ103と、撮像センサ撮像素子104を合わせて撮像部100と呼ぶ。ここで、撮像レンズ101、開口絞り102、マイクロレンズアレイ103、撮像センサ104、の位置関係を図4に示す。ここで、mは、マイクロレンズアレイ103において、各マイクロレンズの一方向図4では縦方向に割り当てられる画素の数画素数を表す。sは、撮像センサ104を構成する撮像素子画素の一辺方向図4では縦方向のサイズ画素サイズを表す。Lは上記の通り、開口絞り102とマイクロレンズアレイ103との間の距離を表す。なお、撮像レンズ101と開口絞り102との間の距離は無視できるほどに小さいので、図4では、Lは撮像レンズ101とマイクロレンズアレイ103との間の距離を示している。Dは上記の通り、撮像レンズ101の有効径を表している。fは、マイクロレンズアレイ103と撮像センサ104との間の距離を表している。ここで割り当て画素数mは、換言すれば、1つのマイクロレンズを透過して入光した光を撮像センサ104上で受光する領域受光領域の一方向図4では縦方向の画素数を表すが、この割り当て画素数mは以下の式1から計算することができる。m×s:f=D:Lm=D×f/L×s1但し当然ながら、mとしては正の整数しか採用できないため、この式1を計算した結果、mが実数となった場合、小数点第一位を切り上げて整数とする。図1に戻って、撮像センサ104は、マイクロレンズアレイ103それぞれのマイクロレンズを介して入光した光を受光し、被写体の光量を取得するものであり、マイクロレンズアレイ103それぞれのマイクロレンズの焦点面に配置されている。この撮像センサ104は、マトリクス状に2次元配列された複数の撮像素子から構成されている。撮像素子には、CCDChargeCoupledDevice;電荷結合素子またはCMOSComplementaryMetalOxideSemiconductorなどを採用することができる。もちろん、撮像センサ104の受光面上の位置と、撮像センサ104から出力される画像上の位置と、の対応関係が取れるのであれば、撮像センサ104の構成は特に限定するものではない。本実施形態では、撮像センサ104の受光面上には、M画素×N画素の画素撮像素子がマトリクス状に2次元的に配置されており、1つのマイクロレンズを透過した光は、複数画素から成る領域受光領域で受光される。この受光面上の画素の個数は、例えば、M×N=5180×3450=17871000個である。ここで、この受光領域の水平方向について式1を用いて計算した画素数水平方向に対する割り当て画素数をm、垂直方向について式1を用いて計算した画素数垂直方向に対する割り当て画素数をnとする。この場合、画素数m、nは、最終的に生成する視差画像の任意の視点での分解能と関連しているため、これらm,nの値が大きくなるに従って、視差画像の任意の視点での分解能が高くなる。一方、M/m,N/nは、視差画像の画素数解像度と関連しているため、これらM/m,N/nの値が大きくなるに従って、視差画像の画素数が高くなる。したがって、視差画像の任意の視点での分解能と画素数とはトレードオフの関係となっている。また、撮像センサ104の受光面上には、例えば、図1には図示していないカラーフィルタが画素単位で2次元的に配置されている。このカラーフィルタは、赤R、緑Gおよび青Bの3原色のカラーフィルタがR:G:B=1:2:1の比率で市松状に配置されたBayer配列のカラーフィルタである。このようなカラーフィルタが撮像センサ104の受光面上に設けられていることにより、カラーフィルタの色に対応した複数の色の画素が得られる。A/D変換部105は、撮像センサ104から出力された、被写体の光量を表すアナログ信号それぞれの撮像素子から出力された画素の画素値を表すアナログ信号画像信号を、デジタル信号に変換する。信号処理部106は、A/D変換部105から出力されたデジタル信号に対して、デモザイキング処理、ホワイトバランス処理、ガンマ処理などを行い、撮像画像のデータ撮像画像データを生成する。そして信号処理部106は、視差画像のデータ視差画像データを生成する。具体的には、撮像センサ104上の画素における一辺方向の画素サイズs、開口絞り102とマイクロレンズアレイ103との間の距離L、撮像レンズ101の有効径D、マイクロレンズアレイ103と撮像センサ104との間の距離fに基づいて生成する。次に、信号処理部106は、操作部113の指示に応じて表示部116に表示するための画像データ表示画像データを生成する。視差画像データ生成の処理および表示画像データ生成の処理は後述する。エンコーダ部107は、信号処理部106が生成した視差画像データをjpegやmpegなどのファイルフォーマットに変換する処理を行う。メディアインターフェース部108は、PCその他メディア例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリにつなぐためのインターフェースである。D/A変換部109は、信号処理部106が生成した視差画像データに対してアナログ変換を行う。CPU110は、ROM111やRAM112に格納されているコンピュータプログラムやデータを用いて処理を実行することで、撮像装置を構成する各部の動作制御を行う。ROM111には、撮像装置の起動プログラムや初期設定データ、撮像装置の各部の動作制御をCPU110に実行させるためのコンピュータプログラムやデータ、本実施形態以降で既知の情報として説明する様々な情報、が格納されている。RAM112は、ROM111からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリア、CPU110やその他の各部が処理を実行する際に用いるワークエリアなどを有する。即ち、RAM112は、様々なエリアを適宜提供することができる。操作部113は、ボタンやモードダイヤルなどにより構成されており、ユーザがこの操作部113を操作することで入力した操作指示は、CPU110に通知される。もちろん、操作部113の機能の一部、例えば、モード選択ボタンの機能は、後述する表示部116の表示画面上にボタン画像を表示し、このボタン画像をユーザが指などで指示することで、このモード選択ボタンの機能をCPU110が実行しても良い。撮像系制御部114は、フォーカスをあわせる、シャッタを開く、絞りを調節するなどの、撮像部100の制御を行う。キャラクタジェネレーション部115は、文字やグラフィックなどを生成するものであり、例えば、GUIグラフィカルユーザインターフェースなどを生成することができる。生成した文字やグラフィック、GUIなどは、後述する表示部116の表示画面上に表示される。表示部116は、一般的にはLCDが広く用いられており、キャラクタジェネレーション部115が生成した文字やグラフィック、信号処理部106が生成した表示画像、等の表示を行う。また、表示部116はタッチスクリーン機能を有していても良く、その場合は上記の通り、操作部113の一部の機能を実現できる。もちろん、操作部113の機能以外の機能を実現させることもできる。次に、信号処理部106の構成例について、図2のブロック図を用いて説明する。視差数算出部201は、各マイクロレンズが撮像センサ上に受光させうる画素数を算出する。以下では各マイクロレンズが撮像センサ上に受光させうる画素数を視差数と呼ぶ。LF作成部202は、視差数に基づいて、撮像装置のライトフィールドを作成する。ここで、ライトフィールドとは、撮像レンズのある位置を通過する光線が、撮像素子のどの位置で受光する、という関係を表す。画像再構成部203は、ライトフィールドに基づいて、バッファ204に保持した撮像画像データの画素を並べ替え、異なる視点から観察した視差画像データを生成する。視差画像抽出部205は、視差画像データを操作部113の表示モード情報に基づいて選択抽出し、エンコーダ部107、D/A変換部109に送信する。<撮像装置の動作について>次に、本実施形態に係る撮像装置の動作について説明する。撮像レンズ101、開口絞り102を介してマイクロレンズアレイ103に入光した光被写体の像は、マイクロレンズの形状に応じて撮像センサ104の受光面上に結像する。即ち、撮像センサ104の受光面上には、マイクロレンズを透過した光を受光する領域受光領域が、マイクロレンズ毎に形成される。撮像センサ104の受光面上におけるマイクロレンズ毎の受光領域の一例を図5に示す。ここでは、開口絞り102による開口部は図3に示す如く円形としているため、撮像センサ104の受光面上には、マイクロレンズ毎に円形の受光領域が形成されている。このとき、マイクロレンズアレイ103への入射光線は、撮像レンズ101上の入射位置応じて、撮像センサ104の受光面上の異なる位置に受光される。次に、撮像センサ104を構成する各撮像素子は、受光した光の光量に応じたアナログ信号を出力するので、結果として撮像センサ104からは、画素毎のアナログ信号が出力される。A/D変換部105は、この画素毎のアナログ信号をデジタル信号に変換A/D変換することで、画素毎のデジタル信号を生成する。このA/D変換は一般的なものでよく、例えば被写体の光量を光電変換により信号に変換し、14bitのデジタル値を表すデジタル信号に変換すればよい。次に、信号処理部106は、A/D変換部105により変換された画素毎のデジタル信号に対して、一般的なBayer配列に対するデモザイキング処理や、ホワイトバランス処理、ガンマ処理を行い、撮像画像のデータを生成する。さらに信号処理部106は、撮像画像データをライトフィールドに基づいて視差画像データに再構成し、表示部116に表示するための表示画像データを生成する。以下、視差画像データ生成の処理および表示画像データ生成の処理を、図6のフローチャートを用いて説明する。ステップS601において、視差数算出部201は、撮像部100から撮像部パラメータを取得する。ここで、撮像部パラメータとは、撮像素子上の画素における一辺方向の画素サイズs、開口絞り102とマイクロレンズアレイ103との間の距離L、撮像レンズ101の有効径D、マイクロレンズアレイ103と撮像センサ104との間の距離f、を示す。上記では撮像部パラメータは撮像部100から取得するとしたが、例えば、撮像部パラメータを予めROM111に格納しておき、視差数算出部201がROM111からこの撮像部パラメータを取得するようにしても良い。また、表示部116にパラメータ入力欄を表示し、ユーザが操作部113を操作してこのパラメータ入力欄に入力したものを撮像部パラメータとして用いても良い。他にも、例えば、開口絞り102を最大に開放したときの有効径D0をROM111に格納しておき、絞りのFナンバーFnumが得られた場合に、以下の式2を計算することで、有効径Dを求めても良い。D=D0/Fnum2また、開口絞り102とマイクロレンズアレイ103との間の距離Lやマイクロレンズアレイ103と撮像センサ104との間の距離fは、それぞれに測距用のレーダ装置を設け、これらのレーダ装置を用いてそれぞれの距離L、fを検出するようにしても良い。なお、撮像部パラメータは撮像レンズ101とマイクロレンズアレイ103、撮像センサ104の距離関係や絞りが変更になった時などに再取得するとしてもよい。ステップS602において、視差数算出部201は、ステップS601で取得した撮像パラメータに基づいて視差数を算出する。ここで、撮像部パラメータと撮像レンズ101、開口絞り102、マイクロレンズアレイ103、撮像センサ104の位置関係は図4のようになる。このとき、各マイクロレンズが受光させる素子数mは以下の式3で表されるようになっている。ただしmは正の整数とする。上記式から撮像素子上で受光する素子数m×nを算出する。視差数算出部201は、この素子数m×nを、本実施形態における撮像装置の視差数として、LF作成部202に送出する。なお、視差数の算出はレンズアレイを保持する撮像装置の一形態の例に過ぎず、これに限られるものではない。例えば、ROM111から視差数を取得するとしてもよい。また、撮像部パラメータが再取得された場合、視差数も再算出をする。ステップS603において、LF作成部202は、視差数に基づいて撮像レンズ101を領域分割し、領域ごとにインデックスを振る。視差数算出部201で算出した、各マイクロレンズの受光させる素子数が視差数となる。そこで、視差数がm×nである場合、撮像レンズをm×nで領域分割し、領域ごとにML1,1、ML2、1、、MLm、nとインデックスを振る。例えば、m=3、n=3の場合の撮像レンズ101の領域分割とそのインデックスの例を図7に図示する。ステップS604でLF作成部202は、撮像部パラメータと撮像レンズの領域分割から、各撮像素子の座標x、yと該撮像素子に入射する光線の撮像レンズ101上の座標u、vとの対応関係が登録されたリストであるライトフィールドを作成する。ここで、撮像レンズ上の座標u、vは図8に示すように、撮像レンズを含むような座標系において規定されるものであり、撮像レンズの中心位置を原点とする。例えば、図8のようにuv座標系が-1から1までの系であるとする。作成するライトフィールドは図9に示すように各画素の座標画素位置x、yに対応する座標u、vと、該座標u、vが含まれる分割領域のインデックスのテーブルである。本撮像装置におけるライトフィールドは図10に示すように、各画素と各マイクロレンズの中心とを通過する直線線分を引いたときに、撮像レンズを通過交差する座標u、vを取得し、これを該画素に対応する座標とする。上記の動作を全画素に対して行うことでライトフィールドを作成する。なお、図10に図示されるようなライトフィールドは撮像部100内の構成の位置関係における一例であり、撮像レンズ101上の座標u、vと撮像センサ104上における画素の座標x、yとの対応関係を示すものであればこれに限るものではない。また、ライトフィールドは、撮像部100内の開口絞り102とマイクロレンズアレイ103との間の距離L、マイクロレンズアレイ103と撮像センサ104との間の距離fが変わった際に再作成するとしてもよい。ステップS605において、A/D変換部105から入力されたデジタル信号を撮像画像データとしてバッファ204に格納する。ステップS606において、画像再構成部203は、バッファ204に保持している撮像画像データを、LF作成部202から得たライトフィールドに基づいて視差画像データに再構成する。具体的には、ライトフィールドの座標u、vにおいてuが左から右に、vが上から下に増加するように撮像画像データ中の画素を並べ替える。即ち、並べ替え後の画素の座標をx’、y’とすると、下記の式のような並べ替えを行う。x’、y’=u、v4これにより、撮像レンズの領域分割数と同数の視差をもつ視差画像データ視差画像群を再構成することができる。ここで、視差画像とは、図12aのような被写体を撮像した場合、図12bに示すように、中央に対して上から被写体を撮像した画像、右から被写体を撮像した画像というように視差をもった画像群を示す。そしてステップS607において画像再構成部203は、再構成した視差画像データをバッファ204に格納する。また、画像再構成部203は、すでに視差画像データがバッファ204に格納されている場合は、このすでに格納されている視差画像データを更新する。また、画像再構成部203は、同様にライトフィールドもバッファ204に格納する。ステップS608において、画像再構成部203は、ライトフィールドの撮像部パラメータの変更がないか否かを判定する。この判定の結果、変更がない場合、更新完了と判定して処理はステップS609へ進む。一方、撮像部パラメータの変更があると判定した場合、処理はステップS601へ進む。ステップS609において、画像再構成部203は、ライトフィールド内の重複判定を行う。ここで、重複判定とは各画素に対応する撮像レンズの座標が2種類以上あるかどうかの判定である。重複があると判定された場合、処理はステップS610に進む。重複がないと判定された場合、処理はステップS611へ進む。例えば、撮像センサ104上の受光領域が図13に示すような状態を仮定する。図13のように、各受光領域が広い場合、重なり領域が発生する。ステップS610において、画像再構成部203は、重複と判定された画素に対応するライトフィールドに重複があることを示す重複情報を付与し、バッファ204内のライトフィールドを更新する。ステップS611において、視差画像抽出部205は現在設定されている表示モードを確認する。ユーザは操作部113を操作して何れかの表示モードを設定することができる。より具体的には、ユーザが表示モードを選択するための指示を操作部113を用いて入力すると、キャラクタジェネレーション部115は表示モード選択画面GUIを生成して表示部116の表示画面上に表示する。表示部116の表示画面上における表示例を図14に示す。GUIとして示した3×3のマトリクスは、3×3個の視差画像に対応するもので、例えば、左上隅の位置の四角形を操作部113を用いて指示すると、被写体を左上から撮像した視差画像ML-1,-1を指定することができる。このように、左上隅から右方向にi図14の場合、1≦i≦3番目、下方向にj図14の場合、1≦j≦3番目の四角形を操作部113を用いて指示すると、視差画像ML-2i,-2jを指定することができる。もちろん、視差画像の指定方法やそのためのGUIの構成についてはこれに限るものではない。何れにせよ、ユーザが操作部113を用いて1つの四角形を指示すると、その指示位置に応じた視差画像が指定されると共に、1視差表示モードが設定されたことになる。また、ユーザが全ての四角形GUIを構成する全ての四角形を選択するための操作を、操作部113を用いて指示した場合には、全視差表示モードが設定されたことになる。なお、1視差表示モード、全視差表示モードの設定方法についてはこれに限るものではなく、他にも、例えば、キャラクタジェネレーション部115が生成したチェックボックスから全視差表示モードか1視差表示モードのどちらかを選択するようにしても良い。また、ここでは表示モードが2種類の場合について説明しているが、これに限るものではなく、いくつかの視差画像を選択して表示するモードなどがあってもよい。何れにせよ、ユーザが操作部113を用いて何れかの表示モードを設定すると、設定した表示モードを示すデータ1視差表示モードが設定された場合、このデータには、指示した視差画像を示すデータが含まれるがRAM112に書き込まれる。然るにステップS611では、このRAM112に書き込まれている、表示モードを示すデータを参照し、このデータが何れの表示モードを指し示しているのかを判断する。そしてステップS611での判断の結果、1視差表示モードが設定された場合には、処理はステップS612に進む。一方、全視差表示モードが設定された場合には、視差画像抽出部205は、視差画像データをそのまま、図11のように視差ごとに配置し、表示画像データとして、エンコーダ部107とD/A変換部109とに出力する。もちろん、それぞれの視差画像の並べ方や表示の方法についてはこれに限るものではない。例えば、図11のように視差画像を配置したとき、一部の視差画像を抽出して配置し、表示画像としてもよい。また、平均画素値がある閾値以下となる視差画像については、暗すぎるという理由で、表示対象外としても良い。図15に、m=5、n=5のとき、全ての視差画像を抽出開始座標に応じて配置した例を示す。このとき、開口絞り102の開口部の形状が図3のように円形であるとすると、撮像センサ104上では図5のように受光が起こらない非受光領域が生じる。図15において、以下に列挙する視差画像図15における斜線部は、その非受光領域から抽出した画素から成る視差画像となるため、他の視差画像に比べて暗くなる。表示画像データの領域ML1,1、ML2,1、ML4,1、ML5,1、ML1,2、ML5,2、ML1,4、ML5,4、ML1,5、ML2,5、ML4,5、ML5,5そこで、平均画素値が閾値以上となる視差画像のみを図16に示す如く配置して表示部116の表示画面上に表示しても良い。さらに、暗い視差画像については各画素値に対してゲインを掛けて明るくしてから表示しても良いし、近隣の視差画像を足し合わせてもよい。また、図17のように視差画像を抽出して3×3マトリクスに配置、拡大することによって、表示部116の表示画面上に表示しても良い。また、ステップS610において重複情報を付与されている視差画像については、表示対象外としても良い。また、図19のように、重複情報を付与されている視差画像については視差画像の代わりに重複が発生している旨を示す情報を表示しても良い。図6に戻って、ステップS612では、視差画像抽出部205は、1視差表示モードを示すデータに含まれている指示された視差画像を示すデータを参照するか否かを判断する。参照するか否かは予め設定しておいても良いし、ユーザが選択しても良い。そして参照する場合には処理はステップS613に進むし、参照しない場合には、処理はステップS614に進む。なお、上記のマトリクス状のGUI以外のGUIを用いて、単に1視差表示モードを選択する旨の指示を入力した場合には、どの視差画像を指示したのかを示すデータは存在しないので、この場合、処理はステップS614に進む。ステップS613では、視差画像抽出部205は、指示された視差画像を適宜拡大し、拡大した視差画像データを表示画像データとしてD/A変換部109に出力する。例えば、図11の場合、上記のGUIの例では3×3のマトリクス状のGUIを用いることになるが、このGUIにおいて左上隅の位置の四角形が指示されると、視差画像データML1,1が抽出され、適宜拡大され、D/A変換部109に出力される。拡大方法は既存の方法でよく、バイキュービック法などでよい。また、拡大の倍率は、表示部116の表示画面の画素数から算出すればよい。もちろん、拡大処理は必須ではないし、拡大の代わりに縮小を行うようにしても良い。さらに、GUIへの操作表示対象の視差画像の切替は表示部116に表示画像を表示している最中に行っても構わない。例えば、表示部116に何らかの表示画像を表示している最中に、操作部113を用いて異なる視差画像を指示した場合、指示された視差画像から表示画像を生成し、D/A変換部109に出力する。なお、表示部116の表示画面上における表示構成については上記の例に限るものではなく、例えば、表示部116の上部に表示画像、下部に視差画像を表示し、下部から視差画像を選択するという、図18に示すようなGUIを表示部116に表示しても良い。図18のGUIの場合、ステップS607で生成したそれぞれの視差画像データを表示部116の下段に縮小して配置し、選択された視差画像を拡大して上段に配置する。また、重複情報が付与されている視差画像は選択できないようにしても良いし、視差画像データをそのまま、図11のように視差ごとに配置し、表示画像データとして、エンコーダ部107とD/A変換部109とに出力するようにしてもよい。ステップS614では、視差画像抽出部205は、視差画像データのうち中央に位置する領域MLをステップS613と同様に適宜拡大し、拡大した視差画像を表示画像としてD/A変換部109に出力する。もちろん、拡大処理は必須ではないし、拡大の代わりに縮小を行うようにしても良い。なお、表示部116は、D/A変換部109から受け取る表示画像データを、例えばLCD上に表示画像として表示する。以上の説明により、本実施形態によれば、マイクロレンズアレイ103を備えた撮像装置が取得する視差画像のピントが合っているかどうかを、ユーザが表示部116を通して確認することが可能となる。例えば、被写体が図20aのような平面チャートの場合、従来はマイクロレンズアレイ103により図20bのような表示画像となるため、平面チャートにピントが合っているか確認することができなかった。しかし、本実施形態によれば、図20cのように中央視点の画像などを拡大表示することで、平面チャートにピントが合っていることを確認することが可能となる。[第2の実施形態]第1の実施形態で説明した一連の処理は一定時間ごとに行って、表示画像をリアルタイムに更新することで、ライブビュー表示とすることが可能となる。また、割り当て画素数算出パラメータやレンズ位置が更新されるごとに、上記処理を行うことで、リアルタイムに撮影時の焦点距離や開口絞り、レンズや撮像素子の移動などの影響を表示画像に反映することができる。例えば、焦点距離や開口絞り102を変更すると、撮像センサ104上の受光領域は変化する。開口絞り102を絞った場合における撮像センサ104上の受光領域の概略図を図21に、開口絞り102を開いた場合の受光領域の概略図を図13に示す。このとき、撮像部パラメータが変化するため、信号処理部106のフローをステップS601から再度行い、新たにライトフィールドを作成することで対応できる。例えば開口絞り102を絞ることで、図21のように受光領域が減少するため、式2、3から視差数m×nは減少する。視差画像データの視差数が5×5であり、開口絞りを絞ることで視差数が3×3に減少したとする。このとき、ライトフィールドが再作成され、視差画像データは図22から視差数が減少し、図23のようになる。このように、開口絞り102の絞りや距離Lを伸ばすといった受光領域を狭める場合においても、視差画像データを正しく生成することが可能となる。さらに、開口絞り102を開き、撮像センサ104上の受光領域を広げると、式2、3から視差数が増加する。例えば視差数が5×5から7×7へ増大したとすると、視差画像データは図24のようになる。このように、開口絞りを広げる、距離Lを縮めるといった受光領域を広げる場合においても、視差画像データを正しく生成することが可能である。また、上記は視差画像を表示することでピントの確認ができることを述べたが、これ以外に利用できることは言うまでもない。例えば、表示画像を用いてコントラストAFの処理をCPU110および撮像系制御部114から行ってもよい。また、上記処理は焦点距離や開口絞り102、撮像レンズ101や撮像センサ104の移動がありうる撮像装置の場合を説明したが、単焦点、単開口絞りのように、撮像センサ104上の受光領域の大きさが変化しない撮像装置の場合はこの限りではない。この撮像装置の場合、ライトフィールドを撮像部パラメータから再作成することがないため、ROM111などであらかじめ保持しておくとしてもよい。また、撮像部100の位置関係により、開口絞りの絞りにかかわらずライトフィールドが変わらない撮像装置においても、同様の処理でよい。ライトフィールド作成後の処理は上記のステップS605以降と同一である。[第3の実施形態]本実施形態では、レンズアレイを保持する撮像装置が行う撮影後のピント調整処理以降、リフォーカスと呼ぶが可能かどうか、ユーザが確認しやすい表示を行う例について述べる。以下では、第1の実施形態と異なる点について重点的に説明する。<撮像装置の構成例について>図25は、本実施形態における信号処理部106の機能構成例を示すブロック図である。信号処理部106は視差数算出部201と、LF作成部202と、画像再構成部203と、バッファ204と、視差画像抽出部205と、メイン被写体抽出部2501と、視差量算出部2502とを備えている。視差数算出部201、LF作成部202、画像再構成部203、バッファ204、については第1の実施形態と同一であるため説明を省略する。視差画像抽出部205は、バッファ204に格納された視差画像データの中央視点からの視差画像を抽出し拡大してD/A変換部109へ送出する。メイン被写体抽出部2501は、表示部116のタッチパネルや操作部113を通してユーザが指定したメイン被写体の情報を取得し、視差画像データ内からメイン被写体を抽出する。視差量算出部2502は、各視差画像データ内から抽出されたメイン被写体から、各視差画像座標系におけるメイン被写体の重心座標を算出し、中央視点の視差画像の重心座標との距離から視差量を算出する。次に、視差量に応じてメイン被写体がリフォーカスに十分な視差があるか判定する。次に、メイン被写体の映る各視差画像と視差量からリフォーカス判定情報を生成、視差画像に付与し、D/A変換部109に送信する。<撮像装置の動作について>次に、本実施形態に係る撮像装置の動作について説明する。信号処理部106の撮像画像データ生成までの処理は第1の実施形態と同一であるため説明を省略する。以下、リフォーカス評価用情報生成の処理を図26のフローチャートを用いて説明する。ステップS2601からステップS2610までの処理は上記のステップS601からステップS610までの処理と同一であるため説明を省略する。ステップS2611において、視差画像抽出部205は、視差画像データの中央視点の視差画像を抽出し、拡大してD/A変換部109へ送信する。また、メイン被写体の選択をさせる旨のメッセージを表示部116へ表示させる。ステップS2612において、メイン被写体抽出部2501は、操作部113からメイン被写体選択情報を取得する。ここで、メイン被写体選択情報とは、ステップS2611で表示部116へ表示させた中央視点の視差画像からユーザが操作部113を用いて選択した、中央視点の視差画像データのxy座標系内における点xc、ycである。例えば、図27のように中央視点の視差画像データにおいて、顔画像が撮像されているとする。そして、ユーザが黒丸で示した点を指定し、顔をメイン被写体として指定すると、この黒丸のxy座標がメイン被写体選択情報としてRAM112に格納される。これをメイン被写体抽出部2501は取得する。ステップS2613において、メイン被写体抽出部2501は、バッファ204から中央視点の視差画像データを取得し、メイン被写体選択情報に基づいてオブジェクト抽出を行い、抽出したオブジェクトの中心座標x0y0を算出する。中心座標は、図28のようにオブジェクトを矩形で囲み、矩形の中心をとる。なお、オブジェクト抽出は公知の方法でよいものとする。ステップS2614において、メイン被写体抽出部2501は、バッファ204から中央視点以外の視差画像データを取得し、ステップS2613で抽出したオブジェクトを各視差画像データから抽出する。なお、抽出方法はパターンマッチングなどの公知の方法でよいものとする。次に、ステップS2613と同様にオブジェクトの中心座標x1y1、x2y2、x3y3と各視差画像について算出する。次に、メイン被写体抽出部2501は、オブジェクトを抽出できた全ての視差画像の中心座標を視差量算出部2502に送出する。ステップS2615において、視差量算出部2502は、ユーザが指定したオブジェクトが存在する各視差画像の視差量を算出する。例えば、オブジェクトの中心座標x1y1を持つ視差画像の視差量E1を下記の式から算出する。同様に、オブジェクトを抽出できた視差画像に対して視差量E2、E3、を算出する。ステップS2616において、視差量算出部2502は、ステップS2615で算出した視差量に基づいてリフォーカス評価用情報を生成し、対応する視差画像データにリフォーカス評価用情報を付与する。そして、全視差画像データを表示画像データとしてD/A変換部109へ送信する。ここで、リフォーカス評価用情報は○か×の1ビット情報であり、該視差画像内にオブジェクトがあり且つ、リフォーカスに十分必要な閾値Thより該視差画像データの視差量が大きいとき、該視差画像データに○のリフォーカス評価用情報を付与する。また、閾値Thより小さいとき、該視差画像データに×のリフォーカス評価用情報を付与する。また、リフォーカス評価用情報の判定条件は上記に限らず、視差画像データが中央視点の視差画像データから遠いほど閾値Thを大きくするとしてもよい。また、上記では判定条件に視差量のスカラー量しか用いていないが、方向も組み合わせてもよい。例えば、中央視点の視差画像データに対して上の視差画像データであれば、オブジェクトの視差量ベクトルは上向きである必要があるので、上を向いているか判定する、などでもよい。次に、表示部116は表示画像データを、例えばLCD上に表示画像として表示する。表示方法としては例えば図29に示すように全視差モードで表示してもよい。このとき、ステップS2616において付与されたリフォーカス評価用情報に基づき、リフォーカス評価用情報の○×を各視差画像の右上に表示する。また、表示方法はこれに限るものではなく、リフォーカス評価用情報が付与された視差画像のみを1枚ずつ表示部116に表示し、時間経過に応じて切り換えるとしてもよい。このとき、該視差画像のリフォーカス評価用情報も同時に表示するものとする。以上、説明した処理を行って表示画像を表示部116に表示することで、次のような効果がある。即ち、マイクロレンズアレイ103を備えた撮像装置が取得する撮像画像のメイン被写体が、後の処理であるリフォーカスに十分な視差量を有しているか否かを、ユーザが容易に表示部116を通して確認することが可能となる。その他の実施例また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。"