"撮像レンズと、前記撮像レンズの結像面に配置されたレンズアレイと、前記撮像レンズおよび前記レンズアレイの通過光線を受光して撮像データを取得する撮像素子と、前記撮像データに対して画像処理を施す画像処理部とを備え、前記画像処理部は、前記撮像データに基づいて複数の撮影視点画像を生成する第1視点画像生成部と、前記複数の撮影視点画像のうちの2以上の撮影視点画像を合成することにより、前記撮影視点画像とは異なる仮想視点画像を生成する第2視点画像生成部とを有し、前記第2視点画像生成部は、前記2以上の撮影視点画像を合成する際、それらの撮影視点および前記仮想視点画像における仮想視点の位置関係に応じた重みづけを行う撮像装置。前記第2視点画像生成部は、前記仮想視点の近隣の4つの撮影視点における撮影視点画像同士を合成する請求項1に記載の撮像装置。撮像レンズとその結像面に配置されたレンズアレイとの通過光線を受光する撮像素子から撮像データを取得し、前記撮像データに基づいて複数の撮影視点画像を生成し、前記複数の撮影視点画像のうちの2以上の撮影視点画像を合成することにより、前記撮影視点画像とは異なる仮想視点画像を生成し、かつ前記2以上の撮影視点画像を合成する際、それらの撮影視点および前記仮想視点画像における仮想視点の位置関係に応じた重みづけを行う画像処理方法。前記仮想視点の近隣の4つの撮影視点における撮影視点画像同士を合成する請求項3に記載の画像処理方法。上記のような撮像装置では、レンズアレイにおける1つのレンズに、イメージセンサ上の複数の画素が割り当てられており、そのレンズに割り当てられた画素数分の視点画像を取得可能である。例えば、1つのレンズが3×3の画素9画素に割り当てられている場合には、9視点分の画像を取得することができる。これらの視点画像は、例えば立体映像表示の際の左右の視点画像として利用可能である。このように、レンズに割り当てられた画素と同数の視点画像が取得されるが、実際の撮影視点とは異なる新たな視点仮想視点における視点画像仮想視点画像を生成することも可能である。しかしながら、この場合、複雑な画像演算処理が必要となる。そのため、制御部に処理能力の高いCPUを集積させる必要が生じ、コストが増大するという問題がある。本発明はかかる問題点に鑑みてなされたもので、その目的は、実際の撮影視点とは異なる仮想視点における視点画像を低コストかつ簡易な構成で生成可能な撮像装置および画像処理方法を提供することにある。本発明の撮像装置は、撮像レンズと、撮像レンズの結像面に配置されたレンズアレイと、撮像レンズおよびレンズアレイの通過光線を受光して撮像データを取得する撮像素子と、撮像データに対して画像処理を施す画像処理部とを備えたものである。画像処理部は、撮像データに基づいて複数の撮影視点画像を生成する第1視点画像生成部と、複数の撮影視点画像のうちの2以上の撮影視点画像を合成することにより、撮影視点画像とは異なる仮想視点画像を生成する第2視点画像生成部とを有している。第2視点画像生成部は、2以上の撮影視点画像を合成する際、それらの撮影視点および仮想視点画像における仮想視点の位置関係に応じた重みづけを行う。本発明の画像処理方法は、撮像レンズとその結像面に配置されたレンズアレイとの通過光線を受光する撮像素子から撮像データを取得し、その撮像データに基づいて複数の撮影視点画像を生成し、複数の撮影視点画像のうちの2以上の撮影視点画像を合成することにより、撮影視点画像とは異なる仮想視点画像を生成する。2以上の撮影視点画像を合成する際、それらの撮影視点および仮想視点画像における仮想視点の位置関係に応じた重みづけを行う。本発明の撮像装置および画像処理方法では、撮像レンズを通過した被写体からの光線は、レンズアレイによって視点方向毎に分割され、撮像素子において受光される撮像データが得られる。画像処理部は、得られた撮像データに基づいて複数の撮影視点画像を生成し、それらのうち2以上の撮影視点画像を、それらの撮影視点および仮想視点との位置関係に応じた重みづけを行いつつ合成することにより、仮想視点画像を生成する。本発明の撮像装置および画像処理方法によれば、撮像レンズ、レンズアレイおよび撮像素子と、撮像素子により取得された撮像データに基づいて視点画像を生成する画像処理部とを備え、画像処理部において2以上の視点画像を合成して仮想視点画像を生成する。2以上の視点画像を、それらの撮影視点および仮想視点画像における仮想視点の位置関係に応じて重みづけを行いつつ合成することにより、複雑な演算処理を行うことなく、仮想視点画像を生成することができる。実際の撮影視点とは異なる仮想視点における視点画像を低コストかつ簡易な構成で生成可能となる。以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。実施の形態4枚の撮影視点画像を所定の比率で合成して仮想視点画像を生成する画像処理例<実施の形態>[全体構成]図1は、本発明の一実施の形態に係る撮像装置撮像装置1の全体構成を表すものである。撮像装置1は、いわゆる単眼方式のライトフィールドカメラであり、被写体2を撮像して所定の画像処理を施すことにより、視点画像としての画像データDoutを出力するものである。この撮像装置1は、撮像レンズ11と、レンズアレイ12Aと、イメージセンサ13と、画像処理部14と、イメージセンサ駆動部15と、制御部16とを備える。尚、以下では、光軸Z1に沿った方向をZとし、光軸Z1に直交する面内において、水平方向横方向をX、垂直方向縦方向をYとする。また、本発明の画像処理方法は、画像処理部14の構成および動作によって具現化されるものであるため、その説明を省略する。撮像レンズ11は、被写体2を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。この撮像レンズ11の光入射側または光出射側には、開口絞り10が配設されている。レンズアレイ12は、撮像レンズ11の焦点面結像面に配置され、例えばガラスなどの基板上に複数のレンズマイクロレンズ12aがX方向およびY方向に沿って2次元配置されたものである。これら複数のレンズ12aは、フォトレジスト等の樹脂材料よりなり、ガラスやプラスチック等よりなる基板上に、例えばレジストリフロー法やナノインプリント法を用いて、形成されたものである。あるいは、基板表面にエッチング処理を施して形成されたものであってもよい。このレンズアレイ12の焦点面には、イメージセンサ13が配設されている。イメージセンサ13は、レンズアレイ12を通過した光線を受光して撮像データD0を取得するものである。このイメージセンサ13は、複数の画素がマトリクス状にX方向およびY方向に沿って配置したものであり、CCDChargeCoupledDevice:電荷結合素子またはCMOSComplementaryMetalOxideSemiconductorイメージセンサなどの固体撮像素子により構成されている。図2は、レンズアレイ12とイメージセンサ13の配置構成について模式的に表したものである。レンズアレイ12およびイメージセンサ13は、光軸Zに沿って所定の間隔レンズアレイ12の焦点距離分をあけて、かつ1つのレンズ12aに、イメージセンサ13におけるm×nの画素領域Uが割り当てられるように配置されている。レンズ12aのXY平面形状は、例えばm×nの画素領域Uに等しい方形状である。尚、m,nは1以上の整数であり、m×nの値が大きくなるに従って、即ち1つのマイクロレンズに割り当てられる画素の数が多くなるに従って、視点画像数視点数が多くなる。一方、レンズへの割り当て画素数が少なくなるm×nの値が小さくなるに従って、各視点画像における画素数解像度が高くなる。以下では、1つのレンズ12aに3×3m=n=3の画素領域Uが割り当てられている場合を例に挙げて説明する。イメージセンサ13の受光面上には、図示しないカラーフィルタが設けられていてもよい。カラーフィルタとしては、例えば、赤R:Red、緑G:Greenおよび青B:Blueの各色のフィルタが例えば1:2:1の比率で配列ベイヤー配列してなるものを用いることができる。画像処理部14は、イメージセンサ13において取得された撮像データD0に対して所定の画像処理を施し、例えば視点画像としての画像データDoutを出力するものである。図3に、画像処理部14の詳細構成について示す。画像処理部14は、例えば、撮影視点画像生成部140第1視点画像生成部、仮想視点画像生成部141第2視点画像生成部および画像補正処理部142を有している。尚、本明細書では、上記レンズ割り当て画素m×nに応じて取得される視点画像実際の撮影視点における視点画像を撮影視点画像と称し、この撮影視点画像を用いて生成した仮想的な視点における視点画像を仮想視点画像と称する。この画像処理部14の具体的な画像処理動作については後述する。イメージセンサ駆動部15は、イメージセンサ13を駆動してその露光や読み出しの制御を行うものである。制御部16は、画像処理部14およびイメージセンサ駆動部15の動作を制御するものであり、例えばマイクロコンピュータなどにより構成されている。[作用、効果]1.撮像データの取得撮像装置1では、撮像レンズ11およびイメージセンサ13間の所定の位置にレンズアレイ12が設けられていることにより、イメージセンサ13において、被写体2からの光線は、その強度分布に加え進行方向視点方向についての情報が保持された光線ベクトルとして記録される。即ち、レンズアレイ12を通過した光線は、視点方向毎に分割され、イメージセンサ13の異なる画素において受光される。例えば、図4に示したように、レンズ12aの通過光線のうち、ある視点方向第1視点からの光線光束LAは画素A、それとは異なる視点方向第2,3視点からの光線LB,LCは、画素BCにおいて、それぞれ受光される。このように、レンズ12aに割り当てられた画素領域Uでは、互いに異なる視点方向からの光線が、互いに異なる画素において受光される。イメージセンサ13では、イメージセンサ駆動部15による駆動動作に応じて、例えばライン順次に読み出しが行われ、撮像データD0が取得される。図5に、撮像データD0における画素データ配列について模式的に示す。本実施の形態のように、1つのレンズ12aに3×3の画素領域Uが割り当てられている場合、イメージセンサ13では、その画素領域U毎に、計9つの視点方向からの光線が受光され、3×3のA~Iの画素データが取得される。尚、図5では、簡便化のため、イメージセンサ13の9×9の画素領域9つの画素領域Uから得られる撮像データについて示している。また、イメージセンサ13の受光面側に、カラーフィルタが配置されている場合には、撮像データD0は、このカラーフィルタの色配列に対応したカラーデータとして記録される。上記のようにして得られた撮像データD0は、画像処理部14へ出力される。2.撮影視点画像生成画像処理部14は、図3に示したように、撮影視点画像生成部140、仮想視点画像生成部141および画像補正処理部142を有し、イメージセンサ13から出力された撮像データD0に基づいて所定の画像処理を行い、画像データDoutを出力する。具体的には、まず、撮影視点画像生成部140が、撮像データD0に基づいて複数の撮影視点画像を生成する処理を行う。即ち、図5に示した撮像データD0に対し、同一の視点方向の画素データ画素領域U間において互いに同一の位置にある画素から抽出される画素データ同士を合成する。例えば、撮像データD0の中から全ての画素データAを抽出してこれらを合成する図6A。他の画素データB~Iについても同様の処理を行う図6B~I。このようにして、撮影視点画像生成部140は、撮像データD0に基づいて、複数の撮影視点画像ここでは、第1~9視点の計9つの撮影視点画像を生成する。これらの撮影視点画像は、視点画像データD1として、仮想視点画像生成部141へ出力される。ここで、図7A~Iに、図6A~Iに示したデータ配列に対応する撮影視点画像の一具体例視点画像R1~R9を示す。被写体2の画像として、奥行き方向において互いに異なる位置に配置された3つの被写体人,山,花の画像Ra,Rb,Rcを例に挙げて説明する。視点画像R1~R9は、上記3つの被写体のうち人に撮像レンズの焦点が合うようにして撮影されたものであり、人よりも奥にある山の画像Rbと、人よりも手前にある花の画像Rcとについてはデフォーカスした画像となっている。このような視点画像R1~R9は、1つの撮像レンズを用いた単眼方式のカメラで撮影したものであるので、フォーカスした人の画像Raは、視点が変わってもシフトしないが、デフォーカスした画像Rb,Rcは、視点毎に互いに異なる位置にシフトする。尚、図7A~Iでは、各視点画像間の位置シフト画像Rb,Rcの位置シフトを誇張して示している。上記のような9つの視点画像R1~R9は、互いに視差を有する多視点画像として様々な用途に利用可能であるが、例えば左視点方向および右視点方向における2つの視点画像を用いて、立体映像表示を行うことができる。この場合、表示される映像の立体感は、それら2つの視点画像間の視差量に応じたものとなる。例えば、図7Dに示した視点画像R4と、図7Fに示した視点画像R6とを上記2つの視点画像として選択した場合、表示映像における立体感は、次のようなものとなる。即ち、山は人よりも奥まって見えるが、その度合いは、図8A,Bに示したように、視点画像R4における画像Rb4と視点画像R6における画像Rb6との位置ずれ量視差量Wbに応じたものとなる。一方、花は人よりも手前に飛び出して見えるが、その度合いは、視点画像R4における画像Rc4と視点画像R6における画像Rc6との位置ずれ量Wcに応じたものとなる。そして、位置ずれ量Wb,Wcが大きければ大きい程、山はより奥まって、花はより飛び出して、それぞれ観察されることとなる。3.仮想視点画像生成撮影視点画像合成上記のように、レンズ12aに割り当てられた画素と同数の撮影視点画像ここでは、3×3=9つの視点画像が取得されるが、本実施の形態では、これらの撮影視点画像を用いて、実際の撮影視点とは異なる新たな視点仮想視点における視点画像仮想視点画像を生成する。即ち、仮想視点画像生成部141は、入力された視点画像データD1における複数の撮影視点画像に対し、以下に説明するような画像合成処理を施す。ここで、図9A,Bに、撮影視点A~Iと仮想視点Vとの位置関係について示す。本実施の形態では、このような9つの撮影視点A~Iとは異なる仮想視点Vから、あたかも被写体2を撮影したかのような仮想視点画像を、2以上の撮影視点画像を合成する足し合わせることにより生成する。望ましくは、仮想視点Vの近隣の4つの撮影視点ここではA,B,D,Eにおける撮影視点画像を合成する。具体的には、4つの撮影視点A,B,D,Eにおける撮影視点画像例えば図7に示した視点画像R1,R2,R4,R5に対し、これら4つの撮影視点A,B,D,Eと仮想視点Vとの位置関係に応じた重みづけを行いつつ合成する。この合成処理は、以下の式1のように表すことができる。但し、Rvを仮想視点画像とし、係数α,β,δ,εはそれぞれ、視点画像R1,R2,R4,R5の合成比率を表すものとする。これらの係数α,β,δ,εとしては、例えば、以下の式2~5により表されるものを用いることができる。但し、撮影視点間の水平方向における距離をLH,垂直方向における距離をLV,仮想視点の水平方向における撮影視点からのずれをLX0≦LX≦LH,垂直方向における撮影視点からのずれをLY0≦LY≦LVとする。また、撮影視点画像の各係数の合計が1となるように各係数を設定するとよい。これにより、R1,R2,R4,R5が同等の明るさの映像である場合、Rvもこれらと同等の明るさの映像とすることができる。Rv=α×R1β×R2δ×R4ε×R5.........1α=LX/LH×LY/LV.........2β=1-LX/LH×LY/LV.........3δ=LX/LH×1-LY/LV.........4ε=1-LX/LH×1-LY/LV.........5αβδε=1.........6例えば、図10に示したように、仮想視点Vが4つの撮影視点A,B,D,Eによって囲まれる領域の中心に位置するときには、上記式2~5において、係数α,β,δ,εはいずれも0.25となり、4枚の撮影視点画像視点画像R1,R2,R4,R5を均等な比率で合成すればよい。このように、本実施の形態では、仮想視点と撮影視点との位置関係に応じた重みづけを行いつつ、撮影視点画像を合成することにより、仮想視点画像を生成することができる。生成された仮想視点画像についての視点画像データD2は、画像補正処理部142へ出力される。画像補正処理部142は、入力された視点画像データD2に対し、例えばデモザイク処理等のカラー補間処理やホワイトバランス調整処理、ガンマ補正処理等を施し、それらの画像処理後の視点画像データを画像データDoutとして出力する。この画像データDoutは、撮像装置1の外部へ出力されるようにしてもよいし、撮像装置1の内部に設けられた記憶部図示せずに記憶するようにしてもよい。尚、上記視点画像データD2および画像データDoutは、合成処理によって生成された仮想視点画像に対応するデータのみであってもよいし、元々の撮影視点画像ここでは9つの視点画像R1~R9に対応するデータを含んでいてもよい。あるいは、これらの撮影視点画像および仮想視点画像に対応するデータが混在して含まれていてもよい。また、生成される仮想視点画像は1枚であってもよいし、複数枚であってもよい。以上のように本実施の形態では、撮像レンズ11、レンズアレイ12およびイメージセンサ13を用いて取得された撮像データD0に基づいて複数の撮影視点画像を生成し、これらのうち2以上の撮影視点画像を合成する。この際、仮想視点Vの近隣の撮影視点A,B,D,Eにおける4枚の撮影視点画像視点画像R1,R2,R4,R5を、仮想視点Vと撮影視点A,B,D,Eとの位置関係に応じた重みづけを行いつつ合成する。即ち、複雑な演算処理を行うことなく、仮想視点画像を生成することができる。従って、処理能力の高いCPUCentralProcessingUnitを使用したり、グラフィック専用のGPUGraphicsProcessingUnitを別途搭載したりすることなく、仮想視点画像を生成できる。よって、実際の撮影視点とは異なる仮想視点における視点画像を低コストかつ簡易な構成で生成可能となる。尚、上記実施の形態では、仮想視点画像生成部141において、仮想視点Vの近隣の4つの撮影視点における撮影視点画像を用いて合成処理を行う場合を例に挙げたが、必ずしも4つの撮影視点画像を用いる必要はない上記4つの係数のうちいずれかが0ゼロであってもよい。例えば図11に示したように、LX=0のときには、上記式2~5において、係数α,β,δ,εは以下のように表される。つまり、仮想視点Vにおける仮想視点画像を、2つの撮影視点B,Eにおける視点画像R2,R4のみを用いて生成することができる。α=0.........2β=LY/LV.........3δ=0.........4ε=1-LY/LV.........5あるいは、例えば図12に示したように、LY=0のときには、上記式2~5において、係数α,β,δ,εは以下のようになる。つまり、仮想視点Vにおける仮想視点画像を、2つの撮影視点D,Eにおける視点画像R3,R4のみを用いて生成することができる。α=0.........2β=0.........3δ=LX/LH.........4ε=1-LX/LH.........5また、複数枚の仮想視点画像を生成してもよく、この場合には、各仮想視点毎に上述のような視点同士の位置関係に応じた重みづけを行いつつ撮影視点画像を合成すればよい。尚、合成処理によって新たに生成された仮想視点画像を、他の仮想視点画像の生成処理に用いるようにしてもよい。即ち、例えば、ある仮想視点V1における仮想視点画像Rv1を所定の撮影視点画像を用いて生成した後、仮想視点V1近傍の仮想視点V2における仮想視点画像Rv2を、仮想視点画像Rv1と、他の撮影視点画像とを、各視点の位置関係に応じて重みづけを行いつつ合成してもよい。以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、レンズ割り当て画素画素領域m×n=3×3である場合を例に挙げて説明したが、各レンズに割り当てられる画素領域は、これに限定されず、例えばm,nが1,2または4以上であってもよい。更に、上記実施の形態等では、本発明の画像処理方法の一例画像処理部14によって具現化される画像処理方法では、撮像レンズ、レンズアレイおよびイメージセンサを有する1つの撮像装置内において撮像データを取得し、この撮像データに基づいて所定の画像処理を行うようにしたが、画像処理対象となる撮像データは、必ずしも1つの装置内で取得されたものでなくともよい。即ち、複数の視点画像に対応する撮像データを、外部から取得するようにしてもよく、外部から取得した撮像データに対して、所定の画像処理を施してもよい。"