(57)【要約】【課題】任意の仮想的な光学系を有する仮想的な撮像装置の撮像画像を簡便に且つ高速に得る撮像装置を提供する。【解決手段】撮像装置は、現実世界の物体の任意の点から発せられ撮像光学系１０１を介して撮像センサ１０３上に入射する光束を光線群に変換し、光線群を構成する各光線の撮像センサ１０３への入射角度、入射位置および光線の強度の情報を得る機能を有する撮像部１００と、光線群を構成する光線のうち光線が入射する撮像センサ１０３上の第１の位置と、光線が仮想光学系１１１を介して仮想撮像センサ１１３上に入射する第２の位置との対応位置関係を含む位置対応表２０２に基づいて撮像センサ１０３によって得られる画像データの第１の画素の位置を仮想撮像センサ１１３における第２の画素の位置に変換するライトフィールド信号処理部３００を備える。【選択図】図１
2018046381.tif 000002
【特許請求の範囲】
【請求項１】
第１の光学系と第１の撮像センサを有し、現実世界の物体の任意の点から発せられ前記第１の光学系を介して前記第１の撮像センサ上に入射する光束を少なくとも１本以上の光線群に変換し、前記光線群を構成する各光線の前記第１の撮像センサへの入射角度、入射位置および光線の強度の情報を得る第１の機能を有する撮像部と、
前記光線群を構成する光線のうち少なくとも１つの第１の光線が入射する第１の撮像センサ上の第１の位置と、前記第１の光線が仮想の光学系を介して仮想の撮像センサ上に入射する第２の位置との対応位置関係を含む位置対応表を格納する第１の記録部と、
前記位置対応表に基づいて前記第１の撮像センサによって得られる画像データの第１の画素の位置を前記仮想の撮像センサにおける第２の画素の位置に変換する画像処理部と
を備える、撮像装置。
【請求項２】
前記位置対応表は、第１の撮像センサ上の第１の位置に対して、前記第１の光線が仮想の光学系を介して仮想の撮像センサ上に入射する第２の位置との対応位置関係および前記第２の位置に対する係数を含み、
前記画像処理部は、前記第１の位置対応表に基づいて前記第１の撮像センサによって得られる画像データの第１の画素の値を前記仮想の撮像センサにおける第２の画素の値に前記係数を掛け合わせた値に変換する、請求項１記載の撮像装置。
【請求項３】
前記仮想の光学系および前記仮想の撮像センサを含む仮想の撮像部が、ズーム、アイリス、フォーカス調整、光学式手振れ補正の少なくとも１つの第２の機能を持ち、
前記第２の機能の変化に伴い変化する前記仮想の撮像部の光学的特性に応じた複数の位置対応表を前記第１の記録部に格納し、
前記画像処理部は、前記第２の機能の変化に対応して前記第１の記録部から前記位置対応表を読み込み、読み込んだ前記位置対応表を用いて前記第１の撮像センサによって得られる画像データの第１の各画素の位置を前記仮想の撮像センサにおける第２の各画素の位置に変換する、請求項１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、色々な機能を有する仮想光学系カメラを実現する撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、ライトフィールドカメラで撮影後に、Ｌｉｇｈｔ  Ｆｉｅｌｄ         Ｐｈｏｔｏｇｒａｐｈｙと呼ばれる手法を適用することで、任意の仮想像面（リフォーカス面）にピントを合わせた２次元画像を再構成することで合焦状態の画像を表示可能な撮像装置を開示する。これにより、ライトフィールドカメラでは、撮影後に合焦状態を自由に設定することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１４５９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、ライトフィールド情報を取得可能な単一の光学系を有する撮像装置を用いて、任意の仮想的な光学系を有する仮想的な撮像装置の撮像画像を簡便且つ高速に得ることのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本開示にかかる撮像装置は、撮像装置は、第１の光学系と第１の撮像センサを有し、現実世界の物体の任意の点から発せられ前記第１の光学系を介して前記第１の撮像センサ上に入射する光束を少なくとも１本以上の光線群に変換し、前記光線群を構成する各光線の前記第１の撮像センサへの入射角度、入射位置および光線の強度の情報を得る第１の機能を有する撮像部と、前記光線群を構成する光線のうち少なくとも１つの第１の光線が入射する第１の撮像センサ上の第１の位置と、前記第１の光線が仮想の光学系を介して仮想の撮像センサ上に入射する第２の位置との対応位置関係を含む位置対応表を格納する第１の記録部と、前記位置対応表に基づいて前記第１の撮像センサによって得られる画像データの第１の画素の位置を前記仮想の撮像センサにおける第２の画素の位置に変換する画像処理部とを備える。
【発明の効果】
【０００６】
本開示にかかる撮像装置は、任意の仮想的な光学系を有する仮想的な撮像装置の撮像画像を簡便に且つ高速に得ることができる。
【図面の簡単な説明】
【０００７】
【図１】実施の形態１にかかるライトフィールドカメラの構成を示す模式図
【図２】ライトフィールド情報の取得を説明する図
【図３】仮想撮像部の構成例を示す図
【図４】仮想光線と各光学系の交点の関係図
【図５】仮想光線が入射する撮像センサ上の画素を示す図
【図６】１つの対応画素から得られる情報が不十分な例を示す図
【図７】図６の仮想光線を中心とする光束の撮像センサへの入射を示す図
【図８】撮像センサ上の交点と画素との位置関係を示す図
【図９】撮像光学系の１点に異なる方向から入射する複数の光線が撮像センサの異なる画素に入射する様子を示す図
【図１０】隣接するマイクロレンズの境界に入射する光線を示す図
【図１１】光束中心が隣接するマイクロレンズの境界に入射する様子を示す図
【図１２】仮想光線のマイクロレンズアレイ上の交点と各マイクロレンズ下の画素との位置関係を示す図
【図１３】各マイクロレンズがカバーする画素領域にかかっている光束１１８３１の一部分を示す図
【図１４】仮想光線と対応する複数画素の関係例を示す図
【図１５】仮想撮像センサの仮想画素と撮像センサの画素との対応関係を示す図
【図１６】撮像センサ記録部３０１における信号処理を示す図
【図１７】画像処理部３０３での画像データの具体的な信号処理の流れを示す図
【図１８】本実施形態の全体の動作のフローチャート
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
（実施の形態１）
以下、図１〜１８を用いて、実施の形態１について説明する。
【００１１】
［１−１．構成］
図１は、実施の形態１にかかるライトフィールドカメラの構成を示す模式図である。
【００１２】
図１のライトフィールドカメラは、撮像部１００と記録部２００とライトフィールド信号処理部３００と映像信号処理部４００と映像信号出力部５００と操作部６００とセンサ部７００とシステム制御部８００とを有する。
【００１３】
撮像部１００は、撮像光学系１０１とマイクロレンズアレイ１０２と撮像センサ１０３を有する。
【００１４】
撮像センサ１０３を構成する各画素１０４は、撮像光学系１０１とマイクロレンズアレイ１０２を介して撮像センサ１０３上に入射する光束の一部を一本の光線とみなして受光できる。これにより光線の撮像センサ１０３への入射角度、入射位置および光線の強度の情報、いわゆるライトフィールド情報を得ることができる。
【００１５】
撮像部１００によるライトフィールド情報取得方法の詳細は［１−２−１］で説明する。
【００１６】
記録部２００は、動画データや静止画データなどの映像信号を記録する記録部Ａ２０１に加えて、少なくとも１つ以上の位置対応表２０２を記録する記録部Ｂ２０３を有する。
【００１７】
記録部Ａ２０１と記録部Ｂ２０３は内蔵メモリやＳＤカードなどの外部記録媒体で実現される。
【００１８】
位置対応表２０２は、以下に説明されるものである。
【００１９】
仮想光学系１１１と複数の仮想画素１１４から成る仮想撮像センサ１１３を有する仮想撮像部１１０（図３を参照）が撮像部１００と同じ位置にあると仮定し、共通の光線が撮像部１００と仮想撮像部１１０にそれぞれ入射した場合に撮像部１００において撮像光学系１０１およびマイクロレンズアレイ１０２を介して撮像センサ１０３上のある位置Ａに入射し、一方で仮想撮像部１１０において仮想光学系１１１を介して仮想撮像センサ１１３上のある位置Ｂに入射したとすると、位置Ａと位置Ｂを１本の光線における位置対応関係として関連付けることができる。この位置対応関係を用いて仮想撮像センサ１１３上の各仮想画素１１４とそれに対応する撮像センサ１０３上の複数の画素１０４を関連付け表にしたものが、位置対応表２０２である。関連付けられた撮像センサ１０３上の各画素１０４に対し、重み付けのための係数を持たせることも考えられる。
【００２０】
複数の仮想撮像部１１０に対応して位置対応表２０２を複数用意し記録部Ｂ２０３に記録しておけば、ユーザーは操作部６００において任意の仮想撮像部１１０を選択可能である。
【００２１】
また仮想光学系１１１および仮想撮像センサ１１３を含む仮想の撮像部が、ズーム、アイリス、フォーカス調整、光学式手振れ補正の少なくとも１つの第２の機能を持ち、１つの仮想撮像部１１０における複数の光学条件、例えば異なるズーム倍率、異なる絞り位置、異なるフォーカス位置、異なる光学的手振れ補正位置などに対応して位置対応表２０２を複数用意しておけば、光学条件の変化に対応した仮想撮像部１１０を提供できる。位置対応表２０２の詳細な作成方法は［１−２−２］で説明する。
【００２２】
ライトフィールド信号処理部３００は、撮像センサ記録部３０１と位置対応表記録部３０２と画像処理部３０３を有する。
【００２３】
撮像センサ記録部３０１は撮像センサ１０３の各画素１０４のデータを一時的に保存する。位置対応表記録部３０２は、ユーザーによる選択にともない記録部Ｂ２０３から読み出される位置対応表２０２を一時的に保存する。
【００２４】
画像処理部３０３は、位置対応表記録部３０２に記録された位置対応表２０２に基づいて、仮想撮像センサ１１３上の仮想画素１１４一つひとつにおいて、対応する撮像センサ１０３上の少なくとも１つ以上の画素１０４の出力値を選択して演算した後出力する。ライトフィールド信号処理部３００における信号処理の詳細は［１−２−３］で説明する。
【００２５】
映像信号処理部４００は、画像処理部３０３における仮想撮像センサ１１３からの出力を受け、各種デジタル信号処理を行う。
【００２６】
映像信号出力部５００は、映像信号を表示する表示装置５０１と映像信号を外部の表示機器に出力するための外部出力部５０２を有する。表示装置５０１は、例えば液晶パネルや有機ＥＬパネルなどが用いられる。外部出力部５０２は、映像信号を例えばＨＤＭＩ（登録商標）信号やＳＤＩ信号などに変換して出力する。
【００２７】
表示装置５０１や外部出力部５０２に送信される映像信号は、映像信号処理部４００から出力される映像信号か記録部Ａ２０１に記録された映像信号である。
【００２８】
操作部６００は、ユーザーが仮想撮像部１１０を選択したり、各種機能の設定を行う手段を有する。具体的には、仮想撮像部選択デバイス６０１、ズーム操作デバイス６０２、アイリス操作デバイス６０３、フォーカス操作デバイス６０４、シャッター速度操作デバイス６０５、ゲイン操作デバイス６０６などを有する。
【００２９】
センサ部７００は、角速度センサ７０１などカメラ制御に用いられる各種センサを有する。システム制御部８００は、マイコン８０１を有し、本実施形態のシステム全体の制御を行う。
【００３０】
［１−２．動作］
［１−２−１．ライトフィールド情報取得方法の動作］
以下、撮像部１００による一般的なライトフィールド情報取得方法の詳細を説明する。
【００３１】
図２は、ライトフィールド情報の取得を説明する図である。被写体１０５の１点から発せられる光束１０６が撮像部１００にて受光される様子を示している。説明のためにマイクロレンズアレイ１０２を構成するマイクロレンズの数を７個、１つのマイクロレンズが占める撮像センサ１０３の画素数を３個としたが、実際の数とは異なる。
【００３２】
マイクロレンズアレイ１０２を撮像光学系１０１に対して適当な位置、例えば焦平面に配置することで、撮像光学系１０１に対し充分離れた被写体１０５の１点からの光束１０６は図２のようにマイクロレンズアレイ１０２の１つのマイクロレンズ１０２１に像を結ぶ。
【００３３】
上記マイクロレンズ１０２１に集光した光束１０６はマイクロレンズ１０２１を通過した後、マイクロレンズアレイ１０２の後側に配置した撮像センサ１０３の各画素１０４０１、１０４０２、１０４０３に入射する。これはすなわち、マイクロレンズ１０２１に集光した光束１０６が各画素１０４０１、１０４０２、１０４０３により分割光束１０６１、１０６２、１０６３に分割されることを意味している。分割光束１０６１、１０６２、１０６３は、それぞれ撮像光学系１０１の分割領域１０１１、１０１２、１０１３から射出された光束である。１つのマイクロレンズ１０２１が占める撮像センサ１０３の画素数を増やすことで撮像光学系１０１の分割数を増やすことができ、分割光束の断面積を小さくすることができる。分割光束の断面積が充分に小さい場合、分割光束を１本の光線として代表することができる。マイクロレンズ１０２１と各画素１０４０１、１０４０２、１０４０３との位置関係、およびマイクロレンズ１０２１と分割領域１０１１、１０１２、１０１３との位置関係により各々の光線の入射角度および入射位置がわかる。また、各画素１０４０１、１０４０２、１０４０３の出力値は各々の画素に入射した光線の強度を示す。
【００３４】
尚、撮像センサ１０３の配置位置は、マイクロレンズアレイ１０２の１つのマイクロレンズ１０２１で集光された光束が隣接するマイクロレンズで集光された光束と重ならないように設定する。
【００３５】
マイクロレンズアレイ１０２上の着目するマイクロレンズ１０２１を変更することは、異なる被写体位置からの光束をみることに相当する。マイクロレンズアレイ１０２全体で見ると、撮像光学系１０１に入射しマイクロレンズアレイ１０２に到達する全ての現実世界の光束を見ていることになる。
【００３６】
マイクロレンズアレイ１０２に到達した光束が必ずどれかの画素に入射するならば、上記撮像光学系１０１に入射しマイクロレンズアレイ１０２に到達する全ての現実世界の光束は撮像センサ１０３の画素数の光線群に変換でき、それら光線群を構成する各光線の入射角度、入射位置、および強度情報、すなわちライトフィールド情報を得ることができる。
【００３７】
以上が撮像部１００による一般的なライトフィールド情報取得方法の詳細である。
【００３８】
尚、撮像光学系１０１は１枚のレンズでも良いし、複数のレンズ群やアイリス、ＮＤフィルタから構成されていても構わない。
【００３９】
［１−２−２．位置対応表２０２の詳細な作成方法］
以下、位置対応表２０２の詳細な作成方法を説明する。
【００４０】
位置対応表２０２を作成するため、図３に示すような仮想光学系１１１と仮想撮像センサ１１３から成る仮想撮像部１１０を想定し、仮想撮像部１１０の光学的情報を用意する。光学的情報とは、仮想光学系１１１を構成する仮想レンズ群の各仮想レンズのサイズ、屈折率情報、各仮想レンズ曲面の幾何学的情報、各仮想レンズ間および仮想レンズと仮想撮像センサ１１３との相対位置情報および相対傾き情報、仮想撮像センサ１１３の画素数、画素サイズ、画素形状、仮想撮像部１１０の撮像部１００に対する傾き情報、とを含む情報のことである。
【００４１】
図３は仮想撮像部の構成例を示す図である。仮想撮像部１１０を構成する仮想光学系１１１および仮想撮像センサ１１３の配置が示されている。光軸をｚ軸とし、ｚ軸から垂直なｘ軸方向から見た図である。図３において、仮想光学系１１１は４個の仮想レンズで構成されており、前側から順に仮想レンズ１１７１、１１７２、１１７３、１１７４とする。
【００４２】
仮想レンズ１１７１の有効径が撮像光学系１０１の有効径より大きい場合、同じサイズかあるいは小さくなるように仮想光学系１１１および仮想撮像センサ１１３に関するサイズを全て縮小する。また仮想レンズ１１７１の有効径が撮像光学系１０１の有効径より小さい場合、そのままかあるいは同じサイズになるように仮想光学系１１１および仮想撮像センサ１１３に関するサイズを全て拡大する。本実施の形態では、仮想レンズ１１７１の有効径が撮像光学系１０１の有効径と同じであるとして説明する。また、仮想レンズ１１７１の前側表面の光軸上の位置が撮像光学系１０１の前側表面の光軸上の位置と一致するよう配置する。
【００４３】
今、仮想撮像センサ１１３のある仮想画素１１４０１に着目する。仮想レンズ１１７１を撮像光学系１０１と同じ数の仮想分割領域に分割し、それぞれ１１７１１、１１７１２、１１７１３とする。仮想分割領域１１７１１の中心点１１９１に入射し仮想レンズ１１７１、１１７２、１１７３、１１７４で屈折を繰り返した後、仮想画素１１４０１の中心に入射する仮想光線を１１８１とする。
【００４４】
仮想光線１１８１の中心点１１９１への入射角度は光線追跡シミュレーションを実施して見出す。具体的には、まず仮想光線１１８１の中心点１１９１への入射角度を適当な３次元単位ベクトル（ｘ，ｙ，ｚ）で表し、中心点１１９１の位置を（ｘ０，ｙ０，ｚ０）で表す。さらに仮想レンズ１１７１の屈折率情報と前側表面を表わす幾何学的情報から、スネルの法則により仮想光線１１８１の中心点１１９１における屈折後の光線の角度の単位ベクトル（ｘ’，ｙ’，ｚ’）が算出できる。屈折後の光線は中心点１１９１の位置（ｘ０，ｙ０，ｚ０）を通り、ベクトル（ｘ’，ｙ’，ｚ’）に比例する直線として表わされるため、屈折後の光線と仮想レンズ１１７１の後側表面との交点の位置を屈折後の光線を表わす直線の式と仮想レンズ１１７１の後側表面を表わす幾何学的情報から求めることができる。以上の計算を仮想レンズ表面の数だけ実施し、最終的に仮想撮像センサ１１３への入射位置を求める。入射位置が着目画素１１４０１の中心でなければ、単位ベクトル（ｘ，ｙ，ｚ）を変更し、入射位置が着目画素１１４０１の中心になるまで上記光線追跡シミュレーションを繰り返す。
【００４５】
以上により、仮想分割領域１１７１１の中心点１１９１に入射し仮想画素１１４０１の中心に入射する仮想光線１１８１の入射角度（ｘ，ｙ，ｚ）を求めることができる。
【００４６】
次に、同じ仮想光線１１８１が撮像光学系１０１に入射したと仮定した場合に撮像センサ１０３のどの画素に入射するかを求める。
【００４７】
図４は仮想光線と各光学系との交点の関係図である。撮像光学系１０１の前側表面と仮想光線１１８１との交点１０９１、および仮想光学系１１１の仮想レンズ１１７１の前側表面と仮想光線１１８１との交点、すなわち仮想分割領域１１７１１の中心点１１９１を表わしている。説明を分かり易くするため、ｚ軸方向に引き伸ばして表示している。仮想レンズ１１７１の表面を点線で表わす。図４のように、一般的に撮像光学系１０１の前側表面の幾何学的形状と仮想レンズ１１７１の前側表面の幾何学的形状は異なる。そのため、撮像光学系１０１の前側表面と仮想光線１１８１との交点１０９１を求める。仮想光線１１８１は中心点１１９１の位置（ｘ０，ｙ０，ｚ０）を通り、ベクトル（ｘ，ｙ，ｚ）に比例する直線として表わされる。この直線を表わす式と撮像光学系１０１の前側表面の幾何学情報から仮想光線１１８１と撮像光学系１０１の前側表面との交点１０９１の位置（ｘ１，ｙ１，ｚ１）を求めることができる。あとは上述したように光線追跡シミュレーションを撮像部１００、すなわち撮像光学系１０１およびマイクロレンズアレイ１０２および撮像センサ１０３まで実施し、仮想光線１１８１が入射する撮像センサ１０３上の画素１０４１１の位置が求められる。図５は仮想光線が入射する撮像センサ上の画素を示す図である。仮想光線１１８１が撮像光学系１０１の前側表面における交点１０９１を通りマイクロレンズアレイ１０２を介して撮像センサ１０３上の画素１０４１１に入射する様子を表わしている。
【００４８】
以上により、１本の共通の仮想光線１１８１により仮想撮像部１１０の仮想光学系１１１を介した仮想撮像センサ１１３上のある仮想画素１１４０１と撮像部１００の撮像センサ１０３上のある画素１０４１１とが対応付けられる。
【００４９】
［説明１］
一般的に仮想光線１１８１と撮像光学系１０１との交点１０９１が分割領域１０１１の中心点とは異なるため、撮像センサ１０３に入射する位置が画素の中心にならない。よって仮想撮像センサ１１３上の仮想画素１画素に対し撮像センサ１０３上の１画素を対応させるだけではその対応画素から得られる情報が不十分な場合もある。その場合、対応画素の位置精度を高めるため、複数の画素を対応画素とし、加重平均を実施して新たな対応画素とすることが有用である。図６に１つの対応画素から得られる情報が不十分な例を示す。図６のように、仮想光線１１８２と撮像光学系１０１との交点１０９２が分割領域１０１１と１０１２のちょうど境界の位置である場合を考えると、仮想光線１１８２は画素１０４０１と１０４０２との境界に入射する。この場合、画素１０４０１あるいは画素１０４０２のどちらか１つの画素を対応画素とするよりも、画素１０４０１と１０４０２の単純平均、すなわち画素１０４０１の０．５倍と画素１０４０２の０．５倍を対応画素とすれば、あたかも画素１０４０１と１０４０２の中間の位置に画素が存在し、その画素の中心に仮想光線１１８２が入射するとみなすことができる。図７に図６の仮想光線を中心とする光束の撮像センサへの入射を示す。図７に示すように仮想光線１１８２は自身を中心とし幅が分割領域の光束１０６４の代表であり、光束１０６４はちょうど画素１０４０１と１０４０２の境界を中心とした幅１画素分の領域に入射するので、画素１０４０１と１０４０２の両方に光束１０６４の情報が含まれることがわかる。
【００５０】
以上を一般化すると、交点１０９２の存在する分割領域および隣接する複数の分割領域に対応する撮像センサ１０３上の隣接する複数の画素の加重平均を求めることにより、より高い精度の対応画素情報が得られる。加重平均に用いる画素の数は、撮像センサ１０３が単純な正方格子の画素配列の場合、縦横の隣接４画素を最小の組として用いるのが最も簡単であるが、それ以上の近傍画素を用いてもよい。本説明では縦横の隣接４画素を最小の組として用いた場合を説明する。加重平均時の各画素の重みは仮想光線１１８２と撮像センサ１０３との交点の画素中心に対する位置関係で決まる。図８に撮像センサ上の交点と画素との位置関係を示す。
【００５１】
図８は撮像センサ１０３を光軸方向から見た図である。画素サイズは縦Ｘ、横Ｘとする。仮想光線１１８２と撮像センサ１０３との交点を１０９２５とし、交点１０９２５を中心とした縦Ｘ、横Ｘのサイズの合成画素１０４２５を考える。合成画素１０４２５の範囲を点線で表わす。合成画素１０４２５の範囲にかかっている４つの隣接画素を、それぞれ１０４２１、１０４２２、１０４２３、１０４２４とする。交点１０９２５は画素１０４２１上に存在し、交点１０９２５と画素１０４２１の中心１０９２１とのズレ量は縦Δｙ、横Δｘとする。この時、各画素にかかっている合成画素１０４２５の面積は、画素１０４２１に対し（Ｘ−Δｘ）×（Ｘ−Δｙ）、画素１０４２２に対し（Ｘ−Δｘ）×Δｙ、画素１０４２３に対しΔｘ×Δｙ、画素１０４２４に対しΔｘ×（Ｘ−Δｙ）となる。各画素の重みは上記各画素の面積を合成画素全体の面積で割った値となるので、画素１０４２１の重みは（Ｘ−Δｘ）×（Ｘ−Δｙ）／Ｘ２、画素１０４２２の重みは（Ｘ−Δｘ）×Δｙ／Ｘ２、画素１０４２３の重みはΔｘ×Δｙ／Ｘ２、画素１０４２４の重みはΔｘ×（Ｘ−Δｙ）／Ｘ２となる。
【００５２】
以上により、任意の位置の交点１０９２において、１画素対応よりも精度の高い対応画素情報が得られる。この場合、１つの仮想画素に対応付けられる撮像センサ１０３上の画素の数は複数となり、加重平均の重みも後述の演算情報として必要となる。
【００５３】
［説明２］
［説明１］では仮想光線１１８２と撮像光学系１０１との交点１０９２が任意の位置の場合の対応画素を見出す手法を説明した。次に、交点が特定の位置、ここでは分割領域の中心とするが、この特定の位置の交点を通る任意の入射角度の仮想光線に対する対応画素を見出す手法を説明する。
【００５４】
図９に撮像光学系の１点に異なる方向から入射する複数の光線が撮像センサの異なる画素に入射する様子を示す。各光線は撮像光学系１０１の分割領域１０１１の中心点１０９１を通りマイクロレンズアレイ１０２の各マイクロレンズを介して撮像センサ１０３の各画素に入射する。光線１０８１、１０８２、１０８３、１０８４、１０８５、１０８６、１０８７はそれぞれ画素１０４３１、１０４３２、１０４３３、１０４３４、１０４３５、１０４３６、１０４３７の中心に入射する光線である。各マイクロレンズに対する画素１０４３１から１０４３７の相対位置は同じとなり、図９では各マイクロレンズがカバーする３画素のうち下側の画素である。画素１０４３１から１０４３７のうちどれか１つの画素を選択することは、中心点１０９１に入射する光線の入射角度を選択することに相当する。
【００５５】
図１０に隣接するマイクロレンズの境界に入射する光線を示す。図９の光線１０８４と１０８５の中間の入射角度である仮想光線１１８３は、分割領域１０１１の中心点１０９１を通過した後、マイクロレンズ１０２４と１０２５の境界に到達し、画素１０４３４あるいは１０４３５に入射すると考えられる。しかしこの場合、画素１０４３４あるいは画素１０４３５のどちらか１つの画素を対応画素とするよりも、画素１０４３４と１０４３５の単純平均、すなわち画素１０４３４の０．５倍と画素１０４３５の０．５倍を対応画素とする方が精度の高い情報が得られる。理由を図１１を用いて説明する。図１１に光束中心が隣接するマイクロレンズの境界に入射する様子を示す。図１１に示すように仮想光線１１８３は自身を中心とし幅が分割領域の光束１０６５の代表であり、光束１０６５はマイクロレンズ１０２４と１０２５で分割され、それぞれ画素１０４３４と１０４３５に入射する。以上より、マイクロレンズ１０２４と１０２５の境界に到達する仮想光線１１８３の対応画素は、画素１０４３４の０．５倍と画素１０４３５の０．５倍を対応画素とする方が精度の高い情報が得られる。
【００５６】
以上を一般化すると、中心点１０９１の存在する分割領域に対応する各マイクロレンズ下の画素について、仮想光線１１８３の入射するマイクロレンズおよび隣接する複数のマイクロレンズ下の画素の加重平均を求めることにより、より高い精度の対応画素情報が得られる。加重平均に用いる画素の数は、マイクロレンズアレイ１０２が単純な正方格子の配列の場合、縦横の隣接する４個のマイクロレンズ下の画素を最小の組として用いるのが最も簡単であるが、それ以上の近傍マイクロレンズ下の画素を用いてもよい。加重平均時の各画素の重みは仮想光線１１８３のマイクロレンズアレイ１０２への入射位置の隣接する各マイクロレンズに対する位置関係で決まる。
【００５７】
図１２に仮想光線のマイクロレンズアレイ上の交点と各マイクロレンズ下の画素との位置関係を示す。
【００５８】
図１２はマイクロレンズアレイ１０２および撮像センサ１０３を光軸方向から見た図である。マイクロレンズアレイ１０２を構成するマイクロレンズは正方格子状に配列されており、各マイクロレンズ下に３×３個の画素が配置されている。画素のサイズを縦Ｘ、横Ｘとし、マイクロレンズのサイズを直径Ｌ＝３×Ｘとする。仮想光線１１８３とマイクロレンズアレイ１０２との交点を１０９１５とし、交点１０９１５を中心とした直径Ｌのサイズの円形の光束１１８３１を考える。光束１１８３１の範囲を点線で表わす。光束１１８３１の範囲にマイクロレンズ下の画素がかかっているような４つの隣接マイクロレンズを、それぞれ１０２６、１０２７、１０２８、１０２９とする。撮像光学系１０１の分割領域の位置に対応する各マイクロレンズ下の画素をそれぞれ１０４４６、１０４４７、１０４４８、１０４４９とし、斜線で示す。本説明では上記４画素の加重平均時の各画素の重みを求める。交点１０９１５はマイクロレンズ１０２６上に存在し、交点１０９１５とマイクロレンズ１０２６の中心１０２６１とのズレ量は縦ΔＬｙ、横ΔＬｘとする。各マイクロレンズがカバーする画素領域にかかっている光束１１８３１の面積を求める。
【００５９】
図１３（ａ）、図１３（ｂ）、図１３（ｃ）、図１３（ｄ）にそれぞれ、マイクロレンズ１０２６、１０２７、１０２８、１０２９がカバーする画素領域にかかっている光束１１８３１の一部分１０２６２、１０２７２、１０２８２、１０２９２を示す。上記部分を斜線で示す。
【００６０】
図１３（ａ）のように、部分１０２６２は一つの扇形、二つの三角形および一つの長方形に分けられるので、部分１０２６２の面積Ｓ１は以下のように求められる。
【００６１】
Ｓ１＝π×（Ｌ／２）２×（π／２＋ａｒｃｓｉｎ（（Ｌ／２−ΔＬｘ）×２／Ｌ）
＋ａｒｃｓｉｎ（（Ｌ／２−ΔＬｙ）×２／Ｌ））／（２×π）
＋（Ｌ／２−ΔＬｘ）×Ｌ／２×ｃｏｓ（ａｒｃｓｉｎ（（Ｌ／２−ΔＬｘ）×２／Ｌ））／２
＋（Ｌ／２−ΔＬｙ）×Ｌ／２×ｃｏｓ（ａｒｃｓｉｎ（（Ｌ／２−ΔＬｙ）×２／Ｌ））／２
＋（Ｌ／２−ΔＬｘ）×（Ｌ／２−ΔＬｙ）
図１３（ｂ）のように、部分１０２６２と部分１０２７２を合わせた図形は一つの扇形、および一つの三角形に分けられるので、部分１０２７２の面積Ｓ２は以下のように求められる。
【００６２】
Ｓ２＝π×（Ｌ／２）２×（π／２＋ａｒｃｓｉｎ（（Ｌ／２−ΔＬｘ）×２／Ｌ））×２
／（２×π）
＋（Ｌ／２−ΔＬｘ）×Ｌ／２×ｃｏｓ（ａｒｃｓｉｎ（（Ｌ／２−ΔＬｘ）×２／Ｌ））
−Ｓ１
図１３（ｄ）のように、部分１０２６２と部分１０２９２を合わせた図形は一つの扇形、および一つの三角形に分けられるので、部分１０２９２の面積Ｓ４は以下のように求められる。
【００６３】
Ｓ４＝π×（Ｌ／２）２×（π／２＋ａｒｃｓｉｎ（（Ｌ／２−ΔＬｙ）×２／Ｌ））×２
／（２×π）
＋（Ｌ／２−ΔＬｙ）×Ｌ／２×ｃｏｓ（ａｒｃｓｉｎ（（Ｌ／２−ΔＬｙ）×２／Ｌ））
−Ｓ１
図１３（ｃ）のように、部分１０２６２、部分１０２７２、部分１０２８２、部分１０２９２を合わせると光束１１８３１を表わす円となるため、部分１０２８２の面積Ｓ３は以下のように求められる。
【００６４】
Ｓ３＝π×（Ｌ／２）２−Ｓ１−Ｓ２−Ｓ４
光束１１８３１が全領域に渡り等密度であり、かつ各部分１０２６２〜１０２９２の光束が全てそれぞれのマイクロレンズ１０２６〜１０２９に入射すると見なすと、加重平均時の各画素の重みはそれぞれ上記面積Ｓ１、Ｓ２、Ｓ３、Ｓ４の光束１１８３１の全体面積に対する割合として求めることができる。すなわち、図１２の画素１０４４６の重みはＳ１／（π×（Ｌ／２）２）、画素１０４４７の重みはＳ２／（π×（Ｌ／２）２）、画素１０４４８の重みはＳ３／（π×（Ｌ／２）２）、画素１０４４９の重みはＳ４／（π×（Ｌ／２）２）となる。
【００６５】
以上により、分割領域の中心の交点を通る任意の入射角度の仮想光線に対して、１画素対応よりも精度の高い対応画素情報が得られる。この場合、１つの仮想画素に対応付けられる撮像センサ１０３上の画素の数は複数となり、加重平均の重みも後述の演算情報として必要となる。
【００６６】
［説明３］
［説明１］、［説明２］を合わせて考えると、撮像光学系１０１の任意の位置に任意の入射角度で入射する仮想光線１１８１に対し、撮像センサ１０３の複数の画素を重み付けして対応させることができる。これにより単純に１画素を対応させるよりも精度の高い画素対応情報を得ることができる。図１４に仮想光線と対応する複数画素の関係例を示す。仮想光線１１８４が撮像光学系１０１の分割領域１０１１と１０１２の境界の交点１０９３に入射し、マイクロレンズアレイ１０２のマイクロレンズ１０２４と１０２５の境界に到達する場合、仮想光線１１８４を中心とし幅が分割領域の光束１０６６を考えると、［説明２］により光束１０６６はマイクロレンズ１０２４と１０２５で等しく分割され、それぞれのマイクロレンズがカバーする画素領域のどこかに入射する。さらに交点１０９３が分割領域１０１１と１０１２の境界であるため、［説明１］により各マイクロレンズ下の対応画素は各マイクロレンズがカバーする３画素のうち、中央の画素と下側の画素との単純平均である。マイクロレンズ１０２４下の画素に関しては、画素１０４５１と１０４５２がこれにあたり、マイクロレンズ１０２５下の画素に関しては、画素１０４５３と１０４５４がこれにあたる。
【００６７】
以上より、仮想光線１１８４の対応画素は１０４５１、１０４５２、１０４５３、１０４５４の４個であり、重みはそれぞれ０．２５となる。
【００６８】
図１４は説明のためマイクロレンズアレイ１０２や撮像センサ１０３を横から見た断面図の１次元で表わしているため対応画素は４個であるが、実際には２次元のため、対応画素は１６個となる。
【００６９】
［説明４］
［説明１］〜［説明３］まで、一本の仮想光線において仮想撮像センサの１つの仮想画素に対し複数の画素を対応させる方法を述べたが、以下の説明では説明を容易にするため、対応画素が１画素の場合で説明する。
【００７０】
図１５に仮想撮像センサの仮想画素と撮像センサの画素との対応関係を示す。図１５は仮想撮像センサ１１３と撮像センサ１０３を光軸方向から見た図を表わしている。それぞれのセンサ上に互いに対応する仮想画素１１４０１と画素１０４１１の位置を示している。仮想撮像センサ１１３の横方向の画素数をＩ、縦方向の画素数をＪとする。画素位置の表わし方として、図面上の最も左上の位置の画素位置をＰＶ（１，１）とし、最も右下の位置の画素位置をＰＶ（Ｉ，Ｊ）とする。撮像センサ１０３の横方向の画素数をＫ、縦方向の画素数をＬとし、画素位置の表わし方は仮想撮像センサ１１３と同様に図面上の最も左上の位置の画素位置をＰ（１，１）とし、最も右下の位置の画素位置をＰ（Ｋ，Ｌ）とする。仮想画素１１４０１の位置がＰＶ（ｉ，ｊ）、画素１０４１１の位置がＰ（ｋ１、ｌ１）の場合、位置対応関係を例えば以下のように表わす。
【００７１】
ＰＶ（ｉ，ｊ）：Ｐ（ｋ１ｉｊ，ｌ１ｉｊ），Ｎ（ｋ１ｉｊ，ｌ１ｉｊ）；
ここでｋ１，ｌ１の末尾に付けた下付き文字のｉｊは、仮想画素位置ＰＶ（ｉ，ｊ）に対するｋ１、ｌ１であることを示す。以降の説明で複数の仮想画素に対し文字ｋ１、ｌ１を用いるため、異なる仮想画素に対するｋ１、ｌ１であることを表わすために下付き文字ｉｊを付ける。またＮ（ｋ１ｉｊ，ｌ１ｉｊ）は画素位置Ｐ（ｋ１ｉｊ，ｌ１ｉｊ）における出力データに掛ける重み係数であり、［説明１］〜［説明３］で求めたものである。
【００７２】
着目する仮想画素１１４０１に入射する光は光線一本だけではなく、図３の仮想レンズ１１７１の全領域に渡り入射する光線の集合であるため、全ての分割領域において上記手順［説明１］〜［説明４］を実施し、仮想画素１１４０１に対応する撮像センサ１０３上の画素の集合を求める。分割領域の数は、例えば図２においては分割領域１０１１、１０１２、１０１３の３箇所、あるいは図３においては仮想分割領域１１７１１、１１７１２、１１７１３の３箇所であるが、図面には表わされていないものの実際の分割領域は図２や図３のように１次元ではなく２次元で分割されるため、３×３＝９分割である。この９個の分割領域における仮想画素１１４０１に対応する撮像センサ１０３上の画素の位置をそれぞれＰ（ｋ１ｉｊ，ｌ１ｉｊ）、Ｐ（ｋ２ｉｊ，ｌ２ｉｊ）、・・・、Ｐ（ｋ９ｉｊ，ｌ９ｉｊ）とし、各画素における係数をＮ（ｋ１ｉｊ，ｌ１ｉｊ）、Ｎ（ｋ２ｉｊ，ｌ２ｉｊ）、・・・、Ｎ（ｋ９ｉｊ，ｌ９ｉｊ）とすると、位置対応関係を例えば以下のように表わす。
【００７３】
ＰＶ（ｉ，ｊ）：Ｐ（ｋ１ｉｊ，ｌ１ｉｊ），Ｎ（ｋ１ｉｊ，ｌ１ｉｊ）；
Ｐ（ｋ２ｉｊ，ｌ２ｉｊ），Ｎ（ｋ２ｉｊ，ｌ２ｉｊ）；
・・・Ｐ（ｋ９ｉｊ，ｌ９ｉｊ），Ｎ（ｋ９ｉｊ，ｌ９ｉｊ）；
以上により、仮想撮像センサ１１３上のある仮想画素１個に対応する撮像センサ１０３上の画素集合の位置対応関係が求められる。次に、仮想撮像センサ１１３上の全ての仮想画素Ｉ×Ｊ個に対し、上記手法を用いて位置対応関係を求めると、以下のような表が作成できる。
【００７４】
ＰＶ（１，１）：Ｐ（ｋ１１１，ｌ１１１），Ｎ（ｋ１１１，ｌ１１１）；
Ｐ（ｋ２１１，ｌ２１１），Ｎ（ｋ２１１，ｌ２１１）；
・・・Ｐ（ｋ９１１，ｌ９１１），Ｎ（ｋ９１１，ｌ９１１）；
ＰＶ（２，１）：Ｐ（ｋ１２１，ｌ１２１），Ｎ（ｋ１２１，ｌ１２１）；
Ｐ（ｋ２２１，ｌ２２１），Ｎ（ｋ２２１，ｌ２２１）；
・・・Ｐ（ｋ９２１，ｌ９２１），Ｎ（ｋ９２１，ｌ９２１）；
・
・
・
ＰＶ（Ｉ，Ｊ）：Ｐ（ｋ１ＩＪ，ｌ１ＩＪ），Ｎ（ｋ１ＩＪ，ｌ１ＩＪ）；
Ｐ（ｋ２ＩＪ，ｌ２ＩＪ），Ｎ（ｋ２ＩＪ，ｌ２ＩＪ）；
・・・Ｐ（ｋ９ＩＪ，ｌ９ＩＪ），Ｎ（ｋ９ＩＪ，ｌ９ＩＪ）；
この表を位置対応表２０２と呼ぶ。
【００７５】
以上より、任意の仮想光学系１１１を介した仮想撮像センサ１１３の各画素を単一のライトフィールドカメラの撮像部１００の撮像センサ１０３の少なくとも１つ以上の画素で表わすことができ、位置対応表２０２を事前に用意しておくことで、上記光線追跡にかかる膨大な計算を逐次実施する必要が無くなる。
【００７６】
［１−２−３．ライトフィールド信号処理部３００における信号処理］
以下、ライトフィールド信号処理部３００における信号処理の詳細を説明する。ユーザーが操作部６００における仮想撮像部選択デバイス６０１によりある仮想撮像部を選択すると、それに対応した位置対応表２０２を記録部Ｂ２０３から読み出し、位置対応表記録部３０２に記録する。
【００７７】
図１６に撮像センサ記録部３０１における信号処理について示す。撮像センサ１０３からの各画素のデータは、一時的に撮像センサ記録部３０１に保存される。説明を容易にするため、撮像センサ記録部３０１に記録された各画素のデータを図１６のように撮像センサ１０３の各画素の２次元配置と同様に並べる。
【００７８】
仮想画素位置ＰＶ（ｉ，ｊ）において、位置対応表記録部３０２に記録された位置対応表２０２から以下の対応位置関係
ＰＶ（ｉ，ｊ）：Ｐ（ｋ１ｉｊ，ｌ１ｉｊ），Ｎ（ｋ１ｉｊ，ｌ１ｉｊ）；
Ｐ（ｋ２ｉｊ，ｌ２ｉｊ），Ｎ（ｋ２ｉｊ，ｌ２ｉｊ）；
・・・Ｐ（ｋ９ｉｊ，ｌ９ｉｊ），Ｎ（ｋ９ｉｊ，ｌ９ｉｊ）；
を読み出し、このうち位置情報Ｐ（ｋ１ｉｊ，ｌ１ｉｊ）、Ｐ（ｋ２ｉｊ，ｌ２ｉｊ）、・・・Ｐ（ｋ９ｉｊ，ｌ９ｉｊ）を対応位置選択信号３０４として撮像センサ記録部３０１に出力し、撮像センサ記録部３０１における記録位置を選択する。
【００７９】
次に、選択された記録位置から画素データを読み出し、画像処理部３０３で信号処理する。図１７に画像処理部３０３での画像データの具体的な信号処理の流れを示す。選択された記録位置から読み出される画素データをそれぞれＯ（ｋ１ｉｊ，ｌ１ｉｊ）、Ｏ（ｋ２ｉｊ，ｌ２ｉｊ）、・・・、Ｏ（ｋ９ｉｊ，ｌ９ｉｊ）とする。先ほど位置対応表２０２から読み出した対応位置関係のうち、係数Ｎ（ｋ１ｉｊ，ｌ１ｉｊ）、Ｎ（ｋ２ｉｊ，ｌ２ｉｊ）、・・・、Ｎ（ｋ９ｉｊ，ｌ９ｉｊ）をそれぞれＯ（ｋ１ｉｊ，ｌ１ｉｊ）、Ｏ（ｋ２ｉｊ，ｌ２ｉｊ）、・・・、Ｏ（ｋ９ｉｊ，ｌ９ｉｊ）に掛け合わせ、足し合わせたものをＯＶ（ｉ，ｊ）とする。ＯＶ（ｉ，ｊ）が仮想撮像センサ１１３の画素位置ＰＶ（ｉ，ｊ）における画素データとなる。ＯＶ（ｉ，ｊ）の生成にかかる演算量は、本実施の形態では９であるが、一般的には撮像センサ記録部３０１から読み出す画素数、つまり撮像光学系１０１あるいは仮想レンズ１１７１の分割数に比例する。分割数は１つのマイクロレンズ１０２１が占める撮像センサ１０３の画素数と同数であるので、演算量は結局１つのマイクロレンズ１０２１が占める撮像センサ１０３の画素数分だけで済む。ＯＶ（ｉ，ｊ）をＯＶ（１，１）からＯＶ（Ｉ，Ｊ）まで順に出力してゆくことで、仮想撮像センサ１１３から映像信号が出力されることになる。後段の映像信号処理部４００からみると現実の撮像センサから映像信号が送られてくるのと同様に扱うことができる。
【００８０】
尚、図１７では省略しているが、仮想撮像センサ１１３のクロック信号など、映像信号ＯＶ（ｉ，ｊ）以外の現実の撮像センサから映像信号処理部４００へ送られる信号も画像処理部３０３で生成される。
【００８１】
映像信号処理部４００において、仮想撮像センサ１１３の映像信号出力モードに対応した設定を各種デジタル信号処理部４０１に行うことで、画像処理部３０３から出力される仮想撮像センサ１１３の映像信号出力を受けることができる。これら各種設定値は位置対応表２０２に埋め込んでおき、位置対応表記録部３０２に記録された位置対応表２０２から得る。
【００８２】
各種デジタル信号処理部４０１に入力された映像信号は、従来の撮像装置と同様の各種デジタル信号処理を施された後、記録部２００に保存されたり、映像信号出力部５００に出力されたりする。
【００８３】
図１８に本実施形態の全体の動作のフローチャートを示す。説明は図１および図１８を用いて行う。
【００８４】
ステップＳ１ではユーザーが操作部６００の仮想撮像部選択デバイス６０１で選択した仮想撮像部に対応する位置対応表２０２を記録部Ｂ２０３から選択する。
【００８５】
ステップＳ２では選択された位置対応表２０２をライトフィールド信号処理部３００の位置対応表記録部３０２に読み込む。ステップＳ３では位置対応表記録部３０２に読み込まれた位置対応表２０２から各種デジタル信号処理部４０１の設定値を取り出し、各種デジタル信号処理部４０１に対し、選択された仮想撮像部に対応した設定を行う。
【００８６】
ステップＳ４では撮像部１００の撮像センサ１０３の出力、すなわちライトフィールドデータをライトフィールド信号処理部３００の撮像センサ記録部３０１に記録する。ステップＳ５では位置対応表記録部３０２において、記録された位置対応表２０２の中から仮想撮像センサ１１３の現在の画素位置に対応する撮像センサ１０３の複数の画素位置を取得し、撮像センサ記録部３０１に対応位置選択信号を出力する。
【００８７】
ステップＳ６では対応位置選択信号で選択された複数の画素位置の画素データをライトフィールド信号処理部３００の画像処理部３０３に出力する。また、位置対応表記録部３０２に記録された位置対応表２０２の中から選択された複数の画素の重み係数を取得し、画像処理部３０３に出力する。画像処理部３０３では上記画素データおよび係数を用いて信号処理を行い、仮想撮像センサ１１３の仮想画素データとして映像信号処理部４００に出力する。
【００８８】
ステップＳ７では仮想撮像センサ１１３の現在の画素位置が最終位置か確認し、最終位置であればステップＳ４に戻り、撮像センサ１０３から新しいライトフィールドデータを取得する。最終位置でない場合、ステップＳ８で仮想撮像センサ１１３の現在の画素位置を次の画素位置へシフトし、ステップＳ５に戻る。ステップＳ５〜Ｓ８を繰り返し、仮想撮像センサの全ての仮想画素を映像データとして順次出力してゆく。
【００８９】
ステップＳ９ではステップＳ６で出力された仮想撮像センサ１１３の仮想画素データを映像信号処理部４００の各種デジタル信号処理部４０１で信号処理を行う。ステップＳ１０ではステップＳ９で信号処理された映像データを記録部２００の記録部Ａ２０１へ出力して記録するか、映像信号出力部５００に出力する。
【００９０】
ステップＳ１１では映像信号出力部５００に入力された映像データを表示装置５０１で表示したり外部出力部５０２から外部機器へ出力を行ったりする。
【００９１】
ステップＳ１２ではユーザーによる操作部６００を用いた光学条件変更、例えば仮想撮像部の変更やズーム操作などが行われた場合、あるいは撮像環境の変化による光学条件変更、例えば被写体の明るさが変わり自動露出制御により仮想撮像部１１０の絞りを変更したり、センサ部７００の各速度センサ７０１の信号変化により仮想撮像部１１０の手振れ補正制御が行われる場合に、変更された光学条件に対応した位置対応表２０２を記録部Ｂ２０３から新たに選択し、ステップＳ２に戻る。ステップＳ１３では終了指示、例えば本撮影装置の電源ＯＦＦの選択により、動作を終了する。終了指示が無ければ、ステップＳ４に戻る。
【００９２】
以上の説明から、本実施の形態におけるライトフィールドカメラ（撮像装置）は、ビデオカメラやデジタルカメラなどの撮像装置のあらゆる光学系が仮想的に実現可能となるため、現実の光学系が不要となる。
【００９３】
また本実施の形態では、１つの仮想撮像部１１０における複数の光学条件、例えば異なるズーム倍率、異なる絞り位置、異なるフォーカス位置、異なる光学的手振れ補正位置などに対応して位置対応表２０２を複数用意しておけば、光学条件の変化に対応した仮想撮像部１１０を提供できることを開示した。
【００９４】
この場合、撮像装置の構成としては、図１において、仮想光学系１１１および仮想撮像センサ１１３を含む仮想撮像部１１０が、ズーム、アイリス、フォーカス調整、光学式手振れ補正の少なくとも１つの第２の機能を持ち、第２の機能の変化に伴い変化する仮想撮像部１１０の光学的特性に応じた複数の位置対応表２０２を第１の記録部Ｂ２０３に格納し、ライトフィールド信号処理部３００は、第２の機能の変化に対応して第１の記録部Ｂ２０３から光学的特性に応じた位置対応表２０２を読み込み、読み込んだ位置対応表２０２を用いて第１の撮像センサ１０３によって得られる画像データの第１の各画素の位置を仮想撮像センサ１１３における第２の各画素の位置に変換する構成を用いればよい。
【００９５】
また、仮想撮像部１１０における複数の光学条件を端から端まで何パターンか振った状態の位置対応表２０２を事前にパターンの数だけ作成し、パターン間の対応表は補間で作成することで、仮想光学系のあらゆる条件に対し位置対応表を作成することができる。
【００９６】
［１−３．まとめ］
以上のように、本実施の形態において、撮像装置は、第１の撮像光学系１０１と第１の撮像センサ１０３を有し、現実世界の物体の任意の点から発せられ第１の撮像光学系１０１を介して第１の撮像センサ１０３上に入射する光束を少なくとも１本以上の光線群に変換し、前記光線群を構成する各光線の前記第１の撮像センサ１０３への入射角度、入射位置および光線の強度の情報を得る第１の機能を有する撮像部１００と、前記光線群を構成する光線のうち少なくとも１つの第１の光線が入射する第１の撮像センサ１０３上の第１の位置と、前記第１の光線が仮想光学系１１１を介して仮想撮像センサ１１３上に入射する第２の位置との対応位置関係を含む位置対応表２０２を格納する第１の記録部Ｂ２０３と、位置対応表２０２に基づいて第１の撮像センサ１０３によって得られる画像データの第１の画素の位置を仮想撮像センサ１１３における第２の画素の位置に変換するライトフィールド信号処理部（画像処理部）３００とを備える。
【００９７】
これにより、本開示にかかる撮像装置は、任意の仮想的な光学系を有する仮想的な撮像装置の撮像画像を簡便に且つ高速に得ることができる。
【００９８】
また、本開示にかかる撮像装置は、位置対応表２０２は、第１の撮像センサ１０３上の第１の位置に対して、前記第１の光線が仮想光学系１１１を介して仮想撮像センサ１１３上に入射する第２の位置との対応位置関係および前記第２の位置に対する係数を含み、ライトフィールド信号処理部３００は、位置対応表２０２に基づいて第１の撮像センサ１０３によって得られる画像データの第１の画素の値を仮想撮像センサ１１３における第２の画素の値に前記係数を掛け合わせた値に変換する。
【００９９】
以上のように、本開示における実装の例示として、実施の形態１を説明した。しかしながら、本開示は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
【産業上の利用可能性】
【０１００】
本開示は、色々な機能を有する仮想光学系カメラを実現する撮像装置に適用可能である。具体的には、ライトフィールドカメラなどに、本開示は適用可能である。
【符号の説明】
【０１０１】
１００  撮像部
１０１  撮像光学系
１０３  撮像センサ
１１０  仮想撮像部
１１１  仮想光学系
１１３  仮想撮像センサ
２００  記録部
２０１  記録部Ａ
２０２  位置対応表
２０３  記録部Ｂ
３００  ライトフィールド信号処理部
４００  映像信号処理部
５００  映像信号出力部
６００  操作部
７００  センサ部
８００  システム制御部
【図１】
2018046381.tif 000003
【図２】
2018046381.tif 000004
【図３】
2018046381.tif 000005
【図４】
2018046381.tif 000006
【図５】
2018046381.tif 000007
【図６】
2018046381.tif 000008
【図７】
2018046381.tif 000009
【図８】
2018046381.tif 000010
【図９】
2018046381.tif 000011
【図１０】
2018046381.tif 000012
【図１１】
2018046381.tif 000013
【図１２】
2018046381.tif 000014
【図１３】
2018046381.tif 000015
【図１４】
2018046381.tif 000016
【図１５】
2018046381.tif 000017
【図１６】
2018046381.tif 000018
【図１７】
2018046381.tif 000019
【図１８】
2018046381.tif 000020