(57)【要約】  本技術は、複数の視点の画像を、容易に得ることができるようにする情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関する。通信部は、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個のイメージセンサで撮像される撮像画像上の、複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信する。領域特定部は、領域特定情報に基づいて、撮像画像上の、複数の個眼レンズそれぞれに対する複数の個眼画像の領域を特定する。本技術は、例えば、画像を撮像するカメラシステム等に適用することができる。
2019065260.tif 000002
【特許請求の範囲】
【請求項１】
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信する通信部と、
前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定する領域特定部と
を備える情報処理装置。
【請求項２】
前記個眼レンズに対する前記個眼画像は、その個眼レンズにより集光される光線により形成される像のうちの、他の個眼レンズにより集光される光線により形成される像と重複しない部分のみを含む画像である
請求項１に記載の情報処理装置。
【請求項３】
前記複数の個眼画像の一部又は全部を用いて、露出制御を行う制御部をさらに備える
請求項１に記載の情報処理装置。
【請求項４】
前記撮像画像、又は、前記個眼画像を表示する表示部
をさらに備える請求項１に記載の情報処理装置。
【請求項５】
前記複数の個眼画像を含む複数の視点の視点画像の画素をシフトして積算することにより、奥行き方向の距離が所定の距離の合焦点に合焦した処理結果画像を生成する集光処理を行う集光処理部をさらに備える
請求項１に記載の情報処理装置。
【請求項６】
前記集光処理部は、前記複数の視点の視点画像の視差情報に応じて、前記視点画像の画素をシフトするシフト量を設定する
請求項５に記載の情報処理装置。
【請求項７】
前記複数の視点の視点画像は、前記複数の個眼画像と、前記複数の個眼画像を用いた補間により生成される複数の補間画像とを含む
請求項５に記載の情報処理装置。
【請求項８】
前記複数の個眼画像の視差情報を生成する視差情報生成部と、
前記個眼画像、及び、前記視差情報を用いて、異なる視点の前記複数の補間画像を生成する補間部と
をさらに備える請求項７に記載の情報処理装置。
【請求項９】
情報処理装置が、
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信することと、
前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定することと
を含む情報処理方法。
【請求項１０】
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信する通信部と、
前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定する領域特定部と
して、コンピュータを機能させるためのプログラム。
【請求項１１】
光軸方向に重ならないように配置された複数のレンズである個眼レンズと、
イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を記憶する記憶部と、
前記領域特定情報を外部に送信する通信部と
を備える交換レンズ。
【請求項１２】
前記複数の個眼レンズそれぞれについて、前記個眼レンズから前記イメージセンサに到達する光線を制限する絞りをさらに備える
請求項１１に記載の交換レンズ。
【請求項１３】
前記絞りは、前記複数の個眼レンズのうちの、1個の個眼レンズにより集光される光線と、他の1個の個眼レンズにより集光される光線とが重複しないように、前記個眼レンズからの光線を制限する開口を有する
請求項１２に記載の交換レンズ。
【請求項１４】
前記領域特定情報は、前記複数の個眼レンズそれぞれの有効像円の径、及び、前記有効像円の中心位置である
請求項１１に記載の交換レンズ。
【請求項１５】
前記領域特定情報は、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記個眼画像の領域を表す領域情報である
請求項１１に記載の交換レンズ。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関し、特に、例えば、複数の視点の画像を容易に得ることができるようにする情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関する。
【背景技術】
【０００２】
複数の視点の画像から、例えば、リフォーカスを行った画像、すなわち、光学系のフォーカスを変更して撮像を行ったような画像等を再構成するライトフィールド技術が提案されている（例えば、非特許文献１を参照）。【０００３】
例えば、非特許文献１には、100台のカメラからなるカメラアレイを用いたリフォーカスの方法が記載されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Bennett Wilburn他、"High Performance Imaging Using Large Camera Arrays"
【発明の概要】
【発明が解決しようとする課題】
【０００５】
リフォーカス等の特定の画像処理を行うにあたっては、複数の視点の画像が必要となる。【０００６】
本技術は、このような状況に鑑みてなされたものであり、複数の視点の画像を容易に得ることができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の情報処理装置又はプログラムは、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信する通信部と、前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定する領域特定部とを備える情報処理装置、又は、そのような情報処理装置としてコンピュータを機能させるためのプログラムである。【０００８】
本技術の情報処理方法は、情報処理装置が、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信することと、前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定することとを含む情報処理方法である。【０００９】
本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報が受信される。そして、前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域が特定される。【００１０】
本技術の交換レンズは、光軸方向に重ならないように配置された複数のレンズである個眼レンズと、イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を記憶する記憶部と、前記領域特定情報を外部に送信する通信部とを備える交換レンズである。【００１１】
本技術の交換レンズにおいては、光軸方向に重ならないように配置された複数のレンズである個眼レンズが設けられており、イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報が記憶されている。前記領域特定情報は外部に送信される。【００１２】
なお、情報処理装置は、独立した装置であっても良いし、1個の装置を構成している内部ブロックであっても良い。【００１３】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１４】
本技術によれば、複数の視点の画像を容易に得ることができる。【００１５】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。
【図２】カメラ本体１０の背面の構成例を示す背面図である。
【図３】カメラシステムの電気的構成例を示すブロック図である。
【図４】多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。
【図５】多眼交換レンズ２０における個眼レンズ３１1ないし３１4の配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。
【図６】領域特定部５２が行う、撮像画像上の各個眼画像E#iの領域を特定する領域特定処理の例を説明するフローチャートである。
【図７】表示部５４に表示されるスルー画の表示例を示す図である。
【図８】多眼交換レンズ２０の第１の光学的な構成例の概要を示す断面図である。
【図９】多眼交換レンズ２０の第２の光学的な構成例の概要を示す断面図である。
【図１０】多眼交換レンズ２０が4個の個眼レンズ３１1ないし３１4を有する場合の、絞り７１の構成例の概要を示す背面図である。
【図１１】絞り７１が設けられた多眼交換レンズ２０の構成例を示す斜視図である。
【図１２】制御部５６が行う露出制御の処理（露出制御処理）の例を説明するフローチャートである。
【図１３】画像処理部５３のうちのリフォーカスを行う部分の機能的構成例を示すブロック図である。
【図１４】画像処理部５３が行う画像処理の例を説明するフローチャートである。
【図１５】多眼交換レンズ２０の他の構成例を示す背面図である。
【図１６】補間部８２での補間画像の生成の例を説明する図である。
【図１７】視差情報生成部８１でのディスパリティマップの生成の例を説明する図である。
【図１８】集光処理部８３で行われる集光処理によるリフォーカスの概要を説明する図である。
【図１９】ディスパリティ変換の例を説明する図である。
【図２０】リフォーカスを行う集光処理の例を説明するフローチャートである。
【図２１】サーバを利用して、個眼画像の領域を表す領域情報を取得する処理の例を説明する図である。
【図２２】露出制御の詳細を説明する図である。
【図２３】AE機能を有するカメラシステムの構成例を示す図である。
【図２４】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
＜本技術を適用したカメラシステムの一実施の形態＞
【００１８】
図１は、本技術を適用したカメラシステムの一実施の形態の構成例を示す斜視図である。
【００１９】
カメラシステムは、カメラ本体１０と多眼交換レンズ２０とで構成される。
【００２０】
カメラ本体１０は、多眼交換レンズ２０が着脱可能なようになっている。すなわち、カメラ本体１０は、カメラマウント１１を有し、そのカメラマウント１１に対して、多眼交換レンズ２０（のレンズマウント２２）が取り付けられることで、カメラ本体１０に、多眼交換レンズ２０が装着される。なお、カメラ本体１０に対しては、多眼交換レンズ２０以外の一般的な交換レンズも着脱することができる。
【００２１】
カメラ本体１０は、イメージセンサ５１を内蔵する。イメージセンサ５１は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、カメラ本体１０（のカメラマウント１１）に装着された多眼交換レンズ２０その他の交換レンズによって集光される光線を受光して光電変換を行うことにより画像を撮像する。以下、イメージセンサ５１の撮像により得られる画像を、撮像画像ともいう。
【００２２】
多眼交換レンズ２０は、鏡筒２１及びレンズマウント２２を有する。
【００２３】
鏡筒２１には、光軸方向に（見て）重ならないように、複数のレンズである4個の個眼レンズ３１1，３１2，３１3、及び、３１4が配置されている。図１では、鏡筒２１において、4個の個眼レンズ３１1ないし３１4が、光軸に直交する（イメージセンサ５１の受光面（撮像面）に平行な）２次元平面上の菱形の頂点となる位置に配置されている。
【００２４】
個眼レンズ３１1ないし３１4は、多眼交換レンズ２０がカメラ本体１０に装着されたときに、被写体からの光線をカメラ本体１０のイメージセンサ５１に集光させる。
【００２５】
なお、ここでは、カメラ本体１０は、1個のイメージセンサ５１を有する、いわゆる単板式のカメラであるが、カメラ本体１０としては、複数のイメージセンサ、すなわち、例えば、RGB(Red, Green, Blue)それぞれ用の３つのイメージセンサを有する、いわゆる３板式のカメラを採用することができる。３板式のカメラでは、個眼レンズ３１1ないし３１4は、３つのイメージセンサのそれぞれに、光線を集光させる。
【００２６】
レンズマウント２２は、多眼交換レンズ２０がカメラ本体１０に装着されるときに、カメラ本体１０のカメラマウント１１に取り付けられる。
【００２７】
なお、図１では、多眼交換レンズ２０に、4個の個眼レンズ３１1ないし３１4が設けられているが、多眼交換レンズ２０に設ける個眼レンズの数は、4個に限定されるものではなく、2個や3個、5個以上の任意の複数の数を採用することができる。
【００２８】
さらに、多眼交換レンズ２０に設ける複数の個眼レンズは、菱形の頂点となる位置に配置する他、２次元平面上の任意の位置に配置することができる。
【００２９】
また、多眼交換レンズ２０に設ける複数の個眼レンズとしては、焦点距離やF値、その他の仕様が異なる複数のレンズを採用することができる。但し、ここでは、説明を簡単にするため、仕様が同一の複数のレンズを採用することとする。
【００３０】
多眼交換レンズ２０において、複数としての4個の個眼レンズ３１1ないし３１4それぞれは、多眼交換レンズ２０がカメラ本体１０に装着されたときに、光軸がイメージセンサ５１の受光面と直交するように配置されている。
【００３１】
かかる多眼交換レンズ２０がカメラ本体１０に装着されたカメラシステムでは、イメージセンサ５１において、4個の個眼レンズ３１1ないし３１4それぞれにより集光される光線によりイメージセンサ５１の受光面上に形成される像に対応する画像が撮像される。
【００３２】
いま、1個の個眼レンズ３１i（ここでは、i=1,2,3,4）により集光される光線により形成される像に対応する画像を、個眼画像ということとすると、1個のイメージセンサ５１で撮像される撮像画像には、4個の個眼レンズ３１1ないし３１4それぞれに対する4個の個眼画像（個眼レンズ３１1ないし３１4それぞれにより集光される光線により形成される像に対応する画像）が含まれる。
【００３３】
個眼レンズ３１iに対する個眼画像は、個眼レンズ３１iの位置を視点とする画像であり、したがって、個眼レンズ３１1ないし３１4それぞれに対する4個の個眼画像は、異なる視点の画像である。
【００３４】
図２は、カメラ本体１０の背面の構成例を示す背面図である。
【００３５】
ここで、カメラ本体１０については、多眼交換レンズ２０が装着される側の面、すなわち、カメラマウント１１がある面を、正面とする。
【００３６】
カメラ本体１０の背面には、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成される表示部５４が設けられている。表示部５４には、いわゆるスルー画や、メニュー、カメラ本体１０の設定等の情報が表示される。
【００３７】
図３は、図１のカメラシステムの電気的構成例を示すブロック図である。
【００３８】
カメラシステムにおいて、多眼交換レンズ２０は、記憶部４１及び通信部４２を有する。
【００３９】
記憶部４１は、多眼交換レンズ２０に関する情報であるレンズ情報を記憶している。レンズ情報には、多眼交換レンズ２０がカメラ本体１０に装着されたときに（1個の）イメージセンサ５１で撮像される撮像画像上の、個眼レンズ３１1ないし３１4それぞれに対する個眼画像それぞれの領域を特定するための領域特定情報を含む。
【００４０】
領域特定情報としては、撮像画像上の各個眼画像の領域を表す領域情報を採用することができる。領域情報とは、例えば、撮像画像上の個眼画像の左上の点（画素）及び右下の点の座標や、撮像画像上の個眼画像の左上の点等の所定の点の座標と、個眼画像の大きさ（例えば、横及び縦のサイズ）等の、撮像画像上の個眼画像の位置と大きさとを表す情報である。
【００４１】
また、領域特定情報としては、領域情報の他、撮像画像上の各個眼画像の領域を特定することが可能な情報（以下、非領域情報ともいう）を採用することができる。非領域情報としては、例えば、個眼レンズ３１1ないし３１4それぞれの有効像円の径、及び、その有効像円の中心位置等がある。さらに、例えば、多眼交換レンズ２０に対して、ユニークなレンズID(Identification)が割り当てられており、かつ、レンズIDと、そのレンズIDによって特定される多眼交換レンズ２０の領域情報とが対応付けられたデータベースが用意されている場合には、非領域情報としては、多眼交換レンズ２０のレンズIDを採用することができる。この場合、レンズIDをキーワードとして、データベースを検索することにより、そのレンズIDに対応付けられた多眼交換レンズ２０の領域情報を取得することができる。
【００４２】
通信部４２は、カメラ本体１０の後述する通信部５７との間で、有線又は無線による通信を行う。なお、通信部４２は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN(Local Area Network)上のPC(Personal Computer)、その他の外部のデバイスとの間で通信を行うようにすることができる。
【００４３】
通信部４２は、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに、カメラ本体１０の通信部５７と通信することで、記憶部４１に記憶されたレンズ情報を、通信部５７に送信する。
【００４４】
カメラ本体１０は、イメージセンサ５１、領域特定部５２、画像処理部５３、表示部５４、記憶部５５、制御部５６、及び、通信部５７を有する。
【００４５】
イメージセンサ５１は、例えば、図１で説明したように、CMOSイメージセンサであり、イメージセンサ５１の受光面には、カメラ本体１０に装着された多眼交換レンズ２０の個眼レンズ３１1ないし３１4それぞれにより集光される光線が照射される。
【００４６】
イメージセンサ５１は、個眼レンズ３１1ないし３１4それぞれにより集光される光線を受光して光電変換を行うことにより、個眼レンズ３１1ないし３１4それぞれに対する個眼画像（個眼レンズ３１1ないし３１4それぞれにより集光される光線により形成される像に対応する個眼画像）を含む撮像画像を撮像し、領域特定部５２に供給する。
【００４７】
領域特定部５２には、イメージセンサ５１から撮像画像が供給される他、通信部５７から、その通信部５７が、多眼交換レンズ２０から受信したレンズ情報が供給される。
【００４８】
領域特定部５２は、通信部５７からのレンズ情報に含まれる領域特定情報に基づいて、イメージセンサ５１からの撮像画像上の、個眼レンズ３１1ないし３１4それぞれに対する個眼画像の領域を特定し、その領域の特定の結果を表す領域特定結果情報を出力する。
【００４９】
ここで、領域特定部５２は、例えば、撮像画像と、その撮像画像上の各個眼画像の領域を表す領域情報とのセットを、領域特定結果情報として出力することができる。また、領域特定部５２は、撮像画像から、各個眼画像を抽出し（切り出し）、その各個眼画像を、領域特定結果情報として出力することができる。
【００５０】
以下では、説明を簡単にするため、例えば、領域特定部５２は、撮像画像から抽出した各個眼画像（ここでは、個眼レンズ３１1ないし３１4それぞれに対する個眼画像）を、領域特定結果情報として出力することとする。
【００５１】
領域特定部５２が出力する個眼レンズ３１1ないし３１4それぞれに対する個眼画像は、画像処理部５３及び制御部５６に供給される。
【００５２】
画像処理部５３は、領域特定部５２からの個眼レンズ３１1ないし３１4それぞれに対する個眼画像、すなわち、個眼レンズ３１1ないし３１4それぞれの位置を視点とする、異なる視点の個眼画像を用いて、例えば、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行い、その画像処理の結果得られる処理結果画像を、表示部５４及び記憶部５５に供給する。
【００５３】
表示部５４は、例えば、画像処理部５３から供給される処理結果画像等を、図２で説明したようにスルー画として表示する。
【００５４】
記憶部５５は、図示せぬメモリカード等で構成され、例えば、ユーザの操作等に応じて、画像処理部５３から供給される処理結果画像を記憶する。
【００５５】
制御部５６は、カメラ本体１０、及び、カメラ本体１０に装着された多眼交換レンズ２０に関して、各種の制御を行う。例えば、制御部５６は、領域特定部５２から供給される個眼画像を用いて、露出制御やフォーカス制御を行い、AE(Auto Exposure)やAF(Auto Focus)を実現する。
【００５６】
通信部５７は、多眼交換レンズ２０の通信部４２等との間で、有線又は無線による通信を行う。なお、通信部５７は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN上のPC、その他の外部のデバイスとの間で通信を行うことができる。
【００５７】
通信部５７は、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに、多眼交換レンズ２０の通信部４２と通信することで、その通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信し、領域特定部５２に供給する。
【００５８】
＜多眼交換レンズ２０を用いて行われる撮像の概要＞
【００５９】
図４は、多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。
【００６０】
多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１では、各個眼レンズ３１iにおいて光線が集光されることにより形成される像に対応する個眼画像を含む撮像画像が撮像される。
【００６１】
ここで、本明細書では、個眼レンズ３１iの光軸方向のうちの、カメラ本体１０の背面側から正面側に向かう方向をz方向（軸）とするとともに、z方向を向いたときの左から右方向をx方向とし、下から上方向をy方向とする。
【００６２】
さらに、画像に映る被写体の左右と、実空間の被写体の左右とを一致させるとともに、個眼レンズ３１iの位置の左右と、その個眼レンズ３１iに対する個眼画像の撮像画像上の左右とを一致させるため、以下では、特に断らない限り、z方向、すなわち、カメラ本体１０の裏面側から、撮像を行う被写体が存在する撮像方向を向いている状態を基準として、撮像画像上の位置や、個眼レンズ３１iの位置、被写体等の左右を記述する。
【００６３】
図５は、多眼交換レンズ２０における個眼レンズ３１1ないし３１4の配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。
【００６４】
図５のＡは、多眼交換レンズ２０における個眼レンズ３１1ないし３１4の配置の例を示す背面図である。
【００６５】
図１で説明したように、個眼レンズ３１1ないし３１4は、イメージセンサ５１の受光面に平行な２次元平面上の菱形の頂点となる位置に配置されている。
【００６６】
個眼レンズ３１1ないし３１4のうちの、例えば、個眼レンズ３１1を基準とすると、図５では、個眼レンズ３１2は、個眼レンズ３１1の右に配置されている。そして、個眼レンズ３１3は、個眼レンズ３１1の左下に配置され、個眼レンズ３１4は、個眼レンズ３１1の右下に配置されている。
【００６７】
図５のＢは、図５のＡのように個眼レンズ３１1ないし３１4が配置された多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像の例を示す図である。
【００６８】
複数の個眼レンズ３１1ないし３１4を有する多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像には、ある1個の個眼レンズ３１iを通過した光線のみが照射される領域の他に、重複受光領域や不受光領域が存在する。
【００６９】
重複受光領域とは、撮像画像において、ある1個の個眼レンズ３１iを通過した光線と、他の１個の個眼レンズ３１jを通過した光線とが重複して照射される領域であり、不受光領域とは、撮像画像において、個眼レンズ３１1ないし３１4それぞれを通過した光線のうちのいずれの光線も照射されない領域である。
【００７０】
領域特定部５２（図３）は、レンズ情報に含まれる領域特定情報に基づき、各個眼レンズ３１iについて、その個眼レンズ３１iを通過した光線のみが照射される撮像画像上の領域のうちの、個眼レンズ３１iの光軸（に対応する位置）を中心とする所定サイズの長方形状の領域を、個眼レンズ３１iに対する個眼画像E#iの領域として特定する。
【００７１】
これにより、個眼レンズ３１iに対する個眼画像E#iは、個眼レンズ３１iにより集光される光線により形成される像のうちの、他の個眼レンズ３１jにより集光される光線により形成される像と重複しない部分のみを含む画像となる。
【００７２】
さらに、個眼レンズ３１iに対する個眼画像E#iは、個眼レンズ３１iの位置から、独立のカメラを用いた撮像を行うことにより得られる撮像画像と同様の、個眼レンズ３１iの位置を視点とする撮像により得られる画像になる。
【００７３】
＜個眼画像の領域特定処理＞
【００７４】
図６は、図３の領域特定部５２が行う、撮像画像上の各個眼画像E#iの領域を特定する領域特定処理の例を説明するフローチャートである。
【００７５】
ステップＳ１１において、領域特定部５２は、通信部５７から供給されるレンズ情報を取得し、処理は、ステップＳ１２に進む。
【００７６】
すなわち、多眼交換レンズ２０がカメラ本体１０に装着されると、通信部５７は、多眼交換レンズ２０の通信部４２との間で通信を行い、通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信し、領域特定部５２に供給する。領域特定部５２は、以上のようにして通信部５７から供給されるレンズ情報を取得する。
【００７７】
ステップＳ１２では、領域特定部５２は、通信部５７から取得したレンズ情報に含まれる領域特定情報に基づいて、イメージセンサ５１から供給される撮像画像上の、個眼レンズ３１1ないし３１4それぞれに対する個眼画像E1，E2，E3，E4の領域を特定し、処理は、ステップＳ１３に進む。
【００７８】
ステップＳ１３では、領域特定部５２は、撮像画像から、個眼画像E1ないしE4それぞれを抽出し、領域特定結果情報として出力して、処理を終了する。
【００７９】
なお、領域特定部５２は、図３で説明したように、個眼画像E1ないしE4に代えて、撮像画像と、その撮像画像上の各個眼画像E#iの領域を表す領域情報とのセットを、領域特定結果情報として出力することができる。
【００８０】
以上のように、多眼交換レンズ２０は、光軸方向に（見て）重ならないように配置された個眼レンズ３１1ないし３１4を有し、領域特定情報を含むレンズ情報を、外部としての、例えば、カメラ本体１０に送信する。また、カメラ本体１０は、レンズ情報を受信し、そのレンズ情報に含まれる領域特定情報に基づいて、撮像画像上の、個眼レンズ３１1ないし３１4それぞれに対する個眼画像E1ないしE4の領域を特定する。したがって、複数の視点の画像、すなわち、個眼レンズ３１1ないし３１4それぞれの位置を視点とする個眼画像E1ないしE4を容易に得ることができる。
【００８１】
＜スルー画の表示例＞
【００８２】
図７は、図３の表示部５４に表示されるスルー画の表示例を示す図である。
【００８３】
図７のＡは、スルー画の第１の表示例を示している。スルー画としては、図７のＡに示すように、イメージセンサ５１で撮像される撮像画像を採用することができる。スルー画として、撮像画像を採用する場合、画像処理部５３は、領域特定部５２から、イメージセンサ５１で撮像された撮像画像を取得し、表示部５４に供給して表示させる。
【００８４】
図７のＢは、スルー画の第２の表示例を示している。スルー画としては、図７のＢに示すように、１つの個眼画像E#iを採用することができる。スルー画として、１つの個眼画像E#iを採用する場合、画像処理部５３は、領域特定部５２から供給される個眼画像E1ないしE4から、１つの個眼画像E#iを選択し、表示部５４に供給して表示させる。
【００８５】
なお、スルー画として、撮像画像を表示するか、又は、１つの個眼画像E#iを表示するかは、例えば、ユーザの操作等に応じて選択することができる。
【００８６】
また、スルー画として、１つの個眼画像E#iを採用する場合、スルー画とする１つの個眼画像E#iは、例えば、ユーザの操作等に応じて、個眼画像E1ないしE4の中から選択的に切り替えることができる。
【００８７】
さらに、スルー画としては、画像処理部５３で行われるリフォーカスにより得られる画像を採用することができる。
【００８８】
＜多眼交換レンズ２０の光学的な構成例の概要＞
【００８９】
図８は、多眼交換レンズ２０の第１の光学的な構成例の概要を示す断面図である。
【００９０】
なお、ここでは、説明を簡単にするため、多眼交換レンズ２０が、3個の個眼レンズ３１1ないし３１3を有し、その3個の個眼レンズ３１1ないし３１3が、光軸方向（z方向）に見て重ならないように、水平方向（x方向）に一列に並んで配置されていることとする。
【００９１】
多眼交換レンズ２０が、個眼レンズ３１iを通過した光線を制限する光学部品を有していない場合、図８に示すように、個眼レンズ３１iを通過した光線は、イメージセンサ５１の受光面の比較的広い範囲に亘って照射される。
【００９２】
この場合、3個の個眼レンズ３１1ないし３１3のうちの隣接する個眼レンズ３１1と３１2とについては、個眼レンズ３１1を通過した光線と、個眼レンズ３１2を通過した光線との一部が、イメージセンサ５１の受光面に重複して照射され、その結果、撮像画像に重複受光領域が生じる。この点、隣接する個眼レンズ３１2と３１3とについても同様である。
【００９３】
水平方向に一列に並ぶ3個の個眼レンズ３１1ないし３１3については、個眼レンズ３１1及び３１3それぞれと隣り合う個眼レンズ３１2を通過する光線が、個眼レンズ３１1を通過する光線と重複するとともに、個眼レンズ３１3を通過する光線と重複する。その結果、個眼レンズ３１2に対する個眼画像E2の領域となり得る、その個眼レンズ３１2を通過した光線のみが照射される撮像画像上の領域は、個眼レンズ３１1や３１3の場合に比較して、小さくなる。
【００９４】
したがって、個眼レンズ３１2に対する個眼画像E2は、サイズの小さな画像になり、個眼レンズ３１1ないし３１3それぞれに対する個眼画像E1ないしE3のサイズを同一サイズにする場合には、個眼画像E1及びE2のサイズも小さくなる。
【００９５】
そこで、多眼交換レンズ２０が有するすべての個眼レンズ３１1ないし３１3それぞれについては、各個眼レンズ３１iからイメージセンサ５１に到達する光線を制限する絞りを設けることができる。
【００９６】
図９は、多眼交換レンズ２０の第２の光学的な構成例の概要を示す断面図である。
【００９７】
なお、図９でも、図８の場合と同様に、多眼交換レンズ２０が、3個の個眼レンズ３１1ないし３１3を有し、その3個の個眼レンズ３１1ないし３１3が、光軸方向に重ならないように、水平方向に一列に並んで配置されている。
【００９８】
図９では、多眼交換レンズ２０は、個眼レンズ３１1ないし３１3それぞれについて、各個眼レンズ３１iからイメージセンサ５１に到達する光線を制限する絞り７１を有している。
【００９９】
絞り７１は、個眼レンズ３１1ないし３１3のうちの、1個の個眼レンズ３１iにより集光される光線と、他の1個の個眼レンズ３１jにより集光される光線とが重複しないように、個眼レンズ３１iからの光線を制限する円形状の開口を有する。
【０１００】
個眼レンズ３１1ないし３１3及び絞り７１の配置、並びに、絞り７１の開口の大きさは、1個の個眼レンズ３１iにより集光される光線と、他の1個の個眼レンズ３１jにより集光される光線とが（なるべく）重複せず、かつ、個眼レンズ３１iにより集光される光線が照射されるイメージセンサ５１の受光面上の領域がより大（理想的には最大）になるように設定することができる。
【０１０１】
この場合、イメージセンサ５１の受光面を有効に利用して、サイズの大きな個眼画像E#iを得ることができる。
【０１０２】
図１０は、図５に示したように、多眼交換レンズ２０が4個の個眼レンズ３１1ないし３１4を有する場合の、絞り７１の構成例の概要を示す背面図である。
【０１０３】
図１０のＡは、絞り７１の第１の構成例を示している。
【０１０４】
絞り７１としては、4個の個眼レンズ３１1ないし３１4それぞれに対して、個別の絞りを採用し、個眼レンズ３１1ないし３１4それぞれの背面に設置することができる。
【０１０５】
図１０のＢは、絞り７１の第２の構成例を示している。
【０１０６】
絞り７１としては、4個の個眼レンズ３１1ないし３１4それぞれに対する開口が1個のプレートに設けられた1個の絞りを採用し、個眼レンズ３１1ないし３１4の背面に設置することができる。
【０１０７】
図１１は、絞り７１が設けられた多眼交換レンズ２０の他の構成例を示す斜視図である。
【０１０８】
図１１では、多眼交換レンズ２０は、5個の個眼レンズ３１1ないし３１5を有し、その5個の個眼レンズ３１1ないし３１5は、光軸方向に重ならないように、２次元平面上に配置されている。
【０１０９】
さらに、図１１では、5個の個眼レンズ３１1ないし３１5は、それらのうちの1個である、例えば、個眼レンズ３１1を中心として、他の４個の個眼レンズ３１2ないし３１5が、個眼レンズ３１1の周辺に、長方形の頂点を構成するように配置されている。
【０１１０】
また、図１１では、個眼レンズ３１1ないし３１5の背面側に、絞り７１が設けられている。絞り７１は、例えば、多眼交換レンズ２０の鏡筒２１に収納することができるが、図１１では、図を見やすくするために、絞り７１を、多眼交換レンズ２０と離した状態で図示してある。
【０１１１】
さらに、図１１では、絞り７１の開口として、矩形状の開口が採用されている。絞り７１の開口として、矩形状の開口を採用する場合には、個眼レンズ３１iを通過した光が照射されるイメージセンサ５１の受光面上の領域を、矩形状の領域Fに制限することができる。
【０１１２】
なお、多眼交換レンズ２０の各個眼レンズ３１iには、その個眼レンズ３１iに入射する光の一部を遮るレンズフード２３を設けることができる。レンズフード２３は、多眼交換レンズ２０に固定するように構成することもできるし、多眼交換レンズ２０に着脱可能なように構成することもできる。
【０１１３】
＜露出制御＞
【０１１４】
図１２は、図３の制御部５６が行う露出制御の処理（露出制御処理）の例を説明するフローチャートである。
【０１１５】
露出制御の方法としては、イメージセンサ５１（図３）で撮像された撮像画像を用い、その撮像画像の明るさを評価する明るさ評価値を求め、その明るさ評価値に応じて、撮像画像に、いわゆる白飛びした箇所がなく、かつ、適正な所定の明るさとなるように、露出時間（シャッタスピード）や、絞りの開口、イメージセンサ５１で行われる画素信号のA/D変換のゲイン（アナログゲイン）等を制御する方法がある。
【０１１６】
しかしながら、多眼交換レンズ２０を装着したカメラ本体１０では、イメージセンサ５１（図３）で撮像される撮像画像には、図５で説明したように、不受光領域や重複受光領域が生じ得るため、かかる撮像画像を用いて、明るさ評価値を求めたのでは、適切な露光制御を行う明るさ評価値を得ることができないことがある。
【０１１７】
そこで、制御部５６は、撮像画像（そのもの）ではなく、個眼画像E#i（の領域内の画像）を用いて、明るさ評価値を求め、露出制御を行う。
【０１１８】
なお、ここでは、図５に示したように、多眼交換レンズ２０が4個の個眼レンズ３１1ないし３１4を有し、領域特定部５２において、4個の個眼画像E1ないしE4が得られることとする。
【０１１９】
また、イメージセンサ５１は、周期的に、撮像を行って、その撮像により得られる撮像画像を領域特定部５２に供給し、領域特定部５２は、イメージセンサ５１からの撮像画像から、4個の個眼画像E1ないしE4を抽出していることとする。
【０１２０】
ステップＳ２１において、制御部５６は、領域特定部５２から4個の個眼画像E1ないしE4を取得し、処理は、ステップＳ２２に進む。
【０１２１】
ステップＳ２２において、制御部５６は、4個の個眼画像E1ないしE4の一部又は全部、すなわち、4個の個眼画像E1ないしE4のうちの1個の個眼画像又は2個以上の個眼画像を用いて、個眼画像E1ないしE4の明るさを評価する明るさ評価値（現在の露出状態を評価する評価値）を算出し、処理は、ステップＳ２３に進む。
【０１２２】
ステップＳ２３では、制御部５６は、あかるさ評価値に応じて、露出制御、すなわち、例えば、露出時間や、絞り、ゲインを制御し、処理は、ステップＳ２４に進む。
【０１２３】
ステップＳ２４では、制御部５６は、AEの露出制御を終了するかどうかを判定する。
【０１２４】
ステップＳ２４において、露出制御を終了しないと判定された場合、処理は、ステップＳ２１に戻り、以下、同様の処理が繰り返される。
【０１２５】
また、ステップＳ２４において、露出制御を終了すると判定された場合、すなわち、例えば、ユーザがAEを終了するように、カメラ本体１０の操作を行った場合、露出制御処理は終了する。
【０１２６】
以上のように、個眼画像E1ないしE4の一部又は全部を用いて、明るさ評価値を算出することにより、不受光領域や重複受光領域が影響しない明るさ評価値を得ることができるので、その明るさ評価値に応じて、適切な露光制御を行うことができる。
【０１２７】
＜画像処理部５３の構成例＞
【０１２８】
図１３は、図３の画像処理部５３のうちのリフォーカスを行う部分の機能的構成例を示すブロック図である。
【０１２９】
ここで、多眼交換レンズ２０が、例えば、図５に示したように、個眼レンズ３１1ないし３１4を有する場合には、その個眼レンズ３１1ないし３１4に対する個眼画像E1ないしE4が、領域特定部５２から画像処理部５３に供給される。領域特定部５２から画像処理部５３に供給される、個眼レンズ３１1ないし３１4に対する個眼画像E1ないしE4は、個眼レンズ３１1ないし３１4の位置それぞれから、独立のカメラを用いた撮像を行うことにより得られる撮像画像と同様の、個眼レンズ３１1ないし３１4の位置それぞれを視点とする撮像により得られる画像であり、異なる視点の画像である。
【０１３０】
図１３において、画像処理部５３は、視差情報生成部８１、補間部８２、集光処理部８３、及び、パラメータ設定部８４を有する。
【０１３１】
画像処理部５３には、領域特定部５２から、複数の視点の画像である複数の視点の個眼画像E#iが供給される。
【０１３２】
なお、ここでは、個眼画像E#iの視点とは、個眼レンズ３１iの位置である。
【０１３３】
画像処理部５３において、個眼画像E#iは、視差情報生成部８１、及び、補間部８２に供給される。
【０１３４】
視差情報生成部８１は、領域特定部５２から供給される複数の視点の個眼画像E#iを用いて、視差情報を求め、補間部８２、及び、集光処理部８３に供給する。
【０１３５】
すなわち、視差情報生成部８１は、例えば、領域特定部５２から供給される個眼画像E#iそれぞれの、他の個眼画像E#jとの視差情報を求める処理を、複数の視点の個眼画像E#iの画像処理として行う。そして、視差情報生成部８１は、例えば、個眼画像の画素（の位置）ごとに、視差情報が登録されたマップを生成し、補間部８２、及び、集光処理部８３に供給する。
【０１３６】
ここで、視差情報としては、視差を画素数で表したディスパリティ(disparity)や、視差に対応する奥行き方向の距離等の視差に換算することができる任意の情報を採用することができる。本実施の形態では、視差情報として、例えば、ディスパリティを採用することとし、視差情報生成部８１では、そのディスパリティが登録されたディスパリティマップが、視差情報が登録されたマップとして生成されることとする。
【０１３７】
補間部８２は、領域特定部５２からの複数の個眼画像E#iと、視差情報生成部８１からのディスパリティマップとを用いて、個眼画像E#iの視点、すなわち、個眼レンズ３１iの位置以外の視点から撮像を行ったならば得られるであろう画像を、補間により生成する。
【０１３８】
補間部８２は、例えば、個眼画像E#iの視点、すなわち、個眼レンズ３１iの位置を直線で結ぶことにより囲まれる領域内のほぼ等間隔の複数の点を、補間用の視点として、その補間用の視点の画像（補間用の視点から撮像を行った場合に得られるであろう画像）を、補間により生成する。
【０１３９】
なお、補間部８２では、個眼レンズ３１iの位置を直線で結ぶことにより囲まれる領域の外側の点についても、補間用の視点として、その補間用の視点の画像を生成することができる。
【０１４０】
補間部８２は、補間用の視点の画像を生成した後、個眼画像E#iと、補間用の視点の画像とを、集光処理部８３に供給する。
【０１４１】
ここで、補間部８２において、個眼画像を用いた補間により生成された画像を、補間画像ともいう。
【０１４２】
また、補間部８２から集光処理部８３に供給される個眼画像E#iと補間用の視点の補間画像とを、まとめて、視点画像ともいう。
【０１４３】
補間部８２での補間は、複数の視点の個眼画像E#iから、より多く数の視点の視点画像を生成する処理であると考えることができる。この、多く数の視点の視点画像を生成する処理は、実空間内の実空間点から入射する光線を再現する処理であると捉えることができる。
【０１４４】
集光処理部８３は、補間部８２からの複数の視点の視点画像を用いて、現実のカメラにおいて、レンズ等の光学系を通過した、被写体からの光線を、イメージセンサやフィルム上に集光させ、被写体の像を形成することに相当する画像処理である集光処理を行う。
【０１４５】
集光処理部８３の集光処理では、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカスが行われる。リフォーカスは、視差情報生成部８１からのディスパリティマップや、パラメータ設定部８４からの集光パラメータを用いて行われる。
【０１４６】
集光処理部８３の集光処理によって得られる画像は、処理結果画像として（表示部５４や記憶部５５（図３））に出力される。
【０１４７】
パラメータ設定部８４は、ユーザによる図示せぬ操作部の操作や、所定のアプリケーション等によって指定された位置にある、1個の個眼画像E#i（例えば、個眼画像E1）の画素を、合焦させる（被写体が映る）合焦対象画素に設定し、集光パラメータとして、集光処理部８３に供給する。
【０１４８】
＜画像処理部５３の画像処理＞
【０１４９】
図１４は、図１３の画像処理部５３が行う画像処理の例を説明するフローチャートである。
【０１５０】
画像処理部５３において、領域特定部５２から供給される複数の視点の画像である複数の視点の個眼画像E#iは、視差情報生成部８１、及び、補間部８２に供給される。
【０１５１】
画像処理部５３では、ステップＳ５１において、視差情報生成部８１が、領域特定部５２からの複数の視点の個眼画像E#iを用いて、視差情報を求め、その視差情報が登録されたディスパリティマップを生成する視差情報生成処理を行う。
【０１５２】
視差情報生成部８１は、視差情報生成処理により得られるディスパリティマップを、補間部８２、及び、集光処理部８３に供給し、処理は、ステップＳ５１からステップＳ５２に進む。
【０１５３】
ステップＳ５２では、補間部８２は、領域特定部５２からの複数の視点の個眼画像E#iと、視差情報生成部８１からのディスパリティマップとを用いて、個眼画像E#iの視点以外の複数の補間用の視点の補間画像を生成する補間処理を行う。
【０１５４】
さらに、補間部８２は、領域特定部５２からの複数の視点の個眼画像E#iと、補間処理により得られた複数の補間用の視点の補間画像とを、複数の視点の視点画像として、集光処理部８３に供給し、処理は、ステップＳ５２からステップＳ５３に進む。
【０１５５】
ステップＳ５３では、パラメータ設定部８４は、ユーザの操作等によって指定された位置にある、1個の視点画像（例えば、個眼画像E1）の画素を、合焦させる合焦対象画素に設定する設定処理を行う。
【０１５６】
パラメータ設定部８４は、設定処理により得られた合焦対象画素（の情報）を、集光パラメータとして、集光処理部８３に供給し、処理は、ステップＳ５３からステップＳ５４に進む。
【０１５７】
ここで、合焦対象画素は、以上のように、ユーザの指定に従って設定する他、例えば、アプリケーションからの指定や、あらかじめ決められたルールによる指定等に従って設定することができる。例えば、所定の速さ以上の動きがある被写体や、所定の時間以上連続して動いている被写体が映る画素を、合焦対象画素に設定することができる。
【０１５８】
ステップＳ５４では、集光処理部８３は、補間部８２からの複数の視点の視点画像、視差情報生成部８１からのディスパリティマップ、及び、パラメータ設定部８４からの集光パラメータとしての合焦対象画素を用いて、被写体からの光線を、図示せぬ仮想センサ上に集光させることに相当する集光処理を行い、画像処理部５３の画像処理は終了する。
【０１５９】
集光処理部８３は、集光処理の結果得られる処理結果画像を、表示部５４に供給する。
【０１６０】
なお、集光処理において、光線が集光される仮想センサの実体は、例えば、図示せぬメモリである。集光処理では、複数の視点の視点画像の画素値が、仮想センサに集光される光線の輝度として、仮想センサとしてのメモリ（の記憶値）に積算されることで、光線の集光により得られる画像の画素値が求められる。
【０１６１】
集光処理部８３の集光処理では、複数の視点の視点画像の画素を画素シフトする画素シフト量である後述する基準シフト量BVを設定し、その基準シフト量BVに応じて、複数の視点の視点画像の画素（の画素値）を画素シフトして積算することにより、実空間内の合焦点に合焦した処理結果画像の各画素値が求められ、処理結果画像が生成される。
【０１６２】
ここで、合焦点とは、フォーカスが合う、実空間内の実空間点であり、集光処理部８３の集光処理では、合焦点の集合としての面である合焦面が、パラメータ設定部８４からの集光パラメータとしての合焦対象画素を用いて設定される。
【０１６３】
なお、画像処理部５３（図１３）は、集光処理部８３だけで構成することができる。
【０１６４】
例えば、集光処理部８３の集光処理を、補間画像を用いずに、領域特定部５２で撮像された個眼画像E#iを用いて行う場合には、補間部８２を設けずに、画像処理部５３を構成することができる。但し、集光処理を、個眼画像E#iの他、補間画像をも用いて行う場合には、処理結果画像において、合焦していない被写体にリンギングが発生することを抑制することができる。
【０１６５】
また、例えば、個眼画像E#iの視差情報を、距離センサ等を用いて、外部の装置で生成し、その外部の装置から視差情報を取得することができる場合には、視差情報生成部８１を設けずに、画像処理部５３を構成することができる。
【０１６６】
さらに、例えば、集光処理部８３において、あらかじめ決められたルールに従って、合焦面を設定する場合には、パラメータ設定部８４を設けずに、画像処理部５３を構成することができる。
【０１６７】
また、カメラ本体１０は、画像処理部５３を設けずに構成することができる。
【０１６８】
＜多眼交換レンズの他の構成例＞
【０１６９】
図１５は、多眼交換レンズ２０の他の構成例を示す背面図である。
【０１７０】
図１５では、多眼交換レンズ２０は、7個の個眼レンズ３１1ないし３１7を有し、その7個の個眼レンズ３１1ないし３１7は、光軸方向に重ならないように、２次元平面上に配置されている。
【０１７１】
さらに、図１５では、7個の個眼レンズ３１1ないし３１7は、それらのうちの1個である、例えば、個眼レンズ３１1を中心として、他の６個の個眼レンズ３１2ないし３１7が、個眼レンズ３１1の周辺に、正６角形の頂点を構成するように配置されている。
【０１７２】
したがって、図１５では、7個の個眼レンズ３１1ないし３１7のうちの、任意の1個の個眼レンズ３１i(i=1,2,...,7)と、その個眼レンズ３１iに最も近い他の1個の個眼レンズ３１j(ｊ=1,2,...,7)との（光軸どうしの）距離は、同一の距離Bになっている。
【０１７３】
以下、多眼交換レンズ２０が、図１５に示したように、7個の個眼レンズ３１1ないし３１7を有する場合を例に説明を行う。
【０１７４】
多眼交換レンズ２０が、図１５に示したように、7個の個眼レンズ３１1ないし３１7を有する場合、領域特定部５２（図３）から画像処理部５３の視差情報生成部８１及び補間部８２に供給される複数の視点の個眼画像E#iは、7個の個眼レンズ３１1ないし３１7に対する7視点の個眼画像E1ないしE7である。
【０１７５】
＜補間画像の生成＞
【０１７６】
図１６は、図１３の補間部８２での補間画像の生成の例を説明する図である。
【０１７７】
ある視点の補間画像を生成する場合、補間部８２は、補間画像の画素を、順次、補間の対象の補間対象画素に選択する。さらに、補間部８２は、7視点の個眼画像E1ないしE7のうちの全部、又は、補間画像の視点に近い一部（複数）の視点の個眼画像E#iを、補間対象画素の画素値の算出に用いる画素値算出画像に選択する。補間部８２は、視差情報生成部８１からのディスパリティマップと補間画像の視点とを用いて、画素値算出画像に選択された複数の視点の個眼画像E#iそれぞれから、補間対象画素に対応する対応画素（補間画像の視点から撮像を行ったならば、補間対象画素に映るであろう空間点と同一の空間点が映っている画素）を求める。
【０１７８】
そして、補間部８２は、複数の視点の個眼画像E#iの対応画素の画素値の重み付け加算を行い、その結果得られる重み付け加算値を、補間対象画素の画素値として求める。
【０１７９】
対応画素の画素値の重み付け加算に用いる重みとしては、対応画素を有する画素値算出画像としての個眼画像E#iの視点と、補間対象画素を有する補間画像の視点との間の距離に反比例するような値を採用することができる。
【０１８０】
＜ディスパリティマップの生成＞
【０１８１】
図１７は、図１３の視差情報生成部８１でのディスパリティマップの生成の例を説明する図である。
【０１８２】
すなわち、図１７は、領域特定部５２の個眼レンズ３１1ないし３１7に対する個眼画像E1ないしE7の例を示している。
【０１８３】
図１７では、個眼画像E1ないしE7には、所定の背景の手前側に、前景としての所定の物体objが映っている。個眼画像E1ないしE7それぞれについては、視点が異なるため、例えば、個眼画像E2ないしE7それぞれに映る物体objの位置（個眼画像上の位置）は、個眼画像E1に映る物体objの位置から、視点が異なる分だけずれている。
【０１８４】
いま、個眼レンズ３１iの視点（位置）、すなわち、個眼レンズ３１iに対する個眼画像E#iの視点を、vp#iと表すこととする。
【０１８５】
例えば、個眼画像E1の視点vp1のディスパリティマップを生成する場合には、視差情報生成部８１は、個眼画像E1を、注目する注目画像E1とする。さらに、視差情報生成部８１は、注目画像E1の各画素を、順次、注目する注目画素に選択し、その注目画素に対応する対応画素（対応点）を、他の個眼画像E2ないしE7のそれぞれから検出する。
【０１８６】
個眼画像E2ないしE7それぞれから、注目画像E1の注目画素に対応する対応画素を検出する方法としては、例えば、ステレオマッチングやマルチベースラインステレオ等の三角測量の原理を利用した方法がある。
【０１８７】
ここで、注目画像E1の注目画素に対する、個眼画像E#iの対応画素の位置ずれを表すベクトルを、ディスパリティベクトルv#i,1ということとする。
【０１８８】
視差情報生成部８１は、個眼画像E2ないしE7のそれぞれについてディスパリティベクトルv2,1ないしv7,1を求める。そして、視差情報生成部８１は、例えば、ディスパリティベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,1の大きさを、注目画素（の位置）のディスパリティの大きさとして求める。
【０１８９】
ここで、領域特定部５２において、図１５で説明したように、注目画像E1が得られた個眼レンズ３１1と、個眼画像E2ないしE7が得られた個眼レンズ３１2ないし３１7それぞれとの距離が、同一の距離Bになっている場合に、注目画像E1の注目画素に映る実空間点が、個眼画像E2ないしE7にも映っているときには、ディスパリティベクトルv2,1ないしv7,1として、向きが異なるが、大きさが等しいベクトルが求められる。
【０１９０】
すなわち、この場合、ディスパリティベクトルv2,1ないしv7,1は、注目画像E1の視点vp1に対する他の個眼画像E2ないしE7の視点vp2ないしvp7の方向と逆方向の、大きさが等しいベクトルになる。
【０１９１】
但し、個眼画像E2ないしE7の中には、オクルージョンが生じている画像、すなわち、注目画像E1の注目画素に映る実空間点が、前景に隠れて映っていない画像があり得る。
【０１９２】
注目画像E1の注目画素に映る実空間点が映っていない個眼画像（以下、オクルージョン画像ともいう）E#iについては、注目画素に対応する対応画素として、正しい画素を検出することが困難である。
【０１９３】
そのため、オクルージョン画像E#iについては、注目画像E1の注目画素に映る実空間点が映っている個眼画像E#jのディスパリティベクトルv#j,1とは、大きさが異なるディスパリティベクトルv#i,1が求められる。
【０１９４】
個眼画像E2ないしE7の中で、注目画素について、オクルージョンが生じている画像は、オクルージョンが生じていない画像よりも少ないと推定される。そこで、視差情報生成部８１は、上述のように、ディスパリティベクトルv2,1ないしv7,1の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,1の大きさを、注目画素のディスパリティの大きさとして求める。
【０１９５】
図１７では、ディスパリティベクトルv2,1ないしv7,1の中で、３つのディスパリティベクトルv2,1，v3,1，v7,1が大きさが等しいベクトルになっている。また、ディスパリティベクトルv4,1，v5,1，v6,1それぞれについては、大きさが等しいディスパリティベクトルが存在しない。
【０１９６】
そのため、３つのディスパリティベクトルv2,1，v3,1，v7,1が大きさが、注目画素のディスパリティの大きさとして求められる。
【０１９７】
なお、注目画像E1の注目画素の、任意の個眼画像E#iとの間のディスパリティの方向は、注目画像E1の視点vp1（個眼レンズ３１1の位置）と、個眼画像E#iの視点vp#i（個眼レンズ３１iの位置）との位置関係（視点vp1から視点vp#iへの方向等）から認識することができる。
【０１９８】
視差情報生成部８１は、注目画像E1の各画素を、順次、注目画素に選択し、ディスパリティの大きさを求める。そして、視差情報生成部８１は、注目画像E1の各画素の位置（xy座標）に対して、その画素のディスパリティの大きさを登録したマップを、ディスパリティマップとして生成する。したがって、ディスパリティマップは、画素の位置と、その画素のディスパリティの大きさとを対応付けたマップ（テーブル）である。
【０１９９】
他の個眼画像E#iの視点vp#iのディスパリティマップも、視点vp1のディスパリティマップと同様に生成することができる。
【０２００】
但し、視点vp1以外の視点vp#iのディスパリティマップの生成にあたって、ディスパリティベクトルの多数決は、個眼画像E#iの視点vp#iと、その個眼画像E#i以外の個眼画像E#jの視点vp#jとの位置関係（個眼レンズ３１iと３１jとの位置関係）（視点vp#iと視点vp#jとの距離）に基づき、ディスパリティベクトルの大きさを調整して行われる。
【０２０１】
すなわち、例えば、個眼画像E5を注目画像として、ディスパリティマップを生成する場合、注目画像E5と個眼画像E2との間で得られるディスパリティベクトルは、注目画像E5と個眼画像E1との間で得られるディスパリティベクトルの２倍の大きさになる。
【０２０２】
これは、注目画像E5が得られる個眼レンズ３１5と、個眼画像E1が得られる個眼レンズ３１1との光軸どうしの距離である基線長が、距離Bであるのに対して、注目画像E5が得られる個眼レンズ３１5と、個眼画像E2が得られる個眼レンズ３１2との基線長が、距離2Bになっているためである。
【０２０３】
そこで、いま、例えば、個眼レンズ３１1と、他の個眼レンズ３１iとの基線長である距離Bを、ディスパリティを求める基準となる基準基線長ということとする。ディスパリティベクトルの多数決は、基線長が基準基線長Bに換算されるように、ディスパリティベクトルの大きさを調整して行われる。
【０２０４】
すなわち、例えば、注目画像E5が得られる個眼レンズ３１5と、個眼画像E1が得られる個眼レンズ３１1の基線長Bは、基準基線長Bに等しいので、注目画像E5と個眼画像E1との間で得られるディスパリティベクトルは、その大きさが1倍に調整される。
【０２０５】
また、例えば、注目画像E5が得られる個眼レンズ３１5と、個眼画像E2が得られる個眼レンズ３１2の基線長2Bは、基準基線長Bの２倍に等しいので、注目画像E5と個眼画像E2との間で得られるディスパリティベクトルは、その大きさが、基準基線長Bと、個眼レンズ３１5と個眼レンズ３１2との基線長2Bとの比の値倍である1/2倍に調整される。
【０２０６】
注目画像E5と他の個眼画像E#iとの間で得られるディスパリティベクトルについても、同様に、その大きさが、基準基線長Bとの比の値倍に調整される。
【０２０７】
そして、大きさの調整後のディスパリティベクトルを用いて、ディスパリティベクトルの多数決が行われる。
【０２０８】
なお、視差情報生成部８１において、個眼画像E#i（の各画素）のディスパリティは、例えば、個眼画像の画素の精度で求めることができる。また、個眼画像E#iのディスパリティは、例えば、その個眼画像E#iの画素より細かい精度である画素以下精度（例えば、1/4画素等のサブピクセルの精度）で求めることができる。
【０２０９】
ディスパリティを画素以下精度で求める場合、ディスパリティを用いる処理では、その画素以下精度のディスパリティを、そのまま用いることもできるし、画素以下精度のディスパリティの小数点以下を、切り捨て、切り上げ、又は、四捨五入等して整数化して用いることもできる。
【０２１０】
ここで、ディスパリティマップに登録されるディスパリティの大きさを、以下、登録ディスパリティともいう。例えば、左から右方向の軸をx軸とするとともに、下から上方向の軸をy軸とする２次元座標系において、ディスパリティとしてのベクトルを表す場合、登録ディスパリティは、個眼画像E1の各画素の、個眼画像E1の左隣の視点の個眼画像E5との間のディスパリティ（個眼画像E1の画素から、その画素に対応する個眼画像E5の対応画素までの画素ずれを表すベクトル）のx成分に等しい。
【０２１１】
＜集光処理によるリフォーカス＞
【０２１２】
図１８は、図１３の集光処理部８３で行われる集光処理によるリフォーカスの概要を説明する図である。
【０２１３】
なお、図１８では、説明を簡単にするため、集光処理に用いる複数の視点の視点画像として、個眼画像E1、個眼画像E1の右隣の視点の個眼画像E2、及び、個眼画像E1の左隣の視点の個眼画像E5の3個の画像を用いることとする。
【０２１４】
図１８において、個眼画像E1，E2、及び、E5には、２つの物体obj1及びobj2が映っている。例えば、物体obj1は、手前側に位置しており、物体obj2は、奥側に位置している。
【０２１５】
いま、例えば、物体obj1に合焦させる（焦点を合わせる）リフォーカスを行って、そのリフォーカス後の処理結果画像として、個眼画像E1の視点から見た画像を得ることとする。
【０２１６】
ここで、個眼画像E1の物体obj1が映る画素との間の、処理結果画像の視点（ここでは、個眼画像E1の視点）のディスパリティを、DP1と表す。また、個眼画像E2の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティを、DP2と表すとともに、個眼画像E5の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティを、DP5と表すこととする。
【０２１７】
なお、図１８では、処理結果画像の視点は、個眼画像E1の視点に等しいので、個眼画像E1の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティDP1は、(0,0)になる。
【０２１８】
個眼画像E1，E2、及び、E5については、個眼画像E1，E2、及び、E5を、ディスパリティDP1，DP2、及び、DP5に応じて、それぞれ画素シフトし、その画素シフト後の個眼画像E1，E2、及び、E5を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。
【０２１９】
すなわち、個眼画像E1，E2、及び、E5を、ディスパリティDP1，DP2、及び、DP5をキャンセルするように（ディスパリティDP1，DP2、及び、DP5の逆方向に）、それぞれ画素シフトすることで、画素シフト後の個眼画像E1，E2、及び、E5では、物体obj1が映る画素の位置が一致する。
【０２２０】
したがって、画素シフト後の個眼画像E1，E2、及び、E5を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。
【０２２１】
なお、画素シフト後の個眼画像E1，E2、及び、E5においては、物体obj1と異なる奥行き方向の位置にある物体obj2が映る画素の位置は、一致しない。そのため、処理結果画像に映る物体obj2は、ぼやける。
【０２２２】
また、ここでは、上述したように、処理結果画像の視点は、個眼画像E1の視点であり、ディスパリティDP1は(0,0)であるため、個眼画像E1については、実質的に、画素シフトを行う必要はない。
【０２２３】
集光処理部８３の集光処理では、例えば、以上のように、複数の視点の視点画像の画素を、合焦対象が映る合焦対象画素との間の、処理結果画像の視点（ここでは、個眼画像E1の視点）のディスパリティをキャンセルするように画素シフトして積算することで、合焦対象にリフォーカスが行われた画像を、処理結果画像として求める。
【０２２４】
＜ディスパリティ変換＞
【０２２５】
図１９は、ディスパリティ変換の例を説明する図である。
【０２２６】
図１７で説明したように、ディスパリティマップに登録される登録ディスパリティは、オクルージョンが生じている領域以外の部分において、個眼画像E1の左隣の視点の個眼画像E5の各画素との間の、個眼画像E1の画素のディスパリティのx成分に等しい。
【０２２７】
リフォーカスでは、視点画像を、合焦対象画素のディスパリティをキャンセルするように画素シフトする必要がある。
【０２２８】
いま、ある視点を、注目視点として注目すると、リフォーカスにおいて、注目視点の視点画像の画素シフトにあたっては、その注目視点の視点画像との間の、処理結果画像の合焦対象画素のディスパリティ、すなわち、ここでは、例えば、個眼画像E1の合焦対象画素のディスパリティが必要となる。
【０２２９】
注目視点の視点画像との間の、個眼画像E1の合焦対象画素のディスパリティは、個眼画像E1の合焦対象画素（処理結果画像の合焦対象画素に対応する個眼画像E1の対応画素）の登録ディスパリティから、処理結果画像の視点から注目視点の方向を加味して求めることができる。
【０２３０】
いま、処理結果画像の視点である個眼画像E1の視点から注目視点の方向を、x軸を0[radian]とする反時計回りの角度で表すこととする。
【０２３１】
例えば、個眼レンズ３１2は、処理結果画像の視点である個眼画像E1の視点から基準基線長Bだけ+x方向に離れた位置にあり、処理結果画像の視点である個眼画像E1の視点から個眼レンズ３１2に対する個眼画像E2の視点の方向は、0[radian]である。この場合、個眼レンズ３１2に対する個眼画像E2（視点画像）との間の、個眼画像E1の合焦対象画素のディスパリティDP2（としてのベクトル）は、その合焦対象画素の登録ディスパリティRDから、個眼レンズ３１2に対する個眼画像E2の視点の方向である0[radian]を加味して、(-RD,0)＝（-(B/B)×RD×cos0，-(B/B)×RD×sin0)と求めることができる。
【０２３２】
また、例えば、個眼レンズ３１3は、処理結果画像の視点である個眼画像E1の視点から基準基線長Bだけπ/3の方向に離れた位置にあり、処理結果画像の視点である個眼画像E1の視点から個眼レンズ３１3に対する個眼画像E3の視点の方向は、π/3[radian]である。この場合、個眼レンズ３１3に対する個眼画像E3との間の、個眼画像E1の合焦対象画素のディスパリティDP3は、その合焦対象画素の登録ディスパリティRDから、個眼レンズ３１3の視点の方向であるπ/3[radian]を加味して、（-RD×cos(π/3)，-RD×sin(π/3))＝（-(B/B)×RD×cos(π/3)，-(B/B)×RD×sin(π/3))と求めることができる。
【０２３３】
ここで、補間部８２で得られる補間画像は、その補間画像の視点vpに位置する仮想的なレンズで撮像された画像であるとみなすことができる。この仮想的なレンズで撮像された画像の視点vpが、処理結果画像の視点である個眼画像E1の視点から、距離Lだけ、角度θ[radian]の方向に離れた位置であるとする。この場合、視点vpの視点画像（仮想的なレンズで撮像された画像）との間の、個眼画像E1の合焦対象画素のディスパリティDPは、その合焦対象画素の登録ディスパリティRDから、視点vpの方向である角度θを加味して、（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)と求めることができる。
【０２３４】
以上のように、登録ディスパリティRDから、注目視点の方向を加味して、注目視点の視点画像との間の、個眼画像E1の画素のディスパリティを求めること、すなわち、登録ディスパリティRDを、注目視点の視点画像との間の、個眼画像E1の画素（処理結果画像の画素）のディスパリティに変換することを、ディスパリティ変換ともいう。
【０２３５】
リフォーカスでは、合焦対象画素の登録ディスパリティRDから、ディスパリティ変換によって、各視点の視点画像との間の、個眼画像E1の合焦対象画素のディスパリティが求められ、その合焦対象画素のディスパリティをキャンセルするように、各視点の視点画像が画素シフトされる。
【０２３６】
リフォーカスにおいて、視点画像は、その視点画像との間の、合焦対象画素のディスパリティをキャンセルするように画素シフトされるが、この画素シフトのシフト量を、合焦シフト量ともいう。
【０２３７】
ここで、以下、補間部８２で得られる複数の視点の視点画像のうちの、i番目の視点画像の視点を、視点vp#iとも記載する。視点vp#iの視点画像の合焦シフト量を、合焦シフト量SV#iとも記載する。
【０２３８】
視点vp#iの視点画像の合焦シフト量SV#iは、合焦対象画素の登録ディスパリティRDから、処理結果画像の視点である個眼画像E1の視点から視点vp#iの方向を加味したディスパリティ変換によって、一意に求めることができる。
【０２３９】
ここで、ディスパリティ変換では、上述したように、登録ディスパリティRDから、ディスパリティ（としてのベクトル）（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)が求められる。
【０２４０】
したがって、ディスパリティ変換は、例えば、登録ディスパリティRDに対して、-(L/B)×cosθ及び-(L/B)×sinθのそれぞれを乗算する演算、あるいは、登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算等として捉えることができる。
【０２４１】
ここでは、例えば、ディスパリティ変換を、登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算として捉えることとする。
【０２４２】
この場合、ディスパリティ変換の対象となる値、すなわち、ここでは、登録ディスパリティRDの-1倍は、各視点の視点画像の合焦シフト量を求める基準となる値であり、以下、基準シフト量BVともいう。
【０２４３】
合焦シフト量は、基準シフト量BVのディスパリティ変換によって一意に決まるので、基準シフト量BVの設定によれば、その設定により、実質的に、リフォーカスにおいて、各視点の視点画像の画素を画素シフトする画素シフト量が設定されることになる。
【０２４４】
なお、上述のように、基準シフト量BVとして、登録ディスパリティRDの-1倍を採用する場合には、合焦対象画素を合焦させるときの基準シフト量BV、すなわち、合焦対象画素の登録ディスパリティRDの-1倍は、個眼画像E2との間の、合焦対象画素のディスパリティのx成分に等しい。
【０２４５】
＜リフォーカスを行う集光処理＞
【０２４６】
図２０は、リフォーカスを行う集光処理の例を説明するフローチャートである。
【０２４７】
ステップＳ７１において、集光処理部８３は、パラメータ設定部８４から、集光パラメータとしての合焦対象画素（の情報）を取得し、処理は、ステップＳ７２に進む。
【０２４８】
すなわち、例えば、個眼レンズ３１1ないし３１7に対する個眼画像E1ないしE7のうちの、個眼画像E1等が、表示部５４に表示され、ユーザが、その個眼画像E1上の１つの位置を指定すると、パラメータ設定部８４は、ユーザが指定した位置の画素を合焦対象画素に設定し、その合焦対象画素（を表す情報）を、集光パラメータとして、集光処理部８３に供給する。
【０２４９】
ステップＳ７１では、集光処理部８３は、以上のようにして、パラメータ設定部８４から供給される合焦対象画素を取得する。
【０２５０】
ステップＳ７２では、集光処理部８３は、視差情報生成部８１からのディスパリティマップに登録されている合焦対象画素の登録ディスパリティRDを取得する。そして、集光処理部８３は、合焦対象画素の登録ディスパリティRDに応じて、基準シフト量BVを設定し、すなわち、例えば、合焦対象画素の登録ディスパリティRDの-1倍を、基準シフト量BVに設定し、処理は、ステップＳ７２からステップＳ７３に進む。
【０２５１】
ステップＳ７３では、集光処理部８３は、補間部８２からの複数の視点の視点画像のうちの１つの画像である、例えば、個眼画像E1に対応する画像、すなわち、個眼画像E1の視点から見た、個眼画像E1と同一サイズの画像であって、画素値が初期値としての0の画像を、処理結果画像に設定する。さらに、集光処理部８３は、その処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を、注目画素に決定し、処理は、ステップＳ７３からステップＳ７４に進む。
【０２５２】
ステップＳ７４では、集光処理部８３は、補間部８２からの視点画像の視点のうちの、（注目画素について、）まだ、注目視点に決定していない１つの視点vp#iを注目視点vp#iに決定し、処理は、ステップＳ７５に進む。
【０２５３】
ステップＳ７５では、集光処理部８３は、基準シフト量BVから、合焦対象画素を合焦させる（合焦対象画素に映る被写体にフォーカスを合わせる）ために必要な、注目視点vp#iの視点画像の各画素の合焦シフト量SV#iを求める。
【０２５４】
すなわち、集光処理部８３は、基準シフト量BVを、処理結果画像の視点である個眼画像E1の視点から注目視点vp#iの方向を加味して、ディスパリティ変換し、そのディスパリティ変換の結果得られる値（ベクトル）を、注目視点vp#iの視点画像の各画素の合焦シフト量SV#iとして取得する。
【０２５５】
その後、処理は、ステップＳ７５からステップＳ７６に進み、集光処理部８３は、注目視点vp#iの視点画像の各画素を、合焦シフト量SV#iに応じて画素シフトし、画素シフト後の視点画像の、注目画素の位置の画素の画素値を、注目画素の画素値に積算する。
【０２５６】
すなわち、集光処理部８３は、注目視点vp#iの視点画像の画素のうちの、注目画素の位置から合焦シフト量SV#iに対応するベクトル（ここでは、例えば、合焦シフト量SV#iの-1倍）だけ離れた画素の画素値を、注目画素の画素値に積算する。
【０２５７】
そして、処理は、ステップＳ７６からステップＳ７７に進み、集光処理部８３は、補間部８２からの視点画像のすべての視点を、注目視点としたかどうかを判定する。
【０２５８】
ステップＳ７７において、まだ、補間部８２からの視点画像のすべての視点を、注目視点としていないと判定された場合、処理は、ステップＳ７４に戻り、以下、同様の処理が繰り返される。
【０２５９】
また、ステップＳ７７において、補間部８２からの視点画像のすべての視点を、注目視点としたと判定された場合、処理は、ステップＳ７８に進む。
【０２６０】
ステップＳ７８では、集光処理部８３は、処理結果画像の画素のすべてを、注目画素としたかどうかを判定する。
【０２６１】
ステップＳ７８において、まだ、処理結果画像の画素のすべてを、注目画素としていないと判定された場合、処理は、ステップＳ７３に戻り、集光処理部８３は、上述したように、処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を、注目画素に新たに決定し、以下、同様の処理を繰り返す。
【０２６２】
また、ステップＳ７８において、処理結果画像の画素のすべてを、注目画素としたと判定された場合、集光処理部８３は、処理結果画像を出力して、集光処理を終了する。
【０２６３】
なお、図２０の集光処理では、実空間内の奥行き方向の距離が一定の（変化しない）平面を合焦面として、その合焦面上（合焦面の近傍）に位置する被写体に合焦した処理結果画像が、複数の視点の視点画像を用いて生成される。
【０２６４】
かかる図２０の集光処理では、基準シフト量BVは、合焦対象画素の登録ディスパリティRDに応じて設定され、注目画素や注目視点vp#iによっては変化しない。そのため、図２０の集光処理では、基準シフト量BVは、注目画素や注目視点vp#iに関係なく設定される。
【０２６５】
また、合焦シフト量SV#iは、注目視点vp#i及び基準シフト量BVによって変化するが、図２０の集光処理では、上述のように、基準シフト量BVは、注目画素や注目視点vp#iによっては変化しない。したがって、合焦シフト量SV#iは、注目視点vp#iによって変化するが、注目画素によっては変化しない。すなわち、合焦シフト量SV#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。
【０２６６】
図２０において、合焦シフト量SV#iを求めるステップＳ７５の処理は、異なる注目画素について、同一の視点vp#iに対する合焦シフト量SV#iを繰り返し算出するループ（ステップＳ７３ないしステップＳ７８のループ）を構成しているが、上述のように、合焦シフト量SV#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。
【０２６７】
したがって、図２０において、合焦シフト量SV#iを求めるステップＳ７５の処理は、１視点に対して１回だけ行えば良い。
【０２６８】
＜サーバを利用した領域情報の取得＞
【０２６９】
図２１は、サーバを利用して、個眼画像の領域を表す領域情報を取得する処理の例を説明する図である。
【０２７０】
なお、図２１では、領域特定情報として、多眼交換レンズ２０のレンズIDを採用するとともに、レンズIDと、そのレンズIDによって特定される多眼交換レンズ２０の領域情報とが対応付けられたデータベースが用意されていることとする。
【０２７１】
例えば、多眼交換レンズ２０が、カメラ本体１０に装着されると、ステップＳ８１において、多眼交換レンズ２０（図３）の通信部４２が、記憶部４１に記憶された領域特定情報としてレンズIDを、カメラ本体１０に送信する。
【０２７２】
カメラ本体１０（図３）の通信部５７は、多眼交換レンズ２０からのレンズIDを受信し、ステップＳ９１において、そのレンズIDを、例えば、クラウド上のサーバ９０に送信する。
【０２７３】
サーバ９０は、カメラ本体１０からのレンズIDを受信し、ステップＳ１０１において、そのレンズIDをキーワードとして、データベース(DB)を検索し、そのレンズIDによって特定される多眼交換レンズ２０を用いて撮像される撮像画像上の個眼画像の領域を表す領域情報を取得する。
【０２７４】
そして、サーバ９０は、ステップＳ１０２において、データベースから検索した領域情報を、カメラ本体１０に送信する。
【０２７５】
カメラ本体１０（図３）では、通信部５７が、サーバ９０からの領域情報を受信し、領域特定部５２に供給する。領域特定部５２は、撮像画像上の、サーバ９０からの領域情報が表す領域を、個眼画像の領域として特定し、撮像画像から個眼画像を抽出する。
【０２７６】
なお、図２１では、レンズIDを、多眼交換レンズ２０からカメラ本体１０を経由して、サーバ９０に送信することとしたが、レンズIDは、多眼交換レンズ２０から、カメラ本体１０を経由せずに、サーバ９０に（直接）送信することができる。
【０２７７】
また、カメラ本体１０では、レンズIDとともに、撮像画像を、サーバ９０に送信することができる。この場合、サーバ９０では、レンズIDをキーワードとして検索を行うことにより得られた領域情報に応じて、カメラ本体１０からの撮像画像から、個眼画像を抽出し、カメラ本体１０に送信することができる。
【０２７８】
さらに、カメラ本体１０は、画像処理部５３を設けずに構成し、撮像画像又は個眼画像を、サーバ９０に送信することができる。この場合、サーバ９０において、必要に応じて、撮像画像から個眼画像を抽出し、その撮像画像から抽出された個眼画像、又は、カメラ本体１０から送信されてきた個眼画像を用いて、画像処理部５３と同様の画像処理を行うことができる。そして、サーバ９０は、その画像処理により得られる処理結果画像を、カメラ本体１０等に送信することができる。
【０２７９】
＜露出制御の具体例＞
【０２８０】
図２２は、露出制御の詳細を説明する図である。
【０２８１】
なお、以下では、説明を簡単にするため、露出制御を行うカメラシステムは、1眼のカメラシステムであることとする。
【０２８２】
AEの露出制御では、図２２に示すように、撮像画像に対して、明るさ評価値の算出に用いるエリアである評価エリアが設定される。図２２では、撮像画像の全体が評価エリアに設定されている。
【０２８３】
評価エリアの設定後、撮影画像のうちの評価エリア内の画素のY信号（輝度信号）の積算値が、明るさ評価値として算出され、その明るさ評価値と、あらかじめ設定された明るさ評価値の目標値とに応じて、露出時間や、絞り、ゲインが制御される。
【０２８４】
例えば、明るさ評価値が200万であり、目標値が100万である場合には、明るさ評価値が現在の1/2（＝100万／200万）になるように、露出時間や、絞り、ゲインが制御される。
【０２８５】
図２３は、AE機能を有するカメラシステムの構成例を示すブロック図である。
【０２８６】
図２３において、カメラシステムは、レンズ１１１、イメージセンサ１１２、カメラ信号処理LSI(Large Scale Integration)１１３、及び、CPU(Central Processing Unit)１１４を有する。
【０２８７】
レンズ１１１は、被写体からの光を、イメージセンサ１１２上に集光する。
【０２８８】
イメージセンサ１１２は、レンズ１１１からの光を光電変換し、その結果得られる撮像画像を、カメラ信号処理LSI１１３に出力する。イメージセンサ１１２は、例えば、ベイヤ配列のカラーフィルタを有しており、イメージセンサ１１２が出力する撮像画像の各画素は、その画素の位置に応じて、画素値として、R(Red)信号、G(Green)信号、及び、B(Blue)信号のうちのいずれかだけを有する。
【０２８９】
カメラ信号処理LSI１１３は、イメージセンサ１１２からの撮像画像のデモザイク（補間）を行い、各画素がR信号、G信号、及び、B信号の画素値を有する撮像画像（R信号、G信号、及び、B信号それぞれのプレーンを有する撮像画像）を生成する。
【０２９０】
さらに、カメラ信号処理LSI１１３は、デモザイク後の撮像画像を用い、撮像画像の各画素のY信号（輝度信号）を、R信号、G信号、及び、B信号を用いて、例えば、式Y＝0.3R+0.6G+0.1B等に従って生成する（Y信号生成）。
【０２９１】
一方、CPU１１４は、評価エリアを設定し、その評価エリアを表す評価エリア信号の生成を、カメラ信号処理LSI１１３に指示する。カメラ信号処理LSI１１３は、CPU１１４の指示に従い、評価エリアを表す評価エリア信号を生成する。さらに、カメラ信号処理LSI１１３は、撮像画像のうちの、評価エリア信号が表す評価エリア(S)内の画素のY信号を積分（積算）することで、明るさ評価値を求め、CPU１１４に供給する。
【０２９２】
CPU１１４は、カメラ信号処理LSI１１３からの明るさ評価値と、あらかじめ設定された目標値とに応じて、明るさ評価値が目標値に一致するように、例えば、イメージセンサ１１２の露出時間（シャッタスピード）とゲインとの組み合わせを計算する。
【０２９３】
ここで、撮像画像のY信号は、被写体の輝度、イメージセンサ１１２の露光時間、及び、ゲインの積（に比例する値）として求めることができ、かかるY信号の積算値である明るさ評価値を目標値に一致させる露光時間とゲインとの組み合わせは無数に存在する。CPU１１４は、かかる無数の露光時間とゲインとの組み合わせの中から、状況に応じて適切と推定される露光時間とゲインとの組み合わせを選択する。
【０２９４】
そして、CPU１１４は、適切と推定される露光時間とゲインとの組み合わせを、イメージセンサ１１２に設定することで、露出制御、すなわち、露出時間及びゲインを制御し、AEを実現する。
【０２９５】
制御部５６（図３）でも、図２３のカメラシステムと同様にして、露出制御処理を行うことができる。
【０２９６】
＜本技術を適用したコンピュータの説明＞
【０２９７】
次に、上述した領域特定部５２や、画像処理部５３、制御部５６、通信部５７等の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２９８】
図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０２９９】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０３００】
あるいはまた、プログラムは、リムーバブル記録媒体２１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０３０１】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク２０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０３０２】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵しており、CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。
【０３０３】
CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、CPU２０２は、ハードディスク２０５に格納されたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。
【０３０４】
これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０３０５】
なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０３０６】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０３０７】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３０８】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３０９】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３１０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３１１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３１２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３１３】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０３１４】
なお、本技術は、以下の構成をとることができる。
【０３１５】
＜１＞
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信する通信部と、
前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定する領域特定部と
を備える情報処理装置。
＜２＞
前記個眼レンズに対する前記個眼画像は、その個眼レンズにより集光される光線により形成される像のうちの、他の個眼レンズにより集光される光線により形成される像と重複しない部分のみを含む画像である
＜１＞に記載の情報処理装置。
＜３＞
前記複数の個眼画像の一部又は全部を用いて、露出制御を行う制御部をさらに備える
＜１＞に記載の情報処理装置。
＜４＞
前記撮像画像、又は、前記個眼画像を表示する表示部
をさらに備える＜１＞ないし＜３＞のいずれかに記載の情報処理装置。
＜５＞
前記複数の個眼画像を含む複数の視点の視点画像の画素をシフトして積算することにより、奥行き方向の距離が所定の距離の合焦点に合焦した処理結果画像を生成する集光処理を行う集光処理部をさらに備える
＜１＞ないし＜４＞のいずれかに記載の情報処理装置。
＜６＞
前記集光処理部は、前記複数の視点の視点画像の視差情報に応じて、前記視点画像の画素をシフトするシフト量を設定する
＜５＞に記載の情報処理装置。
＜７＞
前記複数の視点の視点画像は、前記複数の個眼画像と、前記複数の個眼画像を用いた補間により生成される複数の補間画像とを含む
＜５＞又は＜６＞に記載の情報処理装置。
＜８＞
前記複数の個眼画像の視差情報を生成する視差情報生成部と、
前記個眼画像、及び、前記視差情報を用いて、異なる視点の前記複数の補間画像を生成する補間部と
をさらに備える＜７＞に記載の情報処理装置。
＜９＞
情報処理装置が、
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信することと、
前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定することと
を含む情報処理方法。
＜１０＞
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を受信する通信部と、
前記領域特定情報に基づいて、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記複数の個眼画像の領域を特定する領域特定部と
して、コンピュータを機能させるためのプログラム。
＜１１＞
光軸方向に重ならないように配置された複数のレンズである個眼レンズと、
イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像される撮像画像上の、前記複数の個眼レンズそれぞれにより集光される光線により形成される像に対応する複数の個眼画像それぞれの領域を特定するための領域特定情報を記憶する記憶部と、
前記領域特定情報を外部に送信する通信部と
を備える交換レンズ。
＜１２＞
前記複数の個眼レンズそれぞれについて、前記個眼レンズから前記イメージセンサに到達する光線を制限する絞りをさらに備える
＜１１＞に記載の交換レンズ。
＜１３＞
前記絞りは、前記複数の個眼レンズのうちの、1個の個眼レンズにより集光される光線と、他の1個の個眼レンズにより集光される光線とが重複しないように、前記個眼レンズからの光線を制限する開口を有する
＜１２＞に記載の交換レンズ。
＜１４＞
前記領域特定情報は、前記複数の個眼レンズそれぞれの有効像円の径、及び、前記有効像円の中心位置である
＜１１＞ないし＜１３＞のいずれかに記載の交換レンズ。
＜１５＞
前記領域特定情報は、前記撮像画像上の、前記複数の個眼レンズそれぞれに対する前記個眼画像の領域を表す領域情報である
＜１１＞ないし＜１３＞のいずれかに記載の交換レンズ。
【符号の説明】
【０３１６】
１０  カメラ本体，  １１  カメラマウント，  ２０  多眼交換レンズ，  ２１  鏡筒，  ２２  レンズマウント，  ２３  レンズフード，  ３１1ないし３１7  個眼レンズ，  ４１  記憶部，  ４２  通信部，  ５１  イメージセンサ，  ５２  領域特定部，  ５３  画像処理部，  ５４  表示部，  ５５  記憶部，  ５６  制御部，  ５７  通信部，  ７１  絞り，  ８１  視差情報生成部，  ８２  補間部，  ８３  集光処理部，  ８４  パラメータ設定部，  ９０  サーバ，  ２０１  バス，  ２０２  CPU，  ２０３  ROM，  ２０４  RAM，  ２０５  ハードディスク，  ２０６  出力部，  ２０７  入力部，  ２０８  通信部，  ２０９  ドライブ，  ２１０  入出力インタフェース，  ２１１  リムーバブル記録媒体
【図１】
2019065260.tif 000003
【図２】
2019065260.tif 000004
【図３】
2019065260.tif 000005
【図４】
2019065260.tif 000006
【図５】
2019065260.tif 000007
【図６】
2019065260.tif 000008
【図７】
2019065260.tif 000009
【図８】
2019065260.tif 000010
【図９】
2019065260.tif 000011
【図１０】
2019065260.tif 000012
【図１１】
2019065260.tif 000013
【図１２】
2019065260.tif 000014
【図１３】
2019065260.tif 000015
【図１４】
2019065260.tif 000016
【図１５】
2019065260.tif 000017
【図１６】
2019065260.tif 000018
【図１７】
2019065260.tif 000019
【図１８】
2019065260.tif 000020
【図１９】
2019065260.tif 000021
【図２０】
2019065260.tif 000022
【図２１】
2019065260.tif 000023
【図２２】
2019065260.tif 000024
【図２３】
2019065260.tif 000025
【図２４】
2019065260.tif 000026
【手続補正書】
【提出日】平成31年1月24日(2019.1.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のレンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数のレンズそれぞれにより集光される光線により形成される像に対応する複数の画像それぞれの領域を特定するための領域特定情報を受信する通信部と、
前記領域特定情報に基づいて、前記撮像画像上の、前記複数のレンズそれぞれに対する前記複数の画像の領域を特定する領域特定部と
を備える情報処理装置。
【請求項２】
前記領域特定部は、前記領域特定情報に基づいて、前記複数のレンズのそれぞれのレンズを通過した光線のうち１つのレンズを通過した光線のみが照射される撮像画像上の領域内の特定領域の画像を出力する
請求項１に記載の情報処理装置。
【請求項３】
前記レンズに対する前記画像は、そのレンズにより集光される光線により形成される像のうちの、他のレンズにより集光される光線により形成される像と重複しない部分のみを含む画像である
請求項１に記載の情報処理装置。
【請求項４】
前記複数の画像の一部又は全部を用いて、露出制御を行う制御部をさらに備える
請求項１に記載の情報処理装置。
【請求項５】
前記撮像画像、又は、前記画像を表示する表示部
をさらに備える請求項１に記載の情報処理装置。
【請求項６】
前記複数の画像を含む複数の視点の視点画像の画素をシフトして積算することにより、奥行き方向の距離が所定の距離の合焦点に合焦した処理結果画像を生成する集光処理を行う集光処理部をさらに備える
請求項１に記載の情報処理装置。
【請求項７】
前記集光処理部は、前記複数の視点の視点画像の視差情報に応じて、前記視点画像の画素をシフトするシフト量を設定する
請求項６に記載の情報処理装置。
【請求項８】
前記複数の視点の視点画像は、前記複数の画像と、前記複数の画像を用いた補間により生成される複数の補間画像とを含む
請求項６に記載の情報処理装置。
【請求項９】
情報処理装置が、
複数のレンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数のレンズそれぞれにより集光される光線により形成される像に対応する複数の画像それぞれの領域を特定するための領域特定情報を受信することと、
前記領域特定情報に基づいて、前記撮像画像上の、前記複数のレンズそれぞれに対する前記複数の画像の領域を特定することと
を含む情報処理方法。
【請求項１０】
光複数のレンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数のレンズそれぞれにより集光される光線により形成される像に対応する複数の画像それぞれの領域を特定するための領域特定情報を受信する通信部と、
前記領域特定情報に基づいて、前記撮像画像上の、前記複数のレンズそれぞれに対する前記複数の画像の領域を特定する領域特定部と
して、コンピュータを機能させるためのプログラム。
【請求項１１】
複数のレンズと、
イメージセンサを有するカメラ本体に装着されたときに１個の前記イメージセンサで撮像される撮像画像上の、前記複数のレンズそれぞれにより集光される光線により形成される像に対応する複数の画像それぞれの領域を特定するための領域特定情報を記憶する記憶部と、
前記領域特定情報を外部に送信する通信部と
を備える交換レンズ。
【請求項１２】
前記複数の個眼レンズそれぞれについて、前記レンズから前記イメージセンサに到達する光線を制限する絞りをさらに備える
請求項１１に記載の交換レンズ。
【請求項１３】
前記絞りは、前記複数のレンズのうちの、１個のレンズにより集光される光線と、他の１個のレンズにより集光される光線とが重複しないように、前記レンズからの光線を制限する開口を有する
請求項１２に記載の交換レンズ。
【請求項１４】
前記領域特定情報は、前記複数のレンズそれぞれの有効像円の径、及び、前記有効像円の中心位置である
請求項１１に記載の交換レンズ。
【請求項１５】
前記領域特定情報は、前記撮像画像上の、前記複数のレンズそれぞれに対する前記画像の領域を表す領域情報である
請求項１１に記載の交換レンズ。
【国際調査報告】
2019065260.tif 000027
2019065260.tif 000028
2019065260.tif 000029
2019065260.tif 000030