(57)【要約】  本技術は、複数の視点の画像を、容易に得ることができるようにする情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関する。通信部は、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個のイメージセンサで撮像された所定の被写体が映る撮像画像上の、個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信する。基準位置算出部は、既知基準位置に基づいて、イメージセンサで撮影される他の撮像画像上の個眼レンズに対する個眼画像上の所定の光線に対応する位置である未知基準位置を求める。本技術は、例えば、画像を撮像するカメラシステム等に適用することができる。
2019078032.tif 000002
【特許請求の範囲】
【請求項１】
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信する通信部と、
前記既知基準位置に基づいて、前記イメージセンサで撮影される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求める基準位置算出部と
を備える情報処理装置。
【請求項２】
前記撮像画像は、既知の距離にある前記所定の被写体が映る画像である
請求項１に記載の情報処理装置。
【請求項３】
前記未知基準位置に基づいて、前記他の撮像画像上の前記複数の個眼レンズに対する複数の個眼画像それぞれの領域を特定する領域特定部をさらに備える
請求項１に記載の情報処理装置。
【請求項４】
前記交換レンズは、光を照射する複数の光源を備え、
前記通信部は、前記既知基準位置と、前記撮像画像上の前記複数の光源それぞれの光の照射位置である既知光位置とを受信し、
前記基準位置算出部は、前記既知基準位置と前記既知光位置とに基づいて、前記未知基準位置を求める
請求項１に記載の情報処理装置。
【請求項５】
前記基準位置算出部は、
前記他の撮像画像上の前記複数の光源それぞれの光の照射位置と、前記既知光位置との間の回転角を求め、
前記既知基準位置を、前記回転角に応じて回転させることにより、前記未知基準位置を求める
請求項４に記載の情報処理装置。
【請求項６】
前記基準位置算出部は、前記他の撮像画像上の前記光源の光の照射位置と、前記既知光位置との間の平行移動量をさらに求める
請求項４に記載の情報処理装置。
【請求項７】
前記基準位置算出部は、
前記他の撮像画像上の前記複数の個眼レンズに対する複数の個眼画像それぞれから、同一の特徴を有する特徴点を抽出し、
前記複数の個眼画像のうちの１の個眼画像の前記特徴点と他の個眼画像の前記特徴点とを結ぶ線の方向を表す角度と、前記１の個眼画像の前記既知基準位置と前記他の個眼画像の前記既知基準位置とを結ぶ線の方向を表す角度である基準角との間の回転角を求め、
前記既知基準位置を、前記回転角に応じて回転させることにより、前記未知基準位置を求める
請求項１に記載の情報処理装置。
【請求項８】
前記通信部は、前記既知基準位置と前記基準角とを受信する
請求項７に記載の情報処理装置。
【請求項９】
前記他の撮像画像から特定された前記複数の個眼画像を含む複数の視点の視点画像の画素をシフトして積算することにより、奥行き方向の距離が所定の距離の合焦点に合焦した処理結果画像を生成する集光処理を行う集光処理部をさらに備える
請求項３に記載の情報処理装置。
【請求項１０】
前記集光処理部は、前記複数の視点の視点画像の視差情報に応じて、前記視点画像の画素をシフトするシフト量を設定する
請求項９に記載の情報処理装置。
【請求項１１】
前記複数の視点の視点画像は、前記複数の個眼画像と、前記複数の個眼画像を用いた補間により生成される複数の補間画像とを含む
請求項９に記載の情報処理装置。
【請求項１２】
前記複数の個眼画像の視差情報を生成する視差情報生成部と、
前記個眼画像、及び、前記視差情報を用いて、異なる視点の前記複数の補間画像を生成する補間部と
をさらに備える請求項１１に記載の情報処理装置。
【請求項１３】
情報処理装置が、
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信することと、
前記既知基準位置に基づいて、前記イメージセンサで撮影される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求めることと
を含む情報処理方法。
【請求項１４】
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信する通信部と、
前記既知基準位置に基づいて、前記イメージセンサで撮影される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求める基準位置算出部と
して、コンピュータを機能させるためのプログラム。
【請求項１５】
光軸方向に重ならないように配置された複数のレンズである個眼レンズと、
イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を記憶する記憶部と、
前記既知基準位置を外部に送信する通信部と
を備える交換レンズ。
【請求項１６】
前記イメージセンサに、光を照射する複数の光源をさらに備え、
前記記憶部は、前記既知基準位置と、前記撮像画像上の前記複数の光源それぞれの光の照射位置である既知光位置とを記憶し、
前記通信部は、前記既知基準位置と前記既知光位置とを送信する
請求項１５に記載の交換レンズ。
【請求項１７】
2個の前記光源が、前記交換レンズの、前記複数の個眼レンズが配置された平面上の最も遠い２点を結ぶ線上に配置されている
請求項１６に記載の交換レンズ。
【請求項１８】
前記イメージセンサで撮像される他の撮像画像上の前記複数の光源それぞれの光の照射位置が、前記他の撮像画像に含まれる前記個眼画像の領域外に位置するように、前記複数の光源が設けられている
請求項１６に記載の交換レンズ。
【請求項１９】
前記記憶部は、前記既知基準位置と、前記複数の個眼レンズに対する複数の個眼画像のうちの１の個眼画像の前記既知基準位置と他の個眼画像の前記既知基準位置とを結ぶ線の方向を表す角度である基準角とを記憶し、
前記通信部は、前記既知基準位置と前記基準角とを送信する
請求項１５に記載の交換レンズ。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関し、特に、例えば、複数の視点の画像を容易に得ることができるようにする情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズに関する。
【背景技術】
【０００２】
複数の視点の画像から、例えば、リフォーカスを行った画像、すなわち、光学系のフォーカスを変更して撮像を行ったような画像等を再構成するライトフィールド技術が提案されている（例えば、非特許文献１を参照）。【０００３】
例えば、非特許文献１には、100台のカメラからなるカメラアレイを用いたリフォーカスの方法が記載されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Bennett Wilburn他、"High Performance Imaging Using Large Camera Arrays"
【発明の概要】
【発明が解決しようとする課題】
【０００５】
リフォーカス等の特定の画像処理を行うにあたっては、複数の視点の画像が必要となる。【０００６】
本技術は、このような状況に鑑みてなされたものであり、複数の視点の画像を容易に得ることができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の情報処理装置又はプログラムは、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信する通信部と、前記既知基準位置に基づいて、前記イメージセンサで撮像される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求める基準位置算出部とを備える情報処理装置又はそのような情報処理装置としてコンピュータを機能させるためのプログラムである。【０００８】
本技術の情報処理方法は、情報処理装置が、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信することと、前記既知基準位置に基づいて、前記イメージセンサで撮像される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求めることとを含む情報処理方法である。【０００９】
本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置が受信される。そして、前記既知基準位置に基づいて、前記イメージセンサで撮像される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置が求められる。【００１０】
本技術の交換レンズは、光軸方向に重ならないように配置された複数のレンズである個眼レンズと、イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を記憶する記憶部と、前記既知基準位置を外部に送信する通信部とを備える交換レンズである。【００１１】
本技術の交換レンズにおいては、複数の個眼レンズが、光軸方向に重ならないように配置されている。また、イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置が記憶され、前記既知基準位置が外部に送信される。【００１２】
なお、情報処理装置は、独立した装置であっても良いし、1個の装置を構成している内部ブロックであっても良い。【００１３】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１４】
本技術によれば、複数の視点の画像を容易に得ることができる。【００１５】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】本技術を適用したカメラシステムの第１実施の形態の構成例を示す斜視図である。
【図２】カメラ本体１０の背面の構成例を示す背面図である。
【図３】カメラシステムの電気的構成例を示すブロック図である。
【図４】多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。
【図５】多眼交換レンズ２０における個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒの配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。
【図６】多眼交換レンズ２０をカメラ本体１０に取り付ける（装着する）ときの取り付け誤差を説明する図である。
【図７】未知基準位置としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める第１の算出方法を説明する図である。
【図８】未知基準位置(dx1', dy1')ないし(dx4', dy4')を、第１の算出方法によって求める場合の既知基準位置等取得処理の例を説明するフローチャートである。
【図９】未知基準位置(dx1', dy1')ないし(dx4', dy4')等を、第１の算出方法によって求める未知基準位置算出処理の例を説明するフローチャートである。
【図１０】領域特定部５２が行う、未知撮像画像上の各個眼画像E#iの領域を特定する領域特定処理の例を説明するフローチャートである。
【図１１】本技術を適用したカメラシステムの第２実施の形態の構成例を示す斜視図である。
【図１２】カメラシステムの電気的構成例を示すブロック図である。
【図１３】多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。
【図１４】多眼交換レンズ２０における個眼レンズ３１0ないし３１4の配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。
【図１５】未知基準位置としての（相対）光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める第２の算出方法を説明する図である。
【図１６】未知撮像画像上の個眼画像E#iからの特徴点の抽出の例を説明する図である。
【図１７】未知基準位置(dx1', dy1')ないし(dx4', dy4')を、第２の算出方法によって求める場合の既知基準位置等取得処理の例を説明するフローチャートである。
【図１８】未知基準位置(dx1', dy1')ないし(dx4', dy4')を、第２の算出方法によって求める未知基準位置算出処理の例を説明するフローチャートである。
【図１９】画像処理部５３のうちのリフォーカスを行う部分の機能的構成例を示すブロック図である。
【図２０】画像処理部５３が行う画像処理の例を説明するフローチャートである。
【図２１】多眼交換レンズ２０の他の構成例を示す背面図である。
【図２２】補間部８２での補間画像の生成の例を説明する図である。
【図２３】視差情報生成部８１でのディスパリティマップの生成の例を説明する図である。
【図２４】集光処理部８３で行われる集光処理によるリフォーカスの概要を説明する図である。
【図２５】ディスパリティ変換の例を説明する図である。
【図２６】リフォーカスを行う集光処理の例を説明するフローチャートである。
【図２７】サーバを利用して、未知撮像画像の未知基準位置(dx#i', dy#i')を取得する処理の例を説明する図である。
【図２８】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
＜本技術を適用したカメラシステムの第１実施の形態＞
【００１８】
図１は、本技術を適用したカメラシステムの第１実施の形態の構成例を示す斜視図である。
【００１９】
カメラシステムは、カメラ本体１０と多眼交換レンズ２０とで構成される。
【００２０】
カメラ本体１０は、多眼交換レンズ２０が着脱可能なようになっている。すなわち、カメラ本体１０は、カメラマウント１１を有し、そのカメラマウント１１に対して、多眼交換レンズ２０（のレンズマウント２２）が取り付けられることで、カメラ本体１０に、多眼交換レンズ２０が装着される。なお、カメラ本体１０に対しては、多眼交換レンズ２０以外の一般的な交換レンズも着脱することができる。
【００２１】
カメラ本体１０は、イメージセンサ５１を内蔵する。イメージセンサ５１は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、カメラ本体１０（のカメラマウント１１）に装着された多眼交換レンズ２０その他の交換レンズによって集光される光線を受光して光電変換を行うことにより画像を撮像する。以下、イメージセンサ５１の撮像により得られる画像を、撮像画像ともいう。
【００２２】
多眼交換レンズ２０は、鏡筒２１及びレンズマウント２２を有する。
【００２３】
鏡筒２１には、光軸方向に（見て）重ならないように、複数のレンズである5個の個眼レンズ３１0，３１1，３１2，３１3、及び、３１4が配置されている。図１では、鏡筒２１において、5個の個眼レンズ３１0ないし３１4が、光軸に直交する（イメージセンサ５１の受光面（撮像面）に平行な）２次元平面上において、個眼レンズ３１0を中心（重心）として、他の４個の個眼レンズ３１1ないし３１4が、正方形の頂点を構成するように配置されている。
【００２４】
個眼レンズ３１0ないし３１4は、多眼交換レンズ２０がカメラ本体１０に装着されたときに、被写体からの光線をカメラ本体１０のイメージセンサ５１に集光させる。
【００２５】
なお、ここでは、カメラ本体１０は、1個のイメージセンサ５１を有する、いわゆる単板式のカメラであるが、カメラ本体１０としては、複数のイメージセンサ、すなわち、例えば、RGB(Red, Green, Blue)それぞれ用の３つのイメージセンサを有する、いわゆる３板式のカメラを採用することができる。３板式のカメラでは、個眼レンズ３１0ないし３１4は、３つのイメージセンサのそれぞれに、光線を集光させる。
【００２６】
鏡筒２１には、5個の個眼レンズ３１0ないし３１4の他、複数である2個の光源３２Ｌ及び３２Ｒが設けられている。光源３２Ｌ及び３２Ｒは、多眼交換レンズ２０を正面から見たときに、鏡筒２１の右端及び左端の位置に、それぞれ設けられている。
【００２７】
光源３２Ｌ及び３２Ｒは、例えば、LED(Light Emitting Diode)やレーザ等で構成され、多眼交換レンズ２０の正面側から背面側に向かってスポット光を照射する。
【００２８】
したがって、多眼交換レンズ２０がカメラ本体１０に装着された場合、光源３２Ｌ及び３２Ｒが照射するスポット光は、カメラ本体１０のイメージセンサ５１で受光される。
【００２９】
レンズマウント２２は、多眼交換レンズ２０がカメラ本体１０に装着されるときに、カメラ本体１０のカメラマウント１１に取り付けられる。
【００３０】
なお、図１では、多眼交換レンズ２０に、5個の個眼レンズ３１0ないし３１4が設けられているが、多眼交換レンズ２０に設ける個眼レンズの数は、5個に限定されるものではなく、2個や3個、5個以上の任意の複数の数を採用することができる。
【００３１】
さらに、多眼交換レンズ２０に設ける複数の個眼レンズは、正方形の中心と頂点の位置に配置する他、２次元平面上の任意の位置に配置することができる。
【００３２】
また、多眼交換レンズ２０に設ける複数の個眼レンズとしては、焦点距離やF値、その他の仕様が異なる複数のレンズを採用することができる。但し、ここでは、説明を簡単にするため、仕様が同一の複数のレンズを採用することとする。
【００３３】
さらに、図１では、多眼交換レンズ２０に、2個の光源３２Ｌ及び３２Ｒが設けられているが、多眼交換レンズ２０に設ける光源の数は、2個に限定されるものではなく、3個以上の任意の数を採用することができる。
【００３４】
また、光源３２Ｌ及び３２Ｒは、多眼交換レンズ２０の、5個の個眼レンズ３１0ないし３１4が配置された平面上、すなわち、図１では、略円柱形の鏡筒２１の底面である円上の最も遠い２点を結ぶ線上に配置することができる。この場合、光源３２Ｌ及び３２Ｒは、鏡筒２１の底面である円の中心を通る線上に配置される。後述するように、光源３２Ｌ及び３２Ｒは、なるべく離して配置することが望ましい。鏡筒２１の底面が円形状である場合には、光源３２Ｌ及び３２Ｒを、鏡筒２１の底面である円の中心を通る線上に配置することにより、光源３２Ｌ及び３２Ｒを最も離して配置することができる。
【００３５】
多眼交換レンズ２０において、複数としての5個の個眼レンズ３１0ないし３１4それぞれは、多眼交換レンズ２０がカメラ本体１０に装着されたときに、光軸がイメージセンサ５１の受光面と直交するように配置されている。
【００３６】
かかる多眼交換レンズ２０がカメラ本体１０に装着されたカメラシステムでは、イメージセンサ５１において、5個の個眼レンズ３１0ないし３１4それぞれにより集光される光線によりイメージセンサ５１の受光面上に形成される像に対応する画像が撮像される。
【００３７】
いま、1個の個眼レンズ３１i（ここでは、i=0,1,2,3,4）により集光される光線により形成される像に対応する画像を、個眼画像ということとすると、1個のイメージセンサ５１で撮像される撮像画像には、5個の個眼レンズ３１0ないし３１4それぞれに対する5個の個眼画像（個眼レンズ３１0ないし３１4それぞれにより集光される光線により形成される像に対応する画像）が含まれる。
【００３８】
個眼レンズ３１iに対する個眼画像は、個眼レンズ３１iの位置を視点とする画像であり、したがって、個眼レンズ３１0ないし３１4それぞれに対する5個の個眼画像は、異なる視点の画像である。
【００３９】
さらに、撮像画像には、2個の光源３２Ｌ及び３２Ｒそれぞれが照射するスポット光に対応する画像であるスポット光像が含まれる。
【００４０】
図２は、カメラ本体１０の背面の構成例を示す背面図である。
【００４１】
ここで、カメラ本体１０については、多眼交換レンズ２０が装着される側の面、すなわち、カメラマウント１１がある面を、正面とする。
【００４２】
カメラ本体１０の背面には、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成される表示部５４が設けられている。表示部５４には、いわゆるスルー画や、メニュー、カメラ本体１０の設定等の情報が表示される。
【００４３】
図３は、図１のカメラシステムの電気的構成例を示すブロック図である。
【００４４】
カメラシステムにおいて、多眼交換レンズ２０は、記憶部４１及び通信部４２を有する。
【００４５】
記憶部４１は、多眼交換レンズ２０に関する情報であるレンズ情報を記憶している。レンズ情報には、既知基準位置が含まれる。
【００４６】
既知基準位置とは、多眼交換レンズ２０がカメラ本体１０に装着されたときに（1個の）イメージセンサ５１で撮像された既知の距離にある所定の被写体が映る既知撮像画像上の個眼レンズ３１iに対する個眼画像上の所定の光線に対応する位置である。
【００４７】
ここで、個眼レンズ３１iに対する個眼画像において、個眼レンズ３１iの光軸を通る光線の像が形成される位置を光軸中心位置ということとする。
【００４８】
いま、個眼レンズ３１iに対する個眼画像について、所定の光線として、例えば、個眼レンズ３１iの光軸を通る光線を採用することとすると、個眼レンズ３１iに対する個眼画像の既知基準位置は、その個眼画像の光軸中心位置である。
【００４９】
なお、所定の光線は、個眼レンズ３１iの光軸を通る光線に限定されるものではない。すなわち、所定の光線としては、例えば、個眼レンズ３１iの光軸から所定の距離だけ離れた位置を通り、光軸に平行な光線その他を採用することができる。
【００５０】
レンズ情報には、既知撮像画像上の、個眼レンズ３１iに対する個眼画像の既知基準位置の他、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像の位置、すなわち、スポット光の照射位置である既知光位置が含まれる。
【００５１】
ここで、多眼交換レンズ２０に対しては、ユニークなレンズID(Identification)を割り当て、記憶部４１に記憶させるレンズ情報としては、多眼交換レンズ２０のレンズIDを採用することができる。さらに、この場合、レンズ情報としてのレンズIDと、そのレンズIDによって特定される多眼交換レンズ２０の、レンズID以外のレンズ情報としての既知基準位置や既知光位置とを対応付けたデータベースを用意することができる。この場合、レンズIDをキーワードとして、データベースを検索することにより、そのレンズIDに対応付けられた多眼交換レンズ２０の既知基準位置や既知光位置を取得することができる。
【００５２】
通信部４２は、カメラ本体１０の後述する通信部５６との間で、有線又は無線による通信を行う。なお、通信部４２は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN(Local Area Network)上のPC(Personal Computer)、その他の外部のデバイスとの間で通信を行うようにすることができる。
【００５３】
通信部４２は、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに、カメラ本体１０の通信部５６と通信することで、記憶部４１に記憶されたレンズ情報を、通信部５６に送信する。
【００５４】
カメラ本体１０は、イメージセンサ５１、領域特定部５２、画像処理部５３、表示部５４、記憶部５５、通信部５６、及び、基準位置算出部５７を有する。
【００５５】
イメージセンサ５１は、例えば、図１で説明したように、CMOSイメージセンサであり、イメージセンサ５１の受光面には、カメラ本体１０に装着された多眼交換レンズ２０の個眼レンズ３１0ないし３１4それぞれにより集光される光線、並びに、光源３２Ｌ及び３２Ｒが照射するスポット光としての光線が照射される。
【００５６】
イメージセンサ５１は、個眼レンズ３１0ないし３１4それぞれにより集光される光線、並びに、光源３２Ｌ及び３２Ｒが照射するスポット光としての光線を受光して光電変換を行うことにより、個眼レンズ３１0ないし３１4それぞれに対する個眼画像（個眼レンズ３１0ないし３１4それぞれにより集光される光線により形成される像に対応する個眼画像）、並びに、光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像を含む撮像画像を撮像して出力する。イメージセンサ５１が出力する撮像画像（他の撮像画像）は、領域特定部５２及び基準位置算出部５７に供給される。
【００５７】
領域特定部５２には、イメージセンサ５１が出力する撮像画像が供給される他、基準位置算出部５７から、イメージセンサ５１が出力する撮像画像に含まれる個眼画像上の未知基準位置が供給される。
【００５８】
ここで、既知基準位置は、撮像画像が既知の距離にある被写体を撮像した既知撮像画像である場合の、その既知撮像画像に含まれる個眼画像上の光軸中心位置であるが、未知基準位置は、撮像画像が任意の被写体（被写体までの距離が既知であるどうかは問わない）を撮像した画像（他の撮像画像）である場合の、その撮像画像に含まれる個眼画像上の光軸中心位置である。
【００５９】
領域特定部５２は、基準位置算出部５７からの未知基準位置に基づいて、イメージセンサ５１からの撮像画像上の、個眼レンズ３１0ないし３１4それぞれに対する個眼画像の領域を特定し、その領域の特定の結果を表す領域特定結果情報を出力する。
【００６０】
すなわち、領域特定部５２は、イメージセンサ５１からの撮像画像の、例えば、撮像画像の未知基準位置を中心（重心）とする所定のサイズの長方形状の領域を、個眼画像の領域に特定する。
【００６１】
ここで、領域特定部５２は、例えば、撮像画像と、その撮像画像上の各個眼画像の領域を表す領域情報とのセットを、領域特定結果情報として出力することができる。また、領域特定部５２は、撮像画像から、各個眼画像を抽出し（切り出し）、その各個眼画像を、領域特定結果情報として出力することができる。
【００６２】
以下では、説明を簡単にするため、例えば、領域特定部５２は、撮像画像から抽出した各個眼画像（ここでは、個眼レンズ３１0ないし３１4それぞれに対する個眼画像）を、領域特定結果情報として出力することとする。
【００６３】
領域特定部５２が出力する個眼レンズ３１0ないし３１4それぞれに対する個眼画像は、画像処理部５３に供給される。
【００６４】
画像処理部５３は、領域特定部５２からの個眼レンズ３１0ないし３１4それぞれに対する個眼画像、すなわち、個眼レンズ３１0ないし３１4それぞれの位置を視点とする、異なる視点の個眼画像を用いて、例えば、視差情報の生成や、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカス等の画像処理を行い、その画像処理の結果得られる処理結果画像を、表示部５４及び記憶部５５に供給する。
【００６５】
表示部５４は、例えば、画像処理部５３から供給される処理結果画像等を、図２で説明したようにスルー画として表示する。
【００６６】
記憶部５５は、図示せぬメモリカード等で構成され、例えば、ユーザの操作等に応じて、画像処理部５３から供給される処理結果画像を記憶する。
【００６７】
通信部５６は、多眼交換レンズ２０の通信部４２等との間で、有線又は無線による通信を行う。なお、通信部５６は、その他、必要に応じて、任意の通信方式により、インターネット上のサーバや、有線又は無線LAN上のPC、その他の外部のデバイスとの間で通信を行うことができる。
【００６８】
通信部５６は、例えば、多眼交換レンズ２０がカメラ本体１０に装着されたときに、多眼交換レンズ２０の通信部４２と通信することで、その通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信し、基準位置算出部５７に供給する。
【００６９】
基準位置算出部５７は、通信部５６からのレンズ情報に含まれる既知基準位置に基づいて、イメージセンサ５１から供給される撮像画像に含まれる個眼レンズ３１iに対する個眼画像上の光軸中心位置である未知基準位置を求め、領域特定部５２に供給する。
【００７０】
なお、図３において、基準位置算出部５７は、イメージセンサ５１から供給される撮像画像に含まれる個眼画像上の光軸中心位置である未知基準位置を求めるにあたり、レンズ情報に含まれる既知基準位置の他、既知光位置を用いる。
【００７１】
＜多眼交換レンズ２０を用いて行われる撮像の概要＞
【００７２】
図４は、多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。
【００７３】
多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１では、各個眼レンズ３１iにおいて光線が集光されることにより形成される像に対応する個眼画像と、光源３２Ｌ及び３２Ｒが照射するスポット光のスポット光像とを含む撮像画像が撮像される。
【００７４】
ここで、本明細書では、個眼レンズ３１iの光軸方向のうちの、カメラ本体１０の背面側から正面側に向かう方向をz方向（軸）とするとともに、z方向を向いたときの左から右方向をx方向とし、下から上方向をy方向とする。
【００７５】
さらに、画像に映る被写体の左右と、実空間の被写体の左右とを一致させるとともに、個眼レンズ３１iの位置の左右と、その個眼レンズ３１iに対する個眼画像の撮像画像上の左右とを一致させるため、以下では、特に断らない限り、z方向、すなわち、カメラ本体１０の裏面側から、撮像を行う被写体が存在する撮像方向を向いている状態を基準として、撮像画像上の位置や、個眼レンズ３１iの位置、被写体等の左右を記述する。
【００７６】
なお、１の個眼レンズ３１iと他の１の個眼レンズ３１j（ｉ≠ｊ）との光軸どうしを結ぶ直線又は線分を、基線ともいい、その光軸どうしの距離を、基線長ともいう。また、基線の方向を表す角度を、基線角ともいう。ここでは、基線角として、例えば、x軸と基線とがなす角度（エピポーラ線の角度）を採用することとする。
【００７７】
図５は、多眼交換レンズ２０における個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒの配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。
【００７８】
図５のＡは、多眼交換レンズ２０における個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒの配置の例を示す背面図である。
【００７９】
図５のＡでは、個眼レンズ３１0ないし３１4は、図１で説明したように、イメージセンサ５１の受光面に平行な２次元平面において、個眼レンズ３１0を中心として、他の４個の個眼レンズ３１1ないし３１4が、正方形の頂点を構成するように配置されている。
【００８０】
すなわち、個眼レンズ３１0ないし３１4のうちの、例えば、個眼レンズ３１0を基準とすると、図５では、個眼レンズ３１1は、個眼レンズ３１0の右上に配置され、個眼レンズ３１2は、個眼レンズ３１0の左上に配置されている。さらに、個眼レンズ３１3は、個眼レンズ３１0の左下に配置され、個眼レンズ３１4は、個眼レンズ３１0の右下に配置されている。
【００８１】
また、図５のＡにおいて、光源３２Ｌは、平面が略円形の多眼交換レンズ２０の左端の位置に配置され、光源３２Ｒは、平面が略円形の多眼交換レンズ２０の中心（中央）に対して、光源３２Ｌの反対側の右端の位置に配置されている。
【００８２】
なお、光源３２Ｌ及び３２Ｒは、多眼交換レンズ２０（の鏡筒２１）の任意の異なる位置に配置することができる。
【００８３】
但し、光源３２Ｌ及び３２Ｒは、イメージセンサ５１で撮像される撮像画像上の、光源３２Ｌ及び３２Ｒそれぞれが照射するスポット光のスポット光像PL及びPRが、撮像画像に含まれる個眼画像の領域外（個眼レンズ３１iを通過した光が照射される範囲外）に位置するように配置することができる。この場合、スポット光像PLやPRが、個眼画像に重複して映って、個眼画像の画質が低下することを抑制することができる。
【００８４】
図５のＢは、図５のＡのように個眼レンズ３１０ないし３１4並びに光源３２Ｌ及び３２Ｒが配置された多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像の例を示す図である。
【００８５】
個眼レンズ３１0ないし３１4並びに光源３２Ｌ及び３２Ｒを有する多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像には、個眼レンズ３１0ないし３１4それぞれにより集光される光線により形成される像に対応する個眼画像E0,E1,E2,E3,E4と、光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRとが含まれる。
【００８６】
領域特定部５２（図３）は、基準位置算出部５７で求められる各個眼画像E#iの未知基準位置である光軸中心位置に基づき、各個眼レンズ３１iについて、その個眼レンズ３１iを通過した光線が照射される撮像画像上の領域のうちの、個眼画像E#iの未知基準位置である光軸中心位置を中心とする所定サイズの長方形状の領域を、個眼画像E#iの領域として特定する。
【００８７】
これにより、個眼レンズ３１iに対する個眼画像E#iは、個眼レンズ３１iの位置から、独立のカメラを用いた撮像を行うことにより得られる撮像画像、すなわち、個眼レンズ３１iの位置を視点とする撮像により得られる画像と同様の画像になる。
【００８８】
そのため、個眼レンズ３１0ないし３１4それぞれに対する個眼画像E0ないしE4のうちの任意の2個の個眼画像E#iとE#jとの間には、視差が生じる。すなわち、個眼画像E#iとE#jに映る同一の被写体は、視差に応じてずれた位置に映る。
【００８９】
＜多眼交換レンズ２０の取り付け誤差＞
【００９０】
図６は、多眼交換レンズ２０をカメラ本体１０に取り付ける（装着する）ときの取り付け誤差を説明する図である。
【００９１】
すなわち、図６は、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステムで撮像される撮像画像の例を示している。
【００９２】
多眼交換レンズ２０をカメラ本体１０に取り付けた場合、カメラ本体１０のイメージセンサ５１の受光面に対する多眼交換レンズ２０の取り付け位置は、主として、横方向（x方向）、縦方向（y方向）、及び、回転方向のうちの、特に、回転方向にずれ得る。すなわち、多眼交換レンズ２０の取り付け位置は、多眼交換レンズ２０をカメラ本体１０に取り付けるときや、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステムに衝撃が加わったとき等に変化する。
【００９３】
いま、例えば、多眼交換レンズ２０の設計上の取り付け位置に対する実際の取り付け位置の誤差を、取り付け誤差ということとする。取り付け誤差は、多眼交換レンズ２０の取り付け位置と同様に、多眼交換レンズ２０をカメラ本体１０に取り付けるときや、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステムに衝撃が加わったとき等に変化する。
【００９４】
図５で説明したように、個眼画像E#iは、個眼レンズ３１iの位置を視点とする撮像により得られる画像と同様の画像であり、したがって、個眼画像E0ないしE4は、視点の異なる画像である。
【００９５】
視点の異なる画像である個眼画像E0ないしE4を用いて、例えば、視差情報を求める場合、個眼レンズ３１0ないし３１4について、図４で説明した基線長と基線角が必要となる。
【００９６】
個眼レンズ３１0ないし３１4は、多眼交換レンズ２０に固定されているので、基線長は、取り付け誤差によって変化しない固定の値であり、あらかじめ計測しておくことができる。
【００９７】
一方、基線角は、多眼交換レンズ２０の回転方向の取り付け誤差によって変化する。したがって、個眼画像E0ないしE4を用いて、正確な視差情報を求めるためには、回転方向の取り付け誤差に対処する必要がある。
【００９８】
ここで、横方向及び縦方向の取り付け誤差は、個眼レンズ３１iのレンズ収差に起因する画像歪みが小さい場合には、問題とならず、無視することができる。但し、レンズ収差に起因する画像歪みが大きく、その画像歪みの歪み補正を行う必要がある場合には、適切な歪み補正を行うために、個眼画像E#iの光軸中心位置を正確に把握する必要がある。個眼画像E#iの光軸中心位置を正確に把握するには、横方向及び縦方向の取り付け誤差を把握する必要がある。
【００９９】
いま、図６に示すように、あるxy座標系（2次元座標系）において、個眼画像E0ないしE4の光軸中心位置（の座標）を、(x0, y0), (x1, y1), (x2, y2), (x3, y3), (x4, y4)と表すこととする。
【０１００】
また、個眼レンズ３１0ないし３１4のうちの、中央（中心）に位置する個眼レンズ３１0に対する個眼画像E0を、中央画像E0ともいい、周辺に位置する個眼レンズ３１1ないし３１4に対する個眼画像E1ないしE4を、周辺画像E1ないしE4ともいうこととする。
【０１０１】
個眼画像E0ないしE4のうちの１の個眼画像、すなわち、例えば、中央画像E0を基準とする、周辺画像E1ないしE4それぞれの相対的な光軸中心位置（以下、相対光軸中心位置ともいう）(dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)は、式（１）に従って求めることができる。
【０１０２】
【数１】
2019078032.tif 000003
・・・（１）
【０１０３】
相対光軸中心位置(dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)は、中央画像E0の光軸中心位置(x0, y0)をxy座標系の原点とした場合の周辺画像E1ないしE4の光軸中心位置(x1, y1), (x2, y2), (x3, y3), (x4, y4)に等しい。
【０１０４】
相対光軸中心位置(dx#i, dy#i)（ここでは、i=1,2,3,4）は、中央画像E0の光軸中心位置(x0, y0)と、周辺画像E#iの光学中心位置(x#i, y#i)とを結ぶ基線の方向のベクトルであるとみなすことができ、相対光軸中心位置(dx#i, dy#i)によれば、中央画像E0の光軸中心位置(x0, y0)と周辺画像E#iの光学中心位置(x#i, y#i)とを結ぶ基線L0#iの方向を表す基線角（tan-1((y#i-y0)/(x#i-x0))=tan-1(dy#i/dx#i)）を求めることができる。
【０１０５】
したがって、相対光軸中心位置(dx#i, dy#i)を求めることができれば、そのときの基線L0#iの方向を表す基線角を求めることができ、その基線角を用いて、回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
【０１０６】
本技術では、イメージセンサ５１で撮像された既知の距離にある所定の被写体が映る既知撮像画像上の個眼画像E0ないしE4それぞれの光軸中心位置(x0, y0)ないし(x4, y4)、すなわち、中央画像E0の光軸中心位置(x0, y0)を原点とする場合には、個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1, dy1)ないし(dx4, dy4)を、既知基準位置として求めておく。さらに、本技術では、既知基準位置（(x0, y0)ないし(x4, y4)又は(dx1, dy1)ないし(dx4, dy4)）と撮像画像とを用いて、その撮像画像の撮像時の撮像画像上の個眼画像E0ないしE4それぞれの光軸中心位置(x0', y0')ないし(x4', y4')、すなわち、中央画像E0の光軸中心位置(x0', y0')を原点とする場合には、個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、未知基準位置として求める。
【０１０７】
未知基準位置としての撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')が得られれば、撮像画像の撮像時の基線角を求め、その基線角を用いて、回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
【０１０８】
図３の基準位置算出部５７は、既知基準位置としての相対光軸中心位置(dx1, dy1)ないし(dx4, dy4)を用い、第１の算出方法によって、未知基準位置としての撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める。
【０１０９】
＜未知基準位置としての撮像画像上の個眼画像E#iの相対光軸中心位置(dx#i', dy#i')を求める第１の算出方法＞
【０１１０】
図７は、未知基準位置としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める第１の算出方法を説明する図である。
【０１１１】
ここで、以下では、説明を簡単にするため、中央画像E0の光軸中心位置(x0, y0)を原点とするxy座標系を採用することとする。この場合、上述したように、相対光軸中心位置(dx1, dy1), (dx2, dy2), (dx3, dy3), (dx4, dy4)と、光軸中心位置(x1, y1), (x2, y2), (x3, y3), (x4, y4)とは等しい。
【０１１２】
図７のＡは、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステムにおいて、所定の被写体を撮像した既知撮像画像の例を示している。
【０１１３】
既知撮像画像に映る被写体は、例えば、円の中心を通る線分で4等分された円等の所定のチャートが描かれたチャート画像である。既知撮像画像は、例えば、中央画像E0上の所定の点、すなわち、例えば、中央画像E0の光軸中心位置(x0, y0)=(0, 0)に、チャート画像のチャートとしての円の中心が映るように、チャート画像を、個眼レンズ３１0の光軸上の既知の距離の位置に配置して撮像される。したがって、既知撮像画像は、所定のチャートが描かれたチャート画像を、既知の距離において撮像した画像である。
【０１１４】
既知撮像画像は、以上のように撮像されるため、既知撮像画像上の中央画像E0には、チャートとしての円の中心が光軸中心位置(x0, y0)=(0, 0)に位置するチャート画像が映る。また、周辺画像E#iには、中央画像E0と同様に、チャート画像が映る。但し、周辺画像E#iにおいては、チャートとしての円の位置は、中央画像E0との間の視差に応じて、中央画像E0に映るチャートとしての円の位置からずれる。
【０１１５】
したがって、既知撮像画像上の中央画像E0においては、チャートとしての円の中心が、光軸中心位置(x0, y0)=(0, 0)に位置するが、周辺画像E#iにおいては、チャートとしての円の中心が、光軸中心位置(x#i, y#i)から、中央画像E0との間の視差に応じてずれる。
【０１１６】
チャート画像は、既知の距離におかれているので、周辺画像E#iと中央画像E0との間の視差は、その既知の距離と、既知撮像画像を撮像したときの個眼レンズ３１iと個眼レンズ３１0との間の基線長及び基線角とから求めることができる。
【０１１７】
ここで、既知撮像画像の撮像は、例えば、多眼交換レンズ２０を工場から出荷する前等に行うことができる。したがって、既知撮像画像の撮像時の基線角は、既知撮像画像の撮像時に測定することができる。又は、既知撮像画像の撮像時には、基線角が設計値等の所定値になるように、多眼交換レンズ２０の取り付けを調整することができる。
【０１１８】
周辺画像E#iの光軸中心位置(x#i, y#i)は、その周辺画像E#iに映るチャートとしての円の中心から、中央画像E0との間の視差に応じて移動した位置になるので、周辺画像E#iに映るチャートとしての円の中心の位置と、中央画像E0との間の視差とから求めることができる。
【０１１９】
また、既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)(=(0, 0))には、チャート画像のチャートとしての円の中心が映っているので、中央画像E0の光軸中心位置(x0, y0)は、中央画像E0から、チャートとしての円の中心の位置を検出することにより求めることができる。
【０１２０】
以上のように、既知撮像画像から、その既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)、及び、周辺画像E1ないしE4の光軸中心位置(x1, y1)ないし(x4, y4)を求めることができる。
【０１２１】
既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)である既知基準位置、及び、周辺画像E#iの光軸中心位置(x#i, y#i)である既知基準位置によれば、中央画像E0の既知基準位置(x0, y0)を基準とする、周辺画像E#iの相対的な既知基準位置である相対既知基準位置としての相対光軸中心位置(dx#i, dy#i)を求められることができ、その相対既知基準位置としての相対光軸中心位置(dx#i, dy#i)が、レンズ情報として、図３の記憶部４１に記憶される。
【０１２２】
なお、レンズ情報としては、相対既知基準位置（相対光軸中心位置）(dx#i, dy#i)(i=1,2,3,4)を採用する他、既知基準位置（光軸中心位置）(x#i, y#i)(i=0,1,2,3,4)を採用することができる。相対既知基準位置(dx#i, dy#i)は、既知基準位置(x#i, y#i)から式（１）に従って求めることができ、既知基準位置(x#i, y#i)と（ほぼ）等価な情報であるからである。
【０１２３】
未知基準位置としての相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を第１の算出方法により求める場合には、相対既知基準位置(dx#i, dy#i)（又は既知基準位置(x#i, y#i)）の他、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRの位置である既知光位置(XL, YL)及び(XR, YR)がそれぞれ求められる。
【０１２４】
例えば、既知撮像画像上のスポット光像PLの重心の位置を、そのスポット光像PLの既知光位置(XL, YL)として採用することができる。同様に、既知撮像画像上のスポット光像PRの重心の位置を、そのスポット光像PRの既知光位置(XR, YR)として採用することができる。
【０１２５】
第１の算出方法では、さらに、既知光位置(XL, YL)及び(XR, YR)から、その既知光位置(XL, YL)及び(XR, YR)の中点(XC, YC)が求められ、既知光位置(XL, YL)及び(XR, YR)並びに中点(XC, YC)が、レンズ情報として、図３の記憶部４１に記憶される。
【０１２６】
なお、第１の算出方法では、既知光位置(XL, YL)及び(XR, YR)の中点(XC, YC)は、レンズ情報から除外することができる。既知光位置(XL, YL)及び(XR, YR)の中点(XC, YC)は、その既知光位置(XL, YL)及び(XR, YR)から求めることができるからである。
【０１２７】
第１の算出方法では、相対既知基準位置（以下、単に、既知基準位置ともいう）としての相対光軸中心位置（以下、単に、光軸中心位置ともいう）(dx#i, dy#i)並びに既知光位置(XL, YL)及び(XR, YR)に基づいて、未知撮像画像上の未知基準位置としての（相対）光軸中心位置(dx1', dy1')ないし(dx4', dy4')が求められる。
【０１２８】
図７のＢは、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステムにおいて撮像される未知撮像画像の例を示している。
【０１２９】
未知撮像画像は、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステムにおいて、既知撮像画像を撮像するときのような制約（被写体の距離が既知である等の制約）なしで撮像される画像である。
【０１３０】
未知撮像画像の撮像時には、既知撮像画像の撮像時とは異なる回転方向の取り付け誤差が生じ得る。
【０１３１】
未知撮像画像上の中央画像E0の光軸中心位置(x0', y0')を原点(0, 0)とするxy座標系において、未知撮像画像上の周辺画像E#iの光軸中心位置(x#i', y#i')(i=1,2,3,4)は、中央画像E0の光軸中心位置(x0', y0')を基準とする周辺画像E#iの相対的な光軸中心位置(dx#i', dy#i')=(x#i', y#i')-(x0', y0')に等しい。
【０１３２】
ここで、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光のスポット光像PL及びPRの位置である未知光位置を、それぞれ、(XL', YL')及び(XR', YR')と表す。
【０１３３】
未知光位置(XL', YL')及び(XR', YR')は、未知撮像画像上のスポット光像PL及びPRから、既知光位置(XL, YL)及び(XR, YR)と同様に求めることができる。
【０１３４】
また、未知光位置(XL', YL')及び(XR', YR')の中点を、(XC', YC')と表すこととする。
【０１３５】
いま、既知撮像画像の撮像時の回転方向の取り付け誤差を基準とする未知撮像画像の撮像時の回転方向の取り付け誤差である相対的な回転誤差をθErrorと表すこととすると、相対的な回転誤差θErrorは、レンズ情報に含まれる既知光位置(XL, YL)及び(XR, YR)、並びに、未知撮像画像から得られる未知光位置(XL', YL')及び(XR', YR')を用い、式（２）に従って求めることができる。
【０１３６】
【数２】
2019078032.tif 000004
・・・（２）
【０１３７】
式（２）によれば、相対的な回転誤差θErrorは、既知光位置(XL, YL)と(XR, YR)とを結ぶ直線の方向を表す角度を基準とする、未知光位置(XL', YL')と(XR', YR')とを結ぶ直線の方向を表す角度であり、既知光位置(XL, YL)と(XR, YR)とが離れているほど（未知光位置(XL', YL')と(XR', YR')とが離れているほど）、精度が良くなる。したがって、光源３２Ｌと３２Ｒとをなるべく離して配置することで、相対的な回転誤差θErrorを精度良く求めることができる。
【０１３８】
なお、多眼交換レンズ２０に3個以上の光源が設けられている場合には、その3個以上の光源から得られる2個の光源のペアそれぞれに対して、式（２）に従って回転誤差θErrorを求め、各ペアに対して求められた回転誤差θErrorの平均値等を、最終的な回転誤差θErrorとして採用することができる。
【０１３９】
相対的な回転誤差θErrorは、未知光位置(XL', YL')（又は(XR', YR')）と既知光位置(XL, YL)（又は(XR, YR)）との間の回転角であり、既知基準位置としての光軸中心位置(dx#i, dy#i)を、式（３）に従い、相対的な回転誤差θErrorに応じて回転させることにより、その相対的な回転誤差θErrorが生じた未知撮像画像上の未知基準位置としての相対光軸中心位置(dx#i', dy#i')を求めることができる。
【０１４０】
【数３】
2019078032.tif 000005
・・・（３）
【０１４１】
未知基準位置としての未知撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、第１の算出方法によって求める場合、すなわち、式（２）及び式（３）に従って求める場合には、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの未知光位置(XL', YL')及び(XR', YR')と、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの既知光位置(XL, YL)及び(XR, YR)との間の平行移動量を求めることで、横方向及び縦方向の取り付け誤差を求めることができる。
【０１４２】
すなわち、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorは、例えば、式（４）に従って求めることができる。
【０１４３】
【数４】
2019078032.tif 000006
・・・（４）
【０１４４】
なお、式（４）では、未知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの未知光位置(XL', YL')及び(XR', YR')の中点(XC', YC')と、既知撮像画像上の光源３２Ｌ及び３２Ｒそれぞれのスポット光像PL及びPRの既知光位置(XL, YL)及び(XR, YR)の中点(XC, YC)との間の平行移動量が、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求められるが、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとしては、その他、例えば、未知光位置(XL', YL')と既知光位置(XL, YL)との平行移動量や、未知光位置(XR', YR')と既知光位置(XR, YR)との間の平行移動量を求めることができる。
【０１４５】
図８は、未知基準位置としての未知撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、第１の算出方法によって求める場合の既知基準位置等取得処理の例を説明するフローチャートである。
【０１４６】
図８の既知基準位置等取得処理では、未知基準位置としての光軸中心位置(dx#i', dy#i')を第１の算出方法で求める場合に必要となる既知基準位置としての光軸中心位置(dx#i, dy#i)等が取得される。
【０１４７】
既知基準位置等取得処理は、カメラ本体１０や後述するコンピュータ等で行うことができる。既知基準位置等取得処理を行う装置を、便宜上、取得処理装置と呼ぶこととする。
【０１４８】
ステップＳ１１において、取得処理装置は、個眼レンズ３１0の光軸上の既知の距離の位置に、所定の被写体としてのチャート画像をおいて、そのチャート画像を、多眼交換レンズ２０をカメラ本体１０に取り付けたカメラシステムによって撮像した既知撮像画像を取得し、処理は、ステップＳ１２に進む。
【０１４９】
ステップＳ１２では、取得処理装置は、既知撮像画像に含まれる各個眼画像E#iに映る所定の被写体としてのチャート画像の所定の点、例えば、チャートとしての円の中心の位置を求め、処理は、ステップＳ１３に進む。
【０１５０】
ステップＳ１３では、取得処理装置は、被写体としてのチャート画像までの距離、並びに、多眼交換レンズ２０の基線長及び基線角を用いて、個眼画像（周辺画像）E1ないしE4それぞれについて、個眼画像E#iに映る被写体としてのチャート画像の所定の点としての円の中心の、個眼画像（中央画像）E0に映る被写体としてのチャート画像の所定の点としての円の中心との間の視差を求める。
【０１５１】
さらに、取得処理装置は、個眼画像E1ないしE4それぞれについて、個眼画像E#iに映る被写体としてのチャート画像の所定の点としての円の中心の視差に応じて、その円の中心の位置から移動した位置にある個眼画像E#iの光学中心位置（既知撮像画像上の位置）(x#i, y#i)を、その個眼画像E#iの既知基準位置(x#i, y#i)として求める。また、取得処理装置は、個眼画像E0に映る被写体としてのチャート画像の円の中心の位置である光軸中心位置(x0, y0)を、個眼画像E0の既知基準位置(x0, y0)として求め、処理は、ステップＳ１３からステップＳ１４に進む。
【０１５２】
ステップＳ１４では、取得処理装置は、ステップＳ１３で求められた既知基準位置(x#i, y#i)を用い、個眼画像E1ないしE4それぞれについて、式（１）に従って、個眼画像E0の既知基準位置(x0, y0)を基準とする個眼画像E#iの（相対）既知基準位置(dx#i, dy#i)を求め、処理は、ステップＳ１５に進む。
【０１５３】
ステップＳ１５では、取得処理装置は、既知撮像画像上の光源３２Ｌ及び３２Ｒのスポット光のスポット光像PL及びPRそれぞれの重心の位置を、既知光位置(XL, YL)及び(XR, YR)として求め、既知基準位置等取得処理は終了する。
【０１５４】
ステップＳ１４で求められた（相対）既知基準位置(dx#i, dy#i)、並びに、ステップＳ１５で求められた既知光位置(XL, YL)及び(XR, YR)は、レンズ情報の一部として、図３の記憶部４１に記憶される。
【０１５５】
図９は、未知基準位置としての未知撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')等を、第１の算出方法によって求める未知基準位置算出処理の例を説明するフローチャートである。
【０１５６】
ステップＳ２１において、基準位置算出部５７（図３）は、通信部５６から供給されるレンズ情報を取得し、処理は、ステップＳ２２に進む。
【０１５７】
すなわち、多眼交換レンズ２０がカメラ本体１０に装着されると、通信部５６は、多眼交換レンズ２０の通信部４２との間で通信を行い、通信部４２から送信されてくる多眼交換レンズ２０のレンズ情報を受信し、基準位置算出部５７に供給する。基準位置算出部５７は、以上のようにして通信部５６から供給されるレンズ情報を取得する。
【０１５８】
ステップＳ２２では、基準位置算出部５７は、任意の被写体を撮像した撮像画像である未知撮像画像を取得し、処理は、ステップＳ２３に進む。すなわち、基準位置算出部５７は、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステムにおいて、イメージセンサ５１が撮像した撮像画像を、未知撮像画像として取得する。
【０１５９】
ステップＳ２３では、基準位置算出部５７は、未知撮像画像に含まれる光源３２Ｌ及び３２Ｒのスポット光のスポット光像PL及びPRそれぞれの重心の位置を、未知光位置(XL', YL')及び(XR', YR')として求め、処理は、ステップＳ２４に進む。
【０１６０】
ステップＳ２４では、基準位置算出部５７は、レンズ情報に含まれる既知光位置(XL, YL)（又は(XR, YR)）と、ステップＳ２３で求めた未知光位置(XL', YL')（又は(XR', YR')）との間の回転角を、（相対的な）回転誤差をθErrorとして求め、処理は、ステップＳ２５に進む。
【０１６１】
すなわち、基準位置算出部５７は、例えば、式（２）に従って、レンズ情報に含まれる既知光位置(XL, YL)と(XR, YR)とを結ぶ線分の方向を基準とする、未知光位置(XL', YL')と(XR', YR')とを結ぶ線分の方向を表す相対的な角度を、回転誤差をθErrorとして求める。
【０１６２】
ステップＳ２５では、基準位置算出部５７は、式（３）に従い、ステップＳ２４で求められた回転誤差θErrorに応じて、レンズ情報に含まれる相対既知基準位置としての相対光軸中心位置(dx#i, dy#i)を回転させることにより、回転誤差θErrorが生じている未知撮像画像に含まれる個眼画像E1ないしE4それぞれの未知基準位置としての（相対）光軸中心位置(dx#i', dy#i')を求め、処理は、ステップＳ２６に進む。
【０１６３】
ステップＳ２６では、基準位置算出部５７は、レンズ情報に含まれる既知光位置(XL, YL)又は(XR, YR)と、未知撮像画像上の光源３２Ｌ及び３２Ｒのスポット光像PL及びPRの未知光位置(XL', YL')又は(XR', YR')との間の平行移動量を、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求め、未知基準位置算出処理は終了する。
【０１６４】
すなわち、基準位置算出部５７は、例えば、式（４）に従い、既知光位置(XL, YL)及び(XR, YR)の中点(XC, YC)に対する、未知光位置(XL', YL')及び(XR', YR')の中点(XC', YC')の平行移動量を、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorとして求める。
【０１６５】
なお、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが必要ない場合には、ステップＳ２６の処理は省略することができる。
【０１６６】
＜個眼画像の領域特定処理＞
【０１６７】
図１０は、図３の領域特定部５２が行う、未知撮像画像上の各個眼画像E#iの領域を特定する領域特定処理の例を説明するフローチャートである。
【０１６８】
ステップＳ３１において、領域特定部５２は、基準位置算出部５７から供給される、未知撮像画像に含まれる個眼画像E1ないしE4の未知基準位置としての相対光軸中心位置(dx#i', dy#i')を取得し、処理は、ステップＳ３２に進む。
【０１６９】
ステップＳ３２では、領域特定部５２は、未知基準位置としての光軸中心位置(dx#i', dy#i')に基づいて、未知撮像画像上の個眼画像E1ないしE4の領域を特定する。すなわち、領域特定部５２は、例えば、既知基準位置(dx#i, dy#i)を求めるときのxy座標系において、未知撮像画像上の未知基準位置(dx#i', dy#i')を中心とする所定のサイズの長方形状の領域を、個眼画像E#i(i=1,2,3,4)の領域として特定する。
【０１７０】
さらに、領域特定部５２は、未知撮像画像上の原点を中心とする所定のサイズの長方形状の領域を、個眼画像E0の領域として特定し、処理は、ステップＳ３２からステップＳ３３に進む。
【０１７１】
ステップＳ３３では、領域特定部５２は、撮像画像から、個眼画像E0ないしE4それぞれを抽出し、領域特定結果情報として出力して、処理を終了する。
【０１７２】
なお、領域特定部５２は、図３で説明したように、個眼画像E0ないしE4に代えて、撮像画像と、その撮像画像上の各個眼画像E#iの領域を表す領域情報とのセットを、領域特定結果情報として出力することができる。
【０１７３】
以上のように、多眼交換レンズ２０は、光軸方向に（見て）重ならないように配置された個眼レンズ３１0ないし３１4を有し、所定の距離にあるチャート画像が映る既知撮像画像上の個眼画像E#iの（相対）既知基準位置としての、例えば、光軸中心位置(dx#i, dy#i)（又は(x#i, y#i)）を含むレンズ情報を、外部としての、例えば、カメラ本体１０に送信する。また、カメラ本体１０は、レンズ情報を受信し、そのレンズ情報に含まれる既知基準位置(dx#i, dy#i)に基づいて、未知撮像画像上の個眼画像E#iについて、個眼画像E#i上の未知基準位置としての光軸中心位置(dx#i', dy#i')を求める。
【０１７４】
したがって、未知基準位置としての光軸中心位置(dx#i', dy#i')に基づき、未知撮影画像から、複数の視点の画像、すなわち、個眼レンズ３１iの位置を視点とする個眼画像E#iを容易に得ることができる。
【０１７５】
さらに、未知基準位置としての光軸中心位置(dx#i', dy#i')から、基線L0#i（図６）の方向を表す基線角（tan-1(dy#i/dx#i)）を求めることができ、その基線角を用いて、多眼交換レンズ２０の回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
【０１７６】
ここで、例えば、既知撮像画像上の個眼画像E0の光軸中心位置(x0, y0)を原点とするxy座標系を採用することとし、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０であることとする。この場合、未知撮像画像において、個眼画像E0の未知基準位置(x0', y0')である光軸中心位置は、原点になり、個眼画像E0の領域は、原点を中心とする領域になる。
【０１７７】
一方、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合、未知撮像画像において、個眼画像E0の光軸中心位置は、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorの分だけ、原点からずれる。
【０１７８】
この場合、個眼画像E0の未知基準位置(x0', y0')である光軸中心位置が、原点であることを前提として、原点を中心とする所定のサイズの長方形状の領域を、個眼画像E0の領域として特定すると、実際の未知基準位置(x0', y0')である光軸中心位置は、原点からずれているため、未知撮像画像上の、個眼画像E0の実際の光軸中心位置からずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E0の領域として特定される。
【０１７９】
その結果、他の個眼画像E1ないしE4それぞれについても、未知撮像画像上の個眼画像E#iの光軸中心位置(x#i', y#i')からずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E#iの領域として特定される。
【０１８０】
すなわち、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合、個眼画像E0ないしE4それぞれについて、未知撮像画像上の個眼画像E#iの光軸中心位置(x#i', y#i')から同じ平行移動量だけずれた位置を中心とする所定のサイズの長方形状の領域が、個眼画像E#iの領域として特定される。
【０１８１】
但し、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合も、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０である場合も、未知撮像画像の撮像時の基線角（tan-1(dy#i/dx#i)）は、個眼画像E0の位置を基準とする相対的な未知基準位置としての光軸中心位置(dx#i', dy#i')から求められる。
【０１８２】
したがって、光軸中心位置(x#i', y#i')から同じ平行移動量だけずれた位置を中心とする個眼画像E#iについて得られる基線角は、未知撮像画像上の光軸中心位置(x#i', y#i')を中心とする個眼画像E#iについて得られる基線角と同一になる。
【０１８３】
すなわち、横方向の取り付け誤差XError又は縦方向の取り付け誤差YErrorが０でない場合でも、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０である場合と同一の基線角を得ることができる。そして、その基線角を用いて、未知撮像画像上の領域が特定された個眼画像E#iから、多眼交換レンズ２０の取り付け誤差に影響されない正確な視差情報を求めることができる。
【０１８４】
以上のように、基線角は、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorによらず、同一の値を求めることができるので、以下では、説明を簡単にするため、横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorが０であることとする（横方向の取り付け誤差XError及び縦方向の取り付け誤差YErrorには言及しない）。
【０１８５】
この場合、未知撮像画像に含まれる個眼画像E0の光軸中心位置は、既知撮像画像に含まれる個眼画像E0の光軸中心位置、すなわち、本実施の形態では、既知基準位置(dx#i, dy#i)を求めるときのxy座標系の原点に一致する。
【０１８６】
＜本技術を適用したカメラシステムの第２実施の形態＞
【０１８７】
図１１は、本技術を適用したカメラシステムの第２実施の形態の構成例を示す斜視図である。
【０１８８】
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１８９】
図１１において、カメラシステムは、カメラ本体１０と多眼交換レンズ２０とで構成される。
【０１９０】
したがって、図１１のカメラシステムは、図１の場合と同様に構成される。
【０１９１】
但し、図１１のカメラシステムにおいて、多眼交換レンズ２０には、光源３２Ｌ及び３２Ｒが設けられていない。したがって、図１１のカメラシステムは、多眼交換レンズ２０が光源３２Ｌ及び３２Ｒを有しない点で、多眼交換レンズ２０が光源３２Ｌ及び３２Ｒを有する図１の場合と相違する。
【０１９２】
図１２は、図１１のカメラシステムの電気的構成例を示すブロック図である。
【０１９３】
なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１９４】
図１２のカメラシステムにおいて、多眼交換レンズ２０は、記憶部４１及び通信部４２を有する。
【０１９５】
なお、図１２において、多眼交換レンズ２０は、図１１で説明したように、光源３２Ｌ及び３２Ｒを有していない点で、図１の場合と異なる。
【０１９６】
また、図１２の多眼交換レンズ２０は、記憶部４１に記憶されるレンズ情報に、既知撮像画像上の個眼画像E#iの既知基準位置としての光軸中心位置(dx#i, dy#i)が含まれる点で、図３の場合と共通する。
【０１９７】
但し、図１２の多眼交換レンズ２０は、記憶部４１に記憶されるレンズ情報に、光源３２Ｌ及び３２Ｒのスポット光像PL及びPRの既知光位置(XL, YL)及び(XR, YR)が含まれていない点で、図３の場合と相違する。
【０１９８】
さらに、図１２の多眼交換レンズ２０は、記憶部４１に記憶されるレンズ情報に、基準角が含まれる点で、図３の場合と相違する。
【０１９９】
基準角とは、既知撮像画像の撮像時の基線L0#iの方向を表す角度、すなわち、既知撮像画像上の個眼画像E0の既知基準位置(x0, y0)と他の個眼画像E#i(i=1,2,3,4)の既知基準位置(x#i, y#i)とを結ぶ線の方向を表す角度、つまり、原点から既知基準位置(dx#i, dy#i)に向かう方向の角度である。
【０２００】
図１２のカメラシステムにおいて、カメラ本体１０は、イメージセンサ５１、領域特定部５２、画像処理部５３、表示部５４、記憶部５５、通信部５６、及び、基準位置算出部７１を有する。
【０２０１】
したがって、図１２のカメラ本体１０は、イメージセンサ５１ないし通信部５６を有する点で、図３の場合と共通する。但し、図１２のカメラ本体１０は、基準位置算出部５７に代えて、基準位置算出部７１が設けられている点で、図３の場合と相違する。
【０２０２】
基準位置算出部７１は、通信部５６からのレンズ情報に含まれる既知基準位置(dx#i, dy#i)及び基準角に基づいて、イメージセンサ５１から供給される未知撮像画像に含まれる個眼画像E#i上の光軸中心位置である未知基準位置(dx#i', dy#i')を求め、領域特定部５２に供給する。
【０２０３】
＜多眼交換レンズ２０を用いて行われる撮像の概要＞
【０２０４】
図１３は、図１１の多眼交換レンズ２０を用いて行われる撮像画像の撮像の概要を説明する図である。
【０２０５】
上述したように、図１１の多眼交換レンズ２０は、光源３２Ｌ及び３２Ｒを有しない。図１１の多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１では、各個眼レンズ３１iにおいて光線が集光されることにより形成される像に対応する個眼画像を含む撮像画像が撮像されるが、その撮像画像には、光源３２Ｌ及び３２Ｒが照射するスポット光のスポット光像PL及びPRは含まれない。
【０２０６】
図１４は、図１１の多眼交換レンズ２０における個眼レンズ３１0ないし３１4の配置と、その多眼交換レンズ２０を用いて撮像される撮像画像との例を示す図である。
【０２０７】
図１４のＡは、多眼交換レンズ２０における個眼レンズ３１0ないし３１4の配置の例を示す背面図である。
【０２０８】
図１４のＡの個眼レンズ３１0ないし３１4の配置は、図５のＡの場合と同様であるので、説明を省略する。
【０２０９】
図１４のＢは、図１４のＡのように個眼レンズ３１0ないし３１4が配置された多眼交換レンズ２０が装着されたカメラ本体１０のイメージセンサ５１で撮像される撮像画像の例を示す図である。
【０２１０】
図１４のＢの撮像画像は、スポット光像PL及びPRがないことを除き、図５のＢの場合と同様であるので、説明を省略する。
【０２１１】
図１２の基準位置算出部７１は、既知基準位置としての光軸中心位置(dx1, dy1)ないし(dx4, dy4)、及び、基準角を用い、第２の算出方法によって、未知基準位置としての未知撮像画像上の個眼画像E#iの未知基準位置としての光軸中心位置(dx#i', dy#i')を求める。
【０２１２】
光軸中心位置(dx#i', dy#i')を求めることができれば、その光軸中心位置(dx#i', dy#i')を用いて、未知撮像画像上の個眼画像E#iの領域を特定することができる。さらに、未知撮像画像の撮像時の基線角を求め、その基線角を用いて、多眼交換レンズ２０の回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
【０２１３】
＜未知基準位置としての撮像画像上の個眼画像E#iの光軸中心位置(dx#i', dy#i')を求める第２の算出方法＞
【０２１４】
図１５は、未知基準位置としての（相対）光軸中心位置(dx1', dy1')ないし(dx4', dy4')を求める第２の算出方法を説明する図である。
【０２１５】
図１５のＡは、図１１の多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステムにおいて、所定の被写体としてのチャート画像を撮像した既知撮像画像の例を示している。
【０２１６】
未知基準位置としての光軸中心位置(dx#i', dy#i')を求める方法として、第２の算出方法が採用される場合、第１の算出方法が採用される場合と同様に、既知撮像画像を用いて、既知基準位置としての光軸中心位置(dx#i, dy#i)が求められる。
【０２１７】
図１５のＡの既知撮像画像は、スポット光像PL及びPRがないことを除いて、図７のＡの既知撮像画像と同一の画像になっている。したがって、図１５のＡの既知撮像画像は、中央画像E0上の光軸中心位置(x0, y0)=(0, 0)に、チャート画像のチャートとしての円の中心が映るように、チャート画像を、個眼レンズ３１0の光軸上の既知の距離の位置に配置して撮像された画像である。
【０２１８】
図１５のＡの既知撮像画像では、図７のＡの場合と同様に、既知撮像画像上の中央画像E0には、チャートとしての円の中心が光軸中心位置(x0, y0)=(0, 0)に位置するチャート画像が映る。また、周辺画像E#iには、中央画像E0と同様に、チャート画像が映る。但し、周辺画像E#iにおいては、チャートとしての円の位置は、中央画像E0との間の視差に応じて、中央画像E0に映るチャートとしての円の位置からずれる。
【０２１９】
したがって、既知撮像画像上の中央画像E0においては、チャートとしての円の中心が、光軸中心位置(x0, y0)=(0, 0)に位置するが、周辺画像E#iにおいては、チャートとしての円の中心が、光軸中心位置(x#i, y#i)=(dx#i, dy#i)から、中央画像E0との間の視差に応じてずれる。
【０２２０】
チャート画像は、既知の距離におかれているので、周辺画像E#iと中央画像E0との間の視差は、その既知の距離と、既知撮像画像を撮像したときの個眼レンズ３１iと個眼レンズ３１0との間の基線長及び基線角とから求めることができる。
【０２２１】
なお、図７で説明したように、既知撮像画像の撮像時の基線角は、既知撮像画像の撮像時に測定することができる。又は、既知撮像画像の撮像時には、基線角が設計値等の所定値になるように、多眼交換レンズ２０の取り付けを調整することができる。
【０２２２】
ここで、図１５のＡに示すように、既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)=(0, 0)と周辺画像E#iの光学中心位置(x#i, y#i)=(dx#i, dy#i)とを結ぶ基線L0#iの方向を表す基線角として、基線L0#iとx軸とがなす角θ#iを採用することとする。既知撮像画像の基線L0#iの基線角θ#iが、基準角θ#iである。
【０２２３】
周辺画像E#iの光軸中心位置(x#i, y#i)=(dx#i, dy#i)は、その周辺画像E#iに映るチャートとしての円の中心から、中央画像E0との間の視差に応じて移動した位置であるので、周辺画像E#iに映るチャートとしての円の中心の位置と、中央画像E0との間の視差とから求めることができる。
【０２２４】
なお、既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)(=(0, 0))には、チャート画像のチャートとしての円の中心が映っているので、中央画像E0の光軸中心位置(x0, y0)は、中央画像E0から、チャートとしての円の中心の位置を検出することにより求めることができるが、本実施の形態では、中央画像E0の光軸中心位置(x0, y0)は原点である。
【０２２５】
以上のように、既知撮像画像から、既知基準位置としての、既知撮像画像上の中央画像E0の光軸中心位置(x0, y0)=(0, 0)、及び、周辺画像E#iの光軸中心位置(x#i, y#i)が求められた後、中央画像E0の既知基準位置(x0, y0)=(0, 0)を基準とする周辺画像E#iの既知基準位置(dx#i, dy#i)=(x#i, y#i)-(x0, y0)=(x#i, y#i)-(0, 0)=(x#i, y#i)が求められ、レンズ情報として、図１２の記憶部４１に記憶される。
【０２２６】
第２の算出方法が採用される場合、既知基準位置(dx#i, dy#i)の他、基準角θ#iが、さらに、レンズ情報として、図１２の記憶部４１に記憶される。
【０２２７】
そして、第２の算出方法では、既知基準位置(dx#i, dy#i)、及び、基準角θ#iに基づいて、未知撮像画像上の未知基準位置としての光軸中心位置(dx#i', dy#i')が求められる。
【０２２８】
図１５のＢは、多眼交換レンズ２０がカメラ本体１０に取り付けられたカメラシステムにおいて撮像される未知撮像画像の例を示している。
【０２２９】
上述したように、未知撮像画像の撮像時には、既知撮像画像の撮像時とは異なる回転方向の取り付け誤差が生じ得る。
【０２３０】
ここで、未知撮像画像上の中央画像E0の光軸中心位置(x0', y0')を基準とする周辺画像E#iの（相対）光軸中心位置(dx#i', dy#i')(i=1,2,3,4)は、未知撮像画像上の中央画像E0の光軸中心位置(x0', y0')を原点(0, 0)とするxy座標系上の周辺画像E#iの光軸中心位置(x#i', y#i')に等しい。
【０２３１】
未知撮像画像の撮像時における、未知撮像画像上の中央画像E0の光軸中心位置(x0', y0')=(0, 0)と周辺画像E#iの光学中心位置(x#i', y#i')=(dx#i', dy#i')とを結ぶ基線L0#i'の方向を表す基線角を、図１５のＢに示すように、θ#i'と表すこととする。
【０２３２】
未知撮像画像の撮像時の基線角θ#i'は、多眼交換レンズ２０の回転方向の取り付け誤差によって、既知撮像画像の撮像時の基準角θ#iからずれる。かかる基線角のずれは、θ#i'-θ#iで表される。
【０２３３】
多眼交換レンズ２０の回転方向の取り付け誤差により基線角がθ#i'となった未知撮像画像上の周辺画像E#iの未知基準位置としての光軸中心位置(dx#i', dy#i')は、既知基準位置としての光学中心位置(dx#i, dy#i)が、基線角のずれθ#i'-θ#iだけ回転した位置に移動する。したがって、未知撮像画像上の周辺画像E#iの未知基準位置としての光軸中心位置(dx#i', dy#i')は、既知基準位置としての光学中心位置(dx#i, dy#i)を、基線角のずれθ#i'-θ#iだけ回転する式（５）に従って求めることができる。
【０２３４】
【数５】
2019078032.tif 000007
・・・（５）
【０２３５】
未知基準位置としての撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、第２の算出方法によって求める場合、すなわち、式（５）に従って求める場合には、基線角のずれθ#i'-θ#iが必要であり、その基線角のずれθ#i'-θ#iを求めるには、未知撮像画像上の周辺画像E#iの基線角θ#i'が必要となる。
【０２３６】
未知撮像画像上の周辺画像E#iの基線角θ#i'は、例えば、未知撮像画像上の個眼画像E#i(i=0,1,2,3,4)それぞれから同一の特徴を有する特徴点を抽出し、その特徴点から求めることができる。
【０２３７】
図１６は、未知撮像画像上の個眼画像E#iからの特徴点の抽出の例を説明する図である。
【０２３８】
特徴点の抽出では、未知撮像画像上の個眼画像E0ないしE4のうちの１つである、例えば、中央画像である個眼画像E0から、例えば、ハリスのコーナー検出等によって、特徴点の候補となる候補点が１点以上検出される。さらに、残りの個眼画像である周辺画像E1ないしE4それぞれを対象に、中央画像E0上の候補点と相関が高い点が、ブロックマッチング等によって検出され、周辺画像E1ないしE4すべてから、相関が高い点が検出された候補点が、中央画像E0の特徴点に決定されるとともに、その特徴点と相関が高い周辺画像E1ないしE4それぞれの点が特徴点に決定される。
【０２３９】
以上のようにして、未知撮像画像上の各個眼画像E#iから、１点又は複数の点が、特徴点として抽出される。
【０２４０】
図１６では、各個眼画像E#iから、３点の特徴点a, b, cが抽出されている。
【０２４１】
ここで、個眼画像E#i上の特徴点aの座標を、(Xa#i, Ya#i)と表す。同様に、個眼画像E#i上の特徴点bの座標を、(Xb#i, Yb#i)と表し、個眼画像E#i上の特徴点cの座標を、(Xc#i, Yc#i)と表す。
【０２４２】
未知撮像画像上の周辺画像E#iの基線角θ#i'は、例えば、１の個眼画像である中央画像E0の特徴点と他の個眼画像である周辺画像E#iの特徴点とを結ぶ線の方向を表す角度の平均値として、式（６）に従って求めることができる。
【０２４３】
【数６】
2019078032.tif 000008
・・・（６）
【０２４４】
式（６）は、3個の特徴点aないしcについて得られる、中央画像E0の特徴点と周辺画像E#iの特徴点とを結ぶ線の方向を表す3個の角度の平均値になっている。式（６）の基線角θ#i'は、平均をとる角度の数が多いほど、すなわち、各個眼画像E#iから抽出される特徴点の数が多いほど、精度を向上させることができる。
【０２４５】
式（６）により得られる基線角θ#i'を用いて求められる基線角のずれθ#i'-θ#iは、１の個眼画像である中央画像E0の特徴点と他の個眼画像である周辺画像E#iの特徴点とを結ぶ線の方向を表す角度と、基準角θ#iとの間の回転角であることができる。
【０２４６】
第２の算出方法では、式（６）に従って、基線角θ#i'を求め、式（５）に従って、基線角θ#i'を用いて求められる基線角のずれθ#i'-θ#iだけ、既知基準位置としての光学中心位置(dx#i, dy#i)を回転させることにより、未知撮像画像上の周辺画像E#iの未知基準位置としての光軸中心位置(dx#i', dy#i')が求められる。
【０２４７】
図１７は、未知基準位置としての未知撮像画像上の個眼画像E1ないしE4それぞれの光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、第２の算出方法によって求める場合の既知基準位置等取得処理の例を説明するフローチャートである。
【０２４８】
図１７の既知基準位置等取得処理では、未知基準位置としての光軸中心位置(dx#i', dy#i')を第２の算出方法で求める場合に必要となる既知基準位置としての光軸中心位置(dx#i, dy#i)等が取得される。
【０２４９】
図１７の既知基準位置等取得処理は、図８の場合と同様に、取得処理装置としてのカメラ本体１０やコンピュータ等で行うことができる。
【０２５０】
図１７の既知基準位置当取得処理では、取得処理装置は、ステップＳ５１ないし５４において、図８のステップＳ１１ないしＳ１４とそれぞれ同様の処理を行う。これにより、取得処理装置は、ステップＳ５４において、個眼画像E0の既知基準位置(x0, y0)を基準とする個眼画像E#iの（相対）既知基準位置(dx#i, dy#i)を求め、処理は、ステップＳ５５に進む。
【０２５１】
ステップＳ５５では、取得処理装置は、既知撮像画像上の中央画像である個眼画像E0の既知基準位置(x0, y0)=(0, 0)と周辺画像である他の個眼画像E#i(i=1,2,3,4)の既知基準位置(x#i, y#i)=(dx#i, dy#i)とを結ぶ基線L0#iの方向を表す基線角θ#i=tan-1(dy#i/dx#i)を、個眼画像E#iの基準角θ#iとして求め、既知基準位置等取得処理は終了する。
【０２５２】
ステップＳ５４で求められた既知基準位置(dx#i, dy#i)、並びに、ステップＳ５５で求められた基準角θ#iは、レンズ情報の一部として、図１２の記憶部４１に記憶される。
【０２５３】
図１８は、未知基準位置としての未知撮像画像上の個眼画像E1ないしE4それぞれの相対光軸中心位置(dx1', dy1')ないし(dx4', dy4')を、第２の算出方法によって求める未知基準位置算出処理の例を説明するフローチャートである。
【０２５４】
ステップＳ６１及びＳ６２において、基準位置算出部７１（図１２）は、図９のステップＳ２１及びＳ２２とそれぞれ同様の処理を行い、処理は、ステップＳ６３に進む。ステップＳ６１及びＳ６２の処理により、基準位置算出部７１は、多眼交換レンズ２０のレンズ情報、及び、イメージセンサ５１で撮像された未知撮像画像を取得する。
【０２５５】
ステップＳ６３では、基準位置算出部７１は、未知撮像画像に含まれる個眼画像E0ないしE4（と推定される領域（例えば、原点を中心とする所定のサイズの長方形状の領域、及び、レンズ情報に含まれる既知基準位置としての光軸中心位置(dx#i, dy#i)を中心とする所定のサイズの長方形状の領域））それぞれから、同一の特徴量を有する特徴点(Xa#i, Ya#i)を抽出し、処理は、ステップＳ６４に進む。
【０２５６】
なお、式（６）で説明したように、式（６）の基線角θ#i'は、各個眼画像E#iから抽出される特徴点の数が多いほど、精度を向上させることができるが、ここでは、説明を簡単にするため、未知撮像画像に含まれる各個眼画像E#iからは、1個の特徴点を抽出することとする。
【０２５７】
ステップＳ６４では、基準位置算出部７１は、未知撮像画像上の周辺画像である個眼画像E1ないしE4それぞれについて、中央画像である個眼画像E0の特徴点(Xa0, Ya0)と周辺画像である個眼画像E#iの特徴点(Xa#i, Ya#i)とを結ぶ線である特徴点接続線の方向を表す角度を、個眼画像E#iの基線角θ#i'として求める。
【０２５８】
さらに、基準位置算出部７１は、未知撮像画像上の周辺画像である個眼画像E1ないしE4それぞれについて、基線角θ#i'と、レンズ情報に含まれる基準角θ#iとの間の回転角、すなわち、例えば、基準角θ#iを基準とする特徴点接続方向線の方向を表す相対的な角度θ#i'-θ#iを、多眼交換レンズ２０の回転方向の取り付け誤差に起因する基線角のずれθ#i'-θ#iとして求め、処理は、ステップＳ６４からステップＳ６５に進む。
【０２５９】
ステップＳ６５では、基準位置算出部７１は、式（５）に従い、ステップＳ６４で求められた基線角のずれθ#i'-θ#iに応じて、レンズ情報に含まれる既知基準位置としての（相対）光軸中心位置(dx#i, dy#i)を回転させることにより、基線角のずれθ#i'-θ#iが生じている未知撮像画像上の未知基準位置としての（相対）光軸中心位置(dx#i', dy#i')を求め、未知基準位置算出処理は終了する。
【０２６０】
以上のように、レンズ情報に、既知基準位置としての光軸中心位置(dx#i, dy#i)、及び、基準角θ#iが含まれる場合には、多眼交換レンズ２０が光源３２Ｌ及び３２Ｒ（図１）を有していなくても、レンズ情報に含まれる既知基準位置(dx#i, dy#i)、及び、基準角θ#iに基づいて、未知撮像画像上の個眼画像E#iについて、個眼画像E#i上の未知基準位置としての光軸中心位置(dx#i', dy#i')を求めることができる。
【０２６１】
したがって、未知基準位置としての光軸中心位置(dx#i', dy#i')に基づき、未知撮影画像から、複数の視点の画像、すなわち、個眼レンズ３１iの位置を視点とする個眼画像E#iを容易に得ることができる。
【０２６２】
さらに、未知基準位置としての光軸中心位置(dx#i', dy#i')から、基線L0#iの方向を表す基線角（tan-1(dy#i'/dx#i')）を求めることができ、その基線角を用いて、多眼交換レンズ２０の回転方向の取り付け誤差に影響されない正確な視差情報を求めることができる。
【０２６３】
なお、多眼交換レンズ２０が、既知基準位置(dx#i, dy#i)を算出するときに取り付けられたカメラ本体１０とは別のカメラ本体に取り付けられる場合には、個体のばらつき等に起因して、カメラ本体１０におけるイメージセンサ５１の取り付け位置に対して、別のカメラ本体におけるイメージセンサの取り付け位置がずれていることがあり得る。
【０２６４】
但し、このような、別のカメラ本体におけるイメージセンサの取り付け位置のずれは、その取り付け位置がずれた状態のイメージセンサを基準とすれば、多眼交換レンズ２０の取り付け誤差として把握することができる。したがって、多眼交換レンズ２０が取り付けられる別のカメラ本体におけるイメージセンサの取り付け位置に、例えば、回転方向のずれがあったとしても、未知基準位置算出処理では、多眼交換レンズ２０がカメラ本体１０に取り付けられる場合と同様の未知基準位置としての未知撮像画像上の個眼画像E#iの光軸中心位置(dx#i', dy#i')を算出することができる。
【０２６５】
また、基準位置算出部７１では、既知基準位置(dx#i, dy#i)から基準角θ#i=tan-1(dy#i/dx#i)を求めることができる。基準角θ#iを既知基準位置(dx#i, dy#i)から求める場合には、基準角θ#iをレンズ情報に含める必要はない。
【０２６６】
＜画像処理部５３の構成例＞
【０２６７】
図１９は、図３及び図１２の画像処理部５３のうちのリフォーカスを行う部分の機能的構成例を示すブロック図である。
【０２６８】
ここで、多眼交換レンズ２０が、例えば、図５等に示したように、個眼レンズ３１0ないし３１4を有する場合には、その個眼レンズ３１0ないし３１4に対する個眼画像E0ないしE4が、領域特定部５２から画像処理部５３に供給される。領域特定部５２から画像処理部５３に供給される、個眼レンズ３１0ないし３１4に対する個眼画像E1ないしE4は、個眼レンズ３１0ないし３１4の位置それぞれから、独立のカメラを用いた撮像を行うことにより得られる撮像画像と同様の、個眼レンズ３１0ないし３１4の位置それぞれを視点とする撮像により得られる画像であり、異なる視点の画像である。
【０２６９】
図１９において、画像処理部５３は、視差情報生成部８１、補間部８２、集光処理部８３、及び、パラメータ設定部８４を有する。
【０２７０】
画像処理部５３には、領域特定部５２から、複数の視点の画像である複数の視点の個眼画像E#iが供給される。
【０２７１】
なお、ここでは、個眼画像E#iの視点とは、個眼レンズ３１iの位置である。
【０２７２】
画像処理部５３において、個眼画像E#iは、視差情報生成部８１、及び、補間部８２に供給される。
【０２７３】
視差情報生成部８１は、領域特定部５２から供給される複数の視点の個眼画像E#iを用いて、視差情報を求め、補間部８２、及び、集光処理部８３に供給する。
【０２７４】
すなわち、視差情報生成部８１は、例えば、領域特定部５２から供給される個眼画像E#iそれぞれの、他の個眼画像E#jとの視差情報を求める処理を、複数の視点の個眼画像E#iの画像処理として行う。そして、視差情報生成部８１は、例えば、個眼画像の画素（の位置）ごとに、視差情報が登録されたマップを生成し、補間部８２、及び、集光処理部８３に供給する。
【０２７５】
ここで、視差情報としては、視差を画素数で表したディスパリティ(disparity)や、視差に対応する奥行き方向の距離等の視差に換算することができる任意の情報を採用することができる。本実施の形態では、視差情報として、例えば、ディスパリティを採用することとし、視差情報生成部８１では、そのディスパリティが登録されたディスパリティマップが、視差情報が登録されたマップとして生成されることとする。
【０２７６】
補間部８２は、領域特定部５２からの複数の個眼画像E#iと、視差情報生成部８１からのディスパリティマップとを用いて、個眼画像E#iの視点、すなわち、個眼レンズ３１iの位置以外の視点から撮像を行ったならば得られるであろう画像を、補間により生成する。
【０２７７】
補間部８２は、例えば、個眼画像E#iの視点が分布する領域、すなわち、個眼レンズ３１iが分布する領域（例えば、図１の個眼レンズ３１1ないし３１4の位置を直線で結ぶことにより囲まれる領域）内のほぼ等間隔の複数の点を、補間用の視点として、その補間用の視点の画像（補間用の視点から撮像を行った場合に得られるであろう画像）を、補間により生成する。
【０２７８】
なお、補間部８２では、個眼レンズ３１iが分布する領域の外側の点についても、補間用の視点として、その補間用の視点の画像を生成することができる。
【０２７９】
補間部８２は、補間用の視点の画像を生成した後、個眼画像E#iと、補間用の視点の画像とを、集光処理部８３に供給する。
【０２８０】
ここで、補間部８２において、個眼画像を用いた補間により生成された画像を、補間画像ともいう。
【０２８１】
また、補間部８２から集光処理部８３に供給される個眼画像E#iと補間用の視点の補間画像とを、まとめて、視点画像ともいう。
【０２８２】
補間部８２での補間は、複数の視点の個眼画像E#iから、より多く数の視点の視点画像を生成する処理であると考えることができる。この、多く数の視点の視点画像を生成する処理は、実空間内の実空間点から入射する光線を再現する処理であると捉えることができる。
【０２８３】
集光処理部８３は、補間部８２からの複数の視点の視点画像を用いて、現実のカメラにおいて、レンズ等の光学系を通過した、被写体からの光線を、イメージセンサやフィルム上に集光させ、被写体の像を形成することに相当する画像処理である集光処理を行う。
【０２８４】
集光処理部８３の集光処理では、任意の被写体にフォーカスを合わせた画像を生成（再構成）するリフォーカスを行うことができる。リフォーカスは、視差情報生成部８１からのディスパリティマップや、パラメータ設定部８４からの集光パラメータを用いて行われる。
【０２８５】
集光処理部８３の集光処理によって得られる画像は、処理結果画像として（表示部５４や記憶部５５（図３））に出力される。
【０２８６】
パラメータ設定部８４は、ユーザによる図示せぬ操作部の操作や、所定のアプリケーション等によって指定された位置にある、1個の個眼画像E#i（例えば、個眼画像E0）の画素を、合焦させる（被写体が映る）合焦対象画素に設定し、集光パラメータとして、集光処理部８３に供給する。
【０２８７】
＜画像処理部５３の画像処理＞
【０２８８】
図２０は、図１９の画像処理部５３が行う画像処理の例を説明するフローチャートである。
【０２８９】
画像処理部５３において、領域特定部５２から供給される複数の視点の画像である複数の視点の個眼画像E#iは、視差情報生成部８１、及び、補間部８２に供給される。
【０２９０】
画像処理部５３では、ステップＳ８１において、視差情報生成部８１が、領域特定部５２からの複数の視点の個眼画像E#iを用いて、視差情報を求め、その視差情報が登録されたディスパリティマップを生成する視差情報生成処理を行う。
【０２９１】
視差情報生成部８１は、視差情報生成処理により得られるディスパリティマップを、補間部８２、及び、集光処理部８３に供給し、処理は、ステップＳ８１からステップＳ８２に進む。
【０２９２】
ステップＳ８２では、補間部８２は、領域特定部５２からの複数の視点の個眼画像E#iと、視差情報生成部８１からのディスパリティマップとを用いて、個眼画像E#iの視点以外の複数の補間用の視点の補間画像を生成する補間処理を行う。
【０２９３】
さらに、補間部８２は、領域特定部５２からの複数の視点の個眼画像E#iと、補間処理により得られた複数の補間用の視点の補間画像とを、複数の視点の視点画像として、集光処理部８３に供給し、処理は、ステップＳ８２からステップＳ８３に進む。
【０２９４】
ステップＳ８３では、パラメータ設定部８４は、ユーザの操作等によって指定された位置にある、1個の視点画像（例えば、個眼画像E0）の画素を、合焦させる合焦対象画素に設定する設定処理を行う。
【０２９５】
パラメータ設定部８４は、設定処理により得られた合焦対象画素（の情報）を、集光パラメータとして、集光処理部８３に供給し、処理は、ステップＳ８３からステップＳ８４に進む。
【０２９６】
ここで、合焦対象画素は、以上のように、ユーザの指定に従って設定する他、例えば、アプリケーションからの指定や、あらかじめ決められたルールによる指定等に従って設定することができる。例えば、所定の速さ以上の動きがある被写体や、所定の時間以上連続して動いている被写体が映る画素を、合焦対象画素に設定することができる。
【０２９７】
ステップＳ８４では、集光処理部８３は、補間部８２からの複数の視点の視点画像、視差情報生成部８１からのディスパリティマップ、及び、パラメータ設定部８４からの集光パラメータとしての合焦対象画素を用いて、被写体からの光線を、図示せぬ仮想センサ上に集光させることに相当する集光処理を行い、画像処理部５３の画像処理は終了する。
【０２９８】
集光処理部８３は、集光処理の結果得られる処理結果画像を、表示部５４に供給する。
【０２９９】
なお、集光処理において、光線が集光される仮想センサの実体は、例えば、図示せぬメモリである。集光処理では、複数の視点の視点画像の画素値が、仮想センサに集光される光線の輝度として、仮想センサとしてのメモリ（の記憶値）に積算されることで、光線の集光により得られる画像の画素値が求められる。
【０３００】
集光処理部８３の集光処理では、複数の視点の視点画像の画素を画素シフトする画素シフト量である後述する基準シフト量BVを設定し、その基準シフト量BVに応じて、複数の視点の視点画像の画素（の画素値）を画素シフトして積算することにより、実空間内の合焦点に合焦した処理結果画像の各画素値が求められ、処理結果画像が生成される。
【０３０１】
ここで、合焦点とは、フォーカスが合う、実空間内の実空間点であり、集光処理部８３の集光処理では、合焦点の集合としての面である合焦面が、パラメータ設定部８４からの集光パラメータとしての合焦対象画素を用いて設定される。
【０３０２】
なお、画像処理部５３（図１９）は、集光処理部８３だけで構成することができる。
【０３０３】
例えば、集光処理部８３の集光処理を、補間画像を用いずに、領域特定部５２で撮像された個眼画像E#iを用いて行う場合には、補間部８２を設けずに、画像処理部５３を構成することができる。但し、集光処理を、個眼画像E#iの他、補間画像をも用いて行う場合には、処理結果画像において、合焦していない被写体にリンギングが発生することを抑制することができる。
【０３０４】
また、例えば、個眼画像E#iの視差情報を、距離センサ等を用いて、外部の装置で生成し、その外部の装置から視差情報を取得することができる場合には、視差情報生成部８１を設けずに、画像処理部５３を構成することができる。
【０３０５】
さらに、例えば、集光処理部８３において、あらかじめ決められたルールに従って、合焦面を設定する場合には、パラメータ設定部８４を設けずに、画像処理部５３を構成することができる。
【０３０６】
また、カメラ本体１０は、画像処理部５３を設けずに構成することができる。
【０３０７】
＜多眼交換レンズの他の構成例＞
【０３０８】
図２１は、多眼交換レンズ２０の他の構成例を示す背面図である。
【０３０９】
図２１では、多眼交換レンズ２０は、7個の個眼レンズ３１0ないし３１6を有し、その7個の個眼レンズ３１0ないし３１6は、光軸方向に重ならないように、２次元平面上に配置されている。
【０３１０】
さらに、図２１では、7個の個眼レンズ３１0ないし３１6は、それらのうちの1個である、例えば、個眼レンズ３１0を中心として、他の６個の個眼レンズ３１1ないし３１6が、個眼レンズ３１0の周辺に、正６角形の頂点を構成するように配置されている。
【０３１１】
したがって、図２１では、7個の個眼レンズ３１0ないし３１6のうちの、任意の1個の個眼レンズ３１i(i=0,2,...,6)と、その個眼レンズ３１iに最も近い他の1個の個眼レンズ３１j(i=0,2,...,6)との（光軸どうしの）距離は、同一の距離Bになっている。
【０３１２】
以下、多眼交換レンズ２０が、図２１に示したように、7個の個眼レンズ３１0ないし３１6を有する場合を例に説明を行う。
【０３１３】
多眼交換レンズ２０が、図２１に示したように、7個の個眼レンズ３１0ないし３１6を有する場合、領域特定部５２（図３）から画像処理部５３の視差情報生成部８１及び補間部８２に供給される複数の視点の個眼画像E#iは、7個の個眼レンズ３１0ないし３１6に対する7視点の個眼画像E0ないしE6である。
【０３１４】
＜補間画像の生成＞
【０３１５】
図２２は、図１９の補間部８２での補間画像の生成の例を説明する図である。
【０３１６】
ある視点の補間画像を生成する場合、補間部８２は、補間画像の画素を、順次、補間の対象の補間対象画素に選択する。さらに、補間部８２は、7視点の個眼画像E0ないしE6のうちの全部、又は、補間画像の視点に近い一部（複数）の視点の個眼画像E#iを、補間対象画素の画素値の算出に用いる画素値算出画像に選択する。補間部８２は、視差情報生成部８１からのディスパリティマップと補間画像の視点とを用いて、画素値算出画像に選択された複数の視点の個眼画像E#iそれぞれから、補間対象画素に対応する対応画素（補間画像の視点から撮像を行ったならば、補間対象画素に映るであろう空間点と同一の空間点が映っている画素）を求める。
【０３１７】
そして、補間部８２は、複数の視点の個眼画像E#iの対応画素の画素値の重み付け加算を行い、その結果得られる重み付け加算値を、補間対象画素の画素値として求める。
【０３１８】
対応画素の画素値の重み付け加算に用いる重みとしては、対応画素を有する画素値算出画像としての個眼画像E#iの視点と、補間対象画素を有する補間画像の視点との間の距離に反比例するような値を採用することができる。
【０３１９】
＜ディスパリティマップの生成＞
【０３２０】
図２３は、図１９の視差情報生成部８１でのディスパリティマップの生成の例を説明する図である。
【０３２１】
すなわち、図２３は、領域特定部５２の個眼レンズ３１0ないし３１6に対する個眼画像E0ないしE6の例を示している。
【０３２２】
図２３では、個眼画像E0ないしE6には、所定の背景の手前側に、前景としての所定の物体objが映っている。個眼画像E0ないしE6それぞれについては、視点が異なるため、例えば、個眼画像E1ないしE6それぞれに映る物体objの位置（個眼画像上の位置）は、個眼画像E0に映る物体objの位置から、視点が異なる分だけずれている。
【０３２３】
いま、個眼レンズ３１iの視点（位置）、すなわち、個眼レンズ３１iに対する個眼画像E#iの視点を、vp#iと表すこととする。
【０３２４】
例えば、個眼画像E0の視点vp0のディスパリティマップを生成する場合には、視差情報生成部８１は、個眼画像E0を、注目する注目画像E0とする。さらに、視差情報生成部８１は、注目画像E0の各画素を、順次、注目する注目画素に選択し、その注目画素に対応する対応画素（対応点）を、他の個眼画像E1ないしE6のそれぞれから検出する。
【０３２５】
個眼画像E1ないしE6それぞれから、注目画像E0の注目画素に対応する対応画素を検出する方法としては、例えば、ステレオマッチングやマルチベースラインステレオ等の三角測量の原理を利用した方法がある。
【０３２６】
ここで、注目画像E0の注目画素に対する、個眼画像E#iの対応画素の位置ずれを表すベクトルを、ディスパリティベクトルv#i,0ということとする。
【０３２７】
視差情報生成部８１は、個眼画像E1ないしE6のそれぞれについてディスパリティベクトルv1,0ないしv6,0を求める。そして、視差情報生成部８１は、例えば、ディスパリティベクトルv1,0ないしv6,0の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,0の大きさを、注目画素（の位置）のディスパリティの大きさとして求める。
【０３２８】
ここで、領域特定部５２において、図２１で説明したように、注目画像E0が得られた個眼レンズ３１0と、個眼画像E1ないしE6が得られた個眼レンズ３１1ないし３１6それぞれとの距離が、同一の距離Bになっている場合に、注目画像E0の注目画素に映る実空間点が、個眼画像E1ないしE6にも映っているときには、ディスパリティベクトルv1,0ないしv6,0として、向きが異なるが、大きさが等しいベクトルが求められる。
【０３２９】
すなわち、この場合、ディスパリティベクトルv1,0ないしv6,0は、注目画像E0の視点vp0に対する他の個眼画像E1ないしE6の視点vp1ないしvp6の方向と逆方向の、大きさが等しいベクトルになる。
【０３３０】
但し、個眼画像E1ないしE6の中には、オクルージョンが生じている画像、すなわち、注目画像E0の注目画素に映る実空間点が、前景に隠れて映っていない画像があり得る。
【０３３１】
注目画像E0の注目画素に映る実空間点が映っていない個眼画像（以下、オクルージョン画像ともいう）E#iについては、注目画素に対応する対応画素として、正しい画素を検出することが困難である。
【０３３２】
そのため、オクルージョン画像E#iについては、注目画像E0の注目画素に映る実空間点が映っている個眼画像E#jのディスパリティベクトルv#j,0とは、大きさが異なるディスパリティベクトルv#i,0が求められる可能性が極めて高い。
【０３３３】
個眼画像E1ないしE6の中で、注目画素について、オクルージョンが生じている画像は、オクルージョンが生じていない画像よりも少ないと推定される。そこで、視差情報生成部８１は、上述のように、ディスパリティベクトルv1,0ないしv6,0の大きさを対象とした多数決を行い、その多数決に勝利したディスパリティベクトルv#i,0の大きさを、注目画素のディスパリティの大きさとして求める。
【０３３４】
図２３では、ディスパリティベクトルv1,0ないしv6,0の中で、３つのディスパリティベクトルv1,0，v2,0，v6,0が大きさが等しいベクトルになっている。また、ディスパリティベクトルv3,0，v4,0，v5,0それぞれについては、大きさが等しいディスパリティベクトルが存在しない。
【０３３５】
そのため、３つのディスパリティベクトルv1,0，v2,0，v6,0が大きさが、注目画素のディスパリティの大きさとして求められる。
【０３３６】
なお、注目画像E0の注目画素の、任意の個眼画像E#iとの間のディスパリティの方向は、注目画像E0の視点vp0（個眼レンズ３１0の位置）と、個眼画像E#iの視点vp#i（個眼レンズ３１iの位置）との位置関係（視点vp0から視点vp#iへの方向等）から認識することができる。
【０３３７】
視差情報生成部８１は、注目画像E0の各画素を、順次、注目画素に選択し、ディスパリティの大きさを求める。そして、視差情報生成部８１は、注目画像E0の各画素の位置（xy座標）に対して、その画素のディスパリティの大きさを登録したマップを、ディスパリティマップとして生成する。したがって、ディスパリティマップは、画素の位置と、その画素のディスパリティの大きさとを対応付けたマップ（テーブル）である。
【０３３８】
他の個眼画像E#iの視点vp#iのディスパリティマップも、視点vp0のディスパリティマップと同様に生成することができる。
【０３３９】
但し、視点vp#0以外の視点vp#iのディスパリティマップの生成にあたって、ディスパリティベクトルの多数決は、個眼画像E#iの視点vp#iと、その個眼画像E#i以外の個眼画像E#jの視点vp#jとの位置関係（個眼レンズ３１iと３１jとの位置関係）（視点vp#iと視点vp#jとの距離）に基づき、ディスパリティベクトルの大きさを調整して行われる。
【０３４０】
すなわち、例えば、個眼画像E4を注目画像として、ディスパリティマップを生成する場合、注目画像E4と個眼画像E1との間で得られるディスパリティベクトルは、注目画像E4と個眼画像E0との間で得られるディスパリティベクトルの２倍の大きさになる。
【０３４１】
これは、注目画像E4が得られる個眼レンズ３１4と、個眼画像E0が得られる個眼レンズ３１0との光軸どうしの距離である基線長が、距離Bであるのに対して、注目画像E4が得られる個眼レンズ３１4と、個眼画像E1が得られる個眼レンズ３１1との基線長が、距離2Bになっているためである。
【０３４２】
そこで、いま、例えば、個眼レンズ３１0と、他の個眼レンズ３１iとの基線長である距離Bを、ディスパリティを求める基準となる基準基線長ということとする。ディスパリティベクトルの多数決は、基線長が基準基線長Bに換算されるように、ディスパリティベクトルの大きさを調整して行われる。
【０３４３】
すなわち、例えば、注目画像E4が得られる個眼レンズ３１4と、個眼画像E0が得られる個眼レンズ３１0の基線長Bは、基準基線長Bに等しいので、注目画像E4と個眼画像E0との間で得られるディスパリティベクトルは、その大きさが1倍に調整される。
【０３４４】
また、例えば、注目画像E4が得られる個眼レンズ３１4と、個眼画像E1が得られる個眼レンズ３１1の基線長2Bは、基準基線長Bの２倍に等しいので、注目画像E4と個眼画像E1との間で得られるディスパリティベクトルは、その大きさが、基準基線長Bと、個眼レンズ３１4と個眼レンズ３１1との基線長2Bとの比の値倍である1/2倍に調整される。
【０３４５】
注目画像E4と他の個眼画像E#iとの間で得られるディスパリティベクトルについても、同様に、その大きさが、基準基線長Bとの比の値倍に調整される。
【０３４６】
そして、大きさの調整後のディスパリティベクトルを用いて、ディスパリティベクトルの多数決が行われる。
【０３４７】
なお、視差情報生成部８１において、個眼画像E#i（の各画素）のディスパリティは、例えば、個眼画像の画素の精度で求めることができる。また、個眼画像E#iのディスパリティは、例えば、その個眼画像E#iの画素より細かい精度である画素以下精度（例えば、1/4画素等のサブピクセルの精度）で求めることができる。
【０３４８】
ディスパリティを画素以下精度で求める場合、ディスパリティを用いる処理では、その画素以下精度のディスパリティを、そのまま用いることもできるし、画素以下精度のディスパリティの小数点以下を、切り捨て、切り上げ、又は、四捨五入等して整数化して用いることもできる。
【０３４９】
ここで、ディスパリティマップに登録されるディスパリティの大きさを、以下、登録ディスパリティともいう。例えば、左から右方向の軸をx軸とするとともに、下から上方向の軸をy軸とする２次元座標系において、ディスパリティとしてのベクトルを表す場合、登録ディスパリティは、個眼画像E0の各画素の、個眼画像E0の左隣の視点の個眼画像E4との間のディスパリティ（個眼画像E0の画素から、その画素に対応する個眼画像E4の対応画素までの画素ずれを表すベクトル）のx成分に等しい。
【０３５０】
＜集光処理によるリフォーカス＞
【０３５１】
図２４は、図１９の集光処理部８３で行われる集光処理によるリフォーカスの概要を説明する図である。
【０３５２】
なお、図２４では、説明を簡単にするため、集光処理に用いる複数の視点の視点画像として、個眼画像E0、個眼画像E0の右隣の視点の個眼画像E1、及び、個眼画像E0の左隣の視点の個眼画像E4の3個の画像を用いることとする。
【０３５３】
図２４において、個眼画像E0，E1、及び、E4には、２つの物体obj1及びobj2が映っている。例えば、物体obj1は、手前側に位置しており、物体obj2は、奥側に位置している。
【０３５４】
いま、例えば、物体obj1に合焦させる（焦点を合わせる）リフォーカスを行って、そのリフォーカス後の処理結果画像として、個眼画像E0の視点から見た画像を得ることとする。
【０３５５】
ここで、個眼画像E0の物体obj1が映る画素との間の、処理結果画像の視点（ここでは、個眼画像E0の視点）のディスパリティを、DP0と表す。また、個眼画像E1の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティを、DP1と表すとともに、個眼画像E4の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティを、DP4と表すこととする。
【０３５６】
なお、図２４では、処理結果画像の視点は、個眼画像E0の視点に等しいので、個眼画像E0の物体obj1が映る画素との間の、処理結果画像の視点のディスパリティDP0は、(0,0)になる。
【０３５７】
個眼画像E0，E1、及び、E4については、個眼画像E0，E1、及び、E4を、ディスパリティDP0，DP1、及び、DP4に応じて、それぞれ画素シフトし、その画素シフト後の個眼画像E0，E1、及び、E4を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。
【０３５８】
すなわち、個眼画像E0，E1、及び、E4を、ディスパリティDP0，DP1、及び、DP4をキャンセルするように（ディスパリティDP0，DP1、及び、DP4の逆方向に）、それぞれ画素シフトすることで、画素シフト後の個眼画像E0，E1、及び、E4では、物体obj1が映る画素の位置が一致する。
【０３５９】
したがって、画素シフト後の個眼画像E0，E1、及び、E4を積算することにより、物体obj1に合焦した処理結果画像を得ることができる。
【０３６０】
なお、画素シフト後の個眼画像E0，E1、及び、E4においては、物体obj1と異なる奥行き方向の位置にある物体obj2が映る画素の位置は、一致しない。そのため、処理結果画像に映る物体obj2は、ぼやける。
【０３６１】
また、ここでは、上述したように、処理結果画像の視点は、個眼画像E0の視点であり、ディスパリティDP0は(0,0)であるため、個眼画像E0については、実質的に、画素シフトを行う必要はない。
【０３６２】
集光処理部８３の集光処理では、例えば、以上のように、複数の視点の視点画像の画素を、合焦対象が映る合焦対象画素との間の、処理結果画像の視点（ここでは、個眼画像E0の視点）のディスパリティをキャンセルするように画素シフトして積算することで、合焦対象にリフォーカスが行われた画像が、処理結果画像として求められる。
【０３６３】
＜ディスパリティ変換＞
【０３６４】
図２５は、ディスパリティ変換の例を説明する図である。
【０３６５】
図２３で説明したように、ディスパリティマップに登録される登録ディスパリティは、オクルージョンが生じている領域以外の部分において、個眼画像E0の左隣の視点の個眼画像E4の各画素との間の、個眼画像E0の画素のディスパリティのx成分に等しい。
【０３６６】
リフォーカスでは、視点画像を、合焦対象画素のディスパリティをキャンセルするように画素シフトする必要がある。
【０３６７】
いま、ある視点を、注目視点として注目すると、リフォーカスにおいて、注目視点の視点画像の画素シフトにあたっては、その注目視点の視点画像との間の、処理結果画像の合焦対象画素のディスパリティ、すなわち、ここでは、例えば、個眼画像E0の合焦対象画素のディスパリティが必要となる。
【０３６８】
注目視点の視点画像との間の、個眼画像E0の合焦対象画素のディスパリティは、個眼画像E0の合焦対象画素（処理結果画像の合焦対象画素に対応する個眼画像E0の対応画素）の登録ディスパリティから、処理結果画像の視点から注目視点の方向を加味して求めることができる。
【０３６９】
いま、処理結果画像の視点である個眼画像E0の視点から注目視点の方向を、x軸を0[radian]とする反時計回りの角度で表すこととする。
【０３７０】
例えば、個眼レンズ３１1は、処理結果画像の視点である個眼画像E0の視点から基準基線長Bだけ+x方向に離れた位置にあり、処理結果画像の視点である個眼画像E0の視点から個眼レンズ３１1に対する個眼画像E1の視点の方向は、0[radian]である。この場合、個眼レンズ３１1に対する個眼画像E1（視点画像）との間の、個眼画像E0の合焦対象画素のディスパリティDP1（としてのベクトル）は、その合焦対象画素の登録ディスパリティRDから、個眼レンズ３１1に対する個眼画像E1の視点の方向である0[radian]を加味して、(-RD,0)＝（-(B/B)×RD×cos0，-(B/B)×RD×sin0)と求めることができる。
【０３７１】
また、例えば、個眼レンズ３１2は、処理結果画像の視点である個眼画像E0の視点から基準基線長Bだけπ/3の方向に離れた位置にあり、処理結果画像の視点である個眼画像E0の視点から個眼レンズ３１2に対する個眼画像E3の視点の方向は、π/3[radian]である。この場合、個眼レンズ３１2に対する個眼画像E3との間の、個眼画像E0の合焦対象画素のディスパリティDP2は、その合焦対象画素の登録ディスパリティRDから、個眼レンズ３１2の視点の方向であるπ/3[radian]を加味して、（-RD×cos(π/3)，-RD×sin(π/3))＝（-(B/B)×RD×cos(π/3)，-(B/B)×RD×sin(π/3))と求めることができる。
【０３７２】
ここで、補間部８２で得られる補間画像は、その補間画像の視点vpに位置する仮想的なレンズで撮像された画像であるとみなすことができる。この仮想的なレンズで撮像された画像の視点vpが、処理結果画像の視点である個眼画像E0の視点から、距離Lだけ、角度θ[radian]の方向に離れた位置であるとする。この場合、視点vpの視点画像（仮想的なレンズで撮像された画像）との間の、個眼画像E0の合焦対象画素のディスパリティDPは、その合焦対象画素の登録ディスパリティRDから、視点vpの方向である角度θを加味して、（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)と求めることができる。
【０３７３】
以上のように、登録ディスパリティRDから、注目視点の方向を加味して、注目視点の視点画像との間の、個眼画像E0の画素のディスパリティを求めること、すなわち、登録ディスパリティRDを、注目視点の視点画像との間の、個眼画像E0の画素（処理結果画像の画素）のディスパリティに変換することを、ディスパリティ変換ともいう。
【０３７４】
リフォーカスでは、合焦対象画素の登録ディスパリティRDから、ディスパリティ変換によって、各視点の視点画像との間の、個眼画像E0の合焦対象画素のディスパリティが求められ、その合焦対象画素のディスパリティをキャンセルするように、各視点の視点画像が画素シフトされる。
【０３７５】
リフォーカスにおいて、視点画像は、その視点画像との間の、合焦対象画素のディスパリティをキャンセルするように画素シフトされるが、この画素シフトのシフト量を、合焦シフト量ともいう。
【０３７６】
ここで、以下、補間部８２で得られる複数の視点の視点画像のうちの、i番目の視点画像の視点を、視点vp#iとも記載する。視点vp#iの視点画像の合焦シフト量を、合焦シフト量SV#iとも記載する。
【０３７７】
視点vp#iの視点画像の合焦シフト量SV#iは、合焦対象画素の登録ディスパリティRDから、処理結果画像の視点である個眼画像E0の視点から視点vp#iの方向を加味したディスパリティ変換によって、一意に求めることができる。
【０３７８】
ここで、ディスパリティ変換では、上述したように、登録ディスパリティRDから、ディスパリティ（としてのベクトル）（-(L/B)×RD×cosθ，-(L/B)×RD×sinθ)が求められる。
【０３７９】
したがって、ディスパリティ変換は、例えば、登録ディスパリティRDに対して、-(L/B)×cosθ及び-(L/B)×sinθのそれぞれを乗算する演算、あるいは、登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算等として捉えることができる。
【０３８０】
ここでは、例えば、ディスパリティ変換を、登録ディスパリティRDの-1倍に対して、(L/B)×cosθ及び(L/B)×sinθのそれぞれを乗算する演算として捉えることとする。
【０３８１】
この場合、ディスパリティ変換の対象となる値、すなわち、ここでは、登録ディスパリティRDの-1倍は、各視点の視点画像の合焦シフト量を求める基準となる値であり、以下、基準シフト量BVともいう。
【０３８２】
合焦シフト量は、基準シフト量BVのディスパリティ変換によって一意に決まるので、基準シフト量BVの設定によれば、その設定により、実質的に、リフォーカスにおいて、各視点の視点画像の画素を画素シフトする画素シフト量が設定されることになる。
【０３８３】
なお、上述のように、基準シフト量BVとして、登録ディスパリティRDの-1倍を採用する場合には、合焦対象画素を合焦させるときの基準シフト量BV、すなわち、合焦対象画素の登録ディスパリティRDの-1倍は、個眼画像E1との間の、合焦対象画素のディスパリティのx成分に等しい。
【０３８４】
＜リフォーカスを行う集光処理＞
【０３８５】
図２６は、リフォーカスを行う集光処理の例を説明するフローチャートである。
【０３８６】
ステップＳ９１において、集光処理部８３は、パラメータ設定部８４から、集光パラメータとしての合焦対象画素（の情報）を取得し、処理は、ステップＳ９２に進む。
【０３８７】
すなわち、例えば、個眼レンズ３１０ないし３１６に対する個眼画像E0ないしE6のうちの、個眼画像E0等が、表示部５４に表示され、ユーザが、その個眼画像E0上の１つの位置を指定すると、パラメータ設定部８４は、ユーザが指定した位置の画素を合焦対象画素に設定し、その合焦対象画素（を表す情報）を、集光パラメータとして、集光処理部８３に供給する。
【０３８８】
ステップＳ９１では、集光処理部８３は、以上のようにして、パラメータ設定部８４から供給される合焦対象画素を取得する。
【０３８９】
ステップＳ９２では、集光処理部８３は、視差情報生成部８１からのディスパリティマップに登録されている合焦対象画素の登録ディスパリティRDを取得する。そして、集光処理部８３は、合焦対象画素の登録ディスパリティRDに応じて、基準シフト量BVを設定し、すなわち、例えば、合焦対象画素の登録ディスパリティRDの-1倍を、基準シフト量BVに設定し、処理は、ステップＳ９２からステップＳ９３に進む。
【０３９０】
ステップＳ９３では、集光処理部８３は、補間部８２からの複数の視点の視点画像のうちの１つの画像である、例えば、個眼画像E0に対応する画像、すなわち、個眼画像E0の視点から見た、個眼画像E0と同一サイズの画像であって、画素値が初期値としての0の画像を、処理結果画像に設定する。さらに、集光処理部８３は、その処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を、注目画素に決定し、処理は、ステップＳ９３からステップＳ９４に進む。
【０３９１】
ステップＳ９４では、集光処理部８３は、補間部８２からの視点画像の視点のうちの、（注目画素について、）まだ、注目視点に決定していない１つの視点vp#iを注目視点vp#iに決定し、処理は、ステップＳ９５に進む。
【０３９２】
ステップＳ９５では、集光処理部８３は、基準シフト量BVから、合焦対象画素を合焦させる（合焦対象画素に映る被写体にフォーカスを合わせる）ために必要な、注目視点vp#iの視点画像の各画素の合焦シフト量SV#iを求める。
【０３９３】
すなわち、集光処理部８３は、基準シフト量BVを、処理結果画像の視点である個眼画像E0の視点から注目視点vp#iの方向を加味して、ディスパリティ変換し、そのディスパリティ変換の結果得られる値（ベクトル）を、注目視点vp#iの視点画像の各画素の合焦シフト量SV#iとして取得する。
【０３９４】
その後、処理は、ステップＳ９５からステップＳ９６に進み、集光処理部８３は、注目視点vp#iの視点画像の各画素を、合焦シフト量SV#iに応じて画素シフトし、画素シフト後の視点画像の、注目画素の位置の画素の画素値を、注目画素の画素値に積算する。
【０３９５】
すなわち、集光処理部８３は、注目視点vp#iの視点画像の画素のうちの、注目画素の位置から合焦シフト量SV#iに対応するベクトル（ここでは、例えば、合焦シフト量SV#iの-1倍）だけ離れた画素の画素値を、注目画素の画素値に積算する。
【０３９６】
そして、処理は、ステップＳ９６からステップＳ９７に進み、集光処理部８３は、補間部８２からの視点画像のすべての視点を、注目視点としたかどうかを判定する。
【０３９７】
ステップＳ９７において、まだ、補間部８２からの視点画像のすべての視点を、注目視点としていないと判定された場合、処理は、ステップＳ９４に戻り、以下、同様の処理が繰り返される。
【０３９８】
また、ステップＳ９７において、補間部８２からの視点画像のすべての視点を、注目視点としたと判定された場合、処理は、ステップＳ９８に進む。
【０３９９】
ステップＳ９８では、集光処理部８３は、処理結果画像の画素のすべてを、注目画素としたかどうかを判定する。
【０４００】
ステップＳ９８において、まだ、処理結果画像の画素のすべてを、注目画素としていないと判定された場合、処理は、ステップＳ９３に戻り、集光処理部８３は、上述したように、処理結果画像の画素の中から、まだ、注目画素に決定していない画素のうちの１画素を、注目画素に新たに決定し、以下、同様の処理を繰り返す。
【０４０１】
また、ステップＳ９８において、処理結果画像の画素のすべてを、注目画素としたと判定された場合、集光処理部８３は、処理結果画像を出力して、集光処理を終了する。
【０４０２】
なお、図２６の集光処理では、実空間内の奥行き方向の距離が一定の（変化しない）平面を合焦面として、その合焦面上（合焦面の近傍）に位置する被写体に合焦した処理結果画像が、複数の視点の視点画像を用いて生成される。
【０４０３】
かかる図２６の集光処理では、基準シフト量BVは、合焦対象画素の登録ディスパリティRDに応じて設定され、注目画素や注目視点vp#iによっては変化しない。そのため、図２６の集光処理では、基準シフト量BVは、注目画素や注目視点vp#iに関係なく設定される。
【０４０４】
また、合焦シフト量SV#iは、注目視点vp#i及び基準シフト量BVによって変化するが、図２６の集光処理では、上述のように、基準シフト量BVは、注目画素や注目視点vp#iによっては変化しない。したがって、合焦シフト量SV#iは、注目視点vp#iによって変化するが、注目画素によっては変化しない。すなわち、合焦シフト量SV#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。
【０４０５】
図２６において、合焦シフト量SV#iを求めるステップＳ９５の処理は、異なる注目画素について、同一の視点vp#iに対する合焦シフト量SV#iを繰り返し算出するループ（ステップＳ９３ないしステップＳ９８のループ）を構成しているが、上述のように、合焦シフト量SV#iは、１つの視点の視点画像の各画素に対しては、注目画素に関係なく、同一の値になる。
【０４０６】
したがって、図２６において、合焦シフト量SV#iを求めるステップＳ９５の処理は、１視点に対して１回だけ行えば良い。
【０４０７】
＜サーバを利用した未知基準位置(dx#i, dy#i)の取得＞
【０４０８】
図２７は、サーバを利用して、未知撮像画像の未知基準位置(dx#i', dy#i')を取得する処理の例を説明する図である。
【０４０９】
なお、図２７では、多眼交換レンズ２０の記憶部４１に、その多眼交換レンズ２０のレンズIDがレンズ情報として記憶され、レンズIDと、そのレンズIDによって特定される多眼交換レンズ２０の他のレンズ情報（既知基準位置(dx#i, dy#i)等）とが対応付けられたデータベースが用意されていることとする。
【０４１０】
例えば、多眼交換レンズ２０が、カメラ本体１０に装着されると、ステップＳ１１１１において、多眼交換レンズ２０（図３）（図１２）の通信部４２が、記憶部４１に記憶されたレンズ情報としてレンズIDを、カメラ本体１０に送信する。
【０４１１】
カメラ本体１０（図３）（図１２）の通信部５６は、多眼交換レンズ２０からのレンズIDを受信する。
【０４１２】
そして、多眼交換レンズ２０がカメラ本体１０に装着されたカメラシステム（図１）（図１１）では、未知撮像画像が撮像されると、ステップＳ１２１において、カメラ本体１０の通信部５６は、多眼交換レンズ２０からのレンズIDと、未知撮像画像とを、例えば、クラウド上のサーバ９０に送信する。
【０４１３】
サーバ９０は、カメラ本体１０からのレンズID及び未知撮像画像を受信する。さらに、サーバ９０は、ステップＳ１３１において、カメラ本体１０からのレンズIDをキーワードとして、データベース(DB)を検索し、そのレンズIDによって特定される多眼交換レンズ２０の他のレンズ情報としての既知撮像画像の既知基準位置(dx#i, dy#i)と、既知光位置(XL, YL)及び(XR, YR)、又は、基準角θ#iとを取得する。
【０４１４】
そして、サーバ９０は、ステップＳ１３２において、データベースから検索した多眼交換レンズ２０のレンズ情報としての既知撮像画像の既知基準位置(dx#i, dy#i)と、既知光位置(XL, YL)及び(XR, YR)、又は、基準角θ#iとを用いて、カメラ本体１０からの未知撮像画像に含まれる個眼画像E#iの未知基準位置(dx#i', dy#i')を求める。
【０４１５】
さらに、サーバ９０は、ステップＳ１３３において、未知基準位置(dx#i', dy#i')を、カメラ本体１０に送信する。
【０４１６】
カメラ本体１０（図３）では、通信部５６が、サーバ９０からの未知基準位置(dx#i', dy#i')を受信し、領域特定部５２に供給する。領域特定部５２は、サーバ９０からの未知基準位置(dx#i', dy#i')を用いて、未知撮像画像上の個眼画像E#iの領域を特定する。
【０４１７】
以上のように、未知基準位置(dx#i', dy#i')は、カメラ本体１０とは別のサーバ９０で求めることができる。この場合、カメラ本体１０は、基準位置算出部５７（図３）又は基準位置算出部７１（図１２）を設けずに構成することができる。
【０４１８】
なお、サーバ９０では、未知撮像画像に含まれる個眼画像E#iの未知基準位置(dx#i', dy#i')を求めた後、その未知基準位置(dx#i', dy#i')を用いて、未知撮像画像上の個眼画像E#iの領域を特定し、その領域の特定の結果を表す領域特定結果情報を、カメラ本体１０に送信することができる。
【０４１９】
この場合、カメラ本体１０は、基準位置算出部５７又は７１、及び、領域特定部５２を設けずに構成することができる。
【０４２０】
さらに、カメラ本体１０は、画像処理部５３を設けずに構成し、未知撮像画像、又は、未知撮像画像から特定された個眼画像E#iを、サーバ９０に送信することができる。この場合、サーバ９０において、必要に応じて、未知撮像画像から個眼画像E#iを特定し、その未知撮像画像から特定された個眼画像E#i、又は、カメラ本体１０から送信されてきた個眼画像E#iを用いて、画像処理部５３と同様の画像処理を行うことができる。そして、サーバ９０は、その画像処理により得られる処理結果画像を、カメラ本体１０に送信することができる。
【０４２１】
＜本技術を適用したコンピュータの説明＞
【０４２２】
次に、上述した領域特定部５２や、画像処理部５３、通信部５６、基準位置算出部５７及び７１等の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０４２３】
図２８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０４２４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０４２５】
あるいはまた、プログラムは、リムーバブル記録媒体２１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０４２６】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク２０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０４２７】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵しており、CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。
【０４２８】
CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、CPU２０２は、ハードディスク２０５に格納されたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。
【０４２９】
これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０４３０】
なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０４３１】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０４３２】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０４３３】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０４３４】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４３５】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０４３６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４３７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０４３８】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０４３９】
なお、本技術は、以下の構成をとることができる。
【０４４０】
＜１＞
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信する通信部と、
前記既知基準位置に基づいて、前記イメージセンサで撮影される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求める基準位置算出部と
を備える情報処理装置。
＜２＞
前記撮像画像は、既知の距離にある前記所定の被写体が映る画像である
＜１＞に記載の情報処理装置。
＜３＞
前記未知基準位置に基づいて、前記他の撮像画像上の前記複数の個眼レンズに対する複数の個眼画像それぞれの領域を特定する領域特定部をさらに備える
＜１＞又は＜２＞に記載の情報処理装置。
＜４＞
前記交換レンズは、光を照射する複数の光源を備え、
前記通信部は、前記既知基準位置と、前記撮像画像上の前記複数の光源それぞれの光の照射位置である既知光位置とを受信し、
前記基準位置算出部は、前記既知基準位置と前記既知光位置とに基づいて、前記未知基準位置を求める
＜１＞ないし＜３＞のいずれかに記載の情報処理装置。
＜５＞
前記基準位置算出部は、
前記他の撮像画像上の前記複数の光源それぞれの光の照射位置と、前記既知光位置との間の回転角を求め、
前記既知基準位置を、前記回転角に応じて回転させることにより、前記未知基準位置を求める
＜４＞に記載の情報処理装置。
＜６＞
前記基準位置算出部は、前記他の撮像画像上の前記光源の光の照射位置と、前記既知光位置との間の平行移動量をさらに求める
＜４＞又は＜５＞に記載の情報処理装置。
＜７＞
前記基準位置算出部は、
前記他の撮像画像上の前記複数の個眼レンズに対する複数の個眼画像それぞれから、同一の特徴を有する特徴点を抽出し、
前記複数の個眼画像のうちの１の個眼画像の前記特徴点と他の個眼画像の前記特徴点とを結ぶ線の方向を表す角度と、前記１の個眼画像の前記既知基準位置と前記他の個眼画像の前記既知基準位置とを結ぶ線の方向を表す角度である基準角との間の回転角を求め、
前記既知基準位置を、前記回転角に応じて回転させることにより、前記未知基準位置を求める
＜１＞ないし＜３＞のいずれかに記載の情報処理装置。
＜８＞
前記通信部は、前記既知基準位置と前記基準角とを受信する
＜７＞に記載の情報処理装置。
＜９＞
前記他の撮像画像から特定された前記複数の個眼画像を含む複数の視点の視点画像の画素をシフトして積算することにより、奥行き方向の距離が所定の距離の合焦点に合焦した処理結果画像を生成する集光処理を行う集光処理部をさらに備える
＜３＞に記載の情報処理装置。
＜１０＞
前記集光処理部は、前記複数の視点の視点画像の視差情報に応じて、前記視点画像の画素をシフトするシフト量を設定する
＜９＞に記載の情報処理装置。
＜１１＞
前記複数の視点の視点画像は、前記複数の個眼画像と、前記複数の個眼画像を用いた補間により生成される複数の補間画像とを含む
＜９＞又は＜１０＞に記載の情報処理装置。
＜１２＞
前記複数の個眼画像の視差情報を生成する視差情報生成部と、
前記個眼画像、及び、前記視差情報を用いて、異なる視点の前記複数の補間画像を生成する補間部と
をさらに備える＜１１＞に記載の情報処理装置。
＜１３＞
情報処理装置が、
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信することと、
前記既知基準位置に基づいて、前記イメージセンサで撮影される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求めることと
を含む情報処理方法。
＜１４＞
光軸方向に重ならないように配置された複数のレンズである個眼レンズを有する交換レンズがイメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を受信する通信部と、
前記既知基準位置に基づいて、前記イメージセンサで撮影される他の撮像画像上の前記個眼レンズに対する前記個眼画像上の前記所定の光線に対応する位置である未知基準位置を求める基準位置算出部と
して、コンピュータを機能させるためのプログラム。
＜１５＞
光軸方向に重ならないように配置された複数のレンズである個眼レンズと、
イメージセンサを有するカメラ本体に装着されたときに1個の前記イメージセンサで撮像された所定の被写体が映る撮像画像上の、前記個眼レンズにより集光される光線により形成される像に対応する個眼画像上の所定の光線に対応する位置である既知基準位置を記憶する記憶部と、
前記既知基準位置を外部に送信する通信部と
を備える交換レンズ。
＜１６＞
前記イメージセンサに、光を照射する複数の光源をさらに備え、
前記記憶部は、前記既知基準位置と、前記撮像画像上の前記複数の光源それぞれの光の照射位置である既知光位置とを記憶し、
前記通信部は、前記既知基準位置と前記既知光位置とを送信する
＜１５＞に記載の交換レンズ。
＜１７＞
2個の前記光源が、前記交換レンズの、前記複数の個眼レンズが配置された平面上の最も遠い２点を結ぶ線上に配置されている
＜１６＞に記載の交換レンズ。
＜１８＞
前記イメージセンサで撮像される他の撮像画像上の前記複数の光源それぞれの光の照射位置が、前記他の撮像画像に含まれる前記個眼画像の領域外に位置するように、前記複数の光源が設けられている
＜１６＞又は＜１７＞に記載の交換レンズ。
＜１９＞
前記記憶部は、前記既知基準位置と、前記複数の個眼レンズに対する複数の個眼画像のうちの１の個眼画像の前記既知基準位置と他の個眼画像の前記既知基準位置とを結ぶ線の方向を表す角度である基準角とを記憶し、
前記通信部は、前記既知基準位置と前記基準角とを送信する
＜１５＞に記載の交換レンズ。
【符号の説明】
【０４４１】
１０  カメラ本体，  １１  カメラマウント，  ２０  多眼交換レンズ，  ２１  鏡筒，  ２２  レンズマウント，  ２３  レンズフード，  ３１0ないし３１6  個眼レンズ，  ３２Ｌ，３２Ｒ  光源，  ４１  記憶部，  ４２  通信部，  ５１  イメージセンサ，  ５２  領域特定部，  ５３  画像処理部，  ５４  表示部，  ５５  記憶部，  ５６  通信部，  ５７，７１  基準位置算出部，  ８１  視差情報生成部，  ８２  補間部，  ８３  集光処理部，  ８４  パラメータ設定部，  ９０  サーバ，  ２０１  バス，  ２０２  CPU，  ２０３  ROM，  ２０４  RAM，  ２０５  ハードディスク，  ２０６  出力部，  ２０７  入力部，  ２０８  通信部，  ２０９  ドライブ，  ２１０  入出力インタフェース，  ２１１  リムーバブル記録媒体
【図１】
2019078032.tif 000009
【図２】
2019078032.tif 000010
【図３】
2019078032.tif 000011
【図４】
2019078032.tif 000012
【図５】
2019078032.tif 000013
【図６】
2019078032.tif 000014
【図７】
2019078032.tif 000015
【図８】
2019078032.tif 000016
【図９】
2019078032.tif 000017
【図１０】
2019078032.tif 000018
【図１１】
2019078032.tif 000019
【図１２】
2019078032.tif 000020
【図１３】
2019078032.tif 000021
【図１４】
2019078032.tif 000022
【図１５】
2019078032.tif 000023
【図１６】
2019078032.tif 000024
【図１７】
2019078032.tif 000025
【図１８】
2019078032.tif 000026
【図１９】
2019078032.tif 000027
【図２０】
2019078032.tif 000028
【図２１】
2019078032.tif 000029
【図２２】
2019078032.tif 000030
【図２３】
2019078032.tif 000031
【図２４】
2019078032.tif 000032
【図２５】
2019078032.tif 000033
【図２６】
2019078032.tif 000034
【図２７】
2019078032.tif 000035
【図２８】
2019078032.tif 000036
【国際調査報告】
2019078032.tif 000037
2019078032.tif 000038
2019078032.tif 000039