(57)【要約】混信除去後の画像に現れるノイズを低減できる撮像装置、及び、画像データ生成方法を提供する。撮像特性の異なる複数の光学系を備えた撮影レンズ（１０）と、混信比率の異なる複数の受光センサを各画素に備えたイメージセンサ（１００）とを使用して、各光学系に対応した画像を一度に撮像する撮像装置（１）において、撮影レンズ（１０）に備える光学系の数（ｎ）よりもイメージセンサ（１００）の各画素に備える受光センサの数（ｍ）を多くする（ｍ＞ｎ）。これにより、混信除去後の画像に現れるノイズを低減できる。
2017126242.tif 000002
【特許請求の範囲】
【請求項１】
ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、
ｍがｍ＞ｎを満たす整数とした場合に、混信比率の異なるｍ個の受光センサを各画素に備えたイメージセンサと、
前記イメージセンサの各画素の前記各受光センサから画像信号を取得し、ｍ個の一次画像データを生成する一次画像データ生成部と、
ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部と、
を備えた撮像装置。
【請求項２】
前記一次画像データの画素値をA1、A2、…、Aｍ、前記二次画像データの画素値をB1、B2、…、Bn、前記混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとした場合に、前記二次画像データ生成部は、前記混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、前記二次画像データを生成する、
請求項１に記載の撮像装置。
【請求項３】
前記一次画像データの画素値A1、A2、…、Aｍを要素とするｍ行１列の行列をＡ、前記二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列をＣとし、Ｃの逆行列をＣ-1とした場合に、前記二次画像データ生成部は、前記混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、前記二次画像データを生成する、
請求項１に記載の撮像装置。
【請求項４】
前記逆行列Ｃ-1の情報を記憶した逆行列情報記憶部を更に備え、
前記二次画像データ生成部は、前記逆行列情報記憶部に記憶された前記逆行列Ｃ-1の情報を利用して、前記行列方程式を解く、
請求項３に記載の撮像装置。
【請求項５】
前記逆行列情報記憶部は、前記画素ごとの前記逆行列Ｃ-1の情報を記憶する、
請求項４に記載の撮像装置。
【請求項６】
撮影シーンの情報を取得する撮影シーン情報取得部を更に備え、
前記二次画像データ生成部は、前記撮影シーンに応じて、前記二次画像データの生成に使用する前記一次画像データの数を変更する、
請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記撮影シーン情報取得部は、前記一次画像データを解析して、前記撮影シーンを特定する、
請求項６に記載の撮像装置。
【請求項８】
前記受光センサは、
光電変換素子と、
前記撮影レンズの射出瞳の像を前記光電変換素子に結像させるマイクロレンズと、
前記マイクロレンズと前記受光センサとの間に配置される遮光マスクと、
を備え、前記遮光マスクの形状、及び／又は、前記マイクロレンズの結像特性が異なることにより、混信比率が異なる、
請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記受光センサは、
光電変換素子と、
前記撮影レンズの射出瞳の像を前記光電変換素子に結像させるマイクロレンズと、
を備え、前記マイクロレンズの結像特性が異なることにより、混信比率が異なる、
請求項１から７のいずれか１項に記載の撮像装置。
【請求項１０】
前記撮影レンズに備えられるｎ個の前記光学系は、焦点距離が異なる、
請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
前記撮影レンズに備えられるｎ個の前記光学系は、合焦距離が異なる、
請求項１から９のいずれか１項に記載の撮像装置。
【請求項１２】
前記撮影レンズに備えられるｎ個の前記光学系は、透過波長特性の異なる、
請求項１から９のいずれか１項に記載の撮像装置。
【請求項１３】
前記撮影レンズに備えられるｎ個の前記光学系は、同心状に配置される、
請求項１０から１２のいずれか１項に記載の撮像装置。
【請求項１４】
ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率の異なるｍ個の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置を用いる画像データ生成方法であって、
前記イメージセンサを露光する工程と、
前記イメージセンサの各画素の前記各受光センサから画像信号を取得し、ｍ個の一次画像データを生成する工程と、
ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する工程と、
を備えた画像データ生成方法。
【請求項１５】
前記一次画像データの画素値をA1、A2、…、Aｍ、前記二次画像データの画素値をB1、B2、…、Bn、前記混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとした場合に、前記混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、前記二次画像データを生成する、
請求項１４に記載の画像データ生成方法。
【請求項１６】
前記一次画像データの画素値A1、A2、…、Aｍを要素とするｍ行１列の行列をＡ、前記二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列をＣとし、Ｃの逆行列をＣ-1とした場合に、前記混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、前記二次画像データを生成する、
請求項１４に記載の画像データ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及び、画像データ生成方法に係り、特に、複数の光学系を備えた撮影レンズ、及び、各受光センサが光の入射角に関して指向性を有するイメージセンサを使用することにより、一度に複数の画像を撮像可能な撮像装置、及び、画像データ生成方法に関する。
【背景技術】
【０００２】
複数の光学系を備えた撮影レンズ、及び、各受光センサが光の入射角に関して指向性を有するイメージセンサを使用することにより、一度に複数の画像を撮像可能な撮像装置が知られている（たとえば、特許文献１）。この撮像装置では、撮影レンズの各光学系を通過する光をイメージセンサの各受光センサで選択的に受光することにより、各光学系に対応した画像を撮像する。しかし、各光学系からの光を各受光センサで完全に分離して受光することは難しい。この結果、混信（クロストーク）が生じる。混信とは、他の光学系からの光が混入して受光される現象である。混信が生じると、他の光学系の画像が重畳した画像が撮像される（図１３及び図１４参照）。特許文献２及び３には、撮影により得られた各光学系の画像を相互に利用し、信号処理によって各画像から混信の影響を除去する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１３／０１８４７１号
【特許文献２】国際公開第２０１３／１４６５０６号
【特許文献３】特開２０１４−１７８１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮影により得られる画像には、種々の要因でノイズが発生する。ノイズは、ランダムに発生する細かな変動成分であり、画像にザラツキとなって現れる。特許文献２及び３のように、信号処理によって混信の影響を除去する場合において、処理対象の画像にノイズが含まれていると、処理結果にもノイズの影響が現れるという問題がある。【０００５】
本発明は、このような事情に鑑みてなされたもので、混信除去後の画像に現れるノイズを低減できる撮像装置、及び、画像データ生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
課題を解決するための手段は、次のとおりである。【０００７】
（１）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率の異なるｍ個の受光センサを各画素に備えたイメージセンサと、イメージセンサの各画素の各受光センサから画像信号を取得し、ｍ個の一次画像データを生成する一次画像データ生成部と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部と、を備えた撮像装置。【０００８】
従来、この種の撮像装置では、撮影レンズに備えられる光学系の数（ｎ）と同じ数の受光センサが、イメージセンサの各画素に備えられていた（ｎ＝ｍ）。たとえば、撮影レンズに備えられる光学系の数（ｎ）が２の場合、イメージセンサの各画素に備えられる受光センサの数（ｍ）も２であった。本出願の発明者は、各画素に備える受光センサの数（ｍ）を光学系の数（ｎ）よりも多くすることにより、混信除去処理後に得られる画像のノイズを低減できることを見出した。そこで、本態様では、イメージセンサの各画素に備える受光センサの数（ｍ）を光学系の数（ｎ）よりも多くしている。これにより、混信除去後の画像に現れるノイズを低減できる。【０００９】
なお、「混信比率」とは、各光学系から受光する光の割合のことをいう。たとえば、撮影レンズに３つの光学系が備えられているとする。３つの光学系を第１光学系、第２光学系、第３光学系とする。受光センサにおける混信比率が、第１光学系：第２光学系：第３光学系＝０．８：０．１：０．１であるとする。この場合、受光センサには、全受光量を１とすると、第１光学系から０．８、第２光学系から０．１、第３光学系から０．１の割合で光が受光される。すなわち、受光センサで受光される光のうち８割が第１光学系からの光、１割が第２光学系からの光、１割が第３光学系からの光となる。【００１０】
「混信比率が異なる」とは、各光学系から受光する光の割合が異なる、ということである。したがって、混信比率が異なる受光センサとは、各光学系から受光される光の割合が異なる受光センサのことである。【００１１】
また、「混信除去処理」とは、画像から混信の影響を除去する処理のことである。混信が生じると、他の光学系の画像が重畳した画像が撮像される。混信除去処理により、他の光学系の画像を分離し、除去する。【００１２】
さらに、「撮像特性」とは、撮像に関わる性質のことをいい、「撮像特性の異なる光学系」とは、撮像に関わる性質が互いに異なる光学系のこという。たとえば、焦点距離の異なる光学系、合焦距離の異なる光学系、透過波長特性の異なる光学系などである。【００１３】
（２）一次画像データの画素値をA1、A2、…、Aｍ、二次画像データの画素値をB1、B2、…、Bn、混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとした場合に、二次画像データ生成部は、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、二次画像データを生成する、（１）の撮像装置。【００１４】
本態様によれば、二次画像データ生成部は、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、二次画像データを生成する。これにより、混信除去後の画像に現れるノイズを低減できる。【００１５】
（３）一次画像データの画素値A1、A2、…、Aｍを要素とするｍ行１列の行列をＡ、二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列をＣとし、Ｃの逆行列をＣ-1とした場合に、二次画像データ生成部は、混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、二次画像データを生成する、（１）に記載の撮像装置。【００１６】
本態様によれば、二次画像データ生成部は、混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、二次画像データを生成する。これにより、混信除去後の画像に現れるノイズを低減できる。なお、行列Ｃが正則ではない場合、行列Ｃの一般逆行列を算出して、逆行列Ｃ-1を取得する。一般逆行列は、たとえば、ムーア・ペンローズ逆行列等の公知の手法で算出できる。【００１７】
（４）逆行列Ｃ-1の情報を記憶した逆行列情報記憶部を更に備え、二次画像データ生成部は、逆行列情報記憶部に記憶された逆行列Ｃ-1の情報を利用して、行列方程式を解く、（３）の撮像装置。【００１８】
本態様によれば、演算に必要な逆行列Ｃ-1があらかじめ算出されている。これにより、混信除去の処理速度を向上できる。【００１９】
（５）逆行列情報記憶部は、画素ごとの逆行列Ｃ-1の情報を記憶する、（４）の撮像装置。【００２０】
本態様によれば、画素ごとに逆行列Ｃ-1が算出される。これにより、高精度に混信を除去できる。【００２１】
（６）撮影シーンの情報を取得する撮影シーン情報取得部を更に備え、二次画像データ生成部は、撮影シーンに応じて、二次画像データの生成に使用する一次画像データの数を変更する、（１）から（５）のいずれかの撮像装置。【００２２】
本態様によれば、撮影シーンに応じて、二次画像データの生成に使用する一次画像データの数が変更される。たとえば、ノイズが気になる撮影シーンでは、二次画像データの生成に使用する一次画像データの数が増やされる。一方、ノイズが気にならない撮影シーンでは、二次画像データの生成に使用する一次画像データの数を減らされる。これにより、撮影シーンに応じて適切に画像データを処理できる。ノイズが気になる撮影シーンにおいて、二次画像データの生成に使用する一次画像データの数を増やすことにより、よりノイズを抑制できる。一方、ノイズが気にならない撮影シーンにおいて、二次画像データの生成に使用する一次画像データの数を減らすことにより、処理速度を向上できる。【００２３】
（７）撮影シーン情報取得部は、一次画像データを解析して、撮影シーンを特定する、（６）の撮像装置。【００２４】
本態様によれば、撮影シーンは、一次画像データを解析して特定される。これにより、自動で撮影シーンを特定できる。【００２５】
（８）受光センサは、光電変換素子と、撮影レンズの射出瞳の像を光電変換素子に結像させるマイクロレンズと、マイクロレンズと受光センサとの間に配置される遮光マスクと、を備え、遮光マスクの形状、及び／又は、マイクロレンズの結像特性が異なることにより、混信比率が異なる、（１）から（７）のいずれかの撮像装置。【００２６】
本態様によれば、各画素に備えられる受光センサは、光電変換素子と、マイクロレンズと、遮光マスクと、を備えて構成される。そして、各受光センサは、それぞれ遮光マスクの形状、及び／又は、マイクロレンズの結像特性を変えることにより、混信比率が変えられる。ここで、「結像特性」とは、結像に関わる性質のことをいい、「マイクロレンズの結像特性が異なる」とは、マイクロレンズの結像に関わる性質が互いに異なることをいう。たとえば、マイクロレンズのレンズパワー、倍率、結像位置などが異なることをいう。【００２７】
（９）受光センサは、光電変換素子と、撮影レンズの射出瞳の像を光電変換素子に結像させるマイクロレンズと、を備え、マイクロレンズの結像特性が異なることにより、混信比率が異なる、（１）から（７）のいずれかの撮像装置。【００２８】
本態様によれば、各画素に備えられる受光センサは、光電変換素子と、マイクロレンズと、を備えて構成される。そして、各受光センサは、それぞれマイクロレンズの結像特性を変えることにより、混信比率が変えられる。【００２９】
（１０）撮影レンズに備えられるｎ個の光学系は、焦点距離が異なる、（１）から（９）のいずれかの撮像装置。【００３０】
本態様によれば、撮影レンズに備えられる各光学系が、互いに焦点距離の異なる光学系で構成される。これにより、たとえば、望遠画像と広角画像のように、互いに焦点距離の異なる画像を撮像できる。【００３１】
（１１）撮影レンズに備えられるｎ個の光学系は、合焦距離が異なる、（１）から（９）のいずれかの撮像装置。【００３２】
本態様によれば、撮影レンズに備えられる各光学系が、互いに合焦距離の異なる光学系で構成される。これにより、近距離の被写体に合焦した画像と遠距離の被写体に合焦した画像のように、互いに合焦距離の異なる画像を撮像できる。【００３３】
（１２）撮影レンズに備えられるｎ個の光学系は、透過波長特性の異なる、（１）から（９）のいずれかの撮像装置。【００３４】
本態様によれば、撮影レンズに備えられる各光学系が、互いに透過波長特性の異なる光学系で構成される。「透過波長特性」とは、特定の波長域の光を透過させる性質のことをいい、「透過波長特性の異なる光学系」とは、特定の波長域の光を透過させる性質が互いに異なる光学系のことをいう。たとえば、撮影レンズが２つの光学系で構成される場合において、一方の光学系が赤外光領域の光を透過させる光学系で構成され、他方の光学系が可視光領域の光を透過させる光学系で構成される場合である。【００３５】
（１３）撮影レンズに備えられるｎ個の光学系は、同心状に配置される、（１０）から（１２）のいずれかの撮像装置。【００３６】
（１４）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率の異なるｍ個の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置を用いる画像データ生成方法であって、イメージセンサを露光する工程と、イメージセンサの各画素の各受光センサから画像信号を取得し、ｍ個の一次画像データを生成する工程と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する工程と、を備えた撮像装置の画像データ生成方法。【００３７】
本態様では、イメージセンサの各画素に備える受光センサの数（ｍ）を、撮影レンズに備えられる光学系の数（ｎ）よりも多くする。これにより、混信除去後の画像に現れるノイズを低減できる。【００３８】
（１５）一次画像データの画素値をA1、A2、…、Aｍ、二次画像データの画素値をB1、B2、…、Bn、混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとした場合に、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、二次画像データを生成する、（１４）の撮像装置の画像データ生成方法。【００３９】
本態様では、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解く処理を行って、二次画像データが生成される。これにより、混信除去後の画像に現れるノイズを低減できる。【００４０】
（１６）一次画像データの画素値A1、A2、…、Aｍを要素とするｍ行１列の行列をＡ、二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列をＣとし、Ｃの逆行列をＣ-1とした場合に、混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、二次画像データを生成する、（１４）の撮像装置の画像データ生成方法。【００４１】
本態様では、混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解く処理を行って、二次画像データが生成される。これにより、混信除去後の画像に現れるノイズを低減できる。なお、行列Ｃが正則ではない場合、行列Ｃの一般逆行列を算出して、逆行列Ｃ-1を取得する。【００４２】
本態様によれば、撮影レンズは、複数の光学系を同心状に配置して構成される。
【発明の効果】
【００４３】
本発明によれば、混信除去後の画像に現れるノイズを低減できる。
【図面の簡単な説明】
【００４４】
【図１】撮像装置のシステム構成を示すブロック図
【図２】撮影レンズの概略構成を示す正面図
【図３】図２の３−３断面図
【図４】第１光学系の概略構成を示す断面図
【図５】第２光学系の概略構成を示す断面図
【図６】イメージセンサの受光面の正面図
【図７】イメージセンサの１つの画素を拡大した正面図
【図８】受光センサの概略構成を示す断面図
【図９】受光センサの一例を示す図
【図１０】受光センサの一例を示す図
【図１１】イメージセンサの出力から９個の一次画像データを生成する概念図
【図１２】イメージセンサの出力から個々の一次画像データを生成する概念図
【図１３】第１の一次画像データＦＩ１が表わす画像の一例を示す図
【図１４】第２の一次画像データＦＩ２が表わす画像の一例を示す図
【図１５】第１の二次画像データＳＩ１が表わす画像を示す図
【図１６】第２の二次画像データＳＩ２が表わす画像を示す図
【図１７】第１の一次画像データの構成の概念図
【図１８】第２の一次画像データの構成の概念図
【図１９】一次画像データと二次画像データとの関係を行列で表現した概念図
【図２０】一次画像データと二次画像データとの関係を示す行列方程式
【図２１】逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図
【図２２】逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式
【図２３】一次画像データと二次画像データとの関係を示す概念図
【図２４】一次画像データと二次画像データとの関係を行列で表現した概念図
【図２５】一次画像データと二次画像データとの関係を示す行列方程式
【図２６】逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図
【図２７】逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式
【図２８】混信がないとした場合における一次画像データと二次画像データとの関係を示すグラフ
【図２９】混信がある場合における一次画像データと二次画像データとの関係を示すグラフ
【図３０】ｍ＞ｎの場合における一次画像データと二次画像データとの関係を示すグラフ
【図３１】デジタル信号処理部が備える機能のブロック図
【図３２】撮像装置の第２の実施の形態のシステム構成を示すブロック図
【図３３】ｍ＝ｎの場合に生成された第１の二次画像データが表わす画像
【図３４】ｍ＝ｎの場合に生成された第１の二次画像データが表わす画像
【図３５】ｍ＞ｎの場合に生成された第１の二次画像データが表わす画像
【図３６】ｍ＞ｎの場合に生成された第２の二次画像データが表わす画像
【発明を実施するための形態】
【００４５】
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
【００４６】
［第１の実施の形態］
《撮像装置の装置構成》
図１は、撮像装置のシステム構成を示すブロック図である。
【００４７】
撮像装置１は、主として、撮影レンズ１０と、イメージセンサ１００と、レンズ駆動制御部２１０と、イメージセンサ駆動制御部２１２と、アナログ信号処理部２１４と、デジタル信号処理部２１６と、表示部２１８と、ワークメモリ２２０と、記憶部２２２と、メディアインターフェース２２４と、システム制御部２２６と、操作部２２８と、を備えて構成される。
【００４８】
〈撮影レンズ〉
図２は、撮影レンズの概略構成を示す正面図である。図３は、図２の３−３断面図である。
【００４９】
撮影レンズ１０は、２つの光学系２０及び３０を備える。２つの光学系２０及び３０は、同心状に配置される。したがって、各光学系２０及び３０は、同じ光軸Ｌを有する。以下、中央の光学系２０を第１光学系、外周の光学系３０を第２光学系と称して、各光学系を必要に応じて区別する。
【００５０】
第１光学系２０及び第２光学系３０は、互いに焦点距離の異なる光学系で構成される。第１光学系２０は、広角の光学系で構成され、第２光学系３０は、望遠の光学系で構成される。ここで、広角の光学系とは、標準の光学系（画角が５０°前後の光学系）よりも焦点距離の短い光学系をいう。また、望遠の光学系とは、標準の光学系よりも焦点距離の長い光学系をいう。
【００５１】
〔第１光学系〕
図４は、第１光学系の概略構成を示す断面図である。なお、同図において、破線は、第１光学系２０を通る光の光線軌跡を示している。
【００５２】
図４に示すように、第１光学系２０は、３群８枚のレンズで構成される。第１光学系２０は、第２レンズ群と第３レンズ群との間に絞り２２を有する。絞り２２は、環状の遮光部を有する。絞り２２は、環状の遮光部の内径を拡縮させて、第１光学系２０を通る光の光量を調節する。
【００５３】
〔第２光学系〕
図５は、第２光学系の概略構成を示す断面図である。なお、同図において、破線は、第２光学系３０を通る光の光線軌跡を示している。
【００５４】
図５に示すように、第２光学系３０は、いわゆる反射光学系で構成される。第２光学系３０は、第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃ、主鏡３０ｄ、及び、副鏡３０ｅを備える。第２光学系３０は、第１光学系２０の外周に配置されるため、各構成要素は環状に形成される。
【００５５】
第１レンズ３０ａ、第２レンズ３０ｂ及び第３レンズ３０ｃは、物体側から第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃの順で光軸Ｌに沿って配置される。
【００５６】
主鏡３０ｄは、第３レンズ３０ｃの像面側の面に備えられる。主鏡３０ｄは、第３レンズ３０ｃの像面側の面に反射膜を形成することにより、第３レンズ３０ｃに一体的に備えられる。主鏡３０ｄは、第３レンズ３０ｃの像面側の面の全面に備えられる。
【００５７】
副鏡３０ｅは、第２レンズ３０ｂの像面側の面に備えられる。副鏡３０ｅは、第２レンズ３０ｂの像面側の面に反射膜を形成することにより、第２レンズ３０ｂに一体的に備えられる。副鏡３０ｅは、第２レンズ３０ｂの像面側の面の内周部分に備えられる。
【００５８】
第２光学系３０に入射した光は、第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃを通過して、主鏡３０ｄに入射する。主鏡３０ｄに入射した光は、主鏡３０ｄで反射し、再び第３レンズ３０ｃを通って副鏡３０ｅに入射する。副鏡３０ｅに入射した光は、副鏡３０ｅで反射して出射する。
【００５９】
第２光学系３０は、副鏡３０ｅの後段に絞り３２を有する。絞り３２は、環状の遮光部を有する。絞り３２は、環状の遮光部の外径を拡縮させて、第２光学系３０を通る光の光量を調整する。
【００６０】
〔共通レンズ〕
撮影レンズ１０は、第１光学系２０及び第２光学系３０で共用される共通レンズ４０を有する。第１光学系２０及び第２光学系３０を通過した光は、それぞれ共通レンズ４０を介してイメージセンサ１００に入射する。共通レンズ４０は、第１光学系２０及び第２光学系３０を介してイメージセンサ１００に入射する光の入射角度を調整する作用を有する。
【００６１】
〔焦点調節機構〕
第１光学系２０及び第２光学系３０は、各々独立して焦点調節される。第１光学系２０は、光学系の全体を光軸Ｌに沿って前後移動させることにより、焦点調節される。同様に、第２光学系３０は、光学系の全体を光軸Ｌに沿って前後移動させることにより、焦点調節される。図示されていないが、撮影レンズ１０には、第１光学系２０を光軸Ｌに沿って前後移動させるための機構（焦点調節機構）と、第２光学系３０を光軸Ｌに沿って前後移動させるための機構（焦点調節機構）と、が備えられる。
【００６２】
〈イメージセンサ〉
図６は、イメージセンサの受光面の正面図である。
【００６３】
イメージセンサ１００は、受光面に複数の画素１１０を備える。複数の画素１１０は、受光面に二次元マトリクス状に配列される。
【００６４】
図７は、イメージセンサの１つの画素を拡大した正面図である。なお、同図において、斜線は遮光マスクによるマスク領域を示している。遮光マスクについては後述する。
【００６５】
イメージセンサ１００は、１つの画素１１０に複数個の受光センサを備える。複数個の受光センサは、二次元マトリクス状に配列される。本実施の形態のイメージセンサ１００は、図７に示すように、１つの画素１１０に９個の受光センサ１２０ａ〜１２０ｉを備える。９個の受光センサ１２０ａ〜１２０ｉは、３行３列（３×３）の配列で二次元マトリクス状に配置される。以下、符号１２０ａの受光センサを第１受光センサ、符号１２０ｂの受光センサを第２受光センサ、符号１２０ｃの受光センサを第３受光センサ、符号１２０ｄの受光センサを第４受光センサ、符号１２０ｅの受光センサを第５受光センサ、符号１２０ｆの受光センサを第６受光センサ、符号１２０ｇの受光センサを第７受光センサ、符号１２０ｈの受光センサを第８受光センサ、符号１２０ｉの受光センサを第９受光センサと称して、各受光センサを必要に応じて区別する。
【００６６】
９個の受光センサ１２０ａ〜１２０ｉは、互いに異なる混信比率を有する。「異なる混信比率を有する」とは、各光学系から異なる割合で光を受光する、ということである。すなわち、各受光センサ１２０ａ〜１２０ｉは、第１光学系２０及び第２光学系３０から異なる割合で光を受光する。
【００６７】
図８は、受光センサの概略構成を示す断面図である。なお、同図において、波線で示す領域Ｌ１は、第１光学系２０から入射する光を概念的に示しており、斜格子で示す領域Ｌ２は、第２光学系３０から入射する光を概念的に示している。
【００６８】
各受光センサ１２０ａ〜１２０ｉの基本構成は同じである。各受光センサ１２０ａ〜１２０ｉは、光電変換素子１３０と、マイクロレンズ１３２と、遮光マスク１３４と、を備えて構成される。
【００６９】
光電変換素子１３０は、光を受け、受けた光の強さに比例した電荷を蓄積する。光電変換素子１３０は、たとえば、フォトダイオードで構成される。
【００７０】
マイクロレンズ１３２は、第１光学系２０及び第２光学系３０の射出瞳の像を光電変換素子１３０に結像させる。
【００７１】
遮光マスク１３４は、マイクロレンズ１３２と光電変換素子１３０との間に配置される。遮光マスク１３４は、マイクロレンズ１３２を通過した光の一部を遮光する。
【００７２】
受光センサ１２０ａ〜１２０ｉは、遮光マスク１３４の形状を調整することにより、混信比率が調整される。
【００７３】
図９は、受光センサの一例を示す図である。同図（Ａ）は、受光センサの断面図（同図（Ｂ）のＡ−Ａ断面図）、同図（Ｂ）は、受光センサの正面図である。なお、同図（Ｂ）において、斜線で示す領域は、遮光マスク１３４の遮光領域を示している。
【００７４】
図９は、主に第１光学系２０からの光を受光する場合の一例を示している。この場合、遮光マスク１３４は、図９（Ｂ）に示すように、中央に円形の開口部１３４Ａを備えた形状とされる。本例の受光センサ１２０ａ〜１２０ｉでは、図９（Ａ）に示すように、第２光学系３０からの光が遮光マスク１３４で遮光されるので、主に第１光学系２０からの光が光電変換素子１３０で受光される。
【００７５】
図１０は、受光センサの一例を示す図である。同図（Ａ）は、受光センサの断面図（同図（Ｂ）のＡ−Ａ断面図）、同図（Ｂ）は、受光センサの正面図である。なお、同図（Ｂ）において、斜線で示す領域は、遮光マスク１３４の遮光領域を示している。
【００７６】
図１０は、主に第２光学系３０からの光を受光する場合の一例を示している。この場合、遮光マスク１３４は、図１０（Ｂ）に示すように、環状の開口部１３４Ａを備えた形状とされる。本例の受光センサ１２０ａ〜１２０ｉでは、図１０（Ａ）に示すように、第１光学系２０からの光が遮光マスク１３４で遮光されるので、主に第２光学系３０からの光が光電変換素子１３０で受光される。
【００７７】
このように、受光センサ１２０ａ〜１２０ｉは、遮光マスク１３４の形状を調整することにより、混信比率を調整できる。
【００７８】
イメージセンサ１００は、各画素１１０の各受光センサ１２０ａ〜１２０ｉの光電変換素子１３０に蓄積された電荷量を読み出し、電荷量に応じた信号を画像信号として出力する。この画像信号を処理することにより、各光学系に対応した画像データを取得できる。この処理については、後に詳述する。
【００７９】
〈レンズ駆動制御部〉
レンズ駆動制御部２１０は、システム制御部２２６からの指令に基づき、撮影レンズ１０の駆動を制御する。すなわち、第１光学系２０の焦点を調節するために、第１光学系２０の焦点調節機構の駆動を制御し、かつ、第２光学系３０の焦点を調節するために、第２光学系３０の焦点調節機構の駆動を制御する。また、第１光学系２０の光量を調節するために、第１光学系２０の絞り２２の駆動を制御し、かつ、第２光学系３０の光量を調節するために、第２光学系３０の絞り３２の駆動を制御する。
【００８０】
〈イメージセンサ駆動制御部〉
イメージセンサ駆動制御部２１２は、システム制御部２２６からの指令に基づき、イメージセンサ１００の駆動を制御する。すなわち、イメージセンサ１００からの画像信号の読み出しを制御する。
【００８１】
〈アナログ信号処理部〉
アナログ信号処理部２１４は、イメージセンサ１００から出力されるアナログの画像信号を取り込み、所定のアナログの信号処理を施す。また、アナログ信号処理部２１４は、所定のアナログの信号処理を施した画像信号をデジタル信号に変換して出力する。
【００８２】
〈デジタル信号処理部〉
デジタル信号処理部２１６は、デジタル信号に変換された画像信号を取り込み、所定の信号処理を施して、各光学系に対応した画像データを生成する。この処理については、後に詳述する。
【００８３】
〈表示部〉
表示部２１８は、たとえば、液晶モニタで構成され、撮像済みの画像や撮像中の画像（いわゆるライブビュー画像）を表示する。また、表示部２１８は、必要に応じてＧＵＩ（GUI: Graphical User Interface）として機能する。
【００８４】
〈ワークメモリ〉
ワークメモリ２２０は、たとえば、ＲＡＭ（RAM：Random Access Memory）で構成され、ワークメモリとして機能する。
【００８５】
〈記憶部〉
記憶部２２２は、たとえば、ＥＥＰＲＯＭ（EEPROM：Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリで構成される。記憶部２２２には、制御に必要なデータ、信号処理に必要なデータ等が格納される。
【００８６】
〈メディアインターフェース〉
メディアインターフェース２２４は、システム制御部２２６から指令に基づいて、メモリーカード等の外部メモリ２３０に対して、データの読み書きを行う。
【００８７】
〈システム制御部〉
システム制御部２２６は、撮像装置全体の動作を統括制御する。システム制御部２２６は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭを備えたマイクロコンピュータで構成され、所定の制御プログラムを実行して、撮像装置１の全体を制御する。制御に必要なプログラム及び各種データはＲＯＭに格納される。
【００８８】
〈操作部〉
操作部２２８は、電源ボタンやシャッターボタン等の各種操作ボタン、及び、その駆動回路を備えて構成される。操作部２２８の操作情報は、システム制御部２２６に入力される。システム制御部２２６は、操作部２２８からの操作情報に基づいて、各部を制御する。
【００８９】
撮像装置１は、以上のように構成される。
【００９０】
《各光学系に対応した画像データの生成処理》
〈処理の概要〉
上記のように、イメージセンサ１００には、各画素１１０に９個の受光センサ１２０ａ〜１２０ｉが備えられている。したがって、画素ごとに対応する受光センサの画像信号を取得することにより、１回の撮影で９個の画像データを生成できる。しかし、この９個の画像データには、混信が生じている。そこで、本実施の形態の撮像装置１では、撮影により得られた９個の画像データに混信除去処理を施して、各光学系に対応した画像データを生成する。以下、各処理について説明する。
【００９１】
なお、以下においては、イメージセンサ１００の各画素から対応する受光センサの画像信号を取得して生成される９個の画像データを一次画像データ、その９個の一次画像データに混信除去処理を施して生成される画像データを二次画像データと称して、両者を必要に応じて区別する。
【００９２】
〈一次画像データの生成〉
図１１は、イメージセンサの出力から９個の一次画像データを生成する概念図である。
【００９３】
一次画像データは、イメージセンサ１００の各画素１１０から対応する受光センサ１２０ａ〜１２０ｉの画像信号を取得することにより生成される。
【００９４】
たとえば、イメージセンサ１００の各画素１１０から第１受光センサ１２０ａの画像信号を取得することにより、第１受光センサ１２０ａに対応した一次画像データが生成される。同様に、イメージセンサ１００の各画素１１０から第２受光センサ１２０ｂの画像信号を取得することにより、第２受光センサ１２０ｂに対応した一次画像データが生成される。
【００９５】
ここで、各画素１１０の第１受光センサ１２０ａから取得した画像信号で生成される一次画像データを第１の一次画像データＦＩ１、各画素１１０の第２受光センサ１２０ｂから取得した画像信号で生成される一次画像データを第２の一次画像データＦＩ２、各画素１１０の第３受光センサ１２０ｃから取得した画像信号で生成される一次画像データを第３の一次画像データＦＩ３、各画素１１０の第４受光センサ１２０ｄから取得した画像信号で生成される一次画像データを第４の一次画像データＦＩ４、各画素１１０の第５受光センサ１２０ｅから取得した画像信号で生成される一次画像データを第５の一次画像データＦＩ５、各画素１１０の第６受光センサ１２０ｆから取得した画像信号で生成される一次画像データを第６の一次画像データＦＩ６、各画素１１０の第７受光センサ１２０ｇから取得した画像信号で生成される一次画像データを第７の一次画像データＦＩ７、各画素１１０の第８受光センサ１２０ｈから取得した画像信号で生成される一次画像データを第８の一次画像データＦＩ８、各画素１１０の第９受光センサ１２０ｉから取得した画像信号で生成される一次画像データを第９の一次画像データＦＩ９とする。
【００９６】
図１２は、イメージセンサの出力から個々の一次画像データを生成する概念図である。特に、同図は、イメージセンサの出力から第１の一次画像データＦＩ１を生成する場合を示している。
【００９７】
図１２に示すように、第１の一次画像データＦＩ１は、イメージセンサ１００の各画素１１０から第１受光センサ１２０ａの画像信号を取得して生成される。たとえば、第１の一次画像データＦＩ１の画素位置（０，０）における値（画素値）は、イメージセンサ１００の画素位置（０，０）にある第１受光センサ１２０ａから画像信号を取得して生成される。同様に、第１の一次画像データＦＩ１の画素位置（０，１）における値（画素値）は、イメージセンサ１００の画素位置（０，１）にある第１受光センサ１２０ａから画像信号を取得して生成される。このように、第１の一次画像データＦＩ１の各画素の値（画素値）は、イメージセンサ１００の対応する画素１１０にある第１受光センサ１２０ａから画像信号を取得して生成される。
【００９８】
なお、画素位置（ｘ，ｙ）は、画素の位置をｘｙ座標で表わしたものである。ｘｙ座標は、次のように設定される。すなわち、イメージセンサ１００においては、図６に示すように、画面左上隅を座標原点とし、水平方向をｘ座標、垂直方向をｙ座標としている。この場合、特定の画素の位置は（ｘ，ｙ）と表現される。画像データについても同様であり、画面左上隅を座標原点とし、水平方向をｘ座標、垂直方向をｙ座標としている。
【００９９】
他の一次画像データも同様にして、イメージセンサ１００の各画素１１０から対応する受光センサの画像信号を取得して生成される。
【０１００】
〈二次画像データの生成〉
二次画像データは、一次画像データに対して画素単位で混信除去処理を行うことにより生成される。以下、混信除去処理について説明する。
【０１０１】
〔混信除去処理の基本概念〕
まず、混信除去処理の基本概念について説明する。ここでは、発明の理解を容易にするため、撮影レンズに備えられる光学系の数（ｎ）が２個、イメージセンサの各画素に備えられる受光センサの数（ｍ）が２個の場合を例に説明する。
【０１０２】
撮影レンズに備えられる２つの光学系について、一方の光学系を第１光学系、他方の光学系を望遠の第２光学系とする。第１光学系は広角の光学系で構成され、第２光学系は望遠の光学系で構成されるものとする。
【０１０３】
また、各画素に備えられる２つの受光センサについて、一方の受光センサを第１受光センサ、他方の受光センサを第２受光センサとする。各画素に備えられる第１受光センサは、すべて同じ混信比率であると仮定する。同様に、各画素に備えられる第２受光センサは、すべて同じ混信比率であると仮定する。
【０１０４】
第１受光センサの混信比率をC1＝C11：C12とし、第２受光センサの混信比率をC2＝C21：C22とする。ここで、第１受光センサについて、混信比率C1がC11：C12とは、第１光学系及び第２光学系から受光する光の割合が、第１光学系：第２光学系＝C11：C12、という意味である。すなわち、第１光学系からC11、第２光学系からC12の割合で光を受光する、という意味である。同様に、第２の光学系について、混信比率C2がC21：C22とは、第１光学系及び第２光学系から受光する光の割合が、第１光学系：第２光学系＝C21：C22、という意味である。
【０１０５】
イメージセンサは、１画素に２個の受光センサ（第１受光センサ及び第２受光センサ）を備えているので（ｍ＝２）、１回の撮影で２個の一次画像データが生成される。第１受光センサに基づく一次画像データを第１の一次画像データＦＩ１とし、第２受光センサに基づく一次画像データを第２の一次画像データＦＩ２とする。第１の一次画像データＦＩ１は、混信比率C1＝C11：C12の割合で混信が生じており、第２の一次画像データＦＩ２は、混信比率C2＝C21：C22の割合で混信が生じている。
【０１０６】
図１３は、第１の一次画像データＦＩ１が表わす画像の一例を示す図である。また、図１４は、第２の一次画像データＦＩ２が表わす画像の一例を示す図である。なお、図１３及び図１４に示す例では、第１受光センサの混信比率C1がC11＞C12、第２受光センサの混信比率C2がC21＜C22の場合の例を示している。すなわち、第１受光センサが、第１光学系からの光をより多く受光するように構成され、第２受光センサが、第２光学系からの光をより多く受光するように構成された場合の例を示している。この場合、図１３に示すように、第１受光センサから得られる画像（第１の一次画像データＦＩ１が表わす画像）は、本来の第１光学系の画像（広角の画像）に加えて、第２の光学系の画像（望遠の画像）が、かすかに重畳した画像となる。一方、第２受光センサから得られる画像（第２の一次画像データＦＩ２が表わす画像）は、図１４に示すように、本来の第２光学系の画像（望遠の画像）に加えて、第１の光学系の画像（広角の画像）が、かすかに重畳した画像となる。
【０１０７】
二次画像データについては、撮影レンズに備えられる光学系の数が２であるので（ｍ＝２）、２個の二次画像データが生成される。第１光学系に対応する二次画像データを第１の二次画像データＳＩ１とし、第２光学系に対応する二次画像データを第２の二次画像データＳＩ２とする。
【０１０８】
図１５は、第１の二次画像データＳＩ１が表わす画像を示す図であり、図１６は、第２の二次画像データＳＩ２が表わす画像を示す図である。図１５及び図１６に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２が表わす画像は、混信の影響が除去された画像となる。
【０１０９】
いま、ある特定の画素位置（ｘ，ｙ）における第１の一次画像データＦＩ１の画素値をA1、第２の一次画像データＦＩ２の画素値をA2とする。また、対応する画素における第１の二次画像データＳＩ１の画素値をB1、第２の二次画像データＳＩ２の画素値をB2とする。
【０１１０】
第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1及びB2は、次の連立方程式
A1 = C11*B1 + C12*B2
A2 = C21*B1 + C22*B2
を解いて算出できる。
【０１１１】
すなわち、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分（第１光学系の成分と同義）と第２の二次画像データＳＩ２の成分（第２光学系の成分と同義）とをC11：C12の割合で含むデータである。したがって、この関係を式で表わすと、A1=C11*B1+C12*B2となる。同様に、第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分（第１光学系の成分）と第２の二次画像データＳＩ２の成分（第２光学系の成分）をC21：C22の割合で含むデータであるので、この関係を式で表わすと、A2=C21*B1+C22*B2となる。この関係を図で示すと、図１７及び図１８のようになる。
【０１１２】
図１７は、第１の一次画像データの構成の概念図である。
【０１１３】
同図に示すように、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分をC11の割合で含み、かつ、第２の二次画像データＳＩ２の成分をC12の割合で含む。この関係を式で表わすと、特定の画素位置（ｘ，ｙ）について、A1=C11*B1+C12*B2の関係が成り立つ。
【０１１４】
図１８は、第２の一次画像データの構成の概念図である。
【０１１５】
同図に示すように、第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分をC21の割合で含み、かつ、第２の二次画像データＳＩ２の成分をC22の割合で含む。この関係を式で表わすと、特定の画素位置（ｘ，ｙ）について、A2=C21*B1+C22*B2の関係が成り立つ。
【０１１６】
よって、画素単位で上記連立方程式を解くことにより、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1、B2を算出でき、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２を生成できる。そして、この連立方程式を解くことにより、混信の影響を除去した画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成できる。
【０１１７】
ここで、連立方程式については、行列を使って解くことができる。
【０１１８】
図１９は、一次画像データと二次画像データとの関係を行列で表現した概念図である。また、図２０は、一次画像データと二次画像データとの関係を示す行列方程式である。
【０１１９】
図１９及び図２０に示すように、第１の一次画像データＦＩ１及び第２の一次画像データＦＩ２の画素値A1及びA2を要素とする２行１列の行列をＡ、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2を要素とする２行１列の行列をＢ、第１受光センサの混信比率C1＝C11：C12及び第２受光センサの混信比率C2＝C21：C22を要素とする２行２列の行列をＣとすると、上記連立方程式は、Ａ＝Ｃ＊Ｂと表現できる。
【０１２０】
そして、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2については、上記行列方程式Ａ＝Ｃ＊Ｂの両辺にＣの逆行列Ｃ-1を掛けることにより算出できる。すなわち、Ｂ＝Ｃ-1＊Ａを解くことにより算出できる。
【０１２１】
図２１は、逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図である。また、図２２は、逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式である。
【０１２２】
図２１及び図２２に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2は、行列Ａに行列Ｃの逆行列Ｃ-1を掛けることで算出できる。
【０１２３】
各画素に備えられる受光センサの混信比率は既知なので、逆行列Ｃ-1については、あらかじめ取得できる。したがって、各一次画像データの画素値A1及びA2を取得できれば、逆行列Ｃ-1を用いて、各二次画像データの画素値B1及びB2を算出できる。
【０１２４】
以上のように、一次画像データに対して所定の演算処理（混信除去処理）を施すことにより、混信の影響を除去した二次画像データを生成できる。
【０１２５】
〔ｍ＞ｎとなる場合の混信除去処理〕
ｍ＞ｎとなる場合とは、撮影レンズに備えられる光学系の数（ｎ：ｎはｎ＞１を満たす整数）よりもイメージセンサの各画素に備えられる受光センサの数（ｍ：ｍは整数）の方が多い場合のことである。本実施の形態の撮像装置１は、撮影レンズ１０に備えられる光学系の数（ｎ）が２、イメージセンサ１００の各画素１１０に備えられる受光センサの数（ｍ）が９であるので、ｍ＞ｎの場合に該当する。この場合も混信除去処理の基本的な考え方は同じである。
【０１２６】
図２３は、一次画像データと二次画像データとの関係を示す概念図である。
【０１２７】
イメージセンサ１００の特定の画素位置（ｘ，ｙ）に備えられる第１受光センサ１２０ａの混信比率C1がC1=C11:C12、第２受光センサ１２０ｂの混信比率C2がC2=C21:C22、第３受光センサ１２０ｃの混信比率C3がC3=C31:C32、第４受光センサ１２０ｄの混信比率C4がC4=C41:C42、第５受光センサ１２０ｅの混信比率C5がC5=C51:C52、第６受光センサ１２０ｆの混信比率C6がC6=C61:C62、第７受光センサ１２０ｇの混信比率C7がC7=C71:C72、第８受光センサ１２０ｈの混信比率C8がC8=C81:C82、第９受光センサ１２０ｉの混信比率C9がC9=C91:C92、であるとする。
【０１２８】
この場合、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分（第１光学系２０の成分と同義）と第２の二次画像データＳＩ２の成分（第２光学系３０の成分と同義）とをC11:C12の割合で含むデータとなる。この関係を式で表わすと、第１の一次画像データＦＩ１は、特定の画素位置（ｘ，ｙ）について、A1=C11*B1+C12*B2の関係が成り立つ。
【０１２９】
第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分と第２の二次画像データＳＩ２の成分をC21:C22の割合で含むデータとなる。この関係を式で表わすと、第２の一次画像データＦＩ２は、特定の画素位置（ｘ，ｙ）について、A2=C21*B1+C22*B2の関係が成り立つ。
【０１３０】
すなわち、各一次画像データの特定の画素位置（ｘ，ｙ）における画素値をA1、A2、…、A9とし、各二次画像データの特定の画素位置（ｘ，ｙ）の画素値をB1、B2とした場合、各一次画像データと二次画像データとの間には、次の関係が成り立つ。
【０１３１】
A1 = C11*B1 + C12*B2
A2 = C21*B1 + C22*B2
A3 = C31*B1 + C32*B2
A4 = C41*B1 + C42*B2
A5 = C51*B1 + C52*B2
A6 = C61*B1 + C62*B2
A7 = C71*B1 + C72*B2
A8 = C81*B1 + C82*B2
A9 = C91*B1 + C92*B2
この連立方程式を解くことにより、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1及びB2を算出でき、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２を生成できる。そして、この連立方程式を解くことにより、混信の影響を除去した画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成できる。
【０１３２】
〔逆行列を用いた解法〕
上記のように、連立方程式については、行列を用いて解くことができる。
【０１３３】
図２４は、一次画像データと二次画像データとの関係を行列で表現した概念図である。また、図２５は、一次画像データと二次画像データとの関係を示す行列方程式である。
【０１３４】
図２４及び図２５に示すように、各一次画像データＦＩ１〜ＦＩ９の特定の画素位置（ｘ，ｙ）の画素値A1〜A9を要素とする９行１列の行列をＡ、各二次画像データＳＩ１、ＳＩ２の特定の画素位置（ｘ，ｙ）の画素値B1及びB2を要素とする２行１列の行列をＢ、各受光センサ１２０ａ〜１２０ｉの混信比率C1＝C11：C12、C2＝C21：C22、…、C9＝C91：C92を要素とする９行２列の行列をＣとすると、上記連立方程式は、Ａ＝Ｃ＊Ｂと表現できる。
【０１３５】
そして、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2については、上記行列方程式Ａ＝Ｃ＊Ｂの両辺にＣの逆行列Ｃ-1を掛けることにより算出できる。すなわち、Ｂ＝Ｃ-1＊Ａを解くことにより算出できる。
【０１３６】
図２６は、逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図である。また、図２７は、逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式である。
【０１３７】
図２６及び図２７に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2は、行列Ａに行列Ｃの逆行列Ｃ-1を掛けることで算出できる。
【０１３８】
各画素に備えられる受光センサの混信比率は既知なので、逆行列Ｃ-1については、あらかじめ取得できる。
【０１３９】
なお、行列Ｃが正則ではない場合、その逆行列Ｃ-1については、行列Ｃの一般逆行列を算出して、逆行列Ｃ-1を取得する。一般逆行列は、たとえば、ムーア・ペンローズ逆行列等の公知の手法で算出できる。
【０１４０】
このように、二次画像データについては、行列方程式Ｂ＝Ｃ-1＊Ａを解くことにより算出できる。そして、この行列方程式Ｂ＝Ｃ-1＊Ａを解くことにより、混信の影響を除去した二次画像データを生成できる。
【０１４１】
〈ｍ＞ｎとすることの効果〉
上記のように、混信の影響を除去するだけであれば、ｍ＝ｎであればよい。すなわち、イメージセンサの各画素には、撮影レンズに備えられる光学系の数と同じ数の受光センサが備えられていればよい。
【０１４２】
しかし、ｍ＝ｎの場合、一次画像データにノイズが含まれていると、そのノイズの影響が二次画像データにも現れてしまうという問題がある。
【０１４３】
本出願の発明者は、ｍ＞ｎ、すなわち、撮影レンズに備える光学系の数（ｎ）よりもイメージセンサの各画素に備える受光センサの数（ｍ）を多くすることにより、混信除去後の画像に現れるノイズを低減できることを見出した。以下、この点について考察する。
【０１４４】
〔ノイズ低減のメカニズム〕
（１）ｍ＝ｎの場合
まず、ｍ＝ｎの場合について考える。便宜上、撮影レンズに備えられる光学系の数（ｎ）を２個とする。したがって、イメージセンサの各画素に備えられる受光センサの数（ｍ）も２個である。一方の光学系を第１光学系、他方の光学系を第２光学系とする。また、一方の受光センサを第１受光センサ、他方の受光センサを第２受光センサとし、第１受光センサの混信比率をC1＝C11:C12、第２受光センサの混信比率をC2＝C21:C22とする。この場合、特定の画素位置（ｘ，ｙ）における一次画像データ及び二次画像データの関係は、A1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2となる。
【０１４５】
（Ａ）混信のない場合
混信のない場合とは、各受光センサが、対応する光学系からの光のみ受光する場合である。すなわち、第１受光センサは第１光学系からの光のみを受光し、第２受光センサは第２光学系からの光のみを受光する場合である。この場合、第１受光センサの混信比率C1＝C11：C12は、C11＝１、C12＝０となり、第２受光センサの混信比率C2は、C21＝０、C22＝１となる。したがって、一次画像データと二次画像データとの関係は、A1 = C11*B1、A2 = C22*B2となる。
【０１４６】
図２８は、混信がないとした場合における一次画像データと二次画像データとの関係を示すグラフである。同図において、縦軸は、第１の二次画像データの画素値Ｂ１であり、横軸は、第２の二次画像データの画素値Ｂ２である。
【０１４７】
図２８において、実線で示す直線α１は、ノイズがないとした場合における式A1 = C11*B1を示す直線である。また、実線で示す直線α２は、ノイズがないとした場合における式A2 = C22*B2を示す直線である。
【０１４８】
混信のない場合、一次画像データと二次画像データは一対一で対応する。この場合、一次画像データに現れたノイズは、対応する二次画像データにのみ現れる。
【０１４９】
一次画像データに生じたノイズは、２つの式の解の誤差として現れる。図２８において、破線で示す直線α１ａ及び直線α１ｂは、一次画像データにノイズが表れた場合の式A1= C11*B1を示す直線である。また、直線α２ａ及び直線α２ｂは、一次画像データにノイズが表れた場合の式A2 = C22*B2を示す直線である。一次画像データにノイズが現れると、各式の直線は振れる。すなわち、各式の直線は、実線で示す位置から平行移動する。
【０１５０】
各式の直線が振れる範囲が、起こり得る誤差の範囲である。破線で示す直線α１ａ、α１ｂ及びα２ａ、α２ｂの位置が、起こり得る振れの最大の位置とすると、斜線で示す領域Ｓαが、起こり得る誤差の範囲となる。
【０１５１】
混信のない場合、一次画像データに現れたノイズは、対応する二次画像データにのみ現れるので、その影響は限定的となる。
【０１５２】
（Ｂ）混信のある場合
混信がある場合、特定の画素位置（ｘ，ｙ）における一次画像データと二次画像データの関係は、A1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2となる。
【０１５３】
図２９は、混信がある場合における一次画像データと二次画像データとの関係を示すグラフである。同図において、縦軸は、第１の二次画像データの画素値であり、横軸は、第２の二次画像データの画素値である。
【０１５４】
図２９において、実線で示す直線β１は、ノイズがないとした場合における式A1 = C11*B1 + C12*B2を示す直線である。また、実線で示す直線β２は、ノイズがないとした場合における式A2 = C21*B1 + C22*B2を示す直線である。
【０１５５】
図２９に示すように、混信がある場合、各直線は傾く。この傾きは、混信成分が増えるほど大きくなる。そして、この傾きが大きくなるほど、２つ直線の成す角度が広がる。
【０１５６】
上記のように、一次画像データに生じたノイズは、２つの式の解の誤差として現れる。図２９において、破線で示す直線β１ａ及び直線β１ｂは、一次画像データにノイズが表れた場合の式A1 = C11*B1 + C12*B2を示す直線である。また、直線β２ａ及び直線β２ｂは、一次画像データにノイズが表れた場合の式A2 = C21*B1 + C22*B2を示す直線である。一次画像データにノイズが現れると、各式の直線は振れる。
【０１５７】
各式の直線が振れる範囲が、起こり得る誤差の範囲である。破線で示す直線β１ａ、β１ｂ、及び、β２ａ、β２ｂの位置が、起こり得る振れの最大の位置とすると、斜線で示す領域Ｓβが、起こり得る誤差の範囲となる。図２９に示すように、この範囲は、２つの直線の成す角度が広くなるほど大きくなる。上記のように、２つの直線の成す角度は、各受光センサの混信成分が増えるほど大きくなる。したがって、混信成分が増えるほど、ノイズが及ぼす影響が大きくなるといえる。すなわち、ノイズが増幅されやすくなる。
【０１５８】
（２）ｍ＞ｎの場合
次に、ｍ＞ｎの場合について考える。便宜上、撮影レンズに備えられる光学系の数（ｎ）を２個とし、イメージセンサの各画素に備えられる受光センサの数（ｍ）を３個とする。一方の光学系を第１光学系、他方の光学系を第２光学系とし、３つの受光センサをそれぞれ第１受光センサ、第２受光センサ、第３受光センサとする。また、第１受光センサの混信比率をC1＝C11:C12、第２受光センサの混信比率をC2＝C21:C22、第３受光センサの混信比率をC3＝C31:C32とする。この場合、特定の画素位置（ｘ，ｙ）における一次画像データ及び二次画像データの関係は、A1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2、A3 = C31*B1 + C32*B2となる。
【０１５９】
図３０は、ｍ＞ｎの場合における一次画像データと二次画像データとの関係を示すグラフである。同図において、縦軸は、第１の二次画像データの画素値であり、横軸は、第２の二次画像データの画素値である。
【０１６０】
図３０において、実線で示す直線γ１は、ノイズがないとした場合における式A1 = C11*B1 + C12*B2を示す直線である。また、実線で示す直線γ２は、ノイズがないとした場合における式A2 = C21*B1 + C22*B2を示す直線である。また、実線で示す直線γ３は、ノイズがないとした場合における式A3 = C31*B1 + C32*B2を示す直線である。
【０１６１】
また、図３０において、破線で示す直線γ１ａ、γ１ｂは、一次画像データにノイズが現れた場合における式A1 = C11*B1 + C12*B2を示す直線である。また、破線で示す直線γ２ａ、γ２ｂは、一次画像データにノイズが現れた場合における式A2 = C21*B1 + C22*B2を示す直線である。また、破線で示す直線γ３ａ及びγ３ｂは、一次画像データにノイズが現れた場合における式A3 = C31*B1 + C32*B2を示す直線である。
【０１６２】
１画素に備えられる受光センサの数（ｍ）を増やすことにより、二次画像データを算出するための式の数（直線の数（＝ｍ））が増える。そして、この式の数が増えることにより、その解の分布が収束されるようになる。この結果、一次画像データに生じたノイズが、二次画像データに及ぼす影響を低減できる。
【０１６３】
このように、二次画像データを算出するための式の数を増やすことにより、二次画像データに現れるノイズの影響を低減できる。解の収束性は、二次画像データを算出するための式の数を増やすことにより、より高められるので、１画素当たりに備えられる受光センサの数は多い方が好ましい。
【０１６４】
また、より収束性を高めるためには、混信比率の近い受光センサを備えるよりも、さまざまな混信比率を有する受光センサを備えた方が好ましい。すなわち、各受光センサの混信比率は、バラツキを持たせた方が好ましい。
【０１６５】
《デジタル信号処理部の構成》
上述した一連の信号処理は、デジタル信号処理部２１６で行われる。デジタル信号処理部２１６は、イメージセンサ１００の各画素の各受光センサから画像信号を取得して一次画像データを生成し、かつ、その一次画像データに画素単位で混信除去処理を施して、各光学系に対応した二次画像データを生成する。
【０１６６】
図３１は、デジタル信号処理部が備える機能のブロック図である。
【０１６７】
一次画像データを生成する一次画像データ生成部２１６Ａと、二次画像データを生成する二次画像データ生成部２１６Ｂと、を備える。
【０１６８】
一次画像データ生成部２１６Ａは、イメージセンサの各画素から対応する受光センサの画像信号を取得して、ｍ個の一次画像データを生成する。本実施の形態の撮像装置１は、イメージセンサ１００の各画素１１０に９個（ｍ＝９）の受光センサ１２０ａ〜１２０ｉを備えているので、９個の一次画像データを生成する。
【０１６９】
二次画像データ生成部２１６Ｂは、一次画像データ生成部２１６Ａで生成された９個の一次画像データに対して、画素ごとに混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する。本実施の形態の撮像装置１は、撮影レンズ１０に２つ（ｎ＝２）の光学系を備えているので、２つの二次画像データを生成する。具体的には、第１光学系２０に対応した第１の二次画像データと、第２光学系３０に対応した第２の二次画像データとを生成する。
【０１７０】
混信除去処理は、連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解く処理を行う。本実施の形態の撮像装置１は、ｍ＝９、ｎ＝２なので、連立方程式A1=C11*B1+C12*B2、A2=C21*B1+C22*B2、A3=C31*B1+C32*B2を解いて、各光学系に対応した二次画像データを生成する。
【０１７１】
二次画像データ生成部２１６Ｂは、行列を利用して、連立方程式を解く処理を実施する。すなわち、行列方程式Ｂ=Ｃ-1*Ａを解いて、二次画像データを生成する。演算に使用する逆行列Ｃ-1の情報は、記憶部２２２に記憶される。記憶部２２２は、その記憶領域の一部に逆行列Ｃ-1の情報を記憶する逆行列情報記憶部２２２Ａを備える。なお、逆行列Ｃ-1の情報は、画素単位で記憶される。
【０１７２】
二次画像データ生成部２１６Ｂは、処理する画素ごとに逆行列Ｃ-1の情報を読み出して、混信除去処理を実施する。
【０１７３】
《撮像装置における処理の流れ（画像データ生成方法）》
本実施の形態の撮像装置では、（１）撮影指示に基づく露光（露光工程）、（２）露光に基づく一次画像データの生成（一次画像データ生成工程）、（３）一次画像データに基づく二次画像データの生成（二次画像データ生成工程）の順で記録用の画像データが生成される。
【０１７４】
記録用の撮影（露光）は、操作部２２８からの指示に基づいて実施される。ここでは、シャッターボタンの全押しで記録用の撮影が指示されるものとする。撮影者は、各光学系の焦点調節を行った後、シャッターボタンを全押しして、記録用の撮影を指示する。
【０１７５】
シャッターボタンが全押しされると、まず、測光処理が実施される。システム制御部２２６、イメージセンサ１００から得られる画像信号に基づいて、ＥＶ値（EV：Exposure Value）を算出し、露出を決定する。
【０１７６】
露出が決定すると、決定した露出でイメージセンサ１００が露光される（露光工程）。露光により各受光センサ１２０ａ〜１２０ｉの光電変換素子１３０に電荷が蓄積される。イメージセンサ１００は、各受光センサ１２０ａ〜１２０ｉの光電変換素子１３０に蓄積された電荷量を読み出して、電荷量に応じた画像信号を出力する。
【０１７７】
イメージセンサ１００から出力された画像信号は、アナログ信号処理部２１４を経てワークメモリ２２０に取り込まれる。このワークメモリ２２０に取り込まれた画像信号に対して、デジタル信号処理部２１６が所定の信号処理を施すことにより、各光学系に対応した画像データ（第１の二次画像データ、及び、第２の二次画像データ）が生成される。すなわち、画素ごとに各受光センサの画像信号を取得して、９個の一次画像データを生成し（一次画像データ生成工程）、その９個の一次画像データに混信除去処理を施すことにより、各光学系に対応した画像データ（第１の二次画像データ、及び、第２の二次画像データ）が生成される（二次画像データ生成工程）。生成された画像データ（第１の二次画像データ、及び、第２の二次画像データ）は、必要に応じて所定フォーマットのデータ形式に変換されて、外部メモリ２３０に記録される。
【０１７８】
このように、本実施の形態の撮像装置１によれば、１回の操作で各光学系に対応した画像を同時に撮像できる。
【０１７９】
また、各光学系に対応した画像データ（第１の二次画像データ、及び、第２の二次画像データ）を生成する際、９個の一次画像データに基づいて生成することにより、ノイズを低減できる。
【０１８０】
［第２の実施の形態］
図３２は、撮像装置の第２の実施の形態のシステム構成を示すブロック図である。
【０１８１】
本実施の形態の撮像装置１は、撮影シーン情報取得部２３２を更に備えている点で上述した第１の実施の形態の撮像装置と相違する。
【０１８２】
撮影シーン情報取得部２３２は、撮影シーンの情報を取得する。撮影シーンの情報とは、どのようなシーンを撮影するかの情報である。たとえば、ポートレート、集合写真、風景、夜景、スポーツ、マクロなどの情報が、これに当たる。
【０１８３】
本実施の形態の撮像装置１は、撮影シーン情報取得部２３２で取得した撮影シーンの情報に基づいて、デジタル信号処理部２１６での処理内容を切り替える。具体的には、二次画像データの生成に使用する一次画像データの数を切り替える。
【０１８４】
上記のように、二次画像データに生じるノイズは、一次画像データの数を増やすことにより低減できる。一方、許容されるノイズのレベルは、撮影シーンごとに異なる。たとえば、風景に比してポートレートは、高いレベルで低ノイズであることが要求される。
【０１８５】
そこで、本実施の形態の撮像装置１では、撮影シーンに応じて二次画像データの生成に使用する一次画像データの数を切り替える。たとえば、ノイズが気になる撮影シーンでは、二次画像データの生成に使用する一次画像データの数を増やす。これにより、ノイズの発生を抑制できる。一方、ノイズが気にならない撮影シーンでは、二次画像データの生成に使用する一次画像データの数を減らす。これにより、混信除去処理に伴う演算負荷を低減でき、処理速度を向上できる。
【０１８６】
本実施の形態の撮像装置１において、撮影シーンの情報は、操作部２２８を介してユーザが入力する。撮影シーン情報取得部２３２は、操作部２２８を介して入力された情報を取得して、撮影シーンの情報を取得する。入力は、あらかじめ用意された撮影シーンをユーザが選択することにより行われる。たとえば、撮影シーンとして、ポートレート、集合写真、風景、夜景、スポーツ、マクロなどのシーンを用意しておく。
【０１８７】
システム制御部２２６は、撮影シーン情報取得部２３２で取得された撮影シーンの情報に基づいて、二次画像データの生成に使用する一次画像データの数を切り替える。撮影シーンと、二次画像データの生成に使用する一次画像データの数との関係は、あらかじめ定められ、テーブルで管理される。テーブルには、使用する一次画像データの情報も記録される。すなわち、どの位置の受光センサに基づく一次画像データを使用するかの情報も記録される。このテーブルは、記憶部２２２に記憶される。システム制御部２２６は、記憶部２２２に記憶されたテーブルを参照して、二次画像データの生成に使用する一次画像データを決定する。
【０１８８】
デジタル信号処理部２１６は、システム制御部２２６による指示に応じて、二次画像データの生成を行う。すなわち、システム制御部２２６で指示された一次画像データを使用して、混信除去処理を行い、二次画像データを生成する。
【０１８９】
このように、本実施の形態の撮像装置１では、撮影シーンに応じて、二次画像データの生成に使用する一次画像データの数が変更される。これにより、適切に二次画像データを生成できる。
【０１９０】
なお、上記実施の形態では、撮影シーンの情報をユーザが入力する構成としているが、撮影により得られた画像を解析し、自動で撮影シーンを特定する構成とすることもできる。この場合、撮影シーン情報取得部は、画像解析部として機能し、少なくとも１つの一次画像データを解析して、撮影シーンを特定する。
【０１９１】
［その他の実施の形態］
《イメージセンサの変形例》
イメージセンサの各画素に備える受光センサの数（ｍ）は、撮影レンズに備えられる光学系の数（ｎ）よりも多ければよい。すなわち、ｍ＞ｎを満たせばよい。
【０１９２】
なお、各画素に備えられる受光センサは、混信比率が分散していることが好ましい。すなわち、混信比率の近い受光センサを複数備えるよりも、混信比率がバラバラの受光センサを複数備えることが好ましい。
【０１９３】
なお、上記実施の形態では、３行３列（３×３）で配列された９個の受光センサによってイメージセンサの１画素を構成しているが、１画素を構成する受光センサの配列は、これに限定されるものではない。たとえば、１画素が３個の受光センサで構成される場合、１行３列（１×３）で配列された３個の受光センサでイメージセンサの１画素を構成することができる。また、１画素を構成する受光センサは、受光面上に離散的に配置されていてもよい。
【０１９４】
また、上記実施の形態では、説明の便宜上、カラー画像については言及していないが、カラー画像を生成する場合は、所定のフィルター配列で各画素にカラーフィールターを配置する。
【０１９５】
《混信比率を調整する方法》
上記実施の形態では、遮光マスクの形状によって各受光センサの混信比率を調整しているが、受光センサの混信比率を調整する方法は、これに限定されるものではない。この他、たとえば、マイクロレンズの結像特性を変えることにより、混信比率を調整することもできる。たとえば、マイクロレンズのレンズパワー、倍率、結像位置などを変えることにより、混信比率を変えることができる。この場合、遮光マスクは不要となる。
【０１９６】
なお、遮光マスクとマイクロレンズを併用して、混信比率を調整することもできる。すなわち、遮光マスクの形状と、マイクロレンズの結像特性の双方を変えることによって、混信比率を調整することもできる。
【０１９７】
《撮影レンズの変形例》
上記実施の形態では、撮影レンズに２個の光学系を備えているが、撮影レンズに備える光学系の数（ｎ）は、これに限定されるものではない。撮影レンズには、互いに撮像特性の異なる２以上の光学系が備えられていればよい。
【０１９８】
また、上記実施の形態では、焦点距離の異なる光学系が撮影レンズに備えられているが、撮影レンズに備える光学系の種類は、これに限定されるものではない。この他、たとえば、互いに合焦距離の異なる光学系を備えてもよい。これにより、近距離の被写体に合焦した画像と遠距離の被写体に合焦した画像のように、互いに合焦距離の異なる画像を同時に撮像できる。また、たとえば、互いに透過波長特性の異なる光学系を備えてもよい。これにより、たとえば、赤外光領域の光を透過させる光学系、及び、可視光領域の光を透過させる光学系を備えることにより、赤外光画像と可視光画像とを同時に撮像できる。
【０１９９】
また、上記実施の形態では、複数の光学系が同心状に配置される構成としているが、複数の光学系の配置は、これに限定されるものではない。たとえば、光軸を中心として、周方向に領域を分割し、各領域に光学系を配置する構成とすることもできる。
【０２００】
《混信除去処理の変形例》
上記のように、混信除去処理は、画素ごとに行われ、行列を利用する場合は、画素ごとに逆行列Ｃ-1の情報を読み出して、混信除去処理を実施する。したがって、逆行列Ｃ-1の情報は、画素ごとに逆行列情報記憶部２２２Ａに記憶される。一方、各画素に備えられる受光センサの混信比率が、画素間で近似している場合は、代表となる逆行列を定めて、混信除去処理を実施してもよい。すなわち、各画素において共通の逆行列を使用して、混信除去処理を実施してもよい。これにより、演算負荷を低減できる。また、画面を複数の領域に分割し、領域ごとに共通の逆行列を定めてもよい。
【０２０１】
《混信除去処理の一般化》
撮影レンズに備えられる光学系の数をｎとし、イメージセンサの各画素に備えられる受光センサの数をｍ（ｍ＞ｎ）とすると、一次画像データはｍ個生成され、二次画像データはｎ個生成される。この場合、各一次画像データの画素値をA1、A2、…、Aｍ、二次画像データの画素値をB1、B2、…、Bn、混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとすると、デジタル信号処理部２１６は、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、二次画像データを生成する。
【０２０２】
各受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列Ｃが正則ではない場合は、行列Ｃの一般逆行列を算出して、行列方程式を解く。
【実施例】
【０２０３】
本発明の効果を確認するため、次の実験を行った。【０２０４】
擬似的に一次画像データを生成し、ｍ＝ｎとした場合と、ｍ＞ｎとした場合とで、二次画像データに現れるノイズを比較する実験を行った。【０２０５】
〈一次画像データの生成〉
一次画像データは、２つの画像データＷ及びＴを合成して擬似的に生成した。合成する画像の数が、撮影レンズに備えられる光学系の数（ｎ）に相当する。２つの画像データＷ及びＴを合成しているので、ｎ＝２となる。【０２０６】
また、生成する一次画像データの数が、イメージセンサの各画素に備えられる受光センサの数（ｍ）に相当する。したがって、生成する一次画像データの数を２とすると、ｍ＝ｎとなる。【０２０７】
また、合成時の混合比率（２つの画像データＷ及びＴを合成する比率）が、各受光センサの混信比率に相当する。たとえば、２つの画像データＷ及びＴをＷ：Ｔ＝０．８：０．２の混合比率で合成すると、生成される一次画像データの混信比率は０．８：０．２となる。【０２０８】
〈ｍ＝ｎの場合〉
ｍ＝２として、２つの一次画像データ（第１の一次画像データ及び第２の一次画像データ）を生成し、生成した２つの一次画像データに混信除去処理を施して、２つの二次画像データ（第１の二次画像データ及び第２の二次画像データ）を生成した。【０２０９】
第１の一次画像データの混信比率は、Ｗ：Ｔ＝０．８：０．２とし、第２の一次画像データの混信比率は、Ｗ：Ｔ＝０．２：０．８とした。【０２１０】
図３３は、ｍ＝ｎの場合に生成された第１の二次画像データが表わす画像である。また、図３４は、ｍ＝ｎの場合に生成された第２の二次画像データが表わす画像である。【０２１１】
〈ｍ＞ｎの場合〉
ｍ＝９として、９つの一次画像データ（第１の一次画像データ、第２の一次画像データ、第３の一次画像データ、第４の一次画像データ、第５の一次画像データ、第６の一次画像データ、第７の一次画像データ、第８の一次画像データ、及び、第９の一次画像データ）を生成し、生成した９つの一次画像データに混信除去処理を施して、２つの二次画像データ（第１の二次画像データ及び第２の二次画像データ）を生成した。【０２１２】
第１の一次画像データの混信比率はＷ：Ｔ＝０．９：０．１、第２の一次画像データの混信比率はＷ：Ｔ＝０．１：０．９、第３の一次画像データの混信比率はＷ：Ｔ＝０．８：０．２、第４の一次画像データの混信比率はＷ：Ｔ＝０．２：０．８、第５の一次画像データの混信比率はＷ：Ｔ＝０．７：０．３、第６の一次画像データの混信比率はＷ：Ｔ＝０．３：０．７、第７の一次画像データの混信比率はＷ：Ｔ＝０．６：０．４、第８の一次画像データの混信比率はＷ：Ｔ＝０．４：０．６、第９の一次画像データの混信比率はＷ：Ｔ＝０．５：０．５とした。【０２１３】
図３５は、ｍ＞ｎの場合に生成された第１の二次画像データが表わす画像である。また、図３６は、ｍ＞ｎの場合に生成された第２の二次画像データが表わす画像である。【０２１４】
〈比較〉
図３３〜図３６に示すように、ｍ＞ｎとすることにより、ノイズを低減できることが確認できた。
【符号の説明】
【０２１５】
１  撮像装置
１０  撮影レンズ
２０  第１光学系
２２  絞り
３０  第２光学系
３０ａ  第１レンズ
３０ｂ  第２レンズ
３０ｃ  第３レンズ
３０ｄ  主鏡
３０ｅ  副鏡
３２  絞り
４０  共通レンズ
１００  イメージセンサ
１１０  画素
１２０ａ  第１受光センサ
１２０ｂ  第２受光センサ
１２０ｃ  第３受光センサ
１２０ｄ  第４受光センサ
１２０ｅ  第５受光センサ
１２０ｆ  第６受光センサ
１２０ｇ  第７受光センサ
１２０ｈ  第８受光センサ
１２０ｉ  第９受光センサ
１３０  光電変換素子
１３２  マイクロレンズ
１３４  遮光マスク
１３４Ａ  開口部
２１０  レンズ駆動制御部
２１２  イメージセンサ駆動制御部
２１４  アナログ信号処理部
２１６  デジタル信号処理部
２１６Ａ  一次画像データ生成部
２１６Ｂ  二次画像データ生成部
２１８  表示部
２２０  ワークメモリ
２２２  記憶部
２２２Ａ  逆行列情報記憶部
２２４  メディアインターフェース
２２６  システム制御部
２２８  操作部
２３０  外部メモリ
２３２  撮影シーン情報取得部
ＦＩ１  第１の一次画像データ
ＦＩ２  第２の一次画像データ
ＦＩ３  第３の一次画像データ
ＦＩ４  第４の一次画像データ
ＦＩ５  第５の一次画像データ
ＦＩ６  第６の一次画像データ
ＦＩ７  第７の一次画像データ
ＦＩ８  第８の一次画像データ
ＦＩ９  第９の一次画像データ
ＳＩ１  第１の二次画像データ
ＳＩ２  第２の二次画像データ
Ｌ  光軸
Ｌ１  領域
Ｌ２  領域
ＳΒ  領域
Ｓα  領域
【図１】
2017126242.tif 000003
【図２】
2017126242.tif 000004
【図３】
2017126242.tif 000005
【図４】
2017126242.tif 000006
【図５】
2017126242.tif 000007
【図６】
2017126242.tif 000008
【図７】
2017126242.tif 000009
【図８】
2017126242.tif 000010
【図９】
2017126242.tif 000011
【図１０】
2017126242.tif 000012
【図１１】
2017126242.tif 000013
【図１２】
2017126242.tif 000014
【図１３】
2017126242.tif 000015
【図１４】
2017126242.tif 000016
【図１５】
2017126242.tif 000017
【図１６】
2017126242.tif 000018
【図１７】
2017126242.tif 000019
【図１８】
2017126242.tif 000020
【図１９】
2017126242.tif 000021
【図２０】
2017126242.tif 000022
【図２１】
2017126242.tif 000023
【図２２】
2017126242.tif 000024
【図２３】
2017126242.tif 000025
【図２４】
2017126242.tif 000026
【図２５】
2017126242.tif 000027
【図２６】
2017126242.tif 000028
【図２７】
2017126242.tif 000029
【図２８】
2017126242.tif 000030
【図２９】
2017126242.tif 000031
【図３０】
2017126242.tif 000032
【図３１】
2017126242.tif 000033
【図３２】
2017126242.tif 000034
【図３３】
2017126242.tif 000035
【図３４】
2017126242.tif 000036
【図３５】
2017126242.tif 000037
【図３６】
2017126242.tif 000038
【国際調査報告】
2017126242.tif 000039
2017126242.tif 000040
2017126242.tif 000041
2017126242.tif 000042