(57)【要約】混信の影響を低減して高品質な画像を得られる撮像装置、及び、画像データ生成方法を提供する。撮像特性の異なるｎ個の光学系を備えた撮影レンズと、混信比率及び受光感度の組み合わせが異なるｍ個の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置において、イメージセンサの各画素の各受光センサから出力される画像信号を取得してｍ個の一次画像データを生成し、生成したｍ個の一次画像データに画素単位で混信除去処理を施して各光学系に対応したｎ個の二次画像データを生成する。混信除去処理を行う際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外し、残りの一次画像データに混信除去処理を施して、二次画像データを生成する。
2017130581.tif 000002
【特許請求の範囲】
【請求項１】
ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、
ｍがｍ＞ｎを満たす整数とした場合に、混信比率及び受光感度の組み合わせが異なるｍ個の受光センサを各画素に備えたイメージセンサと、
前記イメージセンサの各画素の前記各受光センサから出力される画像信号を取得し、ｍ個の一次画像データを生成する一次画像データ生成部と、
前記一次画像データから画素値が飽和している画素を検出する飽和画素検出部と、
ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部であって、画素値が飽和している前記一次画像データを処理対象に含む場合、画素値が飽和している前記一次画像データを除外し、残りの前記一次画像データに混信除去処理を施して、前記二次画像データを生成する二次画像データ生成部と、
を備えた撮像装置。
【請求項２】
前記一次画像データの画素値をA1、A2、…、Am、前記二次画像データの画素値をB1、B2、…、Bn、前記各受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、前記各受光センサの受光感度に応じた係数をs1、s2、…、smとした場合に、
前記二次画像データ生成部は、前記混信除去処理として、次の連立方程式
A1=s1*C11*B1+s1*C12*B2+…+s1*C1n*Bn
A2=s2*C21*B1+s2*C22*B2+…+s2*C2n*Bn
…
Am=sm*Cm1*B1+sm*Cm2*B2+…+sm*Cmn*Bn
を解いて、前記二次画像データを生成し、
処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記連立方程式を立て、前記二次画像データを生成する、
請求項１に記載の撮像装置。
【請求項３】
前記各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、前記各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記各受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと前記各受光センサの受光感度に応じた係数s1、s2、…、smとの積s1*C1＝s1*C11：s1*C12：…：s1*C1n、s2*C2＝s2*C21：s2*C22：…：s2*C2n、…、sm*Cm＝sm*Cm1：sm*Cm2：…：sm*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、前記二次画像データ生成部は、前記混信除去処理として、次の行列方程式
Ｂ=Ｔ-1*Ａ
を解いて、前記二次画像データを生成し、
処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記行列方程式を立て、前記二次画像データを生成する、
請求項１に記載の撮像装置。
【請求項４】
前記逆行列Ｔ-1の情報を記憶した逆行列情報記憶部を更に備え、
前記二次画像データ生成部は、前記逆行列情報記憶部に記憶された前記逆行列Ｔ-1の情報を利用して、前記行列方程式を解く、
請求項３に記載の撮像装置。
【請求項５】
前記逆行列情報記憶部は、前記画素ごとの前記逆行列Ｔ-1の情報を記憶する、
請求項４に記載の撮像装置。
【請求項６】
ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している前記一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、前記二次画像データ生成部は、前記混信除去処理は実施せず、飽和していない前記一次画像データの画素値、及び、飽和していない前記一次画像データの混信比率に基づいて、処理対象とする画素における前記二次画像データの画素値を算出する、
請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
ｍ＝ｋの場合、前記二次画像データ生成部は、処理対象とする画素における前記二次画像データの画素値を飽和値とする、
請求項６に記載の撮像装置。
【請求項８】
前記受光センサは、
光電変換素子と、
前記撮影レンズの射出瞳の像を前記光電変換素子に結像させるマイクロレンズと、
前記マイクロレンズと前記受光センサとの間に配置される遮光マスクと、
を備え、前記遮光マスクの形状が異なることにより、受光感度が異なる、
請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記受光センサは、
フィルタを備え、前記フィルタの透過率が異なることにより、受光感度が異なる、
請求項１から７のいずれか１項に記載の撮像装置。
【請求項１０】
ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、
混信比率の異なるｎ個以上の受光センサを各画素に備えたイメージセンサと、
異なる露出値で前記イメージセンサを複数回露光させる露光制御部と、
露光ごとに前記イメージセンサの各画素の前記各受光センサから出力される画像信号を取得し、ｍ＞ｎとなるｍ個の一次画像データを生成する一次画像データ生成部と、
前記一次画像データから画素値が飽和している画素を検出する飽和画素検出部と、
ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部であって、画素値が飽和している前記一次画像データを処理対象に含む場合、画素値が飽和している前記一次画像データを除外し、残りの前記一次画像データに混信除去処理を施して、前記二次画像データを生成する二次画像データ生成部と、
を備えた撮像装置。
【請求項１１】
前記一次画像データの画素値をA1、A2、…、Am、前記二次画像データの画素値をB1、B2、…、Bn、前記各一次画像データに対応する前記受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、前記各一次画像データの露光時の露出値に応じた係数をe1、e2、…、emとした場合に、
前記二次画像データ生成部は、前記混信除去処理として、次の連立方程式
A1=e1*C11*B1+e1*C12*B2+…+e1*C1n*Bn
A2=e2*C21*B1+e2*C22*B2+…+e2*C2n*Bn
…
Am=em*Cm1*B1+em*Cm2*B2+…+em*Cmn*Bn
を解いて、前記二次画像データを生成し、
処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記連立方程式を立て、前記二次画像データを生成する、
請求項１０に記載の撮像装置。
【請求項１２】
前記各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、前記各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記各一次画像データに対応する前記受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと前記各一次画像データの露光時の露出値に応じた係数e1、e2、…、emとの積e1*C1＝e1*C11：e1*C12：…：e1*C1n、e2*C2＝e2*C21：e2*C22：…：e2*C2n、…、em*Cm＝em*Cm1：em*Cm2：…：em*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、前記二次画像データ生成部は、前記混信除去処理として、次の行列方程式
Ｂ=Ｔ-1*Ａ
を解いて、前記二次画像データを生成し、
処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記行列方程式を立て、前記二次画像データを生成する、
請求項１０に記載の撮像装置。
【請求項１３】
前記逆行列Ｔ-1の情報を記憶した逆行列情報記憶部を更に備え、
前記二次画像データ生成部は、前記逆行列情報記憶部に記憶された前記逆行列Ｔ-1の情報を利用して、前記行列方程式を解く、
請求項１２に記載の撮像装置。
【請求項１４】
前記逆行列情報記憶部は、前記画素ごとの前記逆行列Ｔ-1の情報を記憶する、
請求項１３に記載の撮像装置。
【請求項１５】
ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している前記一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、前記二次画像データ生成部は、前記混信除去処理は実施せず、飽和していない前記一次画像データの画素値、及び、飽和していない前記一次画像データの混信比率に基づいて、処理対象とする画素における前記二次画像データの画素値を算出する、
請求項１０から１４のいずれか１項に記載の撮像装置。
【請求項１６】
ｍ＝ｋの場合、前記二次画像データ生成部は、処理対象とする画素における前記二次画像データの画素値を飽和値とする、
請求項１５に記載の撮像装置。
【請求項１７】
前記撮影レンズに備えられる複数の前記光学系は、互いに焦点距離が異なる、
請求項１から１６のいずれか１項に記載の撮像装置。
【請求項１８】
前記撮影レンズに備えられる複数の前記光学系は、互いに合焦距離が異なる、
請求項１から１６のいずれか１項に記載の撮像装置。
【請求項１９】
前記撮影レンズに備えられる複数の前記光学系は、互いに透過波長特性の異なる、
請求項１から１６のいずれか１項に記載の撮像装置。
【請求項２０】
前記撮影レンズに備えられる複数の前記光学系は、互いに同心状に配置される、
請求項１から１９のいずれか１項に記載の撮像装置。
【請求項２１】
ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率及び受光感度の組み合わせが異なるｍ個の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置を用いる画像データ生成方法であって、
前記イメージセンサを露光する工程と、
前記イメージセンサの各画素の前記各受光センサから出力される画像信号を取得し、ｍ個の一次画像データを生成する工程と、
前記一次画像データから画素値が飽和している画素を検出する工程と、
ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する工程であって、画素値が飽和している前記一次画像データを処理対象に含む場合、画素値が飽和している前記一次画像データを除外し、残りの前記一次画像データに混信除去処理を施して、前記二次画像データを生成する工程と、
を備えた画像データ生成方法。
【請求項２２】
前記一次画像データの画素値をA1、A2、…、Am、前記二次画像データの画素値をB1、B2、…、Bn、前記各受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、前記各受光センサの受光感度に応じた係数をs1、s2、
…、smとした場合に、
前記二次画像データを生成する工程は、前記混信除去処理として、次の連立方程式
A1=s1*C11*B1+s1*C12*B2+…+s1*C1n*Bn
A2=s2*C21*B1+s2*C22*B2+…+s2*C2n*Bn
…
Am=sm*Cm1*B1+sm*Cm2*B2+…+sm*Cmn*Bn
を解いて、前記二次画像データを生成し、
処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記連立方程式を立て、前記二次画像データを生成する、
請求項２１に記載の画像データ生成方法。
【請求項２３】
前記各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、前記各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記各受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと前記各受光センサの受光感度に応じた係数s1、s2、…、smとの積s1*C1＝s1*C11：s1*C12：…：s1*C1n、s2*C2＝s2*C21：s2*C22：…：s2*C2n、…、sm*Cm＝sm*Cm1：sm*Cm2：…：sm*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、前記二次画像データを生成する工程は、前記混信除去処理として、次の行列方程式
Ｂ=Ｔ-1*Ａ
を解いて、前記二次画像データを生成し、
処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記行列方程式を立て、前記二次画像データを生成する、
請求項２１に記載の画像データ生成方法。
【請求項２４】
ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している前記一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、前記二次画像データを生成する工程は、前記混信除去処理は実施せず、飽和していない前記一次画像データの画素値、及び、飽和していない前記一次画像データの混信比率に基づいて、処理対象とする画素における前記二次画像データの画素値を算出する、
請求項２１から２３のいずれか１項に記載の画像データ生成方法。
【請求項２５】
ｍ＝ｋの場合、前記二次画像データを生成する工程は、処理対象とする画素における前記二次画像データの画素値を飽和値とする、
請求項２４に記載の画像データ生成方法。
【請求項２６】
ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、混信比率の異なるｎ個以上の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置を用いる画像データ生成方法であって、
異なる露出値で前記イメージセンサを複数回露光する工程と、
露光ごとに前記イメージセンサの各画素の前記各受光センサから出力される画像信号を取得し、ｍ＞ｎとなるｍ個の一次画像データを生成する工程と、
前記一次画像データから画素値が飽和している画素を検出する工程と、
ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する工程であって、画素値が飽和している前記一次画像データを処理対象に含む場合、画素値が飽和している前記一次画像データを除外し、残りの前記一次画像データに混信除去処理を施して、前記二次画像データを生成する工程と、
を備えた画像データ生成方法。
【請求項２７】
前記一次画像データの画素値をA1、A2、…、Am、前記二次画像データの画素値をB1、B2、…、Bn、前記各一次画像データに対応する前記受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、前記各一次画像データの露光時の露出値に応じた係数をe1、e2、…、emとした場合に、
前記二次画像データを生成する工程は、前記混信除去処理として、次の連立方程式
A1=e1*C11*B1+e1*C12*B2+…+e1*C1n*Bn
A2=e2*C21*B1+e2*C22*B2+…+e2*C2n*Bn
…
Am=em*Cm1*B1+em*Cm2*B2+…+em*Cmn*Bn
を解いて、前記二次画像データを生成し、
処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記連立方程式を立て、前記二次画像データを生成する、
請求項２６に記載の画像データ生成方法。
【請求項２８】
前記各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、前記各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記各一次画像データに対応する前記受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと前記各一次画像データの露光時の露出値に応じた係数e1、e2、…、emとの積e1*C1＝e1*C11：e1*C12：…：e1*C1n、e2*C2＝e2*C21：e2*C22：…：e2*C2n、…、em*Cm＝em*Cm1：em*Cm2：…：em*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、前記二次画像データを生成する工程は、前記混信除去処理として、次の行列方程式
Ｂ=Ｔ-1*Ａ
を解いて、前記二次画像データを生成し、
処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記行列方程式を立て、前記二次画像データを生成する、
請求項２６に記載の画像データ生成方法。
【請求項２９】
ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している前記一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、前記二次画像データを生成する工程は、前記混信除去処理は実施せず、飽和していない前記一次画像データの画素値、及び、飽和していない前記一次画像データの混信比率に基づいて、処理対象とする画素における前記二次画像データの画素値を算出する、
請求項２６から２８のいずれか１項に記載の画像データ生成方法。
【請求項３０】
ｍ＝ｋの場合、前記二次画像データを生成する工程は、処理対象とする画素における前記二次画像データの画素値を飽和値とする、
請求項２９に記載の画像データ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及び、画像データ生成方法に係り、特に、複数の光学系を備えた撮影レンズ、及び、各受光センサが光の入射角に関して指向性を有するイメージセンサを使用することにより、一度に複数の画像を撮像可能な撮像装置、及び、画像データ生成方法に関する。
【背景技術】
【０００２】
複数の光学系を備えた撮影レンズ、及び、各受光センサが光の入射角に関して指向性を有するイメージセンサを使用することにより、一度に複数の画像を撮像可能な撮像装置が知られている（たとえば、特許文献１）。この撮像装置では、撮影レンズの各光学系を通過する光をイメージセンサの各受光センサで選択的に受光することにより、各光学系に対応した画像を撮像する。しかし、各光学系からの光を各受光センサで完全に分離して受光することは難しい。この結果、混信（クロストーク）が生じる。混信とは、他の光学系からの光が混入して受光される現象である。混信が生じると、他の光学系の画像が重畳した画像が撮像される（図１３及び図１４参照）。特許文献２、３には、撮影により得られた各光学系の画像を相互に利用し、信号処理によって各画像から混信の影響を除去する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１３／０１８４７１号
【特許文献２】国際公開第２０１３／１４６５０６号
【特許文献３】特開２０１４−１７８１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
イメージセンサは、露光量に比例した信号（電圧）を出力する。しかし、線形性が保たれる範囲は有限であり、飽和露光量を超えて露光すると、出力は一定となる。【０００５】
一方、混信の影響を除去する処理は、各光学系の画像を相互に利用して行われる。このため、各光学系の画像に一部でも飽和が生じていると、正しく混信の影響を除去できず、却って画像品質が低下するという問題がある（図４２参照）。【０００６】
本発明は、このような事情に鑑みてなされたもので、混信の影響を低減して高品質な画像を得られる撮像装置、及び、画像データ生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
課題を解決するための手段は、次のとおりである。【０００８】
（１）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率及び受光感度の組み合わせが異なるｍ個の受光センサを各画素に備えたイメージセンサと、イメージセンサの各画素の各受光センサから出力される画像信号を取得し、ｍ個の一次画像データを生成する一次画像データ生成部と、一次画像データから画素値が飽和している画素を検出する飽和画素検出部と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部であって、画素値が飽和している一次画像データを処理対象に含む場合、画素値が飽和している一次画像データを除外し、残りの一次画像データに混信除去処理を施して、二次画像データを生成する二次画像データ生成部と、を備えた撮像装置。【０００９】
本態様によれば、イメージセンサの各画素に混信比率及び受光感度の組み合わせが異なるｍ個の受光センサが備えられる。これにより、1回の露光でｍ個の画像データを生成できる。すなわち、各画素から対応する受光センサの出力を取得することにより、ｍ個の画像データを生成できる。この画像データを一次画像データとする。各光学系に対応した画像データ（二次画像データ）は、このｍ個の一次画像データから生成される。すなわち、ｍ個の一次画像データに対して混信除去処理を施すことにより生成される。混信除去処理は、画素単位で行われる。処理の際、画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して混信除去処理が行われる。これにより、正確に混信の影響を除去でき、高品質な画像を生成できる。また、各画素に受光感度の異なる受光センサを備えることにより、ダイナミックレンジも拡大できる。【００１０】
なお、「混信比率」とは、各光学系から受光する光の割合のことをいう。たとえば、撮影レンズに３つの光学系が備えられているとする。３つの光学系を第１光学系、第２光学系、第３光学系とする。受光センサにおける混信比率が、第１光学系：第２光学系：第３光学系＝０．８：０．１：０．１であるとする。この場合、受光センサには、全受光量を１とすると、第１光学系から０．８、第２光学系から０．１、第３光学系から０．１の割合で光が受光される。すなわち、受光センサで受光される光のうち８割が第１光学系からの光、１割が第２光学系からの光、１割が第３光学系からの光となる。【００１１】
「混信比率が異なる」とは、各光学系から受光する光の割合が異なる、ということである。したがって、「混信比率が異なる受光センサ」とは、各光学系から受光される光の割合が異なる受光センサのことである。【００１２】
また、「受光感度が異なる受光センサ」とは、単位入射光量当たりで発生する出力信号（電圧）が異なる受光センサのことである。【００１３】
また、「混信除去処理」とは、画像から混信の影響を除去する処理のことである。混信が生じると、他の光学系の画像が重畳した画像が撮像される。混信除去処理により、他の光学系の画像を分離し、除去する。【００１４】
さらに、「撮像特性」とは、撮像に関わる性質のことをいい、「撮像特性の異なる光学系」とは、撮像に関わる性質が互いに異なる光学系のことをいう。たとえば、焦点距離の異なる光学系、合焦距離の異なる光学系、透過波長特性の異なる光学系などである。【００１５】
（２）一次画像データの画素値をA1、A2、…、Am、二次画像データの画素値をB1、B2、…、Bn、各受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、各受光センサの受光感度に応じた係数をs1、s2、…、smとした場合に、二次画像データ生成部は、混信除去処理として、次の連立方程式
A1=s1*C11*B1+s1*C12*B2+…+s1*C1n*Bn
A2=s2*C21*B1+s2*C22*B2+…+s2*C2n*Bn
…
Am=sm*Cm1*B1+sm*Cm2*B2+…+sm*Cmn*Bn
を解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して連立方程式を立て、二次画像データを生成する、（１）の撮像装置。【００１６】
本態様によれば、混信除去処理として、所定の連立方程式を解く処理が行われる。連立方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して連立方程式が立てられる。【００１７】
（３）各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、各受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと各受光センサの受光感度に応じた係数s1、s2、…、smとの積s1*C1＝s1*C11：s1*C12：…：s1*C1n、s2*C2＝s2*C21：s2*C22：…：s2*C2n、…、sm*Cm＝sm*Cm1：sm*Cm2：…：sm*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、二次画像データ生成部は、混信除去処理として、次の行列方程式Ｂ=Ｔ-1*Ａを解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して行列方程式を立て、二次画像データを生成する、（１）の撮像装置。【００１８】
本態様によれば、混信除去処理として、所定の行列方程式を解く処理が行われる。行列方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して行列方程式が立てられる。【００１９】
（４）逆行列Ｔ-1の情報を記憶した逆行列情報記憶部を更に備え、二次画像データ生成部は、逆行列情報記憶部に記憶された逆行列Ｔ-1の情報を利用して、行列方程式を解く、（３）の撮像装置。【００２０】
本態様によれば、逆行列情報記憶部に記憶された逆行列Ｔ-1の情報を利用して、行列方程式が解かれる。【００２１】
（５）逆行列情報記憶部は、画素ごとの逆行列Ｔ-1の情報を記憶する、（４）の撮像装置。【００２２】
本態様によれば、画素ごとに逆行列Ｔ-1の情報が記憶される。これにより、より正確に混信の影響を除去できる。【００２３】
（６）ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、二次画像データ生成部は、混信除去処理は実施せず、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、処理対象とする画素における二次画像データの画素値を算出する、（１）から（５）のいずれか１の撮像装置。【００２４】
本態様によれば、画素値が飽和している一次画像データを除外した結果、処理対象とする画素における一次画像データの数（ｍ−ｋ）が、撮影レンズに備えられる光学系の数（ｎ）よりも少なくなる場合（（ｍ−ｋ）＜ｎ）、当該画素での混信除去処理が中止される。たとえば、撮影レンズに備えられる光学系の数（ｎ）が２、各画素に備えられる受光センサの数（ｍ）が４である場合において、特定の画素で３つの一次画像データの画素値が飽和している場合が該当する。この場合、当該画素については、混信除去処理が行われない。代替措置として、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、二次画像データの画素値が算出される。これにより、より適切に混信の影響を除去できる。なお、飽和していない一次画像データの混信比率は、当該一次画像データを生成した受光センサの混信比率となる。【００２５】
（７）ｍ＝ｋの場合、二次画像データ生成部は、処理対象とする画素における二次画像データの画素値を飽和値とする、（６）の撮像装置。【００２６】
本態様によれば、処理対処とする画素において、すべての受光センサが飽和している場合（ｍ＝ｋ）、当該画素における二次画像データの画素値が飽和値とされる。【００２７】
（８）受光センサは、光電変換素子と、撮影レンズの射出瞳の像を光電変換素子に結像させるマイクロレンズと、マイクロレンズと受光センサとの間に配置される遮光マスクと、を備え、遮光マスクの形状が異なることにより、受光感度が異なる、（１）から（７）のいずれか１の撮像装置。【００２８】
本態様によれば、遮光マスクの形状によって、個々の受光センサの受光感度が調整される。たとえば、開口のサイズを変えることにより、受光感度を調整できる。【００２９】
（９）受光センサは、フィルタを備え、フィルタの透過率が異なることにより、受光感度が異なる、（１）から（７）のいずれか１の撮像装置。【００３０】
本態様によれば、フィルタの透過率によって、個々の受光センサの受光感度が調整される。フィルタには、たとえば、ＮＤフィルタ（ＮＤ： Neutral Density）が使用され、そのＮＤフィルタの濃度（透過率）を変えることにより、個々の受光センサの受光感度が調整される。【００３１】
（１０）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、混信比率の異なるｎ個以上の受光センサを各画素に備えたイメージセンサと、異なる露出値でイメージセンサを複数回露光させる露光制御部と、露光ごとにイメージセンサの各画素の各受光センサから出力される画像信号を取得し、ｍ＞ｎとなるｍ個の一次画像データを生成する一次画像データ生成部と、一次画像データから画素値が飽和している画素を検出する飽和画素検出部と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部であって、画素値が飽和している一次画像データを処理対象に含む場合、画素値が飽和している一次画像データを除外し、残りの一次画像データに混信除去処理を施して、二次画像データを生成する二次画像データ生成部と、を備えた撮像装置。【００３２】
本態様によれば、１回の撮像指示に対して、複数回露光される。露光は、毎回露出値を変えて行われる。露出値を変えて複数回露光することにより、明るさの異なる画像データを複数個取得できる。これらの画像データは、混信比率及び受光感度の組み合わせが異なる画像データとなる。たとえば、混信比率の異なる２つの受光センサを各画素に備えたイメージセンサの場合、露出値を変えて２回撮像すると、４個の画像データを生成できる。この画像データを一次画像データとする。各光学系に対応した画像データ（二次画像データ）は、このｍ個の一次画像データから生成される。すなわち、ｍ個の一次画像データに対して混信除去処理を施すことにより生成される。混信除去処理は、画素単位で行われる。処理の際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して混信除去処理が行われる。これにより、正確に混信の影響を除去でき、高品質な画像を得られる。また、各画素に受光感度の異なる受光センサを備えることにより、ダイナミックレンジも拡大できる。【００３３】
なお、「露出値」とは、露出の明るさを示す数値である。露出値は、撮影レンズの絞り（Ｆ値）、露光時間（シャッタースピード）、及び、感度の組み合わせによって決まる。【００３４】
（１１）一次画像データの画素値をA1、A2、…、Am、二次画像データの画素値をB1、B2、…、Bn、各一次画像データに対応する受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、各一次画像データの露光時の露出値に応じた係数をe1、e2、…、emとした場合に、二次画像データ生成部は、混信除去処理として、次の連立方程式
A1=e1*C11*B1+e1*C12*B2+…+e1*C1n*Bn
A2=e2*C21*B1+e2*C22*B2+…+e2*C2n*Bn
…
Am=em*Cm1*B1+em*Cm2*B2+…+em*Cmn*Bn
を解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して連立方程式を立て、二次画像データを生成する、（１０）の撮像装置。【００３５】
本態様によれば、混信除去処理として、所定の連立方程式を解く処理が行われる。連立方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して連立方程式が立てられる。【００３６】
（１２）各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、各一次画像データに対応する受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと各一次画像データの露光時の露出値に応じた係数e1、e2、…、emとの積e1*C1＝e1*C11：e1*C12：…：e1*C1n、e2*C2＝e2*C21：e2*C22：…：e2*C2n、…、em*Cm＝em*Cm1：em*Cm2：…：em*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、二次画像データ生成部は、混信除去処理として、次の行列方程式Ｂ=Ｔ-1*Ａを解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して行列方程式を立て、二次画像データを生成する、（１０）の撮像装置。【００３７】
本態様によれば、混信除去処理として、所定の行列方程式を解く処理が行われる。行列方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して行列方程式が立てられる。【００３８】
（１３）逆行列Ｔ-1の情報を記憶した逆行列情報記憶部を更に備え、二次画像データ生成部は、逆行列情報記憶部に記憶された逆行列Ｔ-1の情報を利用して、行列方程式を解く、（１２）の撮像装置。【００３９】
本態様によれば、逆行列情報記憶部に記憶された逆行列Ｔ-1の情報を利用して、行列方程式が解かれる。【００４０】
（１４）逆行列情報記憶部は、画素ごとの逆行列Ｔ-1の情報を記憶する、（１３）の撮像装置。【００４１】
本態様によれば、画素ごとに逆行列Ｔ-1の情報が記憶される。これにより、より正確に混信の影響を除去できる。【００４２】
（１５）ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している前記一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、二次画像データ生成部は、混信除去処理は実施せず、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、処理対象とする画素における二次画像データの画素値を算出する、（１０）から（１４）のいずれか１の撮像装置。【００４３】
本態様によれば、画素値が飽和している一次画像データを除外した結果、処理対象とする画素における一次画像データの数（ｍ−ｋ）が、撮影レンズに備えられる光学系の数（ｎ）よりも少なくなる場合（（ｍ−ｋ）＜ｎ）、当該画素での混信除去処理が中止される。代替措置として、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、二次画像データの画素値が算出される。これにより、より適切に混信の影響を除去できる。【００４４】
（１６）ｍ＝ｋの場合、二次画像データ生成部は、処理対象とする画素における二次画像データの画素値を飽和値とする、（１５）の撮像装置。【００４５】
本態様によれば、処理対処とする画素において、すべての受光センサが飽和している場合（ｍ＝ｋ）、当該画素における二次画像データの画素値が飽和値とされる。【００４６】
（１７）撮影レンズに備えられる複数の光学系は、互いに焦点距離が異なる、（１）から（１６）のいずれか１の撮像装置。【００４７】
本態様によれば、撮影レンズに備えられる各光学系が、互いに焦点距離の異なる光学系で構成される。これにより、たとえば、望遠画像と広角画像のように、互いに焦点距離の異なる画像を撮像できる。【００４８】
（１８）撮影レンズに備えられる複数の光学系は、互いに合焦距離が異なる、（１）から（１６）のいずれか１の撮像装置。【００４９】
本態様によれば、撮影レンズに備えられる各光学系が、互いに合焦距離の異なる光学系で構成される。これにより、近距離の被写体に合焦した画像と遠距離の被写体に合焦した画像のように、互いに合焦距離の異なる画像を撮像できる。【００５０】
（１９）撮影レンズに備えられる複数の光学系は、互いに透過波長特性の異なる、（１）から（１６）のいずれか１の撮像装置。【００５１】
本態様によれば、撮影レンズに備えられる各光学系が、互いに透過波長特性の異なる光学系で構成される。「透過波長特性」とは、特定の波長域の光を透過させる性質のことをいい、「透過波長特性の異なる光学系」とは、特定の波長域の光を透過させる性質が互いに異なる光学系のことをいう。たとえば、撮影レンズが２つの光学系で構成される場合において、一方の光学系が赤外光領域の光を透過させる光学系で構成され、他方の光学系が可視光領域の光を透過させる光学系で構成される場合である。【００５２】
（２０）撮影レンズに備えられる複数の光学系は、互いに同心状に配置される、（１）から（１９）のいずれか１の撮像装置。【００５３】
本態様によれば、撮影レンズは、複数の光学系を同心状に配置して構成される。【００５４】
（２１）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率及び受光感度の組み合わせが異なるｍ個の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置の画像データ生成方法であって、イメージセンサを露光する工程と、イメージセンサの各画素の各受光センサから出力される画像信号を取得し、ｍ個の一次画像データを生成する工程と、一次画像データから画素値が飽和している画素を検出する工程と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する工程であって、画素値が飽和している一次画像データを処理対象に含む場合、画素値が飽和している一次画像データを除外し、残りの一次画像データに混信除去処理を施して、二次画像データを生成する工程と、を備えた撮像装置の画像データ生成方法。【００５５】
本態様によれば、混信比率及び受光感度の組み合わせが異なるｍ個の受光センサが、イメージセンサの各画素に備えられる。この受光センサの数（ｍ）は、撮影レンズに備えられる光学系の数（ｎ）よりも多くされる。露光により受光センサが飽和した場合は、飽和した受光センサを除いた残りの受光センサの出力に基づいて、混信除去処理が行われ、二次画像データが生成される。これにより、正確に混信の影響を除去でき、高品質な画像を得られる。また、各画素に受光感度の異なる受光センサを備えることにより、ダイナミックレンジも拡大できる。【００５６】
（２２）一次画像データの画素値をA1、A2、…、Am、二次画像データの画素値をB1、B2、…、Bn、各受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、各受光センサの受光感度に応じた係数をs1、s2、…、smとした場合に、二次画像データを生成する工程は、混信除去処理として、次の連立方程式
A1=s1*C11*B1+s1*C12*B2+…+s1*C1n*Bn
A2=s2*C21*B1+s2*C22*B2+…+s2*C2n*Bn
…
Am=sm*Cm1*B1+sm*Cm2*B2+…+sm*Cmn*Bn
を解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して連立方程式を立て、二次画像データを生成する、（２１）の撮像装置の画像データ生成方法。【００５７】
本態様によれば、混信除去処理として、所定の連立方程式を解く処理が行われる。連立方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して連立方程式が立てられる。【００５８】
（２３）各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、各受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと各受光センサの受光感度に応じた係数s1、s2、…、smとの積s1*C1＝s1*C11：s1*C12：…：s1*C1n、s2*C2＝s2*C21：s2*C22：…：s2*C2n、…、sm*Cm＝sm*Cm1：sm*Cm2：…：sm*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、二次画像データを生成する工程は、混信除去処理として、次の行列方程式Ｂ=Ｔ-1*Ａを解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して行列方程式を立て、二次画像データを生成する、（２１）の撮像装置の画像データ生成方法。【００５９】
本態様によれば、混信除去処理として、所定の行列方程式を解く処理が行われる。行列方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して行列方程式が立てられる。【００６０】
（２４）ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、二次画像データを生成する工程は、混信除去処理は実施せず、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、処理対象とする画素における二次画像データの画素値を算出する、（２１）から（２３）のいずれか１の撮像装置の画像データ生成方法。【００６１】
本態様によれば、画素値が飽和している一次画像データを除外した結果、処理対象とする画素における一次画像データの数（ｍ−ｋ）が、撮影レンズに備えられる光学系の数（ｎ）よりも少なくなる場合（（ｍ−ｋ）＜ｎ）、当該画素での混信除去処理が中止される。この場合、代替措置として、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、二次画像データの画素値が算出される。これにより、より適切に混信の影響を除去できる。【００６２】
（２５）ｍ＝ｋの場合、二次画像データを生成する工程は、処理対象とする画素における二次画像データの画素値を飽和値とする、（２４）の撮像装置の画像データ生成方法。【００６３】
本態様によれば、処理対処とする画素において、すべての受光センサが飽和している場合（ｍ＝ｋ）、当該画素における二次画像データの画素値が飽和値とされる。【００６４】
（２６）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、混信比率の異なるｎ個以上の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置の画像データ生成方法であって、異なる露出値でイメージセンサを複数回露光する工程と、露光ごとにイメージセンサの各画素の各受光センサから出力される画像信号を取得し、ｍ＞ｎとなるｍ個の一次画像データを生成する工程と、一次画像データから画素値が飽和している画素を検出する工程と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する工程であって、画素値が飽和している一次画像データを処理対象に含む場合、画素値が飽和している一次画像データを除外し、残りの一次画像データに混信除去処理を施して、二次画像データを生成する工程と、を備えた撮像装置の画像データ生成方法。【００６５】
本態様によれば、１回の撮像指示に対して、複数回露光される。露光は、毎回露出値を変えて行われる。露出値を変えて複数回露光することにより、明るさの異なる画像データを複数個取得できる。これらの画像データは、混信比率及び受光感度の組み合わせが異なる画像データとなる。この画像データを一次画像データとする。各光学系に対応した画像データ（二次画像データ）は、このｍ個の一次画像データから生成される。すなわち、ｍ個の一次画像データに対して混信除去処理を施すことにより生成される。混信除去処理は、画素単位で行われる。処理の際、画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して混信除去処理が行われる。これにより、正確に混信の影響を除去でき、高品質な画像を得られる。また、各画素に受光感度の異なる受光センサを備えることにより、ダイナミックレンジも拡大できる。【００６６】
（２７）一次画像データの画素値をA1、A2、…、Am、二次画像データの画素値をB1、B2、…、Bn、各一次画像データに対応する受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、各一次画像データの露光時の露出値に応じた係数をe1、e2、…、emとした場合に、二次画像データを生成する工程は、混信除去処理として、次の連立方程式
A1=e1*C11*B1+e1*C12*B2+…+e1*C1n*Bn
A2=e2*C21*B1+e2*C22*B2+…+e2*C2n*Bn
…
Am=em*Cm1*B1+em*Cm2*B2+…+em*Cmn*Bn
を解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して連立方程式を立て、二次画像データを生成する、（２６）の撮像装置の画像データ生成方法。【００６７】
本態様によれば、混信除去処理として、所定の連立方程式を解く処理が行われる。連立方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して連立方程式が立てられる。【００６８】
（２８）各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、各一次画像データに対応する受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと各一次画像データの露光時の露出値に応じた係数e1、e2、…、emとの積e1*C1＝e1*C11：e1*C12：…：e1*C1n、e2*C2＝e2*C21：e2*C22：…：e2*C2n、…、em*Cm＝em*Cm1：em*Cm2：…：em*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、二次画像データを生成する工程は、混信除去処理として、次の行列方程式Ｂ=Ｔ-1*Ａを解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して行列方程式を立て、二次画像データを生成する、（２６）の撮像装置の画像データ生成方法。【００６９】
本態様によれば、混信除去処理として、所定の行列方程式を解く処理が行われる。行列方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して行列方程式が立てられる。【００７０】
（２９）ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、二次画像データを生成する工程は、混信除去処理は実施せず、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、処理対象とする画素における二次画像データの画素値を算出する、（２６）から（２８）のいずれか１の撮像装置の画像データ生成方法。【００７１】
本態様によれば、画素値が飽和している一次画像データを除外した結果、処理対象とする画素における一次画像データの数（ｍ−ｋ）が、撮影レンズに備えられる光学系の数（ｎ）よりも少なくなる場合（（ｍ−ｋ）＜ｎ）、当該画素での混信除去処理が中止される。代替措置として、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、二次画像データの画素値が算出される。これにより、より適切に混信の影響を除去できる。【００７２】
（３０）ｍ＝ｋの場合、二次画像データを生成する工程は、処理対象とする画素における二次画像データの画素値を飽和値とする、（２９）の撮像装置の画像データ生成方法。【００７３】
本態様によれば、処理対処とする画素において、すべての受光センサが飽和している場合（ｍ＝ｋ）、当該画素における二次画像データの画素値が飽和値とされる。
【発明の効果】
【００７４】
本発明によれば、混信の影響を低減して高品質な画像を得られる。
【図面の簡単な説明】
【００７５】
【図１】撮像装置のシステム構成を示すブロック図
【図２】撮影レンズの概略構成を示す正面図
【図３】図２の３−３断面図
【図４】第１光学系の概略構成を示す断面図
【図５】第２光学系の概略構成を示す断面図
【図６】イメージセンサの受光面の正面図
【図７】イメージセンサの１つの画素を拡大した正面図
【図８】受光センサの概略構成を示す断面図
【図９】受光センサの概略構成を示す断面図
【図１０】第１受光センサ及び第２受光センサにおける入射光量と出力信号との関係を示すグラフ
【図１１】イメージセンサの出力から４個の一次画像データを生成する概念図
【図１２】イメージセンサの出力から個々の一次画像データを生成する概念図
【図１３】第１の一次画像データＦＩ１が表わす画像の一例を示す図
【図１４】第２の一次画像データＦＩ２が表わす画像の一例を示す図
【図１５】第１の二次画像データＳＩ１が表わす画像を示す図
【図１６】第２の二次画像データＳＩ２が表わす画像を示す図
【図１７】第１の一次画像データの構成の概念図
【図１８】第２の一次画像データの構成の概念図
【図１９】一次画像データと二次画像データとの関係を行列で表現した概念図
【図２０】一次画像データと二次画像データとの関係を示す行列方程式
【図２１】逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図
【図２２】逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式
【図２３】一次画像データと二次画像データとの関係を示す概念図
【図２４】一次画像データと二次画像データとの関係を行列で表現した概念図
【図２５】一次画像データと二次画像データとの関係を示す行列方程式
【図２６】逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図
【図２７】逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式
【図２８】処理対象とする画素に画素値が飽和している一次画像データを含む場合の一次画像データと二次画像データとの関係を示す概念図
【図２９】第１の一次画像データを除いた場合の一次画像データと二次画像データとの関係を行列で表現した概念図
【図３０】第１の一次画像データを除いた場合の一次画像データと二次画像データ
【図３１】逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図
【図３２】逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式
【図３３】二次画像データの生成処理の手順を示すフローチャート
【図３４】デジタル信号処理部が備える機能のブロック図
【図３５】処理対象とする画素に画素値が飽和している一次画像データを含む場合の処理の手順を示すフローチャート
【図３６】第２の実施の形態の撮像装置のシステム構成を示すブロック図
【図３７】イメージセンサの一部を拡大した正面図
【図３８】デジタル信号処理部が備える機能のブロック図
【図３９】第２の実施の形態の撮像装置による画像データの生成処理の手順を示すフローチャート
【図４０】一次画像データの生成の概念図
【図４１】本発明に係る画像データ生成方法で生成した二次画像データが表わす画像
【図４２】従来の方法で生成した二次画像データが表わす画像
【発明を実施するための形態】
【００７６】
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
【００７７】
［第１の実施の形態］
《撮像装置の装置構成》
図１は、撮像装置のシステム構成を示すブロック図である。
【００７８】
撮像装置１は、主として、撮影レンズ１０と、イメージセンサ１００と、レンズ駆動制御部２１０と、イメージセンサ駆動制御部２１２と、アナログ信号処理部２１４と、デジタル信号処理部２１６と、表示部２１８と、ワークメモリ２２０と、記憶部２２２と、メディアインターフェース２２４と、システム制御部２２６と、操作部２２８と、を備えて構成される。
【００７９】
〈撮影レンズ〉
図２は、撮影レンズの概略構成を示す正面図である。図３は、図２の３−３断面図である。
【００８０】
撮影レンズ１０は、２つの光学系２０及び３０を備える。２つの光学系２０及び３０は、同心状に配置される。したがって、各光学系２０及び３０は、同じ光軸Ｌを有する。以下、中央の光学系２０を第１光学系、外周の光学系３０を第２光学系と称して、各光学系を区別する。
【００８１】
第１光学系２０及び第２光学系３０は、互いに焦点距離の異なる光学系で構成される。第１光学系２０は、広角の光学系で構成され、第２光学系３０は、望遠の光学系で構成される。ここで、広角の光学系とは、標準の光学系（画角が５０°前後の光学系）よりも焦点距離の短い光学系をいう。また、望遠の光学系とは、標準の光学系よりも焦点距離の長い光学系をいう。
【００８２】
〔第１光学系〕
図４は、第１光学系の概略構成を示す断面図である。なお、同図において、破線は、第１光学系２０を通る光の光線軌跡を示している。
【００８３】
図４に示すように、第１光学系２０は、３群８枚のレンズで構成される。第１光学系２０は、第２レンズ群と第３レンズ群との間に絞り２２を有する。絞り２２は、環状の遮光部を有する。絞り２２は、環状の遮光部の内径を拡縮させて、第１光学系２０を通る光の光量を調節する。
【００８４】
〔第２光学系〕
図５は、第２光学系の概略構成を示す断面図である。なお、同図において、破線は、第２光学系３０を通る光の光線軌跡を示している。
【００８５】
図５に示すように、第２光学系３０は、いわゆる反射光学系で構成される。第２光学系３０は、第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃ、主鏡３０ｄ、及び、副鏡３０ｅを備える。第２光学系３０は、第１光学系２０の外周に配置されるため、各構成要素は環状に形成される。
【００８６】
第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃは、物体側から第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃの順で光軸Ｌに沿って配置される。
【００８７】
主鏡３０ｄは、第３レンズ３０ｃの像面側の面に備えられる。主鏡３０ｄは、第３レンズ３０ｃの像面側の面に反射膜を形成することにより、第３レンズ３０ｃに一体的に備えられる。主鏡３０ｄは、第３レンズ３０ｃの像面側の面の全面に備えられる。
【００８８】
副鏡３０ｅは、第２レンズ３０ｂの像面側の面に備えられる。副鏡３０ｅは、第２レンズ３０ｂの像面側の面に反射膜を形成することにより、第２レンズ３０ｂに一体的に備えられる。副鏡３０ｅは、第２レンズ３０ｂの像面側の面の内周部分に備えられる。
【００８９】
第２光学系３０に入射した光は、第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃを通過して、主鏡３０ｄに入射する。主鏡３０ｄに入射した光は、主鏡３０ｄで反射し、再び第３レンズ３０ｃを通って副鏡３０ｅに入射する。副鏡３０ｅに入射した光は、副鏡３０ｅで反射して出射する。
【００９０】
第２光学系３０は、副鏡３０ｅの後段に絞り３２を有する。絞り３２は、環状の遮光部を有する。絞り３２は、環状の遮光部の外径を拡縮させて、第２光学系３０を通る光の光量を調整する。
【００９１】
〔共通レンズ〕
撮影レンズ１０は、第１光学系２０及び第２光学系３０で共用される共通レンズ４０を有する。第１光学系２０及び第２光学系３０を通過した光は、それぞれ共通レンズ４０を介してイメージセンサ１００に入射する。共通レンズ４０は、第１光学系２０及び第２光学系３０を介してイメージセンサ１００に入射する光の入射角度を調整する作用を有する。
【００９２】
〔焦点調節機構〕
第１光学系２０及び第２光学系３０は、各々独立して焦点調節される。第１光学系２０は、光学系の全体を光軸Ｌに沿って前後移動させることにより、焦点調節される。同様に、第２光学系３０は、光学系の全体を光軸Ｌに沿って前後移動させることにより、焦点調節される。図示されていないが、撮影レンズ１０には、第１光学系２０を光軸Ｌに沿って前後移動させるための機構（焦点調節機構）と、第２光学系３０を光軸Ｌに沿って前後移動させるための機構（焦点調節機構）と、が備えられる。
【００９３】
〈イメージセンサ〉
図６は、イメージセンサの受光面の正面図である。
【００９４】
イメージセンサ１００は、受光面に複数の画素１１０を備える。複数の画素１１０は、受光面に二次元マトリクス状に配列される。
【００９５】
図７は、イメージセンサの１つの画素を拡大した正面図である。なお、同図において、斜線は遮光マスクによるマスク領域を示している。遮光マスクについては後述する。
【００９６】
イメージセンサ１００は、１つの画素１１０に複数個の受光センサを備える。複数個の受光センサは、二次元マトリクス状に配列される。本実施の形態のイメージセンサ１００は、図７に示すように、１つの画素１１０に４個の受光センサ１２０ａ、１２０ｂ、１２０ｃ及び１２０ｄを備える。４個の受光センサ１２０ａ、１２０ｂ、１２０ｃ及び１２０ｄは、２行２列（２×２）の配列で二次元マトリクス状に配置される。以下、符号１２０ａの受光センサを第１受光センサ、符号１２０ｂの受光センサを第２受光センサ、符号１２０ｃの受光センサを第３受光センサ、符号１２０ｄの受光センサを第４受光センサと称し、必要に応じて４個の受光センサ１２０ａ、１２０ｂ、１２０ｃ及び１２０ｄを区別する。
【００９７】
４個の受光センサ１２０ａ、１２０ｂ、１２０ｃ及び１２０ｄは、互いに混信比率及び受光感度の組み合わせが異なる受光センサで構成される。
【００９８】
ここで、「混信比率が異なる受光センサ」とは、各光学系から受光される光の割合が異なる受光センサのことをいう。また、「受光感度が異なる受光センサ」とは、単位入射光量当たりで発生する出力信号（電圧）が異なる受光センサのことをいう。
【００９９】
本実施の形態のイメージセンサ１００では、第１受光センサ１２０ａ及び第３受光センサ１２０ｃが、主として第１光学系２０からの光を受光する受光センサで構成され、第２受光センサ１２０ｂ及び第４受光センサ１２０ｄが、主として第２光学系３０からの光を受光する受光センサで構成される。また、第１受光センサ１２０ａ及び第２受光センサ１２０ｂが高感度な受光センサで構成され、第３受光センサ１２０ｃ及び第４受光センサ１２０ｄが低感度な受光センサで構成される。
【０１００】
なお、「主として第１光学系２０からの光を受光する構成の受光センサ」とは、第１光学系２０からの光を高感度に受光する構成の受光センサを意味する。この場合、受光センサで受光される大部分が第１光学系２０からの光となる。同様に、「主として第２光学系３０からの光を受光する構成の受光センサ」とは、第２光学系３０からの光を高感度に受光する構成の受光センサを意味する。この場合、受光センサで受光される光の大部分が第２光学系３０からの光となる。
【０１０１】
第ｍ受光センサについて、混信比率をCm＝Cm1：Cm2で表わす。［Cm1：Cm2］は［第１光学系２０から受光される光の割合：第２光学系３０から受光される光の割合］の意味である。したがって、第１受光センサ１２０ａの混信比率は、C1＝C11：C12である。第２受光センサ１２０ｂの混信比率は、C2＝C21：C22である。第３受光センサ１２０ｃの混信比率は、C3＝C31：C32である。第４受光センサ１２０ｄの混信比率は、C4＝C41：C42である。
【０１０２】
第１受光センサ１２０ａは、主として第１光学系２０からの光を受光するので、その混信比率C1の関係はC11＞C12となる。同様に、第３受光センサ１２０ｃは、主として第１光学系２０からの光を受光するので、その混信比率C3の関係はC31＞C32となる。一方、第２受光センサ１２０ｂは、主として第２光学系３０からの光を受光するので、その混信比率C2の関係はC21＜C22となる。同様に、第４受光センサ１２０ｄは、主として第２光学系３０からの光を受光するので、その混信比率C4の関係はC41＜C42となる。
【０１０３】
また、ここでの「高感度」及び「低感度」は、相対的な意味での高感度及び低感度である。すなわち、第１受光センサ１２０ａ及び第２受光センサ１２０ｂが、第３受光センサ１２０ｃ及び第４受光センサ１２０ｄに対して高感度であることを意味する。あるいは、第３受光センサ１２０ｃ及び第４受光センサ１２０ｄが、第１受光センサ１２０ａ及び第２受光センサ１２０ｂに対して低感度であることを意味する。
【０１０４】
以上から、第１受光センサ１２０ａは、主として第１光学系２０からの光を受光し、かつ、高感度の受光センサで構成される。第２受光センサ１２０ｂは、主として第２光学系３０からの光を受光し、かつ、高感度の受光センサで構成される。第３受光センサ１２０ｃは、主として第１光学系２０からの光を受光し、かつ、低感度の受光センサで構成される。第４受光センサ１２０ｄは、主として第２光学系３０からの光を受光し、かつ、低感度の受光センサで構成される。
【０１０５】
各受光センサの混信比率は、各受光センサに備えられる遮光マスクの形状で調整される。また、各受光センサの受光感度は、各受光センサに備えられるフィルタの透過率で調整される。
【０１０６】
図８及び図９は、受光センサの概略構成を示す断面図である。図８は、図７の８−８断面に相当し、図９は、図７の９−９断面に相当する。なお、図８及び図９において、波線で示す領域Ｌ１は、第１光学系２０から入射する光を概念的に示しており、斜格子で示す領域Ｌ２は、第２光学系３０から入射する光を概念的に示している。
【０１０７】
各受光センサ１２０ａ〜１２０ｄの基本構成は同じである。各受光センサ１２０ａ〜１２０ｄは、光電変換素子１３０と、マイクロレンズ１３２と、遮光マスク１３４と、フィルタ１３６と、を備えて構成される。
【０１０８】
光電変換素子１３０は、光を受け、受けた光の強さに比例した電荷を蓄積する。光電変換素子１３０は、たとえば、フォトダイオードで構成される。
【０１０９】
マイクロレンズ１３２は、第１光学系２０及び第２光学系３０の射出瞳の像を光電変換素子１３０に結像させる。
【０１１０】
遮光マスク１３４は、マイクロレンズ１３２と光電変換素子１３０との間に配置される。遮光マスク１３４は、マイクロレンズ１３２を通過した光の一部を遮光する。受光センサは、遮光マスク１３４の形状を調整することにより、混信比率が調整される。
【０１１１】
上記のように、第１受光センサ１２０ａ及び第３受光センサ１２０ｃは、主として第１光学系２０からの光を受光する構成とされる。この場合、遮光マスク１３４は、中央に円形の開口部１３４Ａを備えた形状とされる。
【０１１２】
一方、第２受光センサ１２０ｂ及び第４受光センサ１２０ｄは、主として第２光学系３０からの光を受光する構成とされる。この場合、遮光マスク１３４は、環状の開口部１３４Ａを備えた形状とされる。
【０１１３】
このように、受光センサ１２０ａ〜１２０ｄは、遮光マスク１３４の形状を調整することにより、混信比率を調整できる。したがって、遮光マスク１３４の形状を厳密に規定すれば、理論的には２つの光学系からの光を完全に分離して受光できる。しかし、遮光マスクの製造誤差、マイクロレンズの収差などの影響で２つの光学系からの光を完全に分離して受光することは難しい。この結果、混信が生じる。
【０１１４】
フィルタ１３６は、マイクロレンズ１３２と遮光マスク１３４との間に配置される。マイクロレンズ１３２を通過した光は、フィルタ１３６を透過して光電変換素子１３０に入射する。フィルタ１３６は、受光センサの受光感度の調整に使用される。フィルタ１３６は、たとえば、ＮＤフィルタ（ＮＤ： Neutral Density）で構成され、その濃度（透過率）を調整することにより、受光センサの受光感度が調整される。
【０１１５】
上記のように、第１受光センサ１２０ａ及び第２受光センサ１２０ｂは、高感度な受光センサで構成される。この場合、フィルタ１３６には、透過率の高いフィルタ（濃度の低いフィルタ）が使用される。
【０１１６】
一方、第３受光センサ１２０ｃ及び第４受光センサ１２０ｄが低感度な受光センサで構成される。この場合、フィルタ１３６には、透過率の低いフィルタ（濃度の高いフィルタ）が使用される。
【０１１７】
図１０は、第１受光センサ及び第２受光センサにおける入射光量と出力信号との関係を示すグラフである。同図において、横軸は露光量、縦軸は出力信号レベル（出力電圧）を示している。また、同図において、符号Ｆ１を付したグラフが、高感度の受光センサである第１受光センサ１２０ａのグラフであり、符号Ｆ２を付したグラフが、低感度の受光センサである第３受光センサ１２０ｃのグラフである。
【０１１８】
図１０に示すように、高感度の受光センサである第１受光センサ１２０ａは、露光量Ｅ１を超えると飽和し、出力信号レベルが一定の値Ｖ１になる。低感度の受光センサである第３受光センサ１２０ｃは、露光量Ｅ２を超えると飽和し、出力信号レベルが一定の値Ｖ２になる。第１受光センサ１２０ａが飽和する露光量Ｅ１は、第２受光センサ１２０ｂが飽和する露光量Ｅ２よりも小さい（Ｅ１＜Ｅ２）。すなわち、第１受光センサ１２０ａは、高感度であるが、入射光量が多くなると、飽和する性質を有する。一方、第３受光センサ１２０ｃは、低感度であるが、入射光量が多くても、線形性を維持した出力が可能という性質を有する。
【０１１９】
高感度の受光センサである第２受光センサ１２０ｂ、及び、低感度の受光センサである第４受光センサ１２０ｄの関係も同様である。
【０１２０】
イメージセンサ１００は、各画素１１０の各受光センサ１２０ａ〜１２０ｄの光電変換素子１３０に蓄積された電荷量を読み出し、電荷量に応じた信号（電圧）を画像信号として出力する。この画像信号を処理することにより、各光学系に対応した画像データを取得できる。この処理については、後に詳述する。
【０１２１】
〈レンズ駆動制御部〉
レンズ駆動制御部２１０は、システム制御部２２６からの指令に基づき、撮影レンズ１０の駆動を制御する。すなわち、第１光学系２０の焦点を調節するために、第１光学系２０の焦点調節機構の駆動を制御し、かつ、第２光学系３０の焦点を調節するために、第２光学系３０の焦点調節機構の駆動を制御する。また、第１光学系２０の光量を調節するために、第１光学系２０の絞り２２の駆動を制御し、かつ、第２光学系３０の光量を調節するために、第２光学系３０の絞り３２の駆動を制御する。
【０１２２】
〈イメージセンサ駆動制御部〉
イメージセンサ駆動制御部２１２は、システム制御部２２６からの指令に基づき、イメージセンサ１００の駆動を制御する。すなわち、イメージセンサ１００からの画像信号の読み出しを制御する。
【０１２３】
〈アナログ信号処理部〉
アナログ信号処理部２１４は、イメージセンサ１００から出力されるアナログの画像信号を取り込み、所定のアナログの信号処理を施す。また、アナログ信号処理部２１４は、所定のアナログの信号処理を施した画像信号をデジタル信号に変換して出力する。
【０１２４】
〈デジタル信号処理部〉
デジタル信号処理部２１６は、デジタル信号に変換された画像信号を取り込み、所定の信号処理を施して、各光学系に対応した画像データを生成する。この処理については、後に詳述する。
【０１２５】
〈表示部〉
表示部２１８は、たとえば、液晶モニタで構成され、撮像済みの画像や撮像中の画像（いわゆるライブビュー画像）を表示する。また、表示部２１８は、必要に応じてＧＵＩ（GUI: Graphical User Interface）として機能する。
【０１２６】
〈ワークメモリ〉
ワークメモリ２２０は、たとえば、ＲＡＭ（RAM：Random Access Memory）で構成され、ワークメモリとして機能する。
【０１２７】
〈記憶部〉
記憶部２２２は、たとえば、ＥＥＰＲＯＭ（EEPROM：Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリで構成される。記憶部２２２には、制御に必要なデータ、信号処理に必要なデータ等が格納される。
【０１２８】
〈メディアインターフェース〉
メディアインターフェース２２４は、システム制御部２２６からの指令に基づいて、メモリーカード等の外部メモリ２３０に対して、データの読み書きを行う。
【０１２９】
〈システム制御部〉
システム制御部２２６は、撮像装置全体の動作を統括制御する。システム制御部２２６は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭを備えたマイクロコンピュータで構成され、所定の制御プログラムを実行して、撮像装置１の全体を制御する。制御に必要なプログラム及び各種データはＲＯＭに格納される。
【０１３０】
〈操作部〉
操作部２２８は、電源ボタンやシャッターボタン等の各種操作ボタン、及び、その駆動回路を備えて構成される。操作部２２８の操作情報は、システム制御部２２６に入力される。システム制御部２２６は、操作部２２８からの操作情報に基づいて、各部を制御する。
【０１３１】
撮像装置１は、以上のように構成される。
【０１３２】
《各光学系に対応した画像データの生成処理》
〈処理の概要〉
上記のように、イメージセンサ１００には、各画素１１０に４個の受光センサ１２０ａ〜１２０ｄが備えられている。したがって、画素ごとに対応する受光センサの画像信号を取得することにより、１回の撮影で４個の画像データを生成できる。しかし、この４個の画像データには、混信が生じている。そこで、本実施の形態の撮像装置１では、撮影により得られた４個の画像データに混信除去処理を施して、各光学系に対応した画像データを生成する。以下、各処理について説明する。
【０１３３】
なお、以下においては、イメージセンサ１００の各画素から対応する受光センサの画像信号を取得して生成される４個の画像データを一次画像データ、その４個の一次画像データに混信除去処理を施して生成される画像データを二次画像データと称して、両者を必要に応じて区別する。
【０１３４】
〈一次画像データの生成〉
図１１は、イメージセンサの出力から４個の一次画像データを生成する概念図である。
【０１３５】
一次画像データは、イメージセンサ１００の各画素１１０から対応する受光センサ１２０ａ〜１２０ｄの画像信号を取得することにより生成される。
【０１３６】
たとえば、イメージセンサ１００の各画素１１０から第１受光センサ１２０ａの画像信号を取得することにより、第１受光センサ１２０ａに対応した一次画像データが生成される。同様に、各画素１１０から第２受光センサ１２０ｂの画像信号を取得することにより、第２受光センサ１２０ｂに対応した一次画像データが生成され、各画素１１０から第３受光センサ１２０ｃの画像信号を取得することにより、第３受光センサ１２０ｃに対応した一次画像データが生成される。また、各画素１１０から第４受光センサ１２０ｄの画像信号を取得することにより、第４受光センサ１２０ｄに対応した一次画像データが生成される。
【０１３７】
各画素１１０の第１受光センサ１２０ａから取得した画像信号で生成される一次画像データを第１の一次画像データＦＩ１、各画素１１０の第２受光センサ１２０ｂから取得した画像信号で生成される一次画像データを第２の一次画像データＦＩ２、各画素１１０の第３受光センサ１２０ｃから取得した画像信号で生成される一次画像データを第３の一次画像データＦＩ３、各画素１１０の第４受光センサ１２０ｄから取得した画像信号で生成される一次画像データを第４の一次画像データＦＩ４とする。
【０１３８】
図１２は、イメージセンサの出力から個々の一次画像データを生成する概念図である。特に、同図は、イメージセンサの出力から第１の一次画像データＦＩ１を生成する場合を示している。
【０１３９】
図１２に示すように、第１の一次画像データＦＩ１は、イメージセンサ１００の各画素１１０から第１受光センサ１２０ａの画像信号を取得して生成される。たとえば、第１の一次画像データＦＩ１の画素位置（０，０）における値（画素値）は、イメージセンサ１００の画素位置（０，０）にある第１受光センサ１２０ａから画像信号を取得して生成される。同様に、第１の一次画像データＦＩ１の画素位置（０，１）における値（画素値）は、イメージセンサ１００の画素位置（０，１）にある第１受光センサ１２０ａから画像信号を取得して生成される。このように、第１の一次画像データＦＩ１の各画素の値（画素値）は、イメージセンサ１００の対応する画素１１０にある第１受光センサ１２０ａから画像信号を取得して生成される。
【０１４０】
なお、画素位置（ｘ，ｙ）は、画素の位置をｘｙ座標で表わしたものである。ｘｙ座標は、次のように設定される。すなわち、イメージセンサ１００においては、図６に示すように、画面左上隅を座標原点とし、水平方向をｘ座標、垂直方向をｙ座標としている。この場合、特定の画素の位置は（ｘ，ｙ）と表現される。画像データについても同様であり、画面左上隅を座標原点とし、水平方向をｘ座標、垂直方向をｙ座標としている。
【０１４１】
他の一次画像データも同様にして、イメージセンサ１００の各画素１１０から対応する受光センサの画像信号を取得して生成される。
【０１４２】
〈二次画像データの生成〉
二次画像データは、一次画像データに対して画素単位で混信除去処理を行うことにより生成される。以下、混信除去処理について説明する。
【０１４３】
〔混信除去処理の基本概念〕
まず、混信除去処理の基本概念について説明する。
【０１４４】
ここでは、発明の理解を容易にするため、撮影レンズに備えられる光学系の数（ｎ）が２個、イメージセンサの各画素に備えられる受光センサの数（ｍ）が２個の場合（ｍ＝n）を例に説明する。
【０１４５】
撮影レンズに備えられる２つの光学系について、一方の光学系を第１光学系、他方の光学系を望遠の第２光学系とする。第１光学系は広角の光学系で構成され、第２光学系は望遠の光学系で構成されるものとする。
【０１４６】
また、各画素に備えられる２つの受光センサについて、一方の受光センサを第１受光センサ、他方の受光センサを第２受光センサとする。各画素に備えられる第１受光センサは、すべて同じ混信比率であると仮定する。同様に、各画素に備えられる第２受光センサは、すべて同じ混信比率であると仮定する。
【０１４７】
第１受光センサの混信比率をC1＝C11：C12とし、第２受光センサの混信比率をC2＝C21：C22とする。ここで、第１受光センサについて、混信比率C1がC11：C12とは、第１光学系及び第２光学系から受光する光の割合が、第１光学系：第２光学系＝C11：C12、という意味である。すなわち、第１光学系からC11、第２光学系からC12の割合で光を受光する、という意味である。同様に、第２の光学系について、混信比率C2がC21：C22とは、第１光学系及び第２光学系から受光する光の割合が、第１光学系：第２光学系＝C21：C22、という意味である。
【０１４８】
イメージセンサは、１画素に２個の受光センサ（第１受光センサ及び第２受光センサ）を備えているので（ｍ＝２）、１回の撮影で２個の一次画像データが生成される。第１受光センサに基づく一次画像データを第１の一次画像データＦＩ１とし、第２受光センサに基づく一次画像データを第２の一次画像データＦＩ２とする。第１の一次画像データＦＩ１は、混信比率C1＝C11：C12の割合で混信が生じており、第２の一次画像データＦＩ２は、混信比率C2＝C21：C22の割合で混信が生じている。
【０１４９】
図１３は、第１の一次画像データＦＩ１が表わす画像の一例を示す図である。また、図１４は、第２の一次画像データＦＩ２が表わす画像の一例を示す図である。なお、図１３及び図１４に示す例では、第１受光センサの混信比率C1がC11＞C12、第２受光センサの混信比率C2がC21＜C22の場合の例を示している。すなわち、第１受光センサが、第１光学系からの光をより多く受光するように構成され、第２受光センサが、第２光学系からの光をより多く受光するように構成された場合の例を示している。この場合、図１３に示すように、第１受光センサから得られる画像（第１の一次画像データＦＩ１が表わす画像）は、本来の第１光学系の画像（広角の画像）に加えて、第２の光学系の画像（望遠の画像）が、かすかに重畳した画像となる。一方、第２受光センサから得られる画像（第２の一次画像データＦＩ２が表わす画像）は、図１４に示すように、本来の第２光学系の画像（望遠の画像）に加えて、第１の光学系の画像（広角の画像）が、かすかに重畳した画像となる。
【０１５０】
二次画像データについては、撮影レンズに備えられる光学系の数が２であるので（ｍ＝２）、２個の二次画像データが生成される。第１光学系に対応する二次画像データを第１の二次画像データＳＩ１とし、第２光学系に対応する二次画像データを第２の二次画像データＳＩ２とする。
【０１５１】
図１５は、第１の二次画像データＳＩ１が表わす画像を示す図であり、図１６は、第２の二次画像データＳＩ２が表わす画像を示す図である。図１５及び図１６に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２が表わす画像は、混信の影響が除去された画像となる。
【０１５２】
いま、ある特定の画素位置（ｘ，ｙ）における第１の一次画像データＦＩ１の画素値（当該画素が持つ値）をA1、第２の一次画像データＦＩ２の画素値をA2とする。また、対応する画素位置における第１の二次画像データＳＩ１の画素値をB1、第２の二次画像データＳＩ２の画素値をB2とする。
【０１５３】
第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1、B2は、次の連立方程式
A1 = C11*B1 + C12*B2
A2 = C21*B1 + C22*B2
を解いて算出される。
【０１５４】
すなわち、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分（第１光学系の成分と同義）と第２の二次画像データＳＩ２の成分（第２光学系の成分と同義）とをC11：C12の割合で含むデータである。したがって、この関係を式で表わすと、A1=C11*B1+C12*B2となる。同様に、第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分（第１光学系の成分）と第２の二次画像データＳＩ２の成分（第２光学系の成分）をC21：C22の割合で含むデータであるので、この関係を式で表わすと、A2=C21*B1+C22*B2となる。この関係を図で示すと、図１７及び図１８のようになる。
【０１５５】
図１７は、第１の一次画像データの構成の概念図である。
【０１５６】
同図に示すように、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分をC11の割合で含み、かつ、第２の二次画像データＳＩ２の成分をC12の割合で含む。この関係を式で表わすと、特定の画素位置（ｘ，ｙ）について、A1=C11*B1+C12*B2の関係が成り立つ。
【０１５７】
図１８は、第２の一次画像データの構成の概念図である。
【０１５８】
同図に示すように、第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分をC21の割合で含み、かつ、第２の二次画像データＳＩ２の成分をC22の割合で含む。この関係を式で表わすと、特定の画素位置（ｘ，ｙ）について、A2=C21*B1+C22*B2の関係が成り立つ。
【０１５９】
よって、画素単位で上記連立方程式を解くことにより、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1及びB2を算出でき、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２を生成できる。そして、この連立方程式を解くことにより、混信の影響を除去した画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成できる。
【０１６０】
ここで、連立方程式については、行列を使って解くことができる。
【０１６１】
図１９は、一次画像データと二次画像データとの関係を行列で表現した概念図である。また、図２０は、一次画像データと二次画像データとの関係を示す行列方程式である。
【０１６２】
図１９及び図２０に示すように、第１の一次画像データＦＩ１及び第２の一次画像データＦＩ２の画素値A1及びA2を要素とする２行１列の行列をＡ、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2を要素とする２行１列の行列をＢ、第１受光センサの混信比率C1＝C11：C12及び第２受光センサの混信比率C2＝C21：C22を要素とする２行２列の行列をＣとすると、上記連立方程式は、Ａ＝Ｃ＊Ｂと表現できる。
【０１６３】
そして、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2については、上記行列方程式Ａ＝Ｃ＊Ｂの両辺にＣの逆行列Ｃ-1を掛けることにより算出できる。すなわち、Ｂ＝Ｃ-1＊Ａを解くことにより算出できる。
【０１６４】
図２１は、逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図である。また、図２２は、逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式である。
【０１６５】
図２１及び図２２に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2は、行列Ａに行列Ｃの逆行列Ｃ-1を掛けることで算出できる。
【０１６６】
各画素に備えられる受光センサの混信比率は既知なので、逆行列Ｃ-1については、あらかじめ取得できる。したがって、各一次画像データの画素値A1及びA2を取得できれば、逆行列Ｃ-1を用いて、各二次画像データの画素値B1及びB2を算出できる。
【０１６７】
以上のように、一次画像データに対して所定の演算処理（混信除去処理）を施すことにより、混信の影響を除去した二次画像データを生成できる。
【０１６８】
〔画素値が飽和している場合の影響〕
上記のように、混信除去処理は、一次画像データと二次画像データとの間にA1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2という関係が成立することを利用して行われる。
【０１６９】
しかし、上記関係が成立するのは、イメージセンサの入力と出力との間に線形性が成立する場合だけである。一部でも飽和していると、その画素で上記関係が成立しなくなり、正確に混信の影響を除去できなくなる。
【０１７０】
〔本実施の形態の撮像装置における混信除去処理〕
本実施の形態の撮像装置１には、イメージセンサ１００の各画素１１０に４個の受光センサ１２０ａ〜１２０ｄが備えられている。この受光センサ１２０ａ〜１２０ｄの数（ｍ＝４）は、撮影レンズ１０に備えられる光学系の数（ｎ＝２）よりも多い（ｍ＞ｎ）。そして、各受光センサ１２０ａ〜１２０ｄは、それぞれ混信比率及び受光感度の組み合わせが異なっている。
【０１７１】
本実施の形態の撮像装置１は、イメージセンサ１００の各画素１１０に４個の受光センサ１２０ａ〜１２０ｄを備えていることから、１回の露光で４個の一次画像データが生成される。混信除去処理は、この４個の一次画像データを使用して行われる。すなわち、４個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応した二次画像データを生成する。この際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して混信除去処理が行われる。したがって、本実施の形態の撮像装置１では、処理対象とする画素に画素値が飽和している一次画像データを含む場合と、含まない場合とで、処理内容が異なる。以下、場合を分けて説明する。
【０１７２】
（Ａ）処理対象とする画素に画素値が飽和している一次画像データを含まない場合
混信除去に対する基本的な考え方は、上記ｍ＝ｎの場合と同じである。すなわち、一次画像データと二次画像データとの間に成立する関係を利用して、複数の一次画像データから各光学系に対応した二次画像データを算出し、混信の影響を除去する。
【０１７３】
図２３は、一次画像データと二次画像データとの関係を示す概念図である。
【０１７４】
イメージセンサ１００の特定の画素位置（ｘ，ｙ）に備えられる第１受光センサ１２０ａの混信比率C1がC1=C11:C12、第２受光センサ１２０ｂの混信比率C2がC2=C21:C22、第３受光センサ１２０ｃの混信比率C3がC3=C31:C32、第４受光センサ１２０ｄの混信比率C4がC4=C41:C42、であるとする。
【０１７５】
また、各受光センサ１２０ａ〜１２０ｄの受光感度に応じた係数をs1、s2、s3及びs4とする。係数s1、s2、s3及びs4は、たとえば、特定の受光センサを基準に設定される。たとえば、第１受光センサ１２０ａを基準とする場合、第１受光センサ１２０ａの係数s1をs1＝１とする。第２受光センサ１２０ｂの受光感度が、第１受光センサ１２０ａの受光感度の１／５の場合、第２受光センサ１２０ｂの係数s2はs2＝１／５とされる。また、第３受光センサ１２０ｃの受光感度が、第１受光センサ１２０ａの受光感度と同じ場合、第３受光センサ１２０ｃの係数s3はs3＝１とされる。
【０１７６】
この場合、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分（第１光学系２０の成分と同義）と第２の二次画像データＳＩ２の成分（第２光学系３０の成分と同義）とをs1*C11: s1*C12の割合で含むデータとなる。この関係を式で表わすと、第１の一次画像データＦＩ１は、特定の画素位置（ｘ，ｙ）について、A1= s1*C11*B1+ s1*C12*B2の関係が成り立つ。
【０１７７】
第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分と第２の二次画像データＳＩ２の成分をs2*C21: s2*C22の割合で含むデータとなる。この関係を式で表わすと、第２の一次画像データＦＩ２は、特定の画素位置（ｘ，ｙ）について、A2= s2*C21*B1+ s2*C22*B2の関係が成り立つ。
【０１７８】
第３の一次画像データＦＩ３は、第１の二次画像データＳＩ１の成分と第２の二次画像データＳＩ２の成分をs3*C31: s3*C32の割合で含むデータとなる。この関係を式で表わすと、第３の一次画像データＦＩ３は、特定の画素位置（ｘ，ｙ）について、A3= s3*C31*B1+ s3*C32*B2の関係が成り立つ。
【０１７９】
第４の一次画像データＦＩ４は、第１の二次画像データＳＩ１の成分と第２の二次画像データＳＩ２の成分をs4*C41: s4*C42の割合で含むデータとなる。この関係を式で表わすと、第４の一次画像データＦＩ４は、特定の画素位置（ｘ，ｙ）について、A4= s4*C41*B1+ s4*C42*B2の関係が成り立つ。
【０１８０】
すなわち、各一次画像データの特定の画素位置（ｘ，ｙ）における画素値をA1、A2、A3及びA4とし、各二次画像データの特定の画素位置（ｘ，ｙ）の画素値をB1及びB2とした場合、各一次画像データと二次画像データとの間には、次の関係が成り立つ。
【０１８１】
A1 = s1*C11*B1 + s1*C12*B2
A2 = s2*C21*B1 + s2*C22*B2
A3 = s3*C31*B1 + s3*C32*B2
A4 = s4*C41*B1 + s4*C42*B2
この連立方程式を解くことにより、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1及びB2を算出できる。そして、この連立方程式を解くことにより、混信の影響を除去した画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成できる。
【０１８２】
上記のように、連立方程式については、行列を用いて解くことができる。
【０１８３】
図２４は、一次画像データと二次画像データとの関係を行列で表現した概念図である。また、図２５は、一次画像データと二次画像データとの関係を示す行列方程式である。
【０１８４】
図２４及び図２５に示すように、各一次画像データＦＩ１〜ＦＩ４の特定の画素位置（ｘ，ｙ）の画素値A1〜A4を要素とする4行１列の行列をＡ、各二次画像データＳＩ１、ＳＩ２の特定の画素位置（ｘ，ｙ）の画素値B1及びB2を要素とする２行１列の行列をＢ、各受光センサ１２０ａ〜１２０ｄの混信比率C1＝C11：C12、C2＝C21：C22、C3＝C31：C32、C4＝C41：C42と各受光センサ１２０ａ〜１２０ｄの受光感度に応じた係数s1、s2、s3、s4との積s1*C1＝s1*C11：s1*C12、s2*C2＝s2*C21：s2*C22、s3*C3＝s3*C31：s3*C32、s4*C4＝s4*C41：s4*C42を要素とする４行２列の行列をＴとすると、上記連立方程式は、Ａ＝Ｔ＊Ｂと表現できる。
【０１８５】
そして、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2については、上記行列方程式Ａ＝Ｔ＊Ｂの両辺にＴの逆行列Ｔ-1を掛けることにより算出できる。すなわち、Ｂ＝Ｔ-1＊Ａを解くことにより算出できる。
【０１８６】
図２６は、逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図である。また、図２７は、逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式である。
【０１８７】
図２６及び図２７に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2は、行列Ａに行列Ｔの逆行列Ｔ-1を掛けることで算出できる。
【０１８８】
各画素に備えられる受光センサの混信比率は既知なので、逆行列Ｔ-1については、あらかじめ取得できる。
【０１８９】
なお、行列Ｔが正則ではない場合、その逆行列Ｔ-1については、行列Ｔの一般逆行列を算出して、逆行列Ｔ-1を取得する。一般逆行列は、たとえば、ムーア・ペンローズ逆行列等の公知の手法で算出される。
【０１９０】
このように、処理対象とする画素に画素値が飽和している一次画像データを含まない場合、二次画像データについては、行列方程式Ｂ＝Ｔ-1＊Ａを解くことにより算出できる。そして、この行列方程式Ｂ＝Ｔ-1＊Ａを解くことにより、混信の影響を除去した二次画像データを生成できる。
【０１９１】
（Ｂ）処理対象とする画素に画素値が飽和している一次画像データを含む場合
処理対象とする画素に画素値が飽和している一次画像データを含む場合は、当該一次画像データを除外して混信除去処理を行う。
【０１９２】
一次画像データと二次画像データとの間に一定の関係が成立するのは、受光センサの入力と出力との間に線形性が確保されている場合だけである。そして、受光センサの入力と出力との間に線形性が確保されるのは、受光センサが飽和するまでである。受光センサが飽和すると、入力と出力との間に線形性は確保されなくなる。飽和した受光センサの出力を利用して、混信除去処理を行うと、正確に混信除去できなくなる。
【０１９３】
そこで、処理対象とする画素に画素値が飽和している一次画像データを含む場合は、当該一次画像データを除外して混信除去処理を行う。
【０１９４】
図２８は、処理対象とする画素に画素値が飽和している一次画像データを含む場合の一次画像データと二次画像データとの関係を示す概念図である。特に、同図においては、第１の一次画像データＦＩ１の画素値が飽和している場合を示している。
【０１９５】
第１の一次画像データＦＩ１の画素値が飽和している場合、第１の一次画像データＦＩ１と、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２との間にA1= s1*C11*B1+ s1*C12*B2の関係は成立しない。すなわち、A1 ≠ s1*C11*B1+ s1*C12*B2となる。
【０１９６】
一方、第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２との間にA2 = s2*C21*B1+ s2*C22*B2の関係が成り立つ。同様に、第３の一次画像データＦＩ３は、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２との間にA3 = s3*C31*B1+ s3*C32*B2の関係が成り立ち、第４の一次画像データＦＩ４は、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２との間にA4 = s4*C41*B1+ s4*C42*B2の関係が成り立つ。
【０１９７】
すなわち、第１の一次画像データＦＩ１を除くと、他の一次画像データと二次画像データとの間には、次の関係が成り立つ。
【０１９８】
A2 = s2*C21*B1 + s2*C22*B2
A3 = s3*C31*B1 + s3*C32*B2
A4 = s4*C41*B1 + s4*C42*B2
この連立方程式を解くことにより、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1、B2を算出する。この場合も行列を用いて、連立方程式を解くことができる。
【０１９９】
図２９は、第１の一次画像データを除いた場合の一次画像データと二次画像データとの関係を行列で表現した概念図である。また、図３０は、第１の一次画像データを除いた場合の一次画像データと二次画像データとの関係を示す行列方程式である。
【０２００】
図２９及び図３０に示すように、第１の一次画像データＦＩ１を除いた各一次画像データＦＩ２、ＦＩ３及びＦＩ４の特定の画素位置（ｘ，ｙ）の画素値A2、A3及びA4を要素とする３行１列の行列をＡ、各二次画像データＳＩ１及びＳＩ２の特定の画素位置（ｘ，ｙ）の画素値B1及びB2を要素とする２行１列の行列をＢ、各受光センサ１２０ｂ、１２０ｃ及び１２０ｄの混信比率C2＝C21：C22、C3＝C31：C32及びC4＝C41：C42と各受光センサ１２０ａ〜１２０ｄの受光感度に応じた係数s1、s2、s3及びs4との積s1*C1＝s1*C11：s1*C12、s2*C2＝s2*C21：s2*C22、s3*C3＝s3*C31：s3*C32、s4*C4＝s4*C41：s4*C42を要素とする３行２列の行列をＴとすると、上記連立方程式は、Ａ＝Ｔ＊Ｂと表現できる。
【０２０１】
そして、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2については、上記行列方程式Ａ＝Ｔ＊Ｂの両辺にＴの逆行列Ｔ-1を掛けることにより算出できる。すなわち、Ｂ＝Ｔ-1＊Ａを解くことにより算出できる。
【０２０２】
図３１は、逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図である。また、図３２は、逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式である。
【０２０３】
図３１及び図３２に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2は、行列Ａに行列Ｔの逆行列Ｔ-1を掛けることで算出できる。
【０２０４】
各画素に備えられる受光センサの混信比率は既知なので、逆行列Ｔ-1については、あらかじめ取得できる。
【０２０５】
なお、行列Ｔが正則ではない場合、その逆行列Ｔ-1については、行列Ｔの一般逆行列を算出して、逆行列Ｔ-1を取得する。一般逆行列は、たとえば、ムーア・ペンローズ逆行列等の公知の手法で算出される。
【０２０６】
このように、処理対象とする画素に画素値が飽和している一次画像データを含む場合は、当該一次画像データを除外して混信除去処理を行う。これにより、混信の影響を正確に除去できる。
【０２０７】
（Ｃ）処理対象とする画素において、すべての一次画像データの画素値が飽和している場合
処理対象とする画素において、すべての一次画像データの画素値が飽和している場合は、二次画像データを算出することができない。したがって、この場合は、混信除去処理を行わない。これにより、無駄な処理を省略できる。
【０２０８】
処理対象とする画素において、すべての一次画像データの画素値が飽和している場合、当該画素位置における二次画像データの画素値は飽和値とされる。飽和値とは、受光センサが飽和した場合に出力される信号値である。
【０２０９】
〔飽和している画素の検出〕
一次画像データを解析して、画素値が飽和している画素を検出する。具体的には、画素値が飽和値の画素を検出して、飽和している画素を検出する。画素値が飽和している画素の検出は、デジタル信号処理部２１６で行われる。この点については、後述する。
【０２１０】
〈二次画像データの生成処理の流れ〉
上記のように、二次画像データは、一次画像データに混信除去処理を施して生成される。
【０２１１】
図３３は、二次画像データの生成処理の手順を示すフローチャートである。
【０２１２】
混信除去処理は、画素ごとに行われる。画像の左上隅を座標原点とすると、座標原点から処理が開始される。
【０２１３】
まず、ｘ＝０、ｙ＝０とする（ステップＳ１）。各一次画像データＦＩ１〜ＦＩ４から画素位置（ｘ，ｙ）の画素値を取得する（ステップＳ２）。画素位置（ｘ，ｙ）に画素値が飽和している一次画像データを含むか否か判定する（ステップＳ３）。
【０２１４】
画素位置（ｘ，ｙ）に画素値が飽和している一次画像データを含まない場合、すべての一次画像データＦＩ１〜ＦＩ４を用いて混信除去処理を行う（ステップＳ４）。これにより、当該画素位置における第１の二次画像データ及び第２の二次画像データの画素値が取得される。
【０２１５】
一方、画素位置（ｘ，ｙ）に画素値が飽和している一次画像データを含む場合、そのすべての一次画像データの画素値が飽和しているか否かを判定する（ステップＳ５）。
【０２１６】
画素位置（ｘ，ｙ）におけるすべての一次画像データの画素値が飽和していない場合、画素値が飽和している一次画像データを除外して、混信除去処理を行う（ステップＳ６）。これにより、当該画素位置における第１の二次画像データ及び第２の二次画像データの画素値が取得される。
【０２１７】
一方、画素位置（ｘ，ｙ）におけるすべての一次画像データの画素値が飽和している場合、混信除去処理は行わず、当該画素位置における第１の二次画像データ及び第２の二次画像データの画素値を飽和値とする（ステップＳ７）。
【０２１８】
このように、処理対象とする画素に画素値が飽和している一次画像データを含むか否かによって、混信除去処理の内容が切り替えられる。
【０２１９】
この後、処理した画素のｘ座標の値がｘ方向の終点か否かを判定する（ステップＳ８）。処理した画素のｘ座標の値がｘ方向の終点ではない場合、ｘ座標の値をインクリメントする（ステップＳ９）。これにより、次の処理対象が新たに設定される。ｘ座標の値をインクリメント後、ステップＳ２に戻り、新たに設定された画素を対象に上記一連の処理を再度実行する。
【０２２０】
処理した画素のｘ座標の値がｘ方向の終点の場合、処理した画素のｙ座標の値がｙ方向の終点か否かを判定する（ステップＳ１０）。処理した画素のｙ座標の値がｙ方向の終点ではない場合、ｙ座標の値をインクリメントする（ステップＳ１１）。これにより、次の処理対象が新たに設定される。ｙ座標の値をインクリメント後、ステップＳ２に戻り、新たに設定された画素を対象に上記一連の処理を再度実行する。
【０２２１】
処理した画素のｙ座標の値がｙ方向の終点の場合、処理を終了する。これにより、すべての画素で混信除去処理が完了する。すべての画素で混信除去処理が完了することにより、二次画像データが生成される。
【０２２２】
《デジタル信号処理部の構成》
上述した一連の信号処理は、デジタル信号処理部２１６で行われる。デジタル信号処理部２１６は、イメージセンサ１００の各画素の各受光センサから画像信号を取得して一次画像データを生成し、かつ、その一次画像データに画素単位で混信除去処理を施して、各光学系に対応した二次画像データを生成する。また、デジタル信号処理部２１６は、一次画像データを解析し、画素値が飽和している画素を検出する。
【０２２３】
図３４は、デジタル信号処理部が備える機能のブロック図である。
【０２２４】
デジタル信号処理部２１６は、一次画像データを生成する機能、すなわち、一次画像データ生成部２１６Ａとしての機能と、画像データから画素値が飽和している画素を検出する機能、すなわち、飽和画素検出部２１６Ｂとしての機能と、二次画像データを生成する機能、すなわち、二次画像データ生成部２１６Ｃとしての機能と、を備える。
【０２２５】
一次画像データ生成部２１６Ａは、イメージセンサの各画素から対応する受光センサの画像信号を取得して、ｍ個の一次画像データを生成する。本実施の形態の撮像装置１は、イメージセンサ１００の各画素１１０に４個（ｍ＝４）の受光センサ１２０ａ〜１２０ｄを備えているので、４個の一次画像データを生成する。
【０２２６】
飽和画素検出部２１６Ｂは、一次画像データ生成部２１６Ａで生成された一次画像データを解析し、画素値が飽和している画素を検出する。具体的には、各一次画像データから画素値が飽和値の画素を検出して、画素値が飽和している画素を検出する。画素値が飽和している画素が検出されると、その画素位置の情報が、飽和画素位置情報として、ワークメモリ２２０に記録される。
【０２２７】
二次画像データ生成部２１６Ｃは、一次画像データ生成部２１６Ａで生成された４個の一次画像データを取得し、混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する。本実施の形態の撮像装置１は、撮影レンズ１０に２つ（ｎ＝２）の光学系を備えているので、２つの二次画像データを生成する。具体的には、第１光学系２０に対応した第１の二次画像データと、第２光学系３０に対応した第２の二次画像データとを生成する。
【０２２８】
上記のように、混信除去処理は、画素ごとに行われる。処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して混信除去処理が行われる。二次画像データ生成部２１６Ｃは、ワークメモリ２２０に格納された飽和画素位置情報を参照して、処理対象とする画素に画素値が飽和している一次画像データを含むか否かを判定する。
【０２２９】
ここで、処理対象とする画素に画素値が飽和している一次画像データを含まない場合、二次画像データ生成部２１６Ｃは、連立方程式A1=s1*C11*B1+s1*C12*B2+…+s1*C1n*Bn  A2=s2*C21*B1+s2*C22*B2+…+s2*C2n*Bn  …  Am=sm*Cm1*B1+sm*Cm2*B2+…+sm*Cmn*Bn  を解いて、二次画像データを生成する。本実施の形態の撮像装置１は、ｍ＝４、ｎ＝２なので、連立方程式A1=s1*C11*B1+s1*C12*B2、A2=s2*C21*B1+s2*C22*B2、A3=s3*C31*B1+s3*C32*B2、A4=s4*C41*B1+s4*C42*B2を解いて、各光学系に対応した二次画像データを生成する。
【０２３０】
一方、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して、連立方程式を立て、二次画像データを生成する。
【０２３１】
また、処理対象とする画素において、すべての一次画像データの画素値が飽和している場合、当該画素における二次画像データの画素値を飽和値として、二次画像データを生成する。
【０２３２】
二次画像データ生成部２１６Ｃは、行列を利用して、連立方程式を解く処理を実施する。すなわち、行列方程式Ｂ=Ｔ-1*Ａを解いて、二次画像データを生成する。演算に使用する逆行列Ｔ-1の情報は、記憶部２２２に記憶される。記憶部２２２は、その記憶領域の一部に逆行列Ｔ-1の情報を記憶する逆行列情報記憶部２２２Ａを備える。なお、逆行列Ｔ-1の情報は、画素単位で記憶される。また、逆行列Ｔ-1の情報は、連立方程式を立てる際の式の組み合わせの数だけ用意される。二次画像データ生成部２１６Ｃは、処理する画素ごとに逆行列Ｔ-1の情報を読み出して、混信除去処理を実施する。
【０２３３】
《撮像装置における処理の流れ（画像データ生成方法）》
本実施の形態の撮像装置では、（１）撮影指示に基づく露光（露光工程）、（２）露光に基づく一次画像データの生成（一次画像データ生成工程）、（３）画素値が飽和している画素の検出（飽和画素検出工程）、（４）一次画像データに基づく二次画像データの生成（二次画像データ生成工程）の順で処理が行われて、記録用の画像データが生成される。
【０２３４】
記録用の撮影（露光）は、操作部２２８からの指示に基づいて実施される。ここでは、シャッターボタンの全押しで記録用の撮影が指示されるものとする。撮影者は、各光学系の焦点調節を行った後、シャッターボタンを全押しして、記録用の撮影を指示する。
【０２３５】
シャッターボタンが全押しされると、まず、測光処理が実施される。システム制御部２２６及びイメージセンサ１００から得られる画像信号に基づいて、ＥＶ値（EV：Exposure Value）を算出し、露出を決定する。
【０２３６】
露出が決定すると、決定した露出でイメージセンサ１００が露光される（露光工程）。露光により各受光センサ１２０ａ〜１２０ｉの光電変換素子１３０に電荷が蓄積される。イメージセンサ１００は、各受光センサ１２０ａ〜１２０ｉの光電変換素子１３０に蓄積された電荷量を読み出して、電荷量に応じた画像信号を出力する。
【０２３７】
イメージセンサ１００から出力された画像信号は、アナログ信号処理部２１４を経てワークメモリ２２０に取り込まれる。このワークメモリ２２０に取り込まれた画像信号に対して、デジタル信号処理部２１６が所定の信号処理を施すことにより、各光学系に対応した画像データ（第１の二次画像データ、及び、第２の二次画像データ）が生成される。すなわち、画素ごとに各受光センサの画像信号を取得して、４個の一次画像データを生成し（一次画像データ生成工程）、生成した一次画像データに混信除去処理を施して、各光学系に対応した二次画像データ（第１の二次画像データ、及び、第２の二次画像データ）を生成する（二次画像データ生成工程）。その際、処理対象とする画素に画素値が飽和している一次画像データを含む場合は、当該一次画像データを除外して混信除去処理を行い、二次画像データを生成する。
【０２３８】
生成された画像データ（第１の二次画像データ、及び、第２の二次画像データ）は、必要に応じて所定フォーマットのデータ形式に変換されて、外部メモリ２３０に記録される。
【０２３９】
このように、本実施の形態の撮像装置１によれば、１回の露光で複数の画像を撮像できる。そして、本実施の形態の撮像装置１によれば、イメージセンサ１００の各画素１１０に混信比率及び受光感度の組み合わせが異なる複数個の受光センサ１２０ａ〜１２０ｄを備えることにより、受光センサの飽和の影響をなくして、正確に混信を除去できる。これにより、高品質な画像を生成できる。また、ダイナミックレンジも拡大できる。
【０２４０】
《第１の実施の形態の撮像装置の変形例》
〈受光センサの受光感度の調整方法の他の例〉
上記実施の形態では、フィルタの透過率を調整して、受光センサの受光感度を調整しているが、受光センサの受光感度を調整する方法は、これに限定されるものではない。この他、たとえば、個々の受光センサに備えられる遮光マスクの開口のサイズを調整して、個々の受光センサの受光感度を調整することもできる。また、受光センサごとに露光時間（シャッタースピード）を調整できるイメージセンサの場合は、受光センサごとに露光時間（シャッタースピード）を調整して、個々の受光センサの受光感度を調整してもよい。また、これらを組み合わせて、個々の受光センサの受光感度を調整してもよい。
【０２４１】
〈受光センサの混信比率の調整方法の他の例〉
上記実施の形態では、遮光マスクの形状によって各受光センサの混信比率を調整しているが、受光センサの混信比率を調整する方法は、これに限定されるものではない。この他、たとえば、マイクロレンズの結像特性を変えることにより、混信比率を調整することもできる。たとえば、マイクロレンズのレンズパワー、倍率、結像位置などを変えることにより、混信比率を変えることができる。この場合、遮光マスクは不要となる。
【０２４２】
なお、遮光マスクとマイクロレンズを併用して、混信比率を調整することもできる。すなわち、遮光マスクの形状と、マイクロレンズの結像特性の双方を変えることによって、混信比率を調整することもできる。
【０２４３】
〈光学系の数（ｎ）と受光センサの数（ｍ）との関係〉
イメージセンサの各画素に備える受光センサの数（ｍ）は、撮影レンズに備えられる光学系の数（ｎ）よりも多ければよい。すなわち、ｍ＞ｎの関係を満たせばよい。したがって、撮影レンズ１０に備えられる光学系の数が２の場合、少なくとも３個の受光センサが各画素に備えられていればよい。
【０２４４】
また、上記実施の形態では、イメージセンサの各画素に４個の受光センサを２行２列（２×２）の配列で配置しているが、受光センサの配置は、これに限定されるものではない。たとえば、１行４列（１×４）の配列で配置することもできる。また、各画素を構成する受光センサは、離散的に配置することもできる。すなわち、イメージセンサの１画素を構成する受光センサとは、一次画像データを生成する際に同じ画素位置の画素値を生成する受光センサのことである。換言すると、イメージセンサの出力から一次画像データを生成する際に、同じ画素位置の画素値を生成する受光センサの集まりが、イメージセンサの１画素を構成する受光センサとなる。
【０２４５】
撮影レンズに備えられる光学系の数がｎ個（ｎ＞１）、イメージセンサの各画素に備えられる受光センサの数がｍ個（ｍ＞ｎ）であるとする。また、各受光センサの混信比率が、C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnであり、各受光センサの受光感度に応じた係数がs1、s2、…、smであるとする。
【０２４６】
一次画像データの画素値をA1、A2、…、Am、二次画像データの画素値をB1、B2、…、Bnとすると、イメージセンサの入力と出力との間に線形性が成立している場合、一次画像データと二次画像データとの間には、次の関係が成立する。
【０２４７】
A1=s1*C11*B1+s1*C12*B2+…+s1*C1n*Bn
A2=s2*C21*B1+s2*C22*B2+…+s2*C2n*Bn
…
Am=sm*Cm1*B1+sm*Cm2*B2+…+sm*Cmn*Bn
したがって、撮影レンズに備えられる光学系の数がｎ個（ｎ＞１）、イメージセンサの各画素に備えられる受光センサの数がｍ個（ｍ＞ｎ）の場合は、上記連立方程式を解くことで、一次画像データから混信の影響を除去した二次画像データを生成できる。
【０２４８】
連立方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合は、その一次画像データを除外して連立方程式を立てる。これにより、飽和の影響を排除して、正確に混信を除去できる。
【０２４９】
行列を使用して連立方程式を解く場合は、行列方程式Ｂ=Ｔ-1*Ａを生成する。ここで、行列Ａは、各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列であり、行列Ｂは、各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列である。また、逆行列Ｔ-1は、各受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと各受光センサの受光感度に応じた係数s1、s2、…、smとの積s1*C1＝s1*C11：s1*C12：…：s1*C1n、s2*C2＝s2*C21：s2*C22：…：s2*C2n、…、sm*Cm＝sm*Cm1：sm*Cm2：…：sm*Cmnを要素とするｍ行ｎ列の行列Ｔの逆行列である。
【０２５０】
上記実施の形態では、あらかじめ画素ごとに逆行列Ｔ-1を算出して、逆行列情報記憶部２２２Ａに格納しておく構成としているが、逆行列Ｔ-1は、混信除去処理時に算出する構成とすることもできる。
【０２５１】
〈混信除去処理の他の例〉
上記実施の形態では、画素単位で処理方法を切り替えているが、画像単位で処理方法を切り替えることもできる。
【０２５２】
たとえば、生成した複数の一次画像データに対して画像単位で飽和の有無を判定し、飽和のない一次画像データのみを使用して二次画像データを生成するようにしてもよい。
【０２５３】
画像単位で飽和の有無を判定するとは、画素値が飽和している画素を含むか否か画像単位で判定する、ということである。画素値が飽和している画素を含む場合、当該一次画像データは、飽和していると判定する。この場合、当該一次画像データは使用せず、残りの飽和していない一次画像データを使用して、二次画像データを生成する。
【０２５４】
このように処理することにより、すべての画素で処理を共通化でき、全体の処理を簡素化できる。これにより、二次画像データの生成処理を高速化できる。
【０２５５】
画像単位で飽和の有無を判定する際、画素値が飽和している画素を一定数以上含む場合に飽和していると判定することもできる。
【０２５６】
〈画素値が飽和している一次画像データを含む場合の混信除去処理〉
上記のように、処理対象とする画素において、画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して混信除去処理が行われる。
【０２５７】
しかし、除外する一次画像データの数が多くなると、生成可能な関係式（一次画像データと二次画像データとの間に成立する関係式）の数も少なくなる。この結果、生成可能な関係式の数が、生成する二次画像データの数を下回る場合も生じ得る。
【０２５８】
生成可能な関係式は、立てられる連立方程式の数であるので、立てられる連立方程式の数が、生成する二次画像データの数を下回ると、正確に混信除去できなくなる。
【０２５９】
そこで、生成可能な関係式の数が、生成する二次画像データの数を下回った場合は、次の処理を行って、該当画素における二次画像データの画素値を算出する。
【０２６０】
いま、撮影レンズに備えられる光学系の数がｎ個、イメージセンサの各画素に備えられる受光センサの数がｍ個であるとする。
【０２６１】
各受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnとする。
【０２６２】
生成する二次画像データの数は、撮影レンズに備えられる光学系の数（ｎ）であるので、ｎ個となる。
【０２６３】
生成可能な関係式の数は、画素値が飽和している一次画像データの数をｋ（ただし、ｋはｋ＞０を満たす整数）とすると、（ｍ−ｋ）個となる。
【０２６４】
まず、各画素に備えられる受光センサに属性を示すラベルを付与する。属性を示すラベルとは、当該受光センサが、どの光学系を担当する受光センサであるかを示すラベルである。どの光学系を担当する受光センサかは、どの光学系からの光を最も多く受光するかによって定められる。すなわち、どの光学系に最も感度があるかによって定められる。各受光センサの属性は、混信比率の情報から算出される。たとえば、ある受光センサの混信比率Cmが、Cm1：Cm2：…：Cmn＝第１光学系：第２光学系：…：第ｍ光学系の場合において、Cm1が最大値の場合、当該受光センサの属性第１光学系となる。したがって、当該受光センサには、属性が第１光学系であることを示すラベルが付与される。
【０２６５】
〔（ｍ−ｋ）＜ｎとなる場合の処理〕
（ｍ−ｋ）＜ｎとなる場合とは、生成可能な連立方程式の数（ｍ−ｋ）が、生成する二次画像データの数（ｎ）よりも少なくなる場合である。
【０２６６】
この場合、飽和していない一次画像データの画素値に基づいて、当該画素の二次画像データを生成する。生成は次のように行われる。
【０２６７】
第１の二次画像データは、第１光学系に対応する画像データである。したがって、第１の二次画像データの画素値B1は、属性が第１光学系である受光センサから出力された画素値に基づいて生成する。すなわち、第１光学系を担当する属性を示すラベルが付与された受光センサから出力された画素値に基づいて、第１の二次画像データを生成する。
【０２６８】
ここで、属性が第１光学系である受光センサから出力された画素値が存在するが、そのすべてが飽和している場合、飽和値を当該画素における第１の二次画像データの画素値とする。
【０２６９】
一方、属性が第１光学系である受光センサから出力された画素値が存在し、かつ、飽和していない画素値が存在する場合は、その画素値を当該画素における第１の二次画像データの画素値とする。なお、属性が第１光学系の受光センサから出力された画素値であって、飽和していない画素値が複数存在する場合は、その平均値を当該画素における第１の二次画像データの画素値とする。
【０２７０】
同様の手法で残りの二次画像データの画素値を算出する。すなわち、第ｎの二次画像データは、第ｎ光学系に対応する画像データであるので、第ｎの二次画像データの画素値Bnは、属性が第ｎ光学系である受光センサから出力された画素値に基づいて生成する。すなわち、属性を示すラベルが、第ｎ光学系の受光センサから出力された画素値に基づいて、第ｎの二次画像データを生成する。
【０２７１】
ここで、属性が第ｎ光学系の受光センサから出力された画素値が存在するが、そのすべてが飽和している場合、当該画素における第ｎの二次画像データの画素値を飽和値とする。一方、属性が第ｎ光学系の受光センサから出力された画素値が存在し、かつ、飽和していない画素値が存在する場合は、その画素値を当該画素における第ｎの二次画像データの画素値とする。なお、属性が第ｎ光学系の受光センサから出力された画素値であって、飽和していない画素値が複数存在する場合は、その平均値を当該画素における第ｎの二次画像データの画素値とする。
【０２７２】
上記実施の形態の撮像装置１では、撮影レンズ１０に備えられる光学系の数が２（ｎ＝２）、イメージセンサ１００の各画素１１０に備えられる受光センサ１２０ａ〜１２０ｄの数が４（ｍ＝４）であるので、生成可能な連立方程式の数（ｍ−ｋ）が１個となる場合、上記処理が実施される。
【０２７３】
上記実施の形態の撮像装置１では、第１受光センサ１２０ａ及び第２受光センサ１２０ｂの属性が第１光学系、第３受光センサ１２０ｃ及び第４受光センサ１２０ｄの属性が第２光学系となる。
【０２７４】
たとえば、特定の画素において、第１受光センサ１２０ａ、第２受光センサ１２０ｂ、及び、第３受光センサ１２０ｃが飽和したとする。この場合、飽和していない第４受光センサ１２０ｄから出力された画素値に基づいて、当該画素における二次画像データの画素値を算出する。第４受光センサ１２０ｄの属性は、第２光学系であるので、当該画素における第２の二次画像データの画素値は、第４受光センサ１２０ｄから出力された画素値、すなわち、第４の一次画像データの画素値とされる。一方、第１の二次画像データの画素値は飽和値とされる。
【０２７５】
このように、生成可能な連立方程式の数が、生成する二次画像データの数を下回る場合は、飽和していない受光センサから出力された一次画像データの画素値に基づいて、当該画素における二次画像データの画素値を算出する。これにより、飽和の影響を低減できる。
【０２７６】
図３５は、本例の処理手順を示すフローチャートであり、処理対象とする画素に飽和した受光センサから出力された画素値を含む場合の処理の手順を示すフローチャートである。
【０２７７】
まず、生成可能な連立方程式の数（ｍ−ｋ）が、生成する二次画像データの数（ｎ）よりも少なくなるか否かを判定する（ステップＳ２１）。
【０２７８】
まず、生成可能な連立方程式の数（ｍ−ｋ）が、生成する二次画像データの数（ｎ）よりも多い場合は、画素値が飽和している一次画像データを除外して、混信除去処理を行う（ステップＳ２８）。
【０２７９】
一方、生成可能な連立方程式の数（ｍ−ｋ）が、生成する二次画像データの数（ｎ）よりも少なくなる場合、変数ｉを１に設定する（ステップＳ２２）。そして、飽和していない受光センサから出力された画素値の中に、属性が第ｉ光学系の受光センサから出力された画素値が存在するか否かを判定する（ステップＳ２３）。
【０２８０】
飽和していない受光センサから出力された画素値の中に、属性が第ｉ光学系の受光センサから出力された画素値が存在しない場合、第ｉの二次画像データの画素値を飽和値に設定する（ステップＳ２５）。
【０２８１】
飽和していない受光センサから出力された画素値の中に、属性が第ｉ光学系の受光センサから出力された画素値が存在する場合、属性が第ｉ光学系の受光センサから出力された画素値の平均値を第ｉの二次画像データの画素値に設定する（ステップＳ２４）。
【０２８２】
ステップＳ２４又はステップＳ２５の後、変数ｉが、ｉ＝ｎであるか否かを判定する（ステップＳ２６）。すなわち、すべての二次画像データの画素値が算出されたか否かを判定する。すべての二次画像データの画素値が算出されると、当該画素における処理を終了する。
【０２８３】
一方、すべての二次画像データの画素値の取得が完了していない場合（ｉ≠ｎ）、変数ｉをインクリメントする（ステップＳ２７）。この後、ステップＳ２３に戻り、ステップＳ２３以降の処理を再度実行する。
【０２８４】
このように、生成可能な連立方程式の数が、生成する二次画像データの数を下回る場合は、飽和していない受光センサから出力された一次画像データの画素値に基づいて、各二次画像データの画素値を算出する。
【０２８５】
なお、各受光センサの属性を示すラベルの情報は、属性ラベル情報として、記憶部２２２に格納される。デジタル信号処理部２１６は、記憶部２２２に格納された属性ラベル情報を参照して、上記処理を実行する。
【０２８６】
［第２の実施の形態］
上記第１の実施の形態の撮像装置１では、混信比率及び受光感度の組み合わせが異なるｍ個の受光センサを各画素に備えたイメージセンサを用いて、混信比率及び受光感度の組み合わせが異なるｍ個の一次画像データを生成する構成としている。
【０２８７】
本実施の形態の撮像装置１αは、露出値を変えて複数回露光することにより、混信比率及び受光感度の組み合わせが異なるｍ個の一次画像データを生成する。
【０２８８】
そして、生成したｍ個の一次画像データに基づいて、各光学系に対応した二次画像データを生成する。
【０２８９】
図３６は、第２の実施の形態の撮像装置のシステム構成を示すブロック図である。
【０２９０】
一次画像データの生成に関わる構成以外は、上記第１の実施の形態の撮像装置１の構成と同じである。すなわち、撮影レンズ１０と、イメージセンサ１００αと、レンズ駆動制御部２１０と、イメージセンサ駆動制御部２１２と、アナログ信号処理部２１４と、デジタル信号処理部２１６αと、表示部２１８と、ワークメモリ２２０と、記憶部２２２と、メディアインターフェース２２４と、システム制御部２２６αと、操作部２２８と、を備えて構成される。
【０２９１】
撮影レンズ１０には、第１光学系２０及び第２光学系３０の２つの光学系が備えられる（ｎ＝２）。
【０２９２】
イメージセンサ１００αの各画素１１０αには、撮影レンズに備えられる光学系の数以上の受光センサが備えられる。本実施の形態では、２個の受光センサが備えられる。
【０２９３】
図３７は、イメージセンサの一部を拡大した正面図である。
【０２９４】
同図に示すように、イメージセンサ１００αの各画素１１０αには、２個の受光センサ１２０αａ、１２０αｂが備えられる。符号１２０αａの受光センサを第１受光センサ、符号１２０αｂの受光センサを第２受光センサとする。第１受光センサ１２０αａ及び第２受光センサ１２０αｂは、互いに混信比率の異なる受光センサで構成される。第１受光センサ１２０αａは、主として第１光学系２０からの光を受光する受光センサで構成とされ、第２受光センサ１２０αｂは、主として第２光学系３０からの光を受光する受光センサで構成とされる。
【０２９５】
露光の制御は、システム制御部２２６αで行われる。システム制御部２２６αは、所定の露光制御プログラムを実行することにより、露光制御部２２６αＡとして機能する。
【０２９６】
露光制御部２２６αＡは、撮像指示を受けると、異なる露出値でイメージセンサ１００αを複数回露光させる。本実施の形態では、２回露光する。２回の露光は、適正露出となる露出値と、適正露出に対して一定量アンダーとなる露出値で実施する。なお、ここでの適正露出となる露出値とは、測光によって算出した露出値である。露出値は、撮影レンズの絞り（Ｆ値）、露光時間（シャッタースピード）、及び、感度の組み合わせによって定まる。露光は連続して行われる。
【０２９７】
２回露光することにより、４個の一次画像データを生成できる。一次画像データの生成は、デジタル信号処理部２１６αで行われる。
【０２９８】
図３８は、デジタル信号処理部が備える機能のブロック図である。
【０２９９】
上記第１の実施の形態の撮像装置１と同様に、デジタル信号処理部２１６αは、一次画像データを生成する機能、すなわち、一次画像データ生成部２１６αＡとしての機能と、画像データから画素値が飽和している画素を検出する機能、すなわち、飽和画素検出部２１６αＢとしての機能と、二次画像データを生成する機能、すなわち、二次画像データ生成部２１６αＣとしての機能と、を備える。
【０３００】
一次画像データ生成部２１６αＡは、イメージセンサ１００αの各画素１１０αから対応する受光センサの画像信号を取得して、一次画像データを生成する。１回目の露光で各画素の第１受光センサ１２０αａから画像信号を取得して、１つの一次画像データを生成する。この一次画像データを第１の一次画像データとする。また、１回目の露光で各画素の第２受光センサ１２０αｂから画像信号を取得して、１つの一次画像データを生成する。この一次画像データを第２の一次画像データとする。また、２回目の露光で各画素の第１受光センサ１２０αａから画像信号を取得して、１つの一次画像データを生成する。この一次画像データを第３の一次画像データとする。また、２回目の露光で各画素の第２受光センサ１２０αｂから画像信号を取得して、１つの一次画像データを生成する。この一次画像データを第４の一次画像データとする。このように２回の露光で合計４個の一次画像データを生成できる。
【０３０１】
飽和画素検出部２１６αＢは、一次画像データ生成部２１６αＡで生成された一次画像データを解析し、画素値が飽和している画素を検出する。画素値が飽和している画素を検出する方法は、第１の実施の形態の撮像装置１と同じである。
【０３０２】
二次画像データ生成部２１６αＣは、一次画像データ生成部２１６αＡで生成された４個の一次画像データを取得し、混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する。混信除去の方法は、第１の実施の形態の撮像装置１と同じである。したがって、ここでは、その詳細についての説明は省略する。
【０３０３】
なお、混信除去処理時に必要な各受光センサの受光感度に応じた係数s1、s2、…、smは、各一次画像データの露光時の露出値に応じた係数をe1、e2、…、emとして設定される。
【０３０４】
図３９は、第２の実施の形態の撮像装置による画像データの生成処理の手順を示すフローチャートである。
【０３０５】
撮像指示を受けると（ステップＳ１００）、測光処理が行われる（ステップＳ１０１）。測光結果に基づいて、１回目の露光の露出値と２回目の露光の露出値とが決定される。１回目の露光の露出値は、適正露出となる露出値である。２回目の露光の露出値は、適正露出に対して一定量アンダーとなる露出値である。
【０３０６】
露出値の決定後、１回目の露光が行われる（ステップＳ１０２）。露光後、１回目の露光の画像信号が取り込まれる（ステップＳ１０３）。この画像信号は、ワークメモリ２２０に格納される。
【０３０７】
次に、露出を変えた２回目の露光が行われる（ステップＳ１０４）。露光後、２回目の露光の画像信号が取り込まれる（ステップＳ１０５）。この画像信号もワークメモリ２２０に格納される。
【０３０８】
２回の露光後、取り込んだ画像信号から一次画像データが生成される（ステップＳ１０６）。そして、生成された一次画像データから画素値が飽和している画素が検出される（ステップＳ１０７）。この後、検出した画素の位置情報を利用して、混信除去処理が行われ、二次画像データが生成される（ステップＳ１０８）。
【０３０９】
このように、複数回露光することにより複数個の一次画像データを生成し、生成した一次画像データに混信除去処理を施して、二次画像データを生成することもできる。これにより、上記第１の実施の形態の撮像装置１と同様に、飽和の影響を排除して、正確に混信の影響を除去できる。
【０３１０】
《第２の実施の形態の撮像装置の変形例》
〈受光センサの数〉
各画素に備える受光センサの数は、撮影レンズに備えられる光学系の数以上であればよい。したがって、撮影レンズに備えられる光学系の数が２であれば、２以上の受光センサが各画素に備えられていればよい。
【０３１１】
なお、各画素には、混信比率及び受光感度の組み合わせが異なる受光センサを備えてもよい。
【０３１２】
〈露光の回数〉
露光は、少なくとも２回行われればよい。なお、少なくとも１回は、適正露出に対してアンダーとなる露出値で露光することが好ましい。また、露出値は、露光時間が一定時間以上長くならないように設定することが好ましい。露光時間が長くなると、像ブレの影響が現れるからである。
【０３１３】
［その他の実施の形態］
《撮影レンズの変形例》
上記実施の形態では、撮影レンズに２個の光学系を備えているが、撮影レンズに備える光学系の数（ｎ）は、これに限定されるものではない。撮影レンズには、互いに撮像特性の異なる２以上の光学系が備えられていればよい。
【０３１４】
また、上記実施の形態では、焦点距離の異なる光学系が撮影レンズに備えられているが、撮影レンズに備える光学系の種類は、これに限定されるものではない。この他、たとえば、互いに合焦距離の異なる光学系を備えてもよい。これにより、近距離の被写体に合焦した画像と遠距離の被写体に合焦した画像のように、互いに合焦距離の異なる画像を同時に撮像できる。また、たとえば、互いに透過波長特性の異なる光学系を備えてもよい。これにより、たとえば、赤外光領域の光を透過させる光学系、及び、可視光領域の光を透過させる光学系を備えることにより、赤外光画像と可視光画像とを同時に撮像できる。
【０３１５】
また、上記実施の形態では、複数の光学系が同心状に配置される構成としているが、複数の光学系の配置は、これに限定されるものではない。たとえば、光軸を中心として、周方向に領域を分割し、各領域に光学系を配置する構成とすることもできる。
【０３１６】
《混信除去処理の変形例》
上記のように、混信除去処理は、画素ごとに行われ、行列を利用する場合は、画素ごとに逆行列Ｃ-1の情報を読み出して、混信除去処理を実施する。したがって、逆行列Ｃ-1の情報は、画素ごとに逆行列情報記憶部２２２Ａに記憶される。一方、各画素に備えられる受光センサの混信比率が、画素間で近似している場合は、代表となる逆行列を定めて、混信除去処理を実施してもよい。すなわち、各画素において共通の逆行列を使用して、混信除去処理を実施してもよい。これにより、演算負荷を低減できる。また、画面を複数の領域に分割し、領域ごとに共通の逆行列を定めてもよい。
【０３１７】
《画素値がノイズレベル以下の場合》
一次画像データの画素値がノイズレベル以下になると、二次画像データとの間に一定の関係が成立しなくなる。
【０３１８】
したがって、処理対象とする画素に画素値がノイズレベル以下となっている一次画像データを含む場合も、当該一次画像データを除外して二次画像データを生成することが好ましい。
【０３１９】
すなわち、入力と出力との間に線形性が確保さている一次画像データのみを使用して混信除去処理を行い、二次画像データを生成することが好ましい。
【０３２０】
《カラー画素の生成》
また、上記実施の形態では、説明の便宜上、カラー画像については言及していないが、カラー画像を生成する場合は、所定のフィルタ配列で各画素にカラーフィルタを配置する。これにより、カラー画像の生成が可能になる。
【実施例】
【０３２１】
本発明の効果を確認するため、擬似的に生成した一次画像データに本発明に係る混信除去処理を施して、二次画像データが生成する実験を行った。【０３２２】
〈一次画像データの生成〉
図４０は、一次画像データの生成の概念図である。【０３２３】
一次画像データは、２つの画像データＷ、Ｔを合成して擬似的に生成した。合成する画像の数が、撮影レンズに備えられる光学系の数（ｎ）に相当する。２つの画像データＷ、Ｔを合成しているので、撮影レンズに備えられる光学系の数は２個（ｎ＝２）となる。【０３２４】
生成する一次画像データの数が、イメージセンサの各画素に備えられる受光センサの数（ｍ）に相当する。４つの一次画像データを生成した。この場合、イメージセンサの各画素に備えられる受光センサの数は、４個（ｍ＝４）となる。４つの一次画像データを第１の一次画像データＦＩ１、第２の一次画像データＦＩ２、第３の一次画像データＦＩ３、第４の一次画像データＦＩ４とする。【０３２５】
合成時の混合比率（２つの画像データＷ、Ｔを合成する比率）が、混信比率に相当する。第１の一次画像データＦＩ１の混信比率C1をＷ：Ｔ＝０．８：０．２、第２の一次画像データＦＩ２の混信比率C2をＷ：Ｔ＝０．２：０．８、第３の一次画像データＦＩ３の混信比率C3をＷ：Ｔ＝０．８：０．２、第４の一次画像データＦＩ４の混信比率C4をＷ：Ｔ＝０．２：０．８とした。【０３２６】
合成後の各画像の輝度を調整して、受光感度を擬似的に調整した。第１の一次画像データＦＩ１及び第２の一次画像データＦＩ２に対して、第３の一次画像データＦＩ３及び第４の一次画像データＦＩ４の輝度を１／５に設定した。この場合、受光感度に応じた係数をs1、s2、s3及びs4は、s1＝１、s2＝１、s3＝０．２、s4＝０．２となる。【０３２７】
混信比率及び受光感度の組み合わせが異なる４つの一次画像データＦＩ１〜ＦＩ４を生成した。【０３２８】
〈二次画像データの生成〉
（１）本発明
図４１は、本発明に係る画像データ生成方法で生成した二次画像データが表わす画像である。【０３２９】
すなわち、４つの一次画像データ（第１の一次画像データＦＩ１、第２の一次画像データＦＩ２、第３の一次画像データＦＩ３、第４の一次画像データＦＩ４）に対して本発明の方法で混信除去処理を施し、２つの二次画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成した。【０３３０】
同図に示すように、飽和の影響を排除して、２つの画像から互いに混信の影響を除去できることが確認できた。【０３３１】
（２）比較例
図４２は、従来の方法で生成した二次画像データが表わす画像である。【０３３２】
第１の一次画像データＦＩ１及び第２の一次画像データＦＩ２に対して、従来の方法で混信除去処理を施し、２つの二次画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成した。【０３３３】
同図に示すように、生成される画像（二次画像データ）は、飽和の影響を受けて破綻することが確認できた。
【符号の説明】
【０３３４】
１  撮像装置
１α  撮像装置
１０  撮影レンズ
２０  第１光学系
２２  絞り
３０  第２光学系
３０ａ  第１レンズ
３０ｂ  第２レンズ
３０ｃ  第３レンズ
３０ｄ  主鏡
３０ｅ  副鏡
３２  絞り
４０  共通レンズ
１００  イメージセンサ
１００α  イメージセンサ
１１０  画素
１１０α  画素
１２０ａ  第１受光センサ
１２０ｂ  第２受光センサ
１２０ｃ  第３受光センサ
１２０ｄ  第４受光センサ
１２０ｅ  受光センサ
１２０ｆ  受光センサ
１２０ｇ  受光センサ
１２０ｈ  受光センサ
１２０ｉ  受光センサ
１２０αａ  第１受光センサ
１２０αｂ  第２受光センサ
１３０  光電変換素子
１３２  マイクロレンズ
１３４  遮光マスク
１３４Ａ  開口部
１３６  フィルタ
２１０  レンズ駆動制御部
２１２  イメージセンサ駆動制御部
２１４  アナログ信号処理部
２１６  デジタル信号処理部
２１６Ａ  一次画像データ生成部
２１６Ｂ  飽和画素検出部
２１６Ｃ  二次画像データ生成部
２１６α  デジタル信号処理部
２１６αＡ  一次画像データ生成部
２１６αＢ  飽和画素検出部
２１６αＣ  二次画像データ生成部
２１８  表示部
２２０  ワークメモリ
２２２  記憶部
２２２Ａ  逆行列情報記憶部
２２４  メディアインターフェース
２２６  システム制御部
２２６α  システム制御部
２２６αＡ  露光制御部
２２８  操作部
２３０  外部メモリ
ＦＩ１  第１の一次画像データ
ＦＩ２  第２の一次画像データ
ＦＩ３  第３の一次画像データ
ＦＩ４  第４の一次画像データ
Ｌ  光軸
Ｌ１  領域
Ｌ２  領域
ＳＩ１  第１の二次画像データ
ＳＩ２  第２の二次画像データ
Ｓ１〜Ｓ１１  二次画像データの生成処理時の各工程
Ｓ２１〜Ｓ２７  画素値が飽和している一次画像データを含む場合の処理の各工程
【図１】
2017130581.tif 000003
【図２】
2017130581.tif 000004
【図３】
2017130581.tif 000005
【図４】
2017130581.tif 000006
【図５】
2017130581.tif 000007
【図６】
2017130581.tif 000008
【図７】
2017130581.tif 000009
【図８】
2017130581.tif 000010
【図９】
2017130581.tif 000011
【図１０】
2017130581.tif 000012
【図１１】
2017130581.tif 000013
【図１２】
2017130581.tif 000014
【図１３】
2017130581.tif 000015
【図１４】
2017130581.tif 000016
【図１５】
2017130581.tif 000017
【図１６】
2017130581.tif 000018
【図１７】
2017130581.tif 000019
【図１８】
2017130581.tif 000020
【図１９】
2017130581.tif 000021
【図２０】
2017130581.tif 000022
【図２１】
2017130581.tif 000023
【図２２】
2017130581.tif 000024
【図２３】
2017130581.tif 000025
【図２４】
2017130581.tif 000026
【図２５】
2017130581.tif 000027
【図２６】
2017130581.tif 000028
【図２７】
2017130581.tif 000029
【図２８】
2017130581.tif 000030
【図２９】
2017130581.tif 000031
【図３０】
2017130581.tif 000032
【図３１】
2017130581.tif 000033
【図３２】
2017130581.tif 000034
【図３３】
2017130581.tif 000035
【図３４】
2017130581.tif 000036
【図３５】
2017130581.tif 000037
【図３６】
2017130581.tif 000038
【図３７】
2017130581.tif 000039
【図３８】
2017130581.tif 000040
【図３９】
2017130581.tif 000041
【図４０】
2017130581.tif 000042
【図４１】
2017130581.tif 000043
【図４２】
2017130581.tif 000044
【国際調査報告】
2017130581.tif 000045
2017130581.tif 000046
2017130581.tif 000047
2017130581.tif 000048