(57)【要約】【課題】スミア成分が除去された、高画質の画像を得る。【解決手段】光学系からの入射光を第１及び第２の入射光に分け、第１の入射光を受光する第１のイメージセンサが出力する第１のデータと、第２の入射光を受光する、第１のイメージセンサと同一構成の第２のイメージセンサが出力する第２のデータとを用いた信号処理により、第１のデータからスミア成分を除去した画像データを求める。本技術は、例えば、画像を撮像するディジタルカメラ等に適用することができる。【選択図】図１
2014011718.tif 000002
【特許請求の範囲】
【請求項１】
第１のイメージセンサが出力する第１のデータと、前記第１のイメージセンサと同一構成の第２のイメージセンサが出力する第２のデータとを用いた信号処理により、前記第１のデータからスミア成分を除去した画像データを求める信号処理部を備える
信号処理装置。
【請求項２】
前記第１及び第２のイメージセンサは、グローバルシャッタ方式のイメージセンサである
請求項１に記載の信号処理装置。
【請求項３】
入射光を、第１の入射光と第２の入射光とに分割し、前記第１の入射光を前記第１のイメージセンサに受光させるとともに、前記第２の入射光を前記第２のイメージセンサに受光させる分割部をさらに備える
請求項２に記載の信号処理装置。
【請求項４】
前記第１及び第２のイメージセンサは、光電変換を行う光電変換素子を有し、
前記第１のイメージセンサは、前記光電変換素子に蓄積された電荷を含むデータを、前記第１のデータとして出力し、
前記第２のイメージセンサは、前記光電変換素子に蓄積された電荷を含まないデータを、前記第２のデータとして出力する
請求項３に記載の信号処理装置。
【請求項５】
前記信号処理部は、前記第１のデータと前記第２のデータとを用いた所定の演算により、前記第１のデータからスミア成分を除去した画像データを求める
請求項４に記載の信号処理装置。
【請求項６】
前記信号処理部は、前記第１のデータから前記第２のデータを減算することにより、前記第１のデータからスミア成分を除去した画像データを求める
請求項５に記載の信号処理装置。
【請求項７】
前記分割部は、ハーフミラー、又は、セパレータレンズで構成される
請求項３に記載の信号処理装置。
【請求項８】
前記第１及び第２のイメージセンサは、
前記光電変換素子に蓄積された電荷を転送する転送トランジスタと、
前記転送トランジスタにより転送される電荷を蓄積する電荷蓄積部と
をさらに有するCMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、
前記第１のデータは、前記光電変換素子に蓄積された電荷を、前記電荷蓄積部に転送して得られるデータであり、
前記第２のデータは、前記光電変換素子に蓄積された電荷を、前記電荷蓄積部に転送せずに得られるデータである
請求項４に記載の信号処理装置。
【請求項９】
前記第２のデータを補正する補正部をさらに備える
請求項８に記載の信号処理装置。
【請求項１０】
前記補正部は、前記第２のイメージセンサの画素の前記第２のデータを、前記第１のイメージセンサの対応する画素において、前記光電変換素子に蓄積された電荷を前記電荷蓄積部に転送せずに得られるデータと一致するように補正する
請求項９に記載の信号処理装置。
【請求項１１】
前記分割部は、前記入射光を、前記第２の入射光よりも光強度が強い前記第１の入射光と、前記第１の入射光よりも光強度が弱い前記第２の入射光とに分割する
請求項３に記載の信号処理装置。
【請求項１２】
前記第１及び第２のイメージセンサは、１個のパッケージ、又は、別個のパッケージに搭載されている
請求項６に記載の信号処理装置。
【請求項１３】
前記第１及び第２のイメージセンサは、半導体製造プロセスにおいて、ウエハ上に形成された複数のイメージセンサのうちの隣り合う２個のイメージセンサを１チップにダイシングした半導体チップである
請求項６に記載の信号処理装置。
【請求項１４】
前記第１及び第２のイメージセンサをさらに備えるカメラである
請求項６に記載の信号処理装置。
【請求項１５】
第１のイメージセンサが出力する第１のデータと、前記第１のイメージセンサと同一構成の第２のイメージセンサが出力する第２のデータとを用いた信号処理により、前記第１のデータからスミア成分を除去した画像データを求める
ステップを含む信号処理方法。
【請求項１６】
第１のイメージセンサが出力する第１のデータと、前記第１のイメージセンサと同一構成の第２のイメージセンサが出力する第２のデータとを用いた信号処理により、前記第１のデータからスミア成分を除去した画像データを求める信号処理部
として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置、信号処理方法、及び、プログラムに関し、特に、例えば、スミア成分が除去された、高画質の画像を得ることができるようにする信号処理装置、信号処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
例えば、グローバルシャッタ方式のCMOS(Complemental Metal Oxide Semiconductor)イメージセンサには、光電変換を行うPD(Photo Diode)に蓄積された電荷を一時蓄積する電荷蓄積部が形成されている。
【０００３】
電荷蓄積部に、光が照射されると、電荷蓄積部に蓄積される電荷が変動し、CMOSイメージセンサで得られる画像に、CCD(Charged Coupled Device)イメージセンサで生じるスミアに類似する画質の劣化が生じる。
【０００４】
そのため、CMOSイメージセンサでは、電荷蓄積部上を覆うように、アルミニウムやタングステン等で構成される遮光膜が設けられる。
【０００５】
ここで、CCD(Charge Coupled Device)イメージセンサでは、電荷を転送する転送路に光が漏れ込むことにより、画質の劣化が生じるが、この、転送路に光が漏れ込むことによる画質の劣化が、スミアと呼ばれる。したがって、CMOSイメージセンサの電荷蓄積部に光が照射され、電荷蓄積部に蓄積される電荷が変動することによって生じる画質の劣化は、CCDイメージセンサで生じるスミアとは異なる。但し、CMOSイメージセンサの電荷蓄積部に光が照射され、電荷蓄積部に蓄積される電荷が変動することによって生じる画質の劣化は、スミアに類似するので、説明の便宜のため、スミアともいう。
【０００６】
CMOSイメージセンサでは、上述のように、スミアを防止するために、電荷蓄積部上に、遮光膜を設けるが、それでも、CMOSイメージセンサを構成している半導体基板（シリコン基板）と遮光膜との間から、電荷蓄積部に、光漏れが生じることがある。
【０００７】
電荷蓄積部への光漏れに対する対策としては、電荷蓄積部の上だけでなく、電荷蓄積部の周辺部の上にも張り出すように、遮光膜を設ける方法がある。
【０００８】
しかしながら、電荷蓄積部上から張り出すように、遮光膜を設けると、遮光膜が、PDに入射する光の一部を遮ることとなって、PDの開口面積が小さくなり、CMOSイメージセンサの受光感度が低下する。
【０００９】
そこで、CMOSイメージセンサから得られる、スミアの成分（スミア成分）を含む画像データ（画素値）から、そのスミア成分を除去するように、画像データを補正するスミア補正が、例えば、特許文献１に提案されている。
【００１０】
特許文献１に記載のスミア補正では、CMOSイメージセンサに、画像を撮像するための画素である通常画素の他に、スミア成分だけを得るための画素であるスミア補正用画素が設けられる。
【００１１】
スミア補正用画素には、PDが設けられておらず、スミア補正用画素の画素値は、そのスミア補正用画素の周辺の通常画素のスミア成分として、通常画素の画素値から、スミア成分を除去するスミア補正に用いられる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開2011-029835号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
特許文献１に記載のスミア補正では、CMOSイメージセンサに設けられるスミア補正用画素は、PDを有しないため、そのスミア補正用画素の出力は、CMOSイメージセンサで撮像される画像（撮像画像）の画素の画素値として使用することはできない。
【００１４】
このため、撮像画像の、スミア補正用画素に対応する画素の画素値は、例えば、スミア補正用画素の周辺の通常画素の画素値を用いた補間によって生成する必要があり、スミア補正用画素を設けた分だけ、撮像画像の画質（解像度）が低下する。
【００１５】
また、CMOSイメージセンサの各画素の画素値に含まれるスミア成分は、その画素に入射する光（入射光）の入射角度依存があるため、スミア補正用画素の画素値が、そのスミア補正用画素の周辺の通常画素の画素値に含まれるスミア成分として、精度の高い値になっているとは限らない。
【００１６】
例えば、１個の通常画素の隣に、１個のスミア補正用画素を設けるような配列の場合、スミア補正用画素の画素値は、そのスミア補正用画素に近い通常画素の画素値に含まれるスミア成分を、比較的精度良く表すことになる。しかしながら、この場合、スミア補正用画素の数の増加によって、撮像画像の画質（解像度）が低下する。
【００１７】
本技術は、このような状況に鑑みてなされたものであり、スミア成分が除去された、高画質の画像を得ることができるようにするものである。
【課題を解決するための手段】
【００１８】
本技術の一側面の信号処理装置、又は、プログラムは、第１のイメージセンサが出力する第１のデータと、前記第１のイメージセンサと同一構成の第２のイメージセンサが出力する第２のデータとを用いた信号処理により、前記第１のデータからスミア成分を除去した画像データを求める信号処理部を備える信号処理装置、又は、信号処理装置としてコンピュータを機能させるためのプログラムである。
【００１９】
本技術の一側面の信号処理方法は、第１のイメージセンサが出力する第１のデータと、前記第１のイメージセンサと同一構成の第２のイメージセンサが出力する第２のデータとを用いた信号処理により、前記第１のデータからスミア成分を除去した画像データを求めるステップを含む信号処理方法である。
【００２０】
以上のような一側面においては、第１のイメージセンサが出力する第１のデータと、前記第１のイメージセンサと同一構成の第２のイメージセンサが出力する第２のデータとを用いた信号処理により、前記第１のデータからスミア成分を除去した画像データが求められる。
【００２１】
なお、信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００２２】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００２３】
本技術の一側面においては、高画質の画像を得ることができる。特に、スミア成分が除去された、高画質の画像を得ることができる。
【図面の簡単な説明】
【００２４】
【図１】本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
【図２】イメージセンサ３Ａの構成例を示すブロック図である。
【図３】画素１１ｍ，ｎの構成例を示す回路図である。
【図４】イメージセンサ３Ａ及び３Ｂが有する画素１１ｍ，ｎの駆動を説明する図である。
【図５】信号処理部５の構成例を示すブロック図である。
【図６】信号処理部５の処理を説明するフローチャートである。
【図７】イメージセンサ３Ａ及び３Ｂの製造方法を説明する図である。
【図８】本技術を適用したディジタルカメラの他の一実施の形態の構成例を示すブロック図である。
【図９】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
［本技術を適用したディジタルカメラの一実施の形態］
【００２６】
図１は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
【００２７】
なお、ディジタルカメラは、静止画、及び、動画のいずれも撮像することができる。
【００２８】
図１において、ディジタルカメラは、光学系１、ハーフミラー２、２つのイメージセンサ３Ａ及び３Ｂ、メモリ４、信号処理部５、出力部６、及び、制御部７を有する。
【００２９】
光学系１は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り等を有し、外部からの光を、ハーフミラー２に入射させる。
【００３０】
ハーフミラー２は、光学系１から入射される光（入射光）を、第１及び第２の入射光の２つの入射光に分離する（分ける）分離部の一例である。
【００３１】
ハーフミラー２は、光学系１からの入射光の一部（例えば、入射光の50%）を透過するとともに、他の一部（例えば、入射光の残りの50%）を反射することによって、光学系１からの入射光を、第１の入射光としての透過光と、第２の入射光としての反射光とに分離し、第１の入射光としての透過光を、イメージセンサ３Ａに受光させるとともに、第２の入射光としての反射光を、イメージセンサ３Ｂに受光させる。
【００３２】
イメージセンサ３Ａ及び３Ｂは、例えば、同一構成（仕様）のグローバルシャッタ方式のCMOSイメージセンサであり、イメージセンサ３Ａへの第１の入射光の入射角等の第１の入射光の入射の条件と、イメージセンサ３Ｂへの第２の入射光の入射角等の第２の入射光の入射の条件とが一致するように配置されている。
【００３３】
イメージセンサ３Ａは、ハーフミラー２からの第１の入射光を受光し、その第１の入射光に応じて、第１のデータを出力する。
【００３４】
イメージセンサ３Ｂは、ハーフミラー２からの第２の入射光を受光し、その第２の入射光に応じて、第２のデータを出力する。
【００３５】
ここで、イメージセンサ３Ａ及び３Ｂは、後述するように、光電変換を行う光電変換素子として、PD(Photo Diode)５１を有する。
【００３６】
イメージセンサ３Ａは、PD５１に蓄積された電荷を含むデータを、第１のデータとして出力し、イメージセンサ３Ｂは、PD５１に蓄積された電荷を含まないデータを、第２のデータとして出力する
【００３７】
メモリ４は、イメージセンサ３Ａが出力する第１のデータ、及び、イメージセンサ３Ｂが出力する第２のデータを一時記憶する。
【００３８】
信号処理部５は、メモリ４に記憶された第１及び第２のデータを用いた信号処理としての、例えば、所定の演算により、第１のデータからスミア成分を除去した画像データを求め、出力部６に供給する。
【００３９】
出力部６は、信号処理部５からの画像データを出力する。
【００４０】
すなわち、出力部６は、例えば、液晶等で構成されるディスプレイ（図示せず）を有し、信号処理部５からの画像データに対応する画像を、いわゆるスルー画として表示する。
【００４１】
また、出力部６は、例えば、半導体メモリや、磁気ディスク、光ディスク等の記録媒体を駆動するドライバ（図示せず）を有し、信号処理部５からの画像データを記録媒体に記録する。
【００４２】
制御部７は、ユーザの操作等に従い、ディジタルカメラを構成する各ブロックを制御する。
【００４３】
以上のように構成されるディジタルカメラでは、ハーフミラー２が、光学系１からの入射光を、第１及び第２の入射光に分離し、第１の入射光を、イメージセンサ３Ａに受光させるとともに、第２の入射光を、イメージセンサ３Ｂに受光させる。
【００４４】
イメージセンサ３Ａは、ハーフミラー２からの第１の入射光を受光し、その第１の入射光に応じて、第１のデータを出力する。
【００４５】
イメージセンサ３Ｂは、ハーフミラー２からの第２の入射光を受光し、その第２の入射光に応じて、第２のデータを出力する。
【００４６】
イメージセンサ３Ａが出力する第１のデータ、及び、イメージセンサ３Ｂが出力する第２のデータは、メモリ４に供給されて記憶される。
【００４７】
以上のように、第１及び第２のデータが、メモリ４に記憶されると、信号処理部５は、メモリ４に記憶された第１及び第２のデータを用いた信号処理を行うことにより、第１のデータからスミア成分を除去した画像データを求め、出力部６に供給する。
【００４８】
出力部６では、信号処理部５からの画像データが出力される。
【００４９】
［イメージセンサ３Ａ及び３Ｂの構成例］
【００５０】
図２は、図１のイメージセンサ３Ａの構成例を示すブロック図である。
【００５１】
なお、イメージセンサ３Ｂは、イメージセンサ３Ａと同様に構成される。
【００５２】
図２において、イメージセンサ３Ａは、画素アレイ１０、画素駆動部２１、及び、ADC(Analog to Digital Converter)２２１ないし２２Ｎを有する。
【００５３】
画素アレイ１０は、M×N個（M及びNは、1以上の整数）の画素１１１，１，１１１，２，・・・，１１１，Ｎ，１１２，１，１１２，２，・・・，１１２，Ｎ，・・・，１１Ｍ，１，１１Ｍ，２，・・・，１１Ｍ，Ｎを有する。
【００５４】
M×N個の画素１１１，１ないし１１Ｍ，Ｎは、M行N列の行列（格子）状に配置されている。
【００５５】
さらに、（上から）m行目（m＝1,2,・・・,M）の行方向（横方向）に並ぶN個の画素１１ｍ，１ないし１１ｍ，Ｎには、行方向に延びる画素制御線４１ｍが接続されている。
【００５６】
また、（左から）n列目（n＝1,2,・・・,N）の列方向（縦方向）に並ぶM個の画素１１１，ｎないし１１Ｍ，ｎには、列方向に延びる垂直信号線４２ｎが接続されている。
【００５７】
画素１１ｍ，ｎは、そこに入射する光（入射光）の光電変換を行う。さらに、画素１１ｍ，ｎは、光電変換によって得られる電荷に対応する電圧を、画素駆動部２１からの、画素制御線４１ｍを介しての制御に従い、垂直信号線４２ｎ上に出力する。
【００５８】
なお、画素１１ｍ，ｎは、例えば、ベイヤ配列等の色フィルタ（図示せず）を介して入射する所定の色の光の光電変換を行う。
【００５９】
画素駆動部２１は、例えば、制御部７（図１）の制御等に従い、画素制御線４１ｍを介して、その画素制御線４１ｍに接続されている画素１１ｍ，１ないし１１ｍ，Ｎを制御（駆動）する。
【００６０】
ADC２２ｎは、画素１１ｍ，ｎから、垂直信号線４１ｎを介して供給される電圧のCDS(Correlated Double Sampling)、及び、AD変換を行い、その結果得られるディジタルデータを、画素１１ｍ，ｎの画素値（画素データ）として出力する。
【００６１】
［画素１１ｍ，ｎの構成例］
【００６２】
図３は、図２の画素１１ｍ，ｎの構成例を示す回路図である。
【００６３】
図３において、画素１１ｍ，ｎは、PD５１、並びに、６個のnMOS(negative channel MOS)のFET(Field Effect Transistor)５２，５３，５５，５７，５８、及び、５９を有する。
【００６４】
また、画素１１ｍ，ｎにおいて、FET５３のドレインとFET５５のソースとが接続されており、その接続点には、電荷を蓄積する電荷蓄積部（容量）５４が形成されている。
【００６５】
さらに、画素１１ｍ，ｎにおいて、FET５５のドレイン、FET５７のソース、及び、FET５８のゲートが接続されており、その接続点には、電荷を電圧に変換するためのFD(Floating Diffusion)（容量）５６が形成されている。
【００６６】
PD５１は、光電変換素子の一例であり、入射光を受光して、その入射光に対応する電荷を蓄積する。
【００６７】
PD５１のアノードはグランド(ground)に接続され（接地され）、PD５１のカソードは、FET５２のソースに接続されている。
【００６８】
FET５２は、PD５１に蓄積された電荷を排出（リセット）するための、電子シャッタとして機能するFETであり、以下、排出Tr(Transistor)５２ともいう。
【００６９】
排出Tr５２のドレインは、電源Vddに接続されている。
【００７０】
また、排出Tr５２のゲートは、画素制御線４１ｍ（図２）に接続されており、排出Tr５２のゲートには、画素制御線４１ｍを介して、排出パルスOFGが供給される。
【００７１】
ここで、画素駆動部２１（図２）が、画素制御線４１ｍを介して、画素１１ｍ，ｎを駆動（制御）するために、画素制御線４１ｍに流す制御信号には、排出パルスOFG、第１転送パルスTRG、第２転送パルスROG、リセットパルスRST、及び、選択パルスSELがある。
【００７２】
FET５３は、PD５１に蓄積された電荷を、PD５１から電荷蓄積部５４に転送するためのFETであり、以下、第１転送Tr５３ともいう。
【００７３】
第１転送Tr５３のソースは、PD５１のカソードに接続され、第１転送Tr５３のドレインは、電荷蓄積部５４を介して、FET５５のソースに接続されている。
【００７４】
また、第１転送Tr５３のゲートは、画素制御線４１ｍに接続されており、第１転送Tr５３のゲートには、画素制御線４１ｍを介して、第１転送パルスTRGが供給される。
【００７５】
電荷蓄積部５４は、第１転送Tr５３のドレインと、FET５５のソースとの接続点に形成された、コンデンサの如く電荷を蓄積する領域である。
【００７６】
FET５５は、電荷蓄積部５４に蓄積された電荷を、FD５６に転送するためのFETであり、以下、第２転送FETともいう。
【００７７】
第２転送Tr５５のドレインは、FD５６を介して、FET５７のソースに接続されている。
【００７８】
また、第２転送Tr５５のゲートは、画素制御線４１ｍに接続されており、第２転送Tr５５のゲートには、画素制御線４１ｍを介して、第２転送パルスROGが供給される。
【００７９】
FD５６は、第２転送Tr５５のドレイン、FET５７のソース、及び、FET５８のゲートの接続点に形成された、コンデンサの如く電荷を電圧に変換する領域である。
【００８０】
FET５７は、電荷蓄積部５４に蓄積された電荷や、FD５６の電圧（電位）をリセットするためのFETであり、以下、リセットTr５７ともいう。
【００８１】
リセットTr５７のドレインは、電源Vddに接続されている。
【００８２】
また、リセットTr５７のゲートは、画素制御線４１ｍに接続されており、リセットTr５７のゲートには、画素制御線４１ｍを介して、リセットパルスRSTが供給される。
【００８３】
FET５８は、FD５６の電圧を増幅するためのFETであり、以下、増幅Tr５８ともいう。
【００８４】
増幅Tr５８のゲートは、FD５６に接続され、増幅Tr５８のドレインは、電源Vddに接続されている。また、増幅Tr５８のソースは、FET５９のドレインに接続されている。
【００８５】
FET５９は、垂直信号線４２ｎへの信号の出力を選択するためのFETであり、以下、選択Tr５９ともいう。
【００８６】
選択Tr５９のソースは、垂直信号線４２ｎに接続されている。
【００８７】
また、選択Tr５９のゲートは、画素制御線４１ｍに接続されており、選択Tr５９のゲートには、画素制御線４１ｍを介して、選択パルスSELが供給される。
【００８８】
なお、画素１１ｍ，ｎは、選択Tr５９なしで構成することができる。
【００８９】
また、画素１１ｍ，ｎの構成としては、FD５６ないし選択Tr５９を、複数のPD５１等で共有する共有画素の構成を採用することができる。
【００９０】
［画素１１ｍ，ｎの駆動］
【００９１】
図４は、イメージセンサ３Ａ及び３Ｂが有する図３の画素１１ｍ，ｎの駆動を説明する図である。
【００９２】
すなわち、図４は、１回の撮像について、イメージセンサ３Ａ及び３Ｂそれぞれにおいて、画素駆動部２１（図２）が、画素制御線４１ｍを介して、画素１１ｍ，ｎに与える制御信号としての排出パルスOFG、第１転送パルスTRG、第２転送パルスROG、リセットパルスRST、及び、選択パルスSELを示すタイミングチャートである。
【００９３】
イメージセンサ３Ａは、図１で説明したように、PD５１に蓄積された電荷を含むデータを、第１のデータとして出力するが、かかるイメージセンサ３Ａでは、通常の画像の撮像が行われる。
【００９４】
具体的には、イメージセンサ３Ａでは、まず、排出パルスOFG、第２転送パルスROG、及び、リセットパルスRSTが、一時的に、（L(Low)レベルから）H(High)レベルにされる。
【００９５】
ここで、図４では、時刻t1からt2までの間、排出パルスOFG、第２転送パルスROG、及び、リセットパルスRSTが、Hレベルになっている。
【００９６】
排出パルスOFGが一時的にHレベルになることにより、排出Tr５２は、一時的に、（オフ状態から）オン状態になる。
【００９７】
その結果、PD５１に蓄積された電荷は、オン状態の排出Tr５２を介して、電源Vddに掃き出されてリセットされる。
【００９８】
また、第２転送パルスROG、及び、リセットパルスRSTが、一時的に、Hレベルになることにより、第２転送Tr５５、及び、リセットTr５７は、一時的にオン状態になる。
【００９９】
その結果、電荷蓄積部５４に蓄積された電荷は、オン状態の第２転送Tr５５、及び、リセットTr５７を介して、電源Vddに掃き出されてリセットされる。
【０１００】
さらに、FD５６にある電荷は、リセットTr５７を介して、電源Vddに掃き出されてリセットされる。
【０１０１】
排出パルスOFG、第２転送パルスROG、及び、リセットパルスRSTが、一時的に、Hレベルになり、時刻t2において、Lレベルに戻ると、排出Tr５２、第２転送Tr５５、及び、リセットTr５７は、オフ状態になる。
【０１０２】
一方、PD５１は、そこに入射する光を受光し、光電変換を行っているが、時刻t2に、排出Tr５２がオフ状態になることによって、PD５１では、光電変換により得られる、受光した光の光量に応じた電荷の蓄積が開始される。
【０１０３】
時刻t2において、PD５１での電荷の蓄積が開始されてから、所定の時間（露光時間）が経過した時刻t3になると、第１転送パルスTRGが、一時的に、Hレベルにされる。
【０１０４】
ここで、図４では、時刻t3からt4までの間、第１転送パルスTRGが、Hレベルになっている。
【０１０５】
第１転送パルスTRGが一時的にHレベルになることにより、第１転送Tr５３は、一時的に、オン状態になる。
【０１０６】
第１転送Tr５３がオン状態になると、PD５１に蓄積された電荷は、第１転送Tr５３を介して、電荷蓄積部５４に転送されて蓄積される。
【０１０７】
ここで、電荷蓄積部５４には、PD５１において、排出Tr５２がオフ状態になった時刻t2から、第１転送Tr５３がオン状態になった時刻t3までの間に蓄積された電荷が転送される。
【０１０８】
その後、時刻t5において、リセットパルスRSTが、一時的に、Hレベルにされ、これにより、リセットTr５７は、一時的に、オン状態になる。
【０１０９】
ここで、図４では、時刻t5からt6までの間、リセットパルスRSTが、Hレベルになっている。
【０１１０】
リセットTr５７がオン状態になることにより、FD５６にある電荷は、リセットTr５７を介して、電源Vddに掃き出されてリセットされる。
【０１１１】
FD５６の電荷のリセット後の時刻t7において、第２転送パルスROGが、一時的に、Hレベルにされ、これにより、第２転送Tr５５は、一時的に、オン状態になる。
【０１１２】
ここで、図４では、時刻t7からt8までの間、第２転送パルスROGが、Hレベルになっている。
【０１１３】
第２転送Tr５５がオン状態になることにより、電荷蓄積部５４に蓄積された電荷は、第２転送Tr５５を介して、リセット後のFD５６に転送されて蓄積される。
【０１１４】
一方、増幅Tr５８は、そのゲートに接続されたFD５６にある電荷に対応する電圧（電位）を、ソースに出力している。
【０１１５】
上述したように、増幅Tr５８のソースは、選択Tr５９のドレインに接続されており、選択Tr５９は、オン状態になったときに、増幅Tr５８のソースに出力される（現れる）電圧を、選択Tr５９のソースに接続されている垂直信号線４２ｎ上に出力することにより、その垂直信号線４２ｎに接続されているADC２２ｎ（図２）に供給する。
【０１１６】
ここで、第１転送パルスTRGがLレベルにされた時刻t4から、リセットパルスRSTがHレベルにされた時刻t5までの間の時刻t9から、第２転送パルスROGがHレベルにされる時刻t8の後の時刻t10までの一時的な期間、選択パルスSELは、Hレベルにされ、選択Tr５９は、オン状態になる。
【０１１７】
選択Tr５９がオン状態になっている時刻t9からt10までの期間では、リセットパルスRSTがHレベルにされる時刻t5において、リセットTr５７がオン状態になることにより、FD５６（にある電荷）がリセットされ、そのリセット直後のFD５６の電圧（以下、リセットレベルともいう）が、増幅Tr５８、及び、オン状態の選択Tr５９を介して、垂直信号線４２ｎに接続されたADC２２ｎに供給される。
【０１１８】
さらに、選択Tr５９がオン状態になっている時刻t9からt10までの期間では、第２転送パルスROGがHレベルになっている時刻t7ないしt8において、第２転送Tr５５がオン状態になることにより、電荷蓄積部５４に蓄積された電荷が、第２転送Tr５５を介して、リセット後のFD５６に転送される。
【０１１９】
そして、電荷蓄積部５４から電荷が伝送された後のFD５６の電圧、すなわち、リセットレベルを基準とする画素値に対応する電圧（以下、信号レベルともいう）が、増幅Tr５８、及び、オン状態の選択Tr５９を介して、垂直信号線４２ｎに接続されたADC２２ｎに供給される。
【０１２０】
ADC２２ｎでは、信号レベルのCDS及びAD変換が、リセットレベルを用いて行われ、その信号レベルのCDS(Correlated Double Sampling)及びAD変換の結果得られるディジタルデータが、PD５１に蓄積された電荷（に対応する電圧）を含む第１のデータとして出力される。
【０１２１】
一方、イメージセンサ３Ｂは、図１で説明したように、PD５１に蓄積された電荷を含まないデータを、第２のデータとして出力するが、かかるイメージセンサ３Ｂでは、通常の画像の撮像、すなわち、イメージセンサ３Ａによる撮像とは、一部だけ異なる処理が行われる。
【０１２２】
イメージセンサ３Ｂでは、イメージセンサ３Ａと同様に、時刻t1からt2までの一時的な期間、排出パルスOFG、第２転送パルスROG、及び、リセットパルスRSTが、Hレベルにされる。
【０１２３】
さらに、イメージセンサ３Ｂでは、イメージセンサ３Ａと同様に、時刻t5からt6までの一時的な期間、リセットパルスRSTが、Hレベルにされ、時刻t7からt8までの一時的な期間、第２転送パルスROGが、Hレベルにされる。
【０１２４】
また、イメージセンサ３Ｂでは、イメージセンサ３Ａと同様に、時刻t9からt10までの一時的な期間、選択パルスSELが、Hレベルにされる。
【０１２５】
但し、イメージセンサ３Ｂでは、時刻t3からt4までの一時的な期間、第１転送パルスTRGは、Hレベルにされない。
【０１２６】
すなわち、イメージセンサ３Ｂでは、時刻t3からt4までの期間に、第１転送パルスTRGは、Hレベルにされない点で、時刻t3からt4までの期間に、第１転送パルスTRGが、Hレベルにされるイメージセンサ３Ａと異なる。
【０１２７】
以上のように、イメージセンサ３Ｂでは、時刻t3からt4までの期間に、第１転送パルスTRGが、Hレベルにされないので、すなわち、第１転送パルスTRGは、Lレベルのままであるので、第１転送Tr５３は、オン状態にならず、オフ状態のままとなる。
【０１２８】
したがって、イメージセンサ３Ｂでは、PD５１に蓄積された電荷は、第１転送Tr５３を介して、電荷蓄積部５４に転送されることはなく、最終的に、ADC２２ｎから出力されるディジタルデータは、PD５１に蓄積された電荷（に対応する電圧）を含まない第２のデータとなる。
【０１２９】
ところで、イメージセンサ３Ａ及び３Ｂにおいて、第２転送パルスROG、及び、リセットパルスRSTが一時的にHレベルにされることにより、電荷蓄積部５４、及び、FD５６がリセットされ、そのリセット直後の時刻t2から、第２転送パルスROGが一時的にHレベルにされることにより、電荷蓄積部５４からFD５６への電荷の転送が開始される時刻t7までの期間（図４において、点線の矢印で示す）においては、電荷蓄積部５４に、光漏れがあると、その光漏れの光量に対応する電荷が、スミア成分として、電荷蓄積部５４に蓄積される。
【０１３０】
したがって、イメージセンサ３Ａが出力する第１のデータには、PD５１に蓄積された電荷に対応する信号成分と、スミア成分とが含まれる。
【０１３１】
一方、イメージセンサ３Ｂが出力する第２のデータには、PD５１に蓄積された電荷に対応する信号成分は含まれず、スミア成分だけが含まれる。
【０１３２】
同一構成のイメージセンサ３Ａ及び３Ｂを、イメージセンサ３Ｂについては、第１転送パルスTRGをLレベルのままにしておくことを除き、同一のタイミングで、同一に駆動することにより、イメージセンサ３Ａでは、PD５１に蓄積された電荷に対応する信号成分と、スミア成分とが含まれる第１のデータを得ることができ、イメージセンサ３Ｂでは、第１のデータに含まれるスミア成分と同一のスミア成分を得ることができる。
【０１３３】
ここで、イメージセンサ３Ａが出力する、信号成分を含む第１のデータを、画像データともいう。また、イメージセンサ３Ｂが出力する、スミア成分だけを含む第２のデータを、スミアデータともいう。
【０１３４】
また、図４で説明した、イメージセンサ３Ａの駆動を、通常駆動ともいい、イメージセンサ３Ｂの駆動を、スミア検出駆動ともいう。
【０１３５】
通常駆動では、第１転送パルスTRGを一時的にHレベルにして、PD５１に蓄積された電荷を電荷蓄積部５４に転送するのに対して、スミア検出駆動では、第１転送パルスTRGをLレベルのままにし、PD５１に蓄積された電荷を電荷蓄積部５４に転送しない点で、通常駆動とスミア検出駆動とは、異なる。
【０１３６】
［信号処理部５の構成例］
【０１３７】
図５は、図１の信号処理部５の構成例を示すブロック図である。
【０１３８】
図５において、信号処理部５は、補正部７１、及び、除去部７２を有する。
【０１３９】
補正部７１には、イメージセンサ３Ａから出力され、メモリ４（図１）に記憶された画像データ（第１のデータ）が供給される。さらに、補正部７１には、イメージセンサ３Ｂから出力され、メモリ４に記憶されたスミアデータ（第２のデータ）が供給される。
【０１４０】
補正部７１は、そこに供給される画像データやスミアデータを、必要に応じて補正し、除去部７２に供給する。
【０１４１】
除去部７２は、補正部７１からの画像データ及びスミアデータを用いた信号処理として、（補正後の）画像データから（補正後の）スミアデータを減算する演算を行うことにより、補正部７１からの画像データからスミア成分を除去した画像データを求め、出力部６（図１）に供給する。
【０１４２】
ここで、イメージセンサ３Ａ及び３Ｂが、完全に、同一構成で、特性に、差異が一切なければ、入射光を、同一の光量の第１の入射光と第２の入射光とに分割して、第１の入射光を、イメージセンサ３Ａに受光させるとともに、第２の入射光を、イメージセンサ３Ｂに受光させた場合に、イメージセンサ３Ａから出力される第１のデータに含まれるスミア成分と、イメージセンサ３Ｂから出力される第２のデータに含まれるスミア成分とは、同一になる。
【０１４３】
しかしながら、実際には、製造ばらつき等によって、同一の光量の第１及び第２の入射光を、イメージセンサ３Ａ及び３Ｂにそれぞれ受光させても、イメージセンサ３Ａから出力される第１のデータに含まれるスミア成分と、イメージセンサ３Ｂから出力される第２のデータに含まれるスミア成分とに、差異が生じることがある。
【０１４４】
そこで、補正部７１は、イメージセンサ３Ａから出力される第１のデータ（画像データ）に含まれるスミア成分と、イメージセンサ３Ｂから出力される第２のデータ（スミアデータ）に含まれるスミア成分とが一致する（同一になる）ように、例えば、イメージセンサ３Ｂから出力されるスミアデータを補正する。
【０１４５】
すなわち、補正部７１は、イメージセンサ３Ａ及び３Ｂの両方を、スミア検出駆動した場合に、イメージセンサ３Ａの画素１１ｍ，ｎにおいて得られるデータ（スミアデータ）と、イメージセンサ３Ｂの、対応する画素１１ｍ，ｎにおいて得られるスミアデータとが一致するように、イメージセンサ３Ｂから出力されるスミアデータを補正する。
【０１４６】
なお、イメージセンサ３Ｂのスミアデータの補正は、様々な光量（光強度）の入射光に対して、イメージセンサ３Ａ及び３Ｂのスミア検出駆動を行うことにより、イメージセンサ３Ａ及び３Ｂのそれぞれで得られるスミアデータを用いて、イメージセンサ３Ａで得られるスミアデータと、イメージセンサ３Ａで得られるスミアデータとの関係を表す情報（以下、スミア関係情報ともいう）を求めておき、そのスミア関係情報を用いて行うことができる。
【０１４７】
スミア関係情報としては、例えば、イメージセンサ３Ａで得られるスミアデータが、イメージセンサ３Ａで得られるスミアデータの何倍であるかを表す比例定数や、イメージセンサ３Ａで得られるスミアデータの、イメージセンサ３Ａで得られるスミアデータに対するオフセット量等を採用することができる。
【０１４８】
また、上述の場合には、ハーフミラー２において、光学系１からの入射光の50%を透過するとともに、残りの50%を反射することによって、光学系１からの入射光を、同一の光量の第１及び第２の入射光に分割する（分ける）こととしたが、光学系１からの入射光は、異なる光量の第１及び第２の入射光に分割することができる。
【０１４９】
すなわち、例えば、ハーフミラー２において、光学系１からの入射光の50%を透過するとともに、残りの50%を反射することによって、光学系１からの入射光を、同一の光量の第１及び第２の入射光に分割する場合には、信号成分を含む画像データを出力するイメージセンサ３Ａに入射する第１の入射光は、光学系１からの入射光の1/2の光量の光となる。
【０１５０】
したがって、低輝度の被写体を撮像する場合には、光量不足で、適切な画像を得ることができないことがあり得る。
【０１５１】
そこで、ハーフミラー２では、第１の入射光の光量が、第２の入射光の光量よりも（十分）大きくなるように、光学系１からの入射光を分割すること（光学系１からの入射光を、第２の入射光よりも光強度が強い第１の入射光と、第１の入射光よりも光強度が弱い第２の入射光とに分割すること）ができる。
【０１５２】
ハーフミラー２において、光学系１からの入射光が、異なる光量の第１及び第２の入射光に分割される場合、補正部７１では、イメージセンサ３Ａから出力される画像データ、及び、イメージセンサ３Ｂから出力されるスミアデータのうちの一方、又は、両方が、第１及び第２の入射光の光量の比に基づいて補正される。
【０１５３】
補正部７１での、第１及び第２の入射光の光量の比に基づく補正では、イメージセンサ３Ａから出力される画像データ、及び、イメージセンサ３Ｂから出力されるスミアデータが、イメージセンサ３Ａ及び３Ｂに、同一の光量の第１及び第２の入射光が入射された場合に、イメージセンサ３Ａ及び３Ｂそれぞれで得られるのと同様のデータとなるように、画像データ、及び、スミアデータのうちの一方、又は、両方が補正される。
【０１５４】
例えば、ハーフミラー２において、例えば、第１の入射光の光量が、第２の入射光の光量のK倍になるように、光学系１からの入射光が分割される場合、補正部７１では、例えば、第２の入射光を受光するイメージセンサ３Ｂから出力されるスミアデータが、第１及び第２の入射光の光量の比に基づき、K倍に補正される。
【０１５５】
なお、上述のように、ハーフミラー２において、第１の入射光の光量が、第２の入射光の光量のK倍になるように、光学系１からの入射光が分割される場合、補正部７１では、例えば、第１の入射光を受光するイメージセンサ３Ａから出力される画像データを、1/K倍に補正することができる。但し、この場合、画像データの輝度を低下させることになる。
【０１５６】
また、ハーフミラー２において、光学系１からの入射光を、第１及び第２の入射光に分割する場合の、その第１及び第２の入射光それぞれの光量の比（光量比）は、例えば、光学系１からの入射光の、ハーフミラー２に対する入射角を制御することによって調整することができる。
【０１５７】
さらに、ハーフミラー２で得られる第１及び第２の入射光それぞれの光量の光量比は、例えば、ハーフミラー２の反射膜として、反射率（透過率）が、いわゆるグラデーションのように変化する反射膜を採用し、光学系１からの入射光が入射するハーフミラー２の位置を制御することによって調整することができる。
【０１５８】
ハーフミラー２で得られる第１及び第２の入射光それぞれの光量の光量比、すなわち、ハーフミラー２で得られる第１の入射光の光量C1と、ハーフミラー２で得られる第２の入射光の光量C2との光量比C1/C2の調整は、例えば、ユーザの操作に応じて行うことができる。
【０１５９】
また、第１及び第２の入射光それぞれの光量の光量比C1/C2の調整は、その他、例えば、光学系１からの入射光の光量に基づいて行うことができる。
【０１６０】
例えば、光学系１からの入射光の光量が、第１の閾値より大である場合には、第１及び第２の入射光それぞれの光量の光量比C1/C2は、固定にすることができる。
【０１６１】
この場合、光学系１からの入射光の光量が大になると、第１及び第２の入射光それぞれの光量も大になるので、被写体を、適切な明るさの画像に撮像することができる。
【０１６２】
また、例えば、光学系１からの入射光の光量が、第１の閾値より大の第２の閾値より大である場合には、光学系１からの入射光の光量が大であるほど、第１及び第２の入射光それぞれの光量の光量比C1/C2は、小に調整することができる。
【０１６３】
この場合、光学系１からの入射光の光量が大になったときに、第２の入射光の光量は、大きく増加するが、第１の入射光の光量は、ほとんど増加しないようにすることができるので、高輝度の被写体を、ある程度適切な明るさの画像に撮像することができる。
【０１６４】
また、例えば、光学系１からの入射光の光量が、第１の閾値以下である場合には、光学系１からの入射光の光量が小であるほど、第１及び第２の入射光それぞれの光量の光量比C1/C2は、大に調整することができる。
【０１６５】
この場合、光学系１からの入射光の光量が小になったときに、第２の入射光の光量は、大きく減少するが、第１の入射光の光量は、ほとんど減少しないようにすることができるので、低輝度の被写体を、ある程度適切な明るさの画像に撮像することができる。
【０１６６】
図６は、図５の信号処理部５の処理を説明するフローチャートである。
【０１６７】
ステップＳ１において、補正部７１は、メモリ４に記憶された、イメージセンサ３Ａから出力された画像データや、イメージセンサ３Ｂから出力されたスミアデータを、必要に応じて補正し、除去部７２に供給して、処理は、ステップＳ２に進む。
【０１６８】
ステップＳ２では、除去部７２は、補正部７１からの画像データ及びスミアデータを用い、画像データからスミアデータを減算することにより、補正部７１からの画像データからスミア成分を除去した画像データを求め、出力部６（図１）に供給して、処理を終了する。
【０１６９】
なお、ステップＳ２では、イメージセンサ３Ａから出力された画像データとしての各画素の画素値から、イメージセンサ３Ｂから出力されたスミアデータとしての、対応する画素の画素値が減算される。
【０１７０】
以上のように、図１のディジタルカメラでは、イメージセンサ３Ａへの第１の入射光の入射角等の条件と、イメージセンサ３Ｂへの第２の入射光の入射角等の条件とが一致するように配置されている、同一構成のイメージセンサ３Ａ及び３Ｂについて、イメージセンサ３Ａの通常駆動（PD５１の電荷を、電荷蓄積部５４に転送する駆動）を行うとともに、イメージセンサ３Ｂのスミア検出駆動（PD５１の電荷を、電荷蓄積部５４に転送しない駆動）を行い、光学系１からの入射光の一部である第１の入射光を受光するイメージセンサ３Ａが出力する画像データと、光学系１からの入射光の他の一部である第２の入射光を受光するイメージセンサ３Ｂが出力するスミアデータとを用いた信号処理により、画像データからスミア成分を除去した画像データを求めるので、スミア成分が除去された、高画質の画像を得ることができる。
【０１７１】
すなわち、イメージセンサ３Ａ及び３Ｂが、同一構成であり、イメージセンサ３Ａへの第１の入射光の入射角等の条件と、イメージセンサ３Ｂへの第２の入射光の入射角等の条件とが一致するように配置されているので、イメージセンサ３Ｂの画素１１ｍ，ｎでは、イメージセンサ３Ａの画素１１ｍ，ｎの画素値に含まれるスミア成分を精度良く表すスミアデータを得ること（スミアの検出を行うこと）ができる。
【０１７２】
また、イメージセンサ３Ａと同一構成のイメージセンサ３Ｂの各画素１１ｍ，ｎにおいて、イメージセンサ３Ａの各画素１１ｍ，ｎの画素に含まれるスミア成分を表すスミアデータが得られるので、前述したような、イメージセンサの一部の画素を、スミア補正用画素とするとともに、残りの画素を通常画素としてスミア補正を行う場合に必要となる、スミア補正用画素の補間を行う必要がなく、画質（解像度）の低下が生じない。
【０１７３】
なお、図１のディジタルカメラでは、イメージセンサ３Ａが出力する画像データから、イメージセンサ３Ｂが出力するスミアデータを減算することにより、スミア成分を除去した画像データが求められるので、イメージセンサ３Ａ及び３Ｂにおいて、スミアの防止のために、電荷蓄積部５４の上の他、その周辺部の上にも張り出すように、遮光膜を設ける必要はない。
【０１７４】
したがって、（通常駆動される）イメージセンサ３Ａでは、PD５１の開口面積を大にすることができ、イメージセンサ３Ａの（受光）感度を向上させることができる。
【０１７５】
［イメージセンサ３Ａ及び３Ｂの製造］
【０１７６】
図７は、イメージセンサ３Ａ及び３Ｂの製造方法を説明する図である。
【０１７７】
イメージセンサ３Ａ及び３Ｂとしては、それぞれ、図７Ａに示すように、半導体製造プロセスにおいて、複数のイメージセンサをウエハ上に形成し、そのウエハ上の各イメージセンサを、１チップにダイシングした半導体チップを採用することができる。
【０１７８】
この場合、ウエハからダイシングした、１個のイメージセンサが形成された各半導体チップは、イメージセンサ３Ａ及び３Ｂのいずれとしても使用することができる。
【０１７９】
また、イメージセンサ３Ａとしての半導体チップと、イメージセンサ３Ｂとしての半導体チップとは、別個のパッケージに搭載することもできるし、１個の（同一の）パッケージに搭載することもできる。
【０１８０】
さらに、イメージセンサ３Ａ及び３Ｂとしては、図７Ｂに示すように、半導体製造プロセスにおいて、複数のイメージセンサをウエハ上に形成し、そのウエハ上の隣り合う２個のイメージセンサを、１チップにダイシングした半導体チップを採用することができる。
【０１８１】
この場合、ウエハからダイシングした、２個のイメージセンサが形成された各半導体チップは、１個のパッケージに搭載される。
【０１８２】
ここで、２個のイメージセンサが形成された半導体チップが搭載されたパッケージを、１チップパッケージともいい、イメージセンサ３Ａとしての半導体チップ、及び、イメージセンサ３Ｂとしての半導体チップとの２チップが搭載されたパッケージを、２チップパッケージともいう。
【０１８３】
１チップパッケージでは、イメージセンサ３Ａ及び３Ｂとなる２個のイメージセンサの配置制御をステッパ（露光装置）で行うことができるので、２チップパッケージに比較して、イメージセンサ３Ａ及び３Ｂ（となる２個のイメージセンサ）の位置（位置関係）を精度良く制御することができる。また、ウエハ上の隣り合う２個のイメージセンサは、位置関係が近いために、製造ばらつきで生じる特性差が小さい。
【０１８４】
なお、イメージセンサ３Ａ及び３Ｂは、同一構成のイメージセンサであるため、図７Ｂに示したように、イメージセンサ３Ａ及び３Ｂとして、ウエハ上の隣り合う２個のイメージセンサを１チップにダイシングした半導体チップを採用する場合には、１チップにダイシングする２個のイメージセンサは、どのような組み合わせであってもかまわない。
【０１８５】
すなわち、図７Ｂでは、上から奇数番目のイメージセンサと、その下に隣接するイメージセンサとの組み合わせが１チップにダイシングされているが、その他、例えば、上から偶数番目のイメージセンサと、その下に隣接するイメージセンサとの組み合わせや、左から奇数番目のイメージセンサと、その右に隣接するイメージセンサとの組み合わせ等を、１チップにダイシングすることができる。
【０１８６】
１チップにダイシングする２個のイメージセンサの組み合わせをどのようにするかについては、例えば、各組み合わせの評価を行い、歩留まりが最も高い組み合わせを採用することができる。
【０１８７】
［本技術を適用したディジタルカメラの一実施の形態］
【０１８８】
図８は、本技術を適用したディジタルカメラの他の一実施の形態の構成例を示すブロック図である。
【０１８９】
なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１９０】
図８のディジタルカメラは、光学系１、イメージセンサ３Ａ及び３Ｂ、メモリ４、信号処理部５、出力部６、及び、制御部７を有する点で、図１の場合と共通する。
【０１９１】
但し、図８のディジタルカメラは、ハーフミラー２に代えて、セパレータレンズ８２が設けられている点で、図１の場合と相違する。
【０１９２】
セパレータレンズ８２には、光学系１から光が入射する。
【０１９３】
セパレータレンズ８２は、光学系１から入射される光（入射光）を、第１及び第２の入射光の２つの入射光に分離する（分ける）分離部の他の一例であり、光学系１からの入射光を、第１及び第２の入射光に分離し、第１の入射光を、イメージセンサ３Ａに受光させるとともに、第２の入射光を、イメージセンサ３Ｂに受光させる。
【０１９４】
以上のように、ハーフミラー２に代えて、セパレータレンズ８２を用いても、ハーフミラー２を用いた場合（図１）と同様に、スミア成分が除去された、高画質の画像を得ることができる。
【０１９５】
［本技術を適用したコンピュータの説明］
【０１９６】
次に、上述した信号処理部５の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。信号処理部５の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１９７】
そこで、図９は、信号処理部５の一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１９８】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０１９９】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２００】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２０１】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０２０２】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０２０３】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２０４】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２０５】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２０６】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２０７】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２０８】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０９】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２１０】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２１１】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２１２】
なお、本技術は、以下のような構成をとることができる。
【０２１３】
［１］
第１のイメージセンサが出力する第１のデータと、前記第１のイメージセンサと同一構成の第２のイメージセンサが出力する第２のデータとを用いた信号処理により、前記第１のデータからスミア成分を除去した画像データを求める信号処理部を備える
信号処理装置。
［２］
前記第１及び第２のイメージセンサは、グローバルシャッタ方式のイメージセンサである
［１］に記載の信号処理装置。
［３］
入射光を、第１の入射光と第２の入射光とに分割し、前記第１の入射光を前記第１のイメージセンサに受光させるとともに、前記第２の入射光を前記第２のイメージセンサに受光させる分割部をさらに備える
［１］又は［２］に記載の信号処理装置。
［４］
前記第１及び第２のイメージセンサは、光電変換を行う光電変換素子を有し、
前記第１のイメージセンサは、前記光電変換素子に蓄積された電荷を含むデータを、前記第１のデータとして出力し、
前記第２のイメージセンサは、前記光電変換素子に蓄積された電荷を含まないデータを、前記第２のデータとして出力する
［１］ないし［３］のいずれかに記載の信号処理装置。
［５］
前記信号処理部は、前記第１のデータと前記第２のデータとを用いた所定の演算により、前記第１のデータからスミア成分を除去した画像データを求める
［１］ないし［４］のいずれかに記載の信号処理装置。
［６］
前記信号処理部は、前記第１のデータから前記第２のデータを減算することにより、前記第１のデータからスミア成分を除去した画像データを求める
［１］ないし［５］のいずれかに記載の信号処理装置。
［７］
前記分割部は、ハーフミラー、又は、セパレータレンズで構成される
［３］に記載の信号処理装置。
［８］
前記第１及び第２のイメージセンサは、
前記光電変換素子に蓄積された電荷を転送する転送トランジスタと、
前記転送トランジスタにより転送される電荷を蓄積する電荷蓄積部と
をさらに有するCMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、
前記第１のデータは、前記光電変換素子に蓄積された電荷を、前記電荷蓄積部に転送して得られるデータであり、
前記第２のデータは、前記光電変換素子に蓄積された電荷を、前記電荷蓄積部に転送せずに得られるデータである
［４］に記載の信号処理装置。
［９］
前記第２のデータを補正する補正部をさらに備える
［８］に記載の信号処理装置。
［１０］
前記補正部は、前記第２のイメージセンサの画素の前記第２のデータを、前記第１のイメージセンサの対応する画素において、前記光電変換素子に蓄積された電荷を前記電荷蓄積部に転送せずに得られるデータと一致するように補正する
［９］に記載の信号処理装置。
［１１］
前記分割部は、前記入射光を、前記第２の入射光よりも光強度が強い前記第１の入射光と、前記第１の入射光よりも光強度が弱い前記第２の入射光とに分割する
［３］に記載の信号処理装置。
［１２］
前記第１及び第２のイメージセンサは、１個のパッケージ、又は、別個のパッケージに搭載されている
［１］ないし［１１］のいずれかに記載の信号処理装置。
［１３］
前記第１及び第２のイメージセンサは、半導体製造プロセスにおいて、ウエハ上に形成された複数のイメージセンサのうちの隣り合う２個のイメージセンサを１チップにダイシングした半導体チップである
［１］ないし［１１］のいずれかに記載の信号処理装置。
［１４］
前記第１及び第２のイメージセンサをさらに備えるカメラである
［１］ないし［１３］のいずれかに記載の信号処理装置。
［１５］
第１のイメージセンサが出力する第１のデータと、前記第１のイメージセンサと同一構成の第２のイメージセンサが出力する第２のデータとを用いた信号処理により、前記第１のデータからスミア成分を除去した画像データを求める
ステップを含む信号処理方法。
［１６］
第１のイメージセンサが出力する第１のデータと、前記第１のイメージセンサと同一構成の第２のイメージセンサが出力する第２のデータとを用いた信号処理により、前記第１のデータからスミア成分を除去した画像データを求める信号処理部
として、コンピュータを機能させるためのプログラム。
【符号の説明】
【０２１４】
１  光学系，  ２  ハーフミラー，  ３Ａ，３Ｂ  イメージセンサ，  ４  メモリ，  ５  信号処理部，  ６  出力部，  ７  制御部，  
１０  画素アレイ，  １１１，１ないし１１Ｍ，Ｎ  画素，  ２１  画素駆動部，  ２２１ないし２２Ｎ  ADC，  ４１１ないし４１Ｍ  画素制御線，  ４２１ないし４２Ｎ  垂直信号線，  ５１  PD，  ５２  排出Tr，  ５３  第１転送Tr，  ５４  電荷蓄積部，  ５５  第２転送Tr，  ５６  FD，  ５７  リセットTr，  ５８  増幅Tr，  ５９  選択Tr，  ７１  補正部，  ７２  除去部，  ８２  セパレータレンズ，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2014011718.tif 000003
【図２】
2014011718.tif 000004
【図３】
2014011718.tif 000005
【図４】
2014011718.tif 000006
【図５】
2014011718.tif 000007
【図６】
2014011718.tif 000008
【図７】
2014011718.tif 000009
【図８】
2014011718.tif 000010
【図９】
2014011718.tif 000011